動画提示装置
【課題】動体を含む動画を提示することにより高い臨場感を与えつつ、当該動体の動きが自然に見えるようにする。
【解決手段】人などの動体が存在する経路Rを、全方位カメラを用いてAからBに移動しながら撮影した往路動画Ma(フレームF(1)〜F(N))と、BからAに移動しながら撮影した復路動画Mb(フレームG(1)〜G(N))とを用意する。ユーザが往路方向に進む指示を出した場合は往路動画Maを順送り再生し、復路方向に進む指示を出した場合は復路動画Mbを順送り再生する。往路方向進行中に地点P(i)で反転指示が出た場合は、遷移期間を介して往路動画Maの順送り再生から復路動画Mbの順送り再生に切り替える。遷移期間中は、フレームF(i)とフレームG(N−i+1)とのブレンド画像を提示し、ブレンド比率を徐々に変えながら、F(i)からG(N−i+1)に滑らかに変わるようにする。
【解決手段】人などの動体が存在する経路Rを、全方位カメラを用いてAからBに移動しながら撮影した往路動画Ma(フレームF(1)〜F(N))と、BからAに移動しながら撮影した復路動画Mb(フレームG(1)〜G(N))とを用意する。ユーザが往路方向に進む指示を出した場合は往路動画Maを順送り再生し、復路方向に進む指示を出した場合は復路動画Mbを順送り再生する。往路方向進行中に地点P(i)で反転指示が出た場合は、遷移期間を介して往路動画Maの順送り再生から復路動画Mbの順送り再生に切り替える。遷移期間中は、フレームF(i)とフレームG(N−i+1)とのブレンド画像を提示し、ブレンド比率を徐々に変えながら、F(i)からG(N−i+1)に滑らかに変わるようにする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画提示装置に関し、特に、所定の経路に沿って移動する視点から見た視界を動画として提示する装置に関する。
【背景技術】
【0002】
魚眼レンズや全方位ミラーを装着したカメラを用いると、周囲360°の視界をもつ全方位画像を撮影することができる。予め、このような全方位画像を用意しておけば、視聴者の希望する任意の視点位置から任意の方向を観察した画像を提示するサービスを提供することができる。
【0003】
たとえば、下記の特許文献1には、情報提供センターに全方位画像を用意しておき、視聴者の求めに応じて、端末装置の画面上に任意視点から任意方向を観察した画像を表示させるための画像データを送信する技術が開示されている。また、グーグル株式会社(本社:米国カリフォルニア州のGoogle Inc. )は、「ストリートビュー」と称して、インターネットを利用して道路上の任意視点から任意方向を観察した景色を表示するサービスを提供している。一方、特許文献2には、車載カメラによって撮影した市街地のビデオ映像から、歩行者、電柱、街路樹などの障害物を除去し、動体などの前景物を含まない市街地映像を提示する装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2001−008232号公報
【特許文献2】特開2011−118495号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
前掲の特許文献1に開示されているシステムやグーグル社の提供する「ストリートビュー」のサービスを利用すれば、ユーザは、任意の視点位置を指定し、任意の視線方向を指定することにより、指定に応じた画像の提示を受けることができる。しかしながら、これらの従来技術では、映像を動画として提示する場合に、人や車といった動体が背景画像と区別なく取り扱われるため、所定の経路に沿って移動する視点から見た視界を動画として提示する場合に、動体の動きが不自然になるという問題がある。
【0006】
特許文献1に開示されているシステム等では、ユーザの指定した視点位置および視線方向に応じた視野画像をその都度取り出し、これを順番に並べて提示すれば、ユーザの指定に応じた映像提示を行うことが可能である。しかしながら、そのような提示方法では、映像中に人や車といった動体が含まれていると、当該動体の動きが不自然に見えてしまうことがある。たとえば、ある経路に沿って移動しながら撮影した全方位画像を用意しておけば、視線方向を360°の任意の方向に向けることができ、どちらの方向に移動しても前進する状態の景色を表示させることができる。しかし、画像フレームの提示順が撮影順どおりにならないと、動体の動きが逆転した状態で再生されることになる。
【0007】
一方、前掲の特許文献2に開示されている技術を利用すれば、撮影した映像から、歩行者や車などの動体を削除して、背景画像のみを提示することができるため、動体の動きが不自然になることを回避することができる。しかしながら、背景画像のみしか含まない映像は、非常に味気ないものになり、視聴者に対して、自分が映像画面内に実際に居るような臨場感を与えることができなくなる。
【0008】
そこで本発明は、被写体として動体を含ませることにより視聴者に高い臨場感を与えつつ、当該動体の動きが自然に見えるような動画提示が可能な動画提示装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
(1) 本発明の第1の態様は、移動する視点から見た視界を動画として提示する動画提示装置において、
第1のノードと第2のノードとを接続する経路に沿って移動しながら撮影した動画を格納する動画格納部と、
ユーザの指示を入力する指示入力部と、
ユーザの指示に基づいて、経路上の移動方向として、第1のノードから第2のノードに向かう往路方向と、第2のノードから第1のノードに向かう復路方向と、のいずれか一方を設定する移動方向設定部と、
動画格納部に格納されている動画を再生し、ディスプレイ装置の画面に表示する動画再生部と、
を設け、
動画格納部には、経路上を往路方向に移動しながら撮影した、被写体に動体を含む往路動画と、経路上を復路方向に移動しながら撮影した、被写体に動体を含む復路動画と、を格納し、
動画再生部が、移動方向設定部に往路方向が設定されている場合には、往路動画を再生対象として順送り再生し、移動方向設定部に復路方向が設定されている場合には、復路動画を再生対象として順送り再生するようにしたものである。
【0010】
(2) 本発明の第2の態様は、上述した第1の態様に係る動画提示装置において、
指示入力部が、移動方向を反転させる反転指示を入力する機能を有し、
移動方向設定部が、反転指示の入力に基づいて、往路方向から復路方向へ、もしくは、復路方向から往路方向へ、移動方向を切り替える処理を行い、
動画再生部が、反転指示入力後の所定期間を遷移期間に設定し、この遷移期間中は、切替前の移動方向に応じた再生対象である切替前動画を構成する切替前画像と、切替後の移動方向に応じた再生対象である切替後動画を構成し切替前画像と同じ位置で撮影された切替後画像と、をブレンドした合成画像を表示するようにしたものである。
【0011】
(3) 本発明の第3の態様は、上述した第2の態様に係る動画提示装置において、
動画再生部が、切替後画像の割合をα、切替前画像の割合を(1−α)として、両画像を合成することにより合成画像を作成し、遷移期間の経過とともに値αを0から1に向けて徐々に増加させるようにしたものである。
【0012】
(4) 本発明の第4の態様は、上述した第3の態様に係る動画提示装置において、
動画格納部に格納されている往路動画が、第1のノード位置で撮影された第1番目のフレームから第2のノード位置で撮影された第N番目のフレームに至るまで合計N枚のフレーム画像によって構成されており、
動画格納部に格納されている復路動画が、第2のノード位置で撮影された第1番目のフレームから第1のノード位置で撮影された第N番目のフレームに至るまで合計N枚のフレーム画像によって構成されており、
往路画像の第i番目のフレームF(i)と復路画像の第(N−i+1)番目のフレームG(N−i+1)とは、経路上の同一地点で撮影された画像になっており、相互に対応するフレームを構成し、
動画再生部が、遷移期間中に、相互に対応するフレームを合成することにより合成画像を作成し、これを表示するようにしたものである。
【0013】
(5) 本発明の第5の態様は、上述した第4の態様に係る動画提示装置において、
動画再生部が、
遷移期間中に、切替前動画の遷移期間直前フレームと、これに対応する切替後動画の対応フレームと、を合成した合成フレームからなる定位置画像を表示し、
遷移期間終了後に、切替後動画の対応フレームから順送り再生を開始するようにしたものである。
【0014】
(6) 本発明の第6の態様は、上述した第4の態様に係る動画提示装置において、
動画再生部が、
遷移期間の前半期において、切替前動画を継続して順送り再生し、遷移期間の後半期において、切替前動画を前半期の最終フレームから逆送り再生し、
遷移期間中に、切替前動画の各フレームと、これに対応する切替後動画の各フレームと、を合成した合成フレームからなる動画画像を表示し、
遷移期間終了後に、切替後動画を継続して順送り再生するようにしたものである。
【0015】
(7) 本発明の第7の態様は、上述した第6の態様に係る動画提示装置において、
動画再生部が、遷移期間の前半期において、再生速度を遷移期間直前の速度から徐々に減少させてゆき、遷移期間の後半期において、再生速度を徐々に増加させてゆくようにしたものである。
【0016】
(8) 本発明の第8の態様は、上述した第4の態様に係る動画提示装置において、
動画再生部が、
遷移期間中に、切替前動画を遷移期間直前フレームから逆送り再生し、切替前動画の各フレームと、これに対応する切替後動画の各フレームと、を合成した合成フレームからなる動画画像を表示し、
遷移期間終了後に、切替後動画を継続して順送り再生するようにしたものである。
【0017】
(9) 本発明の第9の態様は、上述した第1の態様に係る動画提示装置において、
指示入力部が、移動方向を反転させる反転指示を入力する機能を有し、
移動方向設定部が、反転指示の入力に基づいて移動方向を切り替える処理を行い、
動画格納部には、往路動画および復路動画に加えて、経路上を往路方向もしくは復路方向に移動しながら撮影した、被写体に動体を含まない背景動画が、更に格納されており、
動画再生部が、反転指示入力後の所定期間を遷移期間に設定し、この遷移期間中は、切替前の移動方向に応じた再生対象である切替前動画を構成する切替前画像と、背景動画を構成し切替前画像と同じ位置で撮影された背景画像と、をブレンドした第1の合成画像と、背景動画を構成する背景画像と、切替後の移動方向に応じた再生対象である切替後動画を構成し背景画像と同じ位置で撮影された切替後画像と、をブレンドした第2の合成画像とを、第1の合成画像、第2の合成画像の順に表示するようにしたものである。
【0018】
(10) 本発明の第10の態様は、上述した第9の態様に係る動画提示装置において、
動画再生部が、
遷移期間内に、第1の遷移期間と、これに後続する第2の遷移期間とを設定し、
背景画像の割合をα、切替前画像の割合を(1−α)として、両画像を合成することにより第1の合成画像を作成し、これを第1の遷移期間内に表示し、かつ、第1の遷移期間の経過とともに値αを0から1に向けて徐々に増加させ、
切替後画像の割合をβ、背景画像の割合を(1−β)として、両画像を合成することにより第2の合成画像を作成し、これを第2の遷移期間内に表示し、かつ、第2の遷移期間の経過とともに値βを0から1に向けて徐々に増加させるようにしたものである。
【0019】
(11) 本発明の第11の態様は、上述した第10の態様に係る動画提示装置において、
動画格納部に格納されている往路動画が、第1のノード位置で撮影された第1番目のフレームから第2のノード位置で撮影された第N番目のフレームに至るまで合計N枚のフレーム画像によって構成されており、
動画格納部に格納されている復路動画が、第2のノード位置で撮影された第1番目のフレームから第1のノード位置で撮影された第N番目のフレームに至るまで合計N枚のフレーム画像によって構成されており、
動画格納部に格納されている背景動画が、第1のノード位置で撮影された第1番目のフレームから第2のノード位置で撮影された第N番目のフレームに至るまで合計N枚のフレーム画像によって構成されており、
往路画像の第i番目のフレームF(i)と、復路画像の第(N−i+1)番目のフレームG(N−i+1)と、背景画像の第i番目のフレームH(i)とは、経路上の同一地点で撮影された画像になっており、相互に対応するフレームを構成し、
動画再生部が、遷移期間中に、相互に対応するフレームを合成することにより合成画像を作成し、これを表示するようにしたものである。
【0020】
(12) 本発明の第12の態様は、上述した第11の態様に係る動画提示装置において、
動画再生部が、
第1の遷移期間中に、切替前動画の遷移期間直前フレームと、これに対応する背景動画の対応背景フレームと、を合成した合成フレームからなる定位置画像を第1の合成画像として表示し、
第2の遷移期間中に、背景動画の対応背景フレームと、切替後動画の前記対応背景フレームに対応する対応フレームと、を合成した合成フレームからなる定位置画像を第2の合成画像として表示し、
遷移期間終了後に、切替後動画の対応フレームから順送り再生を開始するようにしたものである。
【0021】
(13) 本発明の第13の態様は、上述した第12の態様に係る動画提示装置において、
動画再生部が、第1の遷移期間と第2の遷移期間との間に中間遷移期間を設け、この中間遷移期間中に、対応背景フレームのみを表示するようにしたものである。
【0022】
(14) 本発明の第14の態様は、上述した第11の態様に係る動画提示装置において、
動画再生部が、
第1の遷移期間中に、切替前動画を継続して順送り再生し、この切替前動画の各フレームと背景動画の対応背景フレームとを合成した合成フレームからなる動画画像を第1の合成画像として表示し、
第2の遷移期間中に、切替後動画を、第1の遷移期間の最終対応背景フレームに対応するフレームから順送り再生し、この切替後動画の各フレームと背景動画の対応背景フレームとを合成した合成フレームからなる動画画像を第2の合成画像として表示し、
第2の遷移期間終了後に、切替後動画を継続して順送り再生するようにしたものである。
【0023】
(15) 本発明の第15の態様は、上述した第14の態様に係る動画提示装置において、
動画再生部が、第1の遷移期間中、再生速度を遷移期間直前の速度から徐々に減少させてゆき、第2の遷移期間中、再生速度を徐々に増加させてゆくようにしたものである。
【0024】
(16) 本発明の第16の態様は、上述した第11の態様に係る動画提示装置において、
動画再生部が、
第1の遷移期間中に、切替前動画を遷移期間直前フレームから逆送り再生し、切替前動画の各フレームと、これに対応する背景動画の各フレームと、を合成した合成フレームからなる動画画像を第1の合成画像として表示し、
第2の遷移期間中に、切替後動画を、第1の遷移期間の最終対応背景フレームに対応するフレームから順送り再生し、この切替後動画の各フレームと背景動画の対応背景フレームとを合成した合成フレームからなる動画画像を第2の合成画像として表示し、
遷移期間終了後に、切替後動画を継続して順送り再生するようにしたものである。
【0025】
(17) 本発明の第17の態様は、上述した第1〜第16の態様に係る動画提示装置において、
動画格納部に格納されている各動画画像が、経路に沿って移動しながら全方位カメラを用いて撮影した360°の視界をもつ全方位画像を、フレーム単位で収録した画像によって構成されており、
指示入力部が、特定の視線方向を示す指示を入力する機能を有し、
動画再生部が、動画画像を構成する個々のフレームから視線方向に応じた視野画像を切り出し、これをディスプレイ画面に表示するようにしたものである。
【0026】
(18) 本発明の第18の態様は、上述した第17の態様に係る動画提示装置において、
指示入力部が、前進ボタンと、後退ボタンと、左向きボタンと、右向きボタンと、を有するコントローラを備え、
移動方向設定部が、前進ボタンの操作指示に基づいて、移動方向を第1の方向に設定し、後退ボタンの操作指示に基づいて、移動方向を第2の方向に設定し、
動画再生部が、左向きボタンの操作指示に基づいて、視線方向を左向きに変化させ、右向きボタンの操作指示に基づいて、視線方向を右向きに変化させるようにしたものである。
【0027】
(19) 本発明の第19の態様は、上述した第18の態様に係る動画提示装置において、
移動方向設定部が、左向きボタンの操作指示もしくは右向きボタンの操作指示に基づいて、移動方向に対する視線方向の角度が所定の基準以上となったときに、移動方向の切り替えを行うようにしたものである。
【0028】
(20) 本発明の第20の態様は、上述した第17〜第19の態様に係る動画提示装置において、
動画格納部が、魚眼レンズもしくは全方位ミラーを装着した全方位カメラを用いて、所定の水平面より上方に位置する半球状視界を撮影して得られる歪曲円形画像から、仰角が所定の基準値以下の領域を切り出し、これに歪み補正を施すことにより得られる矩形状のパノラマ画像を全方位画像とする動画を格納するようにしたものである。
【0029】
(21) 本発明の第21の態様は、上述した第17〜第19の態様に係る動画提示装置において、
全方位画像格納部が、仮想の経路を示す三次元CG画像に基づいて作成された矩形状のパノラマ画像を全方位画像とする動画を格納するようにしたものである。
【0030】
(22) 本発明の第22の態様は、上述した第1〜第21の態様に係る動画提示装置において、
動画格納部が、3以上の複数のノードを接続する複数の経路についての動画をそれぞれ格納しており、
各ノードを介した各経路の接続関係を示すルート情報を格納するルート情報格納部を更に設け、
指示入力部が、ノードを介して第1の経路から第2の経路へ移動する旨のユーザの経路乗換指示を入力する機能を有し、
動画再生部が、経路乗換指示が入力された場合に、ルート情報を参照することにより、第1の経路についての動画再生に継続して、第2の経路についての動画再生を行う機能を有するようにしたものである。
【0031】
(23) 本発明の第23の態様は、上述した第1〜第22の態様に係る動画提示装置を、コンピュータに専用のプログラムを組み込むことにより構成したものである。
【発明の効果】
【0032】
本発明に係る動画提示装置によれば、同一の経路について、往路動画と復路動画との2通り動画が撮影され、ユーザの所望する移動方向に応じて、いずれか一方の動画の再生を行うようにしたため、動体を含んだ画像を視聴者に提示して高い臨場感を与えつつ、当該動体の動きが自然に見えるような動画提示が可能になる。
【0033】
また、往路動画の提示と復路動画の提示とを切り替える際に遷移期間を設定し、この遷移期間中に切替前動画と切替後動画とをブレンドさせた合成画像を提示する実施形態を採用すれば、動体を滑らかに切り替えることができ、切替時の動体の動きの不自然さを低減することができる。
【0034】
更に、被写体に動体を含まない背景動画を用意する実施形態では、切替前動画と切替後動画との間に背景動画を介挿したブレンドを行うことができるようになるので、動体の切り替えを更に円滑にし、切替時の動体の動きの不自然さを更に低減することができる。
【図面の簡単な説明】
【0035】
【図1】本発明に係る動画提示装置による提示対象となる美術館の平面図である(ハッチングは壁面を示す)。
【図2】図1に示す美術館の参観路を構成する各ノードと各経路を示す平面図である。
【図3】1本の経路Rに沿った撮影により得られた動画を構成する各フレームを示す動画フレームチャートである。
【図4】図3に示す動画を撮影するために利用される全方位カメラの一例を示す側面図である。
【図5】図4に示す全方位カメラを用いて撮影された歪曲円形画像の平面図である。
【図6】図5に示す歪曲円形画像に基づいて作成された矩形状のパノラマ画像(全方位画像)の一例を示す平面図である。
【図7】経路R上の地点P(i)における視線方向(方位角)φ(i)の定義例を示す平面図である。
【図8】図6示すパノラマ画像(全方位画像)から、方位角φ=90°の視線方向に対応する視野画像Q(P(i),φ(i))を切り出す作業を示す平面図である。
【図9】ユーザの指示を入力するコントローラの上面図である。
【図10】本発明の基本的な実施形態に係る動画提示装置の構成を示すブロック図である。
【図11】図10に示す動画格納部110内に格納される往路動画Maと復路動画Mbとの関係を示す動画フレームチャートである。
【図12】図11に示す往路動画Maの再生画面を示す図である。
【図13】図11に示す復路動画Mbの再生画面を示す図である。
【図14】図10に示す動画提示装置において、反転指示入力が行われた場合の動画再生部130による動画の基本切替態様を示すタイムチャートである。
【図15】図10に示す動画提示装置において、反転指示入力が行われた場合の動画再生部130による動画の遷移期間を介した切替態様を示すタイムチャートである。
【図16】図15に示す遷移期間Tにおける画像ブレンド処理の原理を示す図である。
【図17】図10に示す動画提示装置において、反転指示入力が行われた場合の動画再生部130による動画の遷移期間を介した別な切替態様を示すタイムチャートである。
【図18】図10に示す動画提示装置において、反転指示入力が行われた場合の動画再生部130による動画の遷移期間を介した更に別な切替態様を示すタイムチャートである。
【図19】本発明の背景動画を利用する実施形態に係る動画提示装置の構成を示すブロック図である。
【図20】図19に示す動画格納部110′内に格納される往路動画Ma、復路動画Mb、背景動画Mcの関係を示す動画フレームチャートである。
【図21】図20に示す背景動画Mcの再生画面を示す図である。
【図22】図19に示す動画提示装置において、反転指示入力が行われた場合の動画再生部130′による動画の第1の切替態様を示すタイムチャートである。
【図23】図22に示す第1の遷移期間T1および第2の遷移期間T2における画像ブレンド処理の原理を示す式である。
【図24】図19に示す動画提示装置において、反転指示入力が行われた場合の動画再生部130′による動画の第2の切替態様を示すタイムチャートである。
【図25】図19に示す動画提示装置において、反転指示入力が行われた場合の動画再生部130′による動画の第3の切替態様を示すタイムチャートである。
【図26】図19に示す動画提示装置において、反転指示入力が行われた場合の動画再生部130′による動画の第4の切替態様を示すタイムチャートである。
【発明を実施するための形態】
【0036】
以下、本発明を図示する実施形態に基づいて説明する。
【0037】
<<< §1. 動画提示の基本手法 >>>
ここでは、まず、本発明に係る動画提示装置が採用する動画提示の基本手法を説明する。本発明に係る動画提示装置は、所定の経路に沿って移動する視点から見た視界を動画として提示する装置であり、表示対象となる経路は、屋外であっても、屋内であってもかまわない。したがって、この装置は、たとえば、様々な史跡や観光地の景色をディスプレイ画面上に提示し、ユーザ(視聴者)に、あたかも当該史跡や観光地内を自由に歩き回って見学しているような体験をさせることが可能である。以下の説明では、便宜上、図1に示すような平面図で示される間取りをもった美術館の館内を歩きまわっている状態の動画をユーザに提示する単純な例を説明する。
【0038】
ここでは、この図1に示す美術館が、絵画と彫刻を展示するための実在の施設であり、図示のとおり、入口から入館した参観者は、内部の回廊を自由に歩き回りながら展示物を鑑賞し、出口から退館するものとしよう。図1にハッチングを施した部分は、回廊の壁面を示しており、絵画は、この壁面に提示されているものとする。また、回廊の床には、適宜、彫刻が置かれているものとする。本発明に係る動画提示装置は、基本的には、この実在の美術館の館内を撮影した画像をユーザに提示するための装置ということになるが、ユーザが、館内を自由に歩き回りながら、視線を任意の方向に向けて観察した状態をシミュレートし、動画として提示する機能を有している。
【0039】
ここでは、このような美術館の参観路を、複数のノードとこれらノード間を接続する経路とによって表現し、参観路全体を、各ノードと各経路の情報をもったルート情報によって表現することにする。図2は、図1に示す美術館の参観路を構成するノードと経路を示す平面図であり、個々の黒点はノード、個々の直線は経路、個々の破線は実際の参観路の輪郭を示している。図示のとおり、この例では、6個のノードN1〜N6と、6本の経路R1〜R6とが定義されている。各経路は、一対のノードを端点として、これら端点間を結ぶ直線として定義される。
【0040】
参観路上のどの位置にノードを定義し、どのノード間に経路を定義するかは、装置設計者の判断に委ねられるが、一般的には、参観路の分岐点、曲がり角、始端点、終端点にノードを定義し、実際の参観路に応じて、必要なノード間に経路を定義すればよい。図示の例の場合、各経路R1〜R6はいずれも直線をなすが、実在の経路が曲線を含む場合には、ベジェ曲線などを利用して曲線からなる経路を定義してもかまわない。ただ、各経路が直線であれば、その両端点のノードを特定するだけで当該経路も特定されるので、実用上は、すべての経路を直線によって構成するのが好ましい。実在の参観路が曲線を含む場合には、複数のノードとこれらを結ぶ直線からなる折れ線によって擬似的に曲線を近似すればよい。
【0041】
参観路全体を示すルート情報は、個々のノードの位置を示す情報(たとえば、XY座標系上の座標値)と、一対のノード間の経路を示す情報(たとえば、「ノードN1,N2:経路R1」のような情報)とによって構成することができる。
【0042】
このような参観路についての動画提示を行うためには、個々の経路R1〜R6に沿って移動しながら撮影した動画をそれぞれ用意しておけばよい。図3は、1本の経路Rに沿った撮影により得られた動画を構成するフレーム群を示す動画フレームチャートである。図示の例は、一対のノードA,Bを結ぶ経路Rに沿って、ノードAからノードBに移動しながら撮影を行うことにより得られた動画のフレーム構成を示している。
【0043】
図示のとおり、この動画は、経路R上に離散的に定義された各地点P(1),P(2),... ,P(i),... ,P(N−1),P(N)において撮影されたフレーム画像F(1),F(2),... ,F(i),... ,F(N−1),F(N)の集合体によって構成される。ここで、地点P(1)はノードAに一致し、地点P(N)はノードBに一致し、合計N個の地点について、それぞれ固有のフレーム画像が撮影されることになる。個々のフレーム画像は静止画像であるが、これを順送りに再生することにより、動画の提示を行うことができる。各地点の間隔は、撮影装置の1秒間のフレーム数と撮影装置の移動速度によって定まる。たとえば、30フレーム/秒の撮影装置を150mm/秒の速度で移動させながら撮影を行えば、各地点の間隔は5mmになる。
【0044】
ここに示す例の場合、動画撮影を行う装置として、図4に示すような撮影装置を用いている。この撮影装置は、図示のとおり、魚眼レンズ10、ビデオカメラ20、データ処理ユニット30、台車40によって構成され、360°の視界をもつ画像を撮影可能な全方位カメラとして機能する。図4に示すように、魚眼レンズ10は、この装置の最上部に配置され、所定の水平面より上方に位置する半球状視界の像をビデオカメラ20の撮像面に形成する。このような構成を採ると、ビデオカメラ20の撮像面には、図5に示すような歪曲円形画像が結像する(ハッチングを施したドーナツ状部分とその内部の白地の円形部分との両方が、魚眼レンズ10で撮影した歪曲円形画像になる。)。この歪曲円形画像の中心にある天頂点Oは、図4に示す撮影装置の鉛直上方の位置にある点(回廊の天井に相当)になり、この歪曲円形画像の外周は、図4に示す撮影装置による撮影視野(周囲360°の視野)の下端位置に相当する。)。
【0045】
ここに示す例の場合、絵画と彫刻を展示した美術館の館内が表示対象となっているため、天頂点Oの近傍にある白地の円形部分の画像(回廊の天井部分の画像に相当)は利用せず、図にハッチングを施したドーナツ状の領域のみを利用することにする。図6は、図5に示す歪曲円形画像から、仰角が所定の基準値以下の領域(図にハッチングを施した領域)を切り出し、これに歪み補正を施すことにより得られる矩形状のパノラマ画像を示す平面図である。このパノラマ画像が、地点P(i)で撮影された歪曲円形画像に基づいて得られた画像であるとすると、当該画像は、動画の第i番目のフレームF(i)を構成することになる。このパノラマ画像の下辺に示す0°〜360°の方位角は、図5の歪曲円形画像の円周上に示された0°〜360°の方位角に対応する。すなわち、この図6に示すパノラマ画像は、図4に示す魚眼レンズ10の位置に視点をおき、周囲360°を眺めた画像ということになる。
【0046】
ビデオカメラ20で撮影された歪曲円形画像のデータは、データ処理ユニット30へ送られる。データ処理ユニット30は、コンピュータによって構成され、歪曲円形画像のデータは、ハードディスク装置内に格納される。また、ここに示す例の場合、データ処理ユニット30は、この歪曲円形画像からパノラマ画像を作成する処理を行う機能を有している。したがって、図5に示すような歪曲円形画像は、データ処理ユニット30内で図6に示すようなパノラマ画像に変換され、ハードディスク装置内に格納される。ここに示す例の場合、このようにして得られたパノラマ画像を、動画の個々のフレームを構成する全方位画像として用いることになる。
【0047】
図5に示す歪曲円形画像が歪んだドーナツ状の画像であるのに対して、図6に示すパノラマ画像は矩形状の画像であるため、データ処理ユニット30は、歪み補正を伴う画像変換処理を行う必要がある。このような画像変換処理は公知の技術であるため、ここでは詳しい説明は省略する。なお、通常、このような歪み補正を伴う画像変換処理を行っても、歪みを完全に除去することは困難であるので、得られるパノラマ画像にも若干の歪みが残ることになるが、実用上支障のないレベルまでの歪み補正が可能である。
【0048】
以上、図4に示す撮影装置を経路R上の1地点に設置し、その周囲のパノラマ画像を得る手順を説明したが、この撮影装置を経路Rに沿って移動させながら、ビデオカメラ20により動画撮影を行えば、図6に示すようなパノラマ画像(全方位画像)を1フレームとして、連続した複数フレームから構成される動画が得られることになる。図3に示すN枚のフレームF(1)〜F(N)からなる動画は、このような撮影によって得られたものである。
【0049】
もっとも、ユーザに動画を提示する際には、図6に示すパノラマ画像をそのまま1フレームの画像として表示するのは好ましくない。このパノラマ画像は、周囲360°の全情報を含む特異な画像であり、一般的な人間の視野に入る画像とはかけ離れている。そこで、実際には、特定の視線方向を定め、当該視線方向の視野に入る一部分のみを切り出してユーザに提示する必要がある。
【0050】
図7は、経路R上の特定地点P(i)における視線方向の定義例を示す平面図である。視線方向は、地点P(i)から伸びる視線ベクトルE(i)の方向として定義される。ここに示す例の場合、地点P(i)から図の上方に向かう方向を0°とし、時計回りに0°から360°の方位角φ(i)を定義している。別言すれば、0°方向を向いた軸を基準として、視線ベクトルE(i)のなす角φ(i)(ただし、0°≦φ(i)<360°)が方位角として定義されることになる。
【0051】
方位角φ(i)は、経路R上の第i番目の地点P(i)に位置する仮想ユーザが、どの方向に視線を向けているかを示すパラメータである。図示の例の場合、経路Rは、図における左右方向(水平方向)に伸びる直線であるので、方位角φ(i)=90°は、ノードBへ向かう方向を示し、方位角φ(i)=270°は、ノードAへ向かう方向を示すことになる。
【0052】
このように、仮想ユーザの現在位置を示す地点P(i)と視線方向を示す方位角φ(i)とが定まれば、当該仮想ユーザからみた視野画像Q(P(i),φ(i))を抽出することができる。図8は、このような視野画像Q(P(i),φ(i))を切り出す作業を示す平面図である。図に太線で囲って示す視野画像Q(P(i),φ(i))は、図3に示す経路R上の地点P(i)に位置する仮想ユーザが、視線を方位角φ(i)=90°で示される方向(ノードBに向かう方向)に向けている場合に、当該仮想ユーザの視野に現れるべき画像である。
【0053】
このような画像を得るには、第i番目のフレーム画像F(i)から、方位角「φ(i)−Δ/2」〜「φ(i)+Δ/2」の範囲内の視界を構成する部分を切り出す処理を行えばよい。ここで、Δは所定の切出角度であり、切り出された視野画像Q(P(i),φ(i))の横幅に相当する角度になる。図示の例の場合、方位角φ=90°という設定であるため、φ=90°の位置を中心にして、横幅Δに相当する視野画像の切り出しが行われている。
【0054】
図7に示す地点P(i)からノードBへ向かって移動中の仮想ユーザが、移動方向(ノードBに向かう方向)に視線を向けている場合に、その視界に入る動画を提示するには、各フレーム画像F(i),F(i+1),F(i+2),... から方位角φ=90°で示される視野画像を切り出し、これら視野画像を順番に(撮影順どおりに)表示させる処理を行えばよい。そうすれば、図8の太枠内に示されている景色において、方位角90°の近傍位置に置かれている彫刻像が徐々に近づいてくる動画が提示されることになる。
【0055】
もちろん、仮想ユーザは、移動中に視線方向(方位角φ)を変えることができる。視線方向(方位角φ)に変化が生じた場合、図8に太枠で示されている切出位置が左右に動くことになる。仮想ユーザは、視線方向を移動方向に対して逆向きにすることもできる。たとえば、図7に示す地点P(i)からノードBへ向かって移動中の仮想ユーザが、方位角φ=270°という設定を行うと、移動方向はノードBに向かう方向であるのに、視線方向はノードAに向かう方向ということになり、図8に示すようなフレーム画像から、φ=270°の位置を中心にして、横幅Δに相当する視野画像の切り出しが行われる。その結果、方位角270°の近傍位置に置かれている彫刻像が徐々に遠ざかってゆく動画が提示されることになる。
【0056】
一方、ユーザは、移動方向を任意の方向に設定することができる。たとえば、図7に示す地点P(i)に位置する仮想ユーザについて、移動方向をノードAに向かう方向に設定し、視線方向を方位角φ=270°とする設定を行った場合、図8において、方位角270°の近傍位置に置かれている彫刻像が徐々に近づいてくる動画が提示されることになる。このような動画を提示するには、各フレーム画像F(i),F(i−1),F(i−2),... から方位角φ=270°で示される視野画像を切り出し、これら視野画像を順番に(撮影順とは逆の順番に)表示させる処理を行えばよい。
【0057】
以上、図7に示す1本の経路R(ノードA,B間の経路)上を仮想ユーザが移動した場合の動画提示の基本手法を説明したが、複数の経路が存在する場合も、個々の経路について同様の動画提示処理を行えばよい。たとえば、図2に示す美術館の参観路は、6本の経路R1〜R6によって構成されているが、個々の経路R1〜R6のそれぞれについて、上述の例と同様に動画撮影を行っておけば、仮想ユーザが、この参観路上のどの位置をどの方向に進み、視線をどの方向に向けていたとしても、適切な動画提示を行うことができる。
【0058】
このように、仮想ユーザを、参観路上の所望の方向に移動させ、その視線を所望の方向に向けさせる指示入力を効率的に行うために、図9に示すようなコントローラ50を用意しておくのが好ましい。このコントローラ50は、コンピュータゲーム用の入力機器として利用されている一般的な装置であり、右側に5つのボタンB1〜B5、中央に3つのボタンB6〜B8、左側に1つのボタンB9が設けられている。ここで、図示のボタンB1は前進ボタン、ボタンB2は後退ボタン、ボタンB3は左向きボタン、ボタンB4は右向きボタン、ボタンB5は停止ボタンとして機能する。
【0059】
ここで、前進ボタンB1は、仮想ユーザを経路上の第1の方向に移動させる動作を開始させる指示を与えるボタンとして機能し、後退ボタンB2は、仮想ユーザを経路上の第2の方向に移動させる動作を開始させる指示を与えるボタンとして機能し、停止ボタンB5は、仮想ユーザを停止させる指示を与えるボタンとして機能する。
【0060】
たとえば、仮想ユーザが、図7に示す経路R上の地点P(i)の位置に停止状態にあるときに、前進ボタンB1が押されると、当該仮想ユーザが、所定速度でノードBに向けて移動してゆく動画の再生が開始する。すなわち、各フレーム画像F(i),F(i+1),F(i+2),... から所定の方位角φで示される視野画像の切り出しが行われ、これら視野画像が順送り(撮影された順)で表示される。そして、停止ボタンB5が押された時点で、動画の再生は中止され、その時点で表示されていたフレーム画像が静止画として表示されることになる。
【0061】
一方、仮想ユーザが、図7に示す経路R上の地点P(i)の位置に停止状態にあるときに、後退ボタンB2が押されると、当該仮想ユーザが、所定速度でノードAに向けて移動してゆく動画の再生が開始する。すなわち、各フレーム画像F(i),F(i−1),F(i−2),... から所定の方位角φで示される視野画像の切り出しが行われ、これら視野画像が逆送り(撮影された順とは逆順)で表示される。そして、停止ボタンB5が押された時点で、動画の再生は中止され、その時点で表示されていたフレーム画像が静止画として表示されることになる。
【0062】
また、前進ボタンB1を押すことにより、仮想ユーザが所定速度でノードBに向けて移動してゆく動画の再生が行われている状態において、後退ボタンB2を押すと、その時点で、仮想ユーザの移動方向はノードAに向けた方向に反転することになる。同様に、後退ボタンB2を押すことにより、仮想ユーザが所定速度でノードAに向けて移動してゆく動画の再生が行われている状態において、前進ボタンB1を押すと、その時点で、仮想ユーザの移動方向はノードBに向けた方向に反転することになる。
【0063】
なお、ここでは説明の便宜上、前進ボタンB1,後退ボタンB2と呼んでいるが、仮想ユーザの視線方向は360°の任意の方向に向けることができるので、ここで言う「前進」あるいは「後退」とは、「視線方向に進む」あるいは「視線方向とは逆方向に進む」という一般的な意味での前後を示すものではなく、単に、経路R上の「第1の方向(この例では、ノードAからBに向かう方向)に進む」あるいは「第2の方向(この例では、ノードBからAに向かう方向)に進む」ことを意味するものである。
【0064】
仮想ユーザの視線方向を変えるには、左向きボタンB3もしくは右向きボタンB4を押す操作を行えばよい。仮想ユーザが移動中であれ、停止中であれ、左向きボタンB3が押されている間、視線方向が所定速度で左向きに変化するように方位角φが更新され、右向きボタンB4が押されている間、視線方向が所定速度で右向きに変化するように方位角φが更新される。たとえば、視線方向を示す方位角φが90°に設定されていた場合、左向きボタンB3が押されている間、方位角φを89°,88°,87°,... と減少させる処理(0°に達した場合は、360°から減少させる処理)が行われ、右向きボタンB4が押されている間、方位角φを91°,92°,93°,... と増加させる処理(360°に達した場合は、0°から増加させる処理)が行われる。
【0065】
こうして、ユーザは、ボタンB1〜B5を操作することにより、美術館の回廊を構成する仮想空間内を自由に歩き回り、任意の方向に視線を向けることができる。そして、ディスプレイ画面上には、このユーザの指示に基づいて、仮想ユーザから見た視野画像が動画として表示されることになる。
【0066】
この美術館の参観路は、図2に示すように、ノードを両端点とする複数の経路R1〜R6によって構成されている。そこで、ここに示す例では、仮想ユーザがいずれかのノード位置に到達した場合には、自動的に仮想ユーザを当該ノードで停止させ、ディスプレイ画面上にノードに到達した旨のメッセージを表示させるようにしている。また、ユーザに、到達ノードを始点とする新たな経路を選択させる処理を行い、ユーザが経路の選択指示を入力したら、仮想ユーザが当該選択経路へと移動する状態を示す動画再生を行うようにしている。このような方法を採ることにより、図2に示すノードN2やN5の近傍のように、分岐を含む経路が存在する場合にも、ユーザは、所望の方向へと進む指示を与えることができる。
【0067】
<<< §2. 本発明の基本的実施形態 >>>
さて、§1では、本発明に係る動画提示装置が採用する動画提示の基本手法を説明した。この基本手法を用いて動画提示を行えば、ディスプレイ画面上には、たとえば、図8の太枠内に示す視野画像Q(P(i),φ(i))のような画像が表示されることになる。しかも仮想ユーザの移動や視線向きの変更に応じた動画の提示が行われることになる。
【0068】
ただ、§1で述べた例では、被写体として動体が含まれていないため、臨場感に乏しいという問題がある。たとえば、図8に示す例の場合、フレーム画像F(i)は、全方位画像であるため、周囲360°の映像が含まれているものの、この美術館の建物内部の内装画像と、展示品である絵画や彫刻が映っているだけであり、仮想ユーザ以外の他の観覧者の映像は映っていない。もちろん、絵画や彫刻のみを集中して鑑賞したい場合には、他の観覧者の映像は邪魔になるので、被写体として動体を含まない動画を用意した方が好ましいであろう。しかしながら、ユーザに対して、「実際に美術館を訪問し、他の観覧者とともに鑑賞している」という臨場感を与えるためには、仮想ユーザ以外の他の観覧者を被写体として含む動画を用いるのが好ましい。特に、様々な史跡や観光地を巡る実体験をユーザに与えるための動画提示装置の場合、人や車などの動体が被写体として含まれた動画が提示されるのが好ましい。
【0069】
本発明は、このように被写体に動体を含む動画を提示することを前提としたものである。被写体に動体を含む動画を用意する方法は、基本的には、§1で述べた方法と同じである。ただ、撮影現場に、動体が存在する環境で動画撮影を行えばよい。たとえば、ここで例示する美術館の例の場合、実際の観覧者(一般入場者でもよいし、撮影のために雇用したエキストラでもよい)が回廊内を歩き回っている状態で、図4に示すような全方位カメラを用いた撮影を行えばよい。そうすれば、図8の太枠内に示す視野画像Q(P(i),φ(i))内にも観覧者が映り込むことになり、被写体に動体を含む動画の提示が可能になる。その結果、ユーザが美術館の疑似的な観覧体験を行う際に、高い臨場感を与えることが可能になる。
【0070】
しかしながら、§1で述べた基本手法をそのまま利用して、他の観覧者(動体)を含む動画提示を行うと、他の観覧者(動体)の動きが不自然になるという問題が生じる。たとえば、図4に示すような全方位カメラを、図3に示す経路R上のノードAからノードBに向かって移動させながら動画撮影を行うと、§1で述べたとおり、各地点P(1),P(2),... ,P(i),... ,P(N−1),P(N)において撮影されたフレーム画像F(1),F(2),... ,F(i),... ,F(N−1),F(N)が得られる。これらN枚のフレーム画像からなる動画は、順送り(撮影順)に再生する限り動体の動きは自然になるが、逆送り(撮影順と逆の順)に再生すると、動体の動きは逆転して不自然になる。
【0071】
たとえば、図7に示す地点P(i)からノードBへ向かって移動中の仮想ユーザの視野画像を動画として提示する場合、各フレーム画像F(i),F(i+1),F(i+2),... をこの順に取り出し、視線方向(方位角φ)に応じた視野画像を切り出して順次表示することになるので、動画は順送り再生されることになる。したがって、他の観覧者(動体)の動きは自然である。ところが、地点P(i)からノードAへ向かって移動中の仮想ユーザの視野画像を動画として提示する場合は、各フレーム画像F(i),F(i−1),F(i−2),... をこの順に取り出し、視線方向(方位角φ)に応じた視野画像を切り出して順次表示することになるので、動画は逆送り再生されることになり、他の観覧者(動体)の動きは不自然になってしまう。
【0072】
本発明は、このような問題に対処するための新たな提案を行うものであり、被写体として動体を含ませることにより視聴者に高い臨場感を与えつつ、当該動体の動きが自然に見えるような動画提示が可能な動画提示装置を提供することを目的とする。
【0073】
本発明の基本概念は、図3に示すような経路Rに関する動画提示を行う際に、この同一の経路Rについて、ノードAからBに向かって移動しながら撮影した往路動画Maと、ノードBからAに向かって移動しながら撮影した復路動画Mbと、の2通り動画を用意しておき、ユーザの所望する移動方向に応じて、順送り再生を行うことが可能ないずれか一方の動画の再生を行うようにする、というものである。そうすれば、仮想ユーザの移動方向がどちらであっても、動画は常に順送りで再生されることになるので、動体を含んだ画像をユーザに提示して高い臨場感を与えつつ、当該動体の動きが自然に見えるような動画提示が可能になる。
【0074】
以下、図10のブロック図を参照しながら、本発明の基本的な実施形態に係る動画提示装置100の構成およびその動作を説明する。図示のとおり、この動画提示装置100は、動画格納部110、ルート情報格納部120、動画再生部130、移動方向設定部140、指示入力部150によって構成されており、移動する視点から見た視界を動画として提示する機能を有している。
【0075】
ここで、動画格納部110は、第1のノードと第2のノードとを接続する経路Rに沿って移動しながら撮影した動画を格納する構成要素である。ただ、同一の経路Rについて、第1のノードから第2のノードに向かう往路方向に移動しながら撮影した往路動画Maと、第2のノードから第1のノードに向かう復路方向に移動しながら撮影した復路動画Mbと、の2種類の動画を格納する点が大きな特徴となる。
【0076】
図11は、この動画格納部110内に格納される往路動画Maと復路動画Mbとの関係を示す動画フレームチャートである。§1では、図3を参照して、経路R上に離散的に定義された各地点P(1),P(2),... ,P(i),... ,P(N−1),P(N)において撮影されたフレーム画像F(1),F(2),... ,F(i),... ,F(N−1),F(N)の集合体からなる動画の構成を説明した。図11に示す往路動画Maを構成するN枚のフレーム画像F(1)〜F(N)は、図3に示すN枚のフレーム画像F(1)〜F(N)と全く同じものである。
【0077】
すなわち、この往路動画Maを構成するN枚のフレーム画像F(1)〜F(N)を用意するには、まず、魚眼レンズ10(もしくは全方位ミラーでもよい)を装着した図4に示すような全方位カメラをノードAからBに向かう往路方向に移動させながら、所定の水平面より上方に位置する半球状視界に相当する歪曲円形画像を撮影する(図5参照)。そして、この歪曲円形画像から、仰角が所定の基準値以下の領域を切り出し、これに歪み補正を施すことにより、図6に示すような矩形状のパノラマ画像(全方位画像)を得ればよい。地点P(i)における撮影画像から得られるパノラマ画像がフレーム画像F(i)になる。
【0078】
一方、復路動画Mbを構成するN枚のフレーム画像G(1)〜G(N)も、ほぼ同じ方法で用意することができる。ただし、撮影時の全方位カメラの移動方向は、ノードBからAに向かう復路方向にする。結局、往路動画Maと復路動画Mbとは、いずれも同一の経路R上の各地点で撮影されたフレーム画像の集合体であるが、撮影時の移動方向が逆転していることになる。ここで、撮影時のフレームレート(たとえば、30フレーム/秒)および全方位カメラの移動速度(たとえば、150mm/秒)を統一しておけば、往路動画Maも復路動画Mbも、いずれも同じN枚のフレーム画像によって構成されることになり、しかも同一地点で撮影された一対のフレームが、互いに対応関係を有する。
【0079】
図11において、往路動画Maを構成する各フレーム画像F(1)〜F(N)と復路動画Mbを構成する各フレーム画像G(1)〜G(N)との間を上下に結ぶ矢印は、このような1対1の対応関係を示すものである。たとえば、地点P(1)で撮影されたフレームF(1)とフレームG(N)とは対応し、地点P(2)で撮影されたフレームF(2)とフレームG(N−1)とは対応する。一般式で示せば、第i番目の地点P(i)で撮影されたフレームF(i)とフレームG(N−i+1)とは対応する。
【0080】
なお、往路動画Maを構成する個々のフレーム画像と復路動画Mbを構成する個々のフレーム画像との撮影地点を正確に一致させるためには、経路R上にレールを敷設し、図4に示す全方位カメラをこのレールに沿って往路方向および復路方向に移動させながら撮影を行うようにするのが好ましい。
【0081】
ここで、上述した方法で撮影された動画が、被写体として動体を含まない動画であった場合は、互いに対応するフレーム画像F(i)とG(N−i+1)とは、基本的には同じ内容の画像になる。動体を含まない映像には、美術館の内装、絵画、彫刻等の静物が映っているだけであるから、同一地点で撮影されたフレーム画像は、撮影時の照明環境が変わらなければ同じ画像になる。
【0082】
これに対して、被写体として動体を含む動画を撮影した場合は、動体の動きが撮影テイクごとに異なるため、互いに対応するフレーム画像F(i)とG(N−i+1)とは、背景部分については同じ内容であっても、動体部分(前景部分)については異なる内容になる。もちろん、動体として、観覧者の役を演じるエキストラを雇用し、往路動画Maの撮影時と復路動画Mbの撮影時とで、同じ演技を行うようにすれば、動体部分(前景部分)についても、ある程度類似した動画を用意することは可能である。しかしながら、実写撮影を行う以上、フレーム画像F(i)とG(N−i+1)の内容を完全に一致させることは不可能であり、また、本発明では、両者を敢えて完全一致させる必要もない。
【0083】
このように、図10に示す動画格納部110には、経路R上を往路方向に移動しながら撮影した、被写体に動体を含む往路動画Maと、同じ経路R上を復路方向に移動しながら撮影した、被写体に動体を含む復路動画Mbと、が格納されている。なお、ここに示す実施形態は、図2に示すような6本の経路R1〜R6を含む参観路についての動画提示を行う装置に係るものであるので、実際には、動画格納部110内には、これら6本の経路R1〜R6のそれぞれについて、往路動画Maと復路動画Mbとが格納されることになる。図10では、図示の便宜上、経路R1についての往路動画M1aと復路動画M1bとが格納された状態のみ明示されているが、実際には、経路R2〜R6についても同様にそれぞれ2通りの動画が格納されていることになる。
【0084】
なお、特定の経路について、いずれの方向を往路方向あるいは復路方向とするかは、この装置の設計者の判断で自由に決めることができるので、各動画を撮影する際の便宜を考慮して、適宜、定めればよい。
【0085】
一方、ルート情報格納部120は、各ノードを介した各経路の接続関係を示すルート情報RTを格納する構成要素である。一般に、3以上の複数のノードを接続する複数の経路についての動画を取り扱う場合には、動画格納部110内に、3以上の複数のノードを接続する複数の経路についての動画をそれぞれ格納しておく必要がある。ここに示す例の場合は、上述したように、6個のノードN1〜N6と、これらのうちの所定の一対間を接続する6本の経路R1〜R6とによって参観路が形成されており、動画格納部110内には、この6本の経路R1〜R6についての動画(往路動画Maと復路動画Mb)が格納されている。ルート情報格納部120には、各経路の接続関係を示すルート情報RTが格納されることになる。具体的には、たとえば、ルート情報RTとして、「ノードN1,N2:経路R1」のような情報を用意しておけば、両ノードN1,N2間に経路R1が存在することを示すことができる。
【0086】
また、指示入力部150は、ユーザの指示を入力する構成要素であり、仮想ユーザに対する移動/停止、移動方向の設定、視線方向の変更などの指示を与えることができる。移動方向の設定指示は、移動方向設定部140に与えられる。移動方向設定部140は、与えられた指示に基づいて、現在仮想ユーザが位置する経路R上の移動方向として、往路方向か復路方向かのいずれか一方を設定する。
【0087】
一方、仮想ユーザに対する移動/停止の指示や、視線方向の変更の指示は、動画再生部130に与えられる。動画再生部130は、与えられた指示に基づいて、動画格納部110に格納されている動画を再生し、ディスプレイ装置200の画面に表示する機能を果たす。たとえば、仮想ユーザに対する移動指示が与えられた場合は、移動方向設定部140に設定されている移動方向を参照して、往路方向が設定されている場合には、往路動画Maを再生対象として順送り再生し、復路方向が設定されている場合には、復路動画Mbを再生対象として順送り再生する。また、仮想ユーザに対する停止指示が与えられた場合は、動画再生を停止し、現時点で表示しているフレーム画像を静止画像として表示する。
【0088】
なお、ここに示す基本的実施形態の場合、動画格納部110に格納されている各動画画像は、経路Rに沿って移動しながら全方位カメラを用いて撮影した360°の視界をもつ全方位画像を、フレーム単位で収録した画像(図6参照)によって構成されている。したがって、動画再生部130は、図8に示すように、動画画像を構成する個々のフレームから、所定の視線方向(方位角φ)に応じた視野画像Qを切り出し、これをディスプレイ装置200の画面に表示する処理を行うことになる。指示入力部150は、特定の視線方向を示す指示を入力する機能を有しており、動画再生部130は、この指示入力部150から与えられた指示に基づいて、視野画像Qを切り出す位置を決定するための視線方向(方位角φ)を認識する。
【0089】
実際には、指示入力部150は、図9に示すようなコントローラ50と、このコントローラ50による操作指示を取り込むインターフェイスと、によって構成される。§1で述べたとおり、このコントローラ50は、前進ボタンB1と、後退ボタンB2と、左向きボタンB3と、右向きボタンB4と、を有している。そして、移動方向設定部140は、前進ボタンB1の操作指示に基づいて、移動方向を第1の方向に設定し、後退ボタンB2の操作指示に基づいて、移動方向を第2の方向に設定する処理を行う。
【0090】
また、動画再生部130は、左向きボタンB3の操作指示に基づいて、視線方向を左向きに変化させ、右向きボタンB4の操作指示に基づいて、視線方向を右向きに変化させる処理を行う。より具体的には、動画再生部130は、現在の方位角φを記憶する機能をもち、左向きボタンB3が押されたときにφを減少させる処理(0°に達した場合は、360°から減少させる処理)を行い、右向きボタンB4が押されたときにφを増加させる処理(360°に達した場合は、0°から増加させる処理)を行えばよい。
【0091】
なお、ここに示す実施形態では、図2に例示するように、複数の経路からなる参観路を自由に移動した状態の動画提示が可能である。そこで、指示入力部150は、特定のノードを介して第1の経路から第2の経路へ移動する旨のユーザの経路乗換指示を入力する機能を有し、動画再生部130は、当該経路乗換指示が入力された場合に、ルート情報格納部120内のルート情報RTを参照することにより、第1の経路についての動画再生に継続して、第2の経路についての動画再生を行う機能を有している。たとえば、図2に示す例において、ノードN5からN2に向かって経路R6を移動した後、ノードN2からノードN3に向かって経路R2を移動するような経路乗換指示が入力された場合、動画再生部130は、ルート情報RTを参照することにより当該経路乗換指示を認識し、経路R6についての動画再生に継続して、経路R2についての動画再生を行うことになる。
【0092】
このように、図10に示す動画提示装置によれば、ユーザに対して、図2に示す美術館の回廊の参観路を任意の方向に移動しながら任意の方向に視線を向けた状態の動画提示を行うことができる。しかも、どの経路をどの方向に移動する場合でも、往路動画Maおよび復路動画Mbのうちのいずれか一方(順送り再生が可能な方)が再生されるため、動画は常に順送り再生されることになる。このため、動体の動きが常に自然に見えるような動画提示が可能になる。
【0093】
たとえば、図11に示す例において、仮想ユーザが経路R上の地点P(i)近傍を、方位角φ=90°(ノードBを向く方向)に視線方向を向けて、往路方向(ノードBに向かう方向)に移動する場合を考えてみよう。この場合、移動方向設定部140には往路方向が設定されるので、動画再生部130は、往路動画Maを再生対象として順送り再生することになる。
【0094】
図12は、このような往路動画Maの再生画面を示す図である。順送り再生では、往路動画Maを構成するフレーム画像F(i−1),F(i),F(i+1)がこの順で表示されるため、ディスプレイ画面上には、正面を向いた左側の人物が接近し、背面を向いた右側の人物が遠ざかってゆく自然な動画が提示されることになる。なお、実際には、フレームレートが1/30秒程度だと、1フレームの違いにより図示の例のような人物位置の極端な変遷は見られないが、ここでは説明の便宜上、人物位置の変遷を誇張して示してある。また、この図12に示す各画像は、実際には、図8に示すようなパノラマ画像の一部から切り出された視野画像というべきものであるが、ここでは、視線方向を示す方位角φ=90°に固定された状態を考え、便宜上、これら視野画像をフレーム画像F(i−1),F(i),F(i+1)と呼ぶことにする。
【0095】
このような順送り再生を行えば、フレーム画像の表示順が撮影時の時間の流れどおりになるため、ユーザにとって違和感は生じず、ごく自然な動画として把握される。これに対して、もし同じフレーム画像を逆送り再生したとすると、正面を向いた左側の人物が遠ざかってゆき、背面を向いた右側の人物が近づいてくるという不自然な動画が提示されることになる。
【0096】
一方、図13は、復路動画Mbの再生画面を示す図である。順送り再生では、復路動画Mbを構成するフレーム画像G(N−i),G(N−i+1),G(N−i+2)がこの順で表示されるため、ディスプレイ画面上には、正面を向いた女性が近づいてくる自然な動画が提示されることになる(ここでも説明の便宜上、人物位置の変遷を誇張して示してあり、また、各視野画像をフレーム画像と呼んでいる)。このような順送り再生を行えば、フレーム画像の表示順が撮影時の時間の流れどおりになるため、ユーザにとって違和感は生じず、ごく自然な動画として把握される。これに対して、もし同じフレーム画像を逆送り再生したとすると、正面を向いた女性が遠ざかってゆくという不自然な動画が提示されることになる。
【0097】
上述したとおり、動画再生部130は、図11に示す経路R上を往路方向(ノードBに向かう方向)に移動する際には、図12に示すような往路動画Maを順送り再生し、図11に示す経路R上を復路方向(ノードAに向かう方向)に移動する際には、図13に示すような復路動画Mbを順送り再生することになる。すなわち、いずれの方向に移動する場合も、動画は順送り再生されるため、常に自然な動画提示が行われることになる。
【0098】
以上、図10のブロック図を参照しながら、本発明の基本的な実施形態に係る動画提示装置100の構成を説明したが、実際には、これらの各構成要素はコンピュータおよびその周辺機器を利用して構成することができる。すなわち、動画格納部110およびルート情報格納部120、ならびに移動方向設定部140は、コンピュータ用のメモリやディスク装置などの記憶装置によって構成することができ、動画再生部130は、所定のプログラムに基づいて動作するコンピュータのプロセッサによって構成することができ、指示入力部150は、ユーザインターフェイスを備えたコンピュータ用の入力装置によって構成することができる。したがって、実用上は、この動画提示装置100は、コンピュータ機器に所定のプログラムを組み込むことによって構成される。
【0099】
<<< §3. 遷移期間を設定する実施形態 >>>
上述した§2では、同一の経路Rについて、往路動画Maと復路動画Mbとの双方を用意しておき、仮想ユーザの移動方向に応じて、これら2通りの動画のいずれか一方を選択し、常に順送り再生を行うことにより自然な動画提示を行う、という本発明の基本的な特徴を述べた。結局、本発明では、仮想ユーザの移動方向に応じて、往路動画Maと復路動画Mbとを切り替えて提示することになる。
【0100】
ところで、往路動画Maを構成するフレーム画像と復路動画Mbを構成するフレーム画像とは、互いに同一地点で撮影された画像であっても、含まれている動体が異なるため、両者では内容に相違が生じることは既に述べたとおりである。たとえば、図12に示すフレーム画像F(i)は、地点P(i)で撮影された往路動画Maの1フレームを構成する画像であり、図13に示すフレーム画像G(N−i+1)は、同じく地点P(i)で撮影された復路動画Mbの1フレームを構成する画像である。いずれも同一地点P(i)で撮影され、同一視線方向に関する視野を示す画像であるので、背景部分は同一であるが、別々の撮影テイクによって得られた画像であるため、動体部分(前景部分)が異なっている。すなわち、図12に示すフレーム画像F(i)には、2人の人物が映っているのに対して、図13に示すフレーム画像G(N−i+1)には、全く異なる別な人物が映っている。
【0101】
さて、ここで、仮想ユーザが、図11に示す経路Rを往路方向に移動中に、地点P(i)で移動方向を反転し、復路方向に移動し始めた場合を考えてみよう。このように移動方向を反転させる指示を与えるには、指示入力部150に、移動方向を反転させる反転指示を入力する機能をもたせておき、移動方向設定部140が、この反転指示の入力に基づいて、往路方向から復路方向へ、もしくは、復路方向から往路方向へ、移動方向を切り替える処理を行うようにしておけばよい。具体的には、§2で述べたとおり、図9に示すようなコントローラ50を指示入力部150として利用した場合であれば、前進ボタンB1を押して往路方向への移動指示を与えて往路方向へ移動してゆく動画を提示させている最中に、後退ボタンB2を押すことにより反転指示入力を行うことができ、また、復路方向へ移動してゆく動画を提示させている最中に、前進ボタンB1を押すことにより反転指示入力を行うこともできる。
【0102】
図14は、このような反転指示入力により、地点P(i)において、往路方向から復路方向への切り替えが行われた場合の動画再生部130による動画の基本切替態様を示すタイムチャートである。本願に示すタイムチャートの横軸は、左から右へと流れる時間tを表す時間軸であり、図14の上段の帯は往路動画Maの各フレーム画像を示し、下段の帯は復路動画Mbの各フレーム画像を示している。チャートにおいて、往路動画Maを示す上段の帯の左方向が第1のフレームF(1)、右方向が第NのフレームF(N)になる。同様に、復路動画Mbを示す下段の帯の左方向が第1のフレームG(1)、右方向が第NのフレームG(N)になる。
【0103】
この例の場合、反転指示入力時t0までは、仮想ユーザが図11に示す経路RのノードA側から地点P(i)へ向かって往路方向に移動中であり、動画再生部130は、チャートの上段の帯に示す往路動画Maのハッチング部分を順送り再生することになる。ところが、時点t0において反転指示入力が与えられると、移動方向が復路方向に反転する。そして、反転指示入力時t0以降は、仮想ユーザが図11に示す経路Rの地点P(i)からノードAへ向かって復路方向に移動することになり、動画再生部130は、チャートの下段の帯に示す復路動画Mbのハッチング部分を順送り再生することになる。結局、このチャートにおけるハッチング部分が、実際に表示されるフレーム画像ということになる。ハッチング部分に記載された「順」なる記号は、順送り再生が行われることを示している。
【0104】
このように、時点t0,地点P(i)で反転指示入力が与えられた場合、時点t0において、再生対象となる動画が、往路動画Maから復路動画Mbに切り替えられる。ここで、この切替前後のフレーム画像の変遷を見てみると、図12に示すフレーム画像F(i−1)→フレーム画像F(i)→図13に示すフレーム画像G(N−i+1)→フレーム画像G(N−i+2)という順番で表示が行われることになる。このため、フレーム画像F(i)→フレーム画像G(N−i+1)への切替時に、映っている動体に不連続が生じることになる。すなわち、フレーム画像F(i)までは2人の人物が映っていたのに、フレーム画像G(N−i+1)からは全く別な1人の人物に入れ替わってしまう。
【0105】
もちろん、ユーザから見れば、自分が与えた反転指示入力に起因して、仮想ユーザの移動方向が反転し、動画の内容も切り替わったことになり、しかも、切替後の動画(復路動画Mb)に登場した新たな人物の動きも自然なものであるので、人物が入れ替わったとしても、それほど大きな違和感は生じないであろう。しかしながら、時点t0において、突然、人物の入れ替わりが生じるのは、より自然な動画提示を行う上では好ましくない。このような動体の突然の入れ替わり現象を緩和するには、往路動画Maの提示と復路動画Mbの提示とを切り替える際に遷移期間Tを設定し、この遷移期間Tの期間中に切替前動画と切替後動画とをブレンドさせた合成画像を提示するようにすればよい。そうすれば、映像中の動体を滑らかに切り替えることができ、切替時の動体変化の不自然さを低減することができる。
【0106】
図15は、このような遷移期間Tを介した切替態様を示すタイムチャートである。図14に示すタイムチャートとの相違は、反転指示入力時t0から時点t1に至るまでに遷移期間Tが設けられ、この遷移期間Tにおいて、往路動画Maのフレーム画像と復路動画Mbのフレーム画像とをブレントさせた合成画像の表示が行われる点である。すなわち、この§3で述べる実施形態の場合、動画再生部130は、反転指示入力時t0までは、チャートの上段の帯に示す往路動画Maのハッチング部分を順送り再生し、時点t1以降は、チャートの下段の帯に示す復路動画Mbのハッチング部分を順送り再生する。上述したように、図のハッチング部分に記載された「順」なる記号は、順送り再生が行われることを示している。
【0107】
そして、動画再生部130は、反転指示入力後の所定期間を遷移期間Tに設定し、この遷移期間Tの間、切替前の移動方向に応じた再生対象である切替前動画(図15に示す例の場合は往路動画Ma)を構成する切替前画像と、切替後の移動方向に応じた再生対象である切替後動画(図15に示す例の場合は復路動画Mb)を構成し切替前画像と同じ位置(図15に示す例の場合は地点P(i))で撮影された切替後画像と、をブレンドした合成画像を表示する。図15に示す例の場合、遷移期間Tの間、往路動画Maを構成する第i番目のフレーム画像F(i)と、これに対応する復路動画Mbを構成する第(N−i+1)番目のフレーム画像G(N−i+1)と、をブレンドさせた合成画像の表示が行われることになる。
【0108】
図16は、動画再生部130によって行われる画像ブレンド処理の原理を示す図である。図示するフレーム画像F(i)は、図12に示すように、地点P(i)において撮影された往路動画Maを構成する画像であり、フレーム画像G(N−i+1)は、図13に示すように、地点P(i)において撮影された復路動画Mbを構成する画像である。上述したとおり、これら2枚のフレーム画像は、いずれも同一地点P(i)で撮影された画像であるが、フレーム画像F(i)には動体として2人の人物が含まれており、フレーム画像G(N−i+1)には動体として別な1人の人物が含まれている。両画像は、同じ視線方向(方位角φ)について切り出された視野画像であるため、背景部分は共通するものの、動体部分(前景部分)は異なっている。
【0109】
合成画像B(i)は、これら2枚の画像F(i)およびG(N−i+1)を、所定の割合に基づいてブレンドすることにより得られる。このように、2枚の画像をブレンドして合成画像B(i)を得る方法としては、一般に、「αブレンド」と呼ばれる方法が知られている。この方法では、切替後の画像G(N−i+1)の割合をα、切替前の画像F(i)の割合を(1−α)として、B(i)=(1−α)・F(i)+α・G(N−i+1)なる式に基づいて両画像を合成することにより、合成画像B(i)を得ることができる。具体的には、両画像の対応する画素の画素値(カラー画像の場合は、各色の画素値)のそれぞれについて、上記式に基づく合成演算を行い、得られた値を新たな画素値とする画素の集合体を合成画像とすればよい。
【0110】
ここで、遷移期間Tの経過とともに値αを0から1に向けて徐々に増加させるようにすれば、合成画像B(i)は、画像F(i)から画像G(N−i+1)に徐々に変化してゆくことになる。図16に示す合成画像B(i)は、α=0.5のときの状態(遷移期間Tの中間時点の状態)を示すものである。上述のとおり、両画像は背景部分を共通にする画像であるので、遷移期間Tの期間中に値αを0から1に向けて徐々に増加させてゆくと、背景画像は一定のまま、2人の人物が徐々に消えてゆき、逆に別な1人の人物が徐々に現れてくる動画表示(いわゆる、ディゾルブ効果をもったトランジション)が行われることになる。
【0111】
図15に示すタイムチャートの遷移期間Tにおいて、上段および下段に示す各帯のハッチング部分が三角形になっているのは、このようなブレンド割合の時間変化を示すものである。すなわち、ハッチング部分の縦幅は、各画像のブレンド割合を示しており、上段に示す往路動画Maのハッチング部分の縦幅((1−α)に相当)は時間とともに減少してゆき、下段に示す復路動画Mbのハッチング部分の縦幅(αに相当)は時間とともに増加してゆく。また、図のハッチング部分に記載された「静」なる記号は、仮想ユーザを静止させた静止画像(ここでは、背景画像が一定の画像を意味し、動体が徐々に入れ替わるという点ではあくまでも動画画像である)が提示されることを意味している。
【0112】
すなわち、図示の例の場合、反転指示入力時t0の直前には、往路動画Maを構成する第i番目のフレーム画像F(i)が表示されていたので、これに続く遷移期間Tの間は、当該フレーム画像F(i)と、これに対応する復路動画Mbの第(N−i+1)番目のフレーム画像G(N−i+1)と、をブレンドした合成画像B(i)が表示されることになる。そして、遷移期間Tが終了した時点t1以降は、復路動画Mbがフレーム画像G(N−i+1)から順送り再生される。
【0113】
このように遷移期間Tを設定した場合、往路動画Maから復路動画Mbへの切替前後のフレーム画像の変遷は次のようになる。まず、往路動画Maの順送り再生により、図12に示すフレーム画像F(i−1)→フレーム画像F(i)と表示され、時点t0において遷移期間Tに入る。この遷移期間Tでは、図16に示す合成画像B(i)が表示され(ブレンド割合αは、0から1に徐々に増加する)、遷移期間終了後には、図13に示すフレーム画像G(N−i+1)→フレーム画像G(N−i+2)という復路動画Mbの順送り再生が行われる。
【0114】
したがって、ユーザから見れば、経路Rを往路方向に移動中に反転指示入力を与えると、仮想ユーザの位置は地点P(i)で停止し、図16の上段左に示すフレーム画像F(i)から図16の上段右に示すフレーム画像G(N−i+1)に徐々に変化する動画が表示され、フレーム画像G(N−i+1)に完全に切り替わった時点で、経路Rを復路方向に移動する動画が表示されることになる。その結果、遷移期間Tにおいて、これまで映っていた2人の人物が、ディゾルブ効果をもったトランジションによって、別な1人の人物に入れ替わることになる。すなわち、映像中の動体が滑らかに切り替わる効果が得られ、往路動画Maから復路動画Mbへの切替時の動体変化の不自然さを解消することができる。
【0115】
結局、この§3で述べる遷移期間を設定する実施形態を実施するには、図11に示すように、往路動画Maを、第1のノードAの位置P(1)で撮影された第1番目のフレームF(1)から第2のノードBの位置P(N)で撮影された第N番目のフレームF(N)に至るまで合計N枚のフレーム画像によって構成しておき、復路動画Mbを、第2のノードBの位置P(N)で撮影された第1番目のフレームG(1)から第1のノードAの位置P(1)で撮影された第N番目のフレームG(N)に至るまで合計N枚のフレーム画像によって構成しておけばよい。このとき、往路動画Maの第i番目のフレームF(i)と復路動画Mbの第(N−i+1)番目のフレームG(N−i+1)とは、経路R上の同一地点P(i)で撮影された画像になるようにし、相互に対応するフレームを構成するようにしておく。そして、動画再生部130は、遷移期間Tの間に、相互に対応するフレームを合成することにより合成画像を作成し、これを表示する処理を行えばよい。
【0116】
なお、図15に示す例は、往路動画Maから復路動画Mbに切り替える例(すなわち、図11に示す経路R上を往路方向に移動中に反転指示を入力した例)であるが、もちろん、復路動画Mbから往路動画Maに切り替える例(すなわち、図11に示す経路R上を復路方向に移動中に反転指示を入力した例)についての切替処理も全く同様に行うことができる。
【0117】
要するに、動画再生部130は、遷移期間Tの間に、切替前動画(図15の例の場合、往路動画Ma)の遷移期間Tの直前フレームの画像(図15の例の場合、フレーム画像F(i))と、これに対応する切替後動画(図15の例の場合、復路動画Mb)の対応フレームの画像(図15の例の場合、フレーム画像G(N−i+1))と、を合成した合成フレームからなる定位置画像(図15の例の場合、地点P(i)で撮影された画像)を表示し、遷移期間Tの終了後に、切替後動画の対応フレーム(図15の例の場合、フレーム画像G(N−i+1))から順送り再生を開始するようにすればよい。
【0118】
もっとも、遷移期間Tに表示する合成画像は、必ずしも定位置画像(仮想ユーザが停止した状態の画像)にする必要はない。図15に示す例のように、遷移期間Tの間に定位置画像を表示すると、仮想ユーザが地点P(i)において「しばらく立ち止まってから、逆方向に移動し始める」という演出効果をもった動画提示が可能になる。しかしながら、反転指示入力が与えられたときに提示する動画は、必ずしも「しばらく立ち止まってから逆方向に移動する」という演出効果に限定する必要はない。以下、演出効果を変えた2通りのバリエーションを述べておく。
【0119】
第1のバリエーションは、反転指示入力が与えられたときに、「しばらくそのまま進み、反転指示入力時の地点P(i)を通りすぎた地点P(i+d)において、逆方向に移動し始める」という演出効果を与える方法である。図17は、このような演出効果を採用する場合の動画の切替態様を示すタイムチャートである。図15に示すチャートとの相違は、遷移期間Tを時点t0〜t1の前半期と時点t1〜t2の後半期とに分け、半期ごとに各動画の再生順を変えるようにした点にある。
【0120】
すなわち、動画再生部130は、図17の上段に示す往路動画Ma(切替前動画)に関しては、遷移期間Tの前半期(時点t0〜t1)において、遷移期間T以前の状態と同様に継続して順送り再生し、遷移期間Tの後半期(時点t1〜t2)において、これを前半期の最終フレームから逆送り再生する(往路動画Maの帯における時点t1〜t2の区間は、フレームが時間軸に沿って逆順に並べられていることになる)。より具体的には、時点t0〜t1では、フレーム画像F(i),F(i+1),F(i+2),... ,F(i+d)と順送り再生し、時点t1において再生順を逆転させ、時点t1〜t2では、フレーム画像F(i+d),... ,F(i+2),F(i+1),F(i)と逆送り再生することになる。
【0121】
一方、動画再生部130は、図17の下段に示す復路動画Mb(切替後動画)に関しては、遷移期間Tの期間中に、往路動画Ma(切替前動画)の各フレーム画像に対応する復路動画Mb(切替後動画)の各フレーム画像の再生を行う。すなわち、遷移期間Tの前半期(時点t0〜t1)において、復路動画Mbをフレーム画像G(N−i+1)から逆送り再生し(復路動画Mbの帯における時点t0〜t1の区間は、フレームが時間軸に沿って逆順に並べられていることになる)、遷移期間Tの後半期(時点t1〜t2)において、これを順送り再生する。より具体的には、時点t0〜t1では、フレーム画像G(N−i+1),G(N−i),G(N−i−1),... ,G(N−i+1−d)と逆送り再生し、時点t1において再生順を逆転させ、時点t1〜t2では、フレーム画像G(N−i+1−d),... ,G(N−i−1),G(N−i),G(N−i+1)と順送り再生することになる。
【0122】
そして、遷移期間Tの終了後には(時点t2以降)、復路動画Mb(切替後動画)を継続して順送り再生すればよい。なお、図17のハッチング部分に記載された「順」なる記号は、順送り再生(撮影順どおりのフレームの順序に従った再生)が行われることを示し、「逆」なる記号は、逆送り再生(撮影順とは逆のフレームの順序に従った再生)が行われることを示している(以下の図についても同様)。往路動画Maと復路動画Mbとは、撮影時の経路移動方向が逆であり、また、合成画像は、両画像における同一地点で撮影したフレーム画像同士を合成して得られた画像である。したがって、往路動画Maと復路動画Mbとを合成して合成画像を作成する場合、一方を順送り再生すると、他方は必ず逆送り再生する必要が生じる。図17の遷移期間Tにおいて、上下の帯に示されている「順」/「逆」の記号が相反するものになっているのはこのためである。
【0123】
遷移期間Tの間にこのような方法で動画提示を行うと、仮想ユーザは、時点t0において反転指示入力が与えられた後も、地点P(i)からそのまま移動を続け、時点t1において地点P(i+d)に到達すると、移動方向を逆転し、時点t2において地点P(i)まで戻り、更にそのまま移動を続ける、という動きをすることになる。しかも、遷移期間Tの間は、ブレンド割合αを0から1へと徐々に増加させてゆくので、表示される合成画像は、往路動画Maのフレーム画像から復路動画Mbのフレーム画像へと徐々に切り替わってゆく。したがって、映像中の動体が滑らかに切り替わる効果が得られ、往路動画Maから復路動画Mbへの切替時の動体変化の不自然さが解消される点は、図15に示す方法と同様である。すなわち、動体がディゾルブ効果をもったトランジションによって、自然に入れ替わることになる。
【0124】
なお、実用上は、動画再生部130が、遷移期間Tの前半期において、動画の再生速度を遷移期間直前の速度から徐々に減少させてゆき、遷移期間Tの後半期において、再生速度を徐々に増加させてゆくようにするのが好ましい。そうすれば、時点t0において反転指示入力が与えられた後は、仮想ユーザの移動速度が徐々に低下してゆき、時点t1において一旦停止し、続いて逆方向に向かって徐々に速度を上昇させながら移動する、という演出効果を与えることができ、仮想ユーザについて、より自然な動きを表現することができる。
【0125】
第2のバリエーションは、反転指示入力が与えられたときに、「即座に反転して、逆方向に移動し始める」という演出効果を与える方法である。図18は、このような演出効果を採用する場合の動画の切替態様を示すタイムチャートである。図15に示すチャートとの相違点は、反転指示入力時t0において、往路動画Maの再生を即座に逆送り再生に切り替えた点である。すなわち、動画再生部130は、遷移期間Tの期間中に、往路動画Ma(切替前動画)を遷移期間直前フレームから逆送り再生し、往路動画Maの各フレームと、これに対応する復路動画Mb(切替後動画)の各フレームと、を合成した合成フレームからなる動画画像を表示することになる。遷移期間Tの終了後には、復路動画Mbを継続して順送り再生すればよい。
【0126】
より具体的には、遷移期間Tの期間中、往路動画Ma(切替前動画)に関しては、フレーム画像F(i),F(i−1),F(i−2),... ,F(i−d)と逆送り再生し(往路動画Maの帯における時点t0〜t1の区間は、フレームが時間軸に沿って逆順に並べられていることになる)、復路動画Mb(切替後動画)に関しては、フレーム画像G(N−i+1),G(N−i+2),G(N−i+3),... ,G(N−i+1+d)と順送り再生することになる。そして、遷移期間Tの終了後には(時点t1以降)、復路動画Mb(切替後動画)を継続して順送り再生すればよい。
【0127】
遷移期間Tの間にこのような方法で動画提示を行うと、仮想ユーザは、時点t0において反転指示入力が与えられたときに、地点P(i)から即座に反転する動きをすることになる。しかも、遷移期間Tの間は、ブレンド割合αを0から1へと徐々に増加させてゆくので、表示される合成画像は、往路動画Maのフレーム画像から復路動画Mbのフレーム画像へと徐々に切り替わってゆく。したがって、映像中の動体が滑らかに切り替わる効果が得られ、往路動画Maから復路動画Mbへの切替時の動体変化の不自然さが解消される点は、図15に示す方法と同様である。すなわち、動体がディゾルブ効果をもったトランジションによって、自然に入れ替わることになる。
【0128】
以上、図15,図17,図18を参照して、遷移期間Tの間に行う動画提示の演出方法を3通り述べたが、これらの各方法には、それぞれメリット、デメリットがある。これを以下に簡単に説明しておく。
【0129】
まず、図15に示す方法を採ると、反転指示入力を与えた時点t0における位置P(i)で仮想ユーザの動きが直ちに停止するので、反転指示に対する仮想ユーザの動きの迅速な応答性というメリットが得られる。しかしながら、遷移期間Tの間、仮想ユーザの動きは停止したままになり、経路R上を移動する状態を示す動画が一時中断してしまうというデメリットが生じる。
【0130】
また、図17に示す方法を採ると、仮想ユーザは移動を続けた状態になり、移動状態の動画が中断されないというメリットが得られる。しかしながら、反転指示入力を与えた後も、仮想ユーザはそのまましばらく移動し続け、移動方向を反転させるまでに若干の遅延が生じるので、操作入力に対する仮想ユーザの応答性が低下するというデメリットが生じる。
【0131】
一方、図18に示す方法を採ると、仮想ユーザは直ちに反転移動するので、移動状態の動画が中断されないというメリットが得られ、また、反転指示に対する仮想ユーザの動きの迅速な応答性というメリットも得られる。しかしながら、図17に示す方法に比べて、動体の動きの不自然さが顕著になるというデメリットが生じる。たとえば、図18において、時点t0の直後に表示される動画は、α=0に近い合成画像であるため、往路動画Maに映っている動体(図12に示す2人の人物)の方が、復路動画Mbに映っている動体(図13に示す1人の人物)よりも鮮明に表示される。ところが、遷移期間Tの間、往路動画Maは逆送り再生されるため、この鮮明な動体が逆送りされる様子が映し出されることになり、その動きの不自然さが顕著になる。
【0132】
もちろん、図18に示す方法においても、時間の経過とともにブレンド割合αは徐々に増加してゆくので、往路動画Ma上の2人の人物は徐々に消えてゆくことになるが、少なくとも、遷移期間Tの当初は、この2人の人物の不自然な動きが目立つことになる。これに対して、図17に示す方法の場合、遷移期間Tの前半期は往路動画Maが順送り再生されるので、動体の動きの不自然さは顕著にはならない。前半期に復路動画Mbは逆送り再生されるが、ブレンド割合αは小さいため、復路動画Mb上の人物の不自然な動きはそれほど目立たないことになる。また、後半期は往路動画Maが逆送り再生されるが、その時点では、ブレンド割合αは大きくなっているため、2人の人物の不自然な動きはそれほど目立たないことになる。
【0133】
ここでは、遷移期間Tの間に行う動画提示の演出方法を3通り例示したが、もちろん、遷移期間Tの間に行う動画提示の演出方法は、これら3通りの方法に限定されるものではなく、この他にも種々の演出方法を採用することができる。要するに、遷移期間Tの期間中には、切替前動画と切替後動画とをブレンドさせた合成画像を提示するようにし、動体を滑らかに切り替えることができ、切替時の動体の動きの不自然さを低減させることができればよい。
【0134】
<<< §4. 背景動画を利用する実施形態 >>>
§3では、移動方向の反転切替時に遷移期間Tを設定し、往路動画Maと復路動画Mbとの合成画像を表示して映像の円滑な切替を行う実施形態を説明した。ここでは、往路動画Maおよび復路動画Mbに加えて、更に、被写体に動体を含まない背景動画Mcを用意し、遷移期間Tの期間中に、切替前動画と切替後動画との間に背景動画Mcを介挿したブレンドを行い、動体の切り替えを更に円滑にする実施形態を説明する。
【0135】
図19は、この背景動画を利用する実施形態に係る動画提示装置100′の構成を示すブロック図である。図10に示す動画提示装置100との相違点は、動画格納部110′が、往路動画Maおよび復路動画Mbに加えて背景動画Mcを格納している点と、動画再生部130′が、遷移期間Tの期間中に、切替前動画と切替後動画との間に背景動画Mcを介挿したブレンドを行う点である。以下、これらの相違点について詳述する。
【0136】
図20は、動画格納部110′内に格納される往路動画Ma、復路動画Mb、背景動画Mcの関係を示す動画フレームチャートであり、図11に示すチャートに、更に、背景動画Mcを付加したものである。この図20に示す例の場合、往路動画Maは、第1のノードAの位置で撮影された第1番目のフレームF(1)から第2のノードBの位置で撮影された第N番目のフレームF(N)に至るまで合計N枚のフレーム画像によって構成されており、復路動画Mbは、第2のノードBの位置で撮影された第1番目のフレームG(1)から第1のノードAの位置で撮影された第N番目のフレームG(N)に至るまで合計N枚のフレーム画像によって構成されており、背景動画Mcは、第1のノードAの位置で撮影された第1番目のフレームH(1)から第2のノードBの位置で撮影された第N番目のフレームH(N)に至るまで合計N枚のフレーム画像によって構成されている。
【0137】
ここで、往路動画Maおよび復路動画Mbが、被写体に動体を含む動画であるのに対して、背景動画Mcは、被写体に動体を含まない動画である。背景動画Mcは、経路R上を往路方向に移動しながら撮影した動画になっており、各地点P(1),P(2),... ,P(i),... ,P(N−1),P(N)において撮影された、動体を含まない画像が、それぞれフレーム画像H(1),H(2),... ,H(i),... ,H(N−1),H(N)ということになる。
【0138】
結局、往路動画Maも背景動画Mcも、地点P(1),P(2),... という順序で撮影された合計N枚のフレーム画像によって構成される動画という点では共通するが、往路動画Maは、他の観覧者という動体が映った映像であるのに対して、背景動画Mcは、そのような動体は映っておらず、美術館の内装および展示品のみの映像になっている。このような背景動画Mcは、たとえば、美術館の休館日など、一般の観覧者がいない状態で撮影を行えばよい。
【0139】
なお、背景動画Mcは、動体を含まない映像であるため、往路方向に移動しながら撮影しても、復路方向に移動しながら撮影しても、照明環境が一定であれば、実質的に同じ内容の動画になる(フレームの順序が逆になるだけである)。したがって、図20に示す例における背景動画Mcは、往路方向に移動しながら撮影を行うことにより得られたものであるが、逆に、復路方向に移動しながら撮影を行うことにより得られた動画を背景動画Mcとしてもかまわない。
【0140】
この背景動画Mcには、動体が含まれていないので、逆送り再生しても不自然さは生じない。図21は、図20に示す背景動画Mcの再生画面を示す図である。この図21に示す背景動画Mcのフレーム画像H(i−1),H(i),H(i+1)は、それぞれ図12に示す往路動画Maのフレーム画像F(i−1),F(i),F(i+1)から動体となる2人の人物を取り去った画像に相当する。別言すれば、フレーム画像H(i−1),H(i),H(i+1)は、フレーム画像F(i−1),F(i),F(i+1)の背景部分と同一の画像である。
【0141】
この図21に示す背景動画Mcについて順送り再生を行うと、フレームH(i−1),H(i),H(i+1)の順に表示が行われ、地点P(i−1),P(i),P(i+1)へと移動する状態が提示される。一方、逆送り再生を行うと、フレームH(i+1),H(i),H(i−1)の順に表示が行われ、地点P(i+1),P(i),P(i−1)へと移動する状態が提示される。いずれの場合も、動体が映っていないので、違和感は生じない。
【0142】
なお、実際には、フレームレートが1/30秒程度だと、1フレームの違いにより図示の例のような極端な景色の変遷は見られないが、図21では説明の便宜上、景色の変遷を誇張して示してある。また、この図21に示す各画像は、実際には、図8に示すような全方位画像の一部から切り出された視野画像というべきものであるが、ここでは、視線方向を示す方位角φ=90°に固定された状態を考え、便宜上、これら視野画像をフレーム画像H(i−1),H(i),H(i+1)と呼ぶことにする。
【0143】
図19に示す指示入力部150は、図10に示す指示入力部150と同じ構成要素であり、移動方向を反転させる反転指示を入力する機能を有している。また、図19に示す移動方向設定部140も、図10に示す移動方向設定部140と同じ構成要素であり、指示入力部150からの反転指示の入力に基づいて移動方向を切り替える処理を行う。そして、図19に示す動画再生部130′は、図10に示す動画再生部130と同様に、移動方向設定部140に往路方向が設定されている場合には、往路動画Maを再生対象として順送り再生し、移動方向設定部140に復路方向が設定されている場合には、復路動画Mbを再生対象として順送り再生する、という基本機能を有している。
【0144】
ただし、指示入力部150から移動方向の反転指示入力があった場合、動画再生部130′は、この反転指示入力後の所定期間を遷移期間Tに設定し、切替前動画と切替後動画との間に背景動画Mcを介挿したブレンドを行い、動体表示の円滑な切り替えを行う機能を有している。すなわち、動画再生部130′は、遷移期間Tの期間中、切替前の移動方向に応じた再生対象である切替前動画(往路動画Maもしくは復路動画Mb)を構成する切替前画像と、背景動画を構成し切替前画像と同じ位置で撮影された背景画像と、をブレンドした第1の合成画像と、背景動画を構成する背景画像と、切替後の移動方向に応じた再生対象である切替後動画(復路動画Mbもしくは往路動画Ma)を構成し背景画像と同じ位置で撮影された切替後画像と、をブレンドした第2の合成画像とを、第1の合成画像、第2の合成画像の順に表示する処理を行う。
【0145】
図22は、図19に示す動画提示装置100′において、反転指示入力が行われた場合の動画再生部130′による動画の切替態様の一例を示すタイムチャートである。このチャートの横軸は、これまで示してきたタイムチャートと同様に、左から右へと流れる時間tを表す時間軸であり、上段の帯は往路動画Maの各フレーム画像を示し、中段の帯は背景動画Mcの各フレーム画像を示し、下段の帯は復路動画Mbの各フレーム画像を示している。チャートにおいて、往路動画Maを示す上段の帯の左方向が第1のフレームF(1)、右方向が第NのフレームF(N)になる。同様に、背景動画Mcを示す中段の帯の左方向が第1のフレームH(1)、右方向が第NのフレームH(N)になり、復路動画Mbを示す下段の帯の左方向が第1のフレームG(1)、右方向が第NのフレームG(N)になる。
【0146】
この例の場合、反転指示入力時t0までは、仮想ユーザが図20に示す経路RのノードA側から地点P(i)へ向かって往路方向に移動中であり、動画再生部130′は、チャートの上段の帯に示す往路動画Maのハッチング部分を順送り再生することになる。ところが、時点t0において反転指示入力が与えられると、時点t0〜t2の遷移期間を経て、時点t2以降は、チャートの下段の帯に示す復路動画Mbのハッチング部分を順送り再生する。上述したように、図のハッチング部分に記載された「順」なる記号は、順送り再生が行われることを示している。
【0147】
この実施形態の場合、遷移期間は、第1の遷移期間T1(時点t0〜t1)と、これに後続する第2の遷移期間T2(時点t1〜t2)とによって構成されている。そして、第1の遷移期間T1において、往路動画Ma(切替前動画)から背景動画Mcへの滑らかな切り替えが行われ、第2の遷移期間T2において、背景動画Mcから復路動画Mb(切替後動画)への滑らかな切り替えが行われることになる。
【0148】
図20に示すように、往路動画Maの第i番目のフレームF(i)と、復路動画Mbの第(N−i+1)番目のフレームG(N−i+1)と、背景動画Mcの第i番目のフレームH(i)とは、経路R上の同一地点P(i)で撮影された画像になっており、相互に対応するフレームを構成する。動画再生部130′は、各遷移期間T1,T2の期間中に、このような相互に対応するフレームを合成することにより合成画像を作成し、これを表示する処理を行う。
【0149】
図22に示す例は、動画再生部130′が、第1の遷移期間T1の間、切替前動画(往路動画Ma)の遷移期間直前フレームF(i)と、これに対応する背景動画Mcの対応背景フレームH(i)と、をブレンドして合成した合成フレームからなる定位置画像を第1の合成画像B1(i)として表示し、第2の遷移期間T2の間、背景動画Mcの上記対応背景フレームH(i)と、切替後動画(復路動画Mb)の上記対応背景フレームH(i)に対応する対応フレームG(N−i+1)と、をブレンドして合成した合成フレームからなる定位置画像を第2の合成画像B2(i)として表示し、遷移期間終了後に、切替後動画(復路動画Mb)の上記対応フレームG(N−i+1)から順送り再生を開始する処理を行った例である。
【0150】
図23は、図22に示す第1の遷移期間T1および第2の遷移期間T2において、合成フレームを作成するための画像ブレンド処理の原理を示す式である。動画再生部130′は、第1の遷移期間T1の間、背景画像(図22に示す例の場合はフレームH(i))の割合をα、切替前画像(図22に示す例の場合はフレームF(i))の割合を(1−α)として、図23の上段に示す式に基づいて両画像を合成することにより第1の合成画像B1(i)を作成して表示し、かつ、第1の遷移期間T1の経過とともに値αを0から1に向けて徐々に増加させる。一方、第2の遷移期間T2の間、切替後画像(図22に示す例の場合はフレームG(N−i+1))の割合をβ、背景画像(図22に示す例の場合はフレームH(i))の割合を(1−β)として、図23の下段に示す式に基づいて両画像を合成することにより第2の合成画像B2(i)を作成して表示し、かつ、第2の遷移期間T2の経過とともに値βを0から1に向けて徐々に増加させる。実際には、両画像の対応する画素の画素値(カラー画像の場合は、各色の画素値)のそれぞれについて、上記各式に基づく合成演算を行い、得られた値を新たな画素値とする画素の集合体を合成画像とすればよい。
【0151】
上述したように、第1の遷移期間T1の経過とともに値αを0から1に向けて徐々に増加させるようにすれば、合成画像B1(i)は、図12に示すフレーム画像F(i)から図21に示すフレーム画像H(i)に徐々に変化してゆくことになる。上述のとおり、両画像は背景部分を共通にする画像であるので、第1の遷移期間T1の期間中に値αを0から1に向けて徐々に増加させてゆくと、背景画像は一定のまま、2人の人物が徐々に消えてゆく動画表示(いわゆる、フェードアウト効果をもったトランジション)が行われることになる。
【0152】
図22に示すタイムチャートの第1の遷移期間T1において、上段および中段に示す各帯のハッチング部分が三角形になっているのは、このようなブレンド割合の時間変化を示すものである。すなわち、ハッチング部分の縦幅は、各画像のブレンド割合を示しており、上段に示す往路動画Maのハッチング部分の縦幅((1−α)に相当)は時間とともに減少してゆき、中段に示す背景動画Mcのハッチング部分の縦幅(αに相当)は時間とともに増加してゆく。また、図のハッチング部分に記載された「静」なる記号は、仮想ユーザを静止させた静止画像(ここでは、背景画像が一定の画像を意味し、動体が徐々に消えてゆくという点ではあくまでも動画画像である)が提示されることを意味している。
【0153】
すなわち、図示の例の場合、反転指示入力時t0の直前には、往路動画Maを構成する第i番目のフレーム画像F(i)が表示されていたので、これに続く第1の遷移期間T1の間は、当該フレーム画像F(i)と、これに対応する背景動画Mcの第i番目のフレーム画像H(i)と、をブレンドした第1の合成画像B1(i)が表示されることになる。
【0154】
こうして第1の遷移期間T1の処理が終了すると、続いて、第2の遷移期間T2の処理が実行される。この第2の遷移期間T2では、上述したように、その経過とともに値βを0から1に向けて徐々に増加させる処理が行われる。そうすると、合成画像B2(i)は、図21に示すフレーム画像H(i)から図13に示すフレーム画像G(N−i+1)に徐々に変化してゆくことになる。両画像は背景部分を共通にする画像であるので、第2の遷移期間T2の期間中に値βを0から1に向けて徐々に増加させてゆくと、背景画像は一定のまま、新たな人物が徐々に現れてくる動画表示(いわゆる、フェードイン効果をもったトランジション)が行われることになる。
【0155】
図22に示すタイムチャートの第2の遷移期間T2において、中段および下段に示す各帯のハッチング部分が三角形になっているのは、このようなブレンド割合の時間変化を示すものである。すなわち、ハッチング部分の縦幅は、各画像のブレンド割合を示しており、中段に示す背景動画Mcのハッチング部分の縦幅((1−β)に相当)は時間とともに減少してゆき、下段に示す復路動画Mbのハッチング部分の縦幅(βに相当)は時間とともに増加してゆく。ここでも、図のハッチング部分に記載された「静」なる記号は、仮想ユーザを静止させた静止画像が提示されることを意味している。
【0156】
結局、図示の例の場合、第1の遷移期間T1の最後には、背景動画Mcを構成する第i番目のフレーム画像H(i)が表示されていたので、これに続く第2の遷移期間T2の間は、当該フレーム画像H(i)と、これに対応する復路動画Mbの第(N−i+1)番目のフレーム画像G(N−i+1)と、をブレンドした第2の合成画像B2(i)が表示されることになる。そして、第2の遷移期間T2が終了した時点t2以降は、復路動画Mbがフレーム画像G(N−i+1)から順送り再生される。
【0157】
このような動画切替処理は、ユーザから見ると、次のように見える。すなわち、ユーザが、経路Rを往路方向に移動中に反転指示入力を与えると、仮想ユーザの位置は地点P(i)で停止し、図12に示すフレーム画像F(i)から図21に示すフレーム画像H(i)に徐々に変化する動画(2人の人物が徐々に消えてゆく動画)が表示され、続いて、この図21に示すフレーム画像H(i)から図13に示すフレーム画像G(N−i+1)に徐々に変化する動画(新たな人物が徐々に現れる動画)が表示され、フレーム画像G(N−i+1)に完全に切り替わった時点で、経路Rを復路方向に移動する動画が表示されることになる。その結果、映像中の動体が滑らかに切り替わる効果が得られ、往路動画Maから復路動画Mbへの切替時の動体変化の不自然さを解消することができる。
【0158】
なお、図22に示す例は、往路動画Maから背景動画Mcを仲介して復路動画Mbに切り替える例(すなわち、図20に示す経路R上を往路方向に移動中に反転指示を入力した例)であるが、もちろん、復路動画Mbから背景動画Mcを仲介して往路動画Maに切り替える例(すなわち、図20に示す経路R上を復路方向に移動中に反転指示を入力した例)についての切替処理も全く同様に行うことができる。
【0159】
もっとも、背景動画Mcを仲介した動画の切替態様は、図22に示す例に限定されるものではない。図24は、図22に示す切替態様の変形例を示すタイムチャートである。この変形例の特徴は、動画再生部130′が、第1の遷移期間T1と第2の遷移期間T2との間に中間遷移期間T3を設け、この中間遷移期間T3の期間中に、対応背景フレームH(i)のみを表示するようにしたものである。
【0160】
ユーザから見ると、図12に示すフレーム画像F(i)に映っている2人の人物が徐々に消えてゆき(第1の遷移期間T1)、やがて完全に人物が消え去った後に図21に示すフレーム画像H(i)がしばらくの間(中間遷移期間T3の間)だけ表示され、続いて、この図21に示すフレーム画像H(i)から図13に示すフレーム画像G(N−i+1)に徐々に変化する動画、すなわち、新たな人物が徐々に現れる動画が表示され(第2の遷移期間T2)、フレーム画像G(N−i+1)に完全に切り替わった時点で、経路Rを復路方向に移動する動画が表示されることになる。
【0161】
図22に示す切替態様も、図24に示す変形例も、いずれも、仮想ユーザが地点P(i)において「しばらく立ち止まってから、逆方向に移動し始める」という演出効果をもった動画提示が可能になる態様であるが、§3でも述べたとおり、反転指示入力が与えられたときに提示する動画は、必ずしも「しばらく立ち止まってから逆方向に移動する」という演出効果に限定する必要はない。以下、演出効果を変えた2通りのバリエーションを述べておく。これら2通りのバリエーションは、基本的には、§3で述べた2通りのバリエーションに対応するものである。
【0162】
第1のバリエーションは、反転指示入力が与えられたときに、「しばらくそのまま進み、反転指示入力時の地点P(i)を通りすぎた地点P(i+d)において、逆方向に移動し始める」という演出効果を与える方法である。図25は、このような演出効果を採用する場合の動画の切替態様を示すタイムチャートである。
【0163】
この第1のバリエーションの特徴は、動画再生部130′が、第1の遷移期間T1の期間中に、切替前動画(往路動画Ma)を継続して順送り再生し、この切替前動画の各フレームと背景動画Mcの対応背景フレームとを合成した合成フレームからなる動画画像を第1の合成画像として表示し、第2の遷移期間T2の期間中に、切替後動画(復路動画Mb)を、第1の遷移期間T1の最終対応背景フレームに対応するフレームから順送り再生し、この切替後動画の各フレームと背景動画の対応背景フレームとを合成した合成フレームからなる動画画像を第2の合成画像として表示し、第2の遷移期間T2の終了後に、切替後動画を継続して順送り再生する点にある。
【0164】
すなわち、動画再生部130′は、図25に示す第1の遷移期間T1(時点t0〜t1)の間は、往路動画Ma(切替前動画)を、遷移期間以前の状態と同様に継続して順送り再生し、これに順送り再生した背景動画Mcをブレンドする。いずれの動画も順送り再生され、地点P(i)から地点P(i+d)まで移動した状態の動画がブレンドされることになる。このとき、ブレンド割合αを0〜1に徐々に増加させてゆき、往路動画Maが背景動画Mcに徐々に変化してゆくようにする。
【0165】
続いて、第2の遷移期間T2(時点t1〜t2)の間は、背景動画Mcを逆送り再生し、これに順送り再生した復路動画Mb(切替後動画)をブレンドする。これにより、地点P(i+d)から地点P(i)まで戻る状態の動画がブレンドされることになる。このとき、ブレンド割合βを0〜1に徐々に増加させてゆき、背景動画Mcが復路動画Mbに徐々に変化してゆくようにする。
【0166】
結局、第1の遷移期間(時点t0〜t1)では、往路動画Maをフレーム画像F(i),F(i+1),F(i+2),... ,F(i+d)と順送り再生しながら、背景動画Mcをフレーム画像H(i),H(i+1),H(i+2),... ,H(i+d)と順送り再生し、両者のブレンド処理が行われる。そして、続く第2の遷移期間(時点t1〜t2)では、背景動画Mcをフレーム画像H(i+d),... ,H(i+2),H(i+1),H(i)と逆送り再生しながら、復路動画Mbをフレーム画像G(N−i+1−d),... ,G(N−i−1),G(N−i),G(N−i+1)と順送り再生し、両者のブレンド処理が行われる。
【0167】
そして、第2の遷移期間T2の終了後には(時点t2以降)、復路動画Mb(切替後動画)を継続して順送り再生すればよい。前述したとおり、ここに示す例では、往路動画Maと背景動画Mcとは撮影時の経路移動方向が同じであるため、第1の遷移期間T1では、往路動画Maおよび背景動画Mcをともに順送り再生することにより合成画像を得ることができる。これに対して、復路動画Mbと背景動画Mcとは撮影時の経路移動方向が逆であるため、第2の遷移期間T2では、復路動画Mbを順送り再生しながら背景動画Mcを逆送り再生することにより合成画像を得ることができる。
【0168】
遷移期間T1,T2の間にこのような方法で動画提示を行うと、仮想ユーザは、時点t0において反転指示入力が与えられた後も、地点P(i)からそのまま移動を続け、時点t1において地点P(i+d)に到達すると、移動方向を逆転し、時点t2において地点P(i)まで戻り、更にそのまま移動を続ける、という動きをすることになる。しかも、第1の遷移期間T1の間は、ブレンド割合αを0から1へと徐々に増加させてゆくので、往路動画Maに含まれている動体が、動きながら徐々に消えてゆく演出効果が得られ、第2の遷移期間T2の間は、ブレンド割合βを0から1へと徐々に増加させてゆくので、動体が含まれていない背景動画Mcの中に、新たな動体が動きながら徐々に現れる演出効果が得られる。
【0169】
なお、実用上は、動画再生部130′が、第1の遷移期間T1において、動画の再生速度を遷移期間直前の速度から徐々に減少させてゆき、第2の遷移期間T2において、再生速度を徐々に増加させてゆくようにするのが好ましい。そうすれば、時点t0において反転指示入力が与えられた後は、仮想ユーザの移動速度が徐々に低下してゆき、時点t1において一旦停止し、続いて逆方向に向かって徐々に速度を上昇させながら移動する、という演出効果を与えることができ、仮想ユーザについて、より自然な動きを表現することができる。
【0170】
第2のバリエーションは、反転指示入力が与えられたときに、「即座に反転して、逆方向に移動し始める」という演出効果を与える方法である。図26は、このような演出効果を採用する場合の動画の切替態様を示すタイムチャートである。
【0171】
この第2のバリエーションの特徴は、動画再生部130′が、第1の遷移期間T1の期間中に、切替前動画(往路動画Ma)を遷移期間直前フレームから逆送り再生し、切替前動画の各フレームと、これに対応する背景動画Mcの各フレームと、を合成した合成フレームからなる動画画像を第1の合成画像として表示し、第2の遷移期間T2の期間中に、切替後動画(復路動画Mb)を、第1の遷移期間T1の最終対応背景フレームに対応するフレームから順送り再生し、この切替後動画の各フレームと背景動画Mcの対応背景フレームとを合成した合成フレームからなる動画画像を第2の合成画像として表示し、第2の遷移期間T2の終了後に、切替後動画を継続して順送り再生する点にある。
【0172】
すなわち、動画再生部130′は、図26に示す第1の遷移期間T1(時点t0〜t1)の間は、往路動画Ma(切替前動画)を、遷移期間直前フレームから逆送り再生し、これに逆送り再生した背景動画Mcをブレンドする。いずれの動画も逆送り再生され、地点P(i)から地点P(i−d)まで反転移動した状態の動画がブレンドされることになる。このとき、ブレンド割合αを0〜1に徐々に増加させてゆき、往路動画Maが背景動画Mcに徐々に変化してゆくようにする。
【0173】
続いて、第2の遷移期間T2(時点t1〜t2)の間は、背景動画Mcを逆送り再生し、これに順送り再生した復路動画Mb(切替後動画)をブレンドする。これにより、地点P(i−d)から地点P(i−2d)まで更に移動する状態の動画がブレンドされることになる。このとき、ブレンド割合βを0〜1に徐々に増加させてゆき、背景動画Mcが復路動画Mbに徐々に変化してゆくようにする。
【0174】
結局、第1の遷移期間(時点t0〜t1)では、往路動画Maをフレーム画像F(i),F(i−1),F(i−2),... ,F(i−d)と逆送り再生しながら、背景動画Mcをフレーム画像H(i),H(i−1),H(i−2),... ,H(i−d)と逆送り再生し、両者のブレンド処理が行われる。そして、続く第2の遷移期間(時点t1〜t2)では、背景動画Mcをフレーム画像H(i−d),... ,H(i−2d)と逆送り再生しながら、復路動画Mbをフレーム画像G(N−i+1+d),... ,G(N−i+1+2d)と順送り再生し、両者のブレンド処理が行われる。
【0175】
そして、第2の遷移期間T2の終了後には(時点t2以降)、復路動画Mb(切替後動画)を継続して順送り再生すればよい。前述したとおり、ここに示す例でも、往路動画Maと背景動画Mcとは撮影時の経路移動方向が同じであるため、第1の遷移期間T1では、往路動画Maおよび背景動画Mcをともに逆送り再生することにより合成画像を得ることができる。これに対して、復路動画Mbと背景動画Mcとは撮影時の経路移動方向が逆であるため、第2の遷移期間T2では、復路動画Mbを順送り再生しながら背景動画Mcを逆送り再生することにより合成画像を得ることができる。
【0176】
遷移期間T1,T2の間にこのような方法で動画提示を行うと、仮想ユーザは、時点t0において反転指示入力が与えられたときに、地点P(i)から即座に反転する動きをすることになる。しかも、第1の遷移期間T1の間は、ブレンド割合αを0から1へと徐々に増加させてゆくので、往路動画Maに含まれている動体が、動きながら徐々に消えてゆく演出効果が得られ、第2の遷移期間T2の間は、ブレンド割合βを0から1へと徐々に増加させてゆくので、動体が含まれていない背景動画Mcの中に、新たな動体が動きながら徐々に現れる演出効果が得られる。
【0177】
以上、図22,図24,図25,図26を参照して、遷移期間T1,T2の間に行う動画提示の演出方法をいくつか述べたが、これらの各方法には、それぞれメリット、デメリットがある。これを以下に簡単に説明しておく。
【0178】
まず、図22もしくは図24に示す方法を採ると、反転指示入力を与えた時点t0における位置P(i)で仮想ユーザの動きが直ちに停止するので、反転指示に対する仮想ユーザの動きの迅速な応答性というメリットが得られる。しかしながら、遷移期間T1,T2の間、仮想ユーザの動きは停止したままになり、経路R上を移動する状態を示す動画が一時中断してしまうというデメリットが生じる。
【0179】
また、図25に示す方法を採ると、仮想ユーザは移動を続けた状態になり、移動状態の動画が中断されないというメリットが得られる。しかしながら、反転指示入力を与えた後も、仮想ユーザはそのまましばらく移動し続け、移動方向を反転させるまでに若干の遅延が生じるので、操作入力に対する仮想ユーザの応答性が低下するというデメリットが生じる。
【0180】
一方、図26に示す方法を採ると、仮想ユーザは直ちに反転移動するので、移動状態の動画が中断されないというメリットが得られ、また、反転指示に対する仮想ユーザの動きの迅速な応答性というメリットも得られる。しかしながら、図25に示す方法に比べて、動体の動きの不自然さが顕著になるというデメリットが生じる。たとえば、図26において、時点t0の直後に表示される動画は、α=0に近い合成画像であるため、往路動画Maに映っている動体(図12に示す2人の人物)が鮮明に表示される。ところが、第1の遷移期間T1の間、往路動画Maは逆送り再生されるため、この鮮明な動体が逆送りされる様子が映し出されることになり、その動きの不自然さが顕著になる。
【0181】
これに対して、図25に示す方法を採れば、動体を含んだ往路動画Maおよび復路動画Mbは、常に順方向再生されることになるので、動体が不自然な動きをすることはない。背景動画Mcは、動体を含んでいないので、逆送り再生しても不自然にはならない。したがって、上述した各方法において、動体が不自然な動きをするのは、図26に示す方法において、往路動画Maが逆送り再生される第1の遷移期間T1だけである。
【0182】
以上、遷移期間T1,T2の間に行う動画提示の演出方法をいくつか例示したが、もちろん、背景動画を仲介した動画切替を行う演出方法は、これらの方法に限定されるものではなく、この他にも種々の演出方法を採用することができる。たとえば、図24に示す方法で採用した中間遷移期間T3を設ける方法を、図25に示す方法や図26に示す方法に適用することも可能である。
【0183】
<<< §5. 種々の変形例 >>>
以上、本発明に係る動画提示装置をいくつかの実施形態に基づいて説明したが、ここでは、更にいくつかの変形例を掲げておく。
【0184】
(1) 全方位画像の作成法
§1では、図4に示すような撮影装置を用いた撮影により得られた歪曲円形画像から、仰角が所定の基準値以下の領域を切り出し、これに歪み補正を施すことにより全方位画像(パノラマ画像)を得る例を示したが、もちろん、全方位画像の作成に用いる装置は、図4に示す撮影装置に限定されるものではない。たとえば、図4に示す撮影装置では、魚眼レンズ10を用いてビデオカメラの撮像面に歪曲円形画像を形成していたが、魚眼レンズ10の代わりに全方位ミラーなどを利用してもかまわない。
【0185】
また、§1では、実在の施設を撮影した実写画像に基づいて全方位画像を作成する例を示したが、コンピュータ上に仮想の施設を作成し、この仮想施設内の仮想経路を示す三次元CG画像に基づいて作成された画像を全方位画像として用いるようにしてもよい。この場合、全方位画像格納部110内には、仮想の経路を示す三次元CG画像に基づいて作成された矩形状のパノラマ画像が全方位画像として格納されることになる。
【0186】
(2) 仰角の調整
これまで述べた実施例では、視線方向を示すパラメータとして、方位角φ(i)のみを用いているが、更に仰角Ψ(i)というパラメータを追加することも可能である。この場合、視線ベクトルE(i)は、方位角φ(i)と仰角Ψ(i)とによって定まることになる。このように仰角ψ(i)をパラメータとして利用する場合、動画再生部130,130′による切出枠は、方位角φ(i)と仰角Ψ(i)との双方に応じて定まる。したがって、たとえば、図8に示す例の場合、太線で示す切出枠(視野画像Q(P(i),φ(i))の外枠)の縦寸法をより短く設定し、この切出枠の横方向位置を方位角φ(i)に基づいて定め、縦方向位置を仰角Ψ(i)に基づいて定めればよい。また、図9に示すコントローラ50には、上向きボタンや下向きボタンなど、仰角Ψ(i)を変更する指示を与えるためのボタンを設けておけばよい。
【0187】
(3) 各動画を構成するフレームの対応関係
図20に示す例では、往路動画Ma,復路動画Mb,背景動画Mcが、いずれもN枚のフレーム画像から構成されており、図に上下方向を向いた矢印で示すように、個々のフレーム画像はそれぞれ対応する関係にある。撮影対象となる経路にレールを敷設し、このレール上を一定速度で移動する撮影装置を用いて各動画を撮影すれば、図20に示す例のように、往路動画Maを構成するフレーム,復路動画Mbを構成するフレーム,背景動画Mcを構成するフレームという3つのフレームが完全に対応した動画を得ることができるが、撮影装置の移動速度が異なった場合、フレーム間に完全な対応関係は得られなくなる。
【0188】
しかしながら、そのような場合でも、撮影後の調整処理により、3つのフレームが完全に対応した動画を得ることが可能である。たとえば、撮影時の移動速度の相違により、往路動画Maが1000枚のフレーム、復路動画Mbが500枚のフレームによって構成されていた場合、往路動画Maのフレームを1枚おきに間引く処理を行えば、いずれも500枚のフレームからなる動画になり、フレーム同士が1対1に対応することになる。あるいは、復路動画Mbのフレーム間に新たなフレームを補間する処理を行えば、いずれも1000枚のフレームからなる動画になり、フレーム同士が1対1に対応することになる。
【0189】
もちろん、往路動画Maが1000枚のフレーム、復路動画Mbが980枚のフレームによって構成されているような場合にも、適切な補間処理を行うことにより、フレーム同士を1対1に対応させることが可能である。
【0190】
また、実用上は、撮影装置をレール上で移動させて各動画を撮影するのが好ましいが、そのような撮影環境が得られない場合には、たとえば、車載カメラを搭載した自動車を走行させながら撮影したり、カメラマンが歩行しながら手持ちのビデオカメラで撮影したりして、各動画を用意してもかまわない。このような撮影環境では、各動画間のフレームの対応関係は正確にはならないが、前述したように、事後の補正処理により、フレームの正しい対応関係をもった動画を用意することが可能である。
【0191】
なお、撮影時にレールを用いない場合、撮影地点も若干ずれることになり、各動画に映っている背景の位置が若干ずれることになるが、位置ずれの程度がそれほど大きくなければ、動画切替時に大きな違和感は生じない。
【0192】
(4) 全方位画像の採否
これまで述べた実施形態では、動画を構成する個々のフレーム画像を図8に示すような全方位画像(パノラマ画像)によって構成し、ユーザが指定した視線方向(方位角φ)に相当する一部分を視野画像Q(P(i),φ(i))として切り出して表示する例を示した。しかしながら、本発明を実施するに当たって、各動画は必ずしも全方位画像として用意する必要はなく、通常のビデオカメラで撮影される通常の画角を有する動画を用いてもかまわない。この場合、動画を構成する個々のフレーム画像も、通常の画角をもった画像になるので、視線方向を自由に指定することはできないが、視線方向を固定した状態での動画再生は可能である。この場合、一部分を視野画像Q(P(i),φ(i))として切り出す処理は不要になる。
【0193】
もちろん、全方位画像の変わりに、たとえば、180°の画角をもつ半方位画像のフレームからなる動画を用いることも可能である。この場合、視線方向(方位角φ)の指定範囲は狭まるが、それ以外は、これまで述べた実施形態とほぼ同じ効果が得られる。
【0194】
(5) ルート情報格納部120の省略
これまで述べた実施形態は、図2に示すように、複数の経路をもった参観路を移動する状態を動画として提示する例であり、ルート情報格納部120に格納されたルート情報RTを参照して、経路の乗り換えを行っているが、本発明は、もちろん、単一の経路のみについての動画提示を行う場合にも適用可能である。その場合、ルート情報RTは不要になるので、ルート情報格納部120を設ける必要はない。
【0195】
(6) コントローラの構成
図9に示すコントローラ50は、指示入力部150の一部を構成する機器としての一例を示すものであり、実用上は、この他にも様々な形態の機器をコントローラとして利用することが可能である。特に、操作ボタンなどの形態や配置は、設計上、自由に設定可能である。§1では、ボタンB6〜B9の役割についての説明はなされていないが、これらのボタンには、たとえば、移動速度を設定する機能や、上述した仰角ψ(i)を指定する機能など、様々な機能を割り当てることができる。
【0196】
また、ボタンの代わりに、ジョイスティックを用いることも可能である。たとえば、1本のジョイスティックを前方に倒すと前進指示、後方に倒すと後退指示、左方に倒すと左向き指示、右方に倒すと右向き指示を与えるようにすれば、ボタンB1〜B4の代わりに用いることができる。更に、傾斜角度に基づいて、移動速度を変化させるような使い方もできる。
【0197】
なお、前述した実施形態では、前進ボタンB1を押すと、ボタンから手を離しても、仮想ユーザが第1の方向(たとえば、往路方向)に移動をしつづけ、後退ボタンB2を押すと、移動方向が反転し、ボタンから手を離しても第2の方向(たとえば、復路方向)に移動をしつづける、という取り扱いを行っているが、個々のボタン操作によって、どのような指示を与えるかは、設計者の意図に応じて自由に取り決めることができる。たとえば、前進ボタンB1もしくは後退ボタンB2を押し続けている間だけ第1の方向もしくは第2の方向に移動し、ボタンから指を離すと、仮想ユーザは停止する、という取り扱いを行うことも可能である。
【0198】
要するに、コントローラ50としては、仮想ユーザの移動方向を指定する指示入力、別言すれば、移動方向を反転する反転指示を何らかの方法で入力できるようにしておけばよい。なお、反転指示入力は、必ずしも仮想ユーザが移動中に行う必要はなく、仮想ユーザが停止した状態でも行うことができる。たとえば、仮想ユーザが往路方向に移動中に停止ボタンB5を押して停止させ、続いて、後退ボタンB2を押すことにより復路方向への移動を指示した場合、後退ボタンB2を押す操作が、反転指示入力の操作ということになる。
【0199】
(7) 視線方向と進行方向との連携
これまで述べた実施例では、仮想ユーザの移動方向と視線方向とは別個独立して指定できるようになっており、たとえば、図9に示すコントローラ50を用いた例の場合、移動方向は前進ボタンB1および後退ボタンB2の操作により指定し、視線方向(方位角φ)は、左向きボタンB3もしくは右向きボタンB4の操作により指定するようになっている。別言すれば、移動方向の切り替えとは無関係に、視線方向を変更することができ、ユーザは遷移期間中においても、視線方向を自由に変える指示を与えることができる。
【0200】
ただ、通常、人間の習性として、視線方向を移動方向にほぼ一致させるのが自然である(すなわち、視線をほぼ進行方向に向けて移動するのが一般的である)。そこで、視線方向に応じて移動方向を逆転させるような運用を採ることも可能である。
【0201】
たとえば、移動方向に対する視線方向のなす角度が90°を越えた場合、あるいは145°を越えた場合、というような臨界条件を予め設定しておき、当該臨界条件を越えた場合に移動方向を反転させるようにしておけば、移動中に仮想ユーザが後ろを振り返ったような場合、移動方向が反転し、これまでとは逆向きに(振り返った方向に)移動するようになる。このような運用を行えば、人間の行動により近い、臨場感をもった疑似体験を提供することができる。
【0202】
具体的には、指示入力部150として、図9に示すコントローラ50を利用している場合には、移動方向設定部140が、左向きボタンB3の操作指示もしくは右向きボタンB4の操作指示に基づいて、移動方向に対する視線方向の角度が所定の基準以上となったときに、移動方向の切り替えを行うようにすればよい。
【0203】
(8) 経路乗換時の切り替え
§3,§4では、仮想ユーザが移動方向を反転する際の動画切替時に遷移期間を設定し、この遷移期間中にブレンドした合成画像を表示することにより切替時の動体変化の不自然さを低減する手法を述べたが、この手法は、経路乗換による動画切替時にも利用することができる。
【0204】
たとえば、図2に示すように、複数の経路R1〜R6をもった参観路を移動する状態を動画として提示する場合を考えてみる。いま、仮想ユーザが、経路R2をノードN2からN3へと移動し、経路R3に乗り換え、ノードN3からN4へ移動したものとしよう。この場合、経路R2に沿って撮影した動画に続けて、経路R3に沿って撮影した動画が表示されることになるが、通常、曲がり角(ノードN3)を曲がりながら連続撮影を行うことは困難なため、経路R2の動画と経路R3の動画とは、別なテイクとして撮影されるのが一般的であり、動体に不連続が生じることになる。これは、ノードN2のような分岐点を通過する場合も同様である。
【0205】
また、1テイクとして連続撮影を行ったとしても、全方位撮影装置によって得られる歪曲円形画像の歪曲特性は個々の切り出し位置によって異なるので、経路R2に沿って撮影された動画と経路R3に沿って撮影された動画とでは、同一の被写体であっても位置や大きさにずれが生じることになる。別言すれば、ノードN3を通過して経路R2からR3に乗り換える際には、表示画面上、動体のみならず静止している背景についても不連続が生じるおそれがある。たとえば、ノードN3を通過する際に、地図上での視線方向を変えずに進行方向のみを変えた場合、理論的には、連続した背景画像が表示されるはずであるが、実際には、ずれによる違和感が生じることになる。
【0206】
そこで、経路乗換による動画切替時にも、§3,§4で述べたように、遷移期間を設定し、この遷移期間中にブレンドした合成画像を表示するようにすれば、動画切替時の不自然さを軽減することができる。上例の場合、ユーザが、経路R2から経路R3へと移動する指示を与えた場合、ノードN3で一旦停止し、経路R2の画像から経路R3の画像へと遷移する合成画像を提示すればよい。あるいは、ノードN3の若干手前の位置(経路R2上の位置)から、ノードN3を若干過ぎた位置(経路R3上の位置)へと移動する間の期間を遷移期間に設定し、ノードN3で停止することなしに、連続的に移動しつつ、経路R2の画像から経路R3の画像へと遷移する合成画像を提示してもよい。
【符号の説明】
【0207】
10:魚眼レンズ
20:ビデオカメラ
30:データ処理ユニット
40:台車
50:コントローラ
100,100′:動画提示装置
110,110′:動画格納部
120:ルート情報格納部
130,130′:動画再生部
140:移動方向設定部
150:指示入力部
200:ディスプレイ装置
A:経路の端点となるノード
B:経路の端点となるノード
B1〜B9:ボタン
B(i):合成画像
B1(i):第1の合成画像
B2(i):第2の合成画像
E(i):視線ベクトル
F(1),F(2),F(i−1),F(i),F(i+1),F(N−1),F(N):往路動画のフレーム画像/そこから切り出された視野画像
G(1),G(2),G(N−i),G(N−i+1),G(N−i+2),G(N−1),G(N):復路動画のフレーム画像/そこから切り出された視野画像
H(1),H(2),H(i−1),H(i),H(i+1),H(N−1),H(N):背景動画のフレーム画像/そこから切り出された視野画像
Ma:往路動画
M1a:ルートR1の往路動画
Mb:復路動画
M1b:ルートR1の復路動画
Mc:背景画像
N1〜N6:ノード
O:天頂点
P(1),P(2),P(i−1),P(i),P(i+1),P(N−1),P(N):経路上の地点
Q(P(i),φ(i)):視野画像
R,R1〜R6:経路
RT:ルート情報
T:遷移期間
T1:第1の遷移期間
T2:第2の遷移期間
T3:中間遷移期間
t:時間
t0:反転指示入力時
t1〜t3:特定の時点
α:合成画像のブレンド割合
β:合成画像のブレンド割合
Δ:切出角度
φ(i):視線方向(方位角)
【技術分野】
【0001】
本発明は、動画提示装置に関し、特に、所定の経路に沿って移動する視点から見た視界を動画として提示する装置に関する。
【背景技術】
【0002】
魚眼レンズや全方位ミラーを装着したカメラを用いると、周囲360°の視界をもつ全方位画像を撮影することができる。予め、このような全方位画像を用意しておけば、視聴者の希望する任意の視点位置から任意の方向を観察した画像を提示するサービスを提供することができる。
【0003】
たとえば、下記の特許文献1には、情報提供センターに全方位画像を用意しておき、視聴者の求めに応じて、端末装置の画面上に任意視点から任意方向を観察した画像を表示させるための画像データを送信する技術が開示されている。また、グーグル株式会社(本社:米国カリフォルニア州のGoogle Inc. )は、「ストリートビュー」と称して、インターネットを利用して道路上の任意視点から任意方向を観察した景色を表示するサービスを提供している。一方、特許文献2には、車載カメラによって撮影した市街地のビデオ映像から、歩行者、電柱、街路樹などの障害物を除去し、動体などの前景物を含まない市街地映像を提示する装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2001−008232号公報
【特許文献2】特開2011−118495号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
前掲の特許文献1に開示されているシステムやグーグル社の提供する「ストリートビュー」のサービスを利用すれば、ユーザは、任意の視点位置を指定し、任意の視線方向を指定することにより、指定に応じた画像の提示を受けることができる。しかしながら、これらの従来技術では、映像を動画として提示する場合に、人や車といった動体が背景画像と区別なく取り扱われるため、所定の経路に沿って移動する視点から見た視界を動画として提示する場合に、動体の動きが不自然になるという問題がある。
【0006】
特許文献1に開示されているシステム等では、ユーザの指定した視点位置および視線方向に応じた視野画像をその都度取り出し、これを順番に並べて提示すれば、ユーザの指定に応じた映像提示を行うことが可能である。しかしながら、そのような提示方法では、映像中に人や車といった動体が含まれていると、当該動体の動きが不自然に見えてしまうことがある。たとえば、ある経路に沿って移動しながら撮影した全方位画像を用意しておけば、視線方向を360°の任意の方向に向けることができ、どちらの方向に移動しても前進する状態の景色を表示させることができる。しかし、画像フレームの提示順が撮影順どおりにならないと、動体の動きが逆転した状態で再生されることになる。
【0007】
一方、前掲の特許文献2に開示されている技術を利用すれば、撮影した映像から、歩行者や車などの動体を削除して、背景画像のみを提示することができるため、動体の動きが不自然になることを回避することができる。しかしながら、背景画像のみしか含まない映像は、非常に味気ないものになり、視聴者に対して、自分が映像画面内に実際に居るような臨場感を与えることができなくなる。
【0008】
そこで本発明は、被写体として動体を含ませることにより視聴者に高い臨場感を与えつつ、当該動体の動きが自然に見えるような動画提示が可能な動画提示装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
(1) 本発明の第1の態様は、移動する視点から見た視界を動画として提示する動画提示装置において、
第1のノードと第2のノードとを接続する経路に沿って移動しながら撮影した動画を格納する動画格納部と、
ユーザの指示を入力する指示入力部と、
ユーザの指示に基づいて、経路上の移動方向として、第1のノードから第2のノードに向かう往路方向と、第2のノードから第1のノードに向かう復路方向と、のいずれか一方を設定する移動方向設定部と、
動画格納部に格納されている動画を再生し、ディスプレイ装置の画面に表示する動画再生部と、
を設け、
動画格納部には、経路上を往路方向に移動しながら撮影した、被写体に動体を含む往路動画と、経路上を復路方向に移動しながら撮影した、被写体に動体を含む復路動画と、を格納し、
動画再生部が、移動方向設定部に往路方向が設定されている場合には、往路動画を再生対象として順送り再生し、移動方向設定部に復路方向が設定されている場合には、復路動画を再生対象として順送り再生するようにしたものである。
【0010】
(2) 本発明の第2の態様は、上述した第1の態様に係る動画提示装置において、
指示入力部が、移動方向を反転させる反転指示を入力する機能を有し、
移動方向設定部が、反転指示の入力に基づいて、往路方向から復路方向へ、もしくは、復路方向から往路方向へ、移動方向を切り替える処理を行い、
動画再生部が、反転指示入力後の所定期間を遷移期間に設定し、この遷移期間中は、切替前の移動方向に応じた再生対象である切替前動画を構成する切替前画像と、切替後の移動方向に応じた再生対象である切替後動画を構成し切替前画像と同じ位置で撮影された切替後画像と、をブレンドした合成画像を表示するようにしたものである。
【0011】
(3) 本発明の第3の態様は、上述した第2の態様に係る動画提示装置において、
動画再生部が、切替後画像の割合をα、切替前画像の割合を(1−α)として、両画像を合成することにより合成画像を作成し、遷移期間の経過とともに値αを0から1に向けて徐々に増加させるようにしたものである。
【0012】
(4) 本発明の第4の態様は、上述した第3の態様に係る動画提示装置において、
動画格納部に格納されている往路動画が、第1のノード位置で撮影された第1番目のフレームから第2のノード位置で撮影された第N番目のフレームに至るまで合計N枚のフレーム画像によって構成されており、
動画格納部に格納されている復路動画が、第2のノード位置で撮影された第1番目のフレームから第1のノード位置で撮影された第N番目のフレームに至るまで合計N枚のフレーム画像によって構成されており、
往路画像の第i番目のフレームF(i)と復路画像の第(N−i+1)番目のフレームG(N−i+1)とは、経路上の同一地点で撮影された画像になっており、相互に対応するフレームを構成し、
動画再生部が、遷移期間中に、相互に対応するフレームを合成することにより合成画像を作成し、これを表示するようにしたものである。
【0013】
(5) 本発明の第5の態様は、上述した第4の態様に係る動画提示装置において、
動画再生部が、
遷移期間中に、切替前動画の遷移期間直前フレームと、これに対応する切替後動画の対応フレームと、を合成した合成フレームからなる定位置画像を表示し、
遷移期間終了後に、切替後動画の対応フレームから順送り再生を開始するようにしたものである。
【0014】
(6) 本発明の第6の態様は、上述した第4の態様に係る動画提示装置において、
動画再生部が、
遷移期間の前半期において、切替前動画を継続して順送り再生し、遷移期間の後半期において、切替前動画を前半期の最終フレームから逆送り再生し、
遷移期間中に、切替前動画の各フレームと、これに対応する切替後動画の各フレームと、を合成した合成フレームからなる動画画像を表示し、
遷移期間終了後に、切替後動画を継続して順送り再生するようにしたものである。
【0015】
(7) 本発明の第7の態様は、上述した第6の態様に係る動画提示装置において、
動画再生部が、遷移期間の前半期において、再生速度を遷移期間直前の速度から徐々に減少させてゆき、遷移期間の後半期において、再生速度を徐々に増加させてゆくようにしたものである。
【0016】
(8) 本発明の第8の態様は、上述した第4の態様に係る動画提示装置において、
動画再生部が、
遷移期間中に、切替前動画を遷移期間直前フレームから逆送り再生し、切替前動画の各フレームと、これに対応する切替後動画の各フレームと、を合成した合成フレームからなる動画画像を表示し、
遷移期間終了後に、切替後動画を継続して順送り再生するようにしたものである。
【0017】
(9) 本発明の第9の態様は、上述した第1の態様に係る動画提示装置において、
指示入力部が、移動方向を反転させる反転指示を入力する機能を有し、
移動方向設定部が、反転指示の入力に基づいて移動方向を切り替える処理を行い、
動画格納部には、往路動画および復路動画に加えて、経路上を往路方向もしくは復路方向に移動しながら撮影した、被写体に動体を含まない背景動画が、更に格納されており、
動画再生部が、反転指示入力後の所定期間を遷移期間に設定し、この遷移期間中は、切替前の移動方向に応じた再生対象である切替前動画を構成する切替前画像と、背景動画を構成し切替前画像と同じ位置で撮影された背景画像と、をブレンドした第1の合成画像と、背景動画を構成する背景画像と、切替後の移動方向に応じた再生対象である切替後動画を構成し背景画像と同じ位置で撮影された切替後画像と、をブレンドした第2の合成画像とを、第1の合成画像、第2の合成画像の順に表示するようにしたものである。
【0018】
(10) 本発明の第10の態様は、上述した第9の態様に係る動画提示装置において、
動画再生部が、
遷移期間内に、第1の遷移期間と、これに後続する第2の遷移期間とを設定し、
背景画像の割合をα、切替前画像の割合を(1−α)として、両画像を合成することにより第1の合成画像を作成し、これを第1の遷移期間内に表示し、かつ、第1の遷移期間の経過とともに値αを0から1に向けて徐々に増加させ、
切替後画像の割合をβ、背景画像の割合を(1−β)として、両画像を合成することにより第2の合成画像を作成し、これを第2の遷移期間内に表示し、かつ、第2の遷移期間の経過とともに値βを0から1に向けて徐々に増加させるようにしたものである。
【0019】
(11) 本発明の第11の態様は、上述した第10の態様に係る動画提示装置において、
動画格納部に格納されている往路動画が、第1のノード位置で撮影された第1番目のフレームから第2のノード位置で撮影された第N番目のフレームに至るまで合計N枚のフレーム画像によって構成されており、
動画格納部に格納されている復路動画が、第2のノード位置で撮影された第1番目のフレームから第1のノード位置で撮影された第N番目のフレームに至るまで合計N枚のフレーム画像によって構成されており、
動画格納部に格納されている背景動画が、第1のノード位置で撮影された第1番目のフレームから第2のノード位置で撮影された第N番目のフレームに至るまで合計N枚のフレーム画像によって構成されており、
往路画像の第i番目のフレームF(i)と、復路画像の第(N−i+1)番目のフレームG(N−i+1)と、背景画像の第i番目のフレームH(i)とは、経路上の同一地点で撮影された画像になっており、相互に対応するフレームを構成し、
動画再生部が、遷移期間中に、相互に対応するフレームを合成することにより合成画像を作成し、これを表示するようにしたものである。
【0020】
(12) 本発明の第12の態様は、上述した第11の態様に係る動画提示装置において、
動画再生部が、
第1の遷移期間中に、切替前動画の遷移期間直前フレームと、これに対応する背景動画の対応背景フレームと、を合成した合成フレームからなる定位置画像を第1の合成画像として表示し、
第2の遷移期間中に、背景動画の対応背景フレームと、切替後動画の前記対応背景フレームに対応する対応フレームと、を合成した合成フレームからなる定位置画像を第2の合成画像として表示し、
遷移期間終了後に、切替後動画の対応フレームから順送り再生を開始するようにしたものである。
【0021】
(13) 本発明の第13の態様は、上述した第12の態様に係る動画提示装置において、
動画再生部が、第1の遷移期間と第2の遷移期間との間に中間遷移期間を設け、この中間遷移期間中に、対応背景フレームのみを表示するようにしたものである。
【0022】
(14) 本発明の第14の態様は、上述した第11の態様に係る動画提示装置において、
動画再生部が、
第1の遷移期間中に、切替前動画を継続して順送り再生し、この切替前動画の各フレームと背景動画の対応背景フレームとを合成した合成フレームからなる動画画像を第1の合成画像として表示し、
第2の遷移期間中に、切替後動画を、第1の遷移期間の最終対応背景フレームに対応するフレームから順送り再生し、この切替後動画の各フレームと背景動画の対応背景フレームとを合成した合成フレームからなる動画画像を第2の合成画像として表示し、
第2の遷移期間終了後に、切替後動画を継続して順送り再生するようにしたものである。
【0023】
(15) 本発明の第15の態様は、上述した第14の態様に係る動画提示装置において、
動画再生部が、第1の遷移期間中、再生速度を遷移期間直前の速度から徐々に減少させてゆき、第2の遷移期間中、再生速度を徐々に増加させてゆくようにしたものである。
【0024】
(16) 本発明の第16の態様は、上述した第11の態様に係る動画提示装置において、
動画再生部が、
第1の遷移期間中に、切替前動画を遷移期間直前フレームから逆送り再生し、切替前動画の各フレームと、これに対応する背景動画の各フレームと、を合成した合成フレームからなる動画画像を第1の合成画像として表示し、
第2の遷移期間中に、切替後動画を、第1の遷移期間の最終対応背景フレームに対応するフレームから順送り再生し、この切替後動画の各フレームと背景動画の対応背景フレームとを合成した合成フレームからなる動画画像を第2の合成画像として表示し、
遷移期間終了後に、切替後動画を継続して順送り再生するようにしたものである。
【0025】
(17) 本発明の第17の態様は、上述した第1〜第16の態様に係る動画提示装置において、
動画格納部に格納されている各動画画像が、経路に沿って移動しながら全方位カメラを用いて撮影した360°の視界をもつ全方位画像を、フレーム単位で収録した画像によって構成されており、
指示入力部が、特定の視線方向を示す指示を入力する機能を有し、
動画再生部が、動画画像を構成する個々のフレームから視線方向に応じた視野画像を切り出し、これをディスプレイ画面に表示するようにしたものである。
【0026】
(18) 本発明の第18の態様は、上述した第17の態様に係る動画提示装置において、
指示入力部が、前進ボタンと、後退ボタンと、左向きボタンと、右向きボタンと、を有するコントローラを備え、
移動方向設定部が、前進ボタンの操作指示に基づいて、移動方向を第1の方向に設定し、後退ボタンの操作指示に基づいて、移動方向を第2の方向に設定し、
動画再生部が、左向きボタンの操作指示に基づいて、視線方向を左向きに変化させ、右向きボタンの操作指示に基づいて、視線方向を右向きに変化させるようにしたものである。
【0027】
(19) 本発明の第19の態様は、上述した第18の態様に係る動画提示装置において、
移動方向設定部が、左向きボタンの操作指示もしくは右向きボタンの操作指示に基づいて、移動方向に対する視線方向の角度が所定の基準以上となったときに、移動方向の切り替えを行うようにしたものである。
【0028】
(20) 本発明の第20の態様は、上述した第17〜第19の態様に係る動画提示装置において、
動画格納部が、魚眼レンズもしくは全方位ミラーを装着した全方位カメラを用いて、所定の水平面より上方に位置する半球状視界を撮影して得られる歪曲円形画像から、仰角が所定の基準値以下の領域を切り出し、これに歪み補正を施すことにより得られる矩形状のパノラマ画像を全方位画像とする動画を格納するようにしたものである。
【0029】
(21) 本発明の第21の態様は、上述した第17〜第19の態様に係る動画提示装置において、
全方位画像格納部が、仮想の経路を示す三次元CG画像に基づいて作成された矩形状のパノラマ画像を全方位画像とする動画を格納するようにしたものである。
【0030】
(22) 本発明の第22の態様は、上述した第1〜第21の態様に係る動画提示装置において、
動画格納部が、3以上の複数のノードを接続する複数の経路についての動画をそれぞれ格納しており、
各ノードを介した各経路の接続関係を示すルート情報を格納するルート情報格納部を更に設け、
指示入力部が、ノードを介して第1の経路から第2の経路へ移動する旨のユーザの経路乗換指示を入力する機能を有し、
動画再生部が、経路乗換指示が入力された場合に、ルート情報を参照することにより、第1の経路についての動画再生に継続して、第2の経路についての動画再生を行う機能を有するようにしたものである。
【0031】
(23) 本発明の第23の態様は、上述した第1〜第22の態様に係る動画提示装置を、コンピュータに専用のプログラムを組み込むことにより構成したものである。
【発明の効果】
【0032】
本発明に係る動画提示装置によれば、同一の経路について、往路動画と復路動画との2通り動画が撮影され、ユーザの所望する移動方向に応じて、いずれか一方の動画の再生を行うようにしたため、動体を含んだ画像を視聴者に提示して高い臨場感を与えつつ、当該動体の動きが自然に見えるような動画提示が可能になる。
【0033】
また、往路動画の提示と復路動画の提示とを切り替える際に遷移期間を設定し、この遷移期間中に切替前動画と切替後動画とをブレンドさせた合成画像を提示する実施形態を採用すれば、動体を滑らかに切り替えることができ、切替時の動体の動きの不自然さを低減することができる。
【0034】
更に、被写体に動体を含まない背景動画を用意する実施形態では、切替前動画と切替後動画との間に背景動画を介挿したブレンドを行うことができるようになるので、動体の切り替えを更に円滑にし、切替時の動体の動きの不自然さを更に低減することができる。
【図面の簡単な説明】
【0035】
【図1】本発明に係る動画提示装置による提示対象となる美術館の平面図である(ハッチングは壁面を示す)。
【図2】図1に示す美術館の参観路を構成する各ノードと各経路を示す平面図である。
【図3】1本の経路Rに沿った撮影により得られた動画を構成する各フレームを示す動画フレームチャートである。
【図4】図3に示す動画を撮影するために利用される全方位カメラの一例を示す側面図である。
【図5】図4に示す全方位カメラを用いて撮影された歪曲円形画像の平面図である。
【図6】図5に示す歪曲円形画像に基づいて作成された矩形状のパノラマ画像(全方位画像)の一例を示す平面図である。
【図7】経路R上の地点P(i)における視線方向(方位角)φ(i)の定義例を示す平面図である。
【図8】図6示すパノラマ画像(全方位画像)から、方位角φ=90°の視線方向に対応する視野画像Q(P(i),φ(i))を切り出す作業を示す平面図である。
【図9】ユーザの指示を入力するコントローラの上面図である。
【図10】本発明の基本的な実施形態に係る動画提示装置の構成を示すブロック図である。
【図11】図10に示す動画格納部110内に格納される往路動画Maと復路動画Mbとの関係を示す動画フレームチャートである。
【図12】図11に示す往路動画Maの再生画面を示す図である。
【図13】図11に示す復路動画Mbの再生画面を示す図である。
【図14】図10に示す動画提示装置において、反転指示入力が行われた場合の動画再生部130による動画の基本切替態様を示すタイムチャートである。
【図15】図10に示す動画提示装置において、反転指示入力が行われた場合の動画再生部130による動画の遷移期間を介した切替態様を示すタイムチャートである。
【図16】図15に示す遷移期間Tにおける画像ブレンド処理の原理を示す図である。
【図17】図10に示す動画提示装置において、反転指示入力が行われた場合の動画再生部130による動画の遷移期間を介した別な切替態様を示すタイムチャートである。
【図18】図10に示す動画提示装置において、反転指示入力が行われた場合の動画再生部130による動画の遷移期間を介した更に別な切替態様を示すタイムチャートである。
【図19】本発明の背景動画を利用する実施形態に係る動画提示装置の構成を示すブロック図である。
【図20】図19に示す動画格納部110′内に格納される往路動画Ma、復路動画Mb、背景動画Mcの関係を示す動画フレームチャートである。
【図21】図20に示す背景動画Mcの再生画面を示す図である。
【図22】図19に示す動画提示装置において、反転指示入力が行われた場合の動画再生部130′による動画の第1の切替態様を示すタイムチャートである。
【図23】図22に示す第1の遷移期間T1および第2の遷移期間T2における画像ブレンド処理の原理を示す式である。
【図24】図19に示す動画提示装置において、反転指示入力が行われた場合の動画再生部130′による動画の第2の切替態様を示すタイムチャートである。
【図25】図19に示す動画提示装置において、反転指示入力が行われた場合の動画再生部130′による動画の第3の切替態様を示すタイムチャートである。
【図26】図19に示す動画提示装置において、反転指示入力が行われた場合の動画再生部130′による動画の第4の切替態様を示すタイムチャートである。
【発明を実施するための形態】
【0036】
以下、本発明を図示する実施形態に基づいて説明する。
【0037】
<<< §1. 動画提示の基本手法 >>>
ここでは、まず、本発明に係る動画提示装置が採用する動画提示の基本手法を説明する。本発明に係る動画提示装置は、所定の経路に沿って移動する視点から見た視界を動画として提示する装置であり、表示対象となる経路は、屋外であっても、屋内であってもかまわない。したがって、この装置は、たとえば、様々な史跡や観光地の景色をディスプレイ画面上に提示し、ユーザ(視聴者)に、あたかも当該史跡や観光地内を自由に歩き回って見学しているような体験をさせることが可能である。以下の説明では、便宜上、図1に示すような平面図で示される間取りをもった美術館の館内を歩きまわっている状態の動画をユーザに提示する単純な例を説明する。
【0038】
ここでは、この図1に示す美術館が、絵画と彫刻を展示するための実在の施設であり、図示のとおり、入口から入館した参観者は、内部の回廊を自由に歩き回りながら展示物を鑑賞し、出口から退館するものとしよう。図1にハッチングを施した部分は、回廊の壁面を示しており、絵画は、この壁面に提示されているものとする。また、回廊の床には、適宜、彫刻が置かれているものとする。本発明に係る動画提示装置は、基本的には、この実在の美術館の館内を撮影した画像をユーザに提示するための装置ということになるが、ユーザが、館内を自由に歩き回りながら、視線を任意の方向に向けて観察した状態をシミュレートし、動画として提示する機能を有している。
【0039】
ここでは、このような美術館の参観路を、複数のノードとこれらノード間を接続する経路とによって表現し、参観路全体を、各ノードと各経路の情報をもったルート情報によって表現することにする。図2は、図1に示す美術館の参観路を構成するノードと経路を示す平面図であり、個々の黒点はノード、個々の直線は経路、個々の破線は実際の参観路の輪郭を示している。図示のとおり、この例では、6個のノードN1〜N6と、6本の経路R1〜R6とが定義されている。各経路は、一対のノードを端点として、これら端点間を結ぶ直線として定義される。
【0040】
参観路上のどの位置にノードを定義し、どのノード間に経路を定義するかは、装置設計者の判断に委ねられるが、一般的には、参観路の分岐点、曲がり角、始端点、終端点にノードを定義し、実際の参観路に応じて、必要なノード間に経路を定義すればよい。図示の例の場合、各経路R1〜R6はいずれも直線をなすが、実在の経路が曲線を含む場合には、ベジェ曲線などを利用して曲線からなる経路を定義してもかまわない。ただ、各経路が直線であれば、その両端点のノードを特定するだけで当該経路も特定されるので、実用上は、すべての経路を直線によって構成するのが好ましい。実在の参観路が曲線を含む場合には、複数のノードとこれらを結ぶ直線からなる折れ線によって擬似的に曲線を近似すればよい。
【0041】
参観路全体を示すルート情報は、個々のノードの位置を示す情報(たとえば、XY座標系上の座標値)と、一対のノード間の経路を示す情報(たとえば、「ノードN1,N2:経路R1」のような情報)とによって構成することができる。
【0042】
このような参観路についての動画提示を行うためには、個々の経路R1〜R6に沿って移動しながら撮影した動画をそれぞれ用意しておけばよい。図3は、1本の経路Rに沿った撮影により得られた動画を構成するフレーム群を示す動画フレームチャートである。図示の例は、一対のノードA,Bを結ぶ経路Rに沿って、ノードAからノードBに移動しながら撮影を行うことにより得られた動画のフレーム構成を示している。
【0043】
図示のとおり、この動画は、経路R上に離散的に定義された各地点P(1),P(2),... ,P(i),... ,P(N−1),P(N)において撮影されたフレーム画像F(1),F(2),... ,F(i),... ,F(N−1),F(N)の集合体によって構成される。ここで、地点P(1)はノードAに一致し、地点P(N)はノードBに一致し、合計N個の地点について、それぞれ固有のフレーム画像が撮影されることになる。個々のフレーム画像は静止画像であるが、これを順送りに再生することにより、動画の提示を行うことができる。各地点の間隔は、撮影装置の1秒間のフレーム数と撮影装置の移動速度によって定まる。たとえば、30フレーム/秒の撮影装置を150mm/秒の速度で移動させながら撮影を行えば、各地点の間隔は5mmになる。
【0044】
ここに示す例の場合、動画撮影を行う装置として、図4に示すような撮影装置を用いている。この撮影装置は、図示のとおり、魚眼レンズ10、ビデオカメラ20、データ処理ユニット30、台車40によって構成され、360°の視界をもつ画像を撮影可能な全方位カメラとして機能する。図4に示すように、魚眼レンズ10は、この装置の最上部に配置され、所定の水平面より上方に位置する半球状視界の像をビデオカメラ20の撮像面に形成する。このような構成を採ると、ビデオカメラ20の撮像面には、図5に示すような歪曲円形画像が結像する(ハッチングを施したドーナツ状部分とその内部の白地の円形部分との両方が、魚眼レンズ10で撮影した歪曲円形画像になる。)。この歪曲円形画像の中心にある天頂点Oは、図4に示す撮影装置の鉛直上方の位置にある点(回廊の天井に相当)になり、この歪曲円形画像の外周は、図4に示す撮影装置による撮影視野(周囲360°の視野)の下端位置に相当する。)。
【0045】
ここに示す例の場合、絵画と彫刻を展示した美術館の館内が表示対象となっているため、天頂点Oの近傍にある白地の円形部分の画像(回廊の天井部分の画像に相当)は利用せず、図にハッチングを施したドーナツ状の領域のみを利用することにする。図6は、図5に示す歪曲円形画像から、仰角が所定の基準値以下の領域(図にハッチングを施した領域)を切り出し、これに歪み補正を施すことにより得られる矩形状のパノラマ画像を示す平面図である。このパノラマ画像が、地点P(i)で撮影された歪曲円形画像に基づいて得られた画像であるとすると、当該画像は、動画の第i番目のフレームF(i)を構成することになる。このパノラマ画像の下辺に示す0°〜360°の方位角は、図5の歪曲円形画像の円周上に示された0°〜360°の方位角に対応する。すなわち、この図6に示すパノラマ画像は、図4に示す魚眼レンズ10の位置に視点をおき、周囲360°を眺めた画像ということになる。
【0046】
ビデオカメラ20で撮影された歪曲円形画像のデータは、データ処理ユニット30へ送られる。データ処理ユニット30は、コンピュータによって構成され、歪曲円形画像のデータは、ハードディスク装置内に格納される。また、ここに示す例の場合、データ処理ユニット30は、この歪曲円形画像からパノラマ画像を作成する処理を行う機能を有している。したがって、図5に示すような歪曲円形画像は、データ処理ユニット30内で図6に示すようなパノラマ画像に変換され、ハードディスク装置内に格納される。ここに示す例の場合、このようにして得られたパノラマ画像を、動画の個々のフレームを構成する全方位画像として用いることになる。
【0047】
図5に示す歪曲円形画像が歪んだドーナツ状の画像であるのに対して、図6に示すパノラマ画像は矩形状の画像であるため、データ処理ユニット30は、歪み補正を伴う画像変換処理を行う必要がある。このような画像変換処理は公知の技術であるため、ここでは詳しい説明は省略する。なお、通常、このような歪み補正を伴う画像変換処理を行っても、歪みを完全に除去することは困難であるので、得られるパノラマ画像にも若干の歪みが残ることになるが、実用上支障のないレベルまでの歪み補正が可能である。
【0048】
以上、図4に示す撮影装置を経路R上の1地点に設置し、その周囲のパノラマ画像を得る手順を説明したが、この撮影装置を経路Rに沿って移動させながら、ビデオカメラ20により動画撮影を行えば、図6に示すようなパノラマ画像(全方位画像)を1フレームとして、連続した複数フレームから構成される動画が得られることになる。図3に示すN枚のフレームF(1)〜F(N)からなる動画は、このような撮影によって得られたものである。
【0049】
もっとも、ユーザに動画を提示する際には、図6に示すパノラマ画像をそのまま1フレームの画像として表示するのは好ましくない。このパノラマ画像は、周囲360°の全情報を含む特異な画像であり、一般的な人間の視野に入る画像とはかけ離れている。そこで、実際には、特定の視線方向を定め、当該視線方向の視野に入る一部分のみを切り出してユーザに提示する必要がある。
【0050】
図7は、経路R上の特定地点P(i)における視線方向の定義例を示す平面図である。視線方向は、地点P(i)から伸びる視線ベクトルE(i)の方向として定義される。ここに示す例の場合、地点P(i)から図の上方に向かう方向を0°とし、時計回りに0°から360°の方位角φ(i)を定義している。別言すれば、0°方向を向いた軸を基準として、視線ベクトルE(i)のなす角φ(i)(ただし、0°≦φ(i)<360°)が方位角として定義されることになる。
【0051】
方位角φ(i)は、経路R上の第i番目の地点P(i)に位置する仮想ユーザが、どの方向に視線を向けているかを示すパラメータである。図示の例の場合、経路Rは、図における左右方向(水平方向)に伸びる直線であるので、方位角φ(i)=90°は、ノードBへ向かう方向を示し、方位角φ(i)=270°は、ノードAへ向かう方向を示すことになる。
【0052】
このように、仮想ユーザの現在位置を示す地点P(i)と視線方向を示す方位角φ(i)とが定まれば、当該仮想ユーザからみた視野画像Q(P(i),φ(i))を抽出することができる。図8は、このような視野画像Q(P(i),φ(i))を切り出す作業を示す平面図である。図に太線で囲って示す視野画像Q(P(i),φ(i))は、図3に示す経路R上の地点P(i)に位置する仮想ユーザが、視線を方位角φ(i)=90°で示される方向(ノードBに向かう方向)に向けている場合に、当該仮想ユーザの視野に現れるべき画像である。
【0053】
このような画像を得るには、第i番目のフレーム画像F(i)から、方位角「φ(i)−Δ/2」〜「φ(i)+Δ/2」の範囲内の視界を構成する部分を切り出す処理を行えばよい。ここで、Δは所定の切出角度であり、切り出された視野画像Q(P(i),φ(i))の横幅に相当する角度になる。図示の例の場合、方位角φ=90°という設定であるため、φ=90°の位置を中心にして、横幅Δに相当する視野画像の切り出しが行われている。
【0054】
図7に示す地点P(i)からノードBへ向かって移動中の仮想ユーザが、移動方向(ノードBに向かう方向)に視線を向けている場合に、その視界に入る動画を提示するには、各フレーム画像F(i),F(i+1),F(i+2),... から方位角φ=90°で示される視野画像を切り出し、これら視野画像を順番に(撮影順どおりに)表示させる処理を行えばよい。そうすれば、図8の太枠内に示されている景色において、方位角90°の近傍位置に置かれている彫刻像が徐々に近づいてくる動画が提示されることになる。
【0055】
もちろん、仮想ユーザは、移動中に視線方向(方位角φ)を変えることができる。視線方向(方位角φ)に変化が生じた場合、図8に太枠で示されている切出位置が左右に動くことになる。仮想ユーザは、視線方向を移動方向に対して逆向きにすることもできる。たとえば、図7に示す地点P(i)からノードBへ向かって移動中の仮想ユーザが、方位角φ=270°という設定を行うと、移動方向はノードBに向かう方向であるのに、視線方向はノードAに向かう方向ということになり、図8に示すようなフレーム画像から、φ=270°の位置を中心にして、横幅Δに相当する視野画像の切り出しが行われる。その結果、方位角270°の近傍位置に置かれている彫刻像が徐々に遠ざかってゆく動画が提示されることになる。
【0056】
一方、ユーザは、移動方向を任意の方向に設定することができる。たとえば、図7に示す地点P(i)に位置する仮想ユーザについて、移動方向をノードAに向かう方向に設定し、視線方向を方位角φ=270°とする設定を行った場合、図8において、方位角270°の近傍位置に置かれている彫刻像が徐々に近づいてくる動画が提示されることになる。このような動画を提示するには、各フレーム画像F(i),F(i−1),F(i−2),... から方位角φ=270°で示される視野画像を切り出し、これら視野画像を順番に(撮影順とは逆の順番に)表示させる処理を行えばよい。
【0057】
以上、図7に示す1本の経路R(ノードA,B間の経路)上を仮想ユーザが移動した場合の動画提示の基本手法を説明したが、複数の経路が存在する場合も、個々の経路について同様の動画提示処理を行えばよい。たとえば、図2に示す美術館の参観路は、6本の経路R1〜R6によって構成されているが、個々の経路R1〜R6のそれぞれについて、上述の例と同様に動画撮影を行っておけば、仮想ユーザが、この参観路上のどの位置をどの方向に進み、視線をどの方向に向けていたとしても、適切な動画提示を行うことができる。
【0058】
このように、仮想ユーザを、参観路上の所望の方向に移動させ、その視線を所望の方向に向けさせる指示入力を効率的に行うために、図9に示すようなコントローラ50を用意しておくのが好ましい。このコントローラ50は、コンピュータゲーム用の入力機器として利用されている一般的な装置であり、右側に5つのボタンB1〜B5、中央に3つのボタンB6〜B8、左側に1つのボタンB9が設けられている。ここで、図示のボタンB1は前進ボタン、ボタンB2は後退ボタン、ボタンB3は左向きボタン、ボタンB4は右向きボタン、ボタンB5は停止ボタンとして機能する。
【0059】
ここで、前進ボタンB1は、仮想ユーザを経路上の第1の方向に移動させる動作を開始させる指示を与えるボタンとして機能し、後退ボタンB2は、仮想ユーザを経路上の第2の方向に移動させる動作を開始させる指示を与えるボタンとして機能し、停止ボタンB5は、仮想ユーザを停止させる指示を与えるボタンとして機能する。
【0060】
たとえば、仮想ユーザが、図7に示す経路R上の地点P(i)の位置に停止状態にあるときに、前進ボタンB1が押されると、当該仮想ユーザが、所定速度でノードBに向けて移動してゆく動画の再生が開始する。すなわち、各フレーム画像F(i),F(i+1),F(i+2),... から所定の方位角φで示される視野画像の切り出しが行われ、これら視野画像が順送り(撮影された順)で表示される。そして、停止ボタンB5が押された時点で、動画の再生は中止され、その時点で表示されていたフレーム画像が静止画として表示されることになる。
【0061】
一方、仮想ユーザが、図7に示す経路R上の地点P(i)の位置に停止状態にあるときに、後退ボタンB2が押されると、当該仮想ユーザが、所定速度でノードAに向けて移動してゆく動画の再生が開始する。すなわち、各フレーム画像F(i),F(i−1),F(i−2),... から所定の方位角φで示される視野画像の切り出しが行われ、これら視野画像が逆送り(撮影された順とは逆順)で表示される。そして、停止ボタンB5が押された時点で、動画の再生は中止され、その時点で表示されていたフレーム画像が静止画として表示されることになる。
【0062】
また、前進ボタンB1を押すことにより、仮想ユーザが所定速度でノードBに向けて移動してゆく動画の再生が行われている状態において、後退ボタンB2を押すと、その時点で、仮想ユーザの移動方向はノードAに向けた方向に反転することになる。同様に、後退ボタンB2を押すことにより、仮想ユーザが所定速度でノードAに向けて移動してゆく動画の再生が行われている状態において、前進ボタンB1を押すと、その時点で、仮想ユーザの移動方向はノードBに向けた方向に反転することになる。
【0063】
なお、ここでは説明の便宜上、前進ボタンB1,後退ボタンB2と呼んでいるが、仮想ユーザの視線方向は360°の任意の方向に向けることができるので、ここで言う「前進」あるいは「後退」とは、「視線方向に進む」あるいは「視線方向とは逆方向に進む」という一般的な意味での前後を示すものではなく、単に、経路R上の「第1の方向(この例では、ノードAからBに向かう方向)に進む」あるいは「第2の方向(この例では、ノードBからAに向かう方向)に進む」ことを意味するものである。
【0064】
仮想ユーザの視線方向を変えるには、左向きボタンB3もしくは右向きボタンB4を押す操作を行えばよい。仮想ユーザが移動中であれ、停止中であれ、左向きボタンB3が押されている間、視線方向が所定速度で左向きに変化するように方位角φが更新され、右向きボタンB4が押されている間、視線方向が所定速度で右向きに変化するように方位角φが更新される。たとえば、視線方向を示す方位角φが90°に設定されていた場合、左向きボタンB3が押されている間、方位角φを89°,88°,87°,... と減少させる処理(0°に達した場合は、360°から減少させる処理)が行われ、右向きボタンB4が押されている間、方位角φを91°,92°,93°,... と増加させる処理(360°に達した場合は、0°から増加させる処理)が行われる。
【0065】
こうして、ユーザは、ボタンB1〜B5を操作することにより、美術館の回廊を構成する仮想空間内を自由に歩き回り、任意の方向に視線を向けることができる。そして、ディスプレイ画面上には、このユーザの指示に基づいて、仮想ユーザから見た視野画像が動画として表示されることになる。
【0066】
この美術館の参観路は、図2に示すように、ノードを両端点とする複数の経路R1〜R6によって構成されている。そこで、ここに示す例では、仮想ユーザがいずれかのノード位置に到達した場合には、自動的に仮想ユーザを当該ノードで停止させ、ディスプレイ画面上にノードに到達した旨のメッセージを表示させるようにしている。また、ユーザに、到達ノードを始点とする新たな経路を選択させる処理を行い、ユーザが経路の選択指示を入力したら、仮想ユーザが当該選択経路へと移動する状態を示す動画再生を行うようにしている。このような方法を採ることにより、図2に示すノードN2やN5の近傍のように、分岐を含む経路が存在する場合にも、ユーザは、所望の方向へと進む指示を与えることができる。
【0067】
<<< §2. 本発明の基本的実施形態 >>>
さて、§1では、本発明に係る動画提示装置が採用する動画提示の基本手法を説明した。この基本手法を用いて動画提示を行えば、ディスプレイ画面上には、たとえば、図8の太枠内に示す視野画像Q(P(i),φ(i))のような画像が表示されることになる。しかも仮想ユーザの移動や視線向きの変更に応じた動画の提示が行われることになる。
【0068】
ただ、§1で述べた例では、被写体として動体が含まれていないため、臨場感に乏しいという問題がある。たとえば、図8に示す例の場合、フレーム画像F(i)は、全方位画像であるため、周囲360°の映像が含まれているものの、この美術館の建物内部の内装画像と、展示品である絵画や彫刻が映っているだけであり、仮想ユーザ以外の他の観覧者の映像は映っていない。もちろん、絵画や彫刻のみを集中して鑑賞したい場合には、他の観覧者の映像は邪魔になるので、被写体として動体を含まない動画を用意した方が好ましいであろう。しかしながら、ユーザに対して、「実際に美術館を訪問し、他の観覧者とともに鑑賞している」という臨場感を与えるためには、仮想ユーザ以外の他の観覧者を被写体として含む動画を用いるのが好ましい。特に、様々な史跡や観光地を巡る実体験をユーザに与えるための動画提示装置の場合、人や車などの動体が被写体として含まれた動画が提示されるのが好ましい。
【0069】
本発明は、このように被写体に動体を含む動画を提示することを前提としたものである。被写体に動体を含む動画を用意する方法は、基本的には、§1で述べた方法と同じである。ただ、撮影現場に、動体が存在する環境で動画撮影を行えばよい。たとえば、ここで例示する美術館の例の場合、実際の観覧者(一般入場者でもよいし、撮影のために雇用したエキストラでもよい)が回廊内を歩き回っている状態で、図4に示すような全方位カメラを用いた撮影を行えばよい。そうすれば、図8の太枠内に示す視野画像Q(P(i),φ(i))内にも観覧者が映り込むことになり、被写体に動体を含む動画の提示が可能になる。その結果、ユーザが美術館の疑似的な観覧体験を行う際に、高い臨場感を与えることが可能になる。
【0070】
しかしながら、§1で述べた基本手法をそのまま利用して、他の観覧者(動体)を含む動画提示を行うと、他の観覧者(動体)の動きが不自然になるという問題が生じる。たとえば、図4に示すような全方位カメラを、図3に示す経路R上のノードAからノードBに向かって移動させながら動画撮影を行うと、§1で述べたとおり、各地点P(1),P(2),... ,P(i),... ,P(N−1),P(N)において撮影されたフレーム画像F(1),F(2),... ,F(i),... ,F(N−1),F(N)が得られる。これらN枚のフレーム画像からなる動画は、順送り(撮影順)に再生する限り動体の動きは自然になるが、逆送り(撮影順と逆の順)に再生すると、動体の動きは逆転して不自然になる。
【0071】
たとえば、図7に示す地点P(i)からノードBへ向かって移動中の仮想ユーザの視野画像を動画として提示する場合、各フレーム画像F(i),F(i+1),F(i+2),... をこの順に取り出し、視線方向(方位角φ)に応じた視野画像を切り出して順次表示することになるので、動画は順送り再生されることになる。したがって、他の観覧者(動体)の動きは自然である。ところが、地点P(i)からノードAへ向かって移動中の仮想ユーザの視野画像を動画として提示する場合は、各フレーム画像F(i),F(i−1),F(i−2),... をこの順に取り出し、視線方向(方位角φ)に応じた視野画像を切り出して順次表示することになるので、動画は逆送り再生されることになり、他の観覧者(動体)の動きは不自然になってしまう。
【0072】
本発明は、このような問題に対処するための新たな提案を行うものであり、被写体として動体を含ませることにより視聴者に高い臨場感を与えつつ、当該動体の動きが自然に見えるような動画提示が可能な動画提示装置を提供することを目的とする。
【0073】
本発明の基本概念は、図3に示すような経路Rに関する動画提示を行う際に、この同一の経路Rについて、ノードAからBに向かって移動しながら撮影した往路動画Maと、ノードBからAに向かって移動しながら撮影した復路動画Mbと、の2通り動画を用意しておき、ユーザの所望する移動方向に応じて、順送り再生を行うことが可能ないずれか一方の動画の再生を行うようにする、というものである。そうすれば、仮想ユーザの移動方向がどちらであっても、動画は常に順送りで再生されることになるので、動体を含んだ画像をユーザに提示して高い臨場感を与えつつ、当該動体の動きが自然に見えるような動画提示が可能になる。
【0074】
以下、図10のブロック図を参照しながら、本発明の基本的な実施形態に係る動画提示装置100の構成およびその動作を説明する。図示のとおり、この動画提示装置100は、動画格納部110、ルート情報格納部120、動画再生部130、移動方向設定部140、指示入力部150によって構成されており、移動する視点から見た視界を動画として提示する機能を有している。
【0075】
ここで、動画格納部110は、第1のノードと第2のノードとを接続する経路Rに沿って移動しながら撮影した動画を格納する構成要素である。ただ、同一の経路Rについて、第1のノードから第2のノードに向かう往路方向に移動しながら撮影した往路動画Maと、第2のノードから第1のノードに向かう復路方向に移動しながら撮影した復路動画Mbと、の2種類の動画を格納する点が大きな特徴となる。
【0076】
図11は、この動画格納部110内に格納される往路動画Maと復路動画Mbとの関係を示す動画フレームチャートである。§1では、図3を参照して、経路R上に離散的に定義された各地点P(1),P(2),... ,P(i),... ,P(N−1),P(N)において撮影されたフレーム画像F(1),F(2),... ,F(i),... ,F(N−1),F(N)の集合体からなる動画の構成を説明した。図11に示す往路動画Maを構成するN枚のフレーム画像F(1)〜F(N)は、図3に示すN枚のフレーム画像F(1)〜F(N)と全く同じものである。
【0077】
すなわち、この往路動画Maを構成するN枚のフレーム画像F(1)〜F(N)を用意するには、まず、魚眼レンズ10(もしくは全方位ミラーでもよい)を装着した図4に示すような全方位カメラをノードAからBに向かう往路方向に移動させながら、所定の水平面より上方に位置する半球状視界に相当する歪曲円形画像を撮影する(図5参照)。そして、この歪曲円形画像から、仰角が所定の基準値以下の領域を切り出し、これに歪み補正を施すことにより、図6に示すような矩形状のパノラマ画像(全方位画像)を得ればよい。地点P(i)における撮影画像から得られるパノラマ画像がフレーム画像F(i)になる。
【0078】
一方、復路動画Mbを構成するN枚のフレーム画像G(1)〜G(N)も、ほぼ同じ方法で用意することができる。ただし、撮影時の全方位カメラの移動方向は、ノードBからAに向かう復路方向にする。結局、往路動画Maと復路動画Mbとは、いずれも同一の経路R上の各地点で撮影されたフレーム画像の集合体であるが、撮影時の移動方向が逆転していることになる。ここで、撮影時のフレームレート(たとえば、30フレーム/秒)および全方位カメラの移動速度(たとえば、150mm/秒)を統一しておけば、往路動画Maも復路動画Mbも、いずれも同じN枚のフレーム画像によって構成されることになり、しかも同一地点で撮影された一対のフレームが、互いに対応関係を有する。
【0079】
図11において、往路動画Maを構成する各フレーム画像F(1)〜F(N)と復路動画Mbを構成する各フレーム画像G(1)〜G(N)との間を上下に結ぶ矢印は、このような1対1の対応関係を示すものである。たとえば、地点P(1)で撮影されたフレームF(1)とフレームG(N)とは対応し、地点P(2)で撮影されたフレームF(2)とフレームG(N−1)とは対応する。一般式で示せば、第i番目の地点P(i)で撮影されたフレームF(i)とフレームG(N−i+1)とは対応する。
【0080】
なお、往路動画Maを構成する個々のフレーム画像と復路動画Mbを構成する個々のフレーム画像との撮影地点を正確に一致させるためには、経路R上にレールを敷設し、図4に示す全方位カメラをこのレールに沿って往路方向および復路方向に移動させながら撮影を行うようにするのが好ましい。
【0081】
ここで、上述した方法で撮影された動画が、被写体として動体を含まない動画であった場合は、互いに対応するフレーム画像F(i)とG(N−i+1)とは、基本的には同じ内容の画像になる。動体を含まない映像には、美術館の内装、絵画、彫刻等の静物が映っているだけであるから、同一地点で撮影されたフレーム画像は、撮影時の照明環境が変わらなければ同じ画像になる。
【0082】
これに対して、被写体として動体を含む動画を撮影した場合は、動体の動きが撮影テイクごとに異なるため、互いに対応するフレーム画像F(i)とG(N−i+1)とは、背景部分については同じ内容であっても、動体部分(前景部分)については異なる内容になる。もちろん、動体として、観覧者の役を演じるエキストラを雇用し、往路動画Maの撮影時と復路動画Mbの撮影時とで、同じ演技を行うようにすれば、動体部分(前景部分)についても、ある程度類似した動画を用意することは可能である。しかしながら、実写撮影を行う以上、フレーム画像F(i)とG(N−i+1)の内容を完全に一致させることは不可能であり、また、本発明では、両者を敢えて完全一致させる必要もない。
【0083】
このように、図10に示す動画格納部110には、経路R上を往路方向に移動しながら撮影した、被写体に動体を含む往路動画Maと、同じ経路R上を復路方向に移動しながら撮影した、被写体に動体を含む復路動画Mbと、が格納されている。なお、ここに示す実施形態は、図2に示すような6本の経路R1〜R6を含む参観路についての動画提示を行う装置に係るものであるので、実際には、動画格納部110内には、これら6本の経路R1〜R6のそれぞれについて、往路動画Maと復路動画Mbとが格納されることになる。図10では、図示の便宜上、経路R1についての往路動画M1aと復路動画M1bとが格納された状態のみ明示されているが、実際には、経路R2〜R6についても同様にそれぞれ2通りの動画が格納されていることになる。
【0084】
なお、特定の経路について、いずれの方向を往路方向あるいは復路方向とするかは、この装置の設計者の判断で自由に決めることができるので、各動画を撮影する際の便宜を考慮して、適宜、定めればよい。
【0085】
一方、ルート情報格納部120は、各ノードを介した各経路の接続関係を示すルート情報RTを格納する構成要素である。一般に、3以上の複数のノードを接続する複数の経路についての動画を取り扱う場合には、動画格納部110内に、3以上の複数のノードを接続する複数の経路についての動画をそれぞれ格納しておく必要がある。ここに示す例の場合は、上述したように、6個のノードN1〜N6と、これらのうちの所定の一対間を接続する6本の経路R1〜R6とによって参観路が形成されており、動画格納部110内には、この6本の経路R1〜R6についての動画(往路動画Maと復路動画Mb)が格納されている。ルート情報格納部120には、各経路の接続関係を示すルート情報RTが格納されることになる。具体的には、たとえば、ルート情報RTとして、「ノードN1,N2:経路R1」のような情報を用意しておけば、両ノードN1,N2間に経路R1が存在することを示すことができる。
【0086】
また、指示入力部150は、ユーザの指示を入力する構成要素であり、仮想ユーザに対する移動/停止、移動方向の設定、視線方向の変更などの指示を与えることができる。移動方向の設定指示は、移動方向設定部140に与えられる。移動方向設定部140は、与えられた指示に基づいて、現在仮想ユーザが位置する経路R上の移動方向として、往路方向か復路方向かのいずれか一方を設定する。
【0087】
一方、仮想ユーザに対する移動/停止の指示や、視線方向の変更の指示は、動画再生部130に与えられる。動画再生部130は、与えられた指示に基づいて、動画格納部110に格納されている動画を再生し、ディスプレイ装置200の画面に表示する機能を果たす。たとえば、仮想ユーザに対する移動指示が与えられた場合は、移動方向設定部140に設定されている移動方向を参照して、往路方向が設定されている場合には、往路動画Maを再生対象として順送り再生し、復路方向が設定されている場合には、復路動画Mbを再生対象として順送り再生する。また、仮想ユーザに対する停止指示が与えられた場合は、動画再生を停止し、現時点で表示しているフレーム画像を静止画像として表示する。
【0088】
なお、ここに示す基本的実施形態の場合、動画格納部110に格納されている各動画画像は、経路Rに沿って移動しながら全方位カメラを用いて撮影した360°の視界をもつ全方位画像を、フレーム単位で収録した画像(図6参照)によって構成されている。したがって、動画再生部130は、図8に示すように、動画画像を構成する個々のフレームから、所定の視線方向(方位角φ)に応じた視野画像Qを切り出し、これをディスプレイ装置200の画面に表示する処理を行うことになる。指示入力部150は、特定の視線方向を示す指示を入力する機能を有しており、動画再生部130は、この指示入力部150から与えられた指示に基づいて、視野画像Qを切り出す位置を決定するための視線方向(方位角φ)を認識する。
【0089】
実際には、指示入力部150は、図9に示すようなコントローラ50と、このコントローラ50による操作指示を取り込むインターフェイスと、によって構成される。§1で述べたとおり、このコントローラ50は、前進ボタンB1と、後退ボタンB2と、左向きボタンB3と、右向きボタンB4と、を有している。そして、移動方向設定部140は、前進ボタンB1の操作指示に基づいて、移動方向を第1の方向に設定し、後退ボタンB2の操作指示に基づいて、移動方向を第2の方向に設定する処理を行う。
【0090】
また、動画再生部130は、左向きボタンB3の操作指示に基づいて、視線方向を左向きに変化させ、右向きボタンB4の操作指示に基づいて、視線方向を右向きに変化させる処理を行う。より具体的には、動画再生部130は、現在の方位角φを記憶する機能をもち、左向きボタンB3が押されたときにφを減少させる処理(0°に達した場合は、360°から減少させる処理)を行い、右向きボタンB4が押されたときにφを増加させる処理(360°に達した場合は、0°から増加させる処理)を行えばよい。
【0091】
なお、ここに示す実施形態では、図2に例示するように、複数の経路からなる参観路を自由に移動した状態の動画提示が可能である。そこで、指示入力部150は、特定のノードを介して第1の経路から第2の経路へ移動する旨のユーザの経路乗換指示を入力する機能を有し、動画再生部130は、当該経路乗換指示が入力された場合に、ルート情報格納部120内のルート情報RTを参照することにより、第1の経路についての動画再生に継続して、第2の経路についての動画再生を行う機能を有している。たとえば、図2に示す例において、ノードN5からN2に向かって経路R6を移動した後、ノードN2からノードN3に向かって経路R2を移動するような経路乗換指示が入力された場合、動画再生部130は、ルート情報RTを参照することにより当該経路乗換指示を認識し、経路R6についての動画再生に継続して、経路R2についての動画再生を行うことになる。
【0092】
このように、図10に示す動画提示装置によれば、ユーザに対して、図2に示す美術館の回廊の参観路を任意の方向に移動しながら任意の方向に視線を向けた状態の動画提示を行うことができる。しかも、どの経路をどの方向に移動する場合でも、往路動画Maおよび復路動画Mbのうちのいずれか一方(順送り再生が可能な方)が再生されるため、動画は常に順送り再生されることになる。このため、動体の動きが常に自然に見えるような動画提示が可能になる。
【0093】
たとえば、図11に示す例において、仮想ユーザが経路R上の地点P(i)近傍を、方位角φ=90°(ノードBを向く方向)に視線方向を向けて、往路方向(ノードBに向かう方向)に移動する場合を考えてみよう。この場合、移動方向設定部140には往路方向が設定されるので、動画再生部130は、往路動画Maを再生対象として順送り再生することになる。
【0094】
図12は、このような往路動画Maの再生画面を示す図である。順送り再生では、往路動画Maを構成するフレーム画像F(i−1),F(i),F(i+1)がこの順で表示されるため、ディスプレイ画面上には、正面を向いた左側の人物が接近し、背面を向いた右側の人物が遠ざかってゆく自然な動画が提示されることになる。なお、実際には、フレームレートが1/30秒程度だと、1フレームの違いにより図示の例のような人物位置の極端な変遷は見られないが、ここでは説明の便宜上、人物位置の変遷を誇張して示してある。また、この図12に示す各画像は、実際には、図8に示すようなパノラマ画像の一部から切り出された視野画像というべきものであるが、ここでは、視線方向を示す方位角φ=90°に固定された状態を考え、便宜上、これら視野画像をフレーム画像F(i−1),F(i),F(i+1)と呼ぶことにする。
【0095】
このような順送り再生を行えば、フレーム画像の表示順が撮影時の時間の流れどおりになるため、ユーザにとって違和感は生じず、ごく自然な動画として把握される。これに対して、もし同じフレーム画像を逆送り再生したとすると、正面を向いた左側の人物が遠ざかってゆき、背面を向いた右側の人物が近づいてくるという不自然な動画が提示されることになる。
【0096】
一方、図13は、復路動画Mbの再生画面を示す図である。順送り再生では、復路動画Mbを構成するフレーム画像G(N−i),G(N−i+1),G(N−i+2)がこの順で表示されるため、ディスプレイ画面上には、正面を向いた女性が近づいてくる自然な動画が提示されることになる(ここでも説明の便宜上、人物位置の変遷を誇張して示してあり、また、各視野画像をフレーム画像と呼んでいる)。このような順送り再生を行えば、フレーム画像の表示順が撮影時の時間の流れどおりになるため、ユーザにとって違和感は生じず、ごく自然な動画として把握される。これに対して、もし同じフレーム画像を逆送り再生したとすると、正面を向いた女性が遠ざかってゆくという不自然な動画が提示されることになる。
【0097】
上述したとおり、動画再生部130は、図11に示す経路R上を往路方向(ノードBに向かう方向)に移動する際には、図12に示すような往路動画Maを順送り再生し、図11に示す経路R上を復路方向(ノードAに向かう方向)に移動する際には、図13に示すような復路動画Mbを順送り再生することになる。すなわち、いずれの方向に移動する場合も、動画は順送り再生されるため、常に自然な動画提示が行われることになる。
【0098】
以上、図10のブロック図を参照しながら、本発明の基本的な実施形態に係る動画提示装置100の構成を説明したが、実際には、これらの各構成要素はコンピュータおよびその周辺機器を利用して構成することができる。すなわち、動画格納部110およびルート情報格納部120、ならびに移動方向設定部140は、コンピュータ用のメモリやディスク装置などの記憶装置によって構成することができ、動画再生部130は、所定のプログラムに基づいて動作するコンピュータのプロセッサによって構成することができ、指示入力部150は、ユーザインターフェイスを備えたコンピュータ用の入力装置によって構成することができる。したがって、実用上は、この動画提示装置100は、コンピュータ機器に所定のプログラムを組み込むことによって構成される。
【0099】
<<< §3. 遷移期間を設定する実施形態 >>>
上述した§2では、同一の経路Rについて、往路動画Maと復路動画Mbとの双方を用意しておき、仮想ユーザの移動方向に応じて、これら2通りの動画のいずれか一方を選択し、常に順送り再生を行うことにより自然な動画提示を行う、という本発明の基本的な特徴を述べた。結局、本発明では、仮想ユーザの移動方向に応じて、往路動画Maと復路動画Mbとを切り替えて提示することになる。
【0100】
ところで、往路動画Maを構成するフレーム画像と復路動画Mbを構成するフレーム画像とは、互いに同一地点で撮影された画像であっても、含まれている動体が異なるため、両者では内容に相違が生じることは既に述べたとおりである。たとえば、図12に示すフレーム画像F(i)は、地点P(i)で撮影された往路動画Maの1フレームを構成する画像であり、図13に示すフレーム画像G(N−i+1)は、同じく地点P(i)で撮影された復路動画Mbの1フレームを構成する画像である。いずれも同一地点P(i)で撮影され、同一視線方向に関する視野を示す画像であるので、背景部分は同一であるが、別々の撮影テイクによって得られた画像であるため、動体部分(前景部分)が異なっている。すなわち、図12に示すフレーム画像F(i)には、2人の人物が映っているのに対して、図13に示すフレーム画像G(N−i+1)には、全く異なる別な人物が映っている。
【0101】
さて、ここで、仮想ユーザが、図11に示す経路Rを往路方向に移動中に、地点P(i)で移動方向を反転し、復路方向に移動し始めた場合を考えてみよう。このように移動方向を反転させる指示を与えるには、指示入力部150に、移動方向を反転させる反転指示を入力する機能をもたせておき、移動方向設定部140が、この反転指示の入力に基づいて、往路方向から復路方向へ、もしくは、復路方向から往路方向へ、移動方向を切り替える処理を行うようにしておけばよい。具体的には、§2で述べたとおり、図9に示すようなコントローラ50を指示入力部150として利用した場合であれば、前進ボタンB1を押して往路方向への移動指示を与えて往路方向へ移動してゆく動画を提示させている最中に、後退ボタンB2を押すことにより反転指示入力を行うことができ、また、復路方向へ移動してゆく動画を提示させている最中に、前進ボタンB1を押すことにより反転指示入力を行うこともできる。
【0102】
図14は、このような反転指示入力により、地点P(i)において、往路方向から復路方向への切り替えが行われた場合の動画再生部130による動画の基本切替態様を示すタイムチャートである。本願に示すタイムチャートの横軸は、左から右へと流れる時間tを表す時間軸であり、図14の上段の帯は往路動画Maの各フレーム画像を示し、下段の帯は復路動画Mbの各フレーム画像を示している。チャートにおいて、往路動画Maを示す上段の帯の左方向が第1のフレームF(1)、右方向が第NのフレームF(N)になる。同様に、復路動画Mbを示す下段の帯の左方向が第1のフレームG(1)、右方向が第NのフレームG(N)になる。
【0103】
この例の場合、反転指示入力時t0までは、仮想ユーザが図11に示す経路RのノードA側から地点P(i)へ向かって往路方向に移動中であり、動画再生部130は、チャートの上段の帯に示す往路動画Maのハッチング部分を順送り再生することになる。ところが、時点t0において反転指示入力が与えられると、移動方向が復路方向に反転する。そして、反転指示入力時t0以降は、仮想ユーザが図11に示す経路Rの地点P(i)からノードAへ向かって復路方向に移動することになり、動画再生部130は、チャートの下段の帯に示す復路動画Mbのハッチング部分を順送り再生することになる。結局、このチャートにおけるハッチング部分が、実際に表示されるフレーム画像ということになる。ハッチング部分に記載された「順」なる記号は、順送り再生が行われることを示している。
【0104】
このように、時点t0,地点P(i)で反転指示入力が与えられた場合、時点t0において、再生対象となる動画が、往路動画Maから復路動画Mbに切り替えられる。ここで、この切替前後のフレーム画像の変遷を見てみると、図12に示すフレーム画像F(i−1)→フレーム画像F(i)→図13に示すフレーム画像G(N−i+1)→フレーム画像G(N−i+2)という順番で表示が行われることになる。このため、フレーム画像F(i)→フレーム画像G(N−i+1)への切替時に、映っている動体に不連続が生じることになる。すなわち、フレーム画像F(i)までは2人の人物が映っていたのに、フレーム画像G(N−i+1)からは全く別な1人の人物に入れ替わってしまう。
【0105】
もちろん、ユーザから見れば、自分が与えた反転指示入力に起因して、仮想ユーザの移動方向が反転し、動画の内容も切り替わったことになり、しかも、切替後の動画(復路動画Mb)に登場した新たな人物の動きも自然なものであるので、人物が入れ替わったとしても、それほど大きな違和感は生じないであろう。しかしながら、時点t0において、突然、人物の入れ替わりが生じるのは、より自然な動画提示を行う上では好ましくない。このような動体の突然の入れ替わり現象を緩和するには、往路動画Maの提示と復路動画Mbの提示とを切り替える際に遷移期間Tを設定し、この遷移期間Tの期間中に切替前動画と切替後動画とをブレンドさせた合成画像を提示するようにすればよい。そうすれば、映像中の動体を滑らかに切り替えることができ、切替時の動体変化の不自然さを低減することができる。
【0106】
図15は、このような遷移期間Tを介した切替態様を示すタイムチャートである。図14に示すタイムチャートとの相違は、反転指示入力時t0から時点t1に至るまでに遷移期間Tが設けられ、この遷移期間Tにおいて、往路動画Maのフレーム画像と復路動画Mbのフレーム画像とをブレントさせた合成画像の表示が行われる点である。すなわち、この§3で述べる実施形態の場合、動画再生部130は、反転指示入力時t0までは、チャートの上段の帯に示す往路動画Maのハッチング部分を順送り再生し、時点t1以降は、チャートの下段の帯に示す復路動画Mbのハッチング部分を順送り再生する。上述したように、図のハッチング部分に記載された「順」なる記号は、順送り再生が行われることを示している。
【0107】
そして、動画再生部130は、反転指示入力後の所定期間を遷移期間Tに設定し、この遷移期間Tの間、切替前の移動方向に応じた再生対象である切替前動画(図15に示す例の場合は往路動画Ma)を構成する切替前画像と、切替後の移動方向に応じた再生対象である切替後動画(図15に示す例の場合は復路動画Mb)を構成し切替前画像と同じ位置(図15に示す例の場合は地点P(i))で撮影された切替後画像と、をブレンドした合成画像を表示する。図15に示す例の場合、遷移期間Tの間、往路動画Maを構成する第i番目のフレーム画像F(i)と、これに対応する復路動画Mbを構成する第(N−i+1)番目のフレーム画像G(N−i+1)と、をブレンドさせた合成画像の表示が行われることになる。
【0108】
図16は、動画再生部130によって行われる画像ブレンド処理の原理を示す図である。図示するフレーム画像F(i)は、図12に示すように、地点P(i)において撮影された往路動画Maを構成する画像であり、フレーム画像G(N−i+1)は、図13に示すように、地点P(i)において撮影された復路動画Mbを構成する画像である。上述したとおり、これら2枚のフレーム画像は、いずれも同一地点P(i)で撮影された画像であるが、フレーム画像F(i)には動体として2人の人物が含まれており、フレーム画像G(N−i+1)には動体として別な1人の人物が含まれている。両画像は、同じ視線方向(方位角φ)について切り出された視野画像であるため、背景部分は共通するものの、動体部分(前景部分)は異なっている。
【0109】
合成画像B(i)は、これら2枚の画像F(i)およびG(N−i+1)を、所定の割合に基づいてブレンドすることにより得られる。このように、2枚の画像をブレンドして合成画像B(i)を得る方法としては、一般に、「αブレンド」と呼ばれる方法が知られている。この方法では、切替後の画像G(N−i+1)の割合をα、切替前の画像F(i)の割合を(1−α)として、B(i)=(1−α)・F(i)+α・G(N−i+1)なる式に基づいて両画像を合成することにより、合成画像B(i)を得ることができる。具体的には、両画像の対応する画素の画素値(カラー画像の場合は、各色の画素値)のそれぞれについて、上記式に基づく合成演算を行い、得られた値を新たな画素値とする画素の集合体を合成画像とすればよい。
【0110】
ここで、遷移期間Tの経過とともに値αを0から1に向けて徐々に増加させるようにすれば、合成画像B(i)は、画像F(i)から画像G(N−i+1)に徐々に変化してゆくことになる。図16に示す合成画像B(i)は、α=0.5のときの状態(遷移期間Tの中間時点の状態)を示すものである。上述のとおり、両画像は背景部分を共通にする画像であるので、遷移期間Tの期間中に値αを0から1に向けて徐々に増加させてゆくと、背景画像は一定のまま、2人の人物が徐々に消えてゆき、逆に別な1人の人物が徐々に現れてくる動画表示(いわゆる、ディゾルブ効果をもったトランジション)が行われることになる。
【0111】
図15に示すタイムチャートの遷移期間Tにおいて、上段および下段に示す各帯のハッチング部分が三角形になっているのは、このようなブレンド割合の時間変化を示すものである。すなわち、ハッチング部分の縦幅は、各画像のブレンド割合を示しており、上段に示す往路動画Maのハッチング部分の縦幅((1−α)に相当)は時間とともに減少してゆき、下段に示す復路動画Mbのハッチング部分の縦幅(αに相当)は時間とともに増加してゆく。また、図のハッチング部分に記載された「静」なる記号は、仮想ユーザを静止させた静止画像(ここでは、背景画像が一定の画像を意味し、動体が徐々に入れ替わるという点ではあくまでも動画画像である)が提示されることを意味している。
【0112】
すなわち、図示の例の場合、反転指示入力時t0の直前には、往路動画Maを構成する第i番目のフレーム画像F(i)が表示されていたので、これに続く遷移期間Tの間は、当該フレーム画像F(i)と、これに対応する復路動画Mbの第(N−i+1)番目のフレーム画像G(N−i+1)と、をブレンドした合成画像B(i)が表示されることになる。そして、遷移期間Tが終了した時点t1以降は、復路動画Mbがフレーム画像G(N−i+1)から順送り再生される。
【0113】
このように遷移期間Tを設定した場合、往路動画Maから復路動画Mbへの切替前後のフレーム画像の変遷は次のようになる。まず、往路動画Maの順送り再生により、図12に示すフレーム画像F(i−1)→フレーム画像F(i)と表示され、時点t0において遷移期間Tに入る。この遷移期間Tでは、図16に示す合成画像B(i)が表示され(ブレンド割合αは、0から1に徐々に増加する)、遷移期間終了後には、図13に示すフレーム画像G(N−i+1)→フレーム画像G(N−i+2)という復路動画Mbの順送り再生が行われる。
【0114】
したがって、ユーザから見れば、経路Rを往路方向に移動中に反転指示入力を与えると、仮想ユーザの位置は地点P(i)で停止し、図16の上段左に示すフレーム画像F(i)から図16の上段右に示すフレーム画像G(N−i+1)に徐々に変化する動画が表示され、フレーム画像G(N−i+1)に完全に切り替わった時点で、経路Rを復路方向に移動する動画が表示されることになる。その結果、遷移期間Tにおいて、これまで映っていた2人の人物が、ディゾルブ効果をもったトランジションによって、別な1人の人物に入れ替わることになる。すなわち、映像中の動体が滑らかに切り替わる効果が得られ、往路動画Maから復路動画Mbへの切替時の動体変化の不自然さを解消することができる。
【0115】
結局、この§3で述べる遷移期間を設定する実施形態を実施するには、図11に示すように、往路動画Maを、第1のノードAの位置P(1)で撮影された第1番目のフレームF(1)から第2のノードBの位置P(N)で撮影された第N番目のフレームF(N)に至るまで合計N枚のフレーム画像によって構成しておき、復路動画Mbを、第2のノードBの位置P(N)で撮影された第1番目のフレームG(1)から第1のノードAの位置P(1)で撮影された第N番目のフレームG(N)に至るまで合計N枚のフレーム画像によって構成しておけばよい。このとき、往路動画Maの第i番目のフレームF(i)と復路動画Mbの第(N−i+1)番目のフレームG(N−i+1)とは、経路R上の同一地点P(i)で撮影された画像になるようにし、相互に対応するフレームを構成するようにしておく。そして、動画再生部130は、遷移期間Tの間に、相互に対応するフレームを合成することにより合成画像を作成し、これを表示する処理を行えばよい。
【0116】
なお、図15に示す例は、往路動画Maから復路動画Mbに切り替える例(すなわち、図11に示す経路R上を往路方向に移動中に反転指示を入力した例)であるが、もちろん、復路動画Mbから往路動画Maに切り替える例(すなわち、図11に示す経路R上を復路方向に移動中に反転指示を入力した例)についての切替処理も全く同様に行うことができる。
【0117】
要するに、動画再生部130は、遷移期間Tの間に、切替前動画(図15の例の場合、往路動画Ma)の遷移期間Tの直前フレームの画像(図15の例の場合、フレーム画像F(i))と、これに対応する切替後動画(図15の例の場合、復路動画Mb)の対応フレームの画像(図15の例の場合、フレーム画像G(N−i+1))と、を合成した合成フレームからなる定位置画像(図15の例の場合、地点P(i)で撮影された画像)を表示し、遷移期間Tの終了後に、切替後動画の対応フレーム(図15の例の場合、フレーム画像G(N−i+1))から順送り再生を開始するようにすればよい。
【0118】
もっとも、遷移期間Tに表示する合成画像は、必ずしも定位置画像(仮想ユーザが停止した状態の画像)にする必要はない。図15に示す例のように、遷移期間Tの間に定位置画像を表示すると、仮想ユーザが地点P(i)において「しばらく立ち止まってから、逆方向に移動し始める」という演出効果をもった動画提示が可能になる。しかしながら、反転指示入力が与えられたときに提示する動画は、必ずしも「しばらく立ち止まってから逆方向に移動する」という演出効果に限定する必要はない。以下、演出効果を変えた2通りのバリエーションを述べておく。
【0119】
第1のバリエーションは、反転指示入力が与えられたときに、「しばらくそのまま進み、反転指示入力時の地点P(i)を通りすぎた地点P(i+d)において、逆方向に移動し始める」という演出効果を与える方法である。図17は、このような演出効果を採用する場合の動画の切替態様を示すタイムチャートである。図15に示すチャートとの相違は、遷移期間Tを時点t0〜t1の前半期と時点t1〜t2の後半期とに分け、半期ごとに各動画の再生順を変えるようにした点にある。
【0120】
すなわち、動画再生部130は、図17の上段に示す往路動画Ma(切替前動画)に関しては、遷移期間Tの前半期(時点t0〜t1)において、遷移期間T以前の状態と同様に継続して順送り再生し、遷移期間Tの後半期(時点t1〜t2)において、これを前半期の最終フレームから逆送り再生する(往路動画Maの帯における時点t1〜t2の区間は、フレームが時間軸に沿って逆順に並べられていることになる)。より具体的には、時点t0〜t1では、フレーム画像F(i),F(i+1),F(i+2),... ,F(i+d)と順送り再生し、時点t1において再生順を逆転させ、時点t1〜t2では、フレーム画像F(i+d),... ,F(i+2),F(i+1),F(i)と逆送り再生することになる。
【0121】
一方、動画再生部130は、図17の下段に示す復路動画Mb(切替後動画)に関しては、遷移期間Tの期間中に、往路動画Ma(切替前動画)の各フレーム画像に対応する復路動画Mb(切替後動画)の各フレーム画像の再生を行う。すなわち、遷移期間Tの前半期(時点t0〜t1)において、復路動画Mbをフレーム画像G(N−i+1)から逆送り再生し(復路動画Mbの帯における時点t0〜t1の区間は、フレームが時間軸に沿って逆順に並べられていることになる)、遷移期間Tの後半期(時点t1〜t2)において、これを順送り再生する。より具体的には、時点t0〜t1では、フレーム画像G(N−i+1),G(N−i),G(N−i−1),... ,G(N−i+1−d)と逆送り再生し、時点t1において再生順を逆転させ、時点t1〜t2では、フレーム画像G(N−i+1−d),... ,G(N−i−1),G(N−i),G(N−i+1)と順送り再生することになる。
【0122】
そして、遷移期間Tの終了後には(時点t2以降)、復路動画Mb(切替後動画)を継続して順送り再生すればよい。なお、図17のハッチング部分に記載された「順」なる記号は、順送り再生(撮影順どおりのフレームの順序に従った再生)が行われることを示し、「逆」なる記号は、逆送り再生(撮影順とは逆のフレームの順序に従った再生)が行われることを示している(以下の図についても同様)。往路動画Maと復路動画Mbとは、撮影時の経路移動方向が逆であり、また、合成画像は、両画像における同一地点で撮影したフレーム画像同士を合成して得られた画像である。したがって、往路動画Maと復路動画Mbとを合成して合成画像を作成する場合、一方を順送り再生すると、他方は必ず逆送り再生する必要が生じる。図17の遷移期間Tにおいて、上下の帯に示されている「順」/「逆」の記号が相反するものになっているのはこのためである。
【0123】
遷移期間Tの間にこのような方法で動画提示を行うと、仮想ユーザは、時点t0において反転指示入力が与えられた後も、地点P(i)からそのまま移動を続け、時点t1において地点P(i+d)に到達すると、移動方向を逆転し、時点t2において地点P(i)まで戻り、更にそのまま移動を続ける、という動きをすることになる。しかも、遷移期間Tの間は、ブレンド割合αを0から1へと徐々に増加させてゆくので、表示される合成画像は、往路動画Maのフレーム画像から復路動画Mbのフレーム画像へと徐々に切り替わってゆく。したがって、映像中の動体が滑らかに切り替わる効果が得られ、往路動画Maから復路動画Mbへの切替時の動体変化の不自然さが解消される点は、図15に示す方法と同様である。すなわち、動体がディゾルブ効果をもったトランジションによって、自然に入れ替わることになる。
【0124】
なお、実用上は、動画再生部130が、遷移期間Tの前半期において、動画の再生速度を遷移期間直前の速度から徐々に減少させてゆき、遷移期間Tの後半期において、再生速度を徐々に増加させてゆくようにするのが好ましい。そうすれば、時点t0において反転指示入力が与えられた後は、仮想ユーザの移動速度が徐々に低下してゆき、時点t1において一旦停止し、続いて逆方向に向かって徐々に速度を上昇させながら移動する、という演出効果を与えることができ、仮想ユーザについて、より自然な動きを表現することができる。
【0125】
第2のバリエーションは、反転指示入力が与えられたときに、「即座に反転して、逆方向に移動し始める」という演出効果を与える方法である。図18は、このような演出効果を採用する場合の動画の切替態様を示すタイムチャートである。図15に示すチャートとの相違点は、反転指示入力時t0において、往路動画Maの再生を即座に逆送り再生に切り替えた点である。すなわち、動画再生部130は、遷移期間Tの期間中に、往路動画Ma(切替前動画)を遷移期間直前フレームから逆送り再生し、往路動画Maの各フレームと、これに対応する復路動画Mb(切替後動画)の各フレームと、を合成した合成フレームからなる動画画像を表示することになる。遷移期間Tの終了後には、復路動画Mbを継続して順送り再生すればよい。
【0126】
より具体的には、遷移期間Tの期間中、往路動画Ma(切替前動画)に関しては、フレーム画像F(i),F(i−1),F(i−2),... ,F(i−d)と逆送り再生し(往路動画Maの帯における時点t0〜t1の区間は、フレームが時間軸に沿って逆順に並べられていることになる)、復路動画Mb(切替後動画)に関しては、フレーム画像G(N−i+1),G(N−i+2),G(N−i+3),... ,G(N−i+1+d)と順送り再生することになる。そして、遷移期間Tの終了後には(時点t1以降)、復路動画Mb(切替後動画)を継続して順送り再生すればよい。
【0127】
遷移期間Tの間にこのような方法で動画提示を行うと、仮想ユーザは、時点t0において反転指示入力が与えられたときに、地点P(i)から即座に反転する動きをすることになる。しかも、遷移期間Tの間は、ブレンド割合αを0から1へと徐々に増加させてゆくので、表示される合成画像は、往路動画Maのフレーム画像から復路動画Mbのフレーム画像へと徐々に切り替わってゆく。したがって、映像中の動体が滑らかに切り替わる効果が得られ、往路動画Maから復路動画Mbへの切替時の動体変化の不自然さが解消される点は、図15に示す方法と同様である。すなわち、動体がディゾルブ効果をもったトランジションによって、自然に入れ替わることになる。
【0128】
以上、図15,図17,図18を参照して、遷移期間Tの間に行う動画提示の演出方法を3通り述べたが、これらの各方法には、それぞれメリット、デメリットがある。これを以下に簡単に説明しておく。
【0129】
まず、図15に示す方法を採ると、反転指示入力を与えた時点t0における位置P(i)で仮想ユーザの動きが直ちに停止するので、反転指示に対する仮想ユーザの動きの迅速な応答性というメリットが得られる。しかしながら、遷移期間Tの間、仮想ユーザの動きは停止したままになり、経路R上を移動する状態を示す動画が一時中断してしまうというデメリットが生じる。
【0130】
また、図17に示す方法を採ると、仮想ユーザは移動を続けた状態になり、移動状態の動画が中断されないというメリットが得られる。しかしながら、反転指示入力を与えた後も、仮想ユーザはそのまましばらく移動し続け、移動方向を反転させるまでに若干の遅延が生じるので、操作入力に対する仮想ユーザの応答性が低下するというデメリットが生じる。
【0131】
一方、図18に示す方法を採ると、仮想ユーザは直ちに反転移動するので、移動状態の動画が中断されないというメリットが得られ、また、反転指示に対する仮想ユーザの動きの迅速な応答性というメリットも得られる。しかしながら、図17に示す方法に比べて、動体の動きの不自然さが顕著になるというデメリットが生じる。たとえば、図18において、時点t0の直後に表示される動画は、α=0に近い合成画像であるため、往路動画Maに映っている動体(図12に示す2人の人物)の方が、復路動画Mbに映っている動体(図13に示す1人の人物)よりも鮮明に表示される。ところが、遷移期間Tの間、往路動画Maは逆送り再生されるため、この鮮明な動体が逆送りされる様子が映し出されることになり、その動きの不自然さが顕著になる。
【0132】
もちろん、図18に示す方法においても、時間の経過とともにブレンド割合αは徐々に増加してゆくので、往路動画Ma上の2人の人物は徐々に消えてゆくことになるが、少なくとも、遷移期間Tの当初は、この2人の人物の不自然な動きが目立つことになる。これに対して、図17に示す方法の場合、遷移期間Tの前半期は往路動画Maが順送り再生されるので、動体の動きの不自然さは顕著にはならない。前半期に復路動画Mbは逆送り再生されるが、ブレンド割合αは小さいため、復路動画Mb上の人物の不自然な動きはそれほど目立たないことになる。また、後半期は往路動画Maが逆送り再生されるが、その時点では、ブレンド割合αは大きくなっているため、2人の人物の不自然な動きはそれほど目立たないことになる。
【0133】
ここでは、遷移期間Tの間に行う動画提示の演出方法を3通り例示したが、もちろん、遷移期間Tの間に行う動画提示の演出方法は、これら3通りの方法に限定されるものではなく、この他にも種々の演出方法を採用することができる。要するに、遷移期間Tの期間中には、切替前動画と切替後動画とをブレンドさせた合成画像を提示するようにし、動体を滑らかに切り替えることができ、切替時の動体の動きの不自然さを低減させることができればよい。
【0134】
<<< §4. 背景動画を利用する実施形態 >>>
§3では、移動方向の反転切替時に遷移期間Tを設定し、往路動画Maと復路動画Mbとの合成画像を表示して映像の円滑な切替を行う実施形態を説明した。ここでは、往路動画Maおよび復路動画Mbに加えて、更に、被写体に動体を含まない背景動画Mcを用意し、遷移期間Tの期間中に、切替前動画と切替後動画との間に背景動画Mcを介挿したブレンドを行い、動体の切り替えを更に円滑にする実施形態を説明する。
【0135】
図19は、この背景動画を利用する実施形態に係る動画提示装置100′の構成を示すブロック図である。図10に示す動画提示装置100との相違点は、動画格納部110′が、往路動画Maおよび復路動画Mbに加えて背景動画Mcを格納している点と、動画再生部130′が、遷移期間Tの期間中に、切替前動画と切替後動画との間に背景動画Mcを介挿したブレンドを行う点である。以下、これらの相違点について詳述する。
【0136】
図20は、動画格納部110′内に格納される往路動画Ma、復路動画Mb、背景動画Mcの関係を示す動画フレームチャートであり、図11に示すチャートに、更に、背景動画Mcを付加したものである。この図20に示す例の場合、往路動画Maは、第1のノードAの位置で撮影された第1番目のフレームF(1)から第2のノードBの位置で撮影された第N番目のフレームF(N)に至るまで合計N枚のフレーム画像によって構成されており、復路動画Mbは、第2のノードBの位置で撮影された第1番目のフレームG(1)から第1のノードAの位置で撮影された第N番目のフレームG(N)に至るまで合計N枚のフレーム画像によって構成されており、背景動画Mcは、第1のノードAの位置で撮影された第1番目のフレームH(1)から第2のノードBの位置で撮影された第N番目のフレームH(N)に至るまで合計N枚のフレーム画像によって構成されている。
【0137】
ここで、往路動画Maおよび復路動画Mbが、被写体に動体を含む動画であるのに対して、背景動画Mcは、被写体に動体を含まない動画である。背景動画Mcは、経路R上を往路方向に移動しながら撮影した動画になっており、各地点P(1),P(2),... ,P(i),... ,P(N−1),P(N)において撮影された、動体を含まない画像が、それぞれフレーム画像H(1),H(2),... ,H(i),... ,H(N−1),H(N)ということになる。
【0138】
結局、往路動画Maも背景動画Mcも、地点P(1),P(2),... という順序で撮影された合計N枚のフレーム画像によって構成される動画という点では共通するが、往路動画Maは、他の観覧者という動体が映った映像であるのに対して、背景動画Mcは、そのような動体は映っておらず、美術館の内装および展示品のみの映像になっている。このような背景動画Mcは、たとえば、美術館の休館日など、一般の観覧者がいない状態で撮影を行えばよい。
【0139】
なお、背景動画Mcは、動体を含まない映像であるため、往路方向に移動しながら撮影しても、復路方向に移動しながら撮影しても、照明環境が一定であれば、実質的に同じ内容の動画になる(フレームの順序が逆になるだけである)。したがって、図20に示す例における背景動画Mcは、往路方向に移動しながら撮影を行うことにより得られたものであるが、逆に、復路方向に移動しながら撮影を行うことにより得られた動画を背景動画Mcとしてもかまわない。
【0140】
この背景動画Mcには、動体が含まれていないので、逆送り再生しても不自然さは生じない。図21は、図20に示す背景動画Mcの再生画面を示す図である。この図21に示す背景動画Mcのフレーム画像H(i−1),H(i),H(i+1)は、それぞれ図12に示す往路動画Maのフレーム画像F(i−1),F(i),F(i+1)から動体となる2人の人物を取り去った画像に相当する。別言すれば、フレーム画像H(i−1),H(i),H(i+1)は、フレーム画像F(i−1),F(i),F(i+1)の背景部分と同一の画像である。
【0141】
この図21に示す背景動画Mcについて順送り再生を行うと、フレームH(i−1),H(i),H(i+1)の順に表示が行われ、地点P(i−1),P(i),P(i+1)へと移動する状態が提示される。一方、逆送り再生を行うと、フレームH(i+1),H(i),H(i−1)の順に表示が行われ、地点P(i+1),P(i),P(i−1)へと移動する状態が提示される。いずれの場合も、動体が映っていないので、違和感は生じない。
【0142】
なお、実際には、フレームレートが1/30秒程度だと、1フレームの違いにより図示の例のような極端な景色の変遷は見られないが、図21では説明の便宜上、景色の変遷を誇張して示してある。また、この図21に示す各画像は、実際には、図8に示すような全方位画像の一部から切り出された視野画像というべきものであるが、ここでは、視線方向を示す方位角φ=90°に固定された状態を考え、便宜上、これら視野画像をフレーム画像H(i−1),H(i),H(i+1)と呼ぶことにする。
【0143】
図19に示す指示入力部150は、図10に示す指示入力部150と同じ構成要素であり、移動方向を反転させる反転指示を入力する機能を有している。また、図19に示す移動方向設定部140も、図10に示す移動方向設定部140と同じ構成要素であり、指示入力部150からの反転指示の入力に基づいて移動方向を切り替える処理を行う。そして、図19に示す動画再生部130′は、図10に示す動画再生部130と同様に、移動方向設定部140に往路方向が設定されている場合には、往路動画Maを再生対象として順送り再生し、移動方向設定部140に復路方向が設定されている場合には、復路動画Mbを再生対象として順送り再生する、という基本機能を有している。
【0144】
ただし、指示入力部150から移動方向の反転指示入力があった場合、動画再生部130′は、この反転指示入力後の所定期間を遷移期間Tに設定し、切替前動画と切替後動画との間に背景動画Mcを介挿したブレンドを行い、動体表示の円滑な切り替えを行う機能を有している。すなわち、動画再生部130′は、遷移期間Tの期間中、切替前の移動方向に応じた再生対象である切替前動画(往路動画Maもしくは復路動画Mb)を構成する切替前画像と、背景動画を構成し切替前画像と同じ位置で撮影された背景画像と、をブレンドした第1の合成画像と、背景動画を構成する背景画像と、切替後の移動方向に応じた再生対象である切替後動画(復路動画Mbもしくは往路動画Ma)を構成し背景画像と同じ位置で撮影された切替後画像と、をブレンドした第2の合成画像とを、第1の合成画像、第2の合成画像の順に表示する処理を行う。
【0145】
図22は、図19に示す動画提示装置100′において、反転指示入力が行われた場合の動画再生部130′による動画の切替態様の一例を示すタイムチャートである。このチャートの横軸は、これまで示してきたタイムチャートと同様に、左から右へと流れる時間tを表す時間軸であり、上段の帯は往路動画Maの各フレーム画像を示し、中段の帯は背景動画Mcの各フレーム画像を示し、下段の帯は復路動画Mbの各フレーム画像を示している。チャートにおいて、往路動画Maを示す上段の帯の左方向が第1のフレームF(1)、右方向が第NのフレームF(N)になる。同様に、背景動画Mcを示す中段の帯の左方向が第1のフレームH(1)、右方向が第NのフレームH(N)になり、復路動画Mbを示す下段の帯の左方向が第1のフレームG(1)、右方向が第NのフレームG(N)になる。
【0146】
この例の場合、反転指示入力時t0までは、仮想ユーザが図20に示す経路RのノードA側から地点P(i)へ向かって往路方向に移動中であり、動画再生部130′は、チャートの上段の帯に示す往路動画Maのハッチング部分を順送り再生することになる。ところが、時点t0において反転指示入力が与えられると、時点t0〜t2の遷移期間を経て、時点t2以降は、チャートの下段の帯に示す復路動画Mbのハッチング部分を順送り再生する。上述したように、図のハッチング部分に記載された「順」なる記号は、順送り再生が行われることを示している。
【0147】
この実施形態の場合、遷移期間は、第1の遷移期間T1(時点t0〜t1)と、これに後続する第2の遷移期間T2(時点t1〜t2)とによって構成されている。そして、第1の遷移期間T1において、往路動画Ma(切替前動画)から背景動画Mcへの滑らかな切り替えが行われ、第2の遷移期間T2において、背景動画Mcから復路動画Mb(切替後動画)への滑らかな切り替えが行われることになる。
【0148】
図20に示すように、往路動画Maの第i番目のフレームF(i)と、復路動画Mbの第(N−i+1)番目のフレームG(N−i+1)と、背景動画Mcの第i番目のフレームH(i)とは、経路R上の同一地点P(i)で撮影された画像になっており、相互に対応するフレームを構成する。動画再生部130′は、各遷移期間T1,T2の期間中に、このような相互に対応するフレームを合成することにより合成画像を作成し、これを表示する処理を行う。
【0149】
図22に示す例は、動画再生部130′が、第1の遷移期間T1の間、切替前動画(往路動画Ma)の遷移期間直前フレームF(i)と、これに対応する背景動画Mcの対応背景フレームH(i)と、をブレンドして合成した合成フレームからなる定位置画像を第1の合成画像B1(i)として表示し、第2の遷移期間T2の間、背景動画Mcの上記対応背景フレームH(i)と、切替後動画(復路動画Mb)の上記対応背景フレームH(i)に対応する対応フレームG(N−i+1)と、をブレンドして合成した合成フレームからなる定位置画像を第2の合成画像B2(i)として表示し、遷移期間終了後に、切替後動画(復路動画Mb)の上記対応フレームG(N−i+1)から順送り再生を開始する処理を行った例である。
【0150】
図23は、図22に示す第1の遷移期間T1および第2の遷移期間T2において、合成フレームを作成するための画像ブレンド処理の原理を示す式である。動画再生部130′は、第1の遷移期間T1の間、背景画像(図22に示す例の場合はフレームH(i))の割合をα、切替前画像(図22に示す例の場合はフレームF(i))の割合を(1−α)として、図23の上段に示す式に基づいて両画像を合成することにより第1の合成画像B1(i)を作成して表示し、かつ、第1の遷移期間T1の経過とともに値αを0から1に向けて徐々に増加させる。一方、第2の遷移期間T2の間、切替後画像(図22に示す例の場合はフレームG(N−i+1))の割合をβ、背景画像(図22に示す例の場合はフレームH(i))の割合を(1−β)として、図23の下段に示す式に基づいて両画像を合成することにより第2の合成画像B2(i)を作成して表示し、かつ、第2の遷移期間T2の経過とともに値βを0から1に向けて徐々に増加させる。実際には、両画像の対応する画素の画素値(カラー画像の場合は、各色の画素値)のそれぞれについて、上記各式に基づく合成演算を行い、得られた値を新たな画素値とする画素の集合体を合成画像とすればよい。
【0151】
上述したように、第1の遷移期間T1の経過とともに値αを0から1に向けて徐々に増加させるようにすれば、合成画像B1(i)は、図12に示すフレーム画像F(i)から図21に示すフレーム画像H(i)に徐々に変化してゆくことになる。上述のとおり、両画像は背景部分を共通にする画像であるので、第1の遷移期間T1の期間中に値αを0から1に向けて徐々に増加させてゆくと、背景画像は一定のまま、2人の人物が徐々に消えてゆく動画表示(いわゆる、フェードアウト効果をもったトランジション)が行われることになる。
【0152】
図22に示すタイムチャートの第1の遷移期間T1において、上段および中段に示す各帯のハッチング部分が三角形になっているのは、このようなブレンド割合の時間変化を示すものである。すなわち、ハッチング部分の縦幅は、各画像のブレンド割合を示しており、上段に示す往路動画Maのハッチング部分の縦幅((1−α)に相当)は時間とともに減少してゆき、中段に示す背景動画Mcのハッチング部分の縦幅(αに相当)は時間とともに増加してゆく。また、図のハッチング部分に記載された「静」なる記号は、仮想ユーザを静止させた静止画像(ここでは、背景画像が一定の画像を意味し、動体が徐々に消えてゆくという点ではあくまでも動画画像である)が提示されることを意味している。
【0153】
すなわち、図示の例の場合、反転指示入力時t0の直前には、往路動画Maを構成する第i番目のフレーム画像F(i)が表示されていたので、これに続く第1の遷移期間T1の間は、当該フレーム画像F(i)と、これに対応する背景動画Mcの第i番目のフレーム画像H(i)と、をブレンドした第1の合成画像B1(i)が表示されることになる。
【0154】
こうして第1の遷移期間T1の処理が終了すると、続いて、第2の遷移期間T2の処理が実行される。この第2の遷移期間T2では、上述したように、その経過とともに値βを0から1に向けて徐々に増加させる処理が行われる。そうすると、合成画像B2(i)は、図21に示すフレーム画像H(i)から図13に示すフレーム画像G(N−i+1)に徐々に変化してゆくことになる。両画像は背景部分を共通にする画像であるので、第2の遷移期間T2の期間中に値βを0から1に向けて徐々に増加させてゆくと、背景画像は一定のまま、新たな人物が徐々に現れてくる動画表示(いわゆる、フェードイン効果をもったトランジション)が行われることになる。
【0155】
図22に示すタイムチャートの第2の遷移期間T2において、中段および下段に示す各帯のハッチング部分が三角形になっているのは、このようなブレンド割合の時間変化を示すものである。すなわち、ハッチング部分の縦幅は、各画像のブレンド割合を示しており、中段に示す背景動画Mcのハッチング部分の縦幅((1−β)に相当)は時間とともに減少してゆき、下段に示す復路動画Mbのハッチング部分の縦幅(βに相当)は時間とともに増加してゆく。ここでも、図のハッチング部分に記載された「静」なる記号は、仮想ユーザを静止させた静止画像が提示されることを意味している。
【0156】
結局、図示の例の場合、第1の遷移期間T1の最後には、背景動画Mcを構成する第i番目のフレーム画像H(i)が表示されていたので、これに続く第2の遷移期間T2の間は、当該フレーム画像H(i)と、これに対応する復路動画Mbの第(N−i+1)番目のフレーム画像G(N−i+1)と、をブレンドした第2の合成画像B2(i)が表示されることになる。そして、第2の遷移期間T2が終了した時点t2以降は、復路動画Mbがフレーム画像G(N−i+1)から順送り再生される。
【0157】
このような動画切替処理は、ユーザから見ると、次のように見える。すなわち、ユーザが、経路Rを往路方向に移動中に反転指示入力を与えると、仮想ユーザの位置は地点P(i)で停止し、図12に示すフレーム画像F(i)から図21に示すフレーム画像H(i)に徐々に変化する動画(2人の人物が徐々に消えてゆく動画)が表示され、続いて、この図21に示すフレーム画像H(i)から図13に示すフレーム画像G(N−i+1)に徐々に変化する動画(新たな人物が徐々に現れる動画)が表示され、フレーム画像G(N−i+1)に完全に切り替わった時点で、経路Rを復路方向に移動する動画が表示されることになる。その結果、映像中の動体が滑らかに切り替わる効果が得られ、往路動画Maから復路動画Mbへの切替時の動体変化の不自然さを解消することができる。
【0158】
なお、図22に示す例は、往路動画Maから背景動画Mcを仲介して復路動画Mbに切り替える例(すなわち、図20に示す経路R上を往路方向に移動中に反転指示を入力した例)であるが、もちろん、復路動画Mbから背景動画Mcを仲介して往路動画Maに切り替える例(すなわち、図20に示す経路R上を復路方向に移動中に反転指示を入力した例)についての切替処理も全く同様に行うことができる。
【0159】
もっとも、背景動画Mcを仲介した動画の切替態様は、図22に示す例に限定されるものではない。図24は、図22に示す切替態様の変形例を示すタイムチャートである。この変形例の特徴は、動画再生部130′が、第1の遷移期間T1と第2の遷移期間T2との間に中間遷移期間T3を設け、この中間遷移期間T3の期間中に、対応背景フレームH(i)のみを表示するようにしたものである。
【0160】
ユーザから見ると、図12に示すフレーム画像F(i)に映っている2人の人物が徐々に消えてゆき(第1の遷移期間T1)、やがて完全に人物が消え去った後に図21に示すフレーム画像H(i)がしばらくの間(中間遷移期間T3の間)だけ表示され、続いて、この図21に示すフレーム画像H(i)から図13に示すフレーム画像G(N−i+1)に徐々に変化する動画、すなわち、新たな人物が徐々に現れる動画が表示され(第2の遷移期間T2)、フレーム画像G(N−i+1)に完全に切り替わった時点で、経路Rを復路方向に移動する動画が表示されることになる。
【0161】
図22に示す切替態様も、図24に示す変形例も、いずれも、仮想ユーザが地点P(i)において「しばらく立ち止まってから、逆方向に移動し始める」という演出効果をもった動画提示が可能になる態様であるが、§3でも述べたとおり、反転指示入力が与えられたときに提示する動画は、必ずしも「しばらく立ち止まってから逆方向に移動する」という演出効果に限定する必要はない。以下、演出効果を変えた2通りのバリエーションを述べておく。これら2通りのバリエーションは、基本的には、§3で述べた2通りのバリエーションに対応するものである。
【0162】
第1のバリエーションは、反転指示入力が与えられたときに、「しばらくそのまま進み、反転指示入力時の地点P(i)を通りすぎた地点P(i+d)において、逆方向に移動し始める」という演出効果を与える方法である。図25は、このような演出効果を採用する場合の動画の切替態様を示すタイムチャートである。
【0163】
この第1のバリエーションの特徴は、動画再生部130′が、第1の遷移期間T1の期間中に、切替前動画(往路動画Ma)を継続して順送り再生し、この切替前動画の各フレームと背景動画Mcの対応背景フレームとを合成した合成フレームからなる動画画像を第1の合成画像として表示し、第2の遷移期間T2の期間中に、切替後動画(復路動画Mb)を、第1の遷移期間T1の最終対応背景フレームに対応するフレームから順送り再生し、この切替後動画の各フレームと背景動画の対応背景フレームとを合成した合成フレームからなる動画画像を第2の合成画像として表示し、第2の遷移期間T2の終了後に、切替後動画を継続して順送り再生する点にある。
【0164】
すなわち、動画再生部130′は、図25に示す第1の遷移期間T1(時点t0〜t1)の間は、往路動画Ma(切替前動画)を、遷移期間以前の状態と同様に継続して順送り再生し、これに順送り再生した背景動画Mcをブレンドする。いずれの動画も順送り再生され、地点P(i)から地点P(i+d)まで移動した状態の動画がブレンドされることになる。このとき、ブレンド割合αを0〜1に徐々に増加させてゆき、往路動画Maが背景動画Mcに徐々に変化してゆくようにする。
【0165】
続いて、第2の遷移期間T2(時点t1〜t2)の間は、背景動画Mcを逆送り再生し、これに順送り再生した復路動画Mb(切替後動画)をブレンドする。これにより、地点P(i+d)から地点P(i)まで戻る状態の動画がブレンドされることになる。このとき、ブレンド割合βを0〜1に徐々に増加させてゆき、背景動画Mcが復路動画Mbに徐々に変化してゆくようにする。
【0166】
結局、第1の遷移期間(時点t0〜t1)では、往路動画Maをフレーム画像F(i),F(i+1),F(i+2),... ,F(i+d)と順送り再生しながら、背景動画Mcをフレーム画像H(i),H(i+1),H(i+2),... ,H(i+d)と順送り再生し、両者のブレンド処理が行われる。そして、続く第2の遷移期間(時点t1〜t2)では、背景動画Mcをフレーム画像H(i+d),... ,H(i+2),H(i+1),H(i)と逆送り再生しながら、復路動画Mbをフレーム画像G(N−i+1−d),... ,G(N−i−1),G(N−i),G(N−i+1)と順送り再生し、両者のブレンド処理が行われる。
【0167】
そして、第2の遷移期間T2の終了後には(時点t2以降)、復路動画Mb(切替後動画)を継続して順送り再生すればよい。前述したとおり、ここに示す例では、往路動画Maと背景動画Mcとは撮影時の経路移動方向が同じであるため、第1の遷移期間T1では、往路動画Maおよび背景動画Mcをともに順送り再生することにより合成画像を得ることができる。これに対して、復路動画Mbと背景動画Mcとは撮影時の経路移動方向が逆であるため、第2の遷移期間T2では、復路動画Mbを順送り再生しながら背景動画Mcを逆送り再生することにより合成画像を得ることができる。
【0168】
遷移期間T1,T2の間にこのような方法で動画提示を行うと、仮想ユーザは、時点t0において反転指示入力が与えられた後も、地点P(i)からそのまま移動を続け、時点t1において地点P(i+d)に到達すると、移動方向を逆転し、時点t2において地点P(i)まで戻り、更にそのまま移動を続ける、という動きをすることになる。しかも、第1の遷移期間T1の間は、ブレンド割合αを0から1へと徐々に増加させてゆくので、往路動画Maに含まれている動体が、動きながら徐々に消えてゆく演出効果が得られ、第2の遷移期間T2の間は、ブレンド割合βを0から1へと徐々に増加させてゆくので、動体が含まれていない背景動画Mcの中に、新たな動体が動きながら徐々に現れる演出効果が得られる。
【0169】
なお、実用上は、動画再生部130′が、第1の遷移期間T1において、動画の再生速度を遷移期間直前の速度から徐々に減少させてゆき、第2の遷移期間T2において、再生速度を徐々に増加させてゆくようにするのが好ましい。そうすれば、時点t0において反転指示入力が与えられた後は、仮想ユーザの移動速度が徐々に低下してゆき、時点t1において一旦停止し、続いて逆方向に向かって徐々に速度を上昇させながら移動する、という演出効果を与えることができ、仮想ユーザについて、より自然な動きを表現することができる。
【0170】
第2のバリエーションは、反転指示入力が与えられたときに、「即座に反転して、逆方向に移動し始める」という演出効果を与える方法である。図26は、このような演出効果を採用する場合の動画の切替態様を示すタイムチャートである。
【0171】
この第2のバリエーションの特徴は、動画再生部130′が、第1の遷移期間T1の期間中に、切替前動画(往路動画Ma)を遷移期間直前フレームから逆送り再生し、切替前動画の各フレームと、これに対応する背景動画Mcの各フレームと、を合成した合成フレームからなる動画画像を第1の合成画像として表示し、第2の遷移期間T2の期間中に、切替後動画(復路動画Mb)を、第1の遷移期間T1の最終対応背景フレームに対応するフレームから順送り再生し、この切替後動画の各フレームと背景動画Mcの対応背景フレームとを合成した合成フレームからなる動画画像を第2の合成画像として表示し、第2の遷移期間T2の終了後に、切替後動画を継続して順送り再生する点にある。
【0172】
すなわち、動画再生部130′は、図26に示す第1の遷移期間T1(時点t0〜t1)の間は、往路動画Ma(切替前動画)を、遷移期間直前フレームから逆送り再生し、これに逆送り再生した背景動画Mcをブレンドする。いずれの動画も逆送り再生され、地点P(i)から地点P(i−d)まで反転移動した状態の動画がブレンドされることになる。このとき、ブレンド割合αを0〜1に徐々に増加させてゆき、往路動画Maが背景動画Mcに徐々に変化してゆくようにする。
【0173】
続いて、第2の遷移期間T2(時点t1〜t2)の間は、背景動画Mcを逆送り再生し、これに順送り再生した復路動画Mb(切替後動画)をブレンドする。これにより、地点P(i−d)から地点P(i−2d)まで更に移動する状態の動画がブレンドされることになる。このとき、ブレンド割合βを0〜1に徐々に増加させてゆき、背景動画Mcが復路動画Mbに徐々に変化してゆくようにする。
【0174】
結局、第1の遷移期間(時点t0〜t1)では、往路動画Maをフレーム画像F(i),F(i−1),F(i−2),... ,F(i−d)と逆送り再生しながら、背景動画Mcをフレーム画像H(i),H(i−1),H(i−2),... ,H(i−d)と逆送り再生し、両者のブレンド処理が行われる。そして、続く第2の遷移期間(時点t1〜t2)では、背景動画Mcをフレーム画像H(i−d),... ,H(i−2d)と逆送り再生しながら、復路動画Mbをフレーム画像G(N−i+1+d),... ,G(N−i+1+2d)と順送り再生し、両者のブレンド処理が行われる。
【0175】
そして、第2の遷移期間T2の終了後には(時点t2以降)、復路動画Mb(切替後動画)を継続して順送り再生すればよい。前述したとおり、ここに示す例でも、往路動画Maと背景動画Mcとは撮影時の経路移動方向が同じであるため、第1の遷移期間T1では、往路動画Maおよび背景動画Mcをともに逆送り再生することにより合成画像を得ることができる。これに対して、復路動画Mbと背景動画Mcとは撮影時の経路移動方向が逆であるため、第2の遷移期間T2では、復路動画Mbを順送り再生しながら背景動画Mcを逆送り再生することにより合成画像を得ることができる。
【0176】
遷移期間T1,T2の間にこのような方法で動画提示を行うと、仮想ユーザは、時点t0において反転指示入力が与えられたときに、地点P(i)から即座に反転する動きをすることになる。しかも、第1の遷移期間T1の間は、ブレンド割合αを0から1へと徐々に増加させてゆくので、往路動画Maに含まれている動体が、動きながら徐々に消えてゆく演出効果が得られ、第2の遷移期間T2の間は、ブレンド割合βを0から1へと徐々に増加させてゆくので、動体が含まれていない背景動画Mcの中に、新たな動体が動きながら徐々に現れる演出効果が得られる。
【0177】
以上、図22,図24,図25,図26を参照して、遷移期間T1,T2の間に行う動画提示の演出方法をいくつか述べたが、これらの各方法には、それぞれメリット、デメリットがある。これを以下に簡単に説明しておく。
【0178】
まず、図22もしくは図24に示す方法を採ると、反転指示入力を与えた時点t0における位置P(i)で仮想ユーザの動きが直ちに停止するので、反転指示に対する仮想ユーザの動きの迅速な応答性というメリットが得られる。しかしながら、遷移期間T1,T2の間、仮想ユーザの動きは停止したままになり、経路R上を移動する状態を示す動画が一時中断してしまうというデメリットが生じる。
【0179】
また、図25に示す方法を採ると、仮想ユーザは移動を続けた状態になり、移動状態の動画が中断されないというメリットが得られる。しかしながら、反転指示入力を与えた後も、仮想ユーザはそのまましばらく移動し続け、移動方向を反転させるまでに若干の遅延が生じるので、操作入力に対する仮想ユーザの応答性が低下するというデメリットが生じる。
【0180】
一方、図26に示す方法を採ると、仮想ユーザは直ちに反転移動するので、移動状態の動画が中断されないというメリットが得られ、また、反転指示に対する仮想ユーザの動きの迅速な応答性というメリットも得られる。しかしながら、図25に示す方法に比べて、動体の動きの不自然さが顕著になるというデメリットが生じる。たとえば、図26において、時点t0の直後に表示される動画は、α=0に近い合成画像であるため、往路動画Maに映っている動体(図12に示す2人の人物)が鮮明に表示される。ところが、第1の遷移期間T1の間、往路動画Maは逆送り再生されるため、この鮮明な動体が逆送りされる様子が映し出されることになり、その動きの不自然さが顕著になる。
【0181】
これに対して、図25に示す方法を採れば、動体を含んだ往路動画Maおよび復路動画Mbは、常に順方向再生されることになるので、動体が不自然な動きをすることはない。背景動画Mcは、動体を含んでいないので、逆送り再生しても不自然にはならない。したがって、上述した各方法において、動体が不自然な動きをするのは、図26に示す方法において、往路動画Maが逆送り再生される第1の遷移期間T1だけである。
【0182】
以上、遷移期間T1,T2の間に行う動画提示の演出方法をいくつか例示したが、もちろん、背景動画を仲介した動画切替を行う演出方法は、これらの方法に限定されるものではなく、この他にも種々の演出方法を採用することができる。たとえば、図24に示す方法で採用した中間遷移期間T3を設ける方法を、図25に示す方法や図26に示す方法に適用することも可能である。
【0183】
<<< §5. 種々の変形例 >>>
以上、本発明に係る動画提示装置をいくつかの実施形態に基づいて説明したが、ここでは、更にいくつかの変形例を掲げておく。
【0184】
(1) 全方位画像の作成法
§1では、図4に示すような撮影装置を用いた撮影により得られた歪曲円形画像から、仰角が所定の基準値以下の領域を切り出し、これに歪み補正を施すことにより全方位画像(パノラマ画像)を得る例を示したが、もちろん、全方位画像の作成に用いる装置は、図4に示す撮影装置に限定されるものではない。たとえば、図4に示す撮影装置では、魚眼レンズ10を用いてビデオカメラの撮像面に歪曲円形画像を形成していたが、魚眼レンズ10の代わりに全方位ミラーなどを利用してもかまわない。
【0185】
また、§1では、実在の施設を撮影した実写画像に基づいて全方位画像を作成する例を示したが、コンピュータ上に仮想の施設を作成し、この仮想施設内の仮想経路を示す三次元CG画像に基づいて作成された画像を全方位画像として用いるようにしてもよい。この場合、全方位画像格納部110内には、仮想の経路を示す三次元CG画像に基づいて作成された矩形状のパノラマ画像が全方位画像として格納されることになる。
【0186】
(2) 仰角の調整
これまで述べた実施例では、視線方向を示すパラメータとして、方位角φ(i)のみを用いているが、更に仰角Ψ(i)というパラメータを追加することも可能である。この場合、視線ベクトルE(i)は、方位角φ(i)と仰角Ψ(i)とによって定まることになる。このように仰角ψ(i)をパラメータとして利用する場合、動画再生部130,130′による切出枠は、方位角φ(i)と仰角Ψ(i)との双方に応じて定まる。したがって、たとえば、図8に示す例の場合、太線で示す切出枠(視野画像Q(P(i),φ(i))の外枠)の縦寸法をより短く設定し、この切出枠の横方向位置を方位角φ(i)に基づいて定め、縦方向位置を仰角Ψ(i)に基づいて定めればよい。また、図9に示すコントローラ50には、上向きボタンや下向きボタンなど、仰角Ψ(i)を変更する指示を与えるためのボタンを設けておけばよい。
【0187】
(3) 各動画を構成するフレームの対応関係
図20に示す例では、往路動画Ma,復路動画Mb,背景動画Mcが、いずれもN枚のフレーム画像から構成されており、図に上下方向を向いた矢印で示すように、個々のフレーム画像はそれぞれ対応する関係にある。撮影対象となる経路にレールを敷設し、このレール上を一定速度で移動する撮影装置を用いて各動画を撮影すれば、図20に示す例のように、往路動画Maを構成するフレーム,復路動画Mbを構成するフレーム,背景動画Mcを構成するフレームという3つのフレームが完全に対応した動画を得ることができるが、撮影装置の移動速度が異なった場合、フレーム間に完全な対応関係は得られなくなる。
【0188】
しかしながら、そのような場合でも、撮影後の調整処理により、3つのフレームが完全に対応した動画を得ることが可能である。たとえば、撮影時の移動速度の相違により、往路動画Maが1000枚のフレーム、復路動画Mbが500枚のフレームによって構成されていた場合、往路動画Maのフレームを1枚おきに間引く処理を行えば、いずれも500枚のフレームからなる動画になり、フレーム同士が1対1に対応することになる。あるいは、復路動画Mbのフレーム間に新たなフレームを補間する処理を行えば、いずれも1000枚のフレームからなる動画になり、フレーム同士が1対1に対応することになる。
【0189】
もちろん、往路動画Maが1000枚のフレーム、復路動画Mbが980枚のフレームによって構成されているような場合にも、適切な補間処理を行うことにより、フレーム同士を1対1に対応させることが可能である。
【0190】
また、実用上は、撮影装置をレール上で移動させて各動画を撮影するのが好ましいが、そのような撮影環境が得られない場合には、たとえば、車載カメラを搭載した自動車を走行させながら撮影したり、カメラマンが歩行しながら手持ちのビデオカメラで撮影したりして、各動画を用意してもかまわない。このような撮影環境では、各動画間のフレームの対応関係は正確にはならないが、前述したように、事後の補正処理により、フレームの正しい対応関係をもった動画を用意することが可能である。
【0191】
なお、撮影時にレールを用いない場合、撮影地点も若干ずれることになり、各動画に映っている背景の位置が若干ずれることになるが、位置ずれの程度がそれほど大きくなければ、動画切替時に大きな違和感は生じない。
【0192】
(4) 全方位画像の採否
これまで述べた実施形態では、動画を構成する個々のフレーム画像を図8に示すような全方位画像(パノラマ画像)によって構成し、ユーザが指定した視線方向(方位角φ)に相当する一部分を視野画像Q(P(i),φ(i))として切り出して表示する例を示した。しかしながら、本発明を実施するに当たって、各動画は必ずしも全方位画像として用意する必要はなく、通常のビデオカメラで撮影される通常の画角を有する動画を用いてもかまわない。この場合、動画を構成する個々のフレーム画像も、通常の画角をもった画像になるので、視線方向を自由に指定することはできないが、視線方向を固定した状態での動画再生は可能である。この場合、一部分を視野画像Q(P(i),φ(i))として切り出す処理は不要になる。
【0193】
もちろん、全方位画像の変わりに、たとえば、180°の画角をもつ半方位画像のフレームからなる動画を用いることも可能である。この場合、視線方向(方位角φ)の指定範囲は狭まるが、それ以外は、これまで述べた実施形態とほぼ同じ効果が得られる。
【0194】
(5) ルート情報格納部120の省略
これまで述べた実施形態は、図2に示すように、複数の経路をもった参観路を移動する状態を動画として提示する例であり、ルート情報格納部120に格納されたルート情報RTを参照して、経路の乗り換えを行っているが、本発明は、もちろん、単一の経路のみについての動画提示を行う場合にも適用可能である。その場合、ルート情報RTは不要になるので、ルート情報格納部120を設ける必要はない。
【0195】
(6) コントローラの構成
図9に示すコントローラ50は、指示入力部150の一部を構成する機器としての一例を示すものであり、実用上は、この他にも様々な形態の機器をコントローラとして利用することが可能である。特に、操作ボタンなどの形態や配置は、設計上、自由に設定可能である。§1では、ボタンB6〜B9の役割についての説明はなされていないが、これらのボタンには、たとえば、移動速度を設定する機能や、上述した仰角ψ(i)を指定する機能など、様々な機能を割り当てることができる。
【0196】
また、ボタンの代わりに、ジョイスティックを用いることも可能である。たとえば、1本のジョイスティックを前方に倒すと前進指示、後方に倒すと後退指示、左方に倒すと左向き指示、右方に倒すと右向き指示を与えるようにすれば、ボタンB1〜B4の代わりに用いることができる。更に、傾斜角度に基づいて、移動速度を変化させるような使い方もできる。
【0197】
なお、前述した実施形態では、前進ボタンB1を押すと、ボタンから手を離しても、仮想ユーザが第1の方向(たとえば、往路方向)に移動をしつづけ、後退ボタンB2を押すと、移動方向が反転し、ボタンから手を離しても第2の方向(たとえば、復路方向)に移動をしつづける、という取り扱いを行っているが、個々のボタン操作によって、どのような指示を与えるかは、設計者の意図に応じて自由に取り決めることができる。たとえば、前進ボタンB1もしくは後退ボタンB2を押し続けている間だけ第1の方向もしくは第2の方向に移動し、ボタンから指を離すと、仮想ユーザは停止する、という取り扱いを行うことも可能である。
【0198】
要するに、コントローラ50としては、仮想ユーザの移動方向を指定する指示入力、別言すれば、移動方向を反転する反転指示を何らかの方法で入力できるようにしておけばよい。なお、反転指示入力は、必ずしも仮想ユーザが移動中に行う必要はなく、仮想ユーザが停止した状態でも行うことができる。たとえば、仮想ユーザが往路方向に移動中に停止ボタンB5を押して停止させ、続いて、後退ボタンB2を押すことにより復路方向への移動を指示した場合、後退ボタンB2を押す操作が、反転指示入力の操作ということになる。
【0199】
(7) 視線方向と進行方向との連携
これまで述べた実施例では、仮想ユーザの移動方向と視線方向とは別個独立して指定できるようになっており、たとえば、図9に示すコントローラ50を用いた例の場合、移動方向は前進ボタンB1および後退ボタンB2の操作により指定し、視線方向(方位角φ)は、左向きボタンB3もしくは右向きボタンB4の操作により指定するようになっている。別言すれば、移動方向の切り替えとは無関係に、視線方向を変更することができ、ユーザは遷移期間中においても、視線方向を自由に変える指示を与えることができる。
【0200】
ただ、通常、人間の習性として、視線方向を移動方向にほぼ一致させるのが自然である(すなわち、視線をほぼ進行方向に向けて移動するのが一般的である)。そこで、視線方向に応じて移動方向を逆転させるような運用を採ることも可能である。
【0201】
たとえば、移動方向に対する視線方向のなす角度が90°を越えた場合、あるいは145°を越えた場合、というような臨界条件を予め設定しておき、当該臨界条件を越えた場合に移動方向を反転させるようにしておけば、移動中に仮想ユーザが後ろを振り返ったような場合、移動方向が反転し、これまでとは逆向きに(振り返った方向に)移動するようになる。このような運用を行えば、人間の行動により近い、臨場感をもった疑似体験を提供することができる。
【0202】
具体的には、指示入力部150として、図9に示すコントローラ50を利用している場合には、移動方向設定部140が、左向きボタンB3の操作指示もしくは右向きボタンB4の操作指示に基づいて、移動方向に対する視線方向の角度が所定の基準以上となったときに、移動方向の切り替えを行うようにすればよい。
【0203】
(8) 経路乗換時の切り替え
§3,§4では、仮想ユーザが移動方向を反転する際の動画切替時に遷移期間を設定し、この遷移期間中にブレンドした合成画像を表示することにより切替時の動体変化の不自然さを低減する手法を述べたが、この手法は、経路乗換による動画切替時にも利用することができる。
【0204】
たとえば、図2に示すように、複数の経路R1〜R6をもった参観路を移動する状態を動画として提示する場合を考えてみる。いま、仮想ユーザが、経路R2をノードN2からN3へと移動し、経路R3に乗り換え、ノードN3からN4へ移動したものとしよう。この場合、経路R2に沿って撮影した動画に続けて、経路R3に沿って撮影した動画が表示されることになるが、通常、曲がり角(ノードN3)を曲がりながら連続撮影を行うことは困難なため、経路R2の動画と経路R3の動画とは、別なテイクとして撮影されるのが一般的であり、動体に不連続が生じることになる。これは、ノードN2のような分岐点を通過する場合も同様である。
【0205】
また、1テイクとして連続撮影を行ったとしても、全方位撮影装置によって得られる歪曲円形画像の歪曲特性は個々の切り出し位置によって異なるので、経路R2に沿って撮影された動画と経路R3に沿って撮影された動画とでは、同一の被写体であっても位置や大きさにずれが生じることになる。別言すれば、ノードN3を通過して経路R2からR3に乗り換える際には、表示画面上、動体のみならず静止している背景についても不連続が生じるおそれがある。たとえば、ノードN3を通過する際に、地図上での視線方向を変えずに進行方向のみを変えた場合、理論的には、連続した背景画像が表示されるはずであるが、実際には、ずれによる違和感が生じることになる。
【0206】
そこで、経路乗換による動画切替時にも、§3,§4で述べたように、遷移期間を設定し、この遷移期間中にブレンドした合成画像を表示するようにすれば、動画切替時の不自然さを軽減することができる。上例の場合、ユーザが、経路R2から経路R3へと移動する指示を与えた場合、ノードN3で一旦停止し、経路R2の画像から経路R3の画像へと遷移する合成画像を提示すればよい。あるいは、ノードN3の若干手前の位置(経路R2上の位置)から、ノードN3を若干過ぎた位置(経路R3上の位置)へと移動する間の期間を遷移期間に設定し、ノードN3で停止することなしに、連続的に移動しつつ、経路R2の画像から経路R3の画像へと遷移する合成画像を提示してもよい。
【符号の説明】
【0207】
10:魚眼レンズ
20:ビデオカメラ
30:データ処理ユニット
40:台車
50:コントローラ
100,100′:動画提示装置
110,110′:動画格納部
120:ルート情報格納部
130,130′:動画再生部
140:移動方向設定部
150:指示入力部
200:ディスプレイ装置
A:経路の端点となるノード
B:経路の端点となるノード
B1〜B9:ボタン
B(i):合成画像
B1(i):第1の合成画像
B2(i):第2の合成画像
E(i):視線ベクトル
F(1),F(2),F(i−1),F(i),F(i+1),F(N−1),F(N):往路動画のフレーム画像/そこから切り出された視野画像
G(1),G(2),G(N−i),G(N−i+1),G(N−i+2),G(N−1),G(N):復路動画のフレーム画像/そこから切り出された視野画像
H(1),H(2),H(i−1),H(i),H(i+1),H(N−1),H(N):背景動画のフレーム画像/そこから切り出された視野画像
Ma:往路動画
M1a:ルートR1の往路動画
Mb:復路動画
M1b:ルートR1の復路動画
Mc:背景画像
N1〜N6:ノード
O:天頂点
P(1),P(2),P(i−1),P(i),P(i+1),P(N−1),P(N):経路上の地点
Q(P(i),φ(i)):視野画像
R,R1〜R6:経路
RT:ルート情報
T:遷移期間
T1:第1の遷移期間
T2:第2の遷移期間
T3:中間遷移期間
t:時間
t0:反転指示入力時
t1〜t3:特定の時点
α:合成画像のブレンド割合
β:合成画像のブレンド割合
Δ:切出角度
φ(i):視線方向(方位角)
【特許請求の範囲】
【請求項1】
移動する視点から見た視界を動画として提示する動画提示装置であって、
第1のノードと第2のノードとを接続する経路に沿って移動しながら撮影した動画を格納する動画格納部と、
ユーザの指示を入力する指示入力部と、
前記指示に基づいて、前記経路上の移動方向として、前記第1のノードから前記第2のノードに向かう往路方向と、前記第2のノードから前記第1のノードに向かう復路方向と、のいずれか一方を設定する移動方向設定部と、
前記動画格納部に格納されている動画を再生し、ディスプレイ装置の画面に表示する動画再生部と、
を備え、
前記動画格納部には、前記経路上を前記往路方向に移動しながら撮影した、被写体に動体を含む往路動画と、前記経路上を前記復路方向に移動しながら撮影した、被写体に動体を含む復路動画と、が格納されており、
前記動画再生部は、前記移動方向設定部に前記往路方向が設定されている場合には、前記往路動画を再生対象として順送り再生し、前記移動方向設定部に前記復路方向が設定されている場合には、前記復路動画を再生対象として順送り再生することを特徴とする動画提示装置。
【請求項2】
請求項1に記載の動画提示装置において、
指示入力部が、移動方向を反転させる反転指示を入力する機能を有し、
移動方向設定部が、前記反転指示の入力に基づいて、往路方向から復路方向へ、もしくは、復路方向から往路方向へ、移動方向を切り替える処理を行い、
前記動画再生部が、反転指示入力後の所定期間を遷移期間に設定し、この遷移期間中は、切替前の移動方向に応じた再生対象である切替前動画を構成する切替前画像と、切替後の移動方向に応じた再生対象である切替後動画を構成し前記切替前画像と同じ位置で撮影された切替後画像と、をブレンドした合成画像を表示することを特徴とする動画提示装置。
【請求項3】
請求項2に記載の動画提示装置において、
動画再生部が、切替後画像の割合をα、切替前画像の割合を(1−α)として、両画像を合成することにより合成画像を作成し、遷移期間の経過とともに値αを0から1に向けて徐々に増加させることを特徴とする動画提示装置。
【請求項4】
請求項3に記載の動画提示装置において、
動画格納部に格納されている往路動画が、第1のノード位置で撮影された第1番目のフレームから第2のノード位置で撮影された第N番目のフレームに至るまで合計N枚のフレーム画像によって構成されており、
動画格納部に格納されている復路動画が、第2のノード位置で撮影された第1番目のフレームから第1のノード位置で撮影された第N番目のフレームに至るまで合計N枚のフレーム画像によって構成されており、
往路画像の第i番目のフレームF(i)と復路画像の第(N−i+1)番目のフレームG(N−i+1)とは、経路上の同一地点で撮影された画像になっており、相互に対応するフレームを構成し、
動画再生部が、遷移期間中に、相互に対応するフレームを合成することにより合成画像を作成し、これを表示することを特徴とする動画提示装置。
【請求項5】
請求項4に記載の動画提示装置において、
動画再生部が、
遷移期間中に、切替前動画の遷移期間直前フレームと、これに対応する切替後動画の対応フレームと、を合成した合成フレームからなる定位置画像を表示し、
遷移期間終了後に、切替後動画の前記対応フレームから順送り再生を開始することを特徴とする動画提示装置。
【請求項6】
請求項4に記載の動画提示装置において、
動画再生部が、
遷移期間の前半期において、切替前動画を継続して順送り再生し、遷移期間の後半期において、切替前動画を前記前半期の最終フレームから逆送り再生し、
遷移期間中に、切替前動画の各フレームと、これに対応する切替後動画の各フレームと、を合成した合成フレームからなる動画画像を表示し、
遷移期間終了後に、切替後動画を継続して順送り再生することを特徴とする動画提示装置。
【請求項7】
請求項6に記載の動画提示装置において、
動画再生部が、遷移期間の前半期において、再生速度を遷移期間直前の速度から徐々に減少させてゆき、遷移期間の後半期において、再生速度を徐々に増加させてゆくことを特徴とする動画提示装置。
【請求項8】
請求項4に記載の動画提示装置において、
動画再生部が、
遷移期間中に、切替前動画を遷移期間直前フレームから逆送り再生し、切替前動画の各フレームと、これに対応する切替後動画の各フレームと、を合成した合成フレームからなる動画画像を表示し、
遷移期間終了後に、切替後動画を継続して順送り再生することを特徴とする動画提示装置。
【請求項9】
請求項1に記載の動画提示装置において、
指示入力部が、移動方向を反転させる反転指示を入力する機能を有し、
移動方向設定部が、前記反転指示の入力に基づいて移動方向を切り替える処理を行い、
動画格納部には、往路動画および復路動画に加えて、経路上を往路方向もしくは復路方向に移動しながら撮影した、被写体に動体を含まない背景動画が、更に格納されており、
前記動画再生部が、反転指示入力後の所定期間を遷移期間に設定し、この遷移期間中は、切替前の移動方向に応じた再生対象である切替前動画を構成する切替前画像と、前記背景動画を構成し前記切替前画像と同じ位置で撮影された背景画像と、をブレンドした第1の合成画像と、前記背景動画を構成する背景画像と、切替後の移動方向に応じた再生対象である切替後動画を構成し前記背景画像と同じ位置で撮影された切替後画像と、をブレンドした第2の合成画像とを、第1の合成画像、第2の合成画像の順に表示することを特徴とする動画提示装置。
【請求項10】
請求項9に記載の動画提示装置において、
動画再生部が、
遷移期間内に、第1の遷移期間と、これに後続する第2の遷移期間とを設定し、
背景画像の割合をα、切替前画像の割合を(1−α)として、両画像を合成することにより第1の合成画像を作成し、これを前記第1の遷移期間内に表示し、かつ、前記第1の遷移期間の経過とともに値αを0から1に向けて徐々に増加させ、
切替後画像の割合をβ、背景画像の割合を(1−β)として、両画像を合成することにより第2の合成画像を作成し、これを前記第2の遷移期間内に表示し、かつ、前記第2の遷移期間の経過とともに値βを0から1に向けて徐々に増加させることを特徴とする動画提示装置。
【請求項11】
請求項10に記載の動画提示装置において、
動画格納部に格納されている往路動画が、第1のノード位置で撮影された第1番目のフレームから第2のノード位置で撮影された第N番目のフレームに至るまで合計N枚のフレーム画像によって構成されており、
動画格納部に格納されている復路動画が、第2のノード位置で撮影された第1番目のフレームから第1のノード位置で撮影された第N番目のフレームに至るまで合計N枚のフレーム画像によって構成されており、
動画格納部に格納されている背景動画が、第1のノード位置で撮影された第1番目のフレームから第2のノード位置で撮影された第N番目のフレームに至るまで合計N枚のフレーム画像によって構成されており、
往路画像の第i番目のフレームF(i)と、復路画像の第(N−i+1)番目のフレームG(N−i+1)と、背景画像の第i番目のフレームH(i)とは、経路上の同一地点で撮影された画像になっており、相互に対応するフレームを構成し、
動画再生部が、遷移期間中に、相互に対応するフレームを合成することにより合成画像を作成し、これを表示することを特徴とする動画提示装置。
【請求項12】
請求項11に記載の動画提示装置において、
動画再生部が、
第1の遷移期間中に、切替前動画の遷移期間直前フレームと、これに対応する背景動画の対応背景フレームと、を合成した合成フレームからなる定位置画像を第1の合成画像として表示し、
第2の遷移期間中に、背景動画の前記対応背景フレームと、切替後動画の前記対応背景フレームに対応する対応フレームと、を合成した合成フレームからなる定位置画像を第2の合成画像として表示し、
遷移期間終了後に、切替後動画の前記対応フレームから順送り再生を開始することを特徴とする動画提示装置。
【請求項13】
請求項12に記載の動画提示装置において、
動画再生部が、第1の遷移期間と第2の遷移期間との間に中間遷移期間を設け、この中間遷移期間中に、対応背景フレームのみを表示することを特徴とする動画提示装置。
【請求項14】
請求項11に記載の動画提示装置において、
動画再生部が、
第1の遷移期間中に、切替前動画を継続して順送り再生し、この切替前動画の各フレームと背景動画の対応背景フレームとを合成した合成フレームからなる動画画像を第1の合成画像として表示し、
第2の遷移期間中に、切替後動画を、前記第1の遷移期間の最終対応背景フレームに対応するフレームから順送り再生し、この切替後動画の各フレームと背景動画の対応背景フレームとを合成した合成フレームからなる動画画像を第2の合成画像として表示し、
第2の遷移期間終了後に、切替後動画を継続して順送り再生することを特徴とする動画提示装置。
【請求項15】
請求項14に記載の動画提示装置において、
動画再生部が、第1の遷移期間中、再生速度を遷移期間直前の速度から徐々に減少させてゆき、第2の遷移期間中、再生速度を徐々に増加させてゆくことを特徴とする動画提示装置。
【請求項16】
請求項11に記載の動画提示装置において、
動画再生部が、
第1の遷移期間中に、切替前動画を遷移期間直前フレームから逆送り再生し、切替前動画の各フレームと、これに対応する背景動画の各フレームと、を合成した合成フレームからなる動画画像を第1の合成画像として表示し、
第2の遷移期間中に、切替後動画を、前記第1の遷移期間の最終対応背景フレームに対応するフレームから順送り再生し、この切替後動画の各フレームと背景動画の対応背景フレームとを合成した合成フレームからなる動画画像を第2の合成画像として表示し、
遷移期間終了後に、切替後動画を継続して順送り再生することを特徴とする動画提示装置。
【請求項17】
請求項1〜16のいずれかに記載の動画提示装置において、
動画格納部に格納されている各動画画像が、経路に沿って移動しながら全方位カメラを用いて撮影した360°の視界をもつ全方位画像を、フレーム単位で収録した画像によって構成されており、
指示入力部が、特定の視線方向を示す指示を入力する機能を有し、
動画再生部が、動画画像を構成する個々のフレームから前記視線方向に応じた視野画像を切り出し、これをディスプレイ画面に表示することを特徴とする動画提示装置。
【請求項18】
請求項17に記載の動画提示装置において、
指示入力部が、前進ボタンと、後退ボタンと、左向きボタンと、右向きボタンと、を有するコントローラを備え、
移動方向設定部が、前記前進ボタンの操作指示に基づいて、移動方向を第1の方向に設定し、前記後退ボタンの操作指示に基づいて、移動方向を第2の方向に設定し、
動画再生部が、前記左向きボタンの操作指示に基づいて、視線方向を左向きに変化させ、前記右向きボタンの操作指示に基づいて、視線方向を右向きに変化させることを特徴とする動画提示装置。
【請求項19】
請求項18に記載の動画提示装置において、
移動方向設定部が、左向きボタンの操作指示もしくは右向きボタンの操作指示に基づいて、移動方向に対する視線方向の角度が所定の基準以上となったときに、移動方向の切り替えを行うことを特徴とする動画提示装置。
【請求項20】
請求項17〜19のいずれかに記載の動画提示装置において、
動画格納部が、魚眼レンズもしくは全方位ミラーを装着した全方位カメラを用いて、所定の水平面より上方に位置する半球状視界を撮影して得られる歪曲円形画像から、仰角が所定の基準値以下の領域を切り出し、これに歪み補正を施すことにより得られる矩形状のパノラマ画像を全方位画像とする動画を格納することを特徴とする動画提示装置。
【請求項21】
請求項17〜19のいずれかに記載の動画提示装置において、
全方位画像格納部が、仮想の経路を示す三次元CG画像に基づいて作成された矩形状のパノラマ画像を全方位画像とする動画を格納することを特徴とする動画提示装置。
【請求項22】
請求項1〜21のいずれかに記載の動画提示装置において、
動画格納部が、3以上の複数のノードを接続する複数の経路についての動画をそれぞれ格納しており、
前記各ノードを介した前記各経路の接続関係を示すルート情報を格納するルート情報格納部を更に有し、
指示入力部が、ノードを介して第1の経路から第2の経路へ移動する旨のユーザの経路乗換指示を入力する機能を有し、
動画再生部が、前記経路乗換指示が入力された場合に、前記ルート情報を参照することにより、第1の経路についての動画再生に継続して、第2の経路についての動画再生を行う機能を有することを特徴とする動画提示装置。
【請求項23】
請求項1〜22のいずれかに記載の動画提示装置としてコンピュータを機能させるプログラム。
【請求項1】
移動する視点から見た視界を動画として提示する動画提示装置であって、
第1のノードと第2のノードとを接続する経路に沿って移動しながら撮影した動画を格納する動画格納部と、
ユーザの指示を入力する指示入力部と、
前記指示に基づいて、前記経路上の移動方向として、前記第1のノードから前記第2のノードに向かう往路方向と、前記第2のノードから前記第1のノードに向かう復路方向と、のいずれか一方を設定する移動方向設定部と、
前記動画格納部に格納されている動画を再生し、ディスプレイ装置の画面に表示する動画再生部と、
を備え、
前記動画格納部には、前記経路上を前記往路方向に移動しながら撮影した、被写体に動体を含む往路動画と、前記経路上を前記復路方向に移動しながら撮影した、被写体に動体を含む復路動画と、が格納されており、
前記動画再生部は、前記移動方向設定部に前記往路方向が設定されている場合には、前記往路動画を再生対象として順送り再生し、前記移動方向設定部に前記復路方向が設定されている場合には、前記復路動画を再生対象として順送り再生することを特徴とする動画提示装置。
【請求項2】
請求項1に記載の動画提示装置において、
指示入力部が、移動方向を反転させる反転指示を入力する機能を有し、
移動方向設定部が、前記反転指示の入力に基づいて、往路方向から復路方向へ、もしくは、復路方向から往路方向へ、移動方向を切り替える処理を行い、
前記動画再生部が、反転指示入力後の所定期間を遷移期間に設定し、この遷移期間中は、切替前の移動方向に応じた再生対象である切替前動画を構成する切替前画像と、切替後の移動方向に応じた再生対象である切替後動画を構成し前記切替前画像と同じ位置で撮影された切替後画像と、をブレンドした合成画像を表示することを特徴とする動画提示装置。
【請求項3】
請求項2に記載の動画提示装置において、
動画再生部が、切替後画像の割合をα、切替前画像の割合を(1−α)として、両画像を合成することにより合成画像を作成し、遷移期間の経過とともに値αを0から1に向けて徐々に増加させることを特徴とする動画提示装置。
【請求項4】
請求項3に記載の動画提示装置において、
動画格納部に格納されている往路動画が、第1のノード位置で撮影された第1番目のフレームから第2のノード位置で撮影された第N番目のフレームに至るまで合計N枚のフレーム画像によって構成されており、
動画格納部に格納されている復路動画が、第2のノード位置で撮影された第1番目のフレームから第1のノード位置で撮影された第N番目のフレームに至るまで合計N枚のフレーム画像によって構成されており、
往路画像の第i番目のフレームF(i)と復路画像の第(N−i+1)番目のフレームG(N−i+1)とは、経路上の同一地点で撮影された画像になっており、相互に対応するフレームを構成し、
動画再生部が、遷移期間中に、相互に対応するフレームを合成することにより合成画像を作成し、これを表示することを特徴とする動画提示装置。
【請求項5】
請求項4に記載の動画提示装置において、
動画再生部が、
遷移期間中に、切替前動画の遷移期間直前フレームと、これに対応する切替後動画の対応フレームと、を合成した合成フレームからなる定位置画像を表示し、
遷移期間終了後に、切替後動画の前記対応フレームから順送り再生を開始することを特徴とする動画提示装置。
【請求項6】
請求項4に記載の動画提示装置において、
動画再生部が、
遷移期間の前半期において、切替前動画を継続して順送り再生し、遷移期間の後半期において、切替前動画を前記前半期の最終フレームから逆送り再生し、
遷移期間中に、切替前動画の各フレームと、これに対応する切替後動画の各フレームと、を合成した合成フレームからなる動画画像を表示し、
遷移期間終了後に、切替後動画を継続して順送り再生することを特徴とする動画提示装置。
【請求項7】
請求項6に記載の動画提示装置において、
動画再生部が、遷移期間の前半期において、再生速度を遷移期間直前の速度から徐々に減少させてゆき、遷移期間の後半期において、再生速度を徐々に増加させてゆくことを特徴とする動画提示装置。
【請求項8】
請求項4に記載の動画提示装置において、
動画再生部が、
遷移期間中に、切替前動画を遷移期間直前フレームから逆送り再生し、切替前動画の各フレームと、これに対応する切替後動画の各フレームと、を合成した合成フレームからなる動画画像を表示し、
遷移期間終了後に、切替後動画を継続して順送り再生することを特徴とする動画提示装置。
【請求項9】
請求項1に記載の動画提示装置において、
指示入力部が、移動方向を反転させる反転指示を入力する機能を有し、
移動方向設定部が、前記反転指示の入力に基づいて移動方向を切り替える処理を行い、
動画格納部には、往路動画および復路動画に加えて、経路上を往路方向もしくは復路方向に移動しながら撮影した、被写体に動体を含まない背景動画が、更に格納されており、
前記動画再生部が、反転指示入力後の所定期間を遷移期間に設定し、この遷移期間中は、切替前の移動方向に応じた再生対象である切替前動画を構成する切替前画像と、前記背景動画を構成し前記切替前画像と同じ位置で撮影された背景画像と、をブレンドした第1の合成画像と、前記背景動画を構成する背景画像と、切替後の移動方向に応じた再生対象である切替後動画を構成し前記背景画像と同じ位置で撮影された切替後画像と、をブレンドした第2の合成画像とを、第1の合成画像、第2の合成画像の順に表示することを特徴とする動画提示装置。
【請求項10】
請求項9に記載の動画提示装置において、
動画再生部が、
遷移期間内に、第1の遷移期間と、これに後続する第2の遷移期間とを設定し、
背景画像の割合をα、切替前画像の割合を(1−α)として、両画像を合成することにより第1の合成画像を作成し、これを前記第1の遷移期間内に表示し、かつ、前記第1の遷移期間の経過とともに値αを0から1に向けて徐々に増加させ、
切替後画像の割合をβ、背景画像の割合を(1−β)として、両画像を合成することにより第2の合成画像を作成し、これを前記第2の遷移期間内に表示し、かつ、前記第2の遷移期間の経過とともに値βを0から1に向けて徐々に増加させることを特徴とする動画提示装置。
【請求項11】
請求項10に記載の動画提示装置において、
動画格納部に格納されている往路動画が、第1のノード位置で撮影された第1番目のフレームから第2のノード位置で撮影された第N番目のフレームに至るまで合計N枚のフレーム画像によって構成されており、
動画格納部に格納されている復路動画が、第2のノード位置で撮影された第1番目のフレームから第1のノード位置で撮影された第N番目のフレームに至るまで合計N枚のフレーム画像によって構成されており、
動画格納部に格納されている背景動画が、第1のノード位置で撮影された第1番目のフレームから第2のノード位置で撮影された第N番目のフレームに至るまで合計N枚のフレーム画像によって構成されており、
往路画像の第i番目のフレームF(i)と、復路画像の第(N−i+1)番目のフレームG(N−i+1)と、背景画像の第i番目のフレームH(i)とは、経路上の同一地点で撮影された画像になっており、相互に対応するフレームを構成し、
動画再生部が、遷移期間中に、相互に対応するフレームを合成することにより合成画像を作成し、これを表示することを特徴とする動画提示装置。
【請求項12】
請求項11に記載の動画提示装置において、
動画再生部が、
第1の遷移期間中に、切替前動画の遷移期間直前フレームと、これに対応する背景動画の対応背景フレームと、を合成した合成フレームからなる定位置画像を第1の合成画像として表示し、
第2の遷移期間中に、背景動画の前記対応背景フレームと、切替後動画の前記対応背景フレームに対応する対応フレームと、を合成した合成フレームからなる定位置画像を第2の合成画像として表示し、
遷移期間終了後に、切替後動画の前記対応フレームから順送り再生を開始することを特徴とする動画提示装置。
【請求項13】
請求項12に記載の動画提示装置において、
動画再生部が、第1の遷移期間と第2の遷移期間との間に中間遷移期間を設け、この中間遷移期間中に、対応背景フレームのみを表示することを特徴とする動画提示装置。
【請求項14】
請求項11に記載の動画提示装置において、
動画再生部が、
第1の遷移期間中に、切替前動画を継続して順送り再生し、この切替前動画の各フレームと背景動画の対応背景フレームとを合成した合成フレームからなる動画画像を第1の合成画像として表示し、
第2の遷移期間中に、切替後動画を、前記第1の遷移期間の最終対応背景フレームに対応するフレームから順送り再生し、この切替後動画の各フレームと背景動画の対応背景フレームとを合成した合成フレームからなる動画画像を第2の合成画像として表示し、
第2の遷移期間終了後に、切替後動画を継続して順送り再生することを特徴とする動画提示装置。
【請求項15】
請求項14に記載の動画提示装置において、
動画再生部が、第1の遷移期間中、再生速度を遷移期間直前の速度から徐々に減少させてゆき、第2の遷移期間中、再生速度を徐々に増加させてゆくことを特徴とする動画提示装置。
【請求項16】
請求項11に記載の動画提示装置において、
動画再生部が、
第1の遷移期間中に、切替前動画を遷移期間直前フレームから逆送り再生し、切替前動画の各フレームと、これに対応する背景動画の各フレームと、を合成した合成フレームからなる動画画像を第1の合成画像として表示し、
第2の遷移期間中に、切替後動画を、前記第1の遷移期間の最終対応背景フレームに対応するフレームから順送り再生し、この切替後動画の各フレームと背景動画の対応背景フレームとを合成した合成フレームからなる動画画像を第2の合成画像として表示し、
遷移期間終了後に、切替後動画を継続して順送り再生することを特徴とする動画提示装置。
【請求項17】
請求項1〜16のいずれかに記載の動画提示装置において、
動画格納部に格納されている各動画画像が、経路に沿って移動しながら全方位カメラを用いて撮影した360°の視界をもつ全方位画像を、フレーム単位で収録した画像によって構成されており、
指示入力部が、特定の視線方向を示す指示を入力する機能を有し、
動画再生部が、動画画像を構成する個々のフレームから前記視線方向に応じた視野画像を切り出し、これをディスプレイ画面に表示することを特徴とする動画提示装置。
【請求項18】
請求項17に記載の動画提示装置において、
指示入力部が、前進ボタンと、後退ボタンと、左向きボタンと、右向きボタンと、を有するコントローラを備え、
移動方向設定部が、前記前進ボタンの操作指示に基づいて、移動方向を第1の方向に設定し、前記後退ボタンの操作指示に基づいて、移動方向を第2の方向に設定し、
動画再生部が、前記左向きボタンの操作指示に基づいて、視線方向を左向きに変化させ、前記右向きボタンの操作指示に基づいて、視線方向を右向きに変化させることを特徴とする動画提示装置。
【請求項19】
請求項18に記載の動画提示装置において、
移動方向設定部が、左向きボタンの操作指示もしくは右向きボタンの操作指示に基づいて、移動方向に対する視線方向の角度が所定の基準以上となったときに、移動方向の切り替えを行うことを特徴とする動画提示装置。
【請求項20】
請求項17〜19のいずれかに記載の動画提示装置において、
動画格納部が、魚眼レンズもしくは全方位ミラーを装着した全方位カメラを用いて、所定の水平面より上方に位置する半球状視界を撮影して得られる歪曲円形画像から、仰角が所定の基準値以下の領域を切り出し、これに歪み補正を施すことにより得られる矩形状のパノラマ画像を全方位画像とする動画を格納することを特徴とする動画提示装置。
【請求項21】
請求項17〜19のいずれかに記載の動画提示装置において、
全方位画像格納部が、仮想の経路を示す三次元CG画像に基づいて作成された矩形状のパノラマ画像を全方位画像とする動画を格納することを特徴とする動画提示装置。
【請求項22】
請求項1〜21のいずれかに記載の動画提示装置において、
動画格納部が、3以上の複数のノードを接続する複数の経路についての動画をそれぞれ格納しており、
前記各ノードを介した前記各経路の接続関係を示すルート情報を格納するルート情報格納部を更に有し、
指示入力部が、ノードを介して第1の経路から第2の経路へ移動する旨のユーザの経路乗換指示を入力する機能を有し、
動画再生部が、前記経路乗換指示が入力された場合に、前記ルート情報を参照することにより、第1の経路についての動画再生に継続して、第2の経路についての動画再生を行う機能を有することを特徴とする動画提示装置。
【請求項23】
請求項1〜22のいずれかに記載の動画提示装置としてコンピュータを機能させるプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図16】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図16】
【公開番号】特開2013−98816(P2013−98816A)
【公開日】平成25年5月20日(2013.5.20)
【国際特許分類】
【出願番号】特願2011−240838(P2011−240838)
【出願日】平成23年11月2日(2011.11.2)
【出願人】(000002897)大日本印刷株式会社 (14,506)
【Fターム(参考)】
【公開日】平成25年5月20日(2013.5.20)
【国際特許分類】
【出願日】平成23年11月2日(2011.11.2)
【出願人】(000002897)大日本印刷株式会社 (14,506)
【Fターム(参考)】
[ Back to top ]