仮想旅行システム、仮想旅行装置及び仮想旅行プログラム
【課題】動きのある対象物のプライバシーを保護した上で仮想的な旅行を実現することを課題とする。
【解決手段】仮想旅行システムは、乗物内外又は建築物内外に設置された撮影装置によって撮影されることで生成された画像データを収集する。また、仮想旅行システムは、収集した画像データのうち、動きのある対象物が描出された領域を特定する。また、仮想旅行システムは、収集した画像データのうち、対象物を示す領域の画像データを他の画像データに加工する。また、仮想旅行システムは、利用者が利用する利用者端末から、仮想的な旅行の行程に関する情報を含む仮想旅行要求を受け付け、仮想旅行要求において要求されている仮想的な旅行に用いられる乗物内外、又は、仮想的な旅行の行程の近傍に存在する建築物内外に設置された撮影装置によって生成された画像データが加工された加工済画像データを利用者端末に順次配信する。
【解決手段】仮想旅行システムは、乗物内外又は建築物内外に設置された撮影装置によって撮影されることで生成された画像データを収集する。また、仮想旅行システムは、収集した画像データのうち、動きのある対象物が描出された領域を特定する。また、仮想旅行システムは、収集した画像データのうち、対象物を示す領域の画像データを他の画像データに加工する。また、仮想旅行システムは、利用者が利用する利用者端末から、仮想的な旅行の行程に関する情報を含む仮想旅行要求を受け付け、仮想旅行要求において要求されている仮想的な旅行に用いられる乗物内外、又は、仮想的な旅行の行程の近傍に存在する建築物内外に設置された撮影装置によって生成された画像データが加工された加工済画像データを利用者端末に順次配信する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、仮想旅行システム、仮想旅行装置及び仮想旅行プログラムに関する。
【背景技術】
【０００２】
一般に、電車やバス等の乗物を利用して旅行することが多い。例えば、電車やバスを乗り継いで観光地に行ったり、観光地に到着した後に徒歩により名所を参観したりする。また、近年では、観光地等の実況映像を利用者に提供することにより、仮想的（バーチャル）な旅行を実現する技術も提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−１０３４５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の仮想旅行に関する従来技術では、動きのある対象物のプライバシーが保護されているとはいえない場合があった。例えば、観光地の実況映像には、不特定多数の個人が映し出されている場合もあるが、上記の従来技術では、このような個人に対するプライバシー保護がなされていない。
【０００５】
本発明は、上記に鑑みてなされたものであって、動きのある対象物のプライバシーを保護した上で仮想的な旅行を実現することができる仮想旅行システム、仮想旅行装置及び仮想旅行プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
実施形態に係る仮想旅行システムは、利用者に仮想的な旅行を提供する仮想旅行システムであって、乗物内外又は建築物内外に設置された撮影装置によって撮影されることで生成された画像データを収集する収集部と、前記収集部によって収集された画像データのうち、動きのある対象物が描出された領域を特定する特定部と、前記収集部によって収集された画像データのうち、前記特定部によって特定された対象物を示す領域の画像データを他の画像データに加工する加工部と、前記利用者が利用する利用者端末から、前記仮想的な旅行の行程に関する情報を含む仮想旅行要求を受け付ける受付部と、前記加工部によって加工された加工済画像データのうち、前記受付部によって受け付けられた仮想旅行要求において要求されている仮想的な旅行に用いられる乗物内外に設置された撮影装置、又は、該仮想的な旅行の行程の近傍に存在する建築物内外に設置された撮影装置によって生成された画像データが加工された加工済画像データを、前記利用者端末に順次配信する配信部とを備えたことを特徴とする。
【０００７】
また、実施形態に係る仮想旅行装置は、乗物内外又は建築物内外に設置された撮影装置によって撮影されることで生成された画像データを収集する収集部と、前記収集部によって収集された画像データのうち、動きのある対象物が描出された領域を特定する特定部と、前記収集部によって収集された画像データのうち、前記特定部によって特定された対象物を示す領域の画像データを他の画像データに加工する加工部と、利用者が利用する利用者端末から、仮想的な旅行の行程に関する情報を含む仮想旅行要求を受け付ける受付部と、前記加工部によって加工された加工済画像データのうち、前記受付部によって受け付けられた仮想旅行要求において要求されている仮想的な旅行に用いられる乗物内外に設置された撮影装置、又は、該仮想的な旅行の行程の近傍に存在する建築物内外に設置された撮影装置によって生成された画像データが加工された加工済画像データを、前記利用者端末に順次配信する配信部とを備えたことを特徴とする。
【０００８】
また、実施形態に係る仮想旅行プログラムは、乗物内外又は建築物内外に設置された撮影装置によって撮影されることで生成された画像データを収集する収集手順と、前記収集手順によって収集された画像データのうち、動きのある対象物が描出された領域を特定する特定手順と、前記収集手順によって収集された画像データのうち、前記特定手順によって特定された対象物を示す領域の画像データを他の画像データに加工する加工手順と、利用者が利用する利用者端末から、仮想的な旅行の行程に関する情報を含む仮想旅行要求を受け付ける受付手順と、前記加工手順によって加工された加工済画像データのうち、前記受付手順によって受け付けられた仮想旅行要求において要求されている仮想的な旅行に用いられる乗物内外に設置された撮影装置、又は、該仮想的な旅行の行程の近傍に存在する建築物内外に設置された撮影装置によって生成された画像データが加工された加工済画像データを、前記利用者端末に順次配信する配信手順とをコンピュータに実行させることを特徴とする。
【発明の効果】
【０００９】
実施形態に係る仮想旅行システム、仮想旅行装置及び仮想旅行プログラムによれば、動きのある対象物のプライバシーを保護した上で仮想的な旅行を実現することができるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施例１に係る仮想旅行システムの構成例を示す図である。
【図２】図２は、実施例１に係る仮想旅行装置の概要を説明するための図である。
【図３】図３は、実施例１に係る撮影装置の構成を示すブロック図である。
【図４】図４は、実施例１に係る仮想旅行装置の構成を示すブロック図である。
【図５】図５は、実施例１に係る旅行プラン記憶部の一例を示す図である。
【図６】図６は、実施例１に係る復号化部の構成を示すブロック図である。
【図７】図７は、輪郭に相当する領域の特定を説明するための図である。
【図８】図８は、実施例１に係る輪郭画像の一例を示す図である。
【図９】図９は、実施例１における対象物判定部による対象物判定処理の一例を示す図である。
【図１０】図１０は、実施例１における加工部によって加工された輪郭画像の一例を示す図である。
【図１１】図１１は、実施例１における重畳部による重畳画像生成処理の一例を示す図である。
【図１２】図１２は、実施例１における重畳部による重畳画像生成処理の一例を示す図である。
【図１３】図１３は、実施例１に係る端末装置の構成について説明する図である。
【図１４】図１４は、実施例１に係る仮想旅行アプリケーション部によって表示制御される各種画面例を示す図である。
【図１５】図１５は、実施例１に係る仮想旅行アプリケーション部によって表示制御される各種画面例を示す図である。
【図１６】図１６は、実施例１に係る仮想旅行システムによる処理手順を示すシーケンス図である。
【図１７】図１７は、実施例１に係る仮想旅行装置による保護処理手順を示すフローチャートである。
【図１８】図１８は、実施例２に係る仮想旅行システムの構成例を示す図である。
【図１９】図１９は、実施例２に係る撮影装置の構成を示すブロック図である。
【図２０】図２０は、実施例２に係る仮想旅行装置の構成を示すブロック図である。
【図２１】図２１は、実施例２に係る旅行プラン記憶部の一例を示す図である。
【図２２】図２２は、実施例３に係る復号化部の構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下、開示の技術に係る仮想旅行システム、仮想旅行装置及び仮想旅行プログラムの実施例を説明する。なお、以下の実施例により本発明が限定されるものではない。
【実施例１】
【００１２】
［実施例１に係る仮想旅行システム１の構成］
まず、図１を用いて、実施例１に係る仮想旅行システム１について説明する。図１は、実施例１に係る仮想旅行システム１の構成例を示す図である。図１に例示した仮想旅行システム１には、撮影装置１００−１、１００−２及び１００−３と、仮想旅行装置２００と、端末装置３００とが含まれる。
【００１３】
撮影装置１００−１、１００−２及び１００−３は、乗物内外や建築物内外に設置される。図１に示した例では、撮影装置１００−１は、電車１１に設置され、電車１１から見える風景を撮影する。また、撮影装置１００−２は、バス１２に設置され、バス１２から見える風景を撮影する。また、撮影装置１００−３は、観光地１３近傍の建築物（電柱や建物等）に設置され、観光地１３を撮影する。
【００１４】
これらの撮影装置１００−１、１００−２及び１００−３は、風景や観光地等を撮影することにより、撮影した風景や観光地等の画像データ（動画又は静止画）を生成し、生成した画像データを仮想旅行装置２００に送信する。図１に示した例では、撮影装置１００−１、１００−２及び１００−３は、画像データを生成するたびに、基地局２０を介して、無線通信により画像データを仮想旅行装置２００に送信する。これにより、仮想旅行装置２００は、現時点において電車１１やバス１２から見える風景を撮影することで生成された画像データや、現時点における観光地１３を撮影することで生成された画像データを略リアルタイムに受信することができる。
【００１５】
このような撮影装置１００−１、１００−２及び１００−３については、図３を用いて後述する。なお、撮影装置１００−１、１００−２及び１００−３は同様の構成を有するので、以下では、撮影装置１００−１、１００−２及び１００−３を区別する必要がない場合には、これらを総称して「撮影装置１００」と表記する場合がある。
【００１６】
仮想旅行装置２００は、撮影装置１００によって生成された画像データを収集し、収集した画像データを利用者に提供する。具体的には、仮想旅行装置２００は、端末装置３００から仮想旅行を行う旨の要求（以下、「仮想旅行要求」と表記する場合がある）を受信した場合に、かかる仮想旅行要求に対応する画像データをストリーミング（streaming）方式等により公衆ネットワーク網３０を介して端末装置３００に配信することで、端末装置３００の利用者に仮想旅行を体験させる。このとき、仮想旅行装置２００は、撮影装置１００から順次送信される画像データを端末装置３００に配信する。これにより、仮想旅行装置２００は、現時点において電車１１やバス１２から見える風景に対応する画像データや、現時点における観光地１３に対応する画像データを略リアルタイムに端末装置３００に配信することができる。
【００１７】
ここで、実施例１に係る仮想旅行装置２００は、撮影装置１００から収集した画像データのうち、動きのある人や動物等の対象物を抽出し、抽出した対象物に対してプライバシー保護の処理を施す。例えば、仮想旅行装置２００は、画像データ内に映し出されている対象物の領域に、かかる対象物以外の他の画像データ（所定の図形やアニメーション画像等）を配置する。そして、仮想旅行装置２００は、このようにして対象物に対してプライバシーの保護処理を施した画像データを端末装置３００に配信する。なお、実施例１に係る仮想旅行装置２００については、図４等を用いて後述する。
【００１８】
端末装置３００は、実施例１に係る仮想旅行システム１の利用者によって利用される情報処理装置である。かかる端末装置３００は、仮想旅行装置２００から配信される画像データを表示する表示部（ディプレイ等）や、仮想旅行の行き先を利用者から受け付ける入力部（リモートコントローラー、マウス、キーボード等）を有する。
【００１９】
この端末装置３００は、仮想旅行の種類を選択するための選択画面を表示部に表示することで、仮想旅行の種類を利用者に入力させる。ここでいう「仮想旅行の種類」とは、仮想旅行の行き先や、仮想旅行に用いられる乗物（交通手段）等によって分けられる仮想旅行のタイプを示す。そして、端末装置３００は、利用者によって入力された仮想旅行の種類を仮想旅行装置２００に送信することで、かかる種類に対応する画像データを仮想旅行装置２００から受信する。このとき、端末装置３００は、現時点において電車１１やバス１２から見える風景に対応する画像データや、現時点における観光地１３に対応する画像データを略リアルタイムに受信する。さらに、端末装置３００は、対象物に対してプライバシー保護の処理が施された画像データを受信する。これにより、端末装置３００は、現時点における旅行先の風景等に対応する画像データであって、かつ、対象物のプライバシーが保護された画像データを表示することができる。この結果、端末装置３００は、旅行先の不特定多数の対象物のプライバシーを保護した上で、リアルタイム性を有する仮想旅行を利用者に提供することができる。
【００２０】
以下に、図１に示した各装置による処理について詳細に説明する。以下では、最初に撮影装置１００及び仮想旅行装置２００による輪郭抽出処理の概要を説明し、次に撮影装置１００、仮想旅行装置２００、端末装置３００の構成について詳細に説明する。
【００２１】
［輪郭抽出処理の概要］
上述した仮想旅行装置２００は、撮影装置１００と協働することにより、撮影装置１００によって生成された画像データから動きのある対象物の輪郭を抽出する処理を行う。図２を用いて、仮想旅行装置２００による輪郭抽出処理の概要について説明する。図２は、実施例１に係る仮想旅行装置２００の概要を説明するための図である。
【００２２】
図２に例示するように、実施例１に係る仮想旅行システム１では、撮影装置１００において符号化処理が実行され、仮想旅行装置２００において復号化処理及び輪郭抽出処理が実行される。
【００２３】
まず、実施例１に係る撮影装置１００において実行される符号化処理の概要を説明する。撮影装置１００は、風景や観光地を撮影することにより対象物が描出された画像データを生成し、生成した画像データをマクロブロック毎に符号化するにあたり動きベクトルを検出する。続いて、撮影装置１００は、検出した動きベクトルを用いて各種符号化モード（Ｉｎｔｒａモード、フレーム予測モード、フィールド予測モード）による符号化を行い、それぞれの符号化量（符号化データの発生量）に基づいて予測モードを選択する。そして、撮影装置１００は、選択した予測モードに従って画像データを符号化する。
【００２４】
ここで、実施例１に係る撮影装置１００は、予測モードを選択するための閾値を予め設定されることで記憶している。そして、撮影装置１００は、符号化量を予測モード間で比較する際にこの閾値を用い、比較の結果に基づいて予測モードを選択する。具体的には、撮影装置１００は、符号化量を予測モード間で比較した結果、フィールド予測モードによる符号化量が、フレーム予測モードによる符号化量に比較して閾値以上小さいと判定されたことを条件として、フィールド予測モードを選択する。
【００２５】
なお、予測モードについて簡単に説明しておくと、例えば、ＭＰＥＧ（Moving Picture Experts Group）で標準化されたＭＰＥＧ−２、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４などにおいては、符号化方式として、フレーム間予測方式を採用している。フレーム間予測方式は、入力フレームと前後のフレームとは相関度が高いという動画像の性質を利用して、前後のフレームから入力フレームを予測した予測フレームを生成し、生成した予測フレームと入力フレームとの差分を符号化する方式である。具体的には、符号化装置は、フレームを構成する予測単位毎に差分を算出して動きベクトルを検出し、検出した動きベクトル、及び、予測フレームと入力フレームとの差分である差分画像データを符号化して符号化データを生成し、生成した符号化データを復号化装置に送信する。
【００２６】
ここで、ＭＰＥＧ−２、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４等においては、動画像がインタレース形式の場合に、マクロブロックの符号化に用いる予測モードとして、フレーム予測モード及びフィールド予測モードの動的選択を規定している。フレーム予測モードは、マクロブロック（横１６×縦１６画素）毎に１つの動きベクトルを割り当てるモードである。一方、フィールド予測モードは、マクロブロックのトップフィールド成分（横１６×縦８画素）及びボトムフィールド成分（横１６×縦８画素）それぞれに動きベクトルを割り当てるモードである。なお、フレーム予測モード及びフィールド予測モードは動的に選択されるので、ピクチャ構造は、フレーム構造となる。なお、標準において動的選択を規定しているものの、一般的にはフレーム予測モードが固定的に選択されることが多いが、その理由は、通常、フレーム予測モードの方が、符号化処理の計算量が少なく、より高い圧縮率が得られる傾向にあるからと考えられる。
【００２７】
さて、図２に戻り、実施例１に係る仮想旅行装置２００において実行される輪郭抽出処理の概要を説明する。仮想旅行装置２００は、撮影装置１００から符号化データを受信し、受信した符号化データに含まれるヘッダ情報からピクチャ構造情報及び予測モード情報を読み出す。そして、仮想旅行装置２００は、読み出したピクチャ構造情報及び予測モード情報に基づいて、対象物の輪郭に相当する領域を特定する。なお、ピクチャ構造情報とは、ピクチャの構造を示す情報であり、予測モード情報とは、マクロブロックの符号化に用いられた予測モードを示す情報である。例えば、ピクチャ構造情報は、ヘッダ情報のピクチャ層に格納されており、予測モード情報は、マクロブロック層に格納されている。
【００２８】
ここで、実施例１に係る仮想旅行装置２００は、ピクチャ構造情報及び予測モード情報をマクロブロック毎に判定し、図２に例示するように、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合に、対応するマクロブロックの画像上の位置を、対象物の輪郭（対象物と背景との境界部分等）に相当する領域として特定する。
【００２９】
このようなことから、実施例１に係る仮想旅行装置２００によれば、対象物の輪郭に相当する領域を特定することが可能になり、動きのある対象物を適切に抽出することが可能になる。
【００３０】
［実施例１に係る撮影装置１００の構成］
次に、図３を用いて、実施例１に係る撮影装置１００の構成について説明する。図３は、実施例１に係る撮影装置１００の構成を示すブロック図である。図３に例示するように、実施例１に係る撮影装置１００は、撮影部１０１と、符号化装置１０２とを有する。
【００３１】
撮影部１０１は、撮影処理を行うことで画像データを生成し、生成した画像データ（フレーム）を符号化装置１０２に入力する。符号化装置１０２は、撮影部１０１から入力されたフレームを符号化することで符号化データを生成する。
【００３２】
ここで、実施例１にかかる符号化装置１０２は、特に、符号化モード判定部１１０と、符号化部１２０と、可変長復号−逆スキャン部１３０と、逆量子化−逆ＤＣＴ（Discrete Cosine Transform）部１４０と、フレームメモリ１５０と、動きベクトル検出部１６０と、動き補償部１７０と、減算器１８０とを備える。かかる符号化装置１０２は、公知の符号化装置と同様の機能を有する。この点について簡単に説明すると、まず、符号化装置１０２は、対象物が描出された画像データの入力を受け付けると、この入力フレームをマクロブロック毎に分割し、動きベクトル検出部１６０に入力する。動きベクトル検出部１６０は、フレームメモリ１５０に格納されている参照フレームと入力フレームとの差分をマクロブロック毎に算出して動きベクトルを検出し、検出した動きベクトルを動き補償部１７０に送る。
【００３３】
動き補償部１７０は、動きベクトル検出部１６０から送られた動きベクトルとフレームメモリ１５０に格納されている参照フレームとを用いて予測フレームを生成し、生成した予測フレームを減算器１８０に送る。減算器１８０は、入力フレームと予測フレームとを減算し、減算結果である差分画像データを符号化モード判定部１１０に送る。
【００３４】
符号化モード判定部１１０は、入力フレーム及び差分画像データそれぞれの入力を受け付け、符号化モードとして、入力フレームを符号化するＩｎｔｒａモードを選択するか、あるいは、差分画像データを符号化するＩｎｔｅｒモードを選択するかを判定する。そして、符号化モード判定部１１０は、判定結果を、符号化に必要なデータ（入力フレーム、あるいは、差分画像データ及び動きベクトル等）とともに、符号化部１２０に送る。
【００３５】
符号化部１２０は、符号化モード判定部１１０から受け付けた判定結果に従って、符号化モード判定部１１０から受け付けたデータを符号化し、符号化データ（ストリームとも称する）を生成する。そして、符号化部１２０は、生成した符号化データを復号化処理を行う仮想旅行装置２００に向けて出力するとともに、可変長復号−逆スキャン部１３０に出力する。すると、可変長復号−逆スキャン部１３０及び逆量子化−逆ＤＣＴ部１４０は、符号化データを復号化し、復号化した画像データを参照フレームとしてフレームメモリ１５０に格納する。なお、上記各部による処理は、いずれもマクロブロック毎に行われる。
【００３６】
さて、ここで、実施例１に係る符号化装置１０２は、上述した公知の符号化装置が有する機能に加え、予測モードを選択するための閾値を予め設定されることで記憶し、符号化量を予測モード間で比較する際にこの閾値を用い、比較の結果に基づいて予測モードを選択する機能を有する。
【００３７】
この点について説明する。まず、実施例１に係る符号化装置１０２は、マクロブロックの符号化に用いる予測モードとして、フレーム予測モード及びフィールド予測モードを動的に選択する。このため、実施例１に係る動きベクトル検出部１６０は、フレーム予測モード用の動きベクトル検出処理と、フィールド予測モード用の動きベクトル検出処理との双方を行う。すなわち、動きベクトル検出部１６０は、フレームメモリ１５０に格納された参照フレームを参照し、マクロブロック（横１６×縦１６画素）毎に１つの動きベクトルを割り当てる処理と、フレームメモリ１５０に格納された参照フレームのトップフィールド及びボトムフィールドそれぞれを参照し、マクロブロックのトップフィールド成分（横１６×縦８画素）及びボトムフィールド成分（横１６×縦８画素）それぞれに動きベクトルを割り当てる処理との双方を行う。そして、動きベクトル検出部１６０は、フレーム予測モード用の動きベクトル及びフィールド予測モード用の動きベクトルの双方を、動き補償部１７０に対して出力する。
【００３８】
ここで、実施例１に係る動き補償部１７０は、図３に例示するように、Ｉｎｔｒａ符号化部１７０ａと、フレーム予測モード符号化部１７０ｂと、フィールド予測モード符号化部１７０ｃとを有する。Ｉｎｔｒａ符号化部１７０ａ、フレーム予測モード符号化部１７０ｂ、及びフィールド予測モード符号化部１７０ｃは、並行して処理を行う。
【００３９】
まず、Ｉｎｔｒａ符号化部１７０ａは、Ｉｎｔｒａモードによる符号化を行う。具体的には、Ｉｎｔｒａ符号化部１７０ａは、マクロブロック毎に分割された入力フレームを符号化し、その符号化量を符号化モード判定部１１０に対して出力する。なお、実施例１において、Ｉｎｔｒａ符号化部１７０ａは、横１６×縦１６画素のマクロブロック毎に入力フレームを符号化する。
【００４０】
また、フレーム予測モード符号化部１７０ｂは、フレーム予測モードによる符号化を行う。具体的には、フレーム予測モード符号化部１７０ｂは、動きベクトル検出部１６０から受け付けたフレーム予測モード用の動きベクトルと、フレームメモリ１５０に格納された参照フレームとを用いて、予測フレームを生成し、生成した予測フレームを減算器１８０に対して出力する。また、フレーム予測モード符号化部１７０ｂは、入力フレームと予測フレームとを減算し、減算結果である差分画像データを符号化し、その符号化量と、フレーム予測モード用の動きベクトルとを、符号化モード判定部１１０に対して出力する。
【００４１】
また、フィールド予測モード符号化部１７０ｃは、フィールド予測モードによる符号化を行う。具体的には、フィールド予測モード符号化部１７０ｃは、動きベクトル検出部１６０から受け付けたフィールド予測モード用の動きベクトルと、フレームメモリ１５０に格納された参照フレームとを用いて、予測フレームを生成し、生成した予測フレームを減算器１８０に対して出力する。また、フィールド予測モード符号化部１７０ｃは、入力フレームと予測フレームとを減算し、減算結果である差分画像データを符号化し、その符号化量と、フィールド予測モード用の動きベクトルとを、符号化モード判定部１１０に対して出力する。
【００４２】
一方、符号化モード判定部１１０は、予測モードを選択するための閾値を予め設定されることで記憶している。そして、符号化モード判定部１１０は、Ｉｎｔｒａ符号化部１７０ａから出力された符号化量と、フレーム予測モード符号化部１７０ｂから出力された符号化量と、フィールド予測モード符号化部１７０ｃから出力された符号化量とを比較する。
【００４３】
具体的には、符号化モード判定部１１０は、Ｉｎｔｒａ符号化部１７０ａから出力された符号化量が最も小さい場合には、Ｉｎｔｒａモードを選択する。一方、Ｉｎｔｒａ符号化部１７０ａから出力された符号化量が最も大きい場合には、符号化モード判定部１１０は、次に、フレーム予測モード符号化部１７０ｂから出力された符号化量と、フィールド予測モード符号化部１７０ｃから出力された符号化量との比較を行う。なお、Ｉｎｔｒａ符号化部１７０ａから出力された符号化量は、最小か最大かのいずれかになり、フレーム予測モード符号化部１７０ｂから出力された符号化量と、フィールド予測モード符号化部１７０ｃから出力された符号化量との間にはならないと仮定する。
【００４４】
そして、符号化モード判定部１１０は、フレーム予測モード符号化部１７０ｂから出力された符号化量と、フィールド予測モード符号化部１７０ｃから出力された符号化量との比較の結果、フィールド予測モード符号化部１７０ｃから出力された符号化量が、フレーム予測モード符号化部１７０ｂから出力された符号化量に比較して、予め記憶している閾値以上小さいと判定されたことを条件として、フィールド予測モードを選択する。一方、符号化モード判定部１１０は、それ以外の場合には、フレーム予測モードを選択する。
【００４５】
その後、符号化モード判定部１１０は、判定結果を、符号化に必要なデータとともに、符号化部１２０に送る。具体的には、符号化モード判定部１１０は、「Ｉｎｔｒａモードを選択した」との判定結果を送る場合には、符号化に必要なデータとして入力フレームを送る。また、符号化モード判定部１１０は、「フレーム予測モードを選択した」との判定結果を送る場合には、符号化に必要なデータとして、フレーム予測モード用の動きベクトルと、フレーム予測モードに対応する差分画像データとを送る。また、符号化モード判定部１１０は、「フィールド予測モードを選択した」との判定結果を送る場合には、符号化に必要なデータとして、フィールド予測モード用の動きベクトルと、フィールド予測モードに対応する差分画像データとを送る。一方、符号化部１２０は、符号化モード判定部１１０から送られた判定結果やデータを用いて符号化を行うが、この際、選択された予測モードを示す情報を、符号化データのヘッダ情報に格納する。
【００４６】
なお、Ｉｎｔｒａ符号化部１７０ａから出力された符号化量は、横１６×縦１６画素のマクロブロックに対応する符号化量である。また、フレーム予測モード符号化部１７０ｂから出力された符号化量も、横１６×縦１６画素のマクロブロックに対応する符号化量である。これに対し、フィールド予測モード符号化部１７０ｃから出力された符号化量は、横１６×縦８画素のマクロブロックに対応する符号化量である。このため、符号化モード判定部１１０は、比較にあたり、例えば、フィールド予測モード符号化部１７０ｃから出力された符号化量については、２マクロブロック分、すなわち、横１６×縦１６画素のマクロブロックに対応する符号化量を、その比較対象として用いてもよい。比較対象として１マクロブロック分を用いるか、あるいは２マクロブロック分を用いるかは、閾値をどのような値に設定するかによって任意に選択することができる。
【００４７】
また、実施例１に係る符号化装置１０２として各部の処理を説明したが、開示の技術は上記例に限られるものではない。例えば、実施例１においては、動き補償部１７０が、各種符号化モードによる符号化を行い、符号化量を算出して符号化モード判定部１１０に出力するものとして説明したが、これに限られるものではなく、例えば、符号化モード判定部１１０が符号化量を算出し、算出した符号化量を用いて予測モードを選択する構成であってもよい。このように、各部の機能分担は任意に変更することができる。
【００４８】
ところで、実施例１において、符号化量の比較に用いられる閾値は、符号化データの発生量や予測の誤差量等に基づいて予め決定されたものであり、言い換えると、計算量や圧縮率、あるいは精度等を総合的に勘案して予め決定されたものである。符号化データの発生量が少ない方が、符号化処理の計算量が少なく、より高い圧縮率となると考えられるが、予測の誤差量が多く、精度が低い場合には、必ずしも符号化データの発生量だけに着目するべきではない。また、精度が低い場合には、符号化データの発生量がかえって多くなることもある。
【００４９】
ここで、フレーム予測モードによって符号化された場合の符号化量と、フィールド予測モードによって符号化された場合の符号化量とを比較すると、一般的には前者の方が小さくなるが、後者の方が小さくなることもある。この点、実施例１に係る仮想旅行システム１は、単に後者の方が小さくなる場合にフィールド予測モードを選択するのではなく、符号化量を比較するための閾値を設け、この閾値以上に後者の符号化量が小さくなった場合に、フィールド予測モードを選択する。
【００５０】
すなわち、対象物の動きが速い場合には、フィールド予測モードの方が精度が良くなるという関係がある。また、フィールド予測モードの方が精度が良い場合には、フレーム予測モードによって符号化された場合の符号化量と、フィールド予測モードによって符号化された場合の符号化量とを比較した場合に、後者の符号化量の方が小さくなるという関係がある。もっとも、符号化量を単純に比較しただけでは、フィールド予測モードの精度がそれほど良くなっているわけではないにもかかわらず、フィールド予測モードを選択してしまう可能性がある。このような場合は、必ずしも対象物の輪郭に相当しないことがあり、結果として、仮想旅行装置２００において、対象物の輪郭に相当しないマクロブロックの画像上の位置を、対象物の輪郭に相当する領域として特定してしまうおそれがある。
【００５１】
この点、実施例１に係る符号化装置１０２は、符号化量の比較のためにあえて閾値を設け、閾値を上回るほどにフィールド予測モードの符号化量が小さい場合にだけ、フィールド予測モードを選択する。すると、結果として、仮想旅行装置２００において、閾値を上回るほどにフィールド予測モードの符号化量が小さい場合にだけ、そのマクロブロックの画像上の位置が、対象物の輪郭に相当する領域として特定されることになる。
【００５２】
なお、閾値は、例えば、実験結果や経験則等に基づいて決定することができる。例えば、動きのある対象物をサンプルとして各種符号化モードによる符号化量を計測し、対象物の輪郭に相当するマクロブロックの場合には、その符号化量にどれほどの差が生じるかを予め求めることで、閾値を決定することができる。
【００５３】
［実施例１に係る仮想旅行装置２００の構成］
次に、図４を用いて、実施例１に係る仮想旅行装置２００の構成について説明する。図４は、実施例１に係る仮想旅行装置２００の構成を示すブロック図である。図４に例示するように、実施例１に係る仮想旅行装置２００は、画像データ記憶部２１０と、旅行プラン記憶部２２０と、収集部２３０と、復号化部２４０と、受付部２５０と、符号化部２６０と、配信部２７０とを有する。
【００５４】
画像データ記憶部２１０は、撮影装置１００によって生成された画像データを記憶する。具体的には、画像データ記憶部２１０は、後述する復号化部２４０によって復号化された画像データを記憶する。
【００５５】
旅行プラン記憶部２２０は、仮想旅行の種類に対応付けて、配信対象となる画像データに関する情報を記憶する。ここで、図５に、実施例１に係る旅行プラン記憶部２２０の一例を示す。図５に示した例では、旅行プラン記憶部２２０は、「旅行プラン」、「配信順序」、「配信映像」、「配信時間」といった項目を有する。
【００５６】
これらの項目のうち「旅行プラン」は、仮想旅行の種類を識別するための識別情報を示す。「配信順序」は、画像データを配信する順序を示す。「配信映像」は、配信対象の画像データを特定するための情報を示す。「配信時間」は、画像データを配信する時間を示す。
【００５７】
すなわち、図５に例示した旅行プラン記憶部２２０は、旅行プラン「Ｐ１」において、最初に電車１１に設置された撮影装置１００−１によって生成された画像データを配信し、次に、バス１２に設置された撮影装置１００−２によって生成された画像データを配信し、次に、観光地１３を撮影する撮影装置１００−３によって生成された画像データを配信し、次に観光地１４を撮影する撮影装置（図１には図示せず）によって生成された画像データを配信することを示している。
【００５８】
また、上記例において、旅行プラン記憶部２２０は、電車１１に設置された撮影装置１００−１によって生成された画像データのうち、電車１１が駅Ｘ１から駅Ｘ２までの区間を走行している際に生成された画像データを配信し、バス１２に設置された撮影装置１００−２によって生成された画像データのうち、バス１２が停留所Ｙ１から停留所Ｙ２までの区間を走行している際に生成された画像データを配信し、観光地１３を撮影する撮影装置１００−３によって生成された画像データのうち、３分間の画像データを配信し、観光地１４を撮影する撮影装置によって生成された画像データのうち、５分間の画像データを配信することを示している。
【００５９】
図４の説明に戻って、収集部２３０は、撮影装置１００によって生成された画像データを収集する。具体的には、実施例１における収集部２３０は、撮影装置１００から符号化処理後の符号化データを収集し、収集した符号化データを復号化部２４０に出力する。
【００６０】
復号化部２４０は、収集部２３０によって収集された符号化データを復号化する。そして、復号化部２４０は、復号化後の画像データを画像データ記憶部２１０に格納する。ここで、図６を用いて、実施例１における復号化部２４０の構成例について説明する。
【００６１】
図６は、実施例１に係る復号化部２４０の構成を示すブロック図である。図６に例示するように、実施例１に係る復号化部２４０は、特に、輪郭抽出部２４１と、可変長復号−逆スキャン部２４２と、逆量子化−逆ＤＣＴ部２４３と、動き補償部２４４と、フレームメモリ２４５と、復号化画像格納部２４６と、重畳部２４７とを備える。
【００６２】
実施例１に係る復号化部２４０は、公知の復号化装置と同様の機能を有する。この点について簡単に説明すると、まず、復号化部２４０は、符号化データの入力を受け付けると、可変長復号−逆スキャン部２４２及び逆量子化−逆ＤＣＴ部２４３が符号化データを復号化し、例えば動きベクトル及び差分画像データを取得する。次に、動き補償部２４４が、復号化された動きベクトルとフレームメモリ２４５に格納されている参照フレームとを用いて予測フレームを生成し、生成した予測フレームと復号化された差分画像データとを用いて入力フレームを復号化し、得られた復号化画像をフレームメモリ２４５に格納する。そして、復号化画像格納部２４６が、フレームメモリ２４５に格納された復号化画像を、重畳部２４７に出力する。
【００６３】
さて、ここで、実施例１に係る復号化部２４０は、上述した公知の復号化装置が有する機能に加え、輪郭抽出部２４１を備え、この輪郭抽出部２４１が、輪郭抽出処理を行う。この点について説明する。輪郭抽出部２４１は、図６に例示するように、ヘッダ情報読出部２４１ａと、輪郭領域特定部２４１ｂと、輪郭画像生成部２４１ｃと、輪郭画像格納部２４１ｄとを有する。
【００６４】
ヘッダ情報読出部２４１ａは、符号化データに含まれるヘッダ情報からピクチャ構造情報及び予測モード情報を読み出す。具体的には、まず、ヘッダ情報読出部２４１ａは、例えば可変長復号−逆スキャン部２４２から、可変長復号−逆スキャン部２４２において復号化されたヘッダ情報を取得する。次に、ヘッダ情報読出部２４１ａは、ヘッダ情報のピクチャ層を解析し、ピクチャの構造を示すピクチャ構造情報を読み出す。また、ヘッダ情報読出部２４１ａは、ヘッダ情報のマクロブロック層を解析し、マクロブロックの符号化に用いられた予測モードを示す予測モード情報を読み出す。そして、ヘッダ情報読出部２４１ａは、読み出したピクチャ構造情報及び予測モード情報を輪郭領域特定部２４１ｂに送る。
【００６５】
輪郭領域特定部２４１ｂは、ヘッダ情報読出部２４１ａによって読み出されたピクチャ構造情報及び予測モード情報をマクロブロック毎に判定し、対象物の輪郭に相当する領域を特定する。具体的には、輪郭領域特定部２４１ｂは、ヘッダ情報読出部２４１ａからピクチャ構造情報及び予測モード情報を受け付けると、ピクチャ構造情報及び予測モード情報をマクロブロック毎に判定し、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合に、対応するマクロブロックの画像上の位置を対象物の輪郭に相当する領域として特定する。そして、輪郭領域特定部２４１ｂは、特定した領域の位置情報（例えば座標情報等）を輪郭画像生成部２４１ｃに送る。
【００６６】
図７は、輪郭に相当する領域の特定を説明するための図である。なお、図７は、領域特定の概念を例示するものである。図７に例示する『人』は、動きのある対象物を意味する。また、図７に例示する黒色の四角形は、対象物の輪郭に相当する領域として特定された位置に存在するマクロブロックを意味する。輪郭領域特定部２４１ｂは、図７に例示するように、『人』の輪郭線上に存在するマクロブロックの位置を、対象物の輪郭に相当する領域として特定する。
【００６７】
ここで、実施例１に係る輪郭領域特定部２４１ｂが、動きのある対象物の輪郭に相当する領域を特定することができる理由を説明する。上述したように、実施例１に係る撮影装置１００の符号化装置１０２は、符号化量の比較の結果に基づいて予測モードを動的に選択し、フレーム予測モードが選択されたか、あるいは、フィールド予測モードが選択されたかを示す情報を、符号化データのヘッダ情報に格納する。すると、実施例１に係る輪郭領域特定部２４１ｂは、ヘッダ情報に格納されたこの情報を解析することで、そのマクロブロックが、「閾値を上回るほどに符号化量が小さい」と判定されて符号化されたものであるのか、あるいは、そうではないと判定されて符号化されたものであるのかを特定することができる。
【００６８】
ここで、動きのある対象物の輪郭は、符号化量の比較において「閾値を上回るほどに符号化量が小さい」と判定される傾向がある。一方、例えば背景や対象物の輪郭以外の部分などは、「閾値を上回るほどには符号化量が小さくならない」と判定される傾向がある。このようなことから、輪郭領域特定部２４１ｂは、「閾値を上回るほどに符号化量が小さい」と判定されて符号化されたマクロブロックの画像上の位置を、動きのある対象物の輪郭に相当する領域として特定することができるのである。
【００６９】
輪郭画像生成部２４１ｃは、輪郭領域特定部２４１ｂによる特定結果を用いて、対象物の輪郭が現わされ輪郭以外を捨象した画像データ（輪郭画像とも称する）を生成する。具体的には、輪郭画像生成部２４１ｃは、輪郭領域特定部２４１ｂから対象物の輪郭に相当する領域の位置情報を受け付けると、受け付けた位置情報を用いて輪郭画像を生成する。
【００７０】
図８は、実施例１に係る輪郭画像の一例を示す図である。図８に例示するように、輪郭画像生成部２４１ｃは、輪郭領域特定部２４１ｂから受け付けた位置情報に基づいて、画素同士を線で結び、一部補完するなどして輪郭画像を生成する。ここで、輪郭のみが現わされた輪郭画像からは、個人を特定する情報等が大幅に削除されると考えられるので、プライバシー等の観点から有効な画像を生成することになる。なお、輪郭画像は図８の例に限られず、例えば、輪郭を囲む最小長方形等を算出し、輪郭画像として表示してもよい。
【００７１】
このような輪郭画像生成部２４１ｃは、図６に例示するように、対象物判定部２４１ｅと、加工部２４１ｆとを有する。対象物判定部２４１ｅは、輪郭画像生成部２４１ｃによって生成された輪郭画像を用いて、対象物が所定の物体であるか否かを判定する。具体的には、対象物判定部２４１ｅは、輪郭画像に現されている輪郭に基づいて、かかる輪郭領域によって示される対象物が人、動物又は乗物等であるか否かを判定する。
【００７２】
例えば、対象物判定部２４１ｅは、人、動物又は乗物等を示す形状のテンプレート（以下、「形状テンプレート」と表記する場合がある）を予め保持する。そして、対象物判定部２４１ｅは、対象物の輪郭と形状テンプレートとをパターンマッチング法などにより比較することにより、対象物が人、動物又は乗物等であるか否かを判定する。このとき、対象物判定部２４１ｅは、対象物の輪郭自体と形状テンプレートとを比較してもよいし、輪郭に囲まれた領域（以下、「輪郭領域」と表記する場合がある）の内部に、かかる輪郭領域を線によって表す中央線を描き、かかる中央線と形状テンプレートとを比較してもよい。
【００７３】
ここで、図９を用いて、対象物判定部２４１ｅによる対象物判定処理について説明する。図９は、実施例１における対象物判定部２４１ｅによる対象物判定処理の一例を示す図である。なお、図９では、対象物判定部２４１ｅが、輪郭領域内部の中央線と形状テンプレートとを比較する例について説明する。
【００７４】
図９に示した例のように、対象物判定部２４１ｅは、対象物の輪郭上の任意の点（例えば、図９中の点Ｐ）を、かかる点から輪郭領域Ｒ１１内部への法線方向に所定の長さだけ移動させる。対象物判定部２４１ｅは、輪郭上の複数の点について同様の処理を行うことで、図９に例示した輪郭よりも全体的に小さい輪郭を形成する。そして、対象物判定部２４１ｅは、輪郭上の複数の点について輪郭領域Ｒ１１内部へ移動させる処理を繰り返し行うことで、図９に例示したように、輪郭領域Ｒ１１に中央線Ｌ１１を描く。対象物判定部２４１ｅは、かかる中央線Ｌ１１と形状テンプレートとを比較し、輪郭領域Ｒ１１によって示される対象物が人、動物又は乗物等であるか否かを判定する。図９に示した例では、対象物判定部２４１ｅは、輪郭領域Ｒ１１によって示される対象物が人であると判定する。
【００７５】
なお、対象物判定部２４１ｅは、輪郭（輪郭領域内部の中央線を含む）と形状テンプレートとの比較にあたり、例えば、折れ曲がっている部分（関節に相当）の数や、枝分かれしている部分の数や、各領域の長さの比率等を比較する。例えば、対象物が人である場合には、かかる対象物は、概ねヒトデのような形状となる。したがって、対象物判定部２４１ｅは、輪郭の折れ曲がっている部分の数や枝分かれしている部分の数がヒトデと類似する場合には、対象物が人であると判定する。
【００７６】
図６の説明に戻って、加工部２４１ｆは、対象物判定部２４１ｅによる判定結果に基づいて、対象物の輪郭領域に、かかる対象物を示す画像データ以外の他の画像データを配置することで、輪郭画像を加工する。例えば、加工部２４１ｆは、対象物判定部２４１ｅによって輪郭領域によって示される対象物が人であると判定された場合には、輪郭領域に一般的な人を表す画像データを配置する。また、例えば、加工部２４１ｆは、対象物判定部２４１ｅによって輪郭領域によって示される対象物が動物や乗物等であると判定された場合には、輪郭領域に一般的な動物や乗物等を示す画像データを配置する。ここで、加工部２４１ｆは、人、動物又は乗物等であることを想起することができる代替用画像を予め保持し、これらの代替用画像を輪郭領域に配置することで、輪郭画像を加工する。この代替用画像は、例えば、所定の図形の組合せや、人、動物又は乗物等を示すアニメーション画像などである。
【００７７】
図１０は、実施例１における加工部２４１ｆによって加工された輪郭画像の一例を示す図である。なお、図１０に示した輪郭画像Ｇ１２は、加工部２４１ｆによって図９に例示した輪郭画像Ｇ１１が加工されたものとする。上記の通り、対象物判定部２４１ｅは、図９に例示した輪郭によって示される対象物を人であると判定する。したがって、加工部２４１ｆは、図１０に例示するように、輪郭領域Ｒ１１に人であることを想起することができる代替用画像を配置する。加工部２４１ｆは、このようにして輪郭画像Ｇ１１を加工することで図１０に例示した輪郭画像Ｇ１２を生成する。なお、図１０に示した例では、加工部２４１ｆは、輪郭領域Ｒ１１を折れ曲がっている部分で分断し、分断後の領域毎に、かかる領域の大きさに対応する図形（円形や楕円形や長方形等）を配置している。具体的には、加工部２４１ｆは、円形や楕円形や長方形等の各図形を保持しており、分断後の領域と保持している各図形とをパターンマッチング法などにより比較し、マッチする図形を分断後の領域に配置する。
【００７８】
なお、上記例においては、輪郭画像生成部２４１ｃが輪郭画像を生成し、かかる輪郭画像を加工部２４１ｆが加工する例を示した。しかし、輪郭画像生成部２４１ｃは輪郭画像を生成しなくてもよい。具体的には、対象物判定部２４１ｅが、輪郭領域特定部２４１ｂによって特定された輪郭に相当する領域に基づいて、対象物が人、動物又は乗物等であるか否かを判定し、加工部２４１ｆが、対象物判定部２４１ｅによる判定結果に基づいて、対象物を加工した後の輪郭画像（図１０の輪郭画像Ｇ１２等）を生成してもよい。
【００７９】
図６の説明に戻って、輪郭画像格納部２４１ｄは、加工部２４１ｆによって加工された輪郭画像を重畳部２４７に出力する。具体的には、輪郭画像格納部２４１ｄは、加工部２４１ｆによって加工された輪郭画像をフレームメモリ２４５から取得し、取得した輪郭画像を重畳部２４７に出力する。
【００８０】
重畳部２４７は、加工部２４１ｆにより加工された輪郭画像を受け付けるとともに、復号化画像格納部２４６から復号化画像を受け付け、受け付けた双方の画像を重畳した重畳画像を画像データ記憶部２１０に格納する。
【００８１】
ここで、図１１を用いて、重畳部２４７による重畳画像の生成処理について説明する。図１１は、実施例１における重畳部２４７による重畳画像生成処理の一例を示す図である。図１１に示した例において、重畳部２４７は、復号化画像格納部２４６から復号化画像Ｇ１０を受け付けるとともに、輪郭画像格納部２４１ｄから輪郭画像Ｇ１２を受け付ける。このとき、重畳部２４７は、復号化画像Ｇ１０から輪郭領域を取り除くことにより、背景画像Ｇ１３を生成する。例えば、重畳部２４７は、復号化画像Ｇ１０における輪郭領域内の全画素を所定の画素（例えば、『白』を示す画素値「１」等）にすることで、背景画像Ｇ１３を生成する。そして、重畳部２４７は、図１１に例示するように、背景画像Ｇ１３に輪郭画像Ｇ１２を重畳することで、重畳画像Ｇ１４を生成する。重畳部２４７は、このようにして生成した重畳画像Ｇ１４を画像データ記憶部２１０に格納する。
【００８２】
これにより、重畳部２４７は、人等のプライバシーが保護された重畳画像を表示することができる。さらに、加工部２４１ｆが、人、動物又は乗物等であることを想起することができる代替用画像を用いて輪郭画像を加工するので、重畳部２４７は、加工部２４１ｆによって加工された輪郭画像から生成した重畳画像を表示する場合であっても、復号化画像に描出されていた対象物と異なる対象物を想起させるような画像を表示することはない。すなわち、実施例１に係る仮想旅行装置２００は、復号化画像に描出されていた対象物と同一の人、動物又は乗物等であることを想起させることができる画像データであって、かかる対象物のプライバシーを保護することができる画像データを端末装置３００に配信することができる。
【００８３】
なお、上記の輪郭画像生成部２４１ｃによって特定される輪郭領域と、加工部２４１ｆによって用いられる代替用画像が占める領域とは、必ずしも一致するとは限らない。すなわち、図１１に示した例において、重畳部２４７によって復号化画像Ｇ１０から取り除かれる輪郭領域（背景画像Ｇ１３を参照）は、加工部２４１ｆによって用いられる代替用画像の領域（輪郭画像Ｇ１２を参照）と一致するとは限らない。このため、対象物を示す輪郭領域が代替用画像の領域よりも大きい場合には、重畳画像Ｇ１４の一部分は、所定の画素（例えば、『白』を示す画素値「１」等）となり、対象物も背景も描出されない可能性がある。
【００８４】
そこで、実施例１における加工部２４１ｆは、輪郭領域よりも代替用画像の占める領域が大きくなるように代替用画像を拡大してもよい。具体的には、加工部２４１ｆは、輪郭領域と代替用画像とを比較し、代替用画像が対象物の輪郭の全てを覆うことができるように代替用画像を拡大する。これにより、加工部２４１ｆは、重畳画像Ｇ１４の一部分に対象物及び背景が描出されなくなることを防止できる。
【００８５】
また、重畳画像の一部分に対象物及び背景が描出されないことを防止するために、重畳部２４７が、重畳画像を生成する際に、複数の復号化画像から背景画像を補完してもよい。この点について、図１２を用いて具体的に説明する。図１２は、実施例１における重畳部２４７による重畳画像生成処理の一例を示す図である。図１２に示した例において、時間ｔ＝１は、時間ｔ＝２よりも過去であるものとする。
【００８６】
重畳部２４７は、時間ｔ＝２において受け付けた復号化画像Ｇ２０から背景画像を生成する場合に、過去の復号化画像Ｇ１０も用いる。具体的には、重畳部２４７は、時間ｔ＝２に対応する復号化画像Ｇ２０から対象物の輪郭領域を取り除くことにより背景画像Ｇ２３を生成し、時間ｔ＝２よりも過去である時間ｔ＝１に受け付けた復号化画像Ｇ１０から対象物の輪郭領域を取り除くことにより背景画像Ｇ１３を生成する。そして、重畳部２４７は、背景画像Ｇ２３のうち、輪郭領域（例えば、画素値を「１」とした領域）に背景画像Ｇ１３の画素を配置することにより、背景画像Ｇ３０を生成する。具体的には、重畳部２４７は、背景画像Ｇ２３の輪郭領域に、かかる輪郭領域に対応する位置における背景画像Ｇ１３の画素を配置する。このように、重畳部２４７は、対象物が移動することを利用して、時相の異なる複数の復号化画像から、画素値「１」等に置き換えられた領域を含まない背景画像を生成する。重畳部２４７は、このような背景画像Ｇ３０に、加工部２４１ｆによって加工された輪郭画像を重畳させることにより、重畳画像の一部分に対象物及び背景が描出されなくなることを防止できる。
【００８７】
図４の説明に戻って、受付部２５０は、端末装置３００から各種情報を受け付ける。具体的には、受付部２５０は、仮想旅行の種類等の情報を含む仮想旅行要求を端末装置３００から受け付ける。
【００８８】
符号化部２６０は、画像データ記憶部２１０に格納されている各種画像データを符号化する。かかる符号化部２６０は、配信部２７０からの指示に従って、符号化処理を行う。なお、符号化部２６０は、公知の符号化装置と同様の機能を有する。
【００８９】
配信部２７０は、受付部２５０によって仮想旅行要求が受け付けられた場合に、かかる仮想旅行要求に含まれる仮想旅行の種類に対応する画像データを端末装置３００に配信する。具体的には、配信部２７０は、旅行プラン記憶部２２０に記憶されている各種情報に基づいて、受付部２５０によって受け付けられた仮想旅行の種類に対応する画像データを特定し、特定した画像データを符号化するように符号化部２６０を制御する。そして、配信部２７０は、符号化部２６０によって符号化された符号化データを、公衆ネットワーク網３０を介して端末装置３００に配信する。
【００９０】
例えば、旅行プラン記憶部２２０に記憶されている各種情報が図５に示した状態であるものとする。また、受付部２５０によって仮想旅行の種類「旅行プラン＝Ｐ１」といった情報を含む仮想旅行要求が受け付けられたものとする。かかる場合に、配信部２７０は、旅行プラン記憶部２２０に記憶されている旅行プラン「Ｐ１」に対応する各種情報に基づいて、画像データを端末装置３００に配信する。
【００９１】
具体的には、配信部２７０は、まず、電車１１に設置された撮影装置１００−１から受信した画像データを端末装置３００に配信する。このとき、配信部２７０は、電車１１が駅Ｘ１を出発して駅Ｘ２に到着するまでの間に撮影装置１００−１によって生成された画像データを端末装置３００に順次配信する。この点について具体的に説明すると、撮影装置１００−１は、例えばＧＰＳ（Global Positioning System）機能等によって電車１１の走行位置を取得し、電車１１の走行位置を示す走行位置情報とともに画像データを仮想旅行装置２００に送信する。仮想旅行装置２００の配信部２７０は、電車１１から受信する走行位置情報が駅Ｘ１の位置を示す場合に、かかる走行位置情報に対応する画像データを端末装置３００に配信開始し、走行位置情報が駅Ｘ２の位置を示すまで、撮影装置１００−１から受信する画像データの配信を継続する。そして、配信部２７０は、走行位置情報が駅Ｘ２の位置を示す場合には、撮影装置１００−１から受信する画像データの配信を停止する。
【００９２】
その後に、配信部２７０は、バス１２が停留所Ｙ１を出発して停留所Ｙ２に到着するまでの間に撮影装置１００−２によって生成された画像データを端末装置３００に順次配信する。かかる配信部２７０による配信処理は、上記例と同様に、撮影装置１００−２がバス１２の走行位置を示す走行位置情報とともに画像データを仮想旅行装置２００に送信することで実現される。その後に、配信部２７０は、観光地１３を撮影する撮影装置１００−３によって生成された画像データを３分間だけ配信し、観光地１４を撮影する撮影装置によって生成された画像データを５分間だけ配信する。
【００９３】
これにより、仮想旅行装置２００は、端末装置３００の利用者に対して、駅Ｘ１から駅Ｘ２まで電車１１に乗車し、停留所Ｙ１から停留所Ｙ２までバス１２に乗車し、その後に、観光地１３及び１４を参観したかのような仮想旅行を体験させることができる。また、仮想旅行装置２００は、現時点における風景や観光地に対応する画像データを略リアルタイムに配信するので、利用者に対して現実感の高い仮想旅行を体験させることができる。
【００９４】
［実施例１に係る端末装置３００の構成］
次に、図１３を用いて、実施例１に係る端末装置３００の構成について説明する。図１３は、実施例１に係る端末装置３００の構成を示すブロック図である。図１３に例示するように、実施例１に係る端末装置３００は、表示部３１０と、入力部３２０と、復号化部３３０と、仮想旅行アプリケーション部３４０とを有する。
【００９５】
表示部３１０は、各種情報を表示する表示デバイスであり、例えば、液晶表示装置等である。入力部３２０は、各種情報や操作指示を入力するための入力デバイスであり、例えば、キーボードやマウス等である。
【００９６】
復号化部３３０は、符号化データを復号化する。具体的には、復号化部３３０は、公知の復号化装置と同様の機能を有し、仮想旅行装置２００から配信された符号化データを復号化する。
【００９７】
仮想旅行アプリケーション部３４０は、利用者に仮想旅行を提供するためのアプリケーションである。具体的には、仮想旅行アプリケーション部３４０は、仮想旅行の種類を選択させるための選択画面や、復号化部３３０によって復号化された画像データを表示部３１０に表示制御する。また、仮想旅行アプリケーション部３４０は、選択画面や画像データ等を表示部３１０に表示している状態において、入力部３２０を介して、利用者から各種操作を受け付ける。
【００９８】
ここで、図１４及び図１５を用いて、仮想旅行アプリケーション部３４０によって表示部３１０に表示制御される各種画面の一例について説明する。図１４及び図１５は、実施例１に係る仮想旅行アプリケーション部３４０によって表示制御される各種画面例を示す図である。
【００９９】
まず、仮想旅行アプリケーション部３４０は、入力部３２０を介して仮想旅行を行う旨の操作が行われた場合に、図１４に示した例のように、ログイン画面Ｇ１０１を表示部３１０に表示制御する。仮想旅行アプリケーション部３４０は、ログイン画面Ｇ１０１において、例えば、利用者ＩＤ、パスワードの入力を受け付ける。なお、図１４に示したログイン画面Ｇ１０１のうち、「お任せ」は、仮想旅行アプリケーション部３４０によって仮想旅行の種類がランダムに決定されることを示し、「カスタム」は、仮想旅行の種類を利用者に選択させることを示す。
【０１００】
ここでは、ログイン画面Ｇ１０１において、利用者ＩＤ及びパスワードが入力されるとともに、「カスタム」が選択されたものとする。かかる場合に、仮想旅行アプリケーション部３４０は、図１４に示した例のように、仮想旅行の種類を選択するための選択画面Ｇ１０２を表示部３１０に表示制御する。選択画面Ｇ１０２に表示される仮想旅行の種類は、予め複数用意されており、仮想旅行の目的地や、仮想旅行に利用される乗物や、目的地に到着するまでにかかる時間等によって異なる。なお、選択画面Ｇ１０２に表示される仮想旅行の種類は、少なくとも仮想旅行装置２００の旅行プラン記憶部２２０に旅行プランとして記憶されている。
【０１０１】
ここでは、選択画面Ｇ１０２において、仮想旅行の種類「Ｐ１」が選択されたものとする。かかる場合に、仮想旅行アプリケーション部３４０は、図１４に示した例のように、手続き完了画面Ｇ１０３を表示部３１０に表示制御する。このとき、仮想旅行アプリケーション部３４０は、仮想旅行の種類「Ｐ１」を含む仮想旅行要求を仮想旅行装置２００に送信する。これにより、仮想旅行装置２００は、旅行プラン記憶部２２０に記憶されている各種情報に基づいて、仮想旅行の種類「Ｐ１」に対応する画像データを特定し、特定した画像データを端末装置３００に配信する。
【０１０２】
なお、図１４に示した例では、仮想旅行アプリケーション部３４０は、手続き完了画面Ｇ１０３において、即座に仮想旅行を開始するか、仮想旅行を開始する前に休憩するかを利用者に選択させる。ここで、利用者によって「休憩」が選択された場合であっても、仮想旅行装置２００から画像データが順次配信されるので、仮想旅行は進行することとなる。
【０１０３】
続いて、手続き完了画面Ｇ１０３において、仮想旅行を開始するための「スタート」が選択されたものとする。ここで、仮想旅行装置２００は、図５に例示した旅行プラン「Ｐ１」に対応する各種画像データを配信するものとする。具体的には、仮想旅行装置２００は、まず、配信順序が「１」である電車１１に設置された撮影装置１００によって生成された画像データを配信する。かかる場合に、仮想旅行アプリケーション部３４０は、図１５に示した例のように、仮想旅行装置２００によって配信される画像データを含む仮想旅行画面Ｇ１０４を表示部３１０に表示制御する。仮想旅行アプリケーション部３４０は、電車１１に設置された撮影装置１００によって生成された画像データが仮想旅行装置２００から配信されている間、仮想旅行画面Ｇ１０４を表示部３１０に表示制御する。これにより、仮想旅行アプリケーション部３４０は、撮影装置１００によって撮影された風景をリアルタイムに表示部３１０に表示することができる。
【０１０４】
また、図１５に示した例では、仮想旅行アプリケーション部３４０は、電車１１に設置された撮影装置１００によって生成された画像データが仮想旅行装置２００から配信されなくなった場合に、休憩確認画面Ｇ１０５を表示部３１０に表示制御する。具体的には、仮想旅行装置２００は、図５に示した例のように、電車１１に設置された撮影装置１００によって生成された画像データのうち、電車１１が駅Ｘ１から駅Ｘ２までの区間を走行している際に生成された画像データを配信する。したがって、仮想旅行装置２００は、電車１１が駅Ｘ２に到着した際には、画像データの配信を一端停止した後に、配信順序が「２」であるバス１２に設置された撮影装置１００によって生成された画像データの配信を開始する。このような場合に、仮想旅行アプリケーション部３４０は、仮想旅行装置２００によって配信される画像データの区切りの部分において、休憩確認画面Ｇ１０５を表示することで、利用者に休憩するか否かを問い合わせる。
【０１０５】
このようにして、仮想旅行アプリケーション部３４０は、バス１２に設置された撮影装置１００によって生成された画像データを含む仮想旅行画面Ｇ１０６や、休憩確認画面Ｇ１０７や、観光地を撮影する撮影装置１００によって生成された画像データを含む仮想旅行画面Ｇ１０８等を表示部３１０に表示制御する。そして、仮想旅行アプリケーション部３４０は、仮想旅行装置２００による画像データの配信が終了した場合に、図１５に示した例のように、終了画面Ｇ１０９を表示部３１０に表示制御する。
【０１０６】
［実施例１の処理手順］
次に、図１６を用いて、実施例１に係る仮想旅行システム１による処理の手順について説明する。図１６は、実施例１に係る仮想旅行システム１による処理手順を示すシーケンス図である。なお、図１６では、１台の撮影装置１００を示したが、かかる撮影装置１００は、図１に例示した撮影装置１００−１〜１００−３等の複数の撮影装置に対応する。
【０１０７】
図１６に示すように、実施例１に係る端末装置３００は、仮想旅行を行う旨の操作、及び、仮想旅行の種類を選択する操作が行われた場合に、仮想旅行の種類を含む仮想旅行要求を仮想旅行装置２００に送信する（ステップＳ１０１）。例えば、端末装置３００は、図１４に例示した選択画面Ｇ１０２において仮想旅行の種類が選択された場合に、仮想旅行要求を仮想旅行装置２００に送信する。
【０１０８】
また、撮影装置１００は、所定の風景や観光地を撮影することにより画像データを生成し、かかる画像データを符号化した後の符号化データを仮想旅行装置２００に送信する（ステップＳ１０２）。このとき、撮影装置１００は、撮影処理を行うたびに符号化データを略リアルタイムに仮想旅行装置２００に送信する。
【０１０９】
仮想旅行装置２００は、端末装置３００から仮想旅行要求を受信した場合に、かかる仮想旅行要求に含まれる仮想旅行の種類に対応する画像データを特定する。そして、仮想旅行装置２００は、特定した画像データに対してプライバシーの保護処理を施す（ステップＳ１０３）。なお、仮想旅行装置２００による保護処理の手順については、図１７を用いて説明する。
【０１１０】
そして、仮想旅行装置２００は、プライバシーの保護処理を施した画像データを符号化した符号化データを端末装置３００に送信する（ステップＳ１０４）。これにより、端末装置３００は、仮想旅行装置２００から受信した画像データを表示部３１０に表示する（ステップＳ１０５）。
【０１１１】
次に、図１７を用いて、図１６のステップＳ１０３に示した保護処理の手順について説明する。図１７は、実施例１に係る仮想旅行装置２００による保護処理手順を示すフローチャートである。なお、図１７においては、輪郭領域特定部２４１ｂによって輪郭に相当する領域が特定されているものとする。
【０１１２】
仮想旅行装置２００の輪郭画像生成部２４１ｃは、輪郭領域特定部２４１ｂによって対象物の輪郭に相当する領域が特定された場合に、かかる輪郭の領域に基づいて対象物の輪郭画像を生成する（ステップＳ２０１）。続いて、対象物判定部２４１ｅは、輪郭画像生成部２４１ｃによって生成された輪郭画像に基づいて、対象物が人、動物又は乗物等であるか否かを判定する（ステップＳ２０２）。
【０１１３】
続いて、加工部２４１ｆは、対象物判定部２４１ｅによって対象物が人等であると判定された場合に（ステップＳ２０２肯定）、代替用画像を用いて、対象物判定部２４１ｅによって生成された輪郭画像を加工する（ステップＳ２０３）。このとき、加工部２４１ｆは、対象物判定部２４１ｅによって判定された対象物の種類（人、動物又は乗り物等）に対応する代替用画像を用いる。
【０１１４】
続いて、重畳部２４７は、復号化画像格納部２４６から受け付けた復号化画像から対象物の輪郭領域を取り除くことにより、背景画像を生成する（ステップＳ２０４）。そして、重畳部２４７は、背景画像に対して、加工部２４１ｆによって加工された輪郭画像を重畳することで、重畳画像を生成する（ステップＳ２０５）。
【０１１５】
［実施例１の効果］
上述したように、実施例１に係る仮想旅行システム１において、仮想旅行装置２００は、乗物内外又は建築物内外に設置された撮影装置１００によって撮影されることで生成された画像データを収集する。また、仮想旅行装置２００は、収集した画像データのうち、動きのある対象物が描出された領域を特定する。また、仮想旅行装置２００は、収集した画像データのうち、対象物を示す領域の画像データを他の画像データに加工する。そして、仮想旅行装置２００は、端末装置３００から、仮想的な旅行の行程に関する情報を含む仮想旅行要求を受け付けた場合に、加工済画像データのうち、仮想旅行要求に含まれる仮想的な旅行に用いられる乗物内外に設置された撮影装置１００、又は、かかる仮想旅行要求の行程の近傍に存在する建築物内外に設置された撮影装置１００によって生成された画像データが加工された加工済画像データを、端末装置３００に順次配信する。これにより、実施例１に係る仮想旅行システム１は、旅行先の不特定多数の対象物のプライバシーを保護した上で、リアルタイム性を有する仮想旅行を利用者に提供することができる。
【０１１６】
また、実施例１に係る仮想旅行システム１の撮影装置１００において、動きベクトル検出部１６０が、対象物が描出された画像データをマクロブロック毎に符号化するにあたり動きベクトルを検出する。また、動き補償部１７０が、動きベクトル検出部１６０によって検出された動きベクトルのうちフィールド予測モード用の動きベクトルを用いてマクロブロックを符号化する。また、動き補償部１７０が、動きベクトル検出部１６０によって検出された動きベクトルのうちフレーム予測モード用の動きベクトルを用いてマクロブロックを符号化する。そして、符号化モード判定部１１０が、フィールド予測モードによって符号化した場合の第１符号化量が、フレーム予測モードによって符号化した場合の第２符号化量に比較して所定閾値以上小さいと判定されたことを条件として、マクロブロックの符号化に用いる予測モードとしてフィールド予測モードを選択する。また、符号化部１２０が、選択された予測モードに従って画像データを符号化する。一方、仮想旅行装置２００において、ヘッダ情報読出部２４１ａが、符号化データに含まれるヘッダ情報から、ピクチャ構造情報及び予測モード情報を読み出す。また、輪郭領域特定部２４１ｂが、ピクチャ構造情報及び予測モード情報をマクロブロック毎に判定し、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合に、対応するマクロブロックの画像上の位置を対象物の輪郭に相当する領域として特定する。これにより、実施例１に係る仮想旅行システム１は、対象物の輪郭に相当する領域を特定することが可能になり、動きのある対象物を適切に抽出することが可能になる。
【０１１７】
例えば、動きベクトルが検出された画像領域を移動領域とみなす従来の技術では、対象物とノイズ（蛍光灯のちらつきや木の葉の揺れ等）との区別が課題となっていた。この点、実施例１に係る仮想旅行システム１によれば、このようなノイズは、フレーム予測モードで符号化されるので、対象物の輪郭に相当する領域との区別が可能になる。
【実施例２】
【０１１８】
次に、実施例２に係る仮想旅行システム２を説明する。実施例２に係る仮想旅行システム２は、実施例１に係る仮想旅行システム１と比較して、人（後述するエージェント）が保持する撮影装置によって生成された画像データを配信する点で異なる。以下に、このような実施例２に係る仮想旅行システム２について説明する。なお、以下では、既に示した構成部位と同様の機能を有する部位には同一符号を付すこととして、その詳細な説明を省略する。
【０１１９】
［実施例２に係る仮想旅行システム２の構成］
まず、図１８を用いて、実施例２に係る仮想旅行システム２について説明する。図１８は、実施例２に係る仮想旅行システム２の構成例を示す図である。図１８に例示した仮想旅行システム２には、撮影装置１００−１、１００−２、１００−３及び１００−４と、仮想旅行装置４００と、端末装置３００とが含まれる。
【０１２０】
撮影装置１００−４は、人であるエージェント２１によって保持され、かかるエージェント２１による操作に従って、風景や観光地等を撮影する。そして、撮影装置１００−４は、風景や観光地等の画像データを符号化し、符号化データを仮想旅行装置４００に送信する。
【０１２１】
ここで、エージェントについて説明する。実施例２におけるエージェントは、複数人存在し、全国各地に配置されるエージェントセンターにて待機する。ここでいう「エージェントセンター」の例としては、鉄道やバスが停車する主要な駅に存在する観光案内センターや、実施例２に係る仮想旅行システム２の経営者等によって主要な駅に設置される管理センター等が該当する。かかるエージェントセンターは、少なくとも図１４に例示した選択画面Ｇ１０２にて選択可能な仮想旅行の行き先近傍の駅等に配置される。
【０１２２】
仮想旅行装置４００は、撮影装置１００−４等の撮影装置１００によって生成された画像データを収集し、収集した画像データを利用者に提供する。具体的には、仮想旅行装置４００は、実施例１に係る仮想旅行装置２００と同様に、端末装置３００から仮想旅行要求を受信した場合に、かかる仮想旅行要求に対応する画像データに対してプライバシーの保護処理を施し、保護処理後の画像データをストリーミング方式等により端末装置３００に配信する。
【０１２３】
ここで、実施例２に係る仮想旅行装置４００は、端末装置３００から仮想旅行要求を受信した場合に、かかる仮想旅行要求に含まれる仮想旅行の種類に基づいて、仮想旅行の行き先近傍に配置されたエージェントセンターにて待機するエージェントの撮影装置に対して仮想旅行のスケジュールを送信する。これにより、エージェントセンターにて待機するエージェント２１は、出発時刻や、行き先の観光地等の情報を取得し、仮想旅行のスケジュールに従って行動することにより、撮影装置１００−４を用いて風景や観光地等を撮影し、かかる風景や観光地等の画像データに対応する符号化データを仮想旅行装置４００に送信する。
【０１２４】
また、実施例２に係る仮想旅行装置４００は、端末装置３００からエージェント２１に対する要望を受け付ける。具体的には、端末装置３００は、撮影対象とする風景や行き先等に関する要望データ（音声データやテキストデータ）を利用者から受け付け、受け付けた要望データを仮想旅行装置４００に送信する。仮想旅行装置４００は、端末装置３００から受け付けた要望データを撮影装置１００−４に送信する。これにより、エージェント２１は、撮影装置１００−４が受信した要望データを確認することで、利用者の要望に従って、撮影対象とする風景や行き先等を決定することができる。
【０１２５】
［実施例２に係る撮影装置１００−４の構成］
次に、図１９を用いて、図１８に示した撮影装置１００−４について説明する。図１９は、実施例２に係る撮影装置１００−４の構成を示すブロック図である。図１９に例示するように、実施例２に係る撮影装置１００−４は、実施例１に係る撮影装置１００と同様に、撮影部１０１及び符号化装置１０２を有するとともに、受信部１０３と、出力部１０４とを更に有する。
【０１２６】
受信部１０３は、仮想旅行装置４００から仮想旅行のスケジュールや要望データを受け付ける。かかる要望データは、撮影対象とする風景や行き先等に関する音声データやテキストデータ等であり、端末装置３００の利用者によって生成される。出力部１０４は、音声データである要望データを出力するためのスピーカや、テキストデータである要望データを出力するためのディスプレイ等である。すなわち、撮影装置１００−４を保持するエージェント２１は、要望データを出力部１０４に出力させる操作を行うことで、利用者の要望を確認することができる。
【０１２７】
［実施例２に係る仮想旅行装置４００の構成］
次に、図２０を用いて、実施例２に係る仮想旅行装置４００の構成について説明する。図２０は、実施例２に係る仮想旅行装置４００の構成を示すブロック図である。図２０に例示するように、実施例２に係る仮想旅行装置４００は、実施例１に係る仮想旅行装置２００と同様に、画像データ記憶部２１０、収集部２３０、復号化部２４０、符号化部２６０及び配信部２７０を有するとともに、旅行プラン記憶部４２０と、受付部４５０と、送信部４８０とを有する。
【０１２８】
旅行プラン記憶部４２０は、仮想旅行の種類に対応付けて、配信対象となる画像データに関する情報を記憶する。ここで、図２１に、実施例２に係る旅行プラン記憶部４２０の一例を示す。図２０に例示した旅行プラン記憶部４２０は、旅行プラン「Ｐ１」において、最初に電車１１に設置された撮影装置１００−１によって生成された画像データを配信し、次に、バス１２に設置された撮影装置１００−２によって生成された画像データを配信し、次に、エージェント２１によって保持される撮影装置１００−４によって生成された画像データを配信することを示している。また、上記例において、旅行プラン記憶部４２０は、撮影装置１００−４によって生成された全ての画像データを配信することを示している。
【０１２９】
受付部４５０は、実施例１における受付部２５０と同様に、仮想旅行の種類等の情報を含む仮想旅行要求を端末装置３００から受け付ける。さらに、実施例２における受付部４５０は、要望データを端末装置３００から受け付ける。
【０１３０】
送信部４８０は、受付部４５０によって仮想旅行要求が受け付けられた場合に、かかる仮想旅行要求に含まれる仮想旅行の種類（旅行プラン）に対応する各種情報を旅行プラン記憶部４２０から取得し、取得した各種情報を仮想旅行のスケジュールとして撮影装置１００−４に送信する。また、送信部４８０は、受付部４５０によって要望データが受け付けられた場合に、かかる要望データを撮影装置１００−４に送信する。
【０１３１】
なお、受付部４５０は、配信部２７０による画像データの配信中に要望データを受け付けてもよいし、配信部２７０による画像データの配信前に要望データを受け付けてもよい。これにより、仮想旅行装置４００は、利用者の要望を略リアルタイムにエージェント２１に通知することができる。
【０１３２】
また、ここでは図示することを省略するが、実施例２における端末装置３００は、音声を録音して音声データを生成する機能や、入力部３２０を介して入力された文字を含むテキストデータ等を生成する機能を有する。そして、端末装置３００は、これらの音声データやテキストデータ等を要望データとして端末装置３００に送信する機能を有する。
【０１３３】
［実施例２の効果］
上述したように、実施例２に係る仮想旅行システム２において、仮想旅行装置４００は、各地に配置された人であるエージェントが所持する撮影装置に対して、端末装置３００から受信した仮想旅行要求に含まれる仮想的な旅行の行程に関する各種情報を送信する。また、仮想旅行装置４００は、かかるエージェントが保持する撮影装置によって撮影されることで生成された画像データを収集する。そして、仮想旅行装置４００は、各種の撮影装置から収集した画像データを端末装置３００に配信する。これにより、実施例２に係る仮想旅行システム２は、撮影装置が乗物や建築物等に設置されていない地域の画像データについても収集することができ、この結果、広範囲な仮想旅行を実現することができる。また、実施例２に係る仮想旅行システム２が普及した場合には、全国各地にエージェントの求人を行うことで、失業率の低下を望める。
【０１３４】
また、実施例２に係る仮想旅行システム２において、仮想旅行装置４００は、エージェントが所持する撮影装置に対して、仮想旅行に対する利用者の要望を含む要望データを送信する。これにより、実施例２に係る仮想旅行システム２は、利用者の要望をリアルタイムにエージェントに通知することができ、この結果、利用者の要望に従って行動するようにエージェントを指示することができる。
【実施例３】
【０１３５】
次に、実施例３に係る仮想旅行システムを説明する。実施例３に係る仮想旅行システムは、実施例１及び２に係る仮想旅行システムと同様、撮影装置、仮想旅行装置及び端末装置を備えるが、仮想旅行装置の復号化部２４０において、輪郭抽出処理を補完する機能が更に追加された点で異なる。
【０１３６】
図２２は、実施例３に係る復号化部２４０の構成を示すブロック図である。図２２に例示するように、実施例３に係る復号化部２４０は、輪郭抽出部２４１に、輪郭抽出補完部２４１ｇをさらに備える。輪郭抽出補完部２４１ｇは、フレームメモリ２４５に格納された復号化画像を用いて輪郭抽出を行う。具体的には、輪郭抽出補完部２４１ｇは、フレームメモリ２４５に格納された復号化画像に対して、１フレーム内の全領域（又は特定の領域）を走査し、例えばマクロブロック単位で動きベクトルを算出する。次に、輪郭抽出補完部２４１ｇは、算出した結果から、動きベクトルが存在するマクロブロックと、動きベクトルが存在しないマクロブロック（≒０）とを特定し、動きベクトルが存在するマクロブロックや、その境界に位置づけられるマクロブロックの画像上の位置を、輪郭に相当する領域として特定する。そして、輪郭抽出補完部２４１ｇは、輪郭情報（マクロブロックの画像上の位置を示す位置情報等）を輪郭画像生成部２４１ｃに送る。
【０１３７】
実施例３に係る輪郭画像生成部２４１ｃは、輪郭領域特定部２４１ｂによる特定結果のみならず、輪郭抽出補完部２４１ｇから受け付けた輪郭情報を補完的に用いて、輪郭画像を生成する。例えば対象物が複雑な形状である場合や、対象物の動きが複雑な動きであった場合等には、輪郭領域特定部２４１ｂによる処理も、あるいは、輪郭抽出補完部２４１ｇによる処理も、必ずしも最適な結果とならない可能性がある。この点、実施例３に係る仮想旅行システムによれば、輪郭領域特定部２４１ｂ及び輪郭抽出補完部２４１ｇそれぞれが、異なる手法により相補的に二重の処理を行うことになるので、対象物の輪郭に相当する領域を一段と精度よく特定することが可能になる。
【０１３８】
例えば、輪郭画像生成部２４１ｃは、輪郭領域特定部２４１ｂから受け付けた位置情報がある領域において少なく、所定の閾値を下回る場合には、その領域については画素間を線で結ぶ処理に適さないとして、輪郭抽出補完部２４１ｇから受け付けた輪郭情報を補完的に用いる。
【実施例４】
【０１３９】
これまで、開示の技術に係る仮想旅行システム、仮想旅行装置及び仮想旅行プログラムの実施例として実施例１〜３を説明してきたが、開示の技術はこれに限られるものではなく、種々の異なる形態にて実施されてよいものである。実施例４では、開示の技術に係る仮想旅行システム、仮想旅行装置及び仮想旅行プログラムの他の実施例について説明する。
【０１４０】
［加工処理］
上記実施例１〜３では、加工部２４１ｆが、図１０に例示したような代替用画像を用いて輪郭画像を加工する例を示した。しかし、加工部２４１ｆによる加工処理は、代替用画像を用いた例に限られない。以下に、加工部２４１ｆによる加工処理についていくつか例を挙げて説明する。
【０１４１】
例えば、加工部２４１ｆは、対象物の輪郭領域に所定の画素（例えば、『黒』を示す画素値「０」等）を配置することで、特定の人、動物又は乗物等を特定されないようにしてもよい。このとき、加工部２４１ｆは、対象物の種類に応じて輪郭領域に配置する画素値を変更してもよい。例えば、加工部２４１ｆは、対象物が人である場合には、輪郭領域に『黒』を示す画素値を配置し、対象物が動物である場合には、輪郭領域に『青』を示す画素を配置してもよい。
【０１４２】
このとき、加工部２４１ｆは、仮想旅行の旅行先や、仮想旅行が行われる季節や、仮想旅行が行われる時間帯等に応じて、対象物の輪郭領域に配置する画素値を変動させてもよい。例えば、加工部２４１ｆは、仮想旅行の旅行先が寒い地域（例えば、東北地方や北海道等の寒冷地）である場合には、対象物の輪郭領域に寒色（青、又は、青に近い色等を示し、「後退色」とも呼ばれる）の画素値を配置し、仮想旅行の旅行先が暖かい地域（例えば、九州地方や沖縄等の温暖地）である場合には、対象物の輪郭領域に暖色（赤や黄色やオレンジ色等を示し、「進出色」とも呼ばれる）の画素値を配置してもよい。このとき、加工部２４１ｆは、仮想旅行の旅行先となる地域の緯度が所定範囲内の緯度であるか否かに基づいて、仮想旅行の旅行先が寒い地域であるか暖かい地域であるかを判定する。また、例えば、加工部２４１ｆは、仮想旅行が寒い季節（例えば、１１月〜２月）に行われる場合には、対象物の輪郭領域に寒色の画素値を配置し、仮想旅行が暖かい季節（例えば、７月〜９月）に行われる場合には、対象物の輪郭領域に暖色の画素値を配置してもよい。このとき、加工部２４１ｆは、現在日時に基づいて、仮想旅行が行われる季節を判定する。なお、加工部２４１ｆは、仮想旅行の旅行先、及び、仮想旅行が行われる季節の双方に基づいて、仮想旅行の旅行先が寒い地域であるか暖かい地域であるかを判定してもよい。
【０１４３】
また、加工部２４１ｆは、対象物の輪郭領域について二値化処理を施してもよい。具体的には、加工部２４１ｆは、輪郭領域に含まれる各画素値について、所定の閾値以上であるか否かを判定する。そして、加工部２４１ｆは、画素値が所定の閾値以上である領域については画素値を「１」とし、画素値が所定の閾値よりも小さい領域については画素値を「０」とする。これにより、加工部２４１ｆは、対象物を２種類の画素値によって現すことが可能になり、この結果、対象物が何であるかを想起しやすくすることができる。
【０１４４】
また、加工部２４１ｆは、対象物の輪郭領域に含まれる画素の配置を変更することで、特定の人、動物又は乗物等を特定されないようにしてもよい。具体的には、加工部２４１ｆは、輪郭領域を所定のマクロブロック（例えば、横１６×縦１６画素）毎に分割し、マクロブロック内で画素の位置を変更してもよい。例えば、加工部２４１ｆは、輪郭領域をマクロブロックＭ１〜Ｍ１０に分割した場合に、マクロブロックＭ１に含まれる各画素の配置をマクロブロックＭ１内で変更する。加工部２４１ｆは、同様の処理をマクロブロックＭ２〜Ｍ１０についても行う。なお、加工部２４１ｆによる画素の配置変更処理は、任意の手法を適用することができる。例えば、加工部２４１ｆは、横方向に隣接する２個の画素の位置を変更してもよいし、縦方向に隣接する２個の画素の位置を変更してもよい。また、例えば、加工部２４１ｆは、画素の配置を変更するのではなく、マクロブロック（マクロブロックＭ１等）内の全画素値の平均値を算出し、算出した画素値をマクロブロックに配置してもよい。
【０１４５】
また、加工部２４１ｆは、対象物の輪郭領域に含まれる画素値を変更することで、特定の人、動物又は乗物等を特定されないようにしてもよい。すなわち、加工部２４１ｆは、輪郭領域に含まれる画素値を変更することで、対象物の色合いを変更する。例えば、加工部２４１ｆは、対象領域が人である場合に、対象領域のうち顔を示す領域、胴体を示す領域、手足を示す領域を特定する。そして、加工部２４１ｆは、顔を示す領域については、全てを同一画素値に置き換え、胴体を示す領域や手足を示す領域については、かかる領域の画素値に所定の画素値を加算又は減算する。これにより、加工部２４１ｆは、対象物の顔が特定されず、かつ、対象物の服や皮膚の色を変更することができる。この結果、加工部２４１ｆは、対象物が所定の人物であると特定されることを防止できるので、対象物のプライバシーを保護することができる。
【０１４６】
また、例えば、加工部２４１ｆは、顔を示す領域については、上記例のように画素の配置を変更してもよい。これにより、加工部２４１ｆは、対象物の顔をやや異なる顔に変更することができ、対象物が所定の人物であると特定されることを防止できる。また、例えば、加工部２４１ｆは、顔を示す領域のうち、眉毛、目、鼻、口等を示す領域を特定し、特定した眉毛、目、鼻、口等の位置や変更してもよい。例えば、加工部２４１ｆは、眉毛を頭頂部方向に移動させることで額を狭くしたり、目や鼻や口の大きさを変更したりする。これにより、加工部２４１ｆは、対象物が所定の人物であると特定されることを防止できる。
【０１４７】
［移動カメラ］
また、上記実施例１〜３における仮想旅行システムは、画像データが、例えば移動するカメラによって収集された画像データである場合にも、同様に適用することができる。この場合には、背景となる部分からも動きベクトルが検出されることになるので、符号化装置は、背景となる部分から検出される動きベクトルを差し引いた後の「局所的な動きベクトル」のみを用いて上記処理を行う必要がある。
【０１４８】
例えば、動きベクトル検出部１６０は、基本となる動きベクトルと同じ動きベクトルであるか、あるいはそれ以外の動きベクトルであるかを判別して動作する。言い換えると、動きベクトル検出部１６０は、動きベクトルとして同じ値が繰り返されるのか、あるいはそれ以外の値となるのかを判別して動作する。ここで、動きベクトル検出部１６０は、動きベクトルの予測において、全体の中から予測としてより正しいものがどこにあるかを探索するが、この時、背景となる部分の動きベクトルは、一定のものが繰り返し利用されることになる。このため、動きベクトル検出部１６０は、繰り返し利用される動きベクトルとは異なる動きベクトルが予測として最も正しいものとして探索された場合に、背景以外の部分から検出された動きベクトルであると判別することができる。
【０１４９】
［課金処理］
また、上記実施例１〜３に係る仮想旅行装置２００及び４００は、課金機能を有してもよい。具体的には、端末装置３００は、図１５に例示した終了画面Ｇ１０９を表示した後に、仮想旅行が終了した旨を仮想旅行装置２００及び４００に通知する。そして、仮想旅行装置２００及び４００は、かかる通知を受信した場合に、予め決められている仮想旅行に対応する料金を利用者に課金してもよい。
【０１５０】
［録画機能］
また、上記実施例１〜３に係る仮想旅行装置２００及び４００は、端末装置３００に配信した画像データを配信済画像データとして、所定の記憶部に保持してもよい。例えば、仮想旅行装置２００及び４００は、仮想旅行が行われた日時等に対応付けて、配信済画像データを保持してもよい。そして、仮想旅行装置２００及び４００は、端末装置３００から、過去に行われた仮想旅行を再度行う旨の仮想旅行要求を受け付けた場合には、かかる仮想旅行要求に対応する配信済画像データを端末装置３００に配信してもよい。
【０１５１】
［仮想旅行の種類］
また、上記実施例１〜３においては、端末装置３００が、図１４に例示した選択画面Ｇ１０２にて仮想旅行の種類を利用者に選択させる例を示した。しかし、端末装置３００は、表示部３１０に地図を表示し、かかる地図上に線を描写させる等して、仮想旅行の行程を利用者に入力させてもよい。このとき、端末装置３００は、各行程において利用する乗物や、各行程にかかる時間等を入力させてもよい。かかる場合に、端末装置３００は、仮想旅行の行程や乗物等の情報を仮想旅行装置２００又は４００に送信する。そして、仮想旅行装置２００又は４００は、端末装置３００から受信した仮想旅行の行程や乗物等の情報に基づいて、かかる乗物内外に設置された撮影装置１００、又は、かかる行程の近傍に存在する建築物内外に設置された撮影装置１００によって生成された画像データを端末装置３００に配信する。このような場合には、仮想旅行装置２００又は４００は、例えば、撮影装置１００が設置されている位置情報等を保持することで、端末装置３００から受信した仮想旅行の行程や乗物等に対応する撮影装置１００を特定することができる。
【０１５２】
［買い物機能］
また、上記実施例１〜３に係る仮想旅行装置２００及び４００は、仮想旅行先に存在する販売店（土産屋やアンテナショップ等）が撮影されることで生成された画像データを予め保持してもよい。そして、仮想旅行装置２００及び４００は、仮想旅行の画像データを配信している間に、販売店に立ち寄る旨の買い物要求を端末装置３００から受け付けた場合に、かかる買い物要求に対応する販売店の画像データを端末装置３００に配信してもよい。そして、端末装置３００は、販売店の画像データを表示部３１０に表示している際に、利用者から購入対象の品物に関する情報を受け付け、受け付けた品物情報を仮想旅行装置２００や、販売店等に通知することで、利用者に品物を実際に購入させてもよい。
【０１５３】
［魚眼レンズ］
また、上記実施例１〜３に係る撮影装置１００は、特開２００４−２７２７６７号公報に開示された魚眼レンズを有し、かかる魚眼レンズを用いて撮像処理を行ってもよい。そして、仮想旅行装置２００や４００、又は、端末装置３００は、特開２００４−２７２７６７号公報に開示された技術により、魚眼レンズにより撮像された局面像から平面像を生成してもよい。
【０１５４】
［画像データの種類］
また、上記実施例１〜３に係る仮想旅行システムにおいて扱う画像データの種類は、ＭＰＥＧ−２、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４等に限られず、フレーム予測モードとフィールド予測モードとを動的に選択する手法を用いて符号化された画像データであれば、他の種類の画像データであってもよい。
【０１５５】
［システムの構成］
上記実施例１〜３においては、図３又は図１９に例示した撮影装置１００が、符号化処理を行い、仮想旅行装置２００又は４００が、復号化処理、輪郭抽出処理、プライバシーの保護処理（加工処理）、符号化処理を行い、端末装置３００が復号化処理を行う例を示した。しかし、各装置において行われる処理はこの例に限られない。
【０１５６】
例えば、仮想旅行装置２００又は４００は、撮影装置１００から受信した符号化データに対して復号化処理、輪郭抽出処理、プライバシーの保護処理（加工処理）を行わずに、かかる符号化データを画像データ記憶部２１０に保持するだけでもよい。そして、仮想旅行装置２００又は４００は、端末装置３００から受信した仮想旅行要求に対応する符号化データを画像データ記憶部２１０から取得し、取得した符号化データを端末装置３００に配信してもよい。かかる場合、仮想旅行装置２００又は４００は、復号化部２４０及び符号化部２６０を有しなくてもよい。そして、端末装置３００が、復号化部２４０及び符号化部２６０と同様の機能を有し、仮想旅行装置２００又は４００から受信した符号化データに対して、復号化処理、輪郭抽出処理、プライバシーの保護処理（加工処理）を行った後に、画像データを表示部３１０に表示してもよい。
【０１５７】
また、例えば、撮影装置１００が、復号化部２４０及び符号化部２６０と同様の機能を有し、符号化装置１０２によって符号化された符号化データに対して、復号化処理、輪郭抽出処理、プライバシーの保護処理（加工処理）を行い、プライバシーの保護処理後の画像データを符号化した符号化データを仮想旅行装置２００又は４００から送信してもよい。かかる場合、仮想旅行装置２００又は４００は、復号化部２４０及び符号化部２６０を有しなくてもよく、撮影装置１００から受信した符号化データに対して復号化処理、輪郭抽出処理、プライバシーの保護処理（加工処理）を行わずに、かかる符号化データを画像データ記憶部２１０に保持し、端末装置３００から受信した仮想旅行要求に対応する符号化データを画像データ記憶部２１０から取得し、取得した符号化データを端末装置３００に配信するだけでよい。
【０１５８】
また、上記実施例２においては、端末装置３００が、要望データを仮想旅行装置４００に送信する例を示した。しかし、端末装置３００は、仮想旅行装置４００を介さずに、要望データを撮影装置１００−４に送信してもよい。具体的には、端末装置３００によって送信される要望データは、仮想旅行が行われている最中に送信されることが多い。かかる場合に、仮想旅行における画像データを送信している撮影装置１００−４は特定されている。このため、端末装置３００は、画像データを送信している撮影装置１００−４の宛先情報（ＩＰアドレス等）を仮想旅行装置４００から受信しておき、かかる宛先情報を用いて要望データを撮影装置１００−４に送信してもよい。
【０１５９】
また、上記の撮影装置１００−４及び端末装置３００は、テレビ電話等の機能を有してもよい。かかる場合には、端末装置３００は、かかるテレビ電話によって、仮想旅行に対する利用者の要望をエージェントに通知することができる。
【０１６０】
［仮想旅行プログラム］
また、上記実施例において説明した仮想旅行装置２００又は４００は、仮想旅行プログラムによる情報処理がコンピュータを用いて具体的に実現されることで実行されてもよい。コンピュータは、例えば、ＣＰＵ（Central Processing Unit）と、システムメモリと、ハードディスクドライブインタフェースと、ディスクドライブインタフェースと、シリアルポートインタフェースと、ビデオアダプタと、ネットワークインタフェースとを有し、これらの各部はシステムバスによって接続される。システムメモリは、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含む。ＲＯＭは、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェースは、ハードディスクドライブに接続される。ディスクドライブインタフェースは、ディスクドライブに接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブに挿入される。シリアルポートインタフェースは例えば、マウス、キーボードに接続される。ビデオアダプタは、例えば、モニタに接続される。
【０１６１】
ここで、ハードディスクドライブは、例えば、ＯＳ（Operating System）、アプリケーションプログラム、プログラムモジュール、プログラムデータを記憶する。すなわち、上記の仮想旅行プラグラムは、コンピュータによって実行される指令が記述されたプログラムモジュールとして、例えばハードディスクに記憶される。具体的には、上記実施例で説明した収集部２３０と同様の処理を実行する手順と、復号化部２４０と同様の処理を実行する手順と、受付部２５０と同様の処理を実行する手順と、符号化部２６０と同様の処理を実行する手順と、配信部２７０と同様の処理を実行する手順とが記述されたプログラムモジュールが、ハードディスクに記憶される。
【０１６２】
なお、仮想旅行プラグラムに係るプログラムモジュールやプログラムデータは、ハードディスクに記憶される場合に限られず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ等を介してＣＰＵによって読み出されてもよい。あるいは、仮想旅行プラグラムに係るプログラムモジュールやプログラムデータは、ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶され、ネットワークインタフェースを介してＣＰＵによって読み出されてもよい。
【符号の説明】
【０１６３】
１ 仮想旅行システム
２１ エージェント
１００ 撮影装置
２００ 仮想旅行装置
２１０ 画像データ記憶部
２２０ 旅行プラン記憶部
２３０ 収集部
２４０ 復号化部
２４１ 輪郭抽出部
２４１ａ ヘッダ情報読出部
２４１ｂ 輪郭領域特定部
２４１ｃ 輪郭画像生成部
２４１ｄ 輪郭画像格納部
２４１ｅ 対象物判定部
２４１ｆ 加工部
２４１ｇ 輪郭抽出補完部
２４２ 可変長復号−逆スキャン部
２４３ 逆量子化−逆ＤＣＴ部
２４４ 動き補償部
２４５ フレームメモリ
２４６ 復号化画像格納部
２４７ 重畳部
２５０ 受付部
２６０ 符号化部
２７０ 配信部
３００ 端末装置
【技術分野】
【０００１】
本発明の実施形態は、仮想旅行システム、仮想旅行装置及び仮想旅行プログラムに関する。
【背景技術】
【０００２】
一般に、電車やバス等の乗物を利用して旅行することが多い。例えば、電車やバスを乗り継いで観光地に行ったり、観光地に到着した後に徒歩により名所を参観したりする。また、近年では、観光地等の実況映像を利用者に提供することにより、仮想的（バーチャル）な旅行を実現する技術も提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−１０３４５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の仮想旅行に関する従来技術では、動きのある対象物のプライバシーが保護されているとはいえない場合があった。例えば、観光地の実況映像には、不特定多数の個人が映し出されている場合もあるが、上記の従来技術では、このような個人に対するプライバシー保護がなされていない。
【０００５】
本発明は、上記に鑑みてなされたものであって、動きのある対象物のプライバシーを保護した上で仮想的な旅行を実現することができる仮想旅行システム、仮想旅行装置及び仮想旅行プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
実施形態に係る仮想旅行システムは、利用者に仮想的な旅行を提供する仮想旅行システムであって、乗物内外又は建築物内外に設置された撮影装置によって撮影されることで生成された画像データを収集する収集部と、前記収集部によって収集された画像データのうち、動きのある対象物が描出された領域を特定する特定部と、前記収集部によって収集された画像データのうち、前記特定部によって特定された対象物を示す領域の画像データを他の画像データに加工する加工部と、前記利用者が利用する利用者端末から、前記仮想的な旅行の行程に関する情報を含む仮想旅行要求を受け付ける受付部と、前記加工部によって加工された加工済画像データのうち、前記受付部によって受け付けられた仮想旅行要求において要求されている仮想的な旅行に用いられる乗物内外に設置された撮影装置、又は、該仮想的な旅行の行程の近傍に存在する建築物内外に設置された撮影装置によって生成された画像データが加工された加工済画像データを、前記利用者端末に順次配信する配信部とを備えたことを特徴とする。
【０００７】
また、実施形態に係る仮想旅行装置は、乗物内外又は建築物内外に設置された撮影装置によって撮影されることで生成された画像データを収集する収集部と、前記収集部によって収集された画像データのうち、動きのある対象物が描出された領域を特定する特定部と、前記収集部によって収集された画像データのうち、前記特定部によって特定された対象物を示す領域の画像データを他の画像データに加工する加工部と、利用者が利用する利用者端末から、仮想的な旅行の行程に関する情報を含む仮想旅行要求を受け付ける受付部と、前記加工部によって加工された加工済画像データのうち、前記受付部によって受け付けられた仮想旅行要求において要求されている仮想的な旅行に用いられる乗物内外に設置された撮影装置、又は、該仮想的な旅行の行程の近傍に存在する建築物内外に設置された撮影装置によって生成された画像データが加工された加工済画像データを、前記利用者端末に順次配信する配信部とを備えたことを特徴とする。
【０００８】
また、実施形態に係る仮想旅行プログラムは、乗物内外又は建築物内外に設置された撮影装置によって撮影されることで生成された画像データを収集する収集手順と、前記収集手順によって収集された画像データのうち、動きのある対象物が描出された領域を特定する特定手順と、前記収集手順によって収集された画像データのうち、前記特定手順によって特定された対象物を示す領域の画像データを他の画像データに加工する加工手順と、利用者が利用する利用者端末から、仮想的な旅行の行程に関する情報を含む仮想旅行要求を受け付ける受付手順と、前記加工手順によって加工された加工済画像データのうち、前記受付手順によって受け付けられた仮想旅行要求において要求されている仮想的な旅行に用いられる乗物内外に設置された撮影装置、又は、該仮想的な旅行の行程の近傍に存在する建築物内外に設置された撮影装置によって生成された画像データが加工された加工済画像データを、前記利用者端末に順次配信する配信手順とをコンピュータに実行させることを特徴とする。
【発明の効果】
【０００９】
実施形態に係る仮想旅行システム、仮想旅行装置及び仮想旅行プログラムによれば、動きのある対象物のプライバシーを保護した上で仮想的な旅行を実現することができるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施例１に係る仮想旅行システムの構成例を示す図である。
【図２】図２は、実施例１に係る仮想旅行装置の概要を説明するための図である。
【図３】図３は、実施例１に係る撮影装置の構成を示すブロック図である。
【図４】図４は、実施例１に係る仮想旅行装置の構成を示すブロック図である。
【図５】図５は、実施例１に係る旅行プラン記憶部の一例を示す図である。
【図６】図６は、実施例１に係る復号化部の構成を示すブロック図である。
【図７】図７は、輪郭に相当する領域の特定を説明するための図である。
【図８】図８は、実施例１に係る輪郭画像の一例を示す図である。
【図９】図９は、実施例１における対象物判定部による対象物判定処理の一例を示す図である。
【図１０】図１０は、実施例１における加工部によって加工された輪郭画像の一例を示す図である。
【図１１】図１１は、実施例１における重畳部による重畳画像生成処理の一例を示す図である。
【図１２】図１２は、実施例１における重畳部による重畳画像生成処理の一例を示す図である。
【図１３】図１３は、実施例１に係る端末装置の構成について説明する図である。
【図１４】図１４は、実施例１に係る仮想旅行アプリケーション部によって表示制御される各種画面例を示す図である。
【図１５】図１５は、実施例１に係る仮想旅行アプリケーション部によって表示制御される各種画面例を示す図である。
【図１６】図１６は、実施例１に係る仮想旅行システムによる処理手順を示すシーケンス図である。
【図１７】図１７は、実施例１に係る仮想旅行装置による保護処理手順を示すフローチャートである。
【図１８】図１８は、実施例２に係る仮想旅行システムの構成例を示す図である。
【図１９】図１９は、実施例２に係る撮影装置の構成を示すブロック図である。
【図２０】図２０は、実施例２に係る仮想旅行装置の構成を示すブロック図である。
【図２１】図２１は、実施例２に係る旅行プラン記憶部の一例を示す図である。
【図２２】図２２は、実施例３に係る復号化部の構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下、開示の技術に係る仮想旅行システム、仮想旅行装置及び仮想旅行プログラムの実施例を説明する。なお、以下の実施例により本発明が限定されるものではない。
【実施例１】
【００１２】
［実施例１に係る仮想旅行システム１の構成］
まず、図１を用いて、実施例１に係る仮想旅行システム１について説明する。図１は、実施例１に係る仮想旅行システム１の構成例を示す図である。図１に例示した仮想旅行システム１には、撮影装置１００−１、１００−２及び１００−３と、仮想旅行装置２００と、端末装置３００とが含まれる。
【００１３】
撮影装置１００−１、１００−２及び１００−３は、乗物内外や建築物内外に設置される。図１に示した例では、撮影装置１００−１は、電車１１に設置され、電車１１から見える風景を撮影する。また、撮影装置１００−２は、バス１２に設置され、バス１２から見える風景を撮影する。また、撮影装置１００−３は、観光地１３近傍の建築物（電柱や建物等）に設置され、観光地１３を撮影する。
【００１４】
これらの撮影装置１００−１、１００−２及び１００−３は、風景や観光地等を撮影することにより、撮影した風景や観光地等の画像データ（動画又は静止画）を生成し、生成した画像データを仮想旅行装置２００に送信する。図１に示した例では、撮影装置１００−１、１００−２及び１００−３は、画像データを生成するたびに、基地局２０を介して、無線通信により画像データを仮想旅行装置２００に送信する。これにより、仮想旅行装置２００は、現時点において電車１１やバス１２から見える風景を撮影することで生成された画像データや、現時点における観光地１３を撮影することで生成された画像データを略リアルタイムに受信することができる。
【００１５】
このような撮影装置１００−１、１００−２及び１００−３については、図３を用いて後述する。なお、撮影装置１００−１、１００−２及び１００−３は同様の構成を有するので、以下では、撮影装置１００−１、１００−２及び１００−３を区別する必要がない場合には、これらを総称して「撮影装置１００」と表記する場合がある。
【００１６】
仮想旅行装置２００は、撮影装置１００によって生成された画像データを収集し、収集した画像データを利用者に提供する。具体的には、仮想旅行装置２００は、端末装置３００から仮想旅行を行う旨の要求（以下、「仮想旅行要求」と表記する場合がある）を受信した場合に、かかる仮想旅行要求に対応する画像データをストリーミング（streaming）方式等により公衆ネットワーク網３０を介して端末装置３００に配信することで、端末装置３００の利用者に仮想旅行を体験させる。このとき、仮想旅行装置２００は、撮影装置１００から順次送信される画像データを端末装置３００に配信する。これにより、仮想旅行装置２００は、現時点において電車１１やバス１２から見える風景に対応する画像データや、現時点における観光地１３に対応する画像データを略リアルタイムに端末装置３００に配信することができる。
【００１７】
ここで、実施例１に係る仮想旅行装置２００は、撮影装置１００から収集した画像データのうち、動きのある人や動物等の対象物を抽出し、抽出した対象物に対してプライバシー保護の処理を施す。例えば、仮想旅行装置２００は、画像データ内に映し出されている対象物の領域に、かかる対象物以外の他の画像データ（所定の図形やアニメーション画像等）を配置する。そして、仮想旅行装置２００は、このようにして対象物に対してプライバシーの保護処理を施した画像データを端末装置３００に配信する。なお、実施例１に係る仮想旅行装置２００については、図４等を用いて後述する。
【００１８】
端末装置３００は、実施例１に係る仮想旅行システム１の利用者によって利用される情報処理装置である。かかる端末装置３００は、仮想旅行装置２００から配信される画像データを表示する表示部（ディプレイ等）や、仮想旅行の行き先を利用者から受け付ける入力部（リモートコントローラー、マウス、キーボード等）を有する。
【００１９】
この端末装置３００は、仮想旅行の種類を選択するための選択画面を表示部に表示することで、仮想旅行の種類を利用者に入力させる。ここでいう「仮想旅行の種類」とは、仮想旅行の行き先や、仮想旅行に用いられる乗物（交通手段）等によって分けられる仮想旅行のタイプを示す。そして、端末装置３００は、利用者によって入力された仮想旅行の種類を仮想旅行装置２００に送信することで、かかる種類に対応する画像データを仮想旅行装置２００から受信する。このとき、端末装置３００は、現時点において電車１１やバス１２から見える風景に対応する画像データや、現時点における観光地１３に対応する画像データを略リアルタイムに受信する。さらに、端末装置３００は、対象物に対してプライバシー保護の処理が施された画像データを受信する。これにより、端末装置３００は、現時点における旅行先の風景等に対応する画像データであって、かつ、対象物のプライバシーが保護された画像データを表示することができる。この結果、端末装置３００は、旅行先の不特定多数の対象物のプライバシーを保護した上で、リアルタイム性を有する仮想旅行を利用者に提供することができる。
【００２０】
以下に、図１に示した各装置による処理について詳細に説明する。以下では、最初に撮影装置１００及び仮想旅行装置２００による輪郭抽出処理の概要を説明し、次に撮影装置１００、仮想旅行装置２００、端末装置３００の構成について詳細に説明する。
【００２１】
［輪郭抽出処理の概要］
上述した仮想旅行装置２００は、撮影装置１００と協働することにより、撮影装置１００によって生成された画像データから動きのある対象物の輪郭を抽出する処理を行う。図２を用いて、仮想旅行装置２００による輪郭抽出処理の概要について説明する。図２は、実施例１に係る仮想旅行装置２００の概要を説明するための図である。
【００２２】
図２に例示するように、実施例１に係る仮想旅行システム１では、撮影装置１００において符号化処理が実行され、仮想旅行装置２００において復号化処理及び輪郭抽出処理が実行される。
【００２３】
まず、実施例１に係る撮影装置１００において実行される符号化処理の概要を説明する。撮影装置１００は、風景や観光地を撮影することにより対象物が描出された画像データを生成し、生成した画像データをマクロブロック毎に符号化するにあたり動きベクトルを検出する。続いて、撮影装置１００は、検出した動きベクトルを用いて各種符号化モード（Ｉｎｔｒａモード、フレーム予測モード、フィールド予測モード）による符号化を行い、それぞれの符号化量（符号化データの発生量）に基づいて予測モードを選択する。そして、撮影装置１００は、選択した予測モードに従って画像データを符号化する。
【００２４】
ここで、実施例１に係る撮影装置１００は、予測モードを選択するための閾値を予め設定されることで記憶している。そして、撮影装置１００は、符号化量を予測モード間で比較する際にこの閾値を用い、比較の結果に基づいて予測モードを選択する。具体的には、撮影装置１００は、符号化量を予測モード間で比較した結果、フィールド予測モードによる符号化量が、フレーム予測モードによる符号化量に比較して閾値以上小さいと判定されたことを条件として、フィールド予測モードを選択する。
【００２５】
なお、予測モードについて簡単に説明しておくと、例えば、ＭＰＥＧ（Moving Picture Experts Group）で標準化されたＭＰＥＧ−２、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４などにおいては、符号化方式として、フレーム間予測方式を採用している。フレーム間予測方式は、入力フレームと前後のフレームとは相関度が高いという動画像の性質を利用して、前後のフレームから入力フレームを予測した予測フレームを生成し、生成した予測フレームと入力フレームとの差分を符号化する方式である。具体的には、符号化装置は、フレームを構成する予測単位毎に差分を算出して動きベクトルを検出し、検出した動きベクトル、及び、予測フレームと入力フレームとの差分である差分画像データを符号化して符号化データを生成し、生成した符号化データを復号化装置に送信する。
【００２６】
ここで、ＭＰＥＧ−２、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４等においては、動画像がインタレース形式の場合に、マクロブロックの符号化に用いる予測モードとして、フレーム予測モード及びフィールド予測モードの動的選択を規定している。フレーム予測モードは、マクロブロック（横１６×縦１６画素）毎に１つの動きベクトルを割り当てるモードである。一方、フィールド予測モードは、マクロブロックのトップフィールド成分（横１６×縦８画素）及びボトムフィールド成分（横１６×縦８画素）それぞれに動きベクトルを割り当てるモードである。なお、フレーム予測モード及びフィールド予測モードは動的に選択されるので、ピクチャ構造は、フレーム構造となる。なお、標準において動的選択を規定しているものの、一般的にはフレーム予測モードが固定的に選択されることが多いが、その理由は、通常、フレーム予測モードの方が、符号化処理の計算量が少なく、より高い圧縮率が得られる傾向にあるからと考えられる。
【００２７】
さて、図２に戻り、実施例１に係る仮想旅行装置２００において実行される輪郭抽出処理の概要を説明する。仮想旅行装置２００は、撮影装置１００から符号化データを受信し、受信した符号化データに含まれるヘッダ情報からピクチャ構造情報及び予測モード情報を読み出す。そして、仮想旅行装置２００は、読み出したピクチャ構造情報及び予測モード情報に基づいて、対象物の輪郭に相当する領域を特定する。なお、ピクチャ構造情報とは、ピクチャの構造を示す情報であり、予測モード情報とは、マクロブロックの符号化に用いられた予測モードを示す情報である。例えば、ピクチャ構造情報は、ヘッダ情報のピクチャ層に格納されており、予測モード情報は、マクロブロック層に格納されている。
【００２８】
ここで、実施例１に係る仮想旅行装置２００は、ピクチャ構造情報及び予測モード情報をマクロブロック毎に判定し、図２に例示するように、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合に、対応するマクロブロックの画像上の位置を、対象物の輪郭（対象物と背景との境界部分等）に相当する領域として特定する。
【００２９】
このようなことから、実施例１に係る仮想旅行装置２００によれば、対象物の輪郭に相当する領域を特定することが可能になり、動きのある対象物を適切に抽出することが可能になる。
【００３０】
［実施例１に係る撮影装置１００の構成］
次に、図３を用いて、実施例１に係る撮影装置１００の構成について説明する。図３は、実施例１に係る撮影装置１００の構成を示すブロック図である。図３に例示するように、実施例１に係る撮影装置１００は、撮影部１０１と、符号化装置１０２とを有する。
【００３１】
撮影部１０１は、撮影処理を行うことで画像データを生成し、生成した画像データ（フレーム）を符号化装置１０２に入力する。符号化装置１０２は、撮影部１０１から入力されたフレームを符号化することで符号化データを生成する。
【００３２】
ここで、実施例１にかかる符号化装置１０２は、特に、符号化モード判定部１１０と、符号化部１２０と、可変長復号−逆スキャン部１３０と、逆量子化−逆ＤＣＴ（Discrete Cosine Transform）部１４０と、フレームメモリ１５０と、動きベクトル検出部１６０と、動き補償部１７０と、減算器１８０とを備える。かかる符号化装置１０２は、公知の符号化装置と同様の機能を有する。この点について簡単に説明すると、まず、符号化装置１０２は、対象物が描出された画像データの入力を受け付けると、この入力フレームをマクロブロック毎に分割し、動きベクトル検出部１６０に入力する。動きベクトル検出部１６０は、フレームメモリ１５０に格納されている参照フレームと入力フレームとの差分をマクロブロック毎に算出して動きベクトルを検出し、検出した動きベクトルを動き補償部１７０に送る。
【００３３】
動き補償部１７０は、動きベクトル検出部１６０から送られた動きベクトルとフレームメモリ１５０に格納されている参照フレームとを用いて予測フレームを生成し、生成した予測フレームを減算器１８０に送る。減算器１８０は、入力フレームと予測フレームとを減算し、減算結果である差分画像データを符号化モード判定部１１０に送る。
【００３４】
符号化モード判定部１１０は、入力フレーム及び差分画像データそれぞれの入力を受け付け、符号化モードとして、入力フレームを符号化するＩｎｔｒａモードを選択するか、あるいは、差分画像データを符号化するＩｎｔｅｒモードを選択するかを判定する。そして、符号化モード判定部１１０は、判定結果を、符号化に必要なデータ（入力フレーム、あるいは、差分画像データ及び動きベクトル等）とともに、符号化部１２０に送る。
【００３５】
符号化部１２０は、符号化モード判定部１１０から受け付けた判定結果に従って、符号化モード判定部１１０から受け付けたデータを符号化し、符号化データ（ストリームとも称する）を生成する。そして、符号化部１２０は、生成した符号化データを復号化処理を行う仮想旅行装置２００に向けて出力するとともに、可変長復号−逆スキャン部１３０に出力する。すると、可変長復号−逆スキャン部１３０及び逆量子化−逆ＤＣＴ部１４０は、符号化データを復号化し、復号化した画像データを参照フレームとしてフレームメモリ１５０に格納する。なお、上記各部による処理は、いずれもマクロブロック毎に行われる。
【００３６】
さて、ここで、実施例１に係る符号化装置１０２は、上述した公知の符号化装置が有する機能に加え、予測モードを選択するための閾値を予め設定されることで記憶し、符号化量を予測モード間で比較する際にこの閾値を用い、比較の結果に基づいて予測モードを選択する機能を有する。
【００３７】
この点について説明する。まず、実施例１に係る符号化装置１０２は、マクロブロックの符号化に用いる予測モードとして、フレーム予測モード及びフィールド予測モードを動的に選択する。このため、実施例１に係る動きベクトル検出部１６０は、フレーム予測モード用の動きベクトル検出処理と、フィールド予測モード用の動きベクトル検出処理との双方を行う。すなわち、動きベクトル検出部１６０は、フレームメモリ１５０に格納された参照フレームを参照し、マクロブロック（横１６×縦１６画素）毎に１つの動きベクトルを割り当てる処理と、フレームメモリ１５０に格納された参照フレームのトップフィールド及びボトムフィールドそれぞれを参照し、マクロブロックのトップフィールド成分（横１６×縦８画素）及びボトムフィールド成分（横１６×縦８画素）それぞれに動きベクトルを割り当てる処理との双方を行う。そして、動きベクトル検出部１６０は、フレーム予測モード用の動きベクトル及びフィールド予測モード用の動きベクトルの双方を、動き補償部１７０に対して出力する。
【００３８】
ここで、実施例１に係る動き補償部１７０は、図３に例示するように、Ｉｎｔｒａ符号化部１７０ａと、フレーム予測モード符号化部１７０ｂと、フィールド予測モード符号化部１７０ｃとを有する。Ｉｎｔｒａ符号化部１７０ａ、フレーム予測モード符号化部１７０ｂ、及びフィールド予測モード符号化部１７０ｃは、並行して処理を行う。
【００３９】
まず、Ｉｎｔｒａ符号化部１７０ａは、Ｉｎｔｒａモードによる符号化を行う。具体的には、Ｉｎｔｒａ符号化部１７０ａは、マクロブロック毎に分割された入力フレームを符号化し、その符号化量を符号化モード判定部１１０に対して出力する。なお、実施例１において、Ｉｎｔｒａ符号化部１７０ａは、横１６×縦１６画素のマクロブロック毎に入力フレームを符号化する。
【００４０】
また、フレーム予測モード符号化部１７０ｂは、フレーム予測モードによる符号化を行う。具体的には、フレーム予測モード符号化部１７０ｂは、動きベクトル検出部１６０から受け付けたフレーム予測モード用の動きベクトルと、フレームメモリ１５０に格納された参照フレームとを用いて、予測フレームを生成し、生成した予測フレームを減算器１８０に対して出力する。また、フレーム予測モード符号化部１７０ｂは、入力フレームと予測フレームとを減算し、減算結果である差分画像データを符号化し、その符号化量と、フレーム予測モード用の動きベクトルとを、符号化モード判定部１１０に対して出力する。
【００４１】
また、フィールド予測モード符号化部１７０ｃは、フィールド予測モードによる符号化を行う。具体的には、フィールド予測モード符号化部１７０ｃは、動きベクトル検出部１６０から受け付けたフィールド予測モード用の動きベクトルと、フレームメモリ１５０に格納された参照フレームとを用いて、予測フレームを生成し、生成した予測フレームを減算器１８０に対して出力する。また、フィールド予測モード符号化部１７０ｃは、入力フレームと予測フレームとを減算し、減算結果である差分画像データを符号化し、その符号化量と、フィールド予測モード用の動きベクトルとを、符号化モード判定部１１０に対して出力する。
【００４２】
一方、符号化モード判定部１１０は、予測モードを選択するための閾値を予め設定されることで記憶している。そして、符号化モード判定部１１０は、Ｉｎｔｒａ符号化部１７０ａから出力された符号化量と、フレーム予測モード符号化部１７０ｂから出力された符号化量と、フィールド予測モード符号化部１７０ｃから出力された符号化量とを比較する。
【００４３】
具体的には、符号化モード判定部１１０は、Ｉｎｔｒａ符号化部１７０ａから出力された符号化量が最も小さい場合には、Ｉｎｔｒａモードを選択する。一方、Ｉｎｔｒａ符号化部１７０ａから出力された符号化量が最も大きい場合には、符号化モード判定部１１０は、次に、フレーム予測モード符号化部１７０ｂから出力された符号化量と、フィールド予測モード符号化部１７０ｃから出力された符号化量との比較を行う。なお、Ｉｎｔｒａ符号化部１７０ａから出力された符号化量は、最小か最大かのいずれかになり、フレーム予測モード符号化部１７０ｂから出力された符号化量と、フィールド予測モード符号化部１７０ｃから出力された符号化量との間にはならないと仮定する。
【００４４】
そして、符号化モード判定部１１０は、フレーム予測モード符号化部１７０ｂから出力された符号化量と、フィールド予測モード符号化部１７０ｃから出力された符号化量との比較の結果、フィールド予測モード符号化部１７０ｃから出力された符号化量が、フレーム予測モード符号化部１７０ｂから出力された符号化量に比較して、予め記憶している閾値以上小さいと判定されたことを条件として、フィールド予測モードを選択する。一方、符号化モード判定部１１０は、それ以外の場合には、フレーム予測モードを選択する。
【００４５】
その後、符号化モード判定部１１０は、判定結果を、符号化に必要なデータとともに、符号化部１２０に送る。具体的には、符号化モード判定部１１０は、「Ｉｎｔｒａモードを選択した」との判定結果を送る場合には、符号化に必要なデータとして入力フレームを送る。また、符号化モード判定部１１０は、「フレーム予測モードを選択した」との判定結果を送る場合には、符号化に必要なデータとして、フレーム予測モード用の動きベクトルと、フレーム予測モードに対応する差分画像データとを送る。また、符号化モード判定部１１０は、「フィールド予測モードを選択した」との判定結果を送る場合には、符号化に必要なデータとして、フィールド予測モード用の動きベクトルと、フィールド予測モードに対応する差分画像データとを送る。一方、符号化部１２０は、符号化モード判定部１１０から送られた判定結果やデータを用いて符号化を行うが、この際、選択された予測モードを示す情報を、符号化データのヘッダ情報に格納する。
【００４６】
なお、Ｉｎｔｒａ符号化部１７０ａから出力された符号化量は、横１６×縦１６画素のマクロブロックに対応する符号化量である。また、フレーム予測モード符号化部１７０ｂから出力された符号化量も、横１６×縦１６画素のマクロブロックに対応する符号化量である。これに対し、フィールド予測モード符号化部１７０ｃから出力された符号化量は、横１６×縦８画素のマクロブロックに対応する符号化量である。このため、符号化モード判定部１１０は、比較にあたり、例えば、フィールド予測モード符号化部１７０ｃから出力された符号化量については、２マクロブロック分、すなわち、横１６×縦１６画素のマクロブロックに対応する符号化量を、その比較対象として用いてもよい。比較対象として１マクロブロック分を用いるか、あるいは２マクロブロック分を用いるかは、閾値をどのような値に設定するかによって任意に選択することができる。
【００４７】
また、実施例１に係る符号化装置１０２として各部の処理を説明したが、開示の技術は上記例に限られるものではない。例えば、実施例１においては、動き補償部１７０が、各種符号化モードによる符号化を行い、符号化量を算出して符号化モード判定部１１０に出力するものとして説明したが、これに限られるものではなく、例えば、符号化モード判定部１１０が符号化量を算出し、算出した符号化量を用いて予測モードを選択する構成であってもよい。このように、各部の機能分担は任意に変更することができる。
【００４８】
ところで、実施例１において、符号化量の比較に用いられる閾値は、符号化データの発生量や予測の誤差量等に基づいて予め決定されたものであり、言い換えると、計算量や圧縮率、あるいは精度等を総合的に勘案して予め決定されたものである。符号化データの発生量が少ない方が、符号化処理の計算量が少なく、より高い圧縮率となると考えられるが、予測の誤差量が多く、精度が低い場合には、必ずしも符号化データの発生量だけに着目するべきではない。また、精度が低い場合には、符号化データの発生量がかえって多くなることもある。
【００４９】
ここで、フレーム予測モードによって符号化された場合の符号化量と、フィールド予測モードによって符号化された場合の符号化量とを比較すると、一般的には前者の方が小さくなるが、後者の方が小さくなることもある。この点、実施例１に係る仮想旅行システム１は、単に後者の方が小さくなる場合にフィールド予測モードを選択するのではなく、符号化量を比較するための閾値を設け、この閾値以上に後者の符号化量が小さくなった場合に、フィールド予測モードを選択する。
【００５０】
すなわち、対象物の動きが速い場合には、フィールド予測モードの方が精度が良くなるという関係がある。また、フィールド予測モードの方が精度が良い場合には、フレーム予測モードによって符号化された場合の符号化量と、フィールド予測モードによって符号化された場合の符号化量とを比較した場合に、後者の符号化量の方が小さくなるという関係がある。もっとも、符号化量を単純に比較しただけでは、フィールド予測モードの精度がそれほど良くなっているわけではないにもかかわらず、フィールド予測モードを選択してしまう可能性がある。このような場合は、必ずしも対象物の輪郭に相当しないことがあり、結果として、仮想旅行装置２００において、対象物の輪郭に相当しないマクロブロックの画像上の位置を、対象物の輪郭に相当する領域として特定してしまうおそれがある。
【００５１】
この点、実施例１に係る符号化装置１０２は、符号化量の比較のためにあえて閾値を設け、閾値を上回るほどにフィールド予測モードの符号化量が小さい場合にだけ、フィールド予測モードを選択する。すると、結果として、仮想旅行装置２００において、閾値を上回るほどにフィールド予測モードの符号化量が小さい場合にだけ、そのマクロブロックの画像上の位置が、対象物の輪郭に相当する領域として特定されることになる。
【００５２】
なお、閾値は、例えば、実験結果や経験則等に基づいて決定することができる。例えば、動きのある対象物をサンプルとして各種符号化モードによる符号化量を計測し、対象物の輪郭に相当するマクロブロックの場合には、その符号化量にどれほどの差が生じるかを予め求めることで、閾値を決定することができる。
【００５３】
［実施例１に係る仮想旅行装置２００の構成］
次に、図４を用いて、実施例１に係る仮想旅行装置２００の構成について説明する。図４は、実施例１に係る仮想旅行装置２００の構成を示すブロック図である。図４に例示するように、実施例１に係る仮想旅行装置２００は、画像データ記憶部２１０と、旅行プラン記憶部２２０と、収集部２３０と、復号化部２４０と、受付部２５０と、符号化部２６０と、配信部２７０とを有する。
【００５４】
画像データ記憶部２１０は、撮影装置１００によって生成された画像データを記憶する。具体的には、画像データ記憶部２１０は、後述する復号化部２４０によって復号化された画像データを記憶する。
【００５５】
旅行プラン記憶部２２０は、仮想旅行の種類に対応付けて、配信対象となる画像データに関する情報を記憶する。ここで、図５に、実施例１に係る旅行プラン記憶部２２０の一例を示す。図５に示した例では、旅行プラン記憶部２２０は、「旅行プラン」、「配信順序」、「配信映像」、「配信時間」といった項目を有する。
【００５６】
これらの項目のうち「旅行プラン」は、仮想旅行の種類を識別するための識別情報を示す。「配信順序」は、画像データを配信する順序を示す。「配信映像」は、配信対象の画像データを特定するための情報を示す。「配信時間」は、画像データを配信する時間を示す。
【００５７】
すなわち、図５に例示した旅行プラン記憶部２２０は、旅行プラン「Ｐ１」において、最初に電車１１に設置された撮影装置１００−１によって生成された画像データを配信し、次に、バス１２に設置された撮影装置１００−２によって生成された画像データを配信し、次に、観光地１３を撮影する撮影装置１００−３によって生成された画像データを配信し、次に観光地１４を撮影する撮影装置（図１には図示せず）によって生成された画像データを配信することを示している。
【００５８】
また、上記例において、旅行プラン記憶部２２０は、電車１１に設置された撮影装置１００−１によって生成された画像データのうち、電車１１が駅Ｘ１から駅Ｘ２までの区間を走行している際に生成された画像データを配信し、バス１２に設置された撮影装置１００−２によって生成された画像データのうち、バス１２が停留所Ｙ１から停留所Ｙ２までの区間を走行している際に生成された画像データを配信し、観光地１３を撮影する撮影装置１００−３によって生成された画像データのうち、３分間の画像データを配信し、観光地１４を撮影する撮影装置によって生成された画像データのうち、５分間の画像データを配信することを示している。
【００５９】
図４の説明に戻って、収集部２３０は、撮影装置１００によって生成された画像データを収集する。具体的には、実施例１における収集部２３０は、撮影装置１００から符号化処理後の符号化データを収集し、収集した符号化データを復号化部２４０に出力する。
【００６０】
復号化部２４０は、収集部２３０によって収集された符号化データを復号化する。そして、復号化部２４０は、復号化後の画像データを画像データ記憶部２１０に格納する。ここで、図６を用いて、実施例１における復号化部２４０の構成例について説明する。
【００６１】
図６は、実施例１に係る復号化部２４０の構成を示すブロック図である。図６に例示するように、実施例１に係る復号化部２４０は、特に、輪郭抽出部２４１と、可変長復号−逆スキャン部２４２と、逆量子化−逆ＤＣＴ部２４３と、動き補償部２４４と、フレームメモリ２４５と、復号化画像格納部２４６と、重畳部２４７とを備える。
【００６２】
実施例１に係る復号化部２４０は、公知の復号化装置と同様の機能を有する。この点について簡単に説明すると、まず、復号化部２４０は、符号化データの入力を受け付けると、可変長復号−逆スキャン部２４２及び逆量子化−逆ＤＣＴ部２４３が符号化データを復号化し、例えば動きベクトル及び差分画像データを取得する。次に、動き補償部２４４が、復号化された動きベクトルとフレームメモリ２４５に格納されている参照フレームとを用いて予測フレームを生成し、生成した予測フレームと復号化された差分画像データとを用いて入力フレームを復号化し、得られた復号化画像をフレームメモリ２４５に格納する。そして、復号化画像格納部２４６が、フレームメモリ２４５に格納された復号化画像を、重畳部２４７に出力する。
【００６３】
さて、ここで、実施例１に係る復号化部２４０は、上述した公知の復号化装置が有する機能に加え、輪郭抽出部２４１を備え、この輪郭抽出部２４１が、輪郭抽出処理を行う。この点について説明する。輪郭抽出部２４１は、図６に例示するように、ヘッダ情報読出部２４１ａと、輪郭領域特定部２４１ｂと、輪郭画像生成部２４１ｃと、輪郭画像格納部２４１ｄとを有する。
【００６４】
ヘッダ情報読出部２４１ａは、符号化データに含まれるヘッダ情報からピクチャ構造情報及び予測モード情報を読み出す。具体的には、まず、ヘッダ情報読出部２４１ａは、例えば可変長復号−逆スキャン部２４２から、可変長復号−逆スキャン部２４２において復号化されたヘッダ情報を取得する。次に、ヘッダ情報読出部２４１ａは、ヘッダ情報のピクチャ層を解析し、ピクチャの構造を示すピクチャ構造情報を読み出す。また、ヘッダ情報読出部２４１ａは、ヘッダ情報のマクロブロック層を解析し、マクロブロックの符号化に用いられた予測モードを示す予測モード情報を読み出す。そして、ヘッダ情報読出部２４１ａは、読み出したピクチャ構造情報及び予測モード情報を輪郭領域特定部２４１ｂに送る。
【００６５】
輪郭領域特定部２４１ｂは、ヘッダ情報読出部２４１ａによって読み出されたピクチャ構造情報及び予測モード情報をマクロブロック毎に判定し、対象物の輪郭に相当する領域を特定する。具体的には、輪郭領域特定部２４１ｂは、ヘッダ情報読出部２４１ａからピクチャ構造情報及び予測モード情報を受け付けると、ピクチャ構造情報及び予測モード情報をマクロブロック毎に判定し、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合に、対応するマクロブロックの画像上の位置を対象物の輪郭に相当する領域として特定する。そして、輪郭領域特定部２４１ｂは、特定した領域の位置情報（例えば座標情報等）を輪郭画像生成部２４１ｃに送る。
【００６６】
図７は、輪郭に相当する領域の特定を説明するための図である。なお、図７は、領域特定の概念を例示するものである。図７に例示する『人』は、動きのある対象物を意味する。また、図７に例示する黒色の四角形は、対象物の輪郭に相当する領域として特定された位置に存在するマクロブロックを意味する。輪郭領域特定部２４１ｂは、図７に例示するように、『人』の輪郭線上に存在するマクロブロックの位置を、対象物の輪郭に相当する領域として特定する。
【００６７】
ここで、実施例１に係る輪郭領域特定部２４１ｂが、動きのある対象物の輪郭に相当する領域を特定することができる理由を説明する。上述したように、実施例１に係る撮影装置１００の符号化装置１０２は、符号化量の比較の結果に基づいて予測モードを動的に選択し、フレーム予測モードが選択されたか、あるいは、フィールド予測モードが選択されたかを示す情報を、符号化データのヘッダ情報に格納する。すると、実施例１に係る輪郭領域特定部２４１ｂは、ヘッダ情報に格納されたこの情報を解析することで、そのマクロブロックが、「閾値を上回るほどに符号化量が小さい」と判定されて符号化されたものであるのか、あるいは、そうではないと判定されて符号化されたものであるのかを特定することができる。
【００６８】
ここで、動きのある対象物の輪郭は、符号化量の比較において「閾値を上回るほどに符号化量が小さい」と判定される傾向がある。一方、例えば背景や対象物の輪郭以外の部分などは、「閾値を上回るほどには符号化量が小さくならない」と判定される傾向がある。このようなことから、輪郭領域特定部２４１ｂは、「閾値を上回るほどに符号化量が小さい」と判定されて符号化されたマクロブロックの画像上の位置を、動きのある対象物の輪郭に相当する領域として特定することができるのである。
【００６９】
輪郭画像生成部２４１ｃは、輪郭領域特定部２４１ｂによる特定結果を用いて、対象物の輪郭が現わされ輪郭以外を捨象した画像データ（輪郭画像とも称する）を生成する。具体的には、輪郭画像生成部２４１ｃは、輪郭領域特定部２４１ｂから対象物の輪郭に相当する領域の位置情報を受け付けると、受け付けた位置情報を用いて輪郭画像を生成する。
【００７０】
図８は、実施例１に係る輪郭画像の一例を示す図である。図８に例示するように、輪郭画像生成部２４１ｃは、輪郭領域特定部２４１ｂから受け付けた位置情報に基づいて、画素同士を線で結び、一部補完するなどして輪郭画像を生成する。ここで、輪郭のみが現わされた輪郭画像からは、個人を特定する情報等が大幅に削除されると考えられるので、プライバシー等の観点から有効な画像を生成することになる。なお、輪郭画像は図８の例に限られず、例えば、輪郭を囲む最小長方形等を算出し、輪郭画像として表示してもよい。
【００７１】
このような輪郭画像生成部２４１ｃは、図６に例示するように、対象物判定部２４１ｅと、加工部２４１ｆとを有する。対象物判定部２４１ｅは、輪郭画像生成部２４１ｃによって生成された輪郭画像を用いて、対象物が所定の物体であるか否かを判定する。具体的には、対象物判定部２４１ｅは、輪郭画像に現されている輪郭に基づいて、かかる輪郭領域によって示される対象物が人、動物又は乗物等であるか否かを判定する。
【００７２】
例えば、対象物判定部２４１ｅは、人、動物又は乗物等を示す形状のテンプレート（以下、「形状テンプレート」と表記する場合がある）を予め保持する。そして、対象物判定部２４１ｅは、対象物の輪郭と形状テンプレートとをパターンマッチング法などにより比較することにより、対象物が人、動物又は乗物等であるか否かを判定する。このとき、対象物判定部２４１ｅは、対象物の輪郭自体と形状テンプレートとを比較してもよいし、輪郭に囲まれた領域（以下、「輪郭領域」と表記する場合がある）の内部に、かかる輪郭領域を線によって表す中央線を描き、かかる中央線と形状テンプレートとを比較してもよい。
【００７３】
ここで、図９を用いて、対象物判定部２４１ｅによる対象物判定処理について説明する。図９は、実施例１における対象物判定部２４１ｅによる対象物判定処理の一例を示す図である。なお、図９では、対象物判定部２４１ｅが、輪郭領域内部の中央線と形状テンプレートとを比較する例について説明する。
【００７４】
図９に示した例のように、対象物判定部２４１ｅは、対象物の輪郭上の任意の点（例えば、図９中の点Ｐ）を、かかる点から輪郭領域Ｒ１１内部への法線方向に所定の長さだけ移動させる。対象物判定部２４１ｅは、輪郭上の複数の点について同様の処理を行うことで、図９に例示した輪郭よりも全体的に小さい輪郭を形成する。そして、対象物判定部２４１ｅは、輪郭上の複数の点について輪郭領域Ｒ１１内部へ移動させる処理を繰り返し行うことで、図９に例示したように、輪郭領域Ｒ１１に中央線Ｌ１１を描く。対象物判定部２４１ｅは、かかる中央線Ｌ１１と形状テンプレートとを比較し、輪郭領域Ｒ１１によって示される対象物が人、動物又は乗物等であるか否かを判定する。図９に示した例では、対象物判定部２４１ｅは、輪郭領域Ｒ１１によって示される対象物が人であると判定する。
【００７５】
なお、対象物判定部２４１ｅは、輪郭（輪郭領域内部の中央線を含む）と形状テンプレートとの比較にあたり、例えば、折れ曲がっている部分（関節に相当）の数や、枝分かれしている部分の数や、各領域の長さの比率等を比較する。例えば、対象物が人である場合には、かかる対象物は、概ねヒトデのような形状となる。したがって、対象物判定部２４１ｅは、輪郭の折れ曲がっている部分の数や枝分かれしている部分の数がヒトデと類似する場合には、対象物が人であると判定する。
【００７６】
図６の説明に戻って、加工部２４１ｆは、対象物判定部２４１ｅによる判定結果に基づいて、対象物の輪郭領域に、かかる対象物を示す画像データ以外の他の画像データを配置することで、輪郭画像を加工する。例えば、加工部２４１ｆは、対象物判定部２４１ｅによって輪郭領域によって示される対象物が人であると判定された場合には、輪郭領域に一般的な人を表す画像データを配置する。また、例えば、加工部２４１ｆは、対象物判定部２４１ｅによって輪郭領域によって示される対象物が動物や乗物等であると判定された場合には、輪郭領域に一般的な動物や乗物等を示す画像データを配置する。ここで、加工部２４１ｆは、人、動物又は乗物等であることを想起することができる代替用画像を予め保持し、これらの代替用画像を輪郭領域に配置することで、輪郭画像を加工する。この代替用画像は、例えば、所定の図形の組合せや、人、動物又は乗物等を示すアニメーション画像などである。
【００７７】
図１０は、実施例１における加工部２４１ｆによって加工された輪郭画像の一例を示す図である。なお、図１０に示した輪郭画像Ｇ１２は、加工部２４１ｆによって図９に例示した輪郭画像Ｇ１１が加工されたものとする。上記の通り、対象物判定部２４１ｅは、図９に例示した輪郭によって示される対象物を人であると判定する。したがって、加工部２４１ｆは、図１０に例示するように、輪郭領域Ｒ１１に人であることを想起することができる代替用画像を配置する。加工部２４１ｆは、このようにして輪郭画像Ｇ１１を加工することで図１０に例示した輪郭画像Ｇ１２を生成する。なお、図１０に示した例では、加工部２４１ｆは、輪郭領域Ｒ１１を折れ曲がっている部分で分断し、分断後の領域毎に、かかる領域の大きさに対応する図形（円形や楕円形や長方形等）を配置している。具体的には、加工部２４１ｆは、円形や楕円形や長方形等の各図形を保持しており、分断後の領域と保持している各図形とをパターンマッチング法などにより比較し、マッチする図形を分断後の領域に配置する。
【００７８】
なお、上記例においては、輪郭画像生成部２４１ｃが輪郭画像を生成し、かかる輪郭画像を加工部２４１ｆが加工する例を示した。しかし、輪郭画像生成部２４１ｃは輪郭画像を生成しなくてもよい。具体的には、対象物判定部２４１ｅが、輪郭領域特定部２４１ｂによって特定された輪郭に相当する領域に基づいて、対象物が人、動物又は乗物等であるか否かを判定し、加工部２４１ｆが、対象物判定部２４１ｅによる判定結果に基づいて、対象物を加工した後の輪郭画像（図１０の輪郭画像Ｇ１２等）を生成してもよい。
【００７９】
図６の説明に戻って、輪郭画像格納部２４１ｄは、加工部２４１ｆによって加工された輪郭画像を重畳部２４７に出力する。具体的には、輪郭画像格納部２４１ｄは、加工部２４１ｆによって加工された輪郭画像をフレームメモリ２４５から取得し、取得した輪郭画像を重畳部２４７に出力する。
【００８０】
重畳部２４７は、加工部２４１ｆにより加工された輪郭画像を受け付けるとともに、復号化画像格納部２４６から復号化画像を受け付け、受け付けた双方の画像を重畳した重畳画像を画像データ記憶部２１０に格納する。
【００８１】
ここで、図１１を用いて、重畳部２４７による重畳画像の生成処理について説明する。図１１は、実施例１における重畳部２４７による重畳画像生成処理の一例を示す図である。図１１に示した例において、重畳部２４７は、復号化画像格納部２４６から復号化画像Ｇ１０を受け付けるとともに、輪郭画像格納部２４１ｄから輪郭画像Ｇ１２を受け付ける。このとき、重畳部２４７は、復号化画像Ｇ１０から輪郭領域を取り除くことにより、背景画像Ｇ１３を生成する。例えば、重畳部２４７は、復号化画像Ｇ１０における輪郭領域内の全画素を所定の画素（例えば、『白』を示す画素値「１」等）にすることで、背景画像Ｇ１３を生成する。そして、重畳部２４７は、図１１に例示するように、背景画像Ｇ１３に輪郭画像Ｇ１２を重畳することで、重畳画像Ｇ１４を生成する。重畳部２４７は、このようにして生成した重畳画像Ｇ１４を画像データ記憶部２１０に格納する。
【００８２】
これにより、重畳部２４７は、人等のプライバシーが保護された重畳画像を表示することができる。さらに、加工部２４１ｆが、人、動物又は乗物等であることを想起することができる代替用画像を用いて輪郭画像を加工するので、重畳部２４７は、加工部２４１ｆによって加工された輪郭画像から生成した重畳画像を表示する場合であっても、復号化画像に描出されていた対象物と異なる対象物を想起させるような画像を表示することはない。すなわち、実施例１に係る仮想旅行装置２００は、復号化画像に描出されていた対象物と同一の人、動物又は乗物等であることを想起させることができる画像データであって、かかる対象物のプライバシーを保護することができる画像データを端末装置３００に配信することができる。
【００８３】
なお、上記の輪郭画像生成部２４１ｃによって特定される輪郭領域と、加工部２４１ｆによって用いられる代替用画像が占める領域とは、必ずしも一致するとは限らない。すなわち、図１１に示した例において、重畳部２４７によって復号化画像Ｇ１０から取り除かれる輪郭領域（背景画像Ｇ１３を参照）は、加工部２４１ｆによって用いられる代替用画像の領域（輪郭画像Ｇ１２を参照）と一致するとは限らない。このため、対象物を示す輪郭領域が代替用画像の領域よりも大きい場合には、重畳画像Ｇ１４の一部分は、所定の画素（例えば、『白』を示す画素値「１」等）となり、対象物も背景も描出されない可能性がある。
【００８４】
そこで、実施例１における加工部２４１ｆは、輪郭領域よりも代替用画像の占める領域が大きくなるように代替用画像を拡大してもよい。具体的には、加工部２４１ｆは、輪郭領域と代替用画像とを比較し、代替用画像が対象物の輪郭の全てを覆うことができるように代替用画像を拡大する。これにより、加工部２４１ｆは、重畳画像Ｇ１４の一部分に対象物及び背景が描出されなくなることを防止できる。
【００８５】
また、重畳画像の一部分に対象物及び背景が描出されないことを防止するために、重畳部２４７が、重畳画像を生成する際に、複数の復号化画像から背景画像を補完してもよい。この点について、図１２を用いて具体的に説明する。図１２は、実施例１における重畳部２４７による重畳画像生成処理の一例を示す図である。図１２に示した例において、時間ｔ＝１は、時間ｔ＝２よりも過去であるものとする。
【００８６】
重畳部２４７は、時間ｔ＝２において受け付けた復号化画像Ｇ２０から背景画像を生成する場合に、過去の復号化画像Ｇ１０も用いる。具体的には、重畳部２４７は、時間ｔ＝２に対応する復号化画像Ｇ２０から対象物の輪郭領域を取り除くことにより背景画像Ｇ２３を生成し、時間ｔ＝２よりも過去である時間ｔ＝１に受け付けた復号化画像Ｇ１０から対象物の輪郭領域を取り除くことにより背景画像Ｇ１３を生成する。そして、重畳部２４７は、背景画像Ｇ２３のうち、輪郭領域（例えば、画素値を「１」とした領域）に背景画像Ｇ１３の画素を配置することにより、背景画像Ｇ３０を生成する。具体的には、重畳部２４７は、背景画像Ｇ２３の輪郭領域に、かかる輪郭領域に対応する位置における背景画像Ｇ１３の画素を配置する。このように、重畳部２４７は、対象物が移動することを利用して、時相の異なる複数の復号化画像から、画素値「１」等に置き換えられた領域を含まない背景画像を生成する。重畳部２４７は、このような背景画像Ｇ３０に、加工部２４１ｆによって加工された輪郭画像を重畳させることにより、重畳画像の一部分に対象物及び背景が描出されなくなることを防止できる。
【００８７】
図４の説明に戻って、受付部２５０は、端末装置３００から各種情報を受け付ける。具体的には、受付部２５０は、仮想旅行の種類等の情報を含む仮想旅行要求を端末装置３００から受け付ける。
【００８８】
符号化部２６０は、画像データ記憶部２１０に格納されている各種画像データを符号化する。かかる符号化部２６０は、配信部２７０からの指示に従って、符号化処理を行う。なお、符号化部２６０は、公知の符号化装置と同様の機能を有する。
【００８９】
配信部２７０は、受付部２５０によって仮想旅行要求が受け付けられた場合に、かかる仮想旅行要求に含まれる仮想旅行の種類に対応する画像データを端末装置３００に配信する。具体的には、配信部２７０は、旅行プラン記憶部２２０に記憶されている各種情報に基づいて、受付部２５０によって受け付けられた仮想旅行の種類に対応する画像データを特定し、特定した画像データを符号化するように符号化部２６０を制御する。そして、配信部２７０は、符号化部２６０によって符号化された符号化データを、公衆ネットワーク網３０を介して端末装置３００に配信する。
【００９０】
例えば、旅行プラン記憶部２２０に記憶されている各種情報が図５に示した状態であるものとする。また、受付部２５０によって仮想旅行の種類「旅行プラン＝Ｐ１」といった情報を含む仮想旅行要求が受け付けられたものとする。かかる場合に、配信部２７０は、旅行プラン記憶部２２０に記憶されている旅行プラン「Ｐ１」に対応する各種情報に基づいて、画像データを端末装置３００に配信する。
【００９１】
具体的には、配信部２７０は、まず、電車１１に設置された撮影装置１００−１から受信した画像データを端末装置３００に配信する。このとき、配信部２７０は、電車１１が駅Ｘ１を出発して駅Ｘ２に到着するまでの間に撮影装置１００−１によって生成された画像データを端末装置３００に順次配信する。この点について具体的に説明すると、撮影装置１００−１は、例えばＧＰＳ（Global Positioning System）機能等によって電車１１の走行位置を取得し、電車１１の走行位置を示す走行位置情報とともに画像データを仮想旅行装置２００に送信する。仮想旅行装置２００の配信部２７０は、電車１１から受信する走行位置情報が駅Ｘ１の位置を示す場合に、かかる走行位置情報に対応する画像データを端末装置３００に配信開始し、走行位置情報が駅Ｘ２の位置を示すまで、撮影装置１００−１から受信する画像データの配信を継続する。そして、配信部２７０は、走行位置情報が駅Ｘ２の位置を示す場合には、撮影装置１００−１から受信する画像データの配信を停止する。
【００９２】
その後に、配信部２７０は、バス１２が停留所Ｙ１を出発して停留所Ｙ２に到着するまでの間に撮影装置１００−２によって生成された画像データを端末装置３００に順次配信する。かかる配信部２７０による配信処理は、上記例と同様に、撮影装置１００−２がバス１２の走行位置を示す走行位置情報とともに画像データを仮想旅行装置２００に送信することで実現される。その後に、配信部２７０は、観光地１３を撮影する撮影装置１００−３によって生成された画像データを３分間だけ配信し、観光地１４を撮影する撮影装置によって生成された画像データを５分間だけ配信する。
【００９３】
これにより、仮想旅行装置２００は、端末装置３００の利用者に対して、駅Ｘ１から駅Ｘ２まで電車１１に乗車し、停留所Ｙ１から停留所Ｙ２までバス１２に乗車し、その後に、観光地１３及び１４を参観したかのような仮想旅行を体験させることができる。また、仮想旅行装置２００は、現時点における風景や観光地に対応する画像データを略リアルタイムに配信するので、利用者に対して現実感の高い仮想旅行を体験させることができる。
【００９４】
［実施例１に係る端末装置３００の構成］
次に、図１３を用いて、実施例１に係る端末装置３００の構成について説明する。図１３は、実施例１に係る端末装置３００の構成を示すブロック図である。図１３に例示するように、実施例１に係る端末装置３００は、表示部３１０と、入力部３２０と、復号化部３３０と、仮想旅行アプリケーション部３４０とを有する。
【００９５】
表示部３１０は、各種情報を表示する表示デバイスであり、例えば、液晶表示装置等である。入力部３２０は、各種情報や操作指示を入力するための入力デバイスであり、例えば、キーボードやマウス等である。
【００９６】
復号化部３３０は、符号化データを復号化する。具体的には、復号化部３３０は、公知の復号化装置と同様の機能を有し、仮想旅行装置２００から配信された符号化データを復号化する。
【００９７】
仮想旅行アプリケーション部３４０は、利用者に仮想旅行を提供するためのアプリケーションである。具体的には、仮想旅行アプリケーション部３４０は、仮想旅行の種類を選択させるための選択画面や、復号化部３３０によって復号化された画像データを表示部３１０に表示制御する。また、仮想旅行アプリケーション部３４０は、選択画面や画像データ等を表示部３１０に表示している状態において、入力部３２０を介して、利用者から各種操作を受け付ける。
【００９８】
ここで、図１４及び図１５を用いて、仮想旅行アプリケーション部３４０によって表示部３１０に表示制御される各種画面の一例について説明する。図１４及び図１５は、実施例１に係る仮想旅行アプリケーション部３４０によって表示制御される各種画面例を示す図である。
【００９９】
まず、仮想旅行アプリケーション部３４０は、入力部３２０を介して仮想旅行を行う旨の操作が行われた場合に、図１４に示した例のように、ログイン画面Ｇ１０１を表示部３１０に表示制御する。仮想旅行アプリケーション部３４０は、ログイン画面Ｇ１０１において、例えば、利用者ＩＤ、パスワードの入力を受け付ける。なお、図１４に示したログイン画面Ｇ１０１のうち、「お任せ」は、仮想旅行アプリケーション部３４０によって仮想旅行の種類がランダムに決定されることを示し、「カスタム」は、仮想旅行の種類を利用者に選択させることを示す。
【０１００】
ここでは、ログイン画面Ｇ１０１において、利用者ＩＤ及びパスワードが入力されるとともに、「カスタム」が選択されたものとする。かかる場合に、仮想旅行アプリケーション部３４０は、図１４に示した例のように、仮想旅行の種類を選択するための選択画面Ｇ１０２を表示部３１０に表示制御する。選択画面Ｇ１０２に表示される仮想旅行の種類は、予め複数用意されており、仮想旅行の目的地や、仮想旅行に利用される乗物や、目的地に到着するまでにかかる時間等によって異なる。なお、選択画面Ｇ１０２に表示される仮想旅行の種類は、少なくとも仮想旅行装置２００の旅行プラン記憶部２２０に旅行プランとして記憶されている。
【０１０１】
ここでは、選択画面Ｇ１０２において、仮想旅行の種類「Ｐ１」が選択されたものとする。かかる場合に、仮想旅行アプリケーション部３４０は、図１４に示した例のように、手続き完了画面Ｇ１０３を表示部３１０に表示制御する。このとき、仮想旅行アプリケーション部３４０は、仮想旅行の種類「Ｐ１」を含む仮想旅行要求を仮想旅行装置２００に送信する。これにより、仮想旅行装置２００は、旅行プラン記憶部２２０に記憶されている各種情報に基づいて、仮想旅行の種類「Ｐ１」に対応する画像データを特定し、特定した画像データを端末装置３００に配信する。
【０１０２】
なお、図１４に示した例では、仮想旅行アプリケーション部３４０は、手続き完了画面Ｇ１０３において、即座に仮想旅行を開始するか、仮想旅行を開始する前に休憩するかを利用者に選択させる。ここで、利用者によって「休憩」が選択された場合であっても、仮想旅行装置２００から画像データが順次配信されるので、仮想旅行は進行することとなる。
【０１０３】
続いて、手続き完了画面Ｇ１０３において、仮想旅行を開始するための「スタート」が選択されたものとする。ここで、仮想旅行装置２００は、図５に例示した旅行プラン「Ｐ１」に対応する各種画像データを配信するものとする。具体的には、仮想旅行装置２００は、まず、配信順序が「１」である電車１１に設置された撮影装置１００によって生成された画像データを配信する。かかる場合に、仮想旅行アプリケーション部３４０は、図１５に示した例のように、仮想旅行装置２００によって配信される画像データを含む仮想旅行画面Ｇ１０４を表示部３１０に表示制御する。仮想旅行アプリケーション部３４０は、電車１１に設置された撮影装置１００によって生成された画像データが仮想旅行装置２００から配信されている間、仮想旅行画面Ｇ１０４を表示部３１０に表示制御する。これにより、仮想旅行アプリケーション部３４０は、撮影装置１００によって撮影された風景をリアルタイムに表示部３１０に表示することができる。
【０１０４】
また、図１５に示した例では、仮想旅行アプリケーション部３４０は、電車１１に設置された撮影装置１００によって生成された画像データが仮想旅行装置２００から配信されなくなった場合に、休憩確認画面Ｇ１０５を表示部３１０に表示制御する。具体的には、仮想旅行装置２００は、図５に示した例のように、電車１１に設置された撮影装置１００によって生成された画像データのうち、電車１１が駅Ｘ１から駅Ｘ２までの区間を走行している際に生成された画像データを配信する。したがって、仮想旅行装置２００は、電車１１が駅Ｘ２に到着した際には、画像データの配信を一端停止した後に、配信順序が「２」であるバス１２に設置された撮影装置１００によって生成された画像データの配信を開始する。このような場合に、仮想旅行アプリケーション部３４０は、仮想旅行装置２００によって配信される画像データの区切りの部分において、休憩確認画面Ｇ１０５を表示することで、利用者に休憩するか否かを問い合わせる。
【０１０５】
このようにして、仮想旅行アプリケーション部３４０は、バス１２に設置された撮影装置１００によって生成された画像データを含む仮想旅行画面Ｇ１０６や、休憩確認画面Ｇ１０７や、観光地を撮影する撮影装置１００によって生成された画像データを含む仮想旅行画面Ｇ１０８等を表示部３１０に表示制御する。そして、仮想旅行アプリケーション部３４０は、仮想旅行装置２００による画像データの配信が終了した場合に、図１５に示した例のように、終了画面Ｇ１０９を表示部３１０に表示制御する。
【０１０６】
［実施例１の処理手順］
次に、図１６を用いて、実施例１に係る仮想旅行システム１による処理の手順について説明する。図１６は、実施例１に係る仮想旅行システム１による処理手順を示すシーケンス図である。なお、図１６では、１台の撮影装置１００を示したが、かかる撮影装置１００は、図１に例示した撮影装置１００−１〜１００−３等の複数の撮影装置に対応する。
【０１０７】
図１６に示すように、実施例１に係る端末装置３００は、仮想旅行を行う旨の操作、及び、仮想旅行の種類を選択する操作が行われた場合に、仮想旅行の種類を含む仮想旅行要求を仮想旅行装置２００に送信する（ステップＳ１０１）。例えば、端末装置３００は、図１４に例示した選択画面Ｇ１０２において仮想旅行の種類が選択された場合に、仮想旅行要求を仮想旅行装置２００に送信する。
【０１０８】
また、撮影装置１００は、所定の風景や観光地を撮影することにより画像データを生成し、かかる画像データを符号化した後の符号化データを仮想旅行装置２００に送信する（ステップＳ１０２）。このとき、撮影装置１００は、撮影処理を行うたびに符号化データを略リアルタイムに仮想旅行装置２００に送信する。
【０１０９】
仮想旅行装置２００は、端末装置３００から仮想旅行要求を受信した場合に、かかる仮想旅行要求に含まれる仮想旅行の種類に対応する画像データを特定する。そして、仮想旅行装置２００は、特定した画像データに対してプライバシーの保護処理を施す（ステップＳ１０３）。なお、仮想旅行装置２００による保護処理の手順については、図１７を用いて説明する。
【０１１０】
そして、仮想旅行装置２００は、プライバシーの保護処理を施した画像データを符号化した符号化データを端末装置３００に送信する（ステップＳ１０４）。これにより、端末装置３００は、仮想旅行装置２００から受信した画像データを表示部３１０に表示する（ステップＳ１０５）。
【０１１１】
次に、図１７を用いて、図１６のステップＳ１０３に示した保護処理の手順について説明する。図１７は、実施例１に係る仮想旅行装置２００による保護処理手順を示すフローチャートである。なお、図１７においては、輪郭領域特定部２４１ｂによって輪郭に相当する領域が特定されているものとする。
【０１１２】
仮想旅行装置２００の輪郭画像生成部２４１ｃは、輪郭領域特定部２４１ｂによって対象物の輪郭に相当する領域が特定された場合に、かかる輪郭の領域に基づいて対象物の輪郭画像を生成する（ステップＳ２０１）。続いて、対象物判定部２４１ｅは、輪郭画像生成部２４１ｃによって生成された輪郭画像に基づいて、対象物が人、動物又は乗物等であるか否かを判定する（ステップＳ２０２）。
【０１１３】
続いて、加工部２４１ｆは、対象物判定部２４１ｅによって対象物が人等であると判定された場合に（ステップＳ２０２肯定）、代替用画像を用いて、対象物判定部２４１ｅによって生成された輪郭画像を加工する（ステップＳ２０３）。このとき、加工部２４１ｆは、対象物判定部２４１ｅによって判定された対象物の種類（人、動物又は乗り物等）に対応する代替用画像を用いる。
【０１１４】
続いて、重畳部２４７は、復号化画像格納部２４６から受け付けた復号化画像から対象物の輪郭領域を取り除くことにより、背景画像を生成する（ステップＳ２０４）。そして、重畳部２４７は、背景画像に対して、加工部２４１ｆによって加工された輪郭画像を重畳することで、重畳画像を生成する（ステップＳ２０５）。
【０１１５】
［実施例１の効果］
上述したように、実施例１に係る仮想旅行システム１において、仮想旅行装置２００は、乗物内外又は建築物内外に設置された撮影装置１００によって撮影されることで生成された画像データを収集する。また、仮想旅行装置２００は、収集した画像データのうち、動きのある対象物が描出された領域を特定する。また、仮想旅行装置２００は、収集した画像データのうち、対象物を示す領域の画像データを他の画像データに加工する。そして、仮想旅行装置２００は、端末装置３００から、仮想的な旅行の行程に関する情報を含む仮想旅行要求を受け付けた場合に、加工済画像データのうち、仮想旅行要求に含まれる仮想的な旅行に用いられる乗物内外に設置された撮影装置１００、又は、かかる仮想旅行要求の行程の近傍に存在する建築物内外に設置された撮影装置１００によって生成された画像データが加工された加工済画像データを、端末装置３００に順次配信する。これにより、実施例１に係る仮想旅行システム１は、旅行先の不特定多数の対象物のプライバシーを保護した上で、リアルタイム性を有する仮想旅行を利用者に提供することができる。
【０１１６】
また、実施例１に係る仮想旅行システム１の撮影装置１００において、動きベクトル検出部１６０が、対象物が描出された画像データをマクロブロック毎に符号化するにあたり動きベクトルを検出する。また、動き補償部１７０が、動きベクトル検出部１６０によって検出された動きベクトルのうちフィールド予測モード用の動きベクトルを用いてマクロブロックを符号化する。また、動き補償部１７０が、動きベクトル検出部１６０によって検出された動きベクトルのうちフレーム予測モード用の動きベクトルを用いてマクロブロックを符号化する。そして、符号化モード判定部１１０が、フィールド予測モードによって符号化した場合の第１符号化量が、フレーム予測モードによって符号化した場合の第２符号化量に比較して所定閾値以上小さいと判定されたことを条件として、マクロブロックの符号化に用いる予測モードとしてフィールド予測モードを選択する。また、符号化部１２０が、選択された予測モードに従って画像データを符号化する。一方、仮想旅行装置２００において、ヘッダ情報読出部２４１ａが、符号化データに含まれるヘッダ情報から、ピクチャ構造情報及び予測モード情報を読み出す。また、輪郭領域特定部２４１ｂが、ピクチャ構造情報及び予測モード情報をマクロブロック毎に判定し、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合に、対応するマクロブロックの画像上の位置を対象物の輪郭に相当する領域として特定する。これにより、実施例１に係る仮想旅行システム１は、対象物の輪郭に相当する領域を特定することが可能になり、動きのある対象物を適切に抽出することが可能になる。
【０１１７】
例えば、動きベクトルが検出された画像領域を移動領域とみなす従来の技術では、対象物とノイズ（蛍光灯のちらつきや木の葉の揺れ等）との区別が課題となっていた。この点、実施例１に係る仮想旅行システム１によれば、このようなノイズは、フレーム予測モードで符号化されるので、対象物の輪郭に相当する領域との区別が可能になる。
【実施例２】
【０１１８】
次に、実施例２に係る仮想旅行システム２を説明する。実施例２に係る仮想旅行システム２は、実施例１に係る仮想旅行システム１と比較して、人（後述するエージェント）が保持する撮影装置によって生成された画像データを配信する点で異なる。以下に、このような実施例２に係る仮想旅行システム２について説明する。なお、以下では、既に示した構成部位と同様の機能を有する部位には同一符号を付すこととして、その詳細な説明を省略する。
【０１１９】
［実施例２に係る仮想旅行システム２の構成］
まず、図１８を用いて、実施例２に係る仮想旅行システム２について説明する。図１８は、実施例２に係る仮想旅行システム２の構成例を示す図である。図１８に例示した仮想旅行システム２には、撮影装置１００−１、１００−２、１００−３及び１００−４と、仮想旅行装置４００と、端末装置３００とが含まれる。
【０１２０】
撮影装置１００−４は、人であるエージェント２１によって保持され、かかるエージェント２１による操作に従って、風景や観光地等を撮影する。そして、撮影装置１００−４は、風景や観光地等の画像データを符号化し、符号化データを仮想旅行装置４００に送信する。
【０１２１】
ここで、エージェントについて説明する。実施例２におけるエージェントは、複数人存在し、全国各地に配置されるエージェントセンターにて待機する。ここでいう「エージェントセンター」の例としては、鉄道やバスが停車する主要な駅に存在する観光案内センターや、実施例２に係る仮想旅行システム２の経営者等によって主要な駅に設置される管理センター等が該当する。かかるエージェントセンターは、少なくとも図１４に例示した選択画面Ｇ１０２にて選択可能な仮想旅行の行き先近傍の駅等に配置される。
【０１２２】
仮想旅行装置４００は、撮影装置１００−４等の撮影装置１００によって生成された画像データを収集し、収集した画像データを利用者に提供する。具体的には、仮想旅行装置４００は、実施例１に係る仮想旅行装置２００と同様に、端末装置３００から仮想旅行要求を受信した場合に、かかる仮想旅行要求に対応する画像データに対してプライバシーの保護処理を施し、保護処理後の画像データをストリーミング方式等により端末装置３００に配信する。
【０１２３】
ここで、実施例２に係る仮想旅行装置４００は、端末装置３００から仮想旅行要求を受信した場合に、かかる仮想旅行要求に含まれる仮想旅行の種類に基づいて、仮想旅行の行き先近傍に配置されたエージェントセンターにて待機するエージェントの撮影装置に対して仮想旅行のスケジュールを送信する。これにより、エージェントセンターにて待機するエージェント２１は、出発時刻や、行き先の観光地等の情報を取得し、仮想旅行のスケジュールに従って行動することにより、撮影装置１００−４を用いて風景や観光地等を撮影し、かかる風景や観光地等の画像データに対応する符号化データを仮想旅行装置４００に送信する。
【０１２４】
また、実施例２に係る仮想旅行装置４００は、端末装置３００からエージェント２１に対する要望を受け付ける。具体的には、端末装置３００は、撮影対象とする風景や行き先等に関する要望データ（音声データやテキストデータ）を利用者から受け付け、受け付けた要望データを仮想旅行装置４００に送信する。仮想旅行装置４００は、端末装置３００から受け付けた要望データを撮影装置１００−４に送信する。これにより、エージェント２１は、撮影装置１００−４が受信した要望データを確認することで、利用者の要望に従って、撮影対象とする風景や行き先等を決定することができる。
【０１２５】
［実施例２に係る撮影装置１００−４の構成］
次に、図１９を用いて、図１８に示した撮影装置１００−４について説明する。図１９は、実施例２に係る撮影装置１００−４の構成を示すブロック図である。図１９に例示するように、実施例２に係る撮影装置１００−４は、実施例１に係る撮影装置１００と同様に、撮影部１０１及び符号化装置１０２を有するとともに、受信部１０３と、出力部１０４とを更に有する。
【０１２６】
受信部１０３は、仮想旅行装置４００から仮想旅行のスケジュールや要望データを受け付ける。かかる要望データは、撮影対象とする風景や行き先等に関する音声データやテキストデータ等であり、端末装置３００の利用者によって生成される。出力部１０４は、音声データである要望データを出力するためのスピーカや、テキストデータである要望データを出力するためのディスプレイ等である。すなわち、撮影装置１００−４を保持するエージェント２１は、要望データを出力部１０４に出力させる操作を行うことで、利用者の要望を確認することができる。
【０１２７】
［実施例２に係る仮想旅行装置４００の構成］
次に、図２０を用いて、実施例２に係る仮想旅行装置４００の構成について説明する。図２０は、実施例２に係る仮想旅行装置４００の構成を示すブロック図である。図２０に例示するように、実施例２に係る仮想旅行装置４００は、実施例１に係る仮想旅行装置２００と同様に、画像データ記憶部２１０、収集部２３０、復号化部２４０、符号化部２６０及び配信部２７０を有するとともに、旅行プラン記憶部４２０と、受付部４５０と、送信部４８０とを有する。
【０１２８】
旅行プラン記憶部４２０は、仮想旅行の種類に対応付けて、配信対象となる画像データに関する情報を記憶する。ここで、図２１に、実施例２に係る旅行プラン記憶部４２０の一例を示す。図２０に例示した旅行プラン記憶部４２０は、旅行プラン「Ｐ１」において、最初に電車１１に設置された撮影装置１００−１によって生成された画像データを配信し、次に、バス１２に設置された撮影装置１００−２によって生成された画像データを配信し、次に、エージェント２１によって保持される撮影装置１００−４によって生成された画像データを配信することを示している。また、上記例において、旅行プラン記憶部４２０は、撮影装置１００−４によって生成された全ての画像データを配信することを示している。
【０１２９】
受付部４５０は、実施例１における受付部２５０と同様に、仮想旅行の種類等の情報を含む仮想旅行要求を端末装置３００から受け付ける。さらに、実施例２における受付部４５０は、要望データを端末装置３００から受け付ける。
【０１３０】
送信部４８０は、受付部４５０によって仮想旅行要求が受け付けられた場合に、かかる仮想旅行要求に含まれる仮想旅行の種類（旅行プラン）に対応する各種情報を旅行プラン記憶部４２０から取得し、取得した各種情報を仮想旅行のスケジュールとして撮影装置１００−４に送信する。また、送信部４８０は、受付部４５０によって要望データが受け付けられた場合に、かかる要望データを撮影装置１００−４に送信する。
【０１３１】
なお、受付部４５０は、配信部２７０による画像データの配信中に要望データを受け付けてもよいし、配信部２７０による画像データの配信前に要望データを受け付けてもよい。これにより、仮想旅行装置４００は、利用者の要望を略リアルタイムにエージェント２１に通知することができる。
【０１３２】
また、ここでは図示することを省略するが、実施例２における端末装置３００は、音声を録音して音声データを生成する機能や、入力部３２０を介して入力された文字を含むテキストデータ等を生成する機能を有する。そして、端末装置３００は、これらの音声データやテキストデータ等を要望データとして端末装置３００に送信する機能を有する。
【０１３３】
［実施例２の効果］
上述したように、実施例２に係る仮想旅行システム２において、仮想旅行装置４００は、各地に配置された人であるエージェントが所持する撮影装置に対して、端末装置３００から受信した仮想旅行要求に含まれる仮想的な旅行の行程に関する各種情報を送信する。また、仮想旅行装置４００は、かかるエージェントが保持する撮影装置によって撮影されることで生成された画像データを収集する。そして、仮想旅行装置４００は、各種の撮影装置から収集した画像データを端末装置３００に配信する。これにより、実施例２に係る仮想旅行システム２は、撮影装置が乗物や建築物等に設置されていない地域の画像データについても収集することができ、この結果、広範囲な仮想旅行を実現することができる。また、実施例２に係る仮想旅行システム２が普及した場合には、全国各地にエージェントの求人を行うことで、失業率の低下を望める。
【０１３４】
また、実施例２に係る仮想旅行システム２において、仮想旅行装置４００は、エージェントが所持する撮影装置に対して、仮想旅行に対する利用者の要望を含む要望データを送信する。これにより、実施例２に係る仮想旅行システム２は、利用者の要望をリアルタイムにエージェントに通知することができ、この結果、利用者の要望に従って行動するようにエージェントを指示することができる。
【実施例３】
【０１３５】
次に、実施例３に係る仮想旅行システムを説明する。実施例３に係る仮想旅行システムは、実施例１及び２に係る仮想旅行システムと同様、撮影装置、仮想旅行装置及び端末装置を備えるが、仮想旅行装置の復号化部２４０において、輪郭抽出処理を補完する機能が更に追加された点で異なる。
【０１３６】
図２２は、実施例３に係る復号化部２４０の構成を示すブロック図である。図２２に例示するように、実施例３に係る復号化部２４０は、輪郭抽出部２４１に、輪郭抽出補完部２４１ｇをさらに備える。輪郭抽出補完部２４１ｇは、フレームメモリ２４５に格納された復号化画像を用いて輪郭抽出を行う。具体的には、輪郭抽出補完部２４１ｇは、フレームメモリ２４５に格納された復号化画像に対して、１フレーム内の全領域（又は特定の領域）を走査し、例えばマクロブロック単位で動きベクトルを算出する。次に、輪郭抽出補完部２４１ｇは、算出した結果から、動きベクトルが存在するマクロブロックと、動きベクトルが存在しないマクロブロック（≒０）とを特定し、動きベクトルが存在するマクロブロックや、その境界に位置づけられるマクロブロックの画像上の位置を、輪郭に相当する領域として特定する。そして、輪郭抽出補完部２４１ｇは、輪郭情報（マクロブロックの画像上の位置を示す位置情報等）を輪郭画像生成部２４１ｃに送る。
【０１３７】
実施例３に係る輪郭画像生成部２４１ｃは、輪郭領域特定部２４１ｂによる特定結果のみならず、輪郭抽出補完部２４１ｇから受け付けた輪郭情報を補完的に用いて、輪郭画像を生成する。例えば対象物が複雑な形状である場合や、対象物の動きが複雑な動きであった場合等には、輪郭領域特定部２４１ｂによる処理も、あるいは、輪郭抽出補完部２４１ｇによる処理も、必ずしも最適な結果とならない可能性がある。この点、実施例３に係る仮想旅行システムによれば、輪郭領域特定部２４１ｂ及び輪郭抽出補完部２４１ｇそれぞれが、異なる手法により相補的に二重の処理を行うことになるので、対象物の輪郭に相当する領域を一段と精度よく特定することが可能になる。
【０１３８】
例えば、輪郭画像生成部２４１ｃは、輪郭領域特定部２４１ｂから受け付けた位置情報がある領域において少なく、所定の閾値を下回る場合には、その領域については画素間を線で結ぶ処理に適さないとして、輪郭抽出補完部２４１ｇから受け付けた輪郭情報を補完的に用いる。
【実施例４】
【０１３９】
これまで、開示の技術に係る仮想旅行システム、仮想旅行装置及び仮想旅行プログラムの実施例として実施例１〜３を説明してきたが、開示の技術はこれに限られるものではなく、種々の異なる形態にて実施されてよいものである。実施例４では、開示の技術に係る仮想旅行システム、仮想旅行装置及び仮想旅行プログラムの他の実施例について説明する。
【０１４０】
［加工処理］
上記実施例１〜３では、加工部２４１ｆが、図１０に例示したような代替用画像を用いて輪郭画像を加工する例を示した。しかし、加工部２４１ｆによる加工処理は、代替用画像を用いた例に限られない。以下に、加工部２４１ｆによる加工処理についていくつか例を挙げて説明する。
【０１４１】
例えば、加工部２４１ｆは、対象物の輪郭領域に所定の画素（例えば、『黒』を示す画素値「０」等）を配置することで、特定の人、動物又は乗物等を特定されないようにしてもよい。このとき、加工部２４１ｆは、対象物の種類に応じて輪郭領域に配置する画素値を変更してもよい。例えば、加工部２４１ｆは、対象物が人である場合には、輪郭領域に『黒』を示す画素値を配置し、対象物が動物である場合には、輪郭領域に『青』を示す画素を配置してもよい。
【０１４２】
このとき、加工部２４１ｆは、仮想旅行の旅行先や、仮想旅行が行われる季節や、仮想旅行が行われる時間帯等に応じて、対象物の輪郭領域に配置する画素値を変動させてもよい。例えば、加工部２４１ｆは、仮想旅行の旅行先が寒い地域（例えば、東北地方や北海道等の寒冷地）である場合には、対象物の輪郭領域に寒色（青、又は、青に近い色等を示し、「後退色」とも呼ばれる）の画素値を配置し、仮想旅行の旅行先が暖かい地域（例えば、九州地方や沖縄等の温暖地）である場合には、対象物の輪郭領域に暖色（赤や黄色やオレンジ色等を示し、「進出色」とも呼ばれる）の画素値を配置してもよい。このとき、加工部２４１ｆは、仮想旅行の旅行先となる地域の緯度が所定範囲内の緯度であるか否かに基づいて、仮想旅行の旅行先が寒い地域であるか暖かい地域であるかを判定する。また、例えば、加工部２４１ｆは、仮想旅行が寒い季節（例えば、１１月〜２月）に行われる場合には、対象物の輪郭領域に寒色の画素値を配置し、仮想旅行が暖かい季節（例えば、７月〜９月）に行われる場合には、対象物の輪郭領域に暖色の画素値を配置してもよい。このとき、加工部２４１ｆは、現在日時に基づいて、仮想旅行が行われる季節を判定する。なお、加工部２４１ｆは、仮想旅行の旅行先、及び、仮想旅行が行われる季節の双方に基づいて、仮想旅行の旅行先が寒い地域であるか暖かい地域であるかを判定してもよい。
【０１４３】
また、加工部２４１ｆは、対象物の輪郭領域について二値化処理を施してもよい。具体的には、加工部２４１ｆは、輪郭領域に含まれる各画素値について、所定の閾値以上であるか否かを判定する。そして、加工部２４１ｆは、画素値が所定の閾値以上である領域については画素値を「１」とし、画素値が所定の閾値よりも小さい領域については画素値を「０」とする。これにより、加工部２４１ｆは、対象物を２種類の画素値によって現すことが可能になり、この結果、対象物が何であるかを想起しやすくすることができる。
【０１４４】
また、加工部２４１ｆは、対象物の輪郭領域に含まれる画素の配置を変更することで、特定の人、動物又は乗物等を特定されないようにしてもよい。具体的には、加工部２４１ｆは、輪郭領域を所定のマクロブロック（例えば、横１６×縦１６画素）毎に分割し、マクロブロック内で画素の位置を変更してもよい。例えば、加工部２４１ｆは、輪郭領域をマクロブロックＭ１〜Ｍ１０に分割した場合に、マクロブロックＭ１に含まれる各画素の配置をマクロブロックＭ１内で変更する。加工部２４１ｆは、同様の処理をマクロブロックＭ２〜Ｍ１０についても行う。なお、加工部２４１ｆによる画素の配置変更処理は、任意の手法を適用することができる。例えば、加工部２４１ｆは、横方向に隣接する２個の画素の位置を変更してもよいし、縦方向に隣接する２個の画素の位置を変更してもよい。また、例えば、加工部２４１ｆは、画素の配置を変更するのではなく、マクロブロック（マクロブロックＭ１等）内の全画素値の平均値を算出し、算出した画素値をマクロブロックに配置してもよい。
【０１４５】
また、加工部２４１ｆは、対象物の輪郭領域に含まれる画素値を変更することで、特定の人、動物又は乗物等を特定されないようにしてもよい。すなわち、加工部２４１ｆは、輪郭領域に含まれる画素値を変更することで、対象物の色合いを変更する。例えば、加工部２４１ｆは、対象領域が人である場合に、対象領域のうち顔を示す領域、胴体を示す領域、手足を示す領域を特定する。そして、加工部２４１ｆは、顔を示す領域については、全てを同一画素値に置き換え、胴体を示す領域や手足を示す領域については、かかる領域の画素値に所定の画素値を加算又は減算する。これにより、加工部２４１ｆは、対象物の顔が特定されず、かつ、対象物の服や皮膚の色を変更することができる。この結果、加工部２４１ｆは、対象物が所定の人物であると特定されることを防止できるので、対象物のプライバシーを保護することができる。
【０１４６】
また、例えば、加工部２４１ｆは、顔を示す領域については、上記例のように画素の配置を変更してもよい。これにより、加工部２４１ｆは、対象物の顔をやや異なる顔に変更することができ、対象物が所定の人物であると特定されることを防止できる。また、例えば、加工部２４１ｆは、顔を示す領域のうち、眉毛、目、鼻、口等を示す領域を特定し、特定した眉毛、目、鼻、口等の位置や変更してもよい。例えば、加工部２４１ｆは、眉毛を頭頂部方向に移動させることで額を狭くしたり、目や鼻や口の大きさを変更したりする。これにより、加工部２４１ｆは、対象物が所定の人物であると特定されることを防止できる。
【０１４７】
［移動カメラ］
また、上記実施例１〜３における仮想旅行システムは、画像データが、例えば移動するカメラによって収集された画像データである場合にも、同様に適用することができる。この場合には、背景となる部分からも動きベクトルが検出されることになるので、符号化装置は、背景となる部分から検出される動きベクトルを差し引いた後の「局所的な動きベクトル」のみを用いて上記処理を行う必要がある。
【０１４８】
例えば、動きベクトル検出部１６０は、基本となる動きベクトルと同じ動きベクトルであるか、あるいはそれ以外の動きベクトルであるかを判別して動作する。言い換えると、動きベクトル検出部１６０は、動きベクトルとして同じ値が繰り返されるのか、あるいはそれ以外の値となるのかを判別して動作する。ここで、動きベクトル検出部１６０は、動きベクトルの予測において、全体の中から予測としてより正しいものがどこにあるかを探索するが、この時、背景となる部分の動きベクトルは、一定のものが繰り返し利用されることになる。このため、動きベクトル検出部１６０は、繰り返し利用される動きベクトルとは異なる動きベクトルが予測として最も正しいものとして探索された場合に、背景以外の部分から検出された動きベクトルであると判別することができる。
【０１４９】
［課金処理］
また、上記実施例１〜３に係る仮想旅行装置２００及び４００は、課金機能を有してもよい。具体的には、端末装置３００は、図１５に例示した終了画面Ｇ１０９を表示した後に、仮想旅行が終了した旨を仮想旅行装置２００及び４００に通知する。そして、仮想旅行装置２００及び４００は、かかる通知を受信した場合に、予め決められている仮想旅行に対応する料金を利用者に課金してもよい。
【０１５０】
［録画機能］
また、上記実施例１〜３に係る仮想旅行装置２００及び４００は、端末装置３００に配信した画像データを配信済画像データとして、所定の記憶部に保持してもよい。例えば、仮想旅行装置２００及び４００は、仮想旅行が行われた日時等に対応付けて、配信済画像データを保持してもよい。そして、仮想旅行装置２００及び４００は、端末装置３００から、過去に行われた仮想旅行を再度行う旨の仮想旅行要求を受け付けた場合には、かかる仮想旅行要求に対応する配信済画像データを端末装置３００に配信してもよい。
【０１５１】
［仮想旅行の種類］
また、上記実施例１〜３においては、端末装置３００が、図１４に例示した選択画面Ｇ１０２にて仮想旅行の種類を利用者に選択させる例を示した。しかし、端末装置３００は、表示部３１０に地図を表示し、かかる地図上に線を描写させる等して、仮想旅行の行程を利用者に入力させてもよい。このとき、端末装置３００は、各行程において利用する乗物や、各行程にかかる時間等を入力させてもよい。かかる場合に、端末装置３００は、仮想旅行の行程や乗物等の情報を仮想旅行装置２００又は４００に送信する。そして、仮想旅行装置２００又は４００は、端末装置３００から受信した仮想旅行の行程や乗物等の情報に基づいて、かかる乗物内外に設置された撮影装置１００、又は、かかる行程の近傍に存在する建築物内外に設置された撮影装置１００によって生成された画像データを端末装置３００に配信する。このような場合には、仮想旅行装置２００又は４００は、例えば、撮影装置１００が設置されている位置情報等を保持することで、端末装置３００から受信した仮想旅行の行程や乗物等に対応する撮影装置１００を特定することができる。
【０１５２】
［買い物機能］
また、上記実施例１〜３に係る仮想旅行装置２００及び４００は、仮想旅行先に存在する販売店（土産屋やアンテナショップ等）が撮影されることで生成された画像データを予め保持してもよい。そして、仮想旅行装置２００及び４００は、仮想旅行の画像データを配信している間に、販売店に立ち寄る旨の買い物要求を端末装置３００から受け付けた場合に、かかる買い物要求に対応する販売店の画像データを端末装置３００に配信してもよい。そして、端末装置３００は、販売店の画像データを表示部３１０に表示している際に、利用者から購入対象の品物に関する情報を受け付け、受け付けた品物情報を仮想旅行装置２００や、販売店等に通知することで、利用者に品物を実際に購入させてもよい。
【０１５３】
［魚眼レンズ］
また、上記実施例１〜３に係る撮影装置１００は、特開２００４−２７２７６７号公報に開示された魚眼レンズを有し、かかる魚眼レンズを用いて撮像処理を行ってもよい。そして、仮想旅行装置２００や４００、又は、端末装置３００は、特開２００４−２７２７６７号公報に開示された技術により、魚眼レンズにより撮像された局面像から平面像を生成してもよい。
【０１５４】
［画像データの種類］
また、上記実施例１〜３に係る仮想旅行システムにおいて扱う画像データの種類は、ＭＰＥＧ−２、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４等に限られず、フレーム予測モードとフィールド予測モードとを動的に選択する手法を用いて符号化された画像データであれば、他の種類の画像データであってもよい。
【０１５５】
［システムの構成］
上記実施例１〜３においては、図３又は図１９に例示した撮影装置１００が、符号化処理を行い、仮想旅行装置２００又は４００が、復号化処理、輪郭抽出処理、プライバシーの保護処理（加工処理）、符号化処理を行い、端末装置３００が復号化処理を行う例を示した。しかし、各装置において行われる処理はこの例に限られない。
【０１５６】
例えば、仮想旅行装置２００又は４００は、撮影装置１００から受信した符号化データに対して復号化処理、輪郭抽出処理、プライバシーの保護処理（加工処理）を行わずに、かかる符号化データを画像データ記憶部２１０に保持するだけでもよい。そして、仮想旅行装置２００又は４００は、端末装置３００から受信した仮想旅行要求に対応する符号化データを画像データ記憶部２１０から取得し、取得した符号化データを端末装置３００に配信してもよい。かかる場合、仮想旅行装置２００又は４００は、復号化部２４０及び符号化部２６０を有しなくてもよい。そして、端末装置３００が、復号化部２４０及び符号化部２６０と同様の機能を有し、仮想旅行装置２００又は４００から受信した符号化データに対して、復号化処理、輪郭抽出処理、プライバシーの保護処理（加工処理）を行った後に、画像データを表示部３１０に表示してもよい。
【０１５７】
また、例えば、撮影装置１００が、復号化部２４０及び符号化部２６０と同様の機能を有し、符号化装置１０２によって符号化された符号化データに対して、復号化処理、輪郭抽出処理、プライバシーの保護処理（加工処理）を行い、プライバシーの保護処理後の画像データを符号化した符号化データを仮想旅行装置２００又は４００から送信してもよい。かかる場合、仮想旅行装置２００又は４００は、復号化部２４０及び符号化部２６０を有しなくてもよく、撮影装置１００から受信した符号化データに対して復号化処理、輪郭抽出処理、プライバシーの保護処理（加工処理）を行わずに、かかる符号化データを画像データ記憶部２１０に保持し、端末装置３００から受信した仮想旅行要求に対応する符号化データを画像データ記憶部２１０から取得し、取得した符号化データを端末装置３００に配信するだけでよい。
【０１５８】
また、上記実施例２においては、端末装置３００が、要望データを仮想旅行装置４００に送信する例を示した。しかし、端末装置３００は、仮想旅行装置４００を介さずに、要望データを撮影装置１００−４に送信してもよい。具体的には、端末装置３００によって送信される要望データは、仮想旅行が行われている最中に送信されることが多い。かかる場合に、仮想旅行における画像データを送信している撮影装置１００−４は特定されている。このため、端末装置３００は、画像データを送信している撮影装置１００−４の宛先情報（ＩＰアドレス等）を仮想旅行装置４００から受信しておき、かかる宛先情報を用いて要望データを撮影装置１００−４に送信してもよい。
【０１５９】
また、上記の撮影装置１００−４及び端末装置３００は、テレビ電話等の機能を有してもよい。かかる場合には、端末装置３００は、かかるテレビ電話によって、仮想旅行に対する利用者の要望をエージェントに通知することができる。
【０１６０】
［仮想旅行プログラム］
また、上記実施例において説明した仮想旅行装置２００又は４００は、仮想旅行プログラムによる情報処理がコンピュータを用いて具体的に実現されることで実行されてもよい。コンピュータは、例えば、ＣＰＵ（Central Processing Unit）と、システムメモリと、ハードディスクドライブインタフェースと、ディスクドライブインタフェースと、シリアルポートインタフェースと、ビデオアダプタと、ネットワークインタフェースとを有し、これらの各部はシステムバスによって接続される。システムメモリは、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含む。ＲＯＭは、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェースは、ハードディスクドライブに接続される。ディスクドライブインタフェースは、ディスクドライブに接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブに挿入される。シリアルポートインタフェースは例えば、マウス、キーボードに接続される。ビデオアダプタは、例えば、モニタに接続される。
【０１６１】
ここで、ハードディスクドライブは、例えば、ＯＳ（Operating System）、アプリケーションプログラム、プログラムモジュール、プログラムデータを記憶する。すなわち、上記の仮想旅行プラグラムは、コンピュータによって実行される指令が記述されたプログラムモジュールとして、例えばハードディスクに記憶される。具体的には、上記実施例で説明した収集部２３０と同様の処理を実行する手順と、復号化部２４０と同様の処理を実行する手順と、受付部２５０と同様の処理を実行する手順と、符号化部２６０と同様の処理を実行する手順と、配信部２７０と同様の処理を実行する手順とが記述されたプログラムモジュールが、ハードディスクに記憶される。
【０１６２】
なお、仮想旅行プラグラムに係るプログラムモジュールやプログラムデータは、ハードディスクに記憶される場合に限られず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ等を介してＣＰＵによって読み出されてもよい。あるいは、仮想旅行プラグラムに係るプログラムモジュールやプログラムデータは、ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶され、ネットワークインタフェースを介してＣＰＵによって読み出されてもよい。
【符号の説明】
【０１６３】
１ 仮想旅行システム
２１ エージェント
１００ 撮影装置
２００ 仮想旅行装置
２１０ 画像データ記憶部
２２０ 旅行プラン記憶部
２３０ 収集部
２４０ 復号化部
２４１ 輪郭抽出部
２４１ａ ヘッダ情報読出部
２４１ｂ 輪郭領域特定部
２４１ｃ 輪郭画像生成部
２４１ｄ 輪郭画像格納部
２４１ｅ 対象物判定部
２４１ｆ 加工部
２４１ｇ 輪郭抽出補完部
２４２ 可変長復号−逆スキャン部
２４３ 逆量子化−逆ＤＣＴ部
２４４ 動き補償部
２４５ フレームメモリ
２４６ 復号化画像格納部
２４７ 重畳部
２５０ 受付部
２６０ 符号化部
２７０ 配信部
３００ 端末装置
【特許請求の範囲】
【請求項１】
利用者に仮想的な旅行を提供する仮想旅行システムであって、
乗物内外又は建築物内外に設置された撮影装置によって撮影されることで生成された画像データを収集する収集部と、
前記収集部によって収集された画像データのうち、動きのある対象物が描出された領域を特定する特定部と、
前記収集部によって収集された画像データのうち、前記特定部によって特定された対象物を示す領域の画像データを他の画像データに加工する加工部と、
前記利用者が利用する利用者端末から、前記仮想的な旅行の行程に関する情報を含む仮想旅行要求を受け付ける受付部と、
前記加工部によって加工された加工済画像データのうち、前記受付部によって受け付けられた仮想旅行要求において要求されている仮想的な旅行に用いられる乗物内外に設置された撮影装置、又は、該仮想的な旅行の行程の近傍に存在する建築物内外に設置された撮影装置によって生成された画像データが加工された加工済画像データを、前記利用者端末に順次配信する配信部と
を備えたことを特徴とする仮想旅行システム。
【請求項２】
前記撮影装置は、
対象物が描出された画像データをマクロブロック毎に符号化するにあたり動きベクトルを検出する検出部と、
前記検出部によって検出された動きベクトルのうちフィールド予測モード用の動きベクトルを用いて前記マクロブロックを符号化するフィールド予測モード符号化部と、
前記検出部によって検出された動きベクトルのうちフレーム予測モード用の動きベクトルを用いて前記マクロブロックを符号化するフレーム予測モード符号化部と、
前記フィールド予測モード符号化部によって前記マクロブロックを符号化した場合の第１符号化量と、前記フレーム予測モード符号化部によって前記マクロブロックを符号化した場合の第２符号化量とを比較し、比較の結果、第１符号化量が第２符号化量に比較して所定閾値以上小さいと判定されたことを条件として、前記マクロブロックの符号化に用いる予測モードとしてフィールド予測モードを選択する選択部と、
前記選択部によって選択された予測モードに従って前記画像データを符号化する符号化部と
を備え、
前記仮想旅行システムは、
前記符号化部によって符号化された符号化データに含まれるヘッダ情報から、ピクチャ毎に該ピクチャの構造を示すピクチャ構造情報を読み出すとともに、該ピクチャに含まれるマクロブロック毎に該マクロブロックの符号化に用いられた予測モードを示す予測モード情報を読み出す読出部
をさらに備え、
前記特定部は、
前記ピクチャ構造情報および前記予測モード情報をマクロブロック毎に判定し、該ピクチャ構造情報がフレーム構造を示し、かつ、該予測モード情報がフィールド予測モードを示す場合に、該マクロブロックの画像上の位置を前記対象物の輪郭に相当する領域として特定し、
前記加工部は、
前記収集部によって収集された画像データのうち、前記特定部によって特定された前記対象物の輪郭に囲まれた領域である輪郭領域の画像データを他の画像データに加工する
ことを特徴とする請求項１に記載の仮想旅行システム。
【請求項３】
前記特定部によって特定された輪郭に相当する領域に基づいて、前記対象物が示す物体を判定する対象物判定部
をさらに備え、
前記加工部は、
前記特定部によって特定された前記対象物の輪郭に囲まれた領域の画像データを、前記対象物判定部によって判定された該対象物が示す物体を想起させる画像である代替用画像を前記輪郭領域に配置する
ことを特徴とする請求項２に記載の仮想旅行システム。
【請求項４】
各地に配置された人であるエージェントによって所持されるエージェント撮影装置に対して、前記受付部によって受け付けられた仮想旅行要求に含まれる仮想的な旅行の行程に関する情報を送信する送信部
をさらに備え、
前記収集部は、
前記エージェント撮影装置によって撮影されることで生成された画像データをさらに収集する
ことを特徴とする請求項１〜３のいずれか一つに記載の仮想旅行システム。
【請求項５】
前記エージェント撮影装置は、
前記仮想的な旅行に対する前記利用者の要望を含む要望データを受信する受信部と、
前記受信部によって受信された要望データを出力する出力部と
を備えたことを特徴とする請求項４に記載の仮想旅行システム。
【請求項６】
前記加工部は、
前記輪郭領域内の各画素値に所定の値を加算又は減算する、又は、前記輪郭領域内の各画素値の配置を変更する
ことを特徴とする請求項１〜５のいずれか一つに記載の仮想旅行システム。
【請求項７】
前記加工部は、
前記受付部によって受け付けられた前記仮想的な旅行の行程に関する情報、及び、現在日時に基づいて、該仮想的な旅行の対象となる地域が寒い地域である場合には、前記輪郭領域内の各画素値を寒色の画素値に加工し、該仮想的な旅行の対象となる地域が暖かい地域である場合には、前記輪郭領域内の各画素値を暖色の画素値に加工する
ことを特徴とする請求項６に記載の仮想旅行システム。
【請求項８】
乗物内外又は建築物内外に設置された撮影装置によって撮影されることで生成された画像データを収集する収集部と、
前記収集部によって収集された画像データのうち、動きのある対象物が描出された領域を特定する特定部と、
前記収集部によって収集された画像データのうち、前記特定部によって特定された対象物を示す領域の画像データを他の画像データに加工する加工部と、
利用者が利用する利用者端末から、仮想的な旅行の行程に関する情報を含む仮想旅行要求を受け付ける受付部と、
前記加工部によって加工された加工済画像データのうち、前記受付部によって受け付けられた仮想旅行要求において要求されている仮想的な旅行に用いられる乗物内外に設置された撮影装置、又は、該仮想的な旅行の行程の近傍に存在する建築物内外に設置された撮影装置によって生成された画像データが加工された加工済画像データを、前記利用者端末に順次配信する配信部と
を備えたことを特徴とする仮想旅行装置。
【請求項９】
乗物内外又は建築物内外に設置された撮影装置によって撮影されることで生成された画像データを収集する収集手順と、
前記収集手順によって収集された画像データのうち、動きのある対象物が描出された領域を特定する特定手順と、
前記収集手順によって収集された画像データのうち、前記特定手順によって特定された対象物を示す領域の画像データを他の画像データに加工する加工手順と、
利用者が利用する利用者端末から、仮想的な旅行の行程に関する情報を含む仮想旅行要求を受け付ける受付手順と、
前記加工手順によって加工された加工済画像データのうち、前記受付手順によって受け付けられた仮想旅行要求において要求されている仮想的な旅行に用いられる乗物内外に設置された撮影装置、又は、該仮想的な旅行の行程の近傍に存在する建築物内外に設置された撮影装置によって生成された画像データが加工された加工済画像データを、前記利用者端末に順次配信する配信手順と
をコンピュータに実行させることを特徴とする仮想旅行プログラム。
【請求項１】
利用者に仮想的な旅行を提供する仮想旅行システムであって、
乗物内外又は建築物内外に設置された撮影装置によって撮影されることで生成された画像データを収集する収集部と、
前記収集部によって収集された画像データのうち、動きのある対象物が描出された領域を特定する特定部と、
前記収集部によって収集された画像データのうち、前記特定部によって特定された対象物を示す領域の画像データを他の画像データに加工する加工部と、
前記利用者が利用する利用者端末から、前記仮想的な旅行の行程に関する情報を含む仮想旅行要求を受け付ける受付部と、
前記加工部によって加工された加工済画像データのうち、前記受付部によって受け付けられた仮想旅行要求において要求されている仮想的な旅行に用いられる乗物内外に設置された撮影装置、又は、該仮想的な旅行の行程の近傍に存在する建築物内外に設置された撮影装置によって生成された画像データが加工された加工済画像データを、前記利用者端末に順次配信する配信部と
を備えたことを特徴とする仮想旅行システム。
【請求項２】
前記撮影装置は、
対象物が描出された画像データをマクロブロック毎に符号化するにあたり動きベクトルを検出する検出部と、
前記検出部によって検出された動きベクトルのうちフィールド予測モード用の動きベクトルを用いて前記マクロブロックを符号化するフィールド予測モード符号化部と、
前記検出部によって検出された動きベクトルのうちフレーム予測モード用の動きベクトルを用いて前記マクロブロックを符号化するフレーム予測モード符号化部と、
前記フィールド予測モード符号化部によって前記マクロブロックを符号化した場合の第１符号化量と、前記フレーム予測モード符号化部によって前記マクロブロックを符号化した場合の第２符号化量とを比較し、比較の結果、第１符号化量が第２符号化量に比較して所定閾値以上小さいと判定されたことを条件として、前記マクロブロックの符号化に用いる予測モードとしてフィールド予測モードを選択する選択部と、
前記選択部によって選択された予測モードに従って前記画像データを符号化する符号化部と
を備え、
前記仮想旅行システムは、
前記符号化部によって符号化された符号化データに含まれるヘッダ情報から、ピクチャ毎に該ピクチャの構造を示すピクチャ構造情報を読み出すとともに、該ピクチャに含まれるマクロブロック毎に該マクロブロックの符号化に用いられた予測モードを示す予測モード情報を読み出す読出部
をさらに備え、
前記特定部は、
前記ピクチャ構造情報および前記予測モード情報をマクロブロック毎に判定し、該ピクチャ構造情報がフレーム構造を示し、かつ、該予測モード情報がフィールド予測モードを示す場合に、該マクロブロックの画像上の位置を前記対象物の輪郭に相当する領域として特定し、
前記加工部は、
前記収集部によって収集された画像データのうち、前記特定部によって特定された前記対象物の輪郭に囲まれた領域である輪郭領域の画像データを他の画像データに加工する
ことを特徴とする請求項１に記載の仮想旅行システム。
【請求項３】
前記特定部によって特定された輪郭に相当する領域に基づいて、前記対象物が示す物体を判定する対象物判定部
をさらに備え、
前記加工部は、
前記特定部によって特定された前記対象物の輪郭に囲まれた領域の画像データを、前記対象物判定部によって判定された該対象物が示す物体を想起させる画像である代替用画像を前記輪郭領域に配置する
ことを特徴とする請求項２に記載の仮想旅行システム。
【請求項４】
各地に配置された人であるエージェントによって所持されるエージェント撮影装置に対して、前記受付部によって受け付けられた仮想旅行要求に含まれる仮想的な旅行の行程に関する情報を送信する送信部
をさらに備え、
前記収集部は、
前記エージェント撮影装置によって撮影されることで生成された画像データをさらに収集する
ことを特徴とする請求項１〜３のいずれか一つに記載の仮想旅行システム。
【請求項５】
前記エージェント撮影装置は、
前記仮想的な旅行に対する前記利用者の要望を含む要望データを受信する受信部と、
前記受信部によって受信された要望データを出力する出力部と
を備えたことを特徴とする請求項４に記載の仮想旅行システム。
【請求項６】
前記加工部は、
前記輪郭領域内の各画素値に所定の値を加算又は減算する、又は、前記輪郭領域内の各画素値の配置を変更する
ことを特徴とする請求項１〜５のいずれか一つに記載の仮想旅行システム。
【請求項７】
前記加工部は、
前記受付部によって受け付けられた前記仮想的な旅行の行程に関する情報、及び、現在日時に基づいて、該仮想的な旅行の対象となる地域が寒い地域である場合には、前記輪郭領域内の各画素値を寒色の画素値に加工し、該仮想的な旅行の対象となる地域が暖かい地域である場合には、前記輪郭領域内の各画素値を暖色の画素値に加工する
ことを特徴とする請求項６に記載の仮想旅行システム。
【請求項８】
乗物内外又は建築物内外に設置された撮影装置によって撮影されることで生成された画像データを収集する収集部と、
前記収集部によって収集された画像データのうち、動きのある対象物が描出された領域を特定する特定部と、
前記収集部によって収集された画像データのうち、前記特定部によって特定された対象物を示す領域の画像データを他の画像データに加工する加工部と、
利用者が利用する利用者端末から、仮想的な旅行の行程に関する情報を含む仮想旅行要求を受け付ける受付部と、
前記加工部によって加工された加工済画像データのうち、前記受付部によって受け付けられた仮想旅行要求において要求されている仮想的な旅行に用いられる乗物内外に設置された撮影装置、又は、該仮想的な旅行の行程の近傍に存在する建築物内外に設置された撮影装置によって生成された画像データが加工された加工済画像データを、前記利用者端末に順次配信する配信部と
を備えたことを特徴とする仮想旅行装置。
【請求項９】
乗物内外又は建築物内外に設置された撮影装置によって撮影されることで生成された画像データを収集する収集手順と、
前記収集手順によって収集された画像データのうち、動きのある対象物が描出された領域を特定する特定手順と、
前記収集手順によって収集された画像データのうち、前記特定手順によって特定された対象物を示す領域の画像データを他の画像データに加工する加工手順と、
利用者が利用する利用者端末から、仮想的な旅行の行程に関する情報を含む仮想旅行要求を受け付ける受付手順と、
前記加工手順によって加工された加工済画像データのうち、前記受付手順によって受け付けられた仮想旅行要求において要求されている仮想的な旅行に用いられる乗物内外に設置された撮影装置、又は、該仮想的な旅行の行程の近傍に存在する建築物内外に設置された撮影装置によって生成された画像データが加工された加工済画像データを、前記利用者端末に順次配信する配信手順と
をコンピュータに実行させることを特徴とする仮想旅行プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１３−６６０１７（Ｐ２０１３−６６０１７Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１１−２０２９３３（Ｐ２０１１−２０２９３３）
【出願日】平成２３年９月１６日（２０１１．９．１６）
【出願人】（５００４８９５０９）アイベックステクノロジー株式会社 (9)
【Ｆターム（参考）】
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２３年９月１６日（２０１１．９．１６）
【出願人】（５００４８９５０９）アイベックステクノロジー株式会社 (9)
【Ｆターム（参考）】
[ Back to top ]