ユーザ視点空間映像提示装置、ユーザ視点空間映像提示方法及びプログラム
【課題】自動的に、ユーザが肉眼で目にしているものに応じた映像を表示することにより、ユーザが感じる違和感や混乱を軽減する。
【解決手段】ユーザ視点空間映像提示装置は、ユーザの眼球位置を計測する眼球位置計測部と、被写体を撮影する被写体撮影部と、被写体までの距離を計測する被写体距離計測部と、眼球位置計測部が計測した眼球位置と、被写体距離計測部が計測した被写体までの距離とに基づいて、表示範囲を算出する表示範囲算出部と、被写体撮影部が撮影した画像から、表示範囲算出部が算出した表示範囲を切り出して表示する表示部とを備える。
【解決手段】ユーザ視点空間映像提示装置は、ユーザの眼球位置を計測する眼球位置計測部と、被写体を撮影する被写体撮影部と、被写体までの距離を計測する被写体距離計測部と、眼球位置計測部が計測した眼球位置と、被写体距離計測部が計測した被写体までの距離とに基づいて、表示範囲を算出する表示範囲算出部と、被写体撮影部が撮影した画像から、表示範囲算出部が算出した表示範囲を切り出して表示する表示部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザ視点空間映像提示装置、ユーザ視点空間映像提示方法及びプログラムに関する。
【背景技術】
【０００２】
近年、仮想現実感（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術において、従来のヘッドマウントディスプレイだけではなく、タブレットＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などのハンドヘルドデバイスを利用して、ユーザ視点で表示された空間を提示するシステムが増えてきている。また、拡張現実感(ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ)技術を利用し、スマートフォンなどの小型デバイスを経由してユーザ視点で表示された空間に付加情報を提示するサービスが注目を集めている。
【０００３】
図７は、ハンドヘルドデバイス或いは小型デバイス（以下、総称してデバイスとする）において撮影した画像の表示例を表すイメージ図である。図７に示すように、通常デバイスでは、特にユーザが操作しない限り、デバイスが表示する被写体５００は、ユーザが肉眼で目にしている被写体４００のスケール（例えば、表示倍率等）とは異なるスケールにて表示される。
【０００４】
特許文献１に記載の技術では、撮影された画像における特定のオブジェクトと、そのオブジェクトに重ね合わせて表示する画像との寸法的同一性を検証している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１４２６０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来技術では、図７に示すように、デバイスに表示される被写体５００は、ユーザが肉眼で目にしている被写体４００とは異なるスケールにて表示される。このため、拡張現実感技術を利用して付加情報等を表示する際等に、違和感や混乱を生じる場合があった。特許文献１に記載された技術では、特定のオブジェクトと重ね合わせて表示する画像との寸法的同一性については検証されているが、肉眼で目にする風景などの被写体とデバイスで表示する映像との連動については考慮されていない。このため、例えば、デバイスにより遮られてユーザから見えなくなる被写体の一部を、ユーザが肉眼で目にしている被写体とシームレスになって見えるように表示するためには、ユーザが手動で表示範囲や表示倍率を調整して、肉眼で目にする被写体のスケールにデバイスで表示する被写体のスケールを近づけなければならず、手間が掛かる、という問題がある。
【０００７】
本発明は上記の点に鑑みてなされたものであり、その目的は、自動的に、ユーザが肉眼で目にしているものに応じた映像を表示することにより、ユーザが感じる違和感や混乱を軽減することができるユーザ視点空間映像提示装置、ユーザ視点空間映像提示方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、ユーザの眼球位置を計測する眼球位置計測部と、被写体を撮影する被写体撮影部と、前記被写体までの距離を計測する被写体距離計測部と、前記眼球位置計測部が計測した眼球位置と、前記被写体距離計測部が計測した被写体までの距離とに基づいて、表示範囲を算出する表示範囲算出部と、前記被写体撮影部が撮影した画像から、前記表示範囲算出部が算出した表示範囲を切り出して表示する表示部と、を備えることを特徴とするユーザ視点空間映像提示装置である。
【０００９】
この発明によれば、ユーザの眼球位置と被写体までの距離に基づいて表示範囲を決定している。これにより、ユーザが特に操作することなく、ユーザが肉眼で目にする被写体に応じた表示範囲に近づけて表示することができる。
【００１０】
また、本発明の一態様は、上記のユーザ視点空間映像提示装置において、前記表示範囲算出部は、前記眼球位置から当該ユーザ視点空間映像提示装置までの距離に対する前記眼球位置から前記被写体までの距離を用いて、表示範囲を算出することを特徴とする。
【００１１】
この発明によれば、眼球位置までの距離に対する眼球位置から被写体までの距離を用いて表示範囲を算出している。これにより、ユーザが肉眼で目にしている被写体と表示する被写体とが一連の被写体であるかのように表示することができ、ユーザが表示されている被写体を見たときに感じる違和感や混乱を軽減することができる。
【００１２】
また、本発明の一態様は、上記のユーザ視点空間映像提示装置において、ユーザを撮影するユーザ撮影部を更に備え、前記眼球位置計測部は、前記ユーザ撮影部が撮影した画像から前記ユーザの眼球位置を計測することを特徴とする。
【００１３】
この発明によれば、撮影した画像からユーザの眼球位置を計測するため、例えば赤外線等を用いる測距センサ等が不要となり、ユーザ視点空間映像提示装置の構成を簡略化することができる。
【００１４】
また、本発明の一態様は、上記のユーザ視点空間映像提示装置において、前記眼球位置計測部は、前記ユーザ撮影部が撮影した画像における眼球間隔を用いて、前記ユーザの眼球位置を計測することを特徴とする。
【００１５】
この発明によれば、眼球間隔を用いてユーザの眼球位置を計測するため、より簡易的にユーザの眼球位置を計測することができる。
【００１６】
また、本発明の一態様は、眼球位置計測部が、ユーザの眼球位置を計測するステップと、被写体撮影部が、被写体を撮影するステップと、被写体距離計測部が、前記被写体までの距離を計測するステップと、表示範囲算出部が、前記眼球位置計測部が計測した眼球位置と、前記被写体距離計測部が計測した被写体までの距離とに基づいて、表示範囲を算出するステップと、表示部が、前記被写体撮影部が撮影した画像から、前記表示範囲算出部が算出した表示範囲を切り出して表示するステップと、を有することを特徴とするユーザ視点空間映像提示方法である。
【００１７】
また、本発明の一態様は、コンピュータに、ユーザの眼球位置を計測するステップと、被写体を撮影するステップと、前記被写体までの距離を計測するステップと、計測した眼球位置と、計測した被写体までの距離とに基づいて、表示範囲を算出するステップと、撮影した画像から、算出した表示範囲を切り出して表示するステップと、を実行させるためのプログラムである。
【発明の効果】
【００１８】
本発明によれば、ユーザの眼球位置と被写体までの距離に基づいて表示範囲を決定している。これにより、ユーザが手動で表示範囲や表示倍率を調整せずとも、ユーザが肉眼で目にする被写体に応じた表示範囲に近づけて表示することができる。このため、ユーザが表示されている被写体を見たときに感じる違和感や混乱を軽減することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態によるユーザ視点空間映像提示装置の外観構成等を示す概略図である。
【図２】本実施形態によるユーザ視点空間映像提示装置の機能構成を示すブロック図である。
【図３】本実施形態による映像表示処理の手順を示すフローチャートである。
【図４】本実施形態による眼球位置計測方法を説明するための概略図である。
【図５】本実施形態による表示範囲算出方法を説明するための概略図である。
【図６】本実施形態によるユーザ視点空間映像提示装置の表示例を表すイメージ図である。
【図７】従来技術によるデバイスにおいて撮影した画像の表示例を表すイメージ図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図１は、本発明の一実施形態によるユーザ視点空間映像提示装置１０の外観構成等を示す概略図である。
ユーザ視点空間映像提示装置１０は、スマートフォンや携帯電話機等の小型デバイス或いはタブレットＰＣ等のハンドヘルドデバイスであり、インカメラ１１と、ディスプレイ１２と、アウトカメラ１３とを含んで構成される。インカメラ（ユーザ撮影部）１１は、ユーザ視点空間映像提示装置１０を操作するユーザＡを撮影するカメラである。アウトカメラ（被写体撮影部）１３は、物や景色等の被写体を撮影するカメラである。ディスプレイ１２は、アウトカメラ１３が撮影した被写体を表示する、例えば液晶ディスプレイ等である。また、図１において、撮影範囲Ｓ１は、アウトカメラ１３の撮影範囲である。また、表示範囲Ｓ２は、撮影範囲Ｓ１のうちディスプレイ１２に表示する範囲である。図１に示すように、ユーザ視点空間映像提示装置１０は、ユーザＡとユーザ視点空間映像提示装置１０との位置関係に基づいて、ユーザＡが肉眼で目にする被写体とディスプレイ１２に表示する被写体とがシームレスになるように映像を表示する。これにより、ユーザＡはディスプレイ１２に表示されている映像の空間を直感的に把握しやすくなり、違和感や混乱を軽減することができる。
【００２１】
図２は、本実施形態によるユーザ視点空間映像提示装置１０の機能構成を示すブロック図である。
ユーザ視点空間映像提示装置１０は、インカメラ１１と、ディスプレイ１２と、アウトカメラ１３と、眼球位置計測部１４と、表示範囲算出部１５と、実空間撮影部１６と、被写体距離計測部１７と、映像切出し部１８と、映像表示部１９とを含んで構成される。
眼球位置計測部１４は、インカメラ１１が撮影した映像（画像）からユーザＡの眼球位置を計測し、計測結果を表示範囲算出部１５に出力する。眼球位置の計測方法の詳細については後述する。被写体距離計測部１７は、アウトカメラ１３に備えられている測距センサを用いて被写体までの距離を計測し、計測結果を表示範囲算出部１５に出力する。具体的には、被写体距離計測部１７は、測距センサから被写体に赤外線を照射し、その反射波が戻るまでの時間及び照射角度により被写体までの距離を検出する。表示範囲算出部１５は、眼球位置と被写体までの距離に基づいて、ディスプレイ１２に表示する映像（画像）の表示範囲を算出し、算出した表示範囲を映像切出し部１８に出力する。表示範囲の算出方法の詳細については後述する。
【００２２】
実空間撮影部１６は、アウトカメラ１３を用いて被写体の映像（画像）を撮影し、撮影した映像（画像）を映像切出し部１８に出力する。映像切出し部１８は、実空間撮影部１６が撮影した映像（画像）から、表示範囲算出部１５が算出した表示範囲を切り出し、切り出した映像（画像）を映像表示部１９に出力する。映像表示部１９は、映像切出し部１８が切り出した映像（画像）をディスプレイ１２に表示する。なお、映像切出し部１８、映像表示部１９及びディスプレイ１２は、本願の表示部を構成する。
【００２３】
次に、図３を参照して、ユーザ視点空間映像提示装置１０による映像表示処理について説明する。図３は、本実施形態による映像表示処理の手順を示すフローチャートである。
［ステップＳ１０１：眼球位置計測］
まず、ステップＳ１０１において、眼球位置計測部１４が、ユーザＡの眼球位置を計測する。ここで、図４を参照して眼球位置計測方法を詳しく説明する。図４は、本実施形態による眼球位置計測方法を説明するための概略図である。図４において、インカメラ１１を原点（０，０，０）、インカメラ１１に対して横方向をｘ軸方向、縦方向をｙ軸方向、奥行方向をｚ軸としてインカメラ１１におけるｘｙｚ座標系を定める。つまり、ｘ軸はインカメラ１１とユーザＡの眼球位置との水平方向の相対距離を表す。また、ｙ軸はインカメラ１１とユーザＡの眼球位置との垂直方向の相対距離を表す。また、ｚ軸はインカメラ１１とユーザＡの眼球位置との距離を表す。
【００２４】
まず、眼球位置計測部１４は、インカメラ１１が撮影した映像である撮影映像ＩからユーザＡの眼球を検出する。具体的には、眼球位置計測部１４は、例えば顔認識を用いた画像処理技術を用いて、目、鼻、口などの顔を構成するパーツからユーザＡの顔を検出し、検出した顔の撮像画像Ｉにおける左目眼球の位置（ｉＬ，ｊＬ）及び右目眼球の位置（ｉＲ，ｊＲ）を算出する。
【００２５】
次に、眼球位置計測部１４は、実空間における、ユーザＡの眼球位置（ｘ，ｙ，ｚ）を算出する。眼球位置（ｘ，ｙ，ｚ）は、ユーザＡの左目眼球の位置（ｘＬ，ｙＬ，ｚ）と右目眼球の位置（ｘＲ，ｙＲ，ｚ）の中間座標である。まず、眼球位置計測部１４は、撮影映像Ｉ上で検出した左目眼球と右目眼球との距離ｌを次の式（１）により算出する。
【００２６】
【数１】
【００２７】
そして、眼球位置計測部１４は、次の式（２）により、インカメラ１１のＣＣＤ（固体撮像素子：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）に写りこんだ眼球間の距離ｌを実空間における距離ｌｅに変換する。ここで、αは、撮影映像Ｉにおける１ピクセルに対する実空間での大きさ（例えば、単位はメートル）を表す係数、つまりピクセルをメートル座標に変換する係数である。
【００２８】
ｌｅ＝α×ｌ …（２）
【００２９】
次に、眼球位置計測部１４は、インカメラ１１から眼球までの距離ｚを次の式（３）により算出する。ここで、ｆ１はインカメラ１１の焦点距離である。また、ΔＥは、眼球間幅であり、定数（例えば、眼球間幅の一般的な平均値である６．５ｃｍ）である。なお、眼球間幅ΔＥは、ユーザ毎に設定してもよい。式（３）が示すように、眼球位置計測部１４は、インカメラ１１が撮影した画像における眼球間の距離ｌを用いて、ユーザＡの眼球位置を計測する。つまり、眼球位置計測部１４は、距離ｌの実空間における距離ｌｅに対する眼球間幅ΔＥを用いて、ユーザＡの眼球までの距離を計測する。
【００３０】
ｚ＝（ｆ１×ΔＥ）／ｌｅ …（３）
【００３１】
次に、眼球位置計測部１４は、ｘ軸方向における眼球位置ｘを次の式（４）により算出する。ここで、ｉは、ｉＬとｉＲの中間座標であり、ｉ＝（ｉＬ＋ｉＲ）／２である。
【００３２】
ｘ＝（ｚ×ｆ１）／（α×ｉ） …（４）
【００３３】
次に、眼球位置計測部１４は、ｙ軸方向における眼球位置ｙを次の式（５）により算出する。ここで、ｊは、ｊＬとｊＲの中間座標であり、ｊ＝（ｊＬ＋ｊＲ）／２である。
【００３４】
ｙ＝（ｚ×ｆ１）／（α×ｊ） …（５）
【００３５】
なお、本実施形態では、撮影映像Ｉを用いて眼球位置を計測しているが、例えば、赤外線や超音波等を被写体に照射して被写体までの距離を計測する測距センサ等を用いてユーザＡの眼球位置を計測してもよい。
【００３６】
［ステップＳ１０２：被写体距離計測］
次に、ステップＳ１０２において、被写体距離計測部１７が、アウトカメラ１３から被写体までの距離Ｚｏｂｊを計測する。
【００３７】
［ステップＳ１０３：表示範囲算出］
次に、ステップＳ１０３において、表示範囲算出部１５が、ディスプレイ１２に表示する表示範囲を算出する。ここで、図５を参照して表示範囲算出方法を詳しく説明する。図５は、本実施形態による表示範囲算出方法を説明するための概略図である。図５において、アウトカメラ１３を原点（０，０，０）、アウトカメラ１３に対して横方向をｘ軸方向、縦方向をｙ軸方向、奥行方向をｚ軸としてアウトカメラ１３におけるｘｙｚ座標系を定める。ここで、ｙ軸方向におけるディスプレイ１２の上端位置はｙｕｐｐｅｒであり、下端位置はｙｂｏｔｔｏｍである。また、ｘ軸方向におけるディスプレイ１２の左端位置はｘｌｅｆｔであり、右端位置はｘｒｉｇｈｔである。また、アウトカメラ１３からディスプレイ１２までの距離はΔＺである。
【００３８】
まず、表示範囲算出部１５は、ステップＳ１０１において算出した眼球位置（ｘ，ｙ，ｚ）をアウトカメラ１３における座標系（ｘｐｏｓ，ｙｐｏｓ，ｚｐｏｓ）に変換する。ここで、インカメラ１１の位置（ｘｉ，ｙｉ，ｚｉ）から、ｘｐｏｓ＝ｘｉ＋ｘであり、ｙｐｏｓ＝ｙｉ＋ｙであり、ｚｐｏｓ＝ｚｉ＋ｚである。
【００３９】
次に、表示範囲算出部１５は、表示範囲Ｓ２におけるｙ軸方向の上端ｙｏｂｊ＿ｕｐｐｅｒを次の式（６）により算出する。表示範囲Ｓ２は、ディスプレイ１２に表示する被写体の範囲である。
【００４０】
ｙｏｂｊ＿ｕｐｐｅｒ＝ｙｐｏｓ−（ｙｐｏｓ−ｙｕｐｐｅｒ）×（ｚｐｏｓ＋Ｚｏｂｊ）／（ｚｐｏｓ−ΔＺ） …（６）
【００４１】
また、表示範囲算出部１５は、表示範囲Ｓ２におけるｙ軸方向の下端ｙｏｂｊ＿ｂｏｔｔｏｍを次の式（７）により算出する。
【００４２】
ｙｏｂｊ＿ｂｏｔｔｏｍ＝ｙｐｏｓ−（ｙｐｏｓ−ｙｂｏｔｔｏｍ）×（ｚｐｏｓ＋Ｚｏｂｊ）／（ｚｐｏｓ−ΔＺ） …（７）
【００４３】
次に、表示範囲算出部１５は、表示範囲Ｓ２におけるｘ軸方向の左端ｘｏｂｊ＿ｌｅｆｔを次の式（８）により算出する。
【００４４】
ｘｏｂｊ＿ｌｅｆｔ＝ｘｐｏｓ−（ｘｐｏｓ−ｘｌｅｆｔ）×（ｚｐｏｓ＋Ｚｏｂｊ）／（ｚｐｏｓ−ΔＺ） …（８）
【００４５】
また、表示範囲算出部１５は、表示範囲Ｓ２におけるｘ軸方向の右端ｘｏｂｊ＿ｒｉｇｈｔを次の式（９）により算出する。
【００４６】
ｘｏｂｊ＿ｒｉｇｈｔ＝ｘｐｏｓ−（ｘｐｏｓ−ｘｒｉｇｈｔ）×（ｚｐｏｓ＋Ｚｏｂｊ）／（ｚｐｏｓ−ΔＺ） …（９）
【００４７】
式（６）、（７）、（８）、（９）に示すように、表示範囲算出部１５は、眼球位置からディスプレイ１２（ユーザ視点空間映像提示装置１０）までの距離に対する眼球位置から被写体までの距離を用いて表示範囲を算出する。
【００４８】
次に、表示範囲算出部１５は、実空間における表示範囲Ｓ２をアウトカメラ１３が撮影した映像である撮影映像Ｏにおける表示範囲ａに変換する。まず、表示範囲算出部１５は、表示範囲ａのｙ軸方向における上端ｊ１を次の式（１０）により算出する。ここで、βは、撮影映像Ｏにおける１ピクセルに対する実空間での大きさ（例えば、単位はメートル）を表す係数、つまりピクセルをメートル座標に変換する係数である。また、ｆ２は、アウトカメラ１３の焦点距離である。
【００４９】
ｊ１＝ｆ２×ｙｏｂｊ＿ｕｐｐｅｒ／β×Ｚｏｂｊ …（１０）
【００５０】
続いて、表示範囲算出部１５は、撮影映像Ｏにおける表示範囲ａのｙ軸方向における下端ｊ２を次の式（１１）により算出する。
【００５１】
ｊ２＝ｆ２×ｙｏｂｊ＿ｂｏｔｔｏｍ／β×Ｚｏｂｊ …（１１）
【００５２】
次に、表示範囲算出部１５は、撮影映像Ｏにおける表示範囲ａのｘ軸方向における左端ｉ１を次の式（１２）により算出する。
【００５３】
ｉ１＝ｆ２×ｘｏｂｊ＿ｌｅｆｔ／β×Ｚｏｂｊ …（１２）
【００５４】
続いて、表示範囲算出部１５は、撮影映像Ｏにおける表示範囲ａのｙ軸方向における右端ｉ２を次の式（１３）により算出する。
【００５５】
ｉ２＝ｆ２×ｘｏｂｊ＿ｒｉｇｈｔ／β×Ｚｏｂｊ …（１３）
【００５６】
これにより、表示範囲算出部１５は、四角形の表示範囲ａにおける頂点（ｉ１，ｊ１）、（ｉ１，ｊ２）、（ｉ２，ｊ１）、（ｉ２，ｊ２）を算出する。
【００５７】
［ステップＳ１０４：映像切出し］
次に、ステップＳ１０４において、映像切出し部１８が、撮影映像Ｏから表示範囲ａを切り出す。
【００５８】
［ステップＳ１０５：映像表示］
最後に、ステップ１０５において、映像表示部１９が、映像切出し部１８が切り出した映像をディスプレイ１２のサイズに合わせて、ディスプレイ１２に表示する。つまり、映像表示部１９は、切り出した映像がディスプレイ１２の画面全体に表示されるように、切り出した映像の表示倍率を調整（拡大又は縮小）して、ディスプレイ１２に表示する。
【００５９】
図６は、本実施形態によるユーザ視点空間映像提示装置１０の表示例を表すイメージ図である。図６（ａ）は、アウトカメラ１３の撮像映像Ｏをディスプレイ１２に表示した場合の表示例である。図６（ｂ）は、撮像映像Ｏから表示範囲ａを切り出した映像をディスプレイ１２に表示した場合の表示例である。図６（ａ）に示すように、撮影画像Ｏにおける被写体２００のスケールは、ユーザが肉眼で目にする被写体１００のスケールと異なる。ユーザ視点空間映像提示装置１０は、ユーザが肉眼で見ている被写体１００と、ディスプレイ１２に表示する映像がシームレスになるように、撮像映像Ｏから表示範囲ａを切り出して表示する。このため、図６（ｂ）に示すように、本実施形態によるユーザ視点空間映像提示装置１０では、ユーザＡが手動で表示倍率や表示範囲を調整せずとも、例えばユーザＡが肉眼で目視している橋１０１とディスプレイ１３に表示されている橋３０１とがあたかも繋がっているかのように表示される。つまり、ユーザが肉眼で見ている被写体１００のスケールとディスプレイ１２に表示する被写体３００のスケールとがほぼ同一である。
【００６０】
このように、本実施形態によれば、ユーザ視点空間映像提示装置１０は、ユーザの眼球位置と被写体までの距離に基づいて、ディスプレイ１２に表示する被写体の表示範囲を決定している。これにより、ユーザが手動で表示範囲や表示倍率を調整せずとも、ユーザが肉眼で目にしている被写体と表示する被写体とが一連の被写体であるかのように表示することができる。このため、ユーザは、ディスプレイ１２があたかもガラス窓で、ディスプレイ１２上に表示された映像がガラス窓を通してみえる実際の映像であるかのように感じることができる。そのため、ユーザが表示されている被写体を見たときに感じる違和感や混乱を軽減することができる。
また、ディスプレイ１２上にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を追加した場合には、そのＣＧが現実と同じような倍率で見えるため、あたかもそのＣＧが現実に存在するかのごとく、拡張現実感を得ることができる。
【００６１】
また、図３に示す各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、映像表示処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００６２】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００６３】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【００６４】
１０…ユーザ視点空間映像提示装置 １１…インカメラ １２…ディスプレイ １３…アウトカメラ １４…眼球位置計測部 １５…表示範囲算出部 １６…実空間撮影部 １７…被写体距離計測部 １８…映像切出し部 １９…映像表示部
【技術分野】
【０００１】
本発明は、ユーザ視点空間映像提示装置、ユーザ視点空間映像提示方法及びプログラムに関する。
【背景技術】
【０００２】
近年、仮想現実感（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術において、従来のヘッドマウントディスプレイだけではなく、タブレットＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などのハンドヘルドデバイスを利用して、ユーザ視点で表示された空間を提示するシステムが増えてきている。また、拡張現実感(ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ)技術を利用し、スマートフォンなどの小型デバイスを経由してユーザ視点で表示された空間に付加情報を提示するサービスが注目を集めている。
【０００３】
図７は、ハンドヘルドデバイス或いは小型デバイス（以下、総称してデバイスとする）において撮影した画像の表示例を表すイメージ図である。図７に示すように、通常デバイスでは、特にユーザが操作しない限り、デバイスが表示する被写体５００は、ユーザが肉眼で目にしている被写体４００のスケール（例えば、表示倍率等）とは異なるスケールにて表示される。
【０００４】
特許文献１に記載の技術では、撮影された画像における特定のオブジェクトと、そのオブジェクトに重ね合わせて表示する画像との寸法的同一性を検証している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１４２６０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来技術では、図７に示すように、デバイスに表示される被写体５００は、ユーザが肉眼で目にしている被写体４００とは異なるスケールにて表示される。このため、拡張現実感技術を利用して付加情報等を表示する際等に、違和感や混乱を生じる場合があった。特許文献１に記載された技術では、特定のオブジェクトと重ね合わせて表示する画像との寸法的同一性については検証されているが、肉眼で目にする風景などの被写体とデバイスで表示する映像との連動については考慮されていない。このため、例えば、デバイスにより遮られてユーザから見えなくなる被写体の一部を、ユーザが肉眼で目にしている被写体とシームレスになって見えるように表示するためには、ユーザが手動で表示範囲や表示倍率を調整して、肉眼で目にする被写体のスケールにデバイスで表示する被写体のスケールを近づけなければならず、手間が掛かる、という問題がある。
【０００７】
本発明は上記の点に鑑みてなされたものであり、その目的は、自動的に、ユーザが肉眼で目にしているものに応じた映像を表示することにより、ユーザが感じる違和感や混乱を軽減することができるユーザ視点空間映像提示装置、ユーザ視点空間映像提示方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、ユーザの眼球位置を計測する眼球位置計測部と、被写体を撮影する被写体撮影部と、前記被写体までの距離を計測する被写体距離計測部と、前記眼球位置計測部が計測した眼球位置と、前記被写体距離計測部が計測した被写体までの距離とに基づいて、表示範囲を算出する表示範囲算出部と、前記被写体撮影部が撮影した画像から、前記表示範囲算出部が算出した表示範囲を切り出して表示する表示部と、を備えることを特徴とするユーザ視点空間映像提示装置である。
【０００９】
この発明によれば、ユーザの眼球位置と被写体までの距離に基づいて表示範囲を決定している。これにより、ユーザが特に操作することなく、ユーザが肉眼で目にする被写体に応じた表示範囲に近づけて表示することができる。
【００１０】
また、本発明の一態様は、上記のユーザ視点空間映像提示装置において、前記表示範囲算出部は、前記眼球位置から当該ユーザ視点空間映像提示装置までの距離に対する前記眼球位置から前記被写体までの距離を用いて、表示範囲を算出することを特徴とする。
【００１１】
この発明によれば、眼球位置までの距離に対する眼球位置から被写体までの距離を用いて表示範囲を算出している。これにより、ユーザが肉眼で目にしている被写体と表示する被写体とが一連の被写体であるかのように表示することができ、ユーザが表示されている被写体を見たときに感じる違和感や混乱を軽減することができる。
【００１２】
また、本発明の一態様は、上記のユーザ視点空間映像提示装置において、ユーザを撮影するユーザ撮影部を更に備え、前記眼球位置計測部は、前記ユーザ撮影部が撮影した画像から前記ユーザの眼球位置を計測することを特徴とする。
【００１３】
この発明によれば、撮影した画像からユーザの眼球位置を計測するため、例えば赤外線等を用いる測距センサ等が不要となり、ユーザ視点空間映像提示装置の構成を簡略化することができる。
【００１４】
また、本発明の一態様は、上記のユーザ視点空間映像提示装置において、前記眼球位置計測部は、前記ユーザ撮影部が撮影した画像における眼球間隔を用いて、前記ユーザの眼球位置を計測することを特徴とする。
【００１５】
この発明によれば、眼球間隔を用いてユーザの眼球位置を計測するため、より簡易的にユーザの眼球位置を計測することができる。
【００１６】
また、本発明の一態様は、眼球位置計測部が、ユーザの眼球位置を計測するステップと、被写体撮影部が、被写体を撮影するステップと、被写体距離計測部が、前記被写体までの距離を計測するステップと、表示範囲算出部が、前記眼球位置計測部が計測した眼球位置と、前記被写体距離計測部が計測した被写体までの距離とに基づいて、表示範囲を算出するステップと、表示部が、前記被写体撮影部が撮影した画像から、前記表示範囲算出部が算出した表示範囲を切り出して表示するステップと、を有することを特徴とするユーザ視点空間映像提示方法である。
【００１７】
また、本発明の一態様は、コンピュータに、ユーザの眼球位置を計測するステップと、被写体を撮影するステップと、前記被写体までの距離を計測するステップと、計測した眼球位置と、計測した被写体までの距離とに基づいて、表示範囲を算出するステップと、撮影した画像から、算出した表示範囲を切り出して表示するステップと、を実行させるためのプログラムである。
【発明の効果】
【００１８】
本発明によれば、ユーザの眼球位置と被写体までの距離に基づいて表示範囲を決定している。これにより、ユーザが手動で表示範囲や表示倍率を調整せずとも、ユーザが肉眼で目にする被写体に応じた表示範囲に近づけて表示することができる。このため、ユーザが表示されている被写体を見たときに感じる違和感や混乱を軽減することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態によるユーザ視点空間映像提示装置の外観構成等を示す概略図である。
【図２】本実施形態によるユーザ視点空間映像提示装置の機能構成を示すブロック図である。
【図３】本実施形態による映像表示処理の手順を示すフローチャートである。
【図４】本実施形態による眼球位置計測方法を説明するための概略図である。
【図５】本実施形態による表示範囲算出方法を説明するための概略図である。
【図６】本実施形態によるユーザ視点空間映像提示装置の表示例を表すイメージ図である。
【図７】従来技術によるデバイスにおいて撮影した画像の表示例を表すイメージ図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図１は、本発明の一実施形態によるユーザ視点空間映像提示装置１０の外観構成等を示す概略図である。
ユーザ視点空間映像提示装置１０は、スマートフォンや携帯電話機等の小型デバイス或いはタブレットＰＣ等のハンドヘルドデバイスであり、インカメラ１１と、ディスプレイ１２と、アウトカメラ１３とを含んで構成される。インカメラ（ユーザ撮影部）１１は、ユーザ視点空間映像提示装置１０を操作するユーザＡを撮影するカメラである。アウトカメラ（被写体撮影部）１３は、物や景色等の被写体を撮影するカメラである。ディスプレイ１２は、アウトカメラ１３が撮影した被写体を表示する、例えば液晶ディスプレイ等である。また、図１において、撮影範囲Ｓ１は、アウトカメラ１３の撮影範囲である。また、表示範囲Ｓ２は、撮影範囲Ｓ１のうちディスプレイ１２に表示する範囲である。図１に示すように、ユーザ視点空間映像提示装置１０は、ユーザＡとユーザ視点空間映像提示装置１０との位置関係に基づいて、ユーザＡが肉眼で目にする被写体とディスプレイ１２に表示する被写体とがシームレスになるように映像を表示する。これにより、ユーザＡはディスプレイ１２に表示されている映像の空間を直感的に把握しやすくなり、違和感や混乱を軽減することができる。
【００２１】
図２は、本実施形態によるユーザ視点空間映像提示装置１０の機能構成を示すブロック図である。
ユーザ視点空間映像提示装置１０は、インカメラ１１と、ディスプレイ１２と、アウトカメラ１３と、眼球位置計測部１４と、表示範囲算出部１５と、実空間撮影部１６と、被写体距離計測部１７と、映像切出し部１８と、映像表示部１９とを含んで構成される。
眼球位置計測部１４は、インカメラ１１が撮影した映像（画像）からユーザＡの眼球位置を計測し、計測結果を表示範囲算出部１５に出力する。眼球位置の計測方法の詳細については後述する。被写体距離計測部１７は、アウトカメラ１３に備えられている測距センサを用いて被写体までの距離を計測し、計測結果を表示範囲算出部１５に出力する。具体的には、被写体距離計測部１７は、測距センサから被写体に赤外線を照射し、その反射波が戻るまでの時間及び照射角度により被写体までの距離を検出する。表示範囲算出部１５は、眼球位置と被写体までの距離に基づいて、ディスプレイ１２に表示する映像（画像）の表示範囲を算出し、算出した表示範囲を映像切出し部１８に出力する。表示範囲の算出方法の詳細については後述する。
【００２２】
実空間撮影部１６は、アウトカメラ１３を用いて被写体の映像（画像）を撮影し、撮影した映像（画像）を映像切出し部１８に出力する。映像切出し部１８は、実空間撮影部１６が撮影した映像（画像）から、表示範囲算出部１５が算出した表示範囲を切り出し、切り出した映像（画像）を映像表示部１９に出力する。映像表示部１９は、映像切出し部１８が切り出した映像（画像）をディスプレイ１２に表示する。なお、映像切出し部１８、映像表示部１９及びディスプレイ１２は、本願の表示部を構成する。
【００２３】
次に、図３を参照して、ユーザ視点空間映像提示装置１０による映像表示処理について説明する。図３は、本実施形態による映像表示処理の手順を示すフローチャートである。
［ステップＳ１０１：眼球位置計測］
まず、ステップＳ１０１において、眼球位置計測部１４が、ユーザＡの眼球位置を計測する。ここで、図４を参照して眼球位置計測方法を詳しく説明する。図４は、本実施形態による眼球位置計測方法を説明するための概略図である。図４において、インカメラ１１を原点（０，０，０）、インカメラ１１に対して横方向をｘ軸方向、縦方向をｙ軸方向、奥行方向をｚ軸としてインカメラ１１におけるｘｙｚ座標系を定める。つまり、ｘ軸はインカメラ１１とユーザＡの眼球位置との水平方向の相対距離を表す。また、ｙ軸はインカメラ１１とユーザＡの眼球位置との垂直方向の相対距離を表す。また、ｚ軸はインカメラ１１とユーザＡの眼球位置との距離を表す。
【００２４】
まず、眼球位置計測部１４は、インカメラ１１が撮影した映像である撮影映像ＩからユーザＡの眼球を検出する。具体的には、眼球位置計測部１４は、例えば顔認識を用いた画像処理技術を用いて、目、鼻、口などの顔を構成するパーツからユーザＡの顔を検出し、検出した顔の撮像画像Ｉにおける左目眼球の位置（ｉＬ，ｊＬ）及び右目眼球の位置（ｉＲ，ｊＲ）を算出する。
【００２５】
次に、眼球位置計測部１４は、実空間における、ユーザＡの眼球位置（ｘ，ｙ，ｚ）を算出する。眼球位置（ｘ，ｙ，ｚ）は、ユーザＡの左目眼球の位置（ｘＬ，ｙＬ，ｚ）と右目眼球の位置（ｘＲ，ｙＲ，ｚ）の中間座標である。まず、眼球位置計測部１４は、撮影映像Ｉ上で検出した左目眼球と右目眼球との距離ｌを次の式（１）により算出する。
【００２６】
【数１】
【００２７】
そして、眼球位置計測部１４は、次の式（２）により、インカメラ１１のＣＣＤ（固体撮像素子：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）に写りこんだ眼球間の距離ｌを実空間における距離ｌｅに変換する。ここで、αは、撮影映像Ｉにおける１ピクセルに対する実空間での大きさ（例えば、単位はメートル）を表す係数、つまりピクセルをメートル座標に変換する係数である。
【００２８】
ｌｅ＝α×ｌ …（２）
【００２９】
次に、眼球位置計測部１４は、インカメラ１１から眼球までの距離ｚを次の式（３）により算出する。ここで、ｆ１はインカメラ１１の焦点距離である。また、ΔＥは、眼球間幅であり、定数（例えば、眼球間幅の一般的な平均値である６．５ｃｍ）である。なお、眼球間幅ΔＥは、ユーザ毎に設定してもよい。式（３）が示すように、眼球位置計測部１４は、インカメラ１１が撮影した画像における眼球間の距離ｌを用いて、ユーザＡの眼球位置を計測する。つまり、眼球位置計測部１４は、距離ｌの実空間における距離ｌｅに対する眼球間幅ΔＥを用いて、ユーザＡの眼球までの距離を計測する。
【００３０】
ｚ＝（ｆ１×ΔＥ）／ｌｅ …（３）
【００３１】
次に、眼球位置計測部１４は、ｘ軸方向における眼球位置ｘを次の式（４）により算出する。ここで、ｉは、ｉＬとｉＲの中間座標であり、ｉ＝（ｉＬ＋ｉＲ）／２である。
【００３２】
ｘ＝（ｚ×ｆ１）／（α×ｉ） …（４）
【００３３】
次に、眼球位置計測部１４は、ｙ軸方向における眼球位置ｙを次の式（５）により算出する。ここで、ｊは、ｊＬとｊＲの中間座標であり、ｊ＝（ｊＬ＋ｊＲ）／２である。
【００３４】
ｙ＝（ｚ×ｆ１）／（α×ｊ） …（５）
【００３５】
なお、本実施形態では、撮影映像Ｉを用いて眼球位置を計測しているが、例えば、赤外線や超音波等を被写体に照射して被写体までの距離を計測する測距センサ等を用いてユーザＡの眼球位置を計測してもよい。
【００３６】
［ステップＳ１０２：被写体距離計測］
次に、ステップＳ１０２において、被写体距離計測部１７が、アウトカメラ１３から被写体までの距離Ｚｏｂｊを計測する。
【００３７】
［ステップＳ１０３：表示範囲算出］
次に、ステップＳ１０３において、表示範囲算出部１５が、ディスプレイ１２に表示する表示範囲を算出する。ここで、図５を参照して表示範囲算出方法を詳しく説明する。図５は、本実施形態による表示範囲算出方法を説明するための概略図である。図５において、アウトカメラ１３を原点（０，０，０）、アウトカメラ１３に対して横方向をｘ軸方向、縦方向をｙ軸方向、奥行方向をｚ軸としてアウトカメラ１３におけるｘｙｚ座標系を定める。ここで、ｙ軸方向におけるディスプレイ１２の上端位置はｙｕｐｐｅｒであり、下端位置はｙｂｏｔｔｏｍである。また、ｘ軸方向におけるディスプレイ１２の左端位置はｘｌｅｆｔであり、右端位置はｘｒｉｇｈｔである。また、アウトカメラ１３からディスプレイ１２までの距離はΔＺである。
【００３８】
まず、表示範囲算出部１５は、ステップＳ１０１において算出した眼球位置（ｘ，ｙ，ｚ）をアウトカメラ１３における座標系（ｘｐｏｓ，ｙｐｏｓ，ｚｐｏｓ）に変換する。ここで、インカメラ１１の位置（ｘｉ，ｙｉ，ｚｉ）から、ｘｐｏｓ＝ｘｉ＋ｘであり、ｙｐｏｓ＝ｙｉ＋ｙであり、ｚｐｏｓ＝ｚｉ＋ｚである。
【００３９】
次に、表示範囲算出部１５は、表示範囲Ｓ２におけるｙ軸方向の上端ｙｏｂｊ＿ｕｐｐｅｒを次の式（６）により算出する。表示範囲Ｓ２は、ディスプレイ１２に表示する被写体の範囲である。
【００４０】
ｙｏｂｊ＿ｕｐｐｅｒ＝ｙｐｏｓ−（ｙｐｏｓ−ｙｕｐｐｅｒ）×（ｚｐｏｓ＋Ｚｏｂｊ）／（ｚｐｏｓ−ΔＺ） …（６）
【００４１】
また、表示範囲算出部１５は、表示範囲Ｓ２におけるｙ軸方向の下端ｙｏｂｊ＿ｂｏｔｔｏｍを次の式（７）により算出する。
【００４２】
ｙｏｂｊ＿ｂｏｔｔｏｍ＝ｙｐｏｓ−（ｙｐｏｓ−ｙｂｏｔｔｏｍ）×（ｚｐｏｓ＋Ｚｏｂｊ）／（ｚｐｏｓ−ΔＺ） …（７）
【００４３】
次に、表示範囲算出部１５は、表示範囲Ｓ２におけるｘ軸方向の左端ｘｏｂｊ＿ｌｅｆｔを次の式（８）により算出する。
【００４４】
ｘｏｂｊ＿ｌｅｆｔ＝ｘｐｏｓ−（ｘｐｏｓ−ｘｌｅｆｔ）×（ｚｐｏｓ＋Ｚｏｂｊ）／（ｚｐｏｓ−ΔＺ） …（８）
【００４５】
また、表示範囲算出部１５は、表示範囲Ｓ２におけるｘ軸方向の右端ｘｏｂｊ＿ｒｉｇｈｔを次の式（９）により算出する。
【００４６】
ｘｏｂｊ＿ｒｉｇｈｔ＝ｘｐｏｓ−（ｘｐｏｓ−ｘｒｉｇｈｔ）×（ｚｐｏｓ＋Ｚｏｂｊ）／（ｚｐｏｓ−ΔＺ） …（９）
【００４７】
式（６）、（７）、（８）、（９）に示すように、表示範囲算出部１５は、眼球位置からディスプレイ１２（ユーザ視点空間映像提示装置１０）までの距離に対する眼球位置から被写体までの距離を用いて表示範囲を算出する。
【００４８】
次に、表示範囲算出部１５は、実空間における表示範囲Ｓ２をアウトカメラ１３が撮影した映像である撮影映像Ｏにおける表示範囲ａに変換する。まず、表示範囲算出部１５は、表示範囲ａのｙ軸方向における上端ｊ１を次の式（１０）により算出する。ここで、βは、撮影映像Ｏにおける１ピクセルに対する実空間での大きさ（例えば、単位はメートル）を表す係数、つまりピクセルをメートル座標に変換する係数である。また、ｆ２は、アウトカメラ１３の焦点距離である。
【００４９】
ｊ１＝ｆ２×ｙｏｂｊ＿ｕｐｐｅｒ／β×Ｚｏｂｊ …（１０）
【００５０】
続いて、表示範囲算出部１５は、撮影映像Ｏにおける表示範囲ａのｙ軸方向における下端ｊ２を次の式（１１）により算出する。
【００５１】
ｊ２＝ｆ２×ｙｏｂｊ＿ｂｏｔｔｏｍ／β×Ｚｏｂｊ …（１１）
【００５２】
次に、表示範囲算出部１５は、撮影映像Ｏにおける表示範囲ａのｘ軸方向における左端ｉ１を次の式（１２）により算出する。
【００５３】
ｉ１＝ｆ２×ｘｏｂｊ＿ｌｅｆｔ／β×Ｚｏｂｊ …（１２）
【００５４】
続いて、表示範囲算出部１５は、撮影映像Ｏにおける表示範囲ａのｙ軸方向における右端ｉ２を次の式（１３）により算出する。
【００５５】
ｉ２＝ｆ２×ｘｏｂｊ＿ｒｉｇｈｔ／β×Ｚｏｂｊ …（１３）
【００５６】
これにより、表示範囲算出部１５は、四角形の表示範囲ａにおける頂点（ｉ１，ｊ１）、（ｉ１，ｊ２）、（ｉ２，ｊ１）、（ｉ２，ｊ２）を算出する。
【００５７】
［ステップＳ１０４：映像切出し］
次に、ステップＳ１０４において、映像切出し部１８が、撮影映像Ｏから表示範囲ａを切り出す。
【００５８】
［ステップＳ１０５：映像表示］
最後に、ステップ１０５において、映像表示部１９が、映像切出し部１８が切り出した映像をディスプレイ１２のサイズに合わせて、ディスプレイ１２に表示する。つまり、映像表示部１９は、切り出した映像がディスプレイ１２の画面全体に表示されるように、切り出した映像の表示倍率を調整（拡大又は縮小）して、ディスプレイ１２に表示する。
【００５９】
図６は、本実施形態によるユーザ視点空間映像提示装置１０の表示例を表すイメージ図である。図６（ａ）は、アウトカメラ１３の撮像映像Ｏをディスプレイ１２に表示した場合の表示例である。図６（ｂ）は、撮像映像Ｏから表示範囲ａを切り出した映像をディスプレイ１２に表示した場合の表示例である。図６（ａ）に示すように、撮影画像Ｏにおける被写体２００のスケールは、ユーザが肉眼で目にする被写体１００のスケールと異なる。ユーザ視点空間映像提示装置１０は、ユーザが肉眼で見ている被写体１００と、ディスプレイ１２に表示する映像がシームレスになるように、撮像映像Ｏから表示範囲ａを切り出して表示する。このため、図６（ｂ）に示すように、本実施形態によるユーザ視点空間映像提示装置１０では、ユーザＡが手動で表示倍率や表示範囲を調整せずとも、例えばユーザＡが肉眼で目視している橋１０１とディスプレイ１３に表示されている橋３０１とがあたかも繋がっているかのように表示される。つまり、ユーザが肉眼で見ている被写体１００のスケールとディスプレイ１２に表示する被写体３００のスケールとがほぼ同一である。
【００６０】
このように、本実施形態によれば、ユーザ視点空間映像提示装置１０は、ユーザの眼球位置と被写体までの距離に基づいて、ディスプレイ１２に表示する被写体の表示範囲を決定している。これにより、ユーザが手動で表示範囲や表示倍率を調整せずとも、ユーザが肉眼で目にしている被写体と表示する被写体とが一連の被写体であるかのように表示することができる。このため、ユーザは、ディスプレイ１２があたかもガラス窓で、ディスプレイ１２上に表示された映像がガラス窓を通してみえる実際の映像であるかのように感じることができる。そのため、ユーザが表示されている被写体を見たときに感じる違和感や混乱を軽減することができる。
また、ディスプレイ１２上にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を追加した場合には、そのＣＧが現実と同じような倍率で見えるため、あたかもそのＣＧが現実に存在するかのごとく、拡張現実感を得ることができる。
【００６１】
また、図３に示す各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、映像表示処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００６２】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００６３】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【００６４】
１０…ユーザ視点空間映像提示装置 １１…インカメラ １２…ディスプレイ １３…アウトカメラ １４…眼球位置計測部 １５…表示範囲算出部 １６…実空間撮影部 １７…被写体距離計測部 １８…映像切出し部 １９…映像表示部
【特許請求の範囲】
【請求項１】
ユーザの眼球位置を計測する眼球位置計測部と、
被写体を撮影する被写体撮影部と、
前記被写体までの距離を計測する被写体距離計測部と、
前記眼球位置計測部が計測した眼球位置と、前記被写体距離計測部が計測した被写体までの距離とに基づいて、表示範囲を算出する表示範囲算出部と、
前記被写体撮影部が撮影した画像から、前記表示範囲算出部が算出した表示範囲を切り出して表示する表示部と、
を備えることを特徴とするユーザ視点空間映像提示装置。
【請求項２】
前記表示範囲算出部は、前記眼球位置から当該ユーザ視点空間映像提示装置までの距離に対する前記眼球位置から前記被写体までの距離を用いて、表示範囲を算出することを特徴とする請求項１に記載のユーザ視点空間映像提示装置。
【請求項３】
ユーザを撮影するユーザ撮影部を更に備え、
前記眼球位置計測部は、前記ユーザ撮影部が撮影した画像から前記ユーザの眼球位置を計測する
ことを特徴とする請求項１または２に記載のユーザ視点空間映像提示装置。
【請求項４】
前記眼球位置計測部は、前記ユーザ撮影部が撮影した画像における眼球間隔を用いて、前記ユーザの眼球位置を計測することを特徴とする請求項３に記載のユーザ視点空間映像提示装置。
【請求項５】
眼球位置計測部が、ユーザの眼球位置を計測するステップと、
被写体撮影部が、被写体を撮影するステップと、
被写体距離計測部が、前記被写体までの距離を計測するステップと、
表示範囲算出部が、前記眼球位置計測部が計測した眼球位置と、前記被写体距離計測部が計測した被写体までの距離とに基づいて、表示範囲を算出するステップと、
表示部が、前記被写体撮影部が撮影した画像から、前記表示範囲算出部が算出した表示範囲を切り出して表示するステップと、
を有することを特徴とするユーザ視点空間映像提示方法。
【請求項６】
コンピュータに、
ユーザの眼球位置を計測するステップと、
被写体を撮影するステップと、
前記被写体までの距離を計測するステップと、
計測した眼球位置と、計測した被写体までの距離とに基づいて、表示範囲を算出するステップと、
撮影した画像から、算出した表示範囲を切り出して表示するステップと、
を実行させるためのプログラム。
【請求項１】
ユーザの眼球位置を計測する眼球位置計測部と、
被写体を撮影する被写体撮影部と、
前記被写体までの距離を計測する被写体距離計測部と、
前記眼球位置計測部が計測した眼球位置と、前記被写体距離計測部が計測した被写体までの距離とに基づいて、表示範囲を算出する表示範囲算出部と、
前記被写体撮影部が撮影した画像から、前記表示範囲算出部が算出した表示範囲を切り出して表示する表示部と、
を備えることを特徴とするユーザ視点空間映像提示装置。
【請求項２】
前記表示範囲算出部は、前記眼球位置から当該ユーザ視点空間映像提示装置までの距離に対する前記眼球位置から前記被写体までの距離を用いて、表示範囲を算出することを特徴とする請求項１に記載のユーザ視点空間映像提示装置。
【請求項３】
ユーザを撮影するユーザ撮影部を更に備え、
前記眼球位置計測部は、前記ユーザ撮影部が撮影した画像から前記ユーザの眼球位置を計測する
ことを特徴とする請求項１または２に記載のユーザ視点空間映像提示装置。
【請求項４】
前記眼球位置計測部は、前記ユーザ撮影部が撮影した画像における眼球間隔を用いて、前記ユーザの眼球位置を計測することを特徴とする請求項３に記載のユーザ視点空間映像提示装置。
【請求項５】
眼球位置計測部が、ユーザの眼球位置を計測するステップと、
被写体撮影部が、被写体を撮影するステップと、
被写体距離計測部が、前記被写体までの距離を計測するステップと、
表示範囲算出部が、前記眼球位置計測部が計測した眼球位置と、前記被写体距離計測部が計測した被写体までの距離とに基づいて、表示範囲を算出するステップと、
表示部が、前記被写体撮影部が撮影した画像から、前記表示範囲算出部が算出した表示範囲を切り出して表示するステップと、
を有することを特徴とするユーザ視点空間映像提示方法。
【請求項６】
コンピュータに、
ユーザの眼球位置を計測するステップと、
被写体を撮影するステップと、
前記被写体までの距離を計測するステップと、
計測した眼球位置と、計測した被写体までの距離とに基づいて、表示範囲を算出するステップと、
撮影した画像から、算出した表示範囲を切り出して表示するステップと、
を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−２４８６５５（Ｐ２０１１−２４８６５５Ａ）
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願番号】特願２０１０−１２１５６８（Ｐ２０１０−１２１５６８）
【出願日】平成２２年５月２７日（２０１０．５．２７）
【出願人】（３９７０６５４８０）エヌ・ティ・ティ・コムウェア株式会社 (187)
【Ｆターム（参考）】
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願日】平成２２年５月２７日（２０１０．５．２７）
【出願人】（３９７０６５４８０）エヌ・ティ・ティ・コムウェア株式会社 (187)
【Ｆターム（参考）】
[ Back to top ]