説明

画像再生装置、撮像装置、画像再生方法

【課題】撮像装置で撮像した現実空間をリアルに体感することのできる画像再生装置を提供する。
【解決手段】三次元データを再生する画像再生装置であって、現実空間の所定領域を撮像して得られた二次元の撮像画像データ32と、撮像画像データ32の各画素データに対応付けられた座標データとで構成され、前記座標データが、現実空間Rに対応する球体からなる擬似空間Vにおける位置を示す座標であって、各画素データに対応する現実空間Rの所定領域上の点、に対応する擬似空間V上の点の座標を示すデータであり、三次元データに基づく擬似空間Vの所定領域に対応する部分のうちの所定範囲を顔検出部2で検出された顔の位置と加速度センサ5で検出された装置100の位置とに基づいて切り出し、切り出した所定範囲の座標に対応する画素データに基づく画像を表示部8に表示させるCPU3を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像再生装置、撮像装置、画像再生方法に関する。
【背景技術】
【0002】
360度等の広範囲の被写体を撮影する場合に、デジタルカメラ等の撮像装置に魚眼レンズ、360°の範囲を撮影可能な全方位撮影レンズ等を装着して撮影することが行われる。このようにして撮影して得られる画像データは、二次元のパノラマ画像データとして記録される。このパノラマ画像データを再生する場合には、再生装置に設けられた操作部を操作して表示部に表示された画像をスクロールさせることで、パノラマ画像の全体を確認することができる。
【0003】
しかし、このように画像をスクロールさせて全体像を確認する方法では、再生装置の位置と表示部に表示される画像とに相関性がないため、パノラマ画像を得るために撮影した現実空間における被写体をリアルに体感することができない。
【0004】
特許文献1には、三次元の仮想空間のデータを、表示部を有する再生装置で再生するときに、その表示部の位置に応じて、表示すべき仮想空間内の範囲を決めることで、仮想空間をリアルに体感することを可能にした装置が開示されている。
【0005】
この装置は、例えるなら、仮想空間内に窓を設け、この窓から見える仮想空間内の景色を表示部に表示するものであり、窓の位置と表示部の位置をリンクさせることで、あたかも仮想空間内を歩き回っているかのように体感できるようになっている。
【0006】
しかし、現実空間では、窓の位置が固定であっても、観察者の位置によってその窓から見える景色は変化する。例えば、窓の近くにいるときには広い範囲を見渡せるが、窓から離れているときには狭い範囲しか見渡すことができない。上記装置では、観察者の位置を考慮した表示制御を行っていないため、リアリティに欠ける部分がある。また、表示する対象となる空間は現実空間とは関係のない仮想空間又は現実空間をポリゴン等で再現した仮想空間であるため、撮像装置で撮影した現実空間内を歩き回っているかのように体感することはできない。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開平10−336505号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は、上記事情に鑑みてなされたものであり、撮像装置で撮像した現実空間をリアルに体感することのできる画像再生方法及び装置とこれを備える撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の画像再生装置は、三次元データを再生する画像再生装置であって、前記三次元データは、現実空間の所定領域を撮像して得られた二次元の撮像画像データと、前記撮像画像データの各画素データに対応付けられた座標データとで構成されており、前記座標データは、前記現実空間に対応する球体からなる擬似空間における位置を示す座標であって、前記各画素データに対応する前記現実空間の前記所定領域上の点、に対応する前記擬似空間上の点の座標を示すデータであり、表示部と、前記表示部の表示面側を撮像する撮像部と、前記画像再生装置の位置を検出する装置位置検出部と、前記撮像部で撮像して得られる画像データと前記装置位置検出部で検出される前記画像再生装置の位置とに基づいて、前記表示部を観察している観察者の顔の位置を検出する顔検出部と、前記三次元データに基づく擬似空間の前記所定領域に対応する部分のうちの所定範囲を、前記顔検出部で検出された顔の位置と前記装置位置検出部で検出された前記画像再生装置の位置とに基づいて切り出す切り出し部と、前記切り出し部で切り出された前記所定範囲の座標に対応する前記画素データに基づく画像を前記表示部に表示させる表示制御部とを備える。
【0010】
本発明の撮像装置は、前記画像再生装置と、前記撮像部と異なる別の撮像部と、前記別の撮像部で撮像して得られる撮像信号から前記撮像画像データを生成し、前記撮像画像データを、前記別の撮像部の撮像範囲の情報及び撮像時における焦点距離の情報と対応付けて記録する記録部とを備える。
【0011】
本発明の画像再生方法は、三次元データを再生する画像再生方法であって、前記三次元データは、現実空間の所定領域を撮像して得られた二次元の撮像画像データと、前記撮像画像データの各画素データに対応付けられた座標データとで構成されており、前記座標データは、前記現実空間に対応する球体からなる擬似空間における位置を示す座標であって、前記各画素データに対応する前記現実空間の前記所定領域上の点、に対応する前記擬似空間上の点の座標を示すデータであり、前記三次元データを再生する画像再生装置の位置を検出する装置位置検出ステップと、前記画像再生装置に搭載される表示部の表示面側を撮像する撮像ステップと、前記撮像ステップで撮像して得た画像データと前記装置位置検出ステップで検出した前記画像再生装置の位置とに基づいて、前記表示部を観察している観察者の顔の位置を検出する顔検出ステップと、前記三次元データに基づく擬似空間の前記所定領域に対応する部分のうちの所定範囲を、前記顔検出ステップで検出した顔の位置と前記装置位置検出ステップで検出した前記画像再生装置の位置とに基づいて切り出す切り出しステップと、前記切り出しステップで切り出した前記所定範囲の座標に対応する前記画素データに基づく画像を前記表示部に表示させる表示制御ステップとを備える。
【発明の効果】
【0012】
本発明によれば、撮像装置で撮像した現実空間をリアルに体感することのできる画像再生方法及び装置とこれを備える撮像装置を提供することができる。
【図面の簡単な説明】
【0013】
【図1】本発明の一実施形態を説明するための画像再生装置の外観図
【図2】図1に示した画像再生装置の内部構成を示すブロック図
【図3】図1に示した画像再生装置のCPUが実施する三次元データ生成処理を説明するための図
【図4】図1に示した画像再生装置100の画像再生動作を説明するためのフローチャート
【図5】現実空間Rのイメージを示した図
【図6】現実空間Rと擬似空間Vとの対応付けを実施した時点での擬似空間Vのイメージを示した図
【図7】図1に示した画像再生装置のCPUが実施する画像の切り出し処理を説明するための図
【図8】図1に示した画像再生装置のCPUが実施する画像の切り出し処理を説明するための図
【図9】図1に示す画像再生装置の画像処理部が実施する画像調整処理を説明するための図
【図10】図1に示す画像再生装置の画像処理部が実施する画像調整処理を説明するための図
【発明を実施するための形態】
【0014】
以下、本発明の実施形態について図面を参照して説明する。
【0015】
図1は、本発明の一実施形態を説明するための画像再生装置の外観図である。図1に示した画像再生装置100は、箱状のハウジングHと、このハウジングHの幅広の面に設けられた撮像部6及び表示部8とを備える。
【0016】
図2は、図1に示した画像再生装置の内部構成を示すブロック図である。画像再生装置100は、角度センサ1と、顔検出部2と、CPU(中央演算処理装置)3と、メモリ4と、XYZ加速度センサ5と、撮像部6と、画像処理部7と、表示部8と、記録制御部9とを備え、これらはバスで相互に接続されている。
【0017】
表示部8は、この画像再生装置100で再生する画像を表示する平面状のエリアであり、有機EL素子、液晶表示素子等によって構成されている。図1の例では、表示部8は矩形となっている。
【0018】
撮像部6は、表示部8の表示面側にある被写体を撮像するものである。撮像部6は、撮影レンズ及び絞り等の光学系と撮像素子と信号処理部とを含み、光学系で捕らえた被写体像をこの撮像素子から撮像信号として出力し、この撮像信号を信号処理して画像データを生成する。
【0019】
XYZ加速度センサ5は、画像再生装置100の位置を検出するものであり、画像再生装置100の位置を三次元座標データとして出力する。この装置では、XYZ加速度センサ5で検出した画像再生装置100の位置を、表示部8の中心位置として扱うものとする。
【0020】
顔検出部2は、撮像部6で撮像して得られる画像データと、XYZ加速度センサ5で検出された画像再生装置100の位置とに基づいて、画像再生装置100の表示部8を観察する観察者の顔の位置を検出する。顔検出部2は、撮像部6で観察者を撮像して得られた画像データから公知の顔検出処理により観察者の顔が存在する顔エリアを検出する。そして、顔エリアの中心点、顔エリアに含まれる両眼の中間点等を顔として検出する。
【0021】
また、顔検出部2は、撮像部6で撮像して得られた画像データに付属する焦点距離の情報と、検出した顔の画面内における位置の情報とから、画像再生装置100の位置に対する顔の位置の情報(表示部8の中心に対してどの方向にどのくらいの距離で顔があるかを示した情報)を求める。人物の顔に焦点を合わせて撮像を行うように撮像部6の設定を行っておくことで、焦点距離の情報により、画像再生装置100の位置から顔までの距離を求めることができる。
【0022】
画像再生装置100の位置はXYZ加速度センサ5によって検出することができるため、顔検出部2は、XYZ加速度センサ5の検出結果と、画像再生装置100の位置に対する観察者の顔の位置の情報とから、観察者の顔の位置を示す三次元座標データを求めることができる。
【0023】
角度センサ1は、画像再生装置100が任意の位置にあるときの、その位置における画像再生装置100の傾きを検出するセンサである。角度センサ1は、例えば、画像再生装置100の表示部8の表示面が地面に対して垂直になっている状態を基準(傾き角θ=0°)とし、その状態からの装置の傾き角θを検出する。
【0024】
記録制御部9は、画像再生装置100に着脱可能な記録媒体10の制御を行うものであり、記録媒体10からのデータ読み出し、記録媒体10へのデータ書き込みを行う。
【0025】
記録媒体10には、デジタルカメラ等の撮像装置で被写体を撮像して得られた二次元の撮像画像データと、その撮像を行った撮像装置の撮像範囲の情報及び撮像時の焦点距離の情報とが対応付けて記録される。これらのデータは、魚眼レンズを搭載した撮像装置、360度全方位を1度に撮像可能な全方位レンズを搭載した撮像装置等、所定の立体角を撮像範囲として撮像可能な撮像装置によって得られたものである。
【0026】
撮像装置の撮像範囲の情報とは、魚眼レンズや全方位レンズの特性で決まる画角の情報であり、焦点距離の情報とは、魚眼レンズや全方位レンズが焦点を合わせた距離のことをいう。レンズの画角に入る被写体のうちの焦点が合っている領域が、上述した立体角となる。
【0027】
CPU3は、画像再生装置100全体を統括制御する。
【0028】
CPU3は、記録媒体10に記録されている撮像画像データ、撮像範囲の情報、及び焦点距離の情報に基づいて、三次元データを生成する三次元データ生成処理を実施する。以下、三次元データ生成処理について詳しく説明する。
【0029】
記録媒体10に記録されている撮像画像データは、現実空間の所定領域(撮像装置の画角と焦点距離で決まる領域、以下撮像領域という)を撮像して得られたものである。このため、撮像画像データを構成する各画素データは、この撮像領域のいずれかの点に対応するデータとなっている。
【0030】
この二次元の撮像画像データを、現実空間に対応する擬似空間上の上記撮像領域に対応する領域にマッピングして、撮像画像データの各画素データに三次元の位置座標を持たせる処理が三次元データ生成処理である。
【0031】
図3は、図1に示した画像再生装置のCPUが実施する三次元データ生成処理を説明するための図である。ここでは、画角約180°の魚眼レンズを搭載した撮像装置で撮像して得られた撮像画像データから三次元データを生成する例を説明する。
【0032】
画角約180°の魚眼レンズを搭載した撮像装置によって撮像を行う場合、XYZ座標で規定される現実空間Rにおいて、画角180°の範囲に入りかつ所定の焦点距離にある帯状の領域31が撮像領域となる。この撮像領域を撮像して得られた画像データが撮像画像データ32である。
【0033】
撮像画像データ32の画素データ32aは、現実空間Rの帯状の領域31の点31aを撮像して得られたものであり、撮像画像データ32の画素データ32bは、現実空間Rの帯状の領域31の点31bを撮像して得られたものである。このように、撮像画像データ32の各画素データは、帯状の領域31のいずれかの点に対応する。各画素データがどの点に対応するかは、撮像装置の画角及び焦点距離の情報、撮像画像データ32の画素データの縦横の数等によって知ることができる。
【0034】
まず、CPU3は、記録媒体10から撮像画像データ32とそれに付属するデータを読み出してメモリ4に展開し、読み出したデータに含まれる焦点距離の情報から、現実空間Rに対応する擬似空間V(撮像画像データを得た撮像装置の位置を原点Oとした三次元空間)をメモリ4上に生成する。CPU3は、例えば、撮像画像データ32の撮像時の焦点距離を半径とする球体を擬似空間Vとして生成する。
【0035】
次に、CPU3は、読み出したデータに含まれる撮像装置の画角の情報から、擬似空間Vにおいて、帯状の領域31に対応する帯状の領域33を設定する。
【0036】
画角の情報により、撮像画像データ32が現実空間Rのどの範囲を撮像して得られたものかが分かるため、擬似空間Vにおいてこの範囲に対応する領域を決めることで、帯状の領域33を設定することができる。
【0037】
帯状の領域33は、帯状の領域31を擬似的に再現したものであるため、撮像画像データ32は、この帯状の領域33を撮像して得られたものとして扱うことができる。
【0038】
撮像画像データ32の画素データと帯状の領域33の各点との対応関係は、撮像装置の画角及び焦点距離の情報、撮像画像データ32の画素データの総数等によって既知であるため、CPU3は、この帯状の領域33の各点の位置を示す座標データと、この各点に対応する画像データ32の画素データとを対応付けて記録媒体10に記録する。
【0039】
つまり、CPU3によって生成される三次元データは、現実空間Rの領域31を撮像して得られた撮像画像データ32と、この撮像画像データ32の各画素データに対応付けられた擬似空間V上の座標データとで構成されている。そして、この座標データは、撮像画像データ32の各画素データに対応する現実空間Rの領域31の点と対応する擬似空間V上の点の座標を示すデータとなっている。
【0040】
CPU3は、擬似空間Vに設定された撮像領域のうちの所定範囲を、顔検出部2で検出された顔の位置とXYZ加速度センサ5で検出された画像再生装置100の位置とに基づいて切り出す切り出し処理も行う。また、CPU3は、切り出し処理で切り出した擬似空間Vの所定範囲にある各点の座標に対応する画素データに基づく画像を表示部8に表示させる表示制御も行う。
【0041】
画像処理部7は、上記所定範囲にある各点の座標に対応する画素データに基づく画像を、角度センサ1で検出される画像再生装置100の傾きに応じて調整する処理を行う。
【0042】
以下、画像再生装置100が記録媒体10に記録されている三次元データの再生を行うときの動作について説明する。
【0043】
図4は、図1に示した画像再生装置100の再生動作を説明するためのフローチャートである。なお、以下の説明においては、図3に示した撮像画像データ32から生成された三次元データを再生する例について説明する。三次元データの再生指示がなされた時点で、現実空間Rには、図5に示した位置関係で顔Fと画像再生装置100が存在しているものとする。
【0044】
記録媒体10に記録されている三次元データの再生が指示されると、CPU3は、三次元データに含まれる撮像画像データに付属する焦点距離の情報に基づいて、該焦点距離を半径とした球体の擬似空間Vをメモリ4上に生成する(ステップS1)。
【0045】
次に、CPU3は、三次元データに含まれる座標データを用いて、撮像画像データ32の各画素データを擬似空間V上の座標位置にマッピングして、擬似空間Vに帯状の領域33(撮像領域)を生成する(ステップS2)。
【0046】
次に、CPU3は、現実空間Rと擬似空間Vとの対応付けを実施する(ステップS3)。具体的には、CPU3は、現実空間Rにおける画像再生装置100の位置座標データをXYZ加速度センサ5から取得し、現実空間Rにおける観察者の顔の位置座標データを顔検出部2から取得する。そして、現実空間Rにおける顔Fの位置が擬似空間Vの原点となるように、顔F及び画像再生装置100の位置座標データを変換し、変換後の位置座標データを擬似空間Vにマッピングする。
【0047】
図6は、現実空間Rと擬似空間Vとの対応付けを実施した状態の擬似空間Vのイメージを示した図である。図6に示した擬似空間Vの原点Oには、現実空間Rに存在する顔Fに対応する顔F’がマッピングされ、その近くには現実空間Rに存在する画像再生装置100に対応する画像再生装置100’がマッピングされている。擬似空間Vにおける顔F’と画像再生装置100’との相対位置関係は、現実空間Rにおける顔Fと画像再生装置100との相対位置関係と同じになっている。
【0048】
ステップS3の終了後、CPU3は、XYZ加速度センサ5を制御して、現実空間Rにおける画像再生装置100の位置座標データを取得し、これを擬似空間V用に変換して画像再生装置100’の位置座標データを更新する(ステップS4)。
【0049】
次に、CPU3は、更新した画像再生装置100’の位置座標データに基づいて、画像再生装置100’の位置が擬似空間V内にあるかどうかを判定する(ステップS5)。
【0050】
ステップS5の判定がNOのとき、CPU3は、三次元データの再生を行わずに、処理を終了する。ステップS5の判定がYESのとき、CPU3はステップS6に処理を移行する。
【0051】
ステップS6では、CPU3が、顔検出部2を制御して、現実空間Rにおける顔Fの位置座標データを取得し、これを擬似空間V用に変換して顔F’の位置座標データを更新する。
【0052】
次に、CPU3は、擬似空間Vにおける画像再生装置100’の位置座標データから、画像再生装置100’の表示部8’の4隅の点の位置座標データを求める。そして、この4隅の点の各々と顔F’の中心を結ぶ4本の直線と帯状の領域33とが交わる点を求め、この点で区画される帯状の領域33の範囲を再生範囲として切り出す(ステップS7)。
【0053】
擬似空間Vにおける画像再生装置100’の位置座標データは、画像再生装置100’の表示部8’の中心の位置を示しており、画像再生装置100’の表示部8’の大きさは、画像再生装置100の表示部8の大きさと同じである。このため、画像再生装置100内に、表示部8の情報(縦横のサイズ、中心から4隅までの距離の情報等)を記憶しておくことで、表示部8’の4隅の点の位置座標データを求めることができる。
【0054】
なお、ここでは、観察者の顔Fが表示部8の真正面にあると仮定して、表示部8’の4隅の位置座標データを求める。つまり、表示部8’の中心と顔F’の中心とを結ぶ直線と表示部8の表示面とのなす角度が90度となるように、表示部8’の4隅の点の位置座標データを求める。
【0055】
顔F’と画像再生装置100’が擬似空間Vにおいて図6に示した位置に存在している場合には、図7に示すように、原点Oと表示部8’の4隅の点を結ぶ4本の直線が領域33と交わる点で区画された範囲33aが再生範囲として切り出される。図8に示すように、顔F’及び画像再生装置100’の位置が変化した場合には、領域33の切り出し範囲(33b,33c)も変化する。
【0056】
ステップS7の後、CPU3は角度センサ1を制御して画像再生装置100の傾きを検出する。そして、画像処理部7が、検出された傾き角θに応じて、ステップS7で切り出した再生範囲の画素データ(再生範囲にある各点の位置座標データが対応付けられている画素データ)に基づく画像を調整する処理を実施する(ステップS8)。
【0057】
図9は、図1に示す画像再生装置の画像処理部が実施する画像調整処理を説明するための図である。図9に示すように、傾き角θが0°のとき、表示部8に表示される画像91は、歪みの無い画像として観察することができる。一方、画像再生装置100が顔に対して45度の角度で傾いている場合、表示部8に表示される画像91は画像92のようになり、実際の画像91よりも縮んで見えてしまう。
【0058】
そこで、画像処理部7では、この縮みを解消するために、表示部8に表示させる画像を傾き角θに応じて引き伸ばす処理を行う。例えば、画像処理部7は、画像再生装置100の傾き方向に合わせて画像91を引き伸ばした画像93を生成する。
【0059】
これにより、傾き角θ=45°で観察している観察者からは、画像93が画像94のように見えることになり、歪みのない画像表示が可能となる。画像の歪みは、傾き角θに比例して大きくなるため、傾き角θが大きいほど、画像を大きく伸ばすことで、表示部8を見ていることを感じさせない、リアルな画像表示が可能になる。
【0060】
図10は、図1に示す画像再生装置の画像処理部が実施する画像調整処理を説明するための図である。図10のFIG10Aは、観察者から見える表示部8の画像の輝度と傾き角θとの関係を示したグラフである。FIG10Aに示すように、傾き角θが大きくなるほど、観察者から見える表示部8の画像の輝度は低下する。
【0061】
そこで、画像処理部7は、この輝度低下を解消するために、表示部8に表示させる画像の輝度を傾き角θに応じて高くする処理を行う。例えば、観察者から見える表示部8の画像の輝度が傾き角によらず一定となるように、FIG10Bに示したように、傾き角θに応じて輝度レベルを持ち上げる処理を行う。FIG10Bにおいて、符号aは輝度レベルの調整を行わないときの輝度特性を示し、符号bは輝度レベルの調整を行ったときの輝度特性を示している。
【0062】
このように輝度レベルを調整することで、画像再生装置100を傾けた場合でも表示部8に表示される画像の輝度変化がなくなり、表示部8を見ていることを感じさせない、リアルな画像表示が可能になる。
【0063】
ステップS8で画像の調整が終了すると、CPU3は、調整後の画像を表示部8に表示させる(ステップS9)。
【0064】
ステップS9の後、画像再生を終了する指示がなされた場合(ステップS10:YES)、CPU3は処理を終了する。
【0065】
ステップS9の後、画像再生を継続する場合(ステップS10:NO)、CPU3はステップS4に処理を戻し、顔F及び画像再生装置100の位置に応じて再生範囲を更新する。
【0066】
このように、この画像再生装置100では、画像再生装置100を観察している観察者の顔の位置と画像再生装置100の位置とに基づいて、現実空間を撮像して得られた撮像画像データに基づく画像の一部を切り出して表示するようにしている。
【0067】
このような構成により、例えるなら、擬似空間内に窓を設け、この窓から見える擬似空間内の景色を表示部8に表示した状態を作り出すことができる。また、窓の位置と表示部8の位置はリンクしているため、表示部8を動かすことで、あたかも擬似空間内を歩き回っているかのように体感することができる。また、窓の位置だけでなく、その窓を覗いている観察者の顔の位置も考慮して表示部8に表示する範囲を決めている。このため、顔を装置に近づけたときには広い範囲を見ることができるといったような現実に近い感覚を味わうことが可能となる。
【0068】
また、画像再生装置100によれば、表示部8に表示される画像やその輝度が、画像再生装置100の傾きに応じて調整されるため、表示部8を見ていることを感じさせない現実に近い画像表示が可能となる。
【0069】
なお、上述してきた画像再生装置100の三次元データ生成機能及び三次元データの再生機能は、デジタルカメラ等の撮像装置に持たせておいてもよい。
【0070】
例えば、画像再生装置100に、表示部8の反対面側を撮像する別の撮像部を設け、この撮像部で撮像して得られる撮像信号から画像処理部7によって撮像画像データを生成する。そして、CPU3が、この撮像画像データを、この撮像部の撮像範囲の情報及び撮像時における焦点距離の情報と対応付けて記録媒体10に記録するようにすればよい。
【0071】
これにより、撮像した被写体像を、その場ですぐに、擬似空間上でリアルに体感することができるようになり、付加価値の高い撮像装置を提供することができる。
【0072】
以上説明したように、本明細書には以下の事項が開示されている。
【0073】
開示された画像再生装置は、三次元データを再生する画像再生装置であって、前記三次元データは、現実空間の所定領域を撮像して得られた二次元の撮像画像データと、前記撮像画像データの各画素データに対応付けられた座標データとで構成されており、前記座標データは、前記現実空間に対応する球体からなる擬似空間における位置を示す座標であって、前記各画素データに対応する前記現実空間の前記所定領域上の点、に対応する前記擬似空間上の点の座標を示すデータであり、表示部と、前記表示部の表示面側を撮像する撮像部と、前記画像再生装置の位置を検出する装置位置検出部と、前記撮像部で撮像して得られる画像データと前記装置位置検出部で検出される前記画像再生装置の位置とに基づいて、前記表示部を観察している観察者の顔の位置を検出する顔検出部と、前記三次元データに基づく擬似空間の前記所定領域に対応する部分のうちの所定範囲を、前記顔検出部で検出された顔の位置と前記装置位置検出部で検出された前記画像再生装置の位置とに基づいて切り出す切り出し部と、前記切り出し部で切り出された前記所定範囲の座標に対応する前記画素データに基づく画像を前記表示部に表示させる表示制御部とを備える。
【0074】
この構成により、顔の位置と装置の位置とに基づいて、現実空間を撮像して得られた撮像画像データをマッピングして得られた擬似空間の一部が画像として表示される。このため、撮像装置で撮像した現実空間をリアルに体感することが可能となる。
【0075】
開示された画像再生装置は、前記切り出し部は、画像再生開始時点で、前記顔検出部によって検出された顔の位置を前記三次元データに基づく擬似空間の原点に設定した後、前記顔の位置と前記画像再生装置の位置を前記擬似空間の座標に変換し、前記擬似空間における前記顔の位置と前記擬似空間における前記装置の位置とに応じて、前記所定範囲を切り出す。
【0076】
この構成により、顔と表示部の位置関係で表示部に表示される画像が変化するため、その画像をリアルなものにすることができる。
【0077】
開示された画像再生装置は、前記表示部が矩形であり、前記切り出し部は、前記擬似空間における前記顔の位置と前記装置の表示部の4隅とを結ぶ直線を設定し、前記擬似空間の前記所定領域に対応する部分と前記直線とが交わる点で区画される範囲を前記所定範囲として切り出す。
【0078】
この構成により、顔と表示部の位置関係で表示部に表示される画像が変化するため、その画像をリアルなものにすることができる。
【0079】
開示された画像再生装置は、前記画像再生装置の傾きを検出する装置傾き検出部と、前記装置傾き検出部で検出された傾きに基づいて、前記切り出し部によって切り出された前記所定範囲の座標に対応する前記画素データに基づく画像を調整する画像調整部とを備え、前記表示制御部は、前記画像調整部で調整後の画像を前記表示部に表示させる。
【0080】
この構成により、表示部に表示させる画像をよりリアルなものにすることができる。
【0081】
開示された画像再生装置は、前記画像調整部が、前記装置の傾きに応じて前記画像を引き伸ばす処理を行う。
【0082】
この構成により、表示部に表示させる画像をよりリアルなものにすることができる。
【0083】
開示された画像再生装置は、前記画像調整部が、前記装置の傾きに応じて前記画像の輝度を調整する。
【0084】
この構成により、表示部に表示させる画像をよりリアルなものにすることができる。
【0085】
開示された画像再生装置は、前記撮像画像データの各画素データに前記座標データを対応付けて記録することで前記三次元データを生成する三次元データ生成部を備える。
【0086】
開示された画像再生装置は、前記三次元データ生成部が、前記撮像画像データに対応付けて記録されている前記撮像画像データ取得のための撮像時の焦点距離の情報を用いて前記擬似空間をメモリ上に生成し、前記撮像画像データに対応付けて記録されている前記撮像画像データ取得のための撮像時の撮像範囲の情報を用いて、前記撮像範囲に対応する擬似撮像範囲を前記擬似空間に設定し、前記擬似撮像範囲の各点の位置を示す前記座標データを、前記各点に対応する前記撮像画像データの画素データに対応付けて記録することで、前記三次元データを生成する。
【0087】
開示された撮像装置は、前記画像再生装置と、前記撮像部と異なる別の撮像部と、前記別の撮像部で撮像して得られる撮像信号から前記撮像画像データを生成し、前記撮像画像データを、前記別の撮像部の撮像範囲の情報及び撮像時における焦点距離の情報と対応付けて記録する記録部とを備える。
【0088】
開示された画像再生方法は、三次元データを再生する画像再生方法であって、前記三次元データは、現実空間の所定領域を撮像して得られた二次元の撮像画像データと、前記撮像画像データの各画素データに対応付けられた座標データとで構成されており、前記座標データは、前記現実空間に対応する球体からなる擬似空間における位置を示す座標であって、前記各画素データに対応する前記現実空間の前記所定領域上の点、に対応する前記擬似空間上の点の座標を示すデータであり、前記三次元データを再生する画像再生装置の位置を検出する装置位置検出ステップと、前記画像再生装置に搭載される表示部の表示面側を撮像する撮像ステップと、前記撮像ステップで撮像して得た画像データと前記装置位置検出ステップで検出した前記画像再生装置の位置とに基づいて、前記表示部を観察している観察者の顔の位置を検出する顔検出ステップと、前記三次元データに基づく擬似空間の前記所定領域に対応する部分のうちの所定範囲を、前記顔検出ステップで検出した顔の位置と前記装置位置検出ステップで検出した前記画像再生装置の位置とに基づいて切り出す切り出しステップと、前記切り出しステップで切り出した前記所定範囲の座標に対応する前記画素データに基づく画像を前記表示部に表示させる表示制御ステップとを備える。
【0089】
開示された画像再生方法は、前記切り出しステップでは、画像再生開始時点で、前記顔検出ステップで検出した顔の位置を前記三次元データに基づく擬似空間の原点に設定した後、前記顔の位置と前記画像再生装置の位置を前記擬似空間の座標に変換し、前記擬似空間における前記顔の位置と前記擬似空間における前記装置の位置とに応じて、前記所定範囲を切り出す。
【0090】
開示された画像再生方法は、前記表示部が矩形であり、前記切り出しステップでは、前記擬似空間における前記顔の位置と前記装置の表示部の4隅とを結ぶ直線を設定し、前記擬似空間の前記所定領域に対応する部分と前記直線とが交わる点で区画される範囲を前記所定範囲として切り出す。
【0091】
開示された画像再生方法は、前記画像再生装置の傾きを検出する装置傾き検出ステップと、前記装置傾き検出ステップで検出した傾きに基づいて、前記切り出しステップで切り出した前記所定範囲の座標に対応する前記画素データに基づく画像を調整する画像調整ステップとを備え、前記表示制御ステップでは、前記画像調整ステップで調整後の画像を前記表示部に表示させる。
【0092】
開示された画像再生方法は、前記画像調整ステップでは、前記装置の傾きに応じて前記画像を引き伸ばす処理を行う。
【0093】
開示された画像再生方法は、前記画像調整ステップでは、前記装置の傾きに応じて前記画像の輝度を調整する。
【0094】
開示された画像再生方法は、前記撮像画像データの各画素データに前記座標データを対応付けて記録することで前記三次元データを生成する三次元データ生成ステップを備える。
【0095】
開示された画像再生方法は、前記三次元データ生成ステップでは、前記撮像画像データに対応付けて記録されている前記撮像画像データ取得のための撮像時の焦点距離の情報を用いて前記擬似空間をメモリ上に生成し、前記撮像画像データに対応付けて記録されている前記撮像画像データ取得のための撮像時の撮像範囲の情報を用いて、前記撮像範囲に対応する擬似撮像範囲を前記擬似空間に設定し、前記擬似撮像範囲の各点の位置を示す前記座標データを、前記各点に対応する前記撮像画像データの画素データに対応付けて記録することで、前記三次元データを生成する。
【符号の説明】
【0096】
100 画像再生装置
2 顔検出部
3 CPU
5 XYZ加速度センサ
6 撮像部
8 表示部

【特許請求の範囲】
【請求項1】
三次元データを再生する画像再生装置であって、
前記三次元データは、現実空間の所定領域を撮像して得られた二次元の撮像画像データと、前記撮像画像データの各画素データに対応付けられた座標データとで構成されており、前記座標データは、前記現実空間に対応する球体からなる擬似空間における位置を示す座標であって、前記各画素データに対応する前記現実空間の前記所定領域上の点、に対応する前記擬似空間上の点の座標を示すデータであり、
表示部と、
前記表示部の表示面側を撮像する撮像部と、
前記画像再生装置の位置を検出する装置位置検出部と、
前記撮像部で撮像して得られる画像データと前記装置位置検出部で検出される前記画像再生装置の位置とに基づいて、前記表示部を観察している観察者の顔の位置を検出する顔検出部と、
前記三次元データに基づく擬似空間の前記所定領域に対応する部分のうちの所定範囲を、前記顔検出部で検出された顔の位置と前記装置位置検出部で検出された前記画像再生装置の位置とに基づいて切り出す切り出し部と、
前記切り出し部で切り出された前記所定範囲の座標に対応する前記画素データに基づく画像を前記表示部に表示させる表示制御部とを備える画像再生装置。
【請求項2】
請求項1記載の画像再生装置であって、
前記切り出し部は、画像再生開始時点で、前記顔検出部によって検出された顔の位置を前記三次元データに基づく擬似空間の原点に設定した後、前記顔の位置と前記画像再生装置の位置を前記擬似空間の座標に変換し、前記擬似空間における前記顔の位置と前記擬似空間における前記装置の位置とに応じて、前記所定範囲を切り出す画像再生装置。
【請求項3】
請求項2記載の画像再生装置であって、
前記表示部が矩形であり、
前記切り出し部は、前記擬似空間における前記顔の位置と前記装置の表示部の4隅とを結ぶ直線を設定し、前記擬似空間の前記所定領域に対応する部分と前記直線とが交わる点で区画される範囲を前記所定範囲として切り出す画像再生装置。
【請求項4】
請求項1〜3のいずれか1項記載の画像再生装置であって、
前記画像再生装置の傾きを検出する装置傾き検出部と、
前記装置傾き検出部で検出された傾きに基づいて、前記切り出し部によって切り出された前記所定範囲の座標に対応する前記画素データに基づく画像を調整する画像調整部とを備え、
前記表示制御部は、前記画像調整部で調整後の画像を前記表示部に表示させる画像再生装置。
【請求項5】
請求項4記載の画像再生装置であって、
前記画像調整部が、前記装置の傾きに応じて前記画像を引き伸ばす処理を行う画像再生装置。
【請求項6】
請求項4記載の画像再生装置であって、
前記画像調整部が、前記装置の傾きに応じて前記画像の輝度を調整する画像再生装置。
【請求項7】
請求項1〜6のいずれか記載の画像再生装置であって、
前記撮像画像データの各画素データに前記座標データを対応付けて記録することで前記三次元データを生成する三次元データ生成部を備える画像再生装置。
【請求項8】
請求項7記載の画像再生装置であって、
前記三次元データ生成部が、前記撮像画像データに対応付けて記録されている前記撮像画像データ取得のための撮像時の焦点距離の情報を用いて前記擬似空間をメモリ上に生成し、前記撮像画像データに対応付けて記録されている前記撮像画像データ取得のための撮像時の撮像範囲の情報を用いて、前記撮像範囲に対応する擬似撮像範囲を前記擬似空間に設定し、前記擬似撮像範囲の各点の位置を示す前記座標データを、前記各点に対応する前記撮像画像データの画素データに対応付けて記録することで、前記三次元データを生成する画像再生装置。
【請求項9】
請求項8記載の画像再生装置と、
前記撮像部と異なる別の撮像部と、
前記別の撮像部で撮像して得られる撮像信号から前記撮像画像データを生成し、前記撮像画像データを、前記別の撮像部の撮像範囲の情報及び撮像時における焦点距離の情報と対応付けて記録する記録部とを備える撮像装置。
【請求項10】
三次元データを再生する画像再生方法であって、
前記三次元データは、現実空間の所定領域を撮像して得られた二次元の撮像画像データと、前記撮像画像データの各画素データに対応付けられた座標データとで構成されており、前記座標データは、前記現実空間に対応する球体からなる擬似空間における位置を示す座標であって、前記各画素データに対応する前記現実空間の前記所定領域上の点、に対応する前記擬似空間上の点の座標を示すデータであり、
前記三次元データを再生する画像再生装置の位置を検出する装置位置検出ステップと、
前記画像再生装置に搭載される表示部の表示面側を撮像する撮像ステップと、
前記撮像ステップで撮像して得た画像データと前記装置位置検出ステップで検出した前記画像再生装置の位置とに基づいて、前記表示部を観察している観察者の顔の位置を検出する顔検出ステップと、
前記三次元データに基づく擬似空間の前記所定領域に対応する部分のうちの所定範囲を、前記顔検出ステップで検出した顔の位置と前記装置位置検出ステップで検出した前記画像再生装置の位置とに基づいて切り出す切り出しステップと、
前記切り出しステップで切り出した前記所定範囲の座標に対応する前記画素データに基づく画像を前記表示部に表示させる表示制御ステップとを備える画像再生方法。
【請求項11】
請求項10記載の画像再生方法であって、
前記切り出しステップでは、画像再生開始時点で、前記顔検出ステップで検出した顔の位置を前記三次元データに基づく擬似空間の原点に設定した後、前記顔の位置と前記画像再生装置の位置を前記擬似空間の座標に変換し、前記擬似空間における前記顔の位置と前記擬似空間における前記装置の位置とに応じて、前記所定範囲を切り出す画像再生方法。
【請求項12】
請求項11記載の画像再生方法であって、
前記表示部が矩形であり、
前記切り出しステップでは、前記擬似空間における前記顔の位置と前記装置の表示部の4隅とを結ぶ直線を設定し、前記擬似空間の前記所定領域に対応する部分と前記直線とが交わる点で区画される範囲を前記所定範囲として切り出す画像再生方法。
【請求項13】
請求項10〜12のいずれか1項記載の画像再生方法であって、
前記画像再生装置の傾きを検出する装置傾き検出ステップと、
前記装置傾き検出ステップで検出した傾きに基づいて、前記切り出しステップで切り出した前記所定範囲の座標に対応する前記画素データに基づく画像を調整する画像調整ステップとを備え、
前記表示制御ステップでは、前記画像調整ステップで調整後の画像を前記表示部に表示させる画像再生方法。
【請求項14】
請求項13記載の画像再生方法であって、
前記画像調整ステップでは、前記装置の傾きに応じて前記画像を引き伸ばす処理を行う画像再生方法。
【請求項15】
請求項13記載の画像再生方法であって、
前記画像調整ステップでは、前記装置の傾きに応じて前記画像の輝度を調整する画像再生方法。
【請求項16】
請求項10〜15のいずれか記載の画像再生方法であって、
前記撮像画像データの各画素データに前記座標データを対応付けて記録することで前記三次元データを生成する三次元データ生成ステップを備える画像再生方法。
【請求項17】
請求項16記載の画像再生方法であって、
前記三次元データ生成ステップでは、前記撮像画像データに対応付けて記録されている前記撮像画像データ取得のための撮像時の焦点距離の情報を用いて前記擬似空間をメモリ上に生成し、前記撮像画像データに対応付けて記録されている前記撮像画像データ取得のための撮像時の撮像範囲の情報を用いて、前記撮像範囲に対応する擬似撮像範囲を前記擬似空間に設定し、前記擬似撮像範囲の各点の位置を示す前記座標データを、前記各点に対応する前記撮像画像データの画素データに対応付けて記録することで、前記三次元データを生成する画像再生方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2011−108028(P2011−108028A)
【公開日】平成23年6月2日(2011.6.2)
【国際特許分類】
【出願番号】特願2009−263034(P2009−263034)
【出願日】平成21年11月18日(2009.11.18)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】