遮蔽物除去表示装置
【課題】単純な操作で、風景画像の中から除去する対象物を指定すること。
【解決手段】位置検出部１０１と、地図情報所得部１０２と、方角検出部１０３と、表示区間切替え判定部１０９と、連続区間判定部１１０と、除去対象判定部１１３を備え、装置の方向が変化した際に背景画像を表示する道の区間を直前に表示していた区間と連続する区間に設定することにより、除去対象判定部１１３が連続する次の区間の背景画像を表示するための除去対象物を選択する。選択された除去対象物の背景画像を背景画像取得部１１４が取得し、撮影部１０７が撮影した画像と嵌め込み合成部１１５が合成し、表示する。
【解決手段】位置検出部１０１と、地図情報所得部１０２と、方角検出部１０３と、表示区間切替え判定部１０９と、連続区間判定部１１０と、除去対象判定部１１３を備え、装置の方向が変化した際に背景画像を表示する道の区間を直前に表示していた区間と連続する区間に設定することにより、除去対象判定部１１３が連続する次の区間の背景画像を表示するための除去対象物を選択する。選択された除去対象物の背景画像を背景画像取得部１１４が取得し、撮影部１０７が撮影した画像と嵌め込み合成部１１５が合成し、表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は遮蔽物を除去した状態での画像を推測して背景画像と合成し表示する表示装置に関するものである。
【背景技術】
【０００２】
従来の撮影画像中の物体を遮蔽物として指定し、その遮蔽物がない状態で撮影した画像を推測して生成する技術では、遮蔽物までの距離の範囲を指定し、その範囲内の物体を遮蔽物として指定している（例えば、特許文献１参照）。また、撮影した画像中の物体の位置を求め、除去する遮蔽物をユーザが指定するとしているものもある。（例えば、特許文献２参照）。また、表示する物体までの距離を指定し、その距離にある物体の画像のみを表示するとしているものもある。（例えば、非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１１７３０５号公報
【特許文献２】特開平１１−１２０３５２号公報
【非特許文献】
【０００４】
【非特許文献１】Flaneur : digital see-through telescope(慶応大学 加藤浩他), International Conference on Computer Graphics and Interactive Techniques, ACM SIGGRAPH ASIA 2008, SESSION: Emerging technologies, Pages 43-43
【非特許文献２】Analysis and Machine Intelligence, 22(11):1330-1334, 2000., "A flexible new technique for camera calibration". IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000.
【非特許文献３】CAD・CGのための基礎数学、島田静雄 、インターネット時代の数学シリーズ ７、共立出版、2000年.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記従来の構成では、観察する対象と除去する対象が単純な形状で数も少ない場合には有効ではあるが、多くのビルが建った複雑な形状の街路を歩いている際に直接視認できない行き先を見やすく表示する場合や、周辺の風景を直接視認できない街路上の目的とする種類の店舗、たとえば飲食店などを探すために用いる場合には、
距離だけの単純な指定では、ユーザの意図通りの遮蔽物除去を行えないため、意図通りの画像が得られない場合が多く、また、除去する対象をすべて指定する場合には操作が煩雑になり操作性に問題を生じるという課題を有していた。
【０００６】
また、撮影箇所から背景画像や目的物の画像を撮影することがまったく不可能な場合にそれらの画像を目的方向に向けた画面に表示する技術として、非特許文献１のような技術が開示されているものの、この場合も方向と距離によって指示された位置の画像をサーバから取得して表示する技術のみが開示されており、複雑な形状の街路での連続的な操作に用いる場合には操作性、視認性が不十分である。また、非特許文献１では、直接視認不可能な風景を表示するのみであり、ユーザが直接視認できる風景との関係を把握しづらく、目的物までの距離や方角をユーザが認識しにくいという課題を有していた。
【０００７】
本発明は、前記従来の課題を解決するもので、単純な操作でユーザの意図する遮蔽物の除去を指定することが可能で、かつ目的物までの距離、方角を認識することが容易な遮蔽物除去表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記従来の課題を解決するために、本発明の遮蔽物除去表示装置は、装置の位置、方角の検出部、および周囲の地図情報の取得部を有し、それらの情報から撮影画像の方角の遮蔽物を除去することにより背景画像を表示可能な道の区間の候補を検出し、ユーザが選択した区間の背景画像を取得して撮影画像に嵌め込み表示し、ユーザが装置の方向を変更した際に、直前に背景画像を表示した区間と連続する区間を地図情報より判断して選択し、背景画像を表示する次の区間として設定し、その区間の背景画像を表示するために除去すべき遮蔽物の判定を行い、再度遮蔽物の除去表示を行う。本構成によって、装置の方向を変更するに従って連続した区間の背景画像が表示される。
【発明の効果】
【０００９】
本発明の遮蔽物除去表示装置によれば、複雑な形状の道路や建物がある地域において、遮蔽物の除去を行いつつ風景画像表示を行う際に、ユーザが装置の方向を変える操作のみでユーザの意図にあった道の区間の選択を連続的に行え、かつ、距離や方角を容易に認識できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態における遮蔽物除去表示装置の構成図
【図２】本発明の実施の形態における建物と視点の配置を示す図
【図３】本発明の実施の形態における画面例を示す図
【図４（Ａ）】本発明の実施の形態における画面例を示す図
【図４（Ｂ）】本発明の実施の形態における画面例を示す図
【図４（Ｃ）】本発明の実施の形態における画面例を示す図
【図５】本発明の実施の形態における建物、視点と背景画像の配置を示す図
【発明を実施するための形態】
【００１１】
以下本発明を実施するための形態について、図面を参照しながら説明する。
【００１２】
図１は、本発明の実施の形態における遮蔽物除去表示装置の構成図である。図１において、位置検出部１０１は装置の位置を検出する。地図情報取得部１０２は位置検出部１０１から得られた位置周辺の地図情報を取得する。方角検出部１０３、仰角検出部１０４、傾き角検出部１０５はそれぞれ、撮像部１０７の方角、仰角、水平からの傾きを検出する。焦点距離検出部１０６は撮影部１０７のレンズの焦点距離を検出する。撮影部１０７は画像を撮影する。区間選択部１０８は、装置の動作開始時に、位置検出部１０１の検出した位置、地図情報取得部１０２が検出した地図情報、および方角検出部１０３が検出した方角をもとに、撮影部１０７が撮影している方向にある道の区間を地図から選択し、区間設定部１１２に設定する。この選択方法については後述する。表示区間切替え判定部１０９は位置検出部１０１の検出した位置、地図情報取得部１０２が検出した地図情報、および方角検出部１０３が検出した方角をもとに、区間設定部１１２に設定されている区間の中を撮影部１０７の方角が指しているか否かを判定する。連続区間判定部１１０は表示区間切替え判定部１０９が、撮影方向の中心が区間設定部１１２に設定された区間の範囲外になったと判定した際に、次に背景画像を表示すべき区間を判定する。この判定方法については後述する。区間変更部１１１は表示部１１６に表示されている背景画面をもとに、ユーザが他の道の区間の背景画像の表示を指示する際の操作を受付け、区間設定部に設定されている区間の情報を取り出し、変更後の道の区間を求めて区間設定部１１２に設定する。この区間の変更方法の詳細については後述する。除去対象判定部１１３は区間設定部１１２に設定された道の区間を取り出し、その道の背景画像を表示する際に撮影画像から除去すべき遮蔽物を、位置検出部１０１の検出した位置、地図情報取得部１０２が検出した地図情報、および方角検出部１０３が検出した方角を用いて判定する。この判定方法については後述する。背景画像取得部１１４は、除去対象判定部１１３が除去すべきと判定した遮蔽物の背景の画像を取得する。この取得方法については後述する。嵌め込み合成部１１５は、方角検出部１０３が検出した方角、仰角検出部１０４が検出した仰角、傾き角１０５検出部が検出した傾き角、焦点距離検出部１０６が検出した焦点距離を用いて、背景画像取得部１１４が取得した背景画像を、その画像が存在した位置とサイズを一致させて、撮影部１０７が撮影した画像に嵌め込んで合成し、画像を生成する。この嵌め込み、合成の方法については後述する。表示部１１６は嵌め込み合成部１１５が生成した画像を表示する。
【００１３】
図２は、後述する画面例を説明する際に仮定した建物と視点の配置を示す図である。図２において、ビルＡ２０１ＡからビルＥ２０１Ｅ、ビルＡ’２０２ＡからビルＥ’２０２Ｅは、画面表示に関わる建物、区間ＡからＨ、区間ＵからＺは、画面表示に関わる道の区間、および撮影部１０７の方角の変更に伴う、次に背景画像を表示する区間の選択方法を説明する際に関連する道の区間である。方角ＡからＧは、背景画像を表示する道の区間の切替え判断方法を説明する際に用いる方角を示したものである。端点Ａ、およびＢは区間Ｃの端点を示したものである。視点２０３は、ビル群を撮影する際の位置である。
【００１４】
図３は、本発明の実施の形態における画面例である。本画面例は遮蔽物の除去を行わず、図２の視点２０３からビルＡ２０１ＡからビルＥ２０１Ｅを撮影した際の画面例である。
【００１５】
図４（Ａ）から（Ｃ）は、本発明の実施の形態における画面例である。前述の構成を用い、後述の処理を行うことにより、撮影部１０７の方向を図２の方向Ａから方向Ｅの方向へ移動するに従って、表示部１１６には、撮影部１０７の方角が方角Ａから方角Ｂの間にある場合には図４（Ａ）の画面が、方角Ｂから方角Ｃの間にある場合には図４（Ｂ）の画面が、方角Ｃから方角Ｄの間にある場合には図４（Ｃ）の画面が表示される。
【００１６】
次に区間選択部１０８の動作について説明する。装置の動作開始時に撮影部１０７が方角Ｆの方向を向いていたとして説明する。この場合、区間選択部１０８は位置検出部１０１から得た位置、および方角検出部１０３から得た方角より、図２の視点２０３より方角Ｆの方向に伸びる直線Ｆを得る。さらに、区間選択部１０８は、地図情報取得部１０２より得た地図情報より、周辺の地図上の道の区間を抽出する。この際、地図情報には、街区単位で区切られた道の区間の情報が両端の座標として格納されており、区間選択部１０８はその両端の座標をもとに道の区間を線分として抽出することができるものとする。また、単純化のために、ここでは街区と建物は１対１対応するものとして説明する。街区ではなく建物単位での制御を行う際には、道の区間の単位を建物に面した区間に細分化することで対応する。
【００１７】
区間選択部１０８は、地図上の道の区間のうち、直線Ｆと交わるものを抽出する。図２の例では、区間Ｂ、区間Ｅ、区間Ｆが抽出される。区間選択部１０８は、それぞれの区間との交点と、それぞれの交点と視点２０３の間の距離を求める。次に視点２０３と交点の距離が２番目に短い区間を選択する。この選択基準は設定可能としてもよい。実用上、最前面にある建物を遮蔽物として除去する使用形態が一般的と考えられるため、本実施の形態では最前面の遮蔽物を除去するために、２番目に近い区間を、背景画像を表示するための区間として選択するものとして説明する。
【００１８】
次に、除去対象判定部１１３の動作について説明する。除去対象判定部１１３は、区間設定部１１２より、区間選択部１０８、連続区間判定部１１０、あるいは区間変更部１１１により設定された区間を取りだす。次に除去対象判定部１１３は、地図情報取得部１０２より地図情報を取り出す。次に、除去対象判定部１１３は地図情報より、位置を１つの頂点とし、取り出した区間を１辺とする三角形の中に一部、または全部が含まれる建物を抽出し、それらの建物を除去すべき遮蔽物として判定する。図２において、区間Ｂが区間として設定されている場合は、区間Ｂと視点２０３を結ぶ三角形に一部が含まれるビルＣ２０１Ｃを除去対象の遮蔽物として判定する。区間Ｃが区間として設定されている場合は、区間Ｃと視点２０３を結ぶ三角形に一部が含まれるビルＣ２０１Ｃ、およびビルＤ２０１Ｄを除去対象の遮蔽物として判定する。
【００１９】
次に、背景画像取得部１１４の動作について、図２、および図５を参照しながら説明する。ここでは、区間設定部１１２に区間Ｃが設定され、除去対象判定部１１３によって、除去すべき遮蔽物としてビルＣ２０１Ｃ、ビルＤ２０１Ｄが指定されているものとして説明する。また、各ビルの周辺の道の区間は、地図情報より得られるものとする。
【００２０】
背景画像取得部１１４は、まず、複数の遮蔽物が指定されている場合に、それらの遮蔽物の周辺の区間を求め、遮蔽物間に挟まれている区間、つまり複数の遮蔽物が共通で持っている周辺の区間を除外する。ビルＣ２０１Ｃ、ビルＤ２０１Ｄの場合、区間Ｖを周辺の区間として共有しているため、区間Ｖを除外する。
【００２１】
次に、背景画像取得部１１４は、残った区間、つまり除去すべき遮蔽物の周辺のすべての区間の中から、遮蔽物の手前側の区間、つまり、視点２０３から見た時の最前面の区間を除外する。具体的には、各区間の中の１点を選び、視点２０３と選んだ点を結ぶ直線を求め、その直線と交点を持つ、すべての他の区間との交点が、先に選んだ区間内の点より遠い場合、つまり、先に選んだ区間内の点が一番手前にある場合は、その区間は最前面の区間として除外する。図２において、区間Ｃが設定されており、除去すべき遮蔽物としてビルＣ２０１Ｃ、ビルＤ２０１Ｄが選ばれている場合、区間Ｅと区間Ｇが最前面の区間として除外され、結果として区間Ｂ、区間Ｃ、区間Ｔ、区間Ｘが背景画像を取得すべき区間として指定される。
【００２２】
次に背景画像取得部１１４は、区間Ｂ、区間Ｃ、区間Ｔ、区間Ｘに対応する背景画像を取得する。背景画像の取得のために、背景画像取得部１１４は撮影点を区間の中央に設定し、区間と直交する方向を撮影方向とした風景撮影画像を、サーバから取得する。現在の一般的な風景画像提供サービスでは、緯度、経度と方角を指定することにより、風景画像を取得することができるため、このサービスを用いることにより、背景画像を取得するために必要な風景画像を取得できる。ここでは、図５における撮影点Ｂ、撮影点Ｃ、撮影点Ｔ、撮影点Ｘを撮影点として設定し、区間と直交し、視点２０３から遠ざかる方の方向を方角と指定して風景画像を取得する。
【００２３】
次に背景画像取得部１１４は、取得した風景画像の歪みを補正する。Ｇｏｏｇｌｅ社のＳｔｒｅｅｔ Ｖｉｅｗサービスは広角レンズにより風景を撮影し蓄積しているため、得られる画像がレンズの歪みを含む。そのため、本実施の形態においては、歪み除去を行い、平面画像を生成し利用することによって処理の簡略化と画像精度の向上を図る。代表的なレンズの歪み除去技術には非特許文献２がある。
【００２４】
次に背景画像取得部１１４は、歪み除去の結果得られた風景画像の中から、区間の背景画像として利用する画像を切り出す。地図上では、区間の背後の建物、および、建物のない道の空間を背景画像として設定する。また、上下方向では、地表から一定の高さまでの画像を切り出す。一定の高さは、ビルの高さとして一般的に考えられる高さを設定する。この高さは地域によって設定可能としてもよいし、地図情報に建物の高さ情報が含まれている場合はその地図情報をもとに各区間に対応する建物のもっとも高い高さに設定してもよい。この時、画像には画像の各頂点の座標をともに記録しておく。
【００２５】
次に、嵌め込み合成部１１５の動作について説明する。３次元空間内の平面上の画像のカメラ座標系への変換については、非特許文献３が詳しい。
【００２６】
非特許文献３において、カメラ座標系への変換（５．４．２項）、透視変換と射影変換（５．４．３項）の技術が示されており、これらを組み合わせることにより、３次元空間上の平面画像とその位置と範囲が得られ、かつ、カメラの位置と方向と焦点距離が得られる場合のカメラ座標系への射影変換は可能となる。具体的には非特許文献３の下記の計算方法を用いて、背景画像中の各座標を、撮影部１０７の撮像素子上の位置に変換する。
【００２７】
まず、カメラの向きを示す単位ベクトルは、方角、仰角、傾き角から求められる。また、方角、仰角、傾き角を３軸の加速度センサーと３軸の地磁気センサーを用いて求める方式については既知である。
【００２８】
次に、（数１）を用いて、カメラのx, y, z軸の向きを表す単位ベクトル(a,b,c)と、カメラの位置ベクトルdとを縦ベクトル成分とする変換行列Ｔを求める。
【００２９】
【数１】
【００３０】
次に、（数２）および（数３）を用いて、上記の行列Ｔに対して、逆変換を表す３×４変換行列、つまり対象物の世界座標をカメラ座標系に直す変換行列Ｔｗを求める。
【００３１】
【数２】
【００３２】
【数３】
【００３３】
次に、上記の変換行列を用いて、（数４）によって、対象物の世界座標x, y, zをカメラ座標系の座標値x’, y’, z’に変換する。
【００３４】
【数４】
【００３５】
次に、（数５）を用いて、x’, y’, z’を、視点２０３からｆの距離に置いた投影面（撮像素子）上の位置x’’, y’’, z’’に変換する。
【００３６】
【数５】
【００３７】
上記計算式では座標変換の方法を示したが、背景画像中の各画素について上記の座標変換を行い、撮影部１０７の撮像素子上の位置に変換し、変換後の位置における補間、平均などによる画像処理を行い、撮像素子上の画像を生成する。この画像処理については一般的な処理であるためここでは細部については述べない。
【００３８】
次に、連続区間判定部１１０の動作について図２を参照しながら説明する。ここでは、具体的に撮影部１０７の方向が方角Ａから方角Ｅに向かって移動しており、背景画像を表示する区間として区間Ｃが区間設定部１１２に設定されているものとして説明する。
【００３９】
撮影部１０７の方角がさらに右方向に変化し、方角Ｄの方角になった時点で、表示区間切替え判定部１０９は撮影している方角への直線が、区間設定部１１２に設定されている区間の１端点である端点Ａ上を通ることを検出し、連続区間判定部１１０に通知する。
【００４０】
次に連続区間判定部１１０は、地図情報から端点Ａを端点として持つ他の区間を抽出する。図２においては、区間Ｄ、区間Ｘ、区間Ｙが抽出される。次に連続区間判定部１１０は、抽出された区間から、現在設定されている区間Ｃと交差する角度のもっとも少ないものを選択する。図２の端点Ａにおいては、区間Ｄは区間Ｃと平行であり、区間Ｘ、区間Ｙは区間Ｃと直角であるため、区間Ｄが選ばれ、次に背景画像を表示する区間として区間設定部１１２に設定される。この時の判定ルールはさらに詳細な設定が可能であり、効果的である。例えば、交差する角度の差が一定の範囲内の場合には視点２０３からの距離が近い方の区間、あるいは逆に遠い方の区間を設定するルールを設けてもよい。また、交差する角度と関係なく、視点２０３からの距離の近い区間を区間設定部１１２に設定することによって、撮影部１０７を左右に振るに従ってより近い側の区間が選択されていくようにもできるし、また、逆に距離の遠い区間を区間設定部１１２に設定することによって、左右に振るに従ってより遠い側の区間が選択されていくようにもできる。また、これらのルールをソフトウェア、ハードウェアとして実装してユーザに設定可能な機能として提供してもよいし、単純なルールの組合せによってユーザ自身が新たなルールを作成し設定することを可能としてもよい。
【００４１】
次に区間変更部１１１の動作について図２を参照しながら説明する。区間変更部は第１変更操作部１１１Ａと第２変更操作部１１１Ｂを持ち、それぞれが異なった操作を受け付けるため、それぞれの動作について別個に説明する。また、ここでは、具体的に撮影部１０７の方角が方角Ｇであり、背景画像を表示する区間として区間Ｃが区間設定部１１２に設定されているものとして説明する。
【００４２】
まず、第１変更操作部１１１Ａの動作について説明する。第１変更操作部１１１Ａは、ユーザからの距離の変更の指示を受け付ける。ユーザからの距離の変更の指示は、より遠くの道の区間の背景画像を表示するように区間を変更するか、より近くの道の区間の背景画像を表示するように区間を変更するかの指示の2種類がある。これらの指示を受けた第１変更操作部１１１Ａは、地図情報取得部１０２より地図情報を取り出し、その中のすべての道の区間の情報を抽出する。次に第１変更操作部１１１Ａは、そのすべての区間の中から、方角Ｇ上の直線と交点を持つ区間のみを選択する。図２の方角Ｇのケースでは、視点２０３に近い方から順に、区間Ｅ、区間Ｖ、区間Ｃ、区間Ｈが選択される。次に第１変更操作部１１１Ａは、それらの区間の中から、区間Ｃと交差する角度が一定値以上のものを除外する。第１変更操作部１１１Ａへのユーザの指示は、区間の距離の変更であって、方角の変更は意図していないため、方角が極端に変更されることを防ぐためにこの動作を行う。ここで角度の差が４５度以上の場合に除外するものとすると区間Ｖが除外され、区間Ｅ、区間Ｃ、区間Ｈが残る。次に第１変更操作部１１１Ａは、残った各区間と、撮影部１０７の方角上の直線との交点を求め、その交点と視点２０３との間の距離に従って各区間をソートする。この場合、距離が近い順に並べると、区間Ｅ、区間Ｃ、区間Ｈの順に並ぶ。次に第１変更操作部１１１Ａは、ユーザからの指示が距離を遠くするものである場合は、ソートされた区間の中から、現在、区間設定部１１２に設定されている区間の次に遠い区間を選択し、区間設定部１１２に設定する。この場合では、区間Ｈが設定される。ユーザからの指示が距離を近くするものである場合は、ソートされた区間の中から、現在、区間設定部１１２に設定されている区間の次に近い区間を選択し、区間設定部１１２に設定する。この場合では、区間Ｅが設定される。
【００４３】
次に、第２変更操作部１１１Ｂの動作について説明する。第２変更操作部１１１Ｂは、ユーザからの方向の変更の指示を受け付ける。ユーザからの方向の変更の指示は、時計回りの方向に区間を変更するか、反時計回りの方向に区間を変更するかの指示の２種類がある。これらの指示を受けた第２変更操作部１１１Ｂは、区間設定部１１２から取り出した区間と、方角Ｇとの交点を求める。次に第２変更操作部１１１Ｂは、区間の二つの端点である端点Ａと端点Ｂのうちから、交点に近い端点を選択する。この場合、端点Ｂが選択される。次に第２変更操作部１１１Ｂは、地図情報取得部１０２より地図情報を取り出し、その中から端点Ｂを共有する他の区間を抽出する。この場合、区間Ｂ、区間Ｖ、区間Ｗが抽出される。次に第２変更操作部１１１Ｂは、抽出された各区間と区間設定部１１２に設定されている区間である区間Ｃとがなす角度を求め、それを時計回りに小さい順にソートする。この場合では、区間Ｖ、区間Ｂ、区間Ｗの順で並べられる。なお、ここでは角度は端点Ｂから遠方に向かう方向を角度として計算する。
【００４４】
次に第２変更操作部１１１Ｂは、ユーザからの指示が角度を時計回りに変更させるものである場合は、ソートされた区間の中から、先頭の区間を選択し、区間設定部１１２に設定する。この場合では、区間Ｖが設定される。ユーザからの指示が反時計回りに変更させるものである場合は、ソートされた区間の中から、最後の区間を選択し、区間設定部１１２に設定する。この場合では、区間Ｗが設定される。
【００４５】
かかる構成によれば撮影部１０７の方角を方角検出部で検出し、その方角が背景画像を表示するものとして設定した道の区間の範囲外に移動する際に、その区間と接し、その区間と近い方向の区間を自動的に選択し、次に背景画像を表示する区間として設定し、背景画像表示を取得し、撮影部が撮影した背景画像以外の画像と嵌め込み合成を行って表示することにより、撮影部の方向を左右に変化させた際に撮影部が向いている方向の遮蔽物のみを画像から除去して街路の背景画像の表示を行う際に、連続した街路中の区間をユーザの指定なしに選択し表示することができる。
【産業上の利用可能性】
【００４６】
本発明にかかる遮蔽物除去表示装置は、ユーザが装置の方向を変える操作のみでユーザの意図にあった道の区間の選択を連続的に行えるので、建物を除去した状態での風景画像を推測し合成して表示する表示装置等として有用である。
【符号の説明】
【００４７】
１０１ 位置検出部
１０２ 地図情報取得部
１０３ 方角検出部
１０４ 仰角検出部
１０５ 傾き角検出部
１０６ 焦点距離検出部
１０７ 撮影部
１０８ 区間選択部
１０９ 表示区間切替え判定部
１１０ 連続区間判定部
１１１ 区間変更部
１１２ 区間設定部
１１３ 除去対象判定部
１１４ 背景画像取得部
１１５ 嵌め込み合成部
１１６ 表示部
２０１Ａ〜２０１Ｅ ビル
２０２Ａ〜２０２Ｅ ビル
２０３ 視点
【技術分野】
【０００１】
本発明は遮蔽物を除去した状態での画像を推測して背景画像と合成し表示する表示装置に関するものである。
【背景技術】
【０００２】
従来の撮影画像中の物体を遮蔽物として指定し、その遮蔽物がない状態で撮影した画像を推測して生成する技術では、遮蔽物までの距離の範囲を指定し、その範囲内の物体を遮蔽物として指定している（例えば、特許文献１参照）。また、撮影した画像中の物体の位置を求め、除去する遮蔽物をユーザが指定するとしているものもある。（例えば、特許文献２参照）。また、表示する物体までの距離を指定し、その距離にある物体の画像のみを表示するとしているものもある。（例えば、非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１１７３０５号公報
【特許文献２】特開平１１−１２０３５２号公報
【非特許文献】
【０００４】
【非特許文献１】Flaneur : digital see-through telescope(慶応大学 加藤浩他), International Conference on Computer Graphics and Interactive Techniques, ACM SIGGRAPH ASIA 2008, SESSION: Emerging technologies, Pages 43-43
【非特許文献２】Analysis and Machine Intelligence, 22(11):1330-1334, 2000., "A flexible new technique for camera calibration". IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000.
【非特許文献３】CAD・CGのための基礎数学、島田静雄 、インターネット時代の数学シリーズ ７、共立出版、2000年.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記従来の構成では、観察する対象と除去する対象が単純な形状で数も少ない場合には有効ではあるが、多くのビルが建った複雑な形状の街路を歩いている際に直接視認できない行き先を見やすく表示する場合や、周辺の風景を直接視認できない街路上の目的とする種類の店舗、たとえば飲食店などを探すために用いる場合には、
距離だけの単純な指定では、ユーザの意図通りの遮蔽物除去を行えないため、意図通りの画像が得られない場合が多く、また、除去する対象をすべて指定する場合には操作が煩雑になり操作性に問題を生じるという課題を有していた。
【０００６】
また、撮影箇所から背景画像や目的物の画像を撮影することがまったく不可能な場合にそれらの画像を目的方向に向けた画面に表示する技術として、非特許文献１のような技術が開示されているものの、この場合も方向と距離によって指示された位置の画像をサーバから取得して表示する技術のみが開示されており、複雑な形状の街路での連続的な操作に用いる場合には操作性、視認性が不十分である。また、非特許文献１では、直接視認不可能な風景を表示するのみであり、ユーザが直接視認できる風景との関係を把握しづらく、目的物までの距離や方角をユーザが認識しにくいという課題を有していた。
【０００７】
本発明は、前記従来の課題を解決するもので、単純な操作でユーザの意図する遮蔽物の除去を指定することが可能で、かつ目的物までの距離、方角を認識することが容易な遮蔽物除去表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記従来の課題を解決するために、本発明の遮蔽物除去表示装置は、装置の位置、方角の検出部、および周囲の地図情報の取得部を有し、それらの情報から撮影画像の方角の遮蔽物を除去することにより背景画像を表示可能な道の区間の候補を検出し、ユーザが選択した区間の背景画像を取得して撮影画像に嵌め込み表示し、ユーザが装置の方向を変更した際に、直前に背景画像を表示した区間と連続する区間を地図情報より判断して選択し、背景画像を表示する次の区間として設定し、その区間の背景画像を表示するために除去すべき遮蔽物の判定を行い、再度遮蔽物の除去表示を行う。本構成によって、装置の方向を変更するに従って連続した区間の背景画像が表示される。
【発明の効果】
【０００９】
本発明の遮蔽物除去表示装置によれば、複雑な形状の道路や建物がある地域において、遮蔽物の除去を行いつつ風景画像表示を行う際に、ユーザが装置の方向を変える操作のみでユーザの意図にあった道の区間の選択を連続的に行え、かつ、距離や方角を容易に認識できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態における遮蔽物除去表示装置の構成図
【図２】本発明の実施の形態における建物と視点の配置を示す図
【図３】本発明の実施の形態における画面例を示す図
【図４（Ａ）】本発明の実施の形態における画面例を示す図
【図４（Ｂ）】本発明の実施の形態における画面例を示す図
【図４（Ｃ）】本発明の実施の形態における画面例を示す図
【図５】本発明の実施の形態における建物、視点と背景画像の配置を示す図
【発明を実施するための形態】
【００１１】
以下本発明を実施するための形態について、図面を参照しながら説明する。
【００１２】
図１は、本発明の実施の形態における遮蔽物除去表示装置の構成図である。図１において、位置検出部１０１は装置の位置を検出する。地図情報取得部１０２は位置検出部１０１から得られた位置周辺の地図情報を取得する。方角検出部１０３、仰角検出部１０４、傾き角検出部１０５はそれぞれ、撮像部１０７の方角、仰角、水平からの傾きを検出する。焦点距離検出部１０６は撮影部１０７のレンズの焦点距離を検出する。撮影部１０７は画像を撮影する。区間選択部１０８は、装置の動作開始時に、位置検出部１０１の検出した位置、地図情報取得部１０２が検出した地図情報、および方角検出部１０３が検出した方角をもとに、撮影部１０７が撮影している方向にある道の区間を地図から選択し、区間設定部１１２に設定する。この選択方法については後述する。表示区間切替え判定部１０９は位置検出部１０１の検出した位置、地図情報取得部１０２が検出した地図情報、および方角検出部１０３が検出した方角をもとに、区間設定部１１２に設定されている区間の中を撮影部１０７の方角が指しているか否かを判定する。連続区間判定部１１０は表示区間切替え判定部１０９が、撮影方向の中心が区間設定部１１２に設定された区間の範囲外になったと判定した際に、次に背景画像を表示すべき区間を判定する。この判定方法については後述する。区間変更部１１１は表示部１１６に表示されている背景画面をもとに、ユーザが他の道の区間の背景画像の表示を指示する際の操作を受付け、区間設定部に設定されている区間の情報を取り出し、変更後の道の区間を求めて区間設定部１１２に設定する。この区間の変更方法の詳細については後述する。除去対象判定部１１３は区間設定部１１２に設定された道の区間を取り出し、その道の背景画像を表示する際に撮影画像から除去すべき遮蔽物を、位置検出部１０１の検出した位置、地図情報取得部１０２が検出した地図情報、および方角検出部１０３が検出した方角を用いて判定する。この判定方法については後述する。背景画像取得部１１４は、除去対象判定部１１３が除去すべきと判定した遮蔽物の背景の画像を取得する。この取得方法については後述する。嵌め込み合成部１１５は、方角検出部１０３が検出した方角、仰角検出部１０４が検出した仰角、傾き角１０５検出部が検出した傾き角、焦点距離検出部１０６が検出した焦点距離を用いて、背景画像取得部１１４が取得した背景画像を、その画像が存在した位置とサイズを一致させて、撮影部１０７が撮影した画像に嵌め込んで合成し、画像を生成する。この嵌め込み、合成の方法については後述する。表示部１１６は嵌め込み合成部１１５が生成した画像を表示する。
【００１３】
図２は、後述する画面例を説明する際に仮定した建物と視点の配置を示す図である。図２において、ビルＡ２０１ＡからビルＥ２０１Ｅ、ビルＡ’２０２ＡからビルＥ’２０２Ｅは、画面表示に関わる建物、区間ＡからＨ、区間ＵからＺは、画面表示に関わる道の区間、および撮影部１０７の方角の変更に伴う、次に背景画像を表示する区間の選択方法を説明する際に関連する道の区間である。方角ＡからＧは、背景画像を表示する道の区間の切替え判断方法を説明する際に用いる方角を示したものである。端点Ａ、およびＢは区間Ｃの端点を示したものである。視点２０３は、ビル群を撮影する際の位置である。
【００１４】
図３は、本発明の実施の形態における画面例である。本画面例は遮蔽物の除去を行わず、図２の視点２０３からビルＡ２０１ＡからビルＥ２０１Ｅを撮影した際の画面例である。
【００１５】
図４（Ａ）から（Ｃ）は、本発明の実施の形態における画面例である。前述の構成を用い、後述の処理を行うことにより、撮影部１０７の方向を図２の方向Ａから方向Ｅの方向へ移動するに従って、表示部１１６には、撮影部１０７の方角が方角Ａから方角Ｂの間にある場合には図４（Ａ）の画面が、方角Ｂから方角Ｃの間にある場合には図４（Ｂ）の画面が、方角Ｃから方角Ｄの間にある場合には図４（Ｃ）の画面が表示される。
【００１６】
次に区間選択部１０８の動作について説明する。装置の動作開始時に撮影部１０７が方角Ｆの方向を向いていたとして説明する。この場合、区間選択部１０８は位置検出部１０１から得た位置、および方角検出部１０３から得た方角より、図２の視点２０３より方角Ｆの方向に伸びる直線Ｆを得る。さらに、区間選択部１０８は、地図情報取得部１０２より得た地図情報より、周辺の地図上の道の区間を抽出する。この際、地図情報には、街区単位で区切られた道の区間の情報が両端の座標として格納されており、区間選択部１０８はその両端の座標をもとに道の区間を線分として抽出することができるものとする。また、単純化のために、ここでは街区と建物は１対１対応するものとして説明する。街区ではなく建物単位での制御を行う際には、道の区間の単位を建物に面した区間に細分化することで対応する。
【００１７】
区間選択部１０８は、地図上の道の区間のうち、直線Ｆと交わるものを抽出する。図２の例では、区間Ｂ、区間Ｅ、区間Ｆが抽出される。区間選択部１０８は、それぞれの区間との交点と、それぞれの交点と視点２０３の間の距離を求める。次に視点２０３と交点の距離が２番目に短い区間を選択する。この選択基準は設定可能としてもよい。実用上、最前面にある建物を遮蔽物として除去する使用形態が一般的と考えられるため、本実施の形態では最前面の遮蔽物を除去するために、２番目に近い区間を、背景画像を表示するための区間として選択するものとして説明する。
【００１８】
次に、除去対象判定部１１３の動作について説明する。除去対象判定部１１３は、区間設定部１１２より、区間選択部１０８、連続区間判定部１１０、あるいは区間変更部１１１により設定された区間を取りだす。次に除去対象判定部１１３は、地図情報取得部１０２より地図情報を取り出す。次に、除去対象判定部１１３は地図情報より、位置を１つの頂点とし、取り出した区間を１辺とする三角形の中に一部、または全部が含まれる建物を抽出し、それらの建物を除去すべき遮蔽物として判定する。図２において、区間Ｂが区間として設定されている場合は、区間Ｂと視点２０３を結ぶ三角形に一部が含まれるビルＣ２０１Ｃを除去対象の遮蔽物として判定する。区間Ｃが区間として設定されている場合は、区間Ｃと視点２０３を結ぶ三角形に一部が含まれるビルＣ２０１Ｃ、およびビルＤ２０１Ｄを除去対象の遮蔽物として判定する。
【００１９】
次に、背景画像取得部１１４の動作について、図２、および図５を参照しながら説明する。ここでは、区間設定部１１２に区間Ｃが設定され、除去対象判定部１１３によって、除去すべき遮蔽物としてビルＣ２０１Ｃ、ビルＤ２０１Ｄが指定されているものとして説明する。また、各ビルの周辺の道の区間は、地図情報より得られるものとする。
【００２０】
背景画像取得部１１４は、まず、複数の遮蔽物が指定されている場合に、それらの遮蔽物の周辺の区間を求め、遮蔽物間に挟まれている区間、つまり複数の遮蔽物が共通で持っている周辺の区間を除外する。ビルＣ２０１Ｃ、ビルＤ２０１Ｄの場合、区間Ｖを周辺の区間として共有しているため、区間Ｖを除外する。
【００２１】
次に、背景画像取得部１１４は、残った区間、つまり除去すべき遮蔽物の周辺のすべての区間の中から、遮蔽物の手前側の区間、つまり、視点２０３から見た時の最前面の区間を除外する。具体的には、各区間の中の１点を選び、視点２０３と選んだ点を結ぶ直線を求め、その直線と交点を持つ、すべての他の区間との交点が、先に選んだ区間内の点より遠い場合、つまり、先に選んだ区間内の点が一番手前にある場合は、その区間は最前面の区間として除外する。図２において、区間Ｃが設定されており、除去すべき遮蔽物としてビルＣ２０１Ｃ、ビルＤ２０１Ｄが選ばれている場合、区間Ｅと区間Ｇが最前面の区間として除外され、結果として区間Ｂ、区間Ｃ、区間Ｔ、区間Ｘが背景画像を取得すべき区間として指定される。
【００２２】
次に背景画像取得部１１４は、区間Ｂ、区間Ｃ、区間Ｔ、区間Ｘに対応する背景画像を取得する。背景画像の取得のために、背景画像取得部１１４は撮影点を区間の中央に設定し、区間と直交する方向を撮影方向とした風景撮影画像を、サーバから取得する。現在の一般的な風景画像提供サービスでは、緯度、経度と方角を指定することにより、風景画像を取得することができるため、このサービスを用いることにより、背景画像を取得するために必要な風景画像を取得できる。ここでは、図５における撮影点Ｂ、撮影点Ｃ、撮影点Ｔ、撮影点Ｘを撮影点として設定し、区間と直交し、視点２０３から遠ざかる方の方向を方角と指定して風景画像を取得する。
【００２３】
次に背景画像取得部１１４は、取得した風景画像の歪みを補正する。Ｇｏｏｇｌｅ社のＳｔｒｅｅｔ Ｖｉｅｗサービスは広角レンズにより風景を撮影し蓄積しているため、得られる画像がレンズの歪みを含む。そのため、本実施の形態においては、歪み除去を行い、平面画像を生成し利用することによって処理の簡略化と画像精度の向上を図る。代表的なレンズの歪み除去技術には非特許文献２がある。
【００２４】
次に背景画像取得部１１４は、歪み除去の結果得られた風景画像の中から、区間の背景画像として利用する画像を切り出す。地図上では、区間の背後の建物、および、建物のない道の空間を背景画像として設定する。また、上下方向では、地表から一定の高さまでの画像を切り出す。一定の高さは、ビルの高さとして一般的に考えられる高さを設定する。この高さは地域によって設定可能としてもよいし、地図情報に建物の高さ情報が含まれている場合はその地図情報をもとに各区間に対応する建物のもっとも高い高さに設定してもよい。この時、画像には画像の各頂点の座標をともに記録しておく。
【００２５】
次に、嵌め込み合成部１１５の動作について説明する。３次元空間内の平面上の画像のカメラ座標系への変換については、非特許文献３が詳しい。
【００２６】
非特許文献３において、カメラ座標系への変換（５．４．２項）、透視変換と射影変換（５．４．３項）の技術が示されており、これらを組み合わせることにより、３次元空間上の平面画像とその位置と範囲が得られ、かつ、カメラの位置と方向と焦点距離が得られる場合のカメラ座標系への射影変換は可能となる。具体的には非特許文献３の下記の計算方法を用いて、背景画像中の各座標を、撮影部１０７の撮像素子上の位置に変換する。
【００２７】
まず、カメラの向きを示す単位ベクトルは、方角、仰角、傾き角から求められる。また、方角、仰角、傾き角を３軸の加速度センサーと３軸の地磁気センサーを用いて求める方式については既知である。
【００２８】
次に、（数１）を用いて、カメラのx, y, z軸の向きを表す単位ベクトル(a,b,c)と、カメラの位置ベクトルdとを縦ベクトル成分とする変換行列Ｔを求める。
【００２９】
【数１】
【００３０】
次に、（数２）および（数３）を用いて、上記の行列Ｔに対して、逆変換を表す３×４変換行列、つまり対象物の世界座標をカメラ座標系に直す変換行列Ｔｗを求める。
【００３１】
【数２】
【００３２】
【数３】
【００３３】
次に、上記の変換行列を用いて、（数４）によって、対象物の世界座標x, y, zをカメラ座標系の座標値x’, y’, z’に変換する。
【００３４】
【数４】
【００３５】
次に、（数５）を用いて、x’, y’, z’を、視点２０３からｆの距離に置いた投影面（撮像素子）上の位置x’’, y’’, z’’に変換する。
【００３６】
【数５】
【００３７】
上記計算式では座標変換の方法を示したが、背景画像中の各画素について上記の座標変換を行い、撮影部１０７の撮像素子上の位置に変換し、変換後の位置における補間、平均などによる画像処理を行い、撮像素子上の画像を生成する。この画像処理については一般的な処理であるためここでは細部については述べない。
【００３８】
次に、連続区間判定部１１０の動作について図２を参照しながら説明する。ここでは、具体的に撮影部１０７の方向が方角Ａから方角Ｅに向かって移動しており、背景画像を表示する区間として区間Ｃが区間設定部１１２に設定されているものとして説明する。
【００３９】
撮影部１０７の方角がさらに右方向に変化し、方角Ｄの方角になった時点で、表示区間切替え判定部１０９は撮影している方角への直線が、区間設定部１１２に設定されている区間の１端点である端点Ａ上を通ることを検出し、連続区間判定部１１０に通知する。
【００４０】
次に連続区間判定部１１０は、地図情報から端点Ａを端点として持つ他の区間を抽出する。図２においては、区間Ｄ、区間Ｘ、区間Ｙが抽出される。次に連続区間判定部１１０は、抽出された区間から、現在設定されている区間Ｃと交差する角度のもっとも少ないものを選択する。図２の端点Ａにおいては、区間Ｄは区間Ｃと平行であり、区間Ｘ、区間Ｙは区間Ｃと直角であるため、区間Ｄが選ばれ、次に背景画像を表示する区間として区間設定部１１２に設定される。この時の判定ルールはさらに詳細な設定が可能であり、効果的である。例えば、交差する角度の差が一定の範囲内の場合には視点２０３からの距離が近い方の区間、あるいは逆に遠い方の区間を設定するルールを設けてもよい。また、交差する角度と関係なく、視点２０３からの距離の近い区間を区間設定部１１２に設定することによって、撮影部１０７を左右に振るに従ってより近い側の区間が選択されていくようにもできるし、また、逆に距離の遠い区間を区間設定部１１２に設定することによって、左右に振るに従ってより遠い側の区間が選択されていくようにもできる。また、これらのルールをソフトウェア、ハードウェアとして実装してユーザに設定可能な機能として提供してもよいし、単純なルールの組合せによってユーザ自身が新たなルールを作成し設定することを可能としてもよい。
【００４１】
次に区間変更部１１１の動作について図２を参照しながら説明する。区間変更部は第１変更操作部１１１Ａと第２変更操作部１１１Ｂを持ち、それぞれが異なった操作を受け付けるため、それぞれの動作について別個に説明する。また、ここでは、具体的に撮影部１０７の方角が方角Ｇであり、背景画像を表示する区間として区間Ｃが区間設定部１１２に設定されているものとして説明する。
【００４２】
まず、第１変更操作部１１１Ａの動作について説明する。第１変更操作部１１１Ａは、ユーザからの距離の変更の指示を受け付ける。ユーザからの距離の変更の指示は、より遠くの道の区間の背景画像を表示するように区間を変更するか、より近くの道の区間の背景画像を表示するように区間を変更するかの指示の2種類がある。これらの指示を受けた第１変更操作部１１１Ａは、地図情報取得部１０２より地図情報を取り出し、その中のすべての道の区間の情報を抽出する。次に第１変更操作部１１１Ａは、そのすべての区間の中から、方角Ｇ上の直線と交点を持つ区間のみを選択する。図２の方角Ｇのケースでは、視点２０３に近い方から順に、区間Ｅ、区間Ｖ、区間Ｃ、区間Ｈが選択される。次に第１変更操作部１１１Ａは、それらの区間の中から、区間Ｃと交差する角度が一定値以上のものを除外する。第１変更操作部１１１Ａへのユーザの指示は、区間の距離の変更であって、方角の変更は意図していないため、方角が極端に変更されることを防ぐためにこの動作を行う。ここで角度の差が４５度以上の場合に除外するものとすると区間Ｖが除外され、区間Ｅ、区間Ｃ、区間Ｈが残る。次に第１変更操作部１１１Ａは、残った各区間と、撮影部１０７の方角上の直線との交点を求め、その交点と視点２０３との間の距離に従って各区間をソートする。この場合、距離が近い順に並べると、区間Ｅ、区間Ｃ、区間Ｈの順に並ぶ。次に第１変更操作部１１１Ａは、ユーザからの指示が距離を遠くするものである場合は、ソートされた区間の中から、現在、区間設定部１１２に設定されている区間の次に遠い区間を選択し、区間設定部１１２に設定する。この場合では、区間Ｈが設定される。ユーザからの指示が距離を近くするものである場合は、ソートされた区間の中から、現在、区間設定部１１２に設定されている区間の次に近い区間を選択し、区間設定部１１２に設定する。この場合では、区間Ｅが設定される。
【００４３】
次に、第２変更操作部１１１Ｂの動作について説明する。第２変更操作部１１１Ｂは、ユーザからの方向の変更の指示を受け付ける。ユーザからの方向の変更の指示は、時計回りの方向に区間を変更するか、反時計回りの方向に区間を変更するかの指示の２種類がある。これらの指示を受けた第２変更操作部１１１Ｂは、区間設定部１１２から取り出した区間と、方角Ｇとの交点を求める。次に第２変更操作部１１１Ｂは、区間の二つの端点である端点Ａと端点Ｂのうちから、交点に近い端点を選択する。この場合、端点Ｂが選択される。次に第２変更操作部１１１Ｂは、地図情報取得部１０２より地図情報を取り出し、その中から端点Ｂを共有する他の区間を抽出する。この場合、区間Ｂ、区間Ｖ、区間Ｗが抽出される。次に第２変更操作部１１１Ｂは、抽出された各区間と区間設定部１１２に設定されている区間である区間Ｃとがなす角度を求め、それを時計回りに小さい順にソートする。この場合では、区間Ｖ、区間Ｂ、区間Ｗの順で並べられる。なお、ここでは角度は端点Ｂから遠方に向かう方向を角度として計算する。
【００４４】
次に第２変更操作部１１１Ｂは、ユーザからの指示が角度を時計回りに変更させるものである場合は、ソートされた区間の中から、先頭の区間を選択し、区間設定部１１２に設定する。この場合では、区間Ｖが設定される。ユーザからの指示が反時計回りに変更させるものである場合は、ソートされた区間の中から、最後の区間を選択し、区間設定部１１２に設定する。この場合では、区間Ｗが設定される。
【００４５】
かかる構成によれば撮影部１０７の方角を方角検出部で検出し、その方角が背景画像を表示するものとして設定した道の区間の範囲外に移動する際に、その区間と接し、その区間と近い方向の区間を自動的に選択し、次に背景画像を表示する区間として設定し、背景画像表示を取得し、撮影部が撮影した背景画像以外の画像と嵌め込み合成を行って表示することにより、撮影部の方向を左右に変化させた際に撮影部が向いている方向の遮蔽物のみを画像から除去して街路の背景画像の表示を行う際に、連続した街路中の区間をユーザの指定なしに選択し表示することができる。
【産業上の利用可能性】
【００４６】
本発明にかかる遮蔽物除去表示装置は、ユーザが装置の方向を変える操作のみでユーザの意図にあった道の区間の選択を連続的に行えるので、建物を除去した状態での風景画像を推測し合成して表示する表示装置等として有用である。
【符号の説明】
【００４７】
１０１ 位置検出部
１０２ 地図情報取得部
１０３ 方角検出部
１０４ 仰角検出部
１０５ 傾き角検出部
１０６ 焦点距離検出部
１０７ 撮影部
１０８ 区間選択部
１０９ 表示区間切替え判定部
１１０ 連続区間判定部
１１１ 区間変更部
１１２ 区間設定部
１１３ 除去対象判定部
１１４ 背景画像取得部
１１５ 嵌め込み合成部
１１６ 表示部
２０１Ａ〜２０１Ｅ ビル
２０２Ａ〜２０２Ｅ ビル
２０３ 視点
【特許請求の範囲】
【請求項１】
撮影手段と、
前記撮影手段の方角を検出する方角検出手段と、
前記撮影手段の仰角を検出する仰角検出手段と、
前記撮影手段の傾き角を検出する傾き角検出手段と、
前記撮影手段の焦点距離を検出する焦点距離検出手段と、
位置を検出する位置検出手段と、
前記位置より地図情報を取得する地図情報取得手段と、
前記方角、前記位置、および前記地図情報より得られた１つあるいは複数の道の区間から、当該する道の区間より遠方の風景画像である背景画像を表示する区間を選択する区間選択手段と、
前記方角、前記位置、および前記地図情報から前記背景画像を表示する区間の切替え要否を判定する、表示区間切替え判定手段と、
区間の切替え時に、切替え前に前記背景画像を表示していた区間と連続する区間を判定し設定する連続区間判定手段と、
前記背景画像を表示する区間を元に、除去すべき遮蔽物を判定する除去対象判定手段と、
除去対象と判定された遮蔽物の背景画像を取得する背景画像取得手段と、
前記方角、前記仰角、前記傾き角、および前記焦点距離をもとに、遮蔽物の背景画像と、前記撮影手段で撮影された画像の遮蔽物以外の部分の画像とを嵌め込み合成する、嵌め込み合成手段と、
表示手段と、を備えた遮蔽物除去表示装置。
【請求項２】
前記嵌め込み手段は、前記背景画像と、前記撮影手段で撮影された画像の遮蔽物以外の部分の画像とを、位置とサイズを一致させて嵌め込むことを特徴とする、請求項１に記載の遮蔽物除去表示装置。
【請求項３】
前記背景画像取得手段は、撮影時の撮影位置と撮影方角とを関連付けして格納された風景画像をサーバから取得することを特徴とする、請求項１または請求項２に記載の遮蔽物除去表示装置。
【請求項４】
前記背景画像を表示する区間を変更するための区間変更手段を備えることを特徴とする請求項１から請求項３のいずれかに記載の遮蔽物除去表示装置。
【請求項５】
前記区間変更手段は、第１変更操作手段と第２変更操作手段を持ち、第１変更操作手段を操作することによって、前記背景画像を表示する区間までの距離を変化させ、第２変更操作手段を操作することによって、前記背景画像を表示する区間の方向を変化させることを特徴とする請求項４に記載の遮蔽物除去表示装置。
【請求項６】
前記区間変更手段は、画面に地図を表示し、その上でユーザが背景画像を表示する区間を指示することによって行うことを特徴とする請求項４または請求項５に記載の遮蔽物除去表示装置。
【請求項７】
前記背景画像取得手段は、取得した画像の歪みを補正し、背景画像として利用することを特徴とする請求項１から請求項６のいずれかに記載の遮蔽物除去表示装置。
【請求項１】
撮影手段と、
前記撮影手段の方角を検出する方角検出手段と、
前記撮影手段の仰角を検出する仰角検出手段と、
前記撮影手段の傾き角を検出する傾き角検出手段と、
前記撮影手段の焦点距離を検出する焦点距離検出手段と、
位置を検出する位置検出手段と、
前記位置より地図情報を取得する地図情報取得手段と、
前記方角、前記位置、および前記地図情報より得られた１つあるいは複数の道の区間から、当該する道の区間より遠方の風景画像である背景画像を表示する区間を選択する区間選択手段と、
前記方角、前記位置、および前記地図情報から前記背景画像を表示する区間の切替え要否を判定する、表示区間切替え判定手段と、
区間の切替え時に、切替え前に前記背景画像を表示していた区間と連続する区間を判定し設定する連続区間判定手段と、
前記背景画像を表示する区間を元に、除去すべき遮蔽物を判定する除去対象判定手段と、
除去対象と判定された遮蔽物の背景画像を取得する背景画像取得手段と、
前記方角、前記仰角、前記傾き角、および前記焦点距離をもとに、遮蔽物の背景画像と、前記撮影手段で撮影された画像の遮蔽物以外の部分の画像とを嵌め込み合成する、嵌め込み合成手段と、
表示手段と、を備えた遮蔽物除去表示装置。
【請求項２】
前記嵌め込み手段は、前記背景画像と、前記撮影手段で撮影された画像の遮蔽物以外の部分の画像とを、位置とサイズを一致させて嵌め込むことを特徴とする、請求項１に記載の遮蔽物除去表示装置。
【請求項３】
前記背景画像取得手段は、撮影時の撮影位置と撮影方角とを関連付けして格納された風景画像をサーバから取得することを特徴とする、請求項１または請求項２に記載の遮蔽物除去表示装置。
【請求項４】
前記背景画像を表示する区間を変更するための区間変更手段を備えることを特徴とする請求項１から請求項３のいずれかに記載の遮蔽物除去表示装置。
【請求項５】
前記区間変更手段は、第１変更操作手段と第２変更操作手段を持ち、第１変更操作手段を操作することによって、前記背景画像を表示する区間までの距離を変化させ、第２変更操作手段を操作することによって、前記背景画像を表示する区間の方向を変化させることを特徴とする請求項４に記載の遮蔽物除去表示装置。
【請求項６】
前記区間変更手段は、画面に地図を表示し、その上でユーザが背景画像を表示する区間を指示することによって行うことを特徴とする請求項４または請求項５に記載の遮蔽物除去表示装置。
【請求項７】
前記背景画像取得手段は、取得した画像の歪みを補正し、背景画像として利用することを特徴とする請求項１から請求項６のいずれかに記載の遮蔽物除去表示装置。
【図１】
【図２】
【図３】
【図４（Ａ）】
【図４（Ｂ）】
【図４（Ｃ）】
【図５】
【図２】
【図３】
【図４（Ａ）】
【図４（Ｂ）】
【図４（Ｃ）】
【図５】
【公開番号】特開２０１１−２３２９８３（Ｐ２０１１−２３２９８３Ａ）
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願番号】特願２０１０−１０３２８９（Ｐ２０１０−１０３２８９）
【出願日】平成２２年４月２８日（２０１０．４．２８）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願日】平成２２年４月２８日（２０１０．４．２８）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]