イメージデータセットにおける遮られた物体を明らかにするシステム及び方法
【課題】イメージを処理して、遮られた物体を明らかにする。
【解決手段】他の物体を遮るイメージデータセットにおける物体を識別し、そして遮られた物体を明らかにするようにイメージデータセットを変換するためのシステム及び方法が開示される。あるケースでは、遮っている物体は、イメージデータセットを処理して、視覚上の物体の相対的な位置を決定することにより識別される。次いで、遮られた物体は、遮っている物体をイメージデータセットから除去するか、又は遮っている物体を目立たないようにして、遮られた物体がその後方に見えるようにすることにより、明らかにされる。
【解決手段】他の物体を遮るイメージデータセットにおける物体を識別し、そして遮られた物体を明らかにするようにイメージデータセットを変換するためのシステム及び方法が開示される。あるケースでは、遮っている物体は、イメージデータセットを処理して、視覚上の物体の相対的な位置を決定することにより識別される。次いで、遮られた物体は、遮っている物体をイメージデータセットから除去するか、又は遮っている物体を目立たないようにして、遮られた物体がその後方に見えるようにすることにより、明らかにされる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、イメージの収集に係り、より詳細には、イメージを処理して、遮られた物体を明らかにすることに係る。
【背景技術】
【０００２】
イメージベースのナビゲーションが一般的になってきている。１つの形式のシステムでは、コンピュータが、実世界の現場で撮影された写真イメージをユーザに表示する。ユーザは、自分の仮想位置を変化させるか又は「自分の頭を回転する」ことにより、描写された現場の表現を通じてナビゲーションを行う。コンピュータは、ユーザのナビゲーションを保持し続け、ユーザの現在視点を表す実世界の現場から撮影された写真イメージを表示する。従って、ユーザには、実世界の現場の仮想視覚ツアーが与えられる。この種の特徴を遂行するための１つのシステムが、参考としてここに援用する２００７年４月３０日に出願された米国特許出願第１１／７９６，７８９号に開示されている。
【０００３】
ナビゲーションアプリケーションの背後には、イメージデータセットがしばしば存在する。このアプリケーションに使用されるイメージは、現場を通して搬送される１つ以上のカメラのセットにより収集される。カメラは、乗物に取り付けられるか、又は徒歩の個人により搬送される。乗物又は個人が移動するにつれてカメラが全方向の画像（又はビデオ）を撮影する。多数の視点から多数の重畳する画像が撮影されるので、前記特許出願第１１／７９６，７８９号に開示されたように、画像のセットを後処理して、３６０度のシームレスなイメージを生成することができる。これらのイメージは、例えば、画像が撮影されるのと同時にＧＰＳデータを収集することにより、実世界の地理と相関される。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
画像は、公道から撮影されたものであるため、描写された現場の仮想表現を通じてナビゲーションを行うユーザには使用されない人物や乗物やその他の過渡的な物体をしばしば含む。更に、物体（例えば、木）が、他の物体（例えば、ビル）を覆い隠すこともある。又、画像に人が存在することは、人を識別できるときには、プライバシーの問題も引き起こす。
【課題を解決するための手段】
【０００５】
上述した事柄及び他の事柄は、明細書、図面及び特許請求の範囲を参照することにより理解できる本発明によって対処される。本発明の態様によれば、他の物体を視覚的に妨げる（又は「遮る」）イメージデータセット内の物体を識別し、次いで、その遮られた物体を明らかにするようにイメージデータセットを変換する。
【０００６】
種々の実施形態は、多数の技術を個別に又は一緒に使用して、どの物体が他の物体を遮るか識別する。あるケースでは、イメージデータセットを処理して、視覚物体の相対的な位置を決定することにより、遮っている物体が識別される。第１の例では、イメージは、正確な位置情報（おそらく、画像が撮影されたときにＬＩＤＡＲシステムにより収集された）を含む。例えば、背景の壁の前に座る物体は、それらの位置により、おそらく遮っている物体として識別される。別の例では、若干異なる視点から撮影された異なる画像が比較される。おそらく遮っている前景の物体は、背景の物体に対して視差だけ「移動する」ように見える。
【０００７】
種々の環境に基づいて、遮られた物体は、遮っている物体をイメージデータセットから除去することにより明らかにすることができる。他の環境では、遮っている物体がその場に残されるが、視覚的に「目立たないように」され（例えば、半透明にされ）、遮られた物体を見ることができるようにする。ある視覚上の物体は、別の物体を遮るので単に除去されてもよい（例えば、店の看板を妨げている木）。別の物体は、プライバシーの問題のために除去されてもよい（例えば、顔検出ソフトウェアは、物体が人物であることを識別する）。第３の物体は、それが過渡的なものであるために、除去されてもよい（例えば、イメージを比較することにより、画像が撮影される間に物体が移動したことが明らかである）。
【０００８】
物体が除去され又は目立たないようにされると、その後方にあった視覚上の物体は、それがはっきり見えるように「綺麗にする」必要がある。ここでは、複数の重畳するイメージが有用である。例えば、玄関口は、その真前にある木で妨げられるが、木を通る前又は後に撮影された画像においてある角度から玄関口が見えることがある。ある角度で撮影されたイメージからの情報を、アフィン変換のような既知の補間技術を使用して処理して、玄関口の直接的イメージを再現することができる。他の情報が得られない場合には、遮っている物体を除去するか又は目立たないようにすることで残された視覚上の「穴」を取り巻く物体のテクスチャーを補間して、穴を埋めることができる。
【０００９】
ある実施形態では、得られたイメージデータセットが更に変換される。「仮想風景」アプリケーションでは、例えば、木や植木の物体を実際の街路と共にビルの景色に追加して、その効果が望ましいものかどうかテストする。このように、看板や他の小さな構造物に対する異なる位置を、審美性及び実際の効果の両面でテストすることができる。
【００１０】
本発明の特徴は、特許請求の範囲に特に指摘されるが、本発明、並びにその目的及び効果は、添付図面を参照した以下の詳細な説明から最も良く理解できよう。
【発明を実施するための最良の形態】
【００１１】
同じ参照番号で同じ要素を示す添付図面を参照すれば、本発明は、適当な環境において実施されるものとして説明する。以下の説明は、本発明の実施形態に基づくもので、本発明は、これに限定されず、ここに明記されない別の実施形態も考えられる。
【００１２】
図１Ａないし１Ｃは、本発明の幾つかの実施形態の有用性を例示するものである。図１Ａは、ビルが街路に隣接した街路シーンの写真である。図１Ａの風景において、街路標識１００は、街路に隣接する店の１つのある看板１０２の視界を部分的に妨げる。イメージデータセットは、図１Ａの写真を合体することができる。異なるイメージデータセットが異なる目的を果たし、これら目的の幾つかに対して、店の看板１０２が明確に読み取れることが好ましい。
【００１３】
図１Ｂは、図１Ａとは若干異なる視点から撮影された別の写真である。図１Ａと１Ｂを比較すると、前景の街路標識１００が、背景の店の看板１０２に対して「移動」されている。この視差「移動」のために、図１Ａでは妨げられた店の看板１０２が、図１Ｂでは、はっきり見える。（又、図１Ａでは見える店の看板１０２の部分が、図１Ｂでは、妨げられている。）
【００１４】
図１Ａ及び１Ｂを一緒にすると、店の看板１０２の全体を示すのに充分な情報を有している。以下に述べる技術を使用し、これら２つの図面からの情報を処理して、街路標識１００の妨げ部分を効果的に「除去」し、従って、店の看板１０２の全体を見ることができるようにする。その結果が図１Ｃである。ここでは、視点は、図１Ａと同じであるが、図１Ｃの処理されたイメージは、店の看板１０２の全体を示している。それにより得られるイメージデータセットを見るときには、図１Ｃの処理されたイメージが図１Ａのイメージに効果的に置き換わり、従って、店の看板１０２を完全にみることができるようにする。
【００１５】
図１Ｃの例では、店の看板１０２の妨げとなる街路標識１００の部分のみが除去され、街路標識１００のほとんどは、その場所に残される。これは、街路標識１００の妨げ部分の除去を明確に例示することを意味している。幾つかの実施形態では、街路標識１００の全体が効果的に除去されることも予想される。又、目に見える他の物体を除去することもできる。例えば、図示された人物は、以下に述べる技術を使用してシーンから効果的に除去することができる。幾つかの実施形態では、街路標識１００の妨げ部分がその場所に残されるが、視覚上「目立たないようにされ」（例えば、半透明にされ）、その後方の店の看板１０２が明らかにされる。
【００１６】
図２Ａ及び２Ｂは、イメージデータセットをポピュレートするためのシステムを例示する。（例えば、このシステムは、図１Ａ及び１Ｂのイメージを捕獲するのに使用することができる。）これら図面のシステムは、実世界の現場のイメージを収集する。図２Ａにおいて、乗物２００は、道路２０２に沿って運転される。乗物２００は、イメージ捕獲システム２０４を備えている。このイメージ捕獲システム２０４は、道路２０２の両側の重畳する静止イメージ又はビデオを撮影する複数のカメラを含むことができる。イメージ又はビデオは、適当なフォーマット、例えば、＊．ｊｐｇ、＊．ｍｐｇ、＊．ａｖｉ、＊．ｂｍｐ、＊．ｍｏｖ、等である。又、乗物２００は、その現在位置を決定するためのシステム、例えば、ＧＰＳ受信器も備えている。乗物２００が道路２０２に沿って進むにつれて、捕獲されたイメージが記憶され、各画像が撮影された地理的位置に関連付けられる。
【００１７】
幾つかの実施形態では、イメージ捕獲システム２０４は、レンジファインダー装置、例えば、ＬＩＤＡＲを備えている。イメージ捕獲システム２０４及びレンジファインダー装置は、イメージ捕獲システム２０４からそれが見ているものまでの距離が検出されて記録されるように、「登録」される。このようなシステムでは、捕獲されたイメージの一部分（例えば、各ピクセル又はピクセルのグループ）が、イメージ捕獲システム２０４からイメージの一部分における物体までの距離に関連付けられる。レンジファインダー装置が、乗物の位置決定システム（例えば、ＧＰＳ）に結合されるときには、各ピクセルの正確な実世界地理的位置が分かる。この位置情報と共に記憶されるときには、得られるピクセルが「３Ｄピクセル」と称される。
【００１８】
２０６は、イメージ捕獲システム２０４の１台のカメラのみの視点を示す。乗物２００がビル２０８を通過するときには、このカメラ（及び他のカメラ、図示せず）がビル２０８の種々のエリアを像形成する。ビル２０８の前方に位置されているのは、「遮っている物体」であり、ここでは、道標２１０で表わされている。これらは、その後方にあるものを隠す（又は「遮る）ので、「遮っている物体」と称される。図２Ａの例では、図示された視点２０６から、ビル２０８の玄関口２１２は、道標２１０の１つによって部分的に遮られる。多くのアプリケーションでは、ビル２０８の正面に関心があり、これらの道標２１０を除去するか又は目立たないようにすることが望まれる。
【００１９】
乗物２００が道路２０２に沿って進むにつれて、１台のカメラで最初に像形成されたビル２０８のエリアは、今度は、他のカメラ（又は別の観点から同じカメラ）で再び像形成される。例えば、玄関口２１２は、図２Ａにおいて、前方を見るカメラにより視点２０６で像形成され、図２Ｂでは、同じ玄関口２１２が、側部を見るカメラにより視点２１４で像形成される。（多くの実施形態では、イメージ捕獲システム２０４の各カメラは、乗物２００に対して固定の配向を維持する。他の実施形態では、乗物２００が移動するときにカメラがパンする。）この説明で、図２Ｂに対する要点は、この視点２１４において、玄関口２１２がいずれの道標２１０によっても遮られないことである。以下で詳細に述べるように、この事実を使用して、図２Ａ及び２Ｂに示すシステムにより捕獲されたイメージを記憶するイメージデータセットにおいて玄関口２１２のような遮られた物体を明らかにすることができる。
【００２０】
捕獲されたイメージを記憶しそして使用するシステムが図３に例示されている。このシステムを使用するための方法が図４に例示されている。イメージ捕獲システム２０４は、そのイメージをイメージデータセット３００へ配送する。イメージデータセット３００は、多数のコンピュータ読み取り可能なメディアのいずれかに記憶される。例えば、１つ以上のハードドライブにおいて１つ以上の位置に記憶されてもよい。使用及び処理中に、イメージデータセット３００の部分を、コンピュータのＲＡＭ又はＲＯＭにロードすることができる。イメージデータセット３００が何らかの仕方で変換又は処理されると、それにより得られたものが同じコンピュータ読み取り可能なメディア又は別のメディアに記憶される。変換されたイメージデータセット３００は、その全体又は一部分が、ＣＤのような有形のメディアにおいてユーザに配布されてもよいし、或いはインターネットのようなネットワークを経て又はワイヤレスリンクを経てユーザの移動ナビゲーションシステムへ送信されてもよい。
【００２１】
多数の異なるアプリケーションでこの同じイメージデータセット３００を使用することができる。１つの実施例として、イメージベースのナビゲーションアプリケーション３０２は、ユーザが街路２０２に沿って仮想的に歩くのを許す。ユーザがどこへ移動しようと又はどの方向に自分の頭を回転しようと、ナビゲーションアプリケーション３０２は、ユーザの仮想位置及び視点に対応する実世界の現場からの写真イメージをユーザのコンピュータスクリーンに表示する。捕獲されたイメージは、特許出願第１１／７９６，７８９号に開示された如き技術を使用して一緒に「縫合」され、シームレスの３６０度視野（又は３６０度周囲プラス上下）を与える。
【００２２】
イメージに基づくナビゲーションアプリケーション３０２及び他のアプリケーションにより与えられる経験を向上させるために、図３のシステムは、「物体評価装置」３０４と称される別のコンポーネントを備えている。この評価装置３０４は、イメージデータセット３００におけるデータにより表わされた視覚上の物体を再調査し、そしてこれら物体のどれを除去すべきか、さもなければ、目立たないようにすべきか決定する。（図４のステップ４０２）。
【００２３】
種々の実施形態は、視覚上の物体を除去すべきか又は目立たないようにすべきかどうか判断するために１つ以上の技術を使用する。物体評価装置３０４は、「相対的位置の決定装置」３０６をコールし、ある物体が別の物体の前方にあってそれを部分的に遮っているかどうか調べる。（図４のステップ４００）。もしそうであれば、前方の物体を除去するか又は目立たないようにする必要がある。これは、図２Ａの道標２１０を伴う状態である。相対的位置の決定装置３０６の実施形態は、種々の技術を並列に適用することができる。第１に、イメージ捕獲システム２０４がレンジファインダーを含みそしてピクセルが３Ｄであるときには、位置情報を検査して、どの物体がカメラに接近し、ひいては、背景の物体の前方にあるか調べる。（ある実施形態では、イメージデータセット３００における視覚上の物体の全部ではないが幾つかが直接的な位置情報を含む。即ち、若干のピクセルのみが３Ｄである。このケースでは、視覚上の物体の位置は、周囲の物体の既知の位置をクロス相関することからしばしば推定できる。）第２に、複数のイメージが同様のエリアを捕獲するときには、イメージが比較され、そして前景の物体が背景の物体に対して視差だけ「移動」する。
【００２４】
別の物体識別技術は、特に、人物を表す物体を見出す。イメージデータセット３００が実世界の現場を表すときには、その捕獲されたイメージが歩行者の光景を含むことがある。プライバシーの問題のために、歩行者の光景を除去するか又はぼかすことが望ましい。歩行者は、相対的位置の決定装置３０６によって確認されてもよいし、又は特定の顔検出ソフトウェア３０８により確認することもできる。
【００２５】
更に別の識別技術が「移動検出器」コンポーネント３１０により表わされる。このコンポーネント３１０は、複数のイメージを再調査して、あるイメージが捕獲されたときと、次のイメージが捕獲された時との間の時間インターバル中に、物体、例えば、乗物が物理的に移動したかどうか調べる。イメージデータセット３００を使用する幾つかのアプリケーションでは、移動物体には関心がなく、除去されてもよい。（この並進移動は、上述した見掛け上の視差移動とは異なることに注意されたい。それでも、これら２つの形式の動き検出器の間にはソフトウェア的に充分な重畳があってもよい。）
【００２６】
ある実施形態は、物体を選択する行為を、選択された物体を実際に除去又は目立たないようにする行為から厳密に分離する。この分離のために、以下に述べる除去／目立たないようにする技術を、どの視覚上の物体を除去し又は目立たないようにするか判断する多数の異なる技術と共に使用することができる。これらの技術は、特定の状態及び基準に基づいてそれらの判断を行う。例えば、犯罪にブルーの車が使用されたことを目撃者が当局に告げる。上述した識別技術が変更され、ブルーでない全ての車がシーンから除去される。余計な車が除去されると、変更されたシーンは、目撃者が希望の乗物を更に識別する上で助けとなる。別の技術は、選択された遮られた物体の所与の距離内にある全ての遮っている物体を除去するように選択を行う。第３の例では、全ての遮っている物体が、ある選択された街路住所から別の街路住所まで所与の街路に沿って除去される。他の状態が生じたときには、他の除去基準が開発され、除去／目立たないようにする技術に送り込まれる。
【００２７】
視覚上の物体が、除去するか又は目立たないようにするために選択されると、その視覚上の物体を表しているデータが、物体置き換え装置３１２により、イメージデータセット３００から単に除去される。（図４のステップ４０４）しかしながら、異なるアプリケーションは、何を除去すべきで、何を除去すべきでないかの異なる要求を有する。従って、ある実施形態では、データがその場所に残されるが、そのデータに何らかの仕方でフラグを立てることにより、選択された物体を「効果的に削除」し、従って、あるアプリケーションは、選択されたオブジェクトが存在しないかのように働くことができ、他のアプリケーションは、フラグの立った物体を表示するように選択することができる。別の実施形態では、削除のために選択された物体がその場所に残されるが、視覚上、目立たないようにされる。ここで、ユーザは、依然、遮っている物体のイメージを見るが、同時に、それを通して、遮られた物体を見る。例えば、図１Ｃは、街路標識１００が依然見えるが、半透明であるか、又は輪郭だけ示され、従って、店の看板１０２を読み取れるように、変更することができる。更に別の実施形態では、除去された物体を表すデータが、仮想物体追加装置３１４（以下に述べる）により後で使用できるようにレポジトリーに記憶される。
【００２８】
ある環境では、選択された視覚上の物体が効果的に除去されるか又は目立たないようにされると、物体置き換え装置３１２の作用は、完了されない。図２Ａに戻ると、道標２１０を表すデータは削除されるが、視点２０６から見て玄関口２１２に視覚上の「穴」を残す。この視覚上の穴を埋めるために多数の技術を適用することができる。図２Ｂにおいて、視点２１４は、遮られることのない玄関口２１２全体を含む。図２Ｂにおいて得られるピクセルを使用して、視覚上の穴を埋めることができる。視点２０６（図２Ａ）及び２１４（図２Ｂ）の角度が異なるために、既知の技術（アフィン変換のような）を使用して、視点２１４からのピクセルを最初に補間又は変換した後に、それらを視点２０６に対するイメージに入れる。（図４のステップ４０６）それにより得られるイメージデータセット３００は、今や、道標２１０が存在しないか又は半透明であるかのように、図２Ａ及び２Ｂの現場を描写するのに使用できる。
【００２９】
ある状況において、物体置き換え装置３１２は、多数の候補イメージの中で選択を行って、視覚上の物体を除去するか又は目立たなくするときに生成された穴を埋めるのに必要なピクセルを得ることができる。イメージデータセット３００が同じシーンの複数の走行中の車からのイメージを含むときには、物体置き換え装置３１２は、どのイメージを作用させるべきか選択するために任意の数の基準を適用する。例えば、照明は、ある走行中の車においては、他のものより良好である。又、落葉樹は、冬季には夏季より背景をあまり遮らない。適当なイメージ（又は必要に応じて、イメージの適当な組み合わせ）を選択すると、物体置き換え装置３１２は、上述した技術を適用して、視覚上の穴を埋める。
【００３０】
あるシーン（例えば、遮っている物体が多数ある街路）では、イメージデータセット３００は、遮っている物体が効果的に除去されるか又は目立たないようにされたときに残った視覚上の穴を完全に埋めるに充分な情報をもたないことがある。どんな視覚情報を供給すべきか推測し、次いで、それに基づいて進行することができる。例えば、街路の片側に煉瓦の壁があり、その壁は、それが見えるところはほぼ均一である。従って、煉瓦の視覚上のテクスチャーは、常に遮られる位置でも補間することができる。混成解決策も時々は有用であり、遮られないイメージを使用して視覚上の穴をできるだけ埋めると共に、残りは補間を使用する。
【００３１】
イメージデータセット３００の更なる使用が意図される。選択された物体が除去されると、仮想的な視覚上の物体をイメージデータセット３００に追加することにより、「仮想世界の現場」を生成することができる。（図３の仮想物体追加コンポーネント３１４。）例えば、仮想風景アプリケーションは、フラワープランターや木のような物体を街路シーンに追加して、それらの審美的な見掛けを評価することができる。（図４のステップ４０８）標識、バス停、及び他の機能的要素を追加することができ、それらの利用性がテストされる。（例えば、充分な距離から、充分な視角にわたって街路標識が見えるか？）得られるイメージデータセット３００が実世界の現場ではなく仮想世界の現場を描写するまで視覚上の物体を追加及び削除することができる。ある実施形態では、仮想物体追加装置３１４は、それ自身のデータレポジトリーから視覚上の物体を描く。このレポジトリーは、とりわけ、イメージデータセット３００から除去された視覚上の物体を表すデータを含むことができる。従って、実際の木を表す視覚上の物体は、それが背景を遮るので、ある光景から除去される。次いで、仮想風景アプリケーションは、同じデータを使用して、仮想的な木を別の光景に追加する。
【００３２】
変換されたイメージデータセット３００は、図５に例示されたコンピューティングプラットホーム５００のような装置からアクセスすることができる。このプラットホーム５００は、例えば、上述したイメージベースのナビゲーションアプリケーション３０２を含む１つ以上のアプリケーション５０２を実行する。このアプリケーション３０２の場合に、ユーザは、インターフェイス５０６（キーボード、マウス、マイクロホン、音声認識ソフトウェア、等）により与えられるツールを使用してナビゲーションを行う。それに応答して、アプリケーション３０２は、変換されたイメージデータセット３００から情報を読み取り、それをユーザインターフェイス５０６のディスプレイ５０８に表示する。
【００３３】
コンピューティングプラットホーム５００のある実施形態は、地理的情報データベース５０４へのアクセスを含む。このデータベース５０４を使用して、プラットホーム５００は、ルート計算、ルートガイダンス、行き先選択、電子イエローページ、乗物ポジショニング、及びマップ表示のようなナビゲーション関連アプリケーション５０２を提供することができる。他のアプリケーション５０２も考えられる。この地理的データベース５０４は、ユーザの乗物５１２が位置する地理的エリアに関するデータを含むことができる。ある実施形態では、地理的データベース５０４は、道路及び交差点の位置を示すデータを含めて、地理的エリアにおける道路に関するデータを含む。又、地理的データベース５０４は、道路の名前、一方向街路、レーンの数、交通信号及び標識の位置、速度限界、回転の制限、住所範囲、等に関する情報を含んでもよい。又、地理的データベース５０４は、関心のあるポイント、例えば、会社、目印、美術館、ＡＴＭ、官庁舎、等に関する情報を含んでもよい。ある実施形態では、地理的データベース５０４におけるデータは、ナビゲーション関連機能を与えるのに最適なフォーマットである。
【００３４】
ある実施形態では、アプリケーション５０２は、ＧＰＳ装置のようなポジショニングシステム５１０からの情報にアクセスすることができる。ポジショニングシステム５１０は、慣性センサ、差動車輪速度センサ、コンパス、又はユーザの乗物５１２の位置を決定できるようにする他の装置を含む。位置は、地理的座標（緯度、経度及び高度）、街路住所として又は他の仕方で決定することができる。
【００３５】
ある実施形態では、コンピューティングプラットホーム５００は、乗物内ナビゲーションシステムとして乗物５１２にインストールされたハードウェア、ソフトウェア及びデータの組合せである。又、プラットホーム５００は、特殊目的のハンドヘルドナビゲーション装置、パーソナルデジタルアシスタント、パーソナルコンピュータ、又はナビゲーションアプリケーションをサポートする移動電話にインストールすることもできる。コンピューティングプラットホーム５００は、ハードウェア、ソフトウェア及びデータが、全て、ローカルに、例えば、乗物５１２内に位置されたスタンドアローンプラットホームでよい。或いは又、コンピューティングプラットホーム５００は、ネットワーク、例えば、インターネット又はワイヤレスネットワークに接続されてもよい。ある実施形態では、変換されたイメージデータセット３００及び地理的データベース５０４は、コンピューティングプラットホーム５００からリモートに位置され、ネットワークを経てアクセスされる。ある実施形態では、データセット３００及びデータベース５０４は、コンピューティングプラットホーム５００に対してローカルであるが、ネットワークを経て更新が受け取られる。又、あるアプリケーション５０２は、ネットワークを経て全体的に又は部分的に与えることもできる。
【００３６】
本発明の原理を適用できる多数の実施形態に鑑み、添付図面を参照してここに述べた実施形態は、単なる例示であって、本発明の範囲を限定するものではないことを理解されたい。例えば、ある環境における実施形態は、他のイメージ捕獲システムの利点を取り入れることもできるし、又はここに例示したもの以外のエンドユーザアプリケーションをサポートすることもできる。それ故、ここに述べた本発明は、特許請求の範囲及びその等好物の範囲内で生じ得るこのような全ての実施形態を意図している。
【図面の簡単な説明】
【００３７】
【図１Ａ】街路の標識によって部分的に遮られた店の看板を示す街路の現場の写真である。
【図１Ｂ】図１Ａに示された同じ現場の写真であるが、図１Ａにおいて遮られた店の看板の同じ部分を街路の標識が遮らない異なる視点から撮影された写真である。
【図１Ｃ】図１Ａと同じ景色を示す写真であるが、店の看板を遮る街路の標識の部分を除去しそして空いたスペースを店の看板の欠落部分に置き換えるように後処理された写真である。
【図２Ａ】街路の現場においてイメージを収集する乗物の頭上概略図で、玄関口が道標によって部分的に遮られるところを示す図である。
【図２Ｂ】図２Ａと同様であるが、乗物が街路に沿って移動して、玄関口が道標により遮られない位置まで来たところを示す図である。
【図３】イメージをイメージデータセットへ収集しイメージデータセットを後処理するためのシステムを例示する概略図である。
【図４】イメージデータセットを後処理する方法を例示するフローチャートである。
【図５】変換されたイメージデータセットにアクセスするエンドユーザのコンピューティングプラットホームを例示する概略図である。
【符号の説明】
【００３８】
１００：街路標識
１０２：店の看板
２００：乗物
２０２：道路
２０４：イメージ捕獲システム
２０６：視点
２０８：ビル
２１０：道標
２１２：玄関口
２１４：視点
３００：イメージデータセット
３０２：ナビゲーションアプリケーション
３０４：評価装置
３０６：相対的位置の決定装置
３０８：顔検出ソフトウェア
３１０：移動検出器コンポーネント
３１２：物体置き換え装置
３１４：仮想物体追加コンポーネント
５００：コンピューティングプラットホーム
５０２：アプリケーション
５０４：地理的データベース
５０６：インターフェイス
５０８：ディスプレイ
５１０：ポジショニングシステム
５１２：ユーザの乗物
【技術分野】
【０００１】
本発明は、一般に、イメージの収集に係り、より詳細には、イメージを処理して、遮られた物体を明らかにすることに係る。
【背景技術】
【０００２】
イメージベースのナビゲーションが一般的になってきている。１つの形式のシステムでは、コンピュータが、実世界の現場で撮影された写真イメージをユーザに表示する。ユーザは、自分の仮想位置を変化させるか又は「自分の頭を回転する」ことにより、描写された現場の表現を通じてナビゲーションを行う。コンピュータは、ユーザのナビゲーションを保持し続け、ユーザの現在視点を表す実世界の現場から撮影された写真イメージを表示する。従って、ユーザには、実世界の現場の仮想視覚ツアーが与えられる。この種の特徴を遂行するための１つのシステムが、参考としてここに援用する２００７年４月３０日に出願された米国特許出願第１１／７９６，７８９号に開示されている。
【０００３】
ナビゲーションアプリケーションの背後には、イメージデータセットがしばしば存在する。このアプリケーションに使用されるイメージは、現場を通して搬送される１つ以上のカメラのセットにより収集される。カメラは、乗物に取り付けられるか、又は徒歩の個人により搬送される。乗物又は個人が移動するにつれてカメラが全方向の画像（又はビデオ）を撮影する。多数の視点から多数の重畳する画像が撮影されるので、前記特許出願第１１／７９６，７８９号に開示されたように、画像のセットを後処理して、３６０度のシームレスなイメージを生成することができる。これらのイメージは、例えば、画像が撮影されるのと同時にＧＰＳデータを収集することにより、実世界の地理と相関される。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
画像は、公道から撮影されたものであるため、描写された現場の仮想表現を通じてナビゲーションを行うユーザには使用されない人物や乗物やその他の過渡的な物体をしばしば含む。更に、物体（例えば、木）が、他の物体（例えば、ビル）を覆い隠すこともある。又、画像に人が存在することは、人を識別できるときには、プライバシーの問題も引き起こす。
【課題を解決するための手段】
【０００５】
上述した事柄及び他の事柄は、明細書、図面及び特許請求の範囲を参照することにより理解できる本発明によって対処される。本発明の態様によれば、他の物体を視覚的に妨げる（又は「遮る」）イメージデータセット内の物体を識別し、次いで、その遮られた物体を明らかにするようにイメージデータセットを変換する。
【０００６】
種々の実施形態は、多数の技術を個別に又は一緒に使用して、どの物体が他の物体を遮るか識別する。あるケースでは、イメージデータセットを処理して、視覚物体の相対的な位置を決定することにより、遮っている物体が識別される。第１の例では、イメージは、正確な位置情報（おそらく、画像が撮影されたときにＬＩＤＡＲシステムにより収集された）を含む。例えば、背景の壁の前に座る物体は、それらの位置により、おそらく遮っている物体として識別される。別の例では、若干異なる視点から撮影された異なる画像が比較される。おそらく遮っている前景の物体は、背景の物体に対して視差だけ「移動する」ように見える。
【０００７】
種々の環境に基づいて、遮られた物体は、遮っている物体をイメージデータセットから除去することにより明らかにすることができる。他の環境では、遮っている物体がその場に残されるが、視覚的に「目立たないように」され（例えば、半透明にされ）、遮られた物体を見ることができるようにする。ある視覚上の物体は、別の物体を遮るので単に除去されてもよい（例えば、店の看板を妨げている木）。別の物体は、プライバシーの問題のために除去されてもよい（例えば、顔検出ソフトウェアは、物体が人物であることを識別する）。第３の物体は、それが過渡的なものであるために、除去されてもよい（例えば、イメージを比較することにより、画像が撮影される間に物体が移動したことが明らかである）。
【０００８】
物体が除去され又は目立たないようにされると、その後方にあった視覚上の物体は、それがはっきり見えるように「綺麗にする」必要がある。ここでは、複数の重畳するイメージが有用である。例えば、玄関口は、その真前にある木で妨げられるが、木を通る前又は後に撮影された画像においてある角度から玄関口が見えることがある。ある角度で撮影されたイメージからの情報を、アフィン変換のような既知の補間技術を使用して処理して、玄関口の直接的イメージを再現することができる。他の情報が得られない場合には、遮っている物体を除去するか又は目立たないようにすることで残された視覚上の「穴」を取り巻く物体のテクスチャーを補間して、穴を埋めることができる。
【０００９】
ある実施形態では、得られたイメージデータセットが更に変換される。「仮想風景」アプリケーションでは、例えば、木や植木の物体を実際の街路と共にビルの景色に追加して、その効果が望ましいものかどうかテストする。このように、看板や他の小さな構造物に対する異なる位置を、審美性及び実際の効果の両面でテストすることができる。
【００１０】
本発明の特徴は、特許請求の範囲に特に指摘されるが、本発明、並びにその目的及び効果は、添付図面を参照した以下の詳細な説明から最も良く理解できよう。
【発明を実施するための最良の形態】
【００１１】
同じ参照番号で同じ要素を示す添付図面を参照すれば、本発明は、適当な環境において実施されるものとして説明する。以下の説明は、本発明の実施形態に基づくもので、本発明は、これに限定されず、ここに明記されない別の実施形態も考えられる。
【００１２】
図１Ａないし１Ｃは、本発明の幾つかの実施形態の有用性を例示するものである。図１Ａは、ビルが街路に隣接した街路シーンの写真である。図１Ａの風景において、街路標識１００は、街路に隣接する店の１つのある看板１０２の視界を部分的に妨げる。イメージデータセットは、図１Ａの写真を合体することができる。異なるイメージデータセットが異なる目的を果たし、これら目的の幾つかに対して、店の看板１０２が明確に読み取れることが好ましい。
【００１３】
図１Ｂは、図１Ａとは若干異なる視点から撮影された別の写真である。図１Ａと１Ｂを比較すると、前景の街路標識１００が、背景の店の看板１０２に対して「移動」されている。この視差「移動」のために、図１Ａでは妨げられた店の看板１０２が、図１Ｂでは、はっきり見える。（又、図１Ａでは見える店の看板１０２の部分が、図１Ｂでは、妨げられている。）
【００１４】
図１Ａ及び１Ｂを一緒にすると、店の看板１０２の全体を示すのに充分な情報を有している。以下に述べる技術を使用し、これら２つの図面からの情報を処理して、街路標識１００の妨げ部分を効果的に「除去」し、従って、店の看板１０２の全体を見ることができるようにする。その結果が図１Ｃである。ここでは、視点は、図１Ａと同じであるが、図１Ｃの処理されたイメージは、店の看板１０２の全体を示している。それにより得られるイメージデータセットを見るときには、図１Ｃの処理されたイメージが図１Ａのイメージに効果的に置き換わり、従って、店の看板１０２を完全にみることができるようにする。
【００１５】
図１Ｃの例では、店の看板１０２の妨げとなる街路標識１００の部分のみが除去され、街路標識１００のほとんどは、その場所に残される。これは、街路標識１００の妨げ部分の除去を明確に例示することを意味している。幾つかの実施形態では、街路標識１００の全体が効果的に除去されることも予想される。又、目に見える他の物体を除去することもできる。例えば、図示された人物は、以下に述べる技術を使用してシーンから効果的に除去することができる。幾つかの実施形態では、街路標識１００の妨げ部分がその場所に残されるが、視覚上「目立たないようにされ」（例えば、半透明にされ）、その後方の店の看板１０２が明らかにされる。
【００１６】
図２Ａ及び２Ｂは、イメージデータセットをポピュレートするためのシステムを例示する。（例えば、このシステムは、図１Ａ及び１Ｂのイメージを捕獲するのに使用することができる。）これら図面のシステムは、実世界の現場のイメージを収集する。図２Ａにおいて、乗物２００は、道路２０２に沿って運転される。乗物２００は、イメージ捕獲システム２０４を備えている。このイメージ捕獲システム２０４は、道路２０２の両側の重畳する静止イメージ又はビデオを撮影する複数のカメラを含むことができる。イメージ又はビデオは、適当なフォーマット、例えば、＊．ｊｐｇ、＊．ｍｐｇ、＊．ａｖｉ、＊．ｂｍｐ、＊．ｍｏｖ、等である。又、乗物２００は、その現在位置を決定するためのシステム、例えば、ＧＰＳ受信器も備えている。乗物２００が道路２０２に沿って進むにつれて、捕獲されたイメージが記憶され、各画像が撮影された地理的位置に関連付けられる。
【００１７】
幾つかの実施形態では、イメージ捕獲システム２０４は、レンジファインダー装置、例えば、ＬＩＤＡＲを備えている。イメージ捕獲システム２０４及びレンジファインダー装置は、イメージ捕獲システム２０４からそれが見ているものまでの距離が検出されて記録されるように、「登録」される。このようなシステムでは、捕獲されたイメージの一部分（例えば、各ピクセル又はピクセルのグループ）が、イメージ捕獲システム２０４からイメージの一部分における物体までの距離に関連付けられる。レンジファインダー装置が、乗物の位置決定システム（例えば、ＧＰＳ）に結合されるときには、各ピクセルの正確な実世界地理的位置が分かる。この位置情報と共に記憶されるときには、得られるピクセルが「３Ｄピクセル」と称される。
【００１８】
２０６は、イメージ捕獲システム２０４の１台のカメラのみの視点を示す。乗物２００がビル２０８を通過するときには、このカメラ（及び他のカメラ、図示せず）がビル２０８の種々のエリアを像形成する。ビル２０８の前方に位置されているのは、「遮っている物体」であり、ここでは、道標２１０で表わされている。これらは、その後方にあるものを隠す（又は「遮る）ので、「遮っている物体」と称される。図２Ａの例では、図示された視点２０６から、ビル２０８の玄関口２１２は、道標２１０の１つによって部分的に遮られる。多くのアプリケーションでは、ビル２０８の正面に関心があり、これらの道標２１０を除去するか又は目立たないようにすることが望まれる。
【００１９】
乗物２００が道路２０２に沿って進むにつれて、１台のカメラで最初に像形成されたビル２０８のエリアは、今度は、他のカメラ（又は別の観点から同じカメラ）で再び像形成される。例えば、玄関口２１２は、図２Ａにおいて、前方を見るカメラにより視点２０６で像形成され、図２Ｂでは、同じ玄関口２１２が、側部を見るカメラにより視点２１４で像形成される。（多くの実施形態では、イメージ捕獲システム２０４の各カメラは、乗物２００に対して固定の配向を維持する。他の実施形態では、乗物２００が移動するときにカメラがパンする。）この説明で、図２Ｂに対する要点は、この視点２１４において、玄関口２１２がいずれの道標２１０によっても遮られないことである。以下で詳細に述べるように、この事実を使用して、図２Ａ及び２Ｂに示すシステムにより捕獲されたイメージを記憶するイメージデータセットにおいて玄関口２１２のような遮られた物体を明らかにすることができる。
【００２０】
捕獲されたイメージを記憶しそして使用するシステムが図３に例示されている。このシステムを使用するための方法が図４に例示されている。イメージ捕獲システム２０４は、そのイメージをイメージデータセット３００へ配送する。イメージデータセット３００は、多数のコンピュータ読み取り可能なメディアのいずれかに記憶される。例えば、１つ以上のハードドライブにおいて１つ以上の位置に記憶されてもよい。使用及び処理中に、イメージデータセット３００の部分を、コンピュータのＲＡＭ又はＲＯＭにロードすることができる。イメージデータセット３００が何らかの仕方で変換又は処理されると、それにより得られたものが同じコンピュータ読み取り可能なメディア又は別のメディアに記憶される。変換されたイメージデータセット３００は、その全体又は一部分が、ＣＤのような有形のメディアにおいてユーザに配布されてもよいし、或いはインターネットのようなネットワークを経て又はワイヤレスリンクを経てユーザの移動ナビゲーションシステムへ送信されてもよい。
【００２１】
多数の異なるアプリケーションでこの同じイメージデータセット３００を使用することができる。１つの実施例として、イメージベースのナビゲーションアプリケーション３０２は、ユーザが街路２０２に沿って仮想的に歩くのを許す。ユーザがどこへ移動しようと又はどの方向に自分の頭を回転しようと、ナビゲーションアプリケーション３０２は、ユーザの仮想位置及び視点に対応する実世界の現場からの写真イメージをユーザのコンピュータスクリーンに表示する。捕獲されたイメージは、特許出願第１１／７９６，７８９号に開示された如き技術を使用して一緒に「縫合」され、シームレスの３６０度視野（又は３６０度周囲プラス上下）を与える。
【００２２】
イメージに基づくナビゲーションアプリケーション３０２及び他のアプリケーションにより与えられる経験を向上させるために、図３のシステムは、「物体評価装置」３０４と称される別のコンポーネントを備えている。この評価装置３０４は、イメージデータセット３００におけるデータにより表わされた視覚上の物体を再調査し、そしてこれら物体のどれを除去すべきか、さもなければ、目立たないようにすべきか決定する。（図４のステップ４０２）。
【００２３】
種々の実施形態は、視覚上の物体を除去すべきか又は目立たないようにすべきかどうか判断するために１つ以上の技術を使用する。物体評価装置３０４は、「相対的位置の決定装置」３０６をコールし、ある物体が別の物体の前方にあってそれを部分的に遮っているかどうか調べる。（図４のステップ４００）。もしそうであれば、前方の物体を除去するか又は目立たないようにする必要がある。これは、図２Ａの道標２１０を伴う状態である。相対的位置の決定装置３０６の実施形態は、種々の技術を並列に適用することができる。第１に、イメージ捕獲システム２０４がレンジファインダーを含みそしてピクセルが３Ｄであるときには、位置情報を検査して、どの物体がカメラに接近し、ひいては、背景の物体の前方にあるか調べる。（ある実施形態では、イメージデータセット３００における視覚上の物体の全部ではないが幾つかが直接的な位置情報を含む。即ち、若干のピクセルのみが３Ｄである。このケースでは、視覚上の物体の位置は、周囲の物体の既知の位置をクロス相関することからしばしば推定できる。）第２に、複数のイメージが同様のエリアを捕獲するときには、イメージが比較され、そして前景の物体が背景の物体に対して視差だけ「移動」する。
【００２４】
別の物体識別技術は、特に、人物を表す物体を見出す。イメージデータセット３００が実世界の現場を表すときには、その捕獲されたイメージが歩行者の光景を含むことがある。プライバシーの問題のために、歩行者の光景を除去するか又はぼかすことが望ましい。歩行者は、相対的位置の決定装置３０６によって確認されてもよいし、又は特定の顔検出ソフトウェア３０８により確認することもできる。
【００２５】
更に別の識別技術が「移動検出器」コンポーネント３１０により表わされる。このコンポーネント３１０は、複数のイメージを再調査して、あるイメージが捕獲されたときと、次のイメージが捕獲された時との間の時間インターバル中に、物体、例えば、乗物が物理的に移動したかどうか調べる。イメージデータセット３００を使用する幾つかのアプリケーションでは、移動物体には関心がなく、除去されてもよい。（この並進移動は、上述した見掛け上の視差移動とは異なることに注意されたい。それでも、これら２つの形式の動き検出器の間にはソフトウェア的に充分な重畳があってもよい。）
【００２６】
ある実施形態は、物体を選択する行為を、選択された物体を実際に除去又は目立たないようにする行為から厳密に分離する。この分離のために、以下に述べる除去／目立たないようにする技術を、どの視覚上の物体を除去し又は目立たないようにするか判断する多数の異なる技術と共に使用することができる。これらの技術は、特定の状態及び基準に基づいてそれらの判断を行う。例えば、犯罪にブルーの車が使用されたことを目撃者が当局に告げる。上述した識別技術が変更され、ブルーでない全ての車がシーンから除去される。余計な車が除去されると、変更されたシーンは、目撃者が希望の乗物を更に識別する上で助けとなる。別の技術は、選択された遮られた物体の所与の距離内にある全ての遮っている物体を除去するように選択を行う。第３の例では、全ての遮っている物体が、ある選択された街路住所から別の街路住所まで所与の街路に沿って除去される。他の状態が生じたときには、他の除去基準が開発され、除去／目立たないようにする技術に送り込まれる。
【００２７】
視覚上の物体が、除去するか又は目立たないようにするために選択されると、その視覚上の物体を表しているデータが、物体置き換え装置３１２により、イメージデータセット３００から単に除去される。（図４のステップ４０４）しかしながら、異なるアプリケーションは、何を除去すべきで、何を除去すべきでないかの異なる要求を有する。従って、ある実施形態では、データがその場所に残されるが、そのデータに何らかの仕方でフラグを立てることにより、選択された物体を「効果的に削除」し、従って、あるアプリケーションは、選択されたオブジェクトが存在しないかのように働くことができ、他のアプリケーションは、フラグの立った物体を表示するように選択することができる。別の実施形態では、削除のために選択された物体がその場所に残されるが、視覚上、目立たないようにされる。ここで、ユーザは、依然、遮っている物体のイメージを見るが、同時に、それを通して、遮られた物体を見る。例えば、図１Ｃは、街路標識１００が依然見えるが、半透明であるか、又は輪郭だけ示され、従って、店の看板１０２を読み取れるように、変更することができる。更に別の実施形態では、除去された物体を表すデータが、仮想物体追加装置３１４（以下に述べる）により後で使用できるようにレポジトリーに記憶される。
【００２８】
ある環境では、選択された視覚上の物体が効果的に除去されるか又は目立たないようにされると、物体置き換え装置３１２の作用は、完了されない。図２Ａに戻ると、道標２１０を表すデータは削除されるが、視点２０６から見て玄関口２１２に視覚上の「穴」を残す。この視覚上の穴を埋めるために多数の技術を適用することができる。図２Ｂにおいて、視点２１４は、遮られることのない玄関口２１２全体を含む。図２Ｂにおいて得られるピクセルを使用して、視覚上の穴を埋めることができる。視点２０６（図２Ａ）及び２１４（図２Ｂ）の角度が異なるために、既知の技術（アフィン変換のような）を使用して、視点２１４からのピクセルを最初に補間又は変換した後に、それらを視点２０６に対するイメージに入れる。（図４のステップ４０６）それにより得られるイメージデータセット３００は、今や、道標２１０が存在しないか又は半透明であるかのように、図２Ａ及び２Ｂの現場を描写するのに使用できる。
【００２９】
ある状況において、物体置き換え装置３１２は、多数の候補イメージの中で選択を行って、視覚上の物体を除去するか又は目立たなくするときに生成された穴を埋めるのに必要なピクセルを得ることができる。イメージデータセット３００が同じシーンの複数の走行中の車からのイメージを含むときには、物体置き換え装置３１２は、どのイメージを作用させるべきか選択するために任意の数の基準を適用する。例えば、照明は、ある走行中の車においては、他のものより良好である。又、落葉樹は、冬季には夏季より背景をあまり遮らない。適当なイメージ（又は必要に応じて、イメージの適当な組み合わせ）を選択すると、物体置き換え装置３１２は、上述した技術を適用して、視覚上の穴を埋める。
【００３０】
あるシーン（例えば、遮っている物体が多数ある街路）では、イメージデータセット３００は、遮っている物体が効果的に除去されるか又は目立たないようにされたときに残った視覚上の穴を完全に埋めるに充分な情報をもたないことがある。どんな視覚情報を供給すべきか推測し、次いで、それに基づいて進行することができる。例えば、街路の片側に煉瓦の壁があり、その壁は、それが見えるところはほぼ均一である。従って、煉瓦の視覚上のテクスチャーは、常に遮られる位置でも補間することができる。混成解決策も時々は有用であり、遮られないイメージを使用して視覚上の穴をできるだけ埋めると共に、残りは補間を使用する。
【００３１】
イメージデータセット３００の更なる使用が意図される。選択された物体が除去されると、仮想的な視覚上の物体をイメージデータセット３００に追加することにより、「仮想世界の現場」を生成することができる。（図３の仮想物体追加コンポーネント３１４。）例えば、仮想風景アプリケーションは、フラワープランターや木のような物体を街路シーンに追加して、それらの審美的な見掛けを評価することができる。（図４のステップ４０８）標識、バス停、及び他の機能的要素を追加することができ、それらの利用性がテストされる。（例えば、充分な距離から、充分な視角にわたって街路標識が見えるか？）得られるイメージデータセット３００が実世界の現場ではなく仮想世界の現場を描写するまで視覚上の物体を追加及び削除することができる。ある実施形態では、仮想物体追加装置３１４は、それ自身のデータレポジトリーから視覚上の物体を描く。このレポジトリーは、とりわけ、イメージデータセット３００から除去された視覚上の物体を表すデータを含むことができる。従って、実際の木を表す視覚上の物体は、それが背景を遮るので、ある光景から除去される。次いで、仮想風景アプリケーションは、同じデータを使用して、仮想的な木を別の光景に追加する。
【００３２】
変換されたイメージデータセット３００は、図５に例示されたコンピューティングプラットホーム５００のような装置からアクセスすることができる。このプラットホーム５００は、例えば、上述したイメージベースのナビゲーションアプリケーション３０２を含む１つ以上のアプリケーション５０２を実行する。このアプリケーション３０２の場合に、ユーザは、インターフェイス５０６（キーボード、マウス、マイクロホン、音声認識ソフトウェア、等）により与えられるツールを使用してナビゲーションを行う。それに応答して、アプリケーション３０２は、変換されたイメージデータセット３００から情報を読み取り、それをユーザインターフェイス５０６のディスプレイ５０８に表示する。
【００３３】
コンピューティングプラットホーム５００のある実施形態は、地理的情報データベース５０４へのアクセスを含む。このデータベース５０４を使用して、プラットホーム５００は、ルート計算、ルートガイダンス、行き先選択、電子イエローページ、乗物ポジショニング、及びマップ表示のようなナビゲーション関連アプリケーション５０２を提供することができる。他のアプリケーション５０２も考えられる。この地理的データベース５０４は、ユーザの乗物５１２が位置する地理的エリアに関するデータを含むことができる。ある実施形態では、地理的データベース５０４は、道路及び交差点の位置を示すデータを含めて、地理的エリアにおける道路に関するデータを含む。又、地理的データベース５０４は、道路の名前、一方向街路、レーンの数、交通信号及び標識の位置、速度限界、回転の制限、住所範囲、等に関する情報を含んでもよい。又、地理的データベース５０４は、関心のあるポイント、例えば、会社、目印、美術館、ＡＴＭ、官庁舎、等に関する情報を含んでもよい。ある実施形態では、地理的データベース５０４におけるデータは、ナビゲーション関連機能を与えるのに最適なフォーマットである。
【００３４】
ある実施形態では、アプリケーション５０２は、ＧＰＳ装置のようなポジショニングシステム５１０からの情報にアクセスすることができる。ポジショニングシステム５１０は、慣性センサ、差動車輪速度センサ、コンパス、又はユーザの乗物５１２の位置を決定できるようにする他の装置を含む。位置は、地理的座標（緯度、経度及び高度）、街路住所として又は他の仕方で決定することができる。
【００３５】
ある実施形態では、コンピューティングプラットホーム５００は、乗物内ナビゲーションシステムとして乗物５１２にインストールされたハードウェア、ソフトウェア及びデータの組合せである。又、プラットホーム５００は、特殊目的のハンドヘルドナビゲーション装置、パーソナルデジタルアシスタント、パーソナルコンピュータ、又はナビゲーションアプリケーションをサポートする移動電話にインストールすることもできる。コンピューティングプラットホーム５００は、ハードウェア、ソフトウェア及びデータが、全て、ローカルに、例えば、乗物５１２内に位置されたスタンドアローンプラットホームでよい。或いは又、コンピューティングプラットホーム５００は、ネットワーク、例えば、インターネット又はワイヤレスネットワークに接続されてもよい。ある実施形態では、変換されたイメージデータセット３００及び地理的データベース５０４は、コンピューティングプラットホーム５００からリモートに位置され、ネットワークを経てアクセスされる。ある実施形態では、データセット３００及びデータベース５０４は、コンピューティングプラットホーム５００に対してローカルであるが、ネットワークを経て更新が受け取られる。又、あるアプリケーション５０２は、ネットワークを経て全体的に又は部分的に与えることもできる。
【００３６】
本発明の原理を適用できる多数の実施形態に鑑み、添付図面を参照してここに述べた実施形態は、単なる例示であって、本発明の範囲を限定するものではないことを理解されたい。例えば、ある環境における実施形態は、他のイメージ捕獲システムの利点を取り入れることもできるし、又はここに例示したもの以外のエンドユーザアプリケーションをサポートすることもできる。それ故、ここに述べた本発明は、特許請求の範囲及びその等好物の範囲内で生じ得るこのような全ての実施形態を意図している。
【図面の簡単な説明】
【００３７】
【図１Ａ】街路の標識によって部分的に遮られた店の看板を示す街路の現場の写真である。
【図１Ｂ】図１Ａに示された同じ現場の写真であるが、図１Ａにおいて遮られた店の看板の同じ部分を街路の標識が遮らない異なる視点から撮影された写真である。
【図１Ｃ】図１Ａと同じ景色を示す写真であるが、店の看板を遮る街路の標識の部分を除去しそして空いたスペースを店の看板の欠落部分に置き換えるように後処理された写真である。
【図２Ａ】街路の現場においてイメージを収集する乗物の頭上概略図で、玄関口が道標によって部分的に遮られるところを示す図である。
【図２Ｂ】図２Ａと同様であるが、乗物が街路に沿って移動して、玄関口が道標により遮られない位置まで来たところを示す図である。
【図３】イメージをイメージデータセットへ収集しイメージデータセットを後処理するためのシステムを例示する概略図である。
【図４】イメージデータセットを後処理する方法を例示するフローチャートである。
【図５】変換されたイメージデータセットにアクセスするエンドユーザのコンピューティングプラットホームを例示する概略図である。
【符号の説明】
【００３８】
１００：街路標識
１０２：店の看板
２００：乗物
２０２：道路
２０４：イメージ捕獲システム
２０６：視点
２０８：ビル
２１０：道標
２１２：玄関口
２１４：視点
３００：イメージデータセット
３０２：ナビゲーションアプリケーション
３０４：評価装置
３０６：相対的位置の決定装置
３０８：顔検出ソフトウェア
３１０：移動検出器コンポーネント
３１２：物体置き換え装置
３１４：仮想物体追加コンポーネント
５００：コンピューティングプラットホーム
５０２：アプリケーション
５０４：地理的データベース
５０６：インターフェイス
５０８：ディスプレイ
５１０：ポジショニングシステム
５１２：ユーザの乗物
【特許請求の範囲】
【請求項１】
イメージデータセットを変換するための方法において、前記イメージデータセットは、第１物体及び第２物体を表すデータを含み、第１物体は、少なくとも１つの視点から第２物体を少なくとも部分的に遮るものであり、前記方法は、
第１のコンピュータ読み取り可能なメディアから前記イメージデータセットを読み取るステップと、
前記第１及び第２物体の相対的な位置を決定するステップと、
前記第１及び第２物体の相対的な位置に少なくとも一部分基づいて、前記第２物体を明らかにするように前記イメージデータセットを変換するステップと、
前記変換されたイメージデータセットを第２のコンピュータ読み取り可能なメディアに記憶するステップと、
を備えた方法。
【請求項２】
前記第１及び第２のコンピュータ読み取り可能なメディアは、同じメディアである、請求項１に記載の方法。
【請求項３】
前記イメージデータセットは、複数の視点から取られた複数のイメージを含み、少なくとも幾つかのイメージは重畳する、請求項１に記載の方法。
【請求項４】
前記イメージデータセットは、実世界の現場及び仮想世界の現場より成るグループから選択された現場を表す、請求項１に記載の方法。
【請求項５】
前記イメージデータセットは、３Ｄピクセルを含む、請求項１に記載の方法。
【請求項６】
第１及び第２物体の相対的な位置を決定する前記ステップは、前記第１及び第２の物体を表す３Ｄピクセルのセットの位置情報を比較する段階を含む、請求項５に記載の方法。
【請求項７】
前記第１物体は、人物、乗物、構造物、標識及び植物より成るグループから選択された品目を表す、請求項１に記載の方法。
【請求項８】
第１及び第２物体の相対的な位置を決定する前記ステップは、
前記イメージデータセットにおける複数のイメージを比較する段階と、
前記比較に少なくとも一部分基づいて、前記第２物体に対する前記第１物体の視差移動を見出す段階と、
を含む請求項１に記載の方法。
【請求項９】
前記イメージデータセットを変換する前記ステップは、更に、前記第１物体の顔を検出することに少なくとも一部分基づく、請求項１に記載の方法。
【請求項１０】
前記イメージデータセットを変換する前記ステップは、更に、
前記イメージデータセットにおける複数のイメージを比較すること、及び
前記比較に少なくとも一部分基づいて、前記第２物体に対する前記第１物体の並進移動を見出すこと、
に少なくとも一部分基づく、請求項１に記載の方法。
【請求項１１】
前記イメージデータセットを変換する前記ステップは、前記第１物体を表すデータの少なくとも幾つかを削除すること、前記第１物体を表すデータの少なくとも幾つかにフラグを立てること、及び前記第１物体の少なくとも幾つかを半透明にすること、より成るグループから選択された技術を適用する段階を含む、請求項１に記載の方法。
【請求項１２】
前記イメージデータセットを変換する前記ステップは、前記第２物体における３Ｄピクセルを補間する段階を含む、請求項１に記載の方法。
【請求項１３】
第２物体における３Ｄピクセルを補間する前記段階は、
前記イメージデータセットにおける複数のイメージからの３Ｄピクセルを比較する工程と、
第１のイメージにおける前記第１物体により遮られた３Ｄピクセルを、第２のイメージにおける同じ場所に対応し且つ前記第１物体により遮られない３Ｄピクセルに置き換える工程と、
を含む請求項１２に記載の方法。
【請求項１４】
前記第１物体により遮られない前記第２のイメージにおける３Ｄピクセルの少なくとも幾つかにアフィン変換を適用する工程を更に含む、請求項１３に記載の方法。
【請求項１５】
前記イメージデータセットを変換する前記ステップは、前記第２物体に隣接する物体のテクスチャーを補間する段階を含む、請求項１に記載の方法。
【請求項１６】
第３物体を表すデータを追加することにより前記イメージデータセットを変換するステップを更に備えた、請求項１に記載の方法。
【請求項１７】
イメージデータセットを変換するための方法に対するコンピュータ実行可能なインストラクションを含むコンピュータ読み取り可能なメディアにおいて、前記イメージデータセットは、第１物体及び第２物体を表すデータを含み、第１物体は、少なくとも１つの視点から第２物体を少なくとも部分的に遮るものであり、前記方法は、
第１のコンピュータ読み取り可能なメディアからイメージデータセットを読み取り、
前記第１及び第２物体の相対的な位置を決定し、
前記第１及び第２物体の相対的な位置に少なくとも一部分基づいて、前記第２物体を明らかにするように前記イメージデータセットを変換し、そして
前記変換されたイメージデータセットを第２のコンピュータ読み取り可能なメディアに記憶する、
ことを含む、コンピュータ読み取り可能なメディア。
【請求項１８】
イメージデータセットを変換するためのシステムにおいて、
実世界の現場を表す複数のイメージを収集するカメラシステムであって、前記イメージは、複数の視点から取られたもので、少なくとも幾つかのイメージが重畳するようなカメラシステムと、
前記カメラシステムにより収集されたイメージを含むイメージデータセットを収容するための第１のコンピュータ読み取り可能なメディアと、
前記イメージデータセットにおけるデータにより表わされた物体の相対的な位置を決定するプログラムと、
前記イメージデータセットにおける第１物体が少なくとも１つの視点から第２物体を少なくとも部分的に遮るかどうか決定するプログラムと、
前記少なくとも部分的に遮られた物体を明らかにするように前記イメージデータセットを変換するプログラムと、
前記変換されたイメージデータセットを収容するための第２のコンピュータ読み取り可能なメディアと、
を備えたシステム。
【請求項１９】
前記第１及び第２のコンピュータ読み取り可能なメディアは同じメディアである、請求項１８に記載のシステム。
【請求項２０】
前記カメラシステムは、位置情報を収集するためのＬＩＤＡＲシステムを含む、請求項１８に記載のシステム。
【請求項２１】
前記イメージデータセットは３Ｄピクセルを含む、請求項１８に記載のシステム。
【請求項２２】
物体を表すデータを追加することにより前記イメージデータセットを変換するためのプログラムを更に備えた、請求項１８に記載のシステム。
【請求項２３】
変換されたイメージデータセットを収容するコンピュータ読み取り可能なメディアであって、前記変換されたイメージデータセットは、初期のイメージデータセットから少なくとも一部分導出され、該導出は、遮っている物体により少なくとも一部分遮られた物体を明らかにするように前記イメージデータセットを変換することを含む、コンピュータ読み取り可能なメディア。
【請求項２４】
前記変換されたイメージデータセットは、実世界の現場及び仮想世界の現場より成るグループから選択された現場を表す、請求項２３に記載のコンピュータ読み取り可能なメディア。
【請求項２５】
前記変換されたイメージデータセットは、３Ｄピクセルを含む、請求項２３に記載のコンピュータ読み取り可能なメディア。
【請求項２６】
イメージデータセットを変換することは、前記遮っている物体を表すデータの少なくとも幾つかを削除すること、前記遮っている物体を表すデータの少なくとも幾つかにフラグを立てること、及び前記遮っている物体の少なくとも幾つかを半透明にすること、より成るグループから選択された技術を適用することを含む、請求項２３に記載のコンピュータ読み取り可能なメディア。
【請求項２７】
変換されたイメージデータセットにアクセスする方法において、前記変換されたイメージデータセットは、初期のイメージデータセットから少なくとも一部分導出され、該導出は、別の物体により少なくとも一部分遮られた物体を明らかにするように前記イメージデータセットを変換することを含み、前記方法は、
前記変換されたイメージデータセットにおけるイメージを表すデータをコンピュータ読み取り可能なメディアから読み取るステップと、
ナビゲーション情報を受け取るステップと、
前記受け取ったナビゲーション情報に少なくとも一部分基づいて、視点を決定するステップと、
前記視点に基づいて前記変換されたイメージデータセットからイメージを与えるステップと、
を備えた方法。
【請求項２８】
イメージベースのナビゲーションアプリケーション、ルート計算器、ルートガイダンスアプリケーション、行先セレクタ、電子イエローページ、乗物ポジショニングアプリケーション、及びマップ表示アプリケーションより成るグループから選択されたアプリケーションを備えた、請求項２７に記載の方法。
【請求項２９】
前記イメージデータセットは、実世界の現場及び仮想世界の現場より成るグループから選択された現場を表す、請求項２７に記載の方法。
【請求項３０】
コンピュータ読み取り可能なメディアから読み取る前記ステップは、ネットワークを経て読み取ることを含む、請求項２７に記載の方法。
【請求項３１】
前記変換されたイメージデータセットに対する更新を受け取るステップを更に備えた、請求項２７に記載の方法。
【請求項３２】
変換されたイメージデータセットにアクセスする方法を遂行するためのコンピュータ実行可能なインストラクションを含むコンピュータ読み取り可能なメディアにおいて、前記変換されたイメージデータセットは、初期のイメージデータセットから少なくとも一部分導出され、該導出は、別の物体により少なくとも一部分遮られた物体を明らかにするように前記イメージデータセットを変換することを含み、前記方法は、
前記変換されたイメージデータセットにおけるイメージを表すデータをコンピュータ読み取り可能なメディアから読み取り、
ナビゲーション情報を受け取り、
前記受け取ったナビゲーション情報に少なくとも一部分基づいて、視点を決定し、
前記視点に基づいて前記変換されたイメージデータセットからイメージを与える、
ことを含むものである、コンピュータ読み取り可能なメディア。
【請求項１】
イメージデータセットを変換するための方法において、前記イメージデータセットは、第１物体及び第２物体を表すデータを含み、第１物体は、少なくとも１つの視点から第２物体を少なくとも部分的に遮るものであり、前記方法は、
第１のコンピュータ読み取り可能なメディアから前記イメージデータセットを読み取るステップと、
前記第１及び第２物体の相対的な位置を決定するステップと、
前記第１及び第２物体の相対的な位置に少なくとも一部分基づいて、前記第２物体を明らかにするように前記イメージデータセットを変換するステップと、
前記変換されたイメージデータセットを第２のコンピュータ読み取り可能なメディアに記憶するステップと、
を備えた方法。
【請求項２】
前記第１及び第２のコンピュータ読み取り可能なメディアは、同じメディアである、請求項１に記載の方法。
【請求項３】
前記イメージデータセットは、複数の視点から取られた複数のイメージを含み、少なくとも幾つかのイメージは重畳する、請求項１に記載の方法。
【請求項４】
前記イメージデータセットは、実世界の現場及び仮想世界の現場より成るグループから選択された現場を表す、請求項１に記載の方法。
【請求項５】
前記イメージデータセットは、３Ｄピクセルを含む、請求項１に記載の方法。
【請求項６】
第１及び第２物体の相対的な位置を決定する前記ステップは、前記第１及び第２の物体を表す３Ｄピクセルのセットの位置情報を比較する段階を含む、請求項５に記載の方法。
【請求項７】
前記第１物体は、人物、乗物、構造物、標識及び植物より成るグループから選択された品目を表す、請求項１に記載の方法。
【請求項８】
第１及び第２物体の相対的な位置を決定する前記ステップは、
前記イメージデータセットにおける複数のイメージを比較する段階と、
前記比較に少なくとも一部分基づいて、前記第２物体に対する前記第１物体の視差移動を見出す段階と、
を含む請求項１に記載の方法。
【請求項９】
前記イメージデータセットを変換する前記ステップは、更に、前記第１物体の顔を検出することに少なくとも一部分基づく、請求項１に記載の方法。
【請求項１０】
前記イメージデータセットを変換する前記ステップは、更に、
前記イメージデータセットにおける複数のイメージを比較すること、及び
前記比較に少なくとも一部分基づいて、前記第２物体に対する前記第１物体の並進移動を見出すこと、
に少なくとも一部分基づく、請求項１に記載の方法。
【請求項１１】
前記イメージデータセットを変換する前記ステップは、前記第１物体を表すデータの少なくとも幾つかを削除すること、前記第１物体を表すデータの少なくとも幾つかにフラグを立てること、及び前記第１物体の少なくとも幾つかを半透明にすること、より成るグループから選択された技術を適用する段階を含む、請求項１に記載の方法。
【請求項１２】
前記イメージデータセットを変換する前記ステップは、前記第２物体における３Ｄピクセルを補間する段階を含む、請求項１に記載の方法。
【請求項１３】
第２物体における３Ｄピクセルを補間する前記段階は、
前記イメージデータセットにおける複数のイメージからの３Ｄピクセルを比較する工程と、
第１のイメージにおける前記第１物体により遮られた３Ｄピクセルを、第２のイメージにおける同じ場所に対応し且つ前記第１物体により遮られない３Ｄピクセルに置き換える工程と、
を含む請求項１２に記載の方法。
【請求項１４】
前記第１物体により遮られない前記第２のイメージにおける３Ｄピクセルの少なくとも幾つかにアフィン変換を適用する工程を更に含む、請求項１３に記載の方法。
【請求項１５】
前記イメージデータセットを変換する前記ステップは、前記第２物体に隣接する物体のテクスチャーを補間する段階を含む、請求項１に記載の方法。
【請求項１６】
第３物体を表すデータを追加することにより前記イメージデータセットを変換するステップを更に備えた、請求項１に記載の方法。
【請求項１７】
イメージデータセットを変換するための方法に対するコンピュータ実行可能なインストラクションを含むコンピュータ読み取り可能なメディアにおいて、前記イメージデータセットは、第１物体及び第２物体を表すデータを含み、第１物体は、少なくとも１つの視点から第２物体を少なくとも部分的に遮るものであり、前記方法は、
第１のコンピュータ読み取り可能なメディアからイメージデータセットを読み取り、
前記第１及び第２物体の相対的な位置を決定し、
前記第１及び第２物体の相対的な位置に少なくとも一部分基づいて、前記第２物体を明らかにするように前記イメージデータセットを変換し、そして
前記変換されたイメージデータセットを第２のコンピュータ読み取り可能なメディアに記憶する、
ことを含む、コンピュータ読み取り可能なメディア。
【請求項１８】
イメージデータセットを変換するためのシステムにおいて、
実世界の現場を表す複数のイメージを収集するカメラシステムであって、前記イメージは、複数の視点から取られたもので、少なくとも幾つかのイメージが重畳するようなカメラシステムと、
前記カメラシステムにより収集されたイメージを含むイメージデータセットを収容するための第１のコンピュータ読み取り可能なメディアと、
前記イメージデータセットにおけるデータにより表わされた物体の相対的な位置を決定するプログラムと、
前記イメージデータセットにおける第１物体が少なくとも１つの視点から第２物体を少なくとも部分的に遮るかどうか決定するプログラムと、
前記少なくとも部分的に遮られた物体を明らかにするように前記イメージデータセットを変換するプログラムと、
前記変換されたイメージデータセットを収容するための第２のコンピュータ読み取り可能なメディアと、
を備えたシステム。
【請求項１９】
前記第１及び第２のコンピュータ読み取り可能なメディアは同じメディアである、請求項１８に記載のシステム。
【請求項２０】
前記カメラシステムは、位置情報を収集するためのＬＩＤＡＲシステムを含む、請求項１８に記載のシステム。
【請求項２１】
前記イメージデータセットは３Ｄピクセルを含む、請求項１８に記載のシステム。
【請求項２２】
物体を表すデータを追加することにより前記イメージデータセットを変換するためのプログラムを更に備えた、請求項１８に記載のシステム。
【請求項２３】
変換されたイメージデータセットを収容するコンピュータ読み取り可能なメディアであって、前記変換されたイメージデータセットは、初期のイメージデータセットから少なくとも一部分導出され、該導出は、遮っている物体により少なくとも一部分遮られた物体を明らかにするように前記イメージデータセットを変換することを含む、コンピュータ読み取り可能なメディア。
【請求項２４】
前記変換されたイメージデータセットは、実世界の現場及び仮想世界の現場より成るグループから選択された現場を表す、請求項２３に記載のコンピュータ読み取り可能なメディア。
【請求項２５】
前記変換されたイメージデータセットは、３Ｄピクセルを含む、請求項２３に記載のコンピュータ読み取り可能なメディア。
【請求項２６】
イメージデータセットを変換することは、前記遮っている物体を表すデータの少なくとも幾つかを削除すること、前記遮っている物体を表すデータの少なくとも幾つかにフラグを立てること、及び前記遮っている物体の少なくとも幾つかを半透明にすること、より成るグループから選択された技術を適用することを含む、請求項２３に記載のコンピュータ読み取り可能なメディア。
【請求項２７】
変換されたイメージデータセットにアクセスする方法において、前記変換されたイメージデータセットは、初期のイメージデータセットから少なくとも一部分導出され、該導出は、別の物体により少なくとも一部分遮られた物体を明らかにするように前記イメージデータセットを変換することを含み、前記方法は、
前記変換されたイメージデータセットにおけるイメージを表すデータをコンピュータ読み取り可能なメディアから読み取るステップと、
ナビゲーション情報を受け取るステップと、
前記受け取ったナビゲーション情報に少なくとも一部分基づいて、視点を決定するステップと、
前記視点に基づいて前記変換されたイメージデータセットからイメージを与えるステップと、
を備えた方法。
【請求項２８】
イメージベースのナビゲーションアプリケーション、ルート計算器、ルートガイダンスアプリケーション、行先セレクタ、電子イエローページ、乗物ポジショニングアプリケーション、及びマップ表示アプリケーションより成るグループから選択されたアプリケーションを備えた、請求項２７に記載の方法。
【請求項２９】
前記イメージデータセットは、実世界の現場及び仮想世界の現場より成るグループから選択された現場を表す、請求項２７に記載の方法。
【請求項３０】
コンピュータ読み取り可能なメディアから読み取る前記ステップは、ネットワークを経て読み取ることを含む、請求項２７に記載の方法。
【請求項３１】
前記変換されたイメージデータセットに対する更新を受け取るステップを更に備えた、請求項２７に記載の方法。
【請求項３２】
変換されたイメージデータセットにアクセスする方法を遂行するためのコンピュータ実行可能なインストラクションを含むコンピュータ読み取り可能なメディアにおいて、前記変換されたイメージデータセットは、初期のイメージデータセットから少なくとも一部分導出され、該導出は、別の物体により少なくとも一部分遮られた物体を明らかにするように前記イメージデータセットを変換することを含み、前記方法は、
前記変換されたイメージデータセットにおけるイメージを表すデータをコンピュータ読み取り可能なメディアから読み取り、
ナビゲーション情報を受け取り、
前記受け取ったナビゲーション情報に少なくとも一部分基づいて、視点を決定し、
前記視点に基づいて前記変換されたイメージデータセットからイメージを与える、
ことを含むものである、コンピュータ読み取り可能なメディア。
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５】
【図１Ａ】
【図１Ｂ】
【図１Ｃ】
【図２Ｂ】
【図３】
【図４】
【図５】
【図１Ａ】
【図１Ｂ】
【図１Ｃ】
【公開番号】特開２００９−１３４７１９（Ｐ２００９−１３４７１９Ａ）
【公開日】平成２１年６月１８日（２００９．６．１８）
【国際特許分類】
【外国語出願】
【出願番号】特願２００８−３０３１４７（Ｐ２００８−３０３１４７）
【出願日】平成２０年１０月３０日（２００８．１０．３０）
【出願人】（５０８３５１１１８）ナヴテック ノース アメリカ リミテッド ライアビリティ カンパニー (20)
【Ｆターム（参考）】
【公開日】平成２１年６月１８日（２００９．６．１８）
【国際特許分類】
【出願番号】特願２００８−３０３１４７（Ｐ２００８−３０３１４７）
【出願日】平成２０年１０月３０日（２００８．１０．３０）
【出願人】（５０８３５１１１８）ナヴテック ノース アメリカ リミテッド ライアビリティ カンパニー (20)
【Ｆターム（参考）】
[ Back to top ]