標識および標識使用方法
【課題】標識を画像処理することによって位置および方向に関する情報を得る。
【解決手段】所定箇所に設置される標識２は、軸部４と符号提示部６とを備える。球形の符号提示部６はその球面６ａに、異なる複数の視線方向から識別可能な、標識２の位置を示す複数の位置情報符号と、異なる複数の視線方向のうちいずれの視線方向から標識２が視認されているかを示す方向表示と、を有する。複数の位置情報符号は方向表示を兼ねるよう配置されている。つまり、方向表示は複数の位置情報符号８の視認の態様に依存する形で定められる。
【解決手段】所定箇所に設置される標識２は、軸部４と符号提示部６とを備える。球形の符号提示部６はその球面６ａに、異なる複数の視線方向から識別可能な、標識２の位置を示す複数の位置情報符号と、異なる複数の視線方向のうちいずれの視線方向から標識２が視認されているかを示す方向表示と、を有する。複数の位置情報符号は方向表示を兼ねるよう配置されている。つまり、方向表示は複数の位置情報符号８の視認の態様に依存する形で定められる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、標識およびその標識を使用する標識使用方法に関する。
【背景技術】
【０００２】
画像認識技術と動体認識技術の進歩によって、今後現実世界における様々なシーンの映像が画像分析の対象となる可能性がある。そのような画像分析が使用されるものとしては例えば拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）がある。拡張現実は現実環境にコンピュータを用いて情報を付加、提示する技術である（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２１１２５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
現実世界の画像を分析する際、比較などのためにその画像が撮像された場所や時間に関する情報が必要な場合がある。これらの情報を得るためには例えば撮像装置によって画像にデジタル的に場所や時間に関する情報を付随させることが考えられる。しかしながら、まず画像ごとにそのような情報を入力するのは手間である。さらに撮像装置からいちいちそのような情報を取り出していたのでは即時性に欠ける。また、写真をスキャンして画像を得る場合などは画像以外の情報は得られないので場所や時間を同定するのは困難である。
【０００５】
本発明はこうした課題に鑑みてなされたものであり、その目的は、画像処理によって位置および方向に関する情報を提供できる標識の提供にある。
【課題を解決するための手段】
【０００６】
本発明のある態様は標識に関する。この標識は、所定箇所に設置されるべき標識であって、異なる複数の視線方向から識別可能な、当該標識の位置を示す位置表示と、異なる複数の視線方向のうちいずれの視線方向から当該標識が視認されているかを示す方向表示と、を備える。
【０００７】
この態様によると、標識が含まれる画像を分析することにより標識の位置および標識が視認されている視線方向に関する情報を得ることができる。
【０００８】
本発明の別の態様は、標識使用方法である。この方法は、標識を撮像するステップと、撮像された標識から画像認識手法を用いて位置表示をもとにその標識の位置を取得するステップと、撮像された標識から画像認識手法を用いて方向表示をもとにその標識が撮像された視線方向を取得するステップと、を含む。
【０００９】
なお、以上の構成要素の任意の組み合わせや、本発明の構成要素や表現を装置、方法、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体などの間で相互に置換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明によれば、標識の画像処理によって標識を含む画像の位置および方向に関する情報を提供できる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施の形態に係る標識を示す側面図である。
【図２】図１の球面の一例を示す部分展開図である。
【図３】第２の実施の形態に係る標識を示す斜視図である。
【図４】街路に複数の標識が配置されている様子を示す模式図である。
【図５】車両内のユーザからフロントガラス越しに見える風景の一例を示す模式図である。
【図６】車両に搭載される撮像装置および画像処理装置の機能および構成を示すブロック図である。
【図７】撮像装置および画像処理装置における一連の処理の一部を示すフローチャートである。
【図８】先頭車両のフロントガラス越しに見える風景の一例を示す模式図である。
【発明を実施するための形態】
【００１２】
以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面における部材の寸法は、理解を容易にするために適宜拡大、縮小して示される。また、各図面において実施の形態を説明する上で重要ではない部材の一部は省略して表示する。
【００１３】
（第１の実施の形態）
第１の実施の形態に係る標識は、交差点などの街路の主要な箇所に設置される。この標識が映りこんだ２次元画像を画像処理することで、標識の位置や２次元画像が撮られた視線の方向に関する情報が取得される。このように取得された位置・視線方向に関する情報は、例えば拡張現実に有効に利用される。
【００１４】
図１は、第１の実施の形態に係る標識２を示す側面図である。標識２は、軸部４と、軸部４の一端に取り付けられた符号提示部６とを備える。軸部４の他端は街路上の標識２が設置されるべき所定箇所、例えば交差点に固定される。符号提示部６は全方位から符号を視認可能な部材、この例では球体であり、その球面６ａには異なる複数の視線方向から識別可能な、標識２の位置を示す複数の位置表示と、異なる複数の視線方向のうちいずれの視線方向から標識２が視認されているかを示す方向表示と、が配置される。ここで視線方向とは、撮像装置によって標識２を撮像する際、標識２に対してその撮像装置が向いている向きである。
【００１５】
位置表示は、標識２が設置されている箇所の緯度と経度を示す情報を含む。方向表示は、標識２が視認されている視線方向の方位角または仰俯角の少なくともいずれか一方を示す情報を含む。また、同じ視点から少なくとも２つの異なる標識２を視認する場合、それぞれの視線方向の情報から例えば三角測量により標識２から視点までの距離を求めてもよい。
【００１６】
複数の位置表示は方向表示を兼ねるよう配置されている。つまり個々の位置表示は標識２の位置の情報を含む位置情報符号として球面６ａ上に表示され、方向表示は符号として表示される代わりに複数の位置情報符号の視認の態様に依存する形で定められる。
【００１７】
標識２は例えば走行中の車両に搭載された車載カメラなどの撮像装置によって撮像され、撮像された標識２の画像は撮像装置に接続された画像処理装置で処理される。この画像処理装置は位置情報符号をもとに撮像された標識２の位置を取得し、その位置情報符号の映り方から標識２が撮像された視線方向を取得する。
【００１８】
図２は、図１の球面６ａの一例を示す部分展開図である。図２では球面６ａのうち視線方向に対応する一部をメルカトル図法に倣い展開して示す。図２中で一点鎖線で囲まれた視野角外範囲１２は、撮像装置の視野に入らない範囲を示す。図２中で破線で示される上下の部分は、符号提示部６を視認する際、符号提示部６が球体であるが故に識別不可となる部分を示す。図２の例では、符号提示部６の球面６ａを緯線方向に沿って１２ブロックに分割する。
【００１９】
球面６ａには、緯線方向に沿って並ぶ白（０）黒（１）ブロックの列である位置情報符号８が、経線方向に連続して複数配置されている。位置情報符号８は、１行下がる毎に反時計回りに１ブロックずらして配置される。つまり複数の位置情報符号８は、球面６ａ上のらせんに沿って配置される。
位置情報符号８は所定の長さを有する。この所定の長さは撮像装置が標識２を視認したときの視野角に位置情報符号８が過不足無く入るように設定される。図２の例は、視野角１８０度弱に６ブロックの位置情報符号８が過不足無く入る場合に対応する。
【００２０】
位置情報符号８を、白ブロックを０、黒ブロックを１（もしくはその反対）としてデジタル化した符号はいわゆるハミング符号を形成する。撮像装置によって撮像された標識２の画像を処理する画像処理装置は、標識２の画像からこのハミング符号を抽出してエラー検出・訂正し、それに含まれる位置情報を取得する。
【００２１】
図２で斜線が付されていない視野角範囲１０は撮像装置の視野に入る範囲を示す。図２の状態では上からＸ行目１４に含まれる位置情報符号８はエラー訂正なしで読み取り可能である。また、Ｘ＋１行目１６に含まれる位置情報符号８はエラー訂正ありで読み取り可能である。また、Ｘ＋２行目１８から下の位置情報符号８は識別不能となる。
【００２２】
ここで撮像装置（視点）が移動して方位角が変化し、視野角範囲１０が図２の状態から右に１ブロック分移動したとする。するとＸ行目１４に含まれる位置情報符号８はエラー訂正ありで読み取り可能となり、Ｘ＋１行目１６に含まれる位置情報符号８はエラー訂正なしで読み取り可能となる。したがって、このことをもって方位角が３６０度／１２＝３０度だけ最初の状態から相対的に変化したことを識別できる。
【００２３】
経線方向で撮像装置の視野に入る行数（図２の例では５行）よりも短い周期で位置情報符号８に絶対的な方位に関する基準情報、例えば方位角そのものを含めてもよい。この場合、相対的な方位角だけでなくその相対的な方位角および基準情報から絶対的な方位角も識別可能となる。また、全ての位置情報符号８にそのような情報を含めるわけではないので、球面６ａ上に提示する情報量を少なく保つことができる。
【００２４】
仰俯角については、図２に実線で示されるような識別可能な部分が符号提示部６の全体像のうち上または下からどれほどの距離にあるかという情報から判別される。言い換えると、符号提示部６が球体であることにより、撮像装置によって撮像された符号提示部６の画像の上部または下部の少なくともいずれか一方に識別不可な部分が生じるということを利用して仰俯角を識別する。
あるいはまた、位置情報符号８が対応する仰俯角情報を含んでもよい。
【００２５】
本実施の形態に係る標識２によると、標識２が撮像された画像から標識２の位置情報および視線方向を抽出することによって、標識２の位置および標識２が撮像された位置・視線方向を高い精度で取得できる。したがって標識２が映る画像内の他の物体の基点や同一性をより高い精度で識別可能となる。取得されたそれらの情報は、例えば拡張現実において標識２周辺の建物等にアノテーションを提示する際に好適に使用される。また、後述する応用例にも見られる通り、それらの情報は様々な場面で有益に使用される。
【００２６】
標識２は、標識２が設置されるべき箇所に対応付けられた付加情報の表示をさらに備えてもよい。付加情報とは例えば、標識２が設置されるべき箇所の近隣にある商業施設の名称やその商業施設で行われているイベントの情報などの広告情報である。この場合、標識２は街路に設置される看板や広告を兼ねてもよい。つまり看板や広告に上記の位置表示および方向表示、付加情報を埋め込んでもよい。
また、付加情報とは例えば標識２が設置されている地域の交通事故発生率などのその地域に関する情報であってもよい。
【００２７】
また、標識２は時刻表示をさらに備えてもよい。この場合、標識２を液晶ディスプレイやＬＥＤなどの表示装置で実現する。そしてその表示装置に位置表示と方向表示と時刻表示とを表示させる。これにより、標識２の画像分析によって位置・方向だけでなく時刻情報も抽出できる。時刻情報が分かると、例えばこの時刻情報をキーとしてある標識２をある時刻に別々の視線方向から撮像した画像を集めることができるようになる。
なお、標識２が時刻表示を含まなくてもまたは標識２の時刻表示によらなくても、ある標識２を別々の視線方向から撮像した画像を集めることができる。
【００２８】
また、Ｇｏｏｇｌｅ（登録商標）などの検索エンジンが、標識２が含まれる画像の場所を標識２の位置表示から特定し、特定された場所を基にインデックスを作成してもよい。このように本実施の形態に係る標識２は、現実世界に設けられる、仮想世界のためのアンカーとして機能する。
【００２９】
（第２の実施の形態）
図３は、第２の実施の形態に係る標識２４を示す斜視図である。標識２４は、軸部２６と、軸部２６の一端に取り付けられた符号提示部２８と、を備える。軸部２６の他端は街路上の標識２４が設置されるべき箇所に固定される。符号提示部２８は球形の部材であり、その球面２８ａには各視線方向に対応するＱＲコード（登録商標）３０がプリントされている。
【００３０】
ＱＲコード３０は、標識２４が設置されている位置に関する位置情報と、標識２４が視認されている視線方向に関する方向情報と、を含む表示である。カメラなどの撮像装置が標識２４を撮像し、画像処理装置は撮像された画像を処理することでＱＲコード３０を認識、解読し、両情報を抽出する。
【００３１】
第２の実施の形態に係る標識２４によると、第１の実施の形態に係る標識２と同様の作用効果を得ることができる。
【００３２】
以下第１の実施の形態に係る標識２を用いた応用例を２つ説明する。
（応用例１）
図４は、街路に複数の標識２が配置されている様子を示す模式図である。以降の図では説明を簡単にするため、球面６ａ上の位置情報符号８は省略して表示する。ユーザは、撮像装置およびそれに接続された画像処理装置（図４では両者とも不図示）を備える車両３２を運転している。この撮像装置が街路上の標識２を撮像し、画像処理装置がその画像から位置・視線方向の情報を抽出する。画像処理装置は、抽出された位置・視線方向をキーとして標識２周辺の建物・商業施設の名称をデータベースから取得し、車両３２のフロントガラスに名称アノテーションとして提示する。また、標識２に対応付けられた広告などの付加情報が標識２から抽出されると、それを標識２と対応付けてフロントガラスに広告アノテーションとして提示する。
【００３３】
図５は、車両３２内のユーザからフロントガラス３４越しに見える風景の一例を示す模式図である。フロントガラス３４はシースルーでありながら任意の必要な箇所にアノテーションを提示できるように構成される。このようなフロントガラス３４は、例えば公知の有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）技術を用いて構成される。
【００３４】
車両３２に搭載された撮像装置による標識２の撮像および画像処理装置によるその画像処理の結果、フロントガラス３４には位置アノテーション３６と、名称アノテーション３８と、広告アノテーション４０と、が提示される。位置アノテーション３６は、標識２が設置されている地図上の位置を示す。名称アノテーション３８は、標識２の画像から取得された位置・視線方向にて定まる視野空間内の建物・商業施設の名称を示す。広告アノテーション４０は、標識２が広告情報の表示を含む場合、その広告を位置アノテーション３６に関連付けて示す。
【００３５】
図６は、車両３２に搭載される撮像装置４２および画像処理装置４４の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウェア的には、コンピュータのＣＰＵ（central processing unit）をはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解されるところである。
【００３６】
撮像装置４２は、例えばデジタルカメラであり、標識２の画像を撮像する。画像処理装置４４は、画像取得部４６と、情報抽出部４８と、補助情報取得部５０と、補助情報ＤＢ（Ｄａｔａ Ｂａｓｅ：データベース）５２と、広告取得部５４と、広告ＤＢ５６と、画像更新部５８と、画像ライブラリ６０と、表示制御部６２と、を含む。
【００３７】
画像取得部４６は、撮像装置４２によって撮像された画像を取得する。情報抽出部４８は、画像取得部４６によって取得された標識２の画像から、公知の画像認識手法を用いて位置情報符号８をもとにその標識２の位置を抽出する。また情報抽出部４８は、標識２の画像から複数の位置情報符号８の視認の態様に依存する形で定められる方向表示をもとに標識２が撮像された視線方向を抽出する。この視線方向の抽出については、例えば図２に関連して説明された手法が用いられる。情報抽出部４８は抽出された位置情報および視線方向の情報を、補助情報取得部５０と、画像更新部５８と、表示制御部６２と、に渡す。表示制御部６２は、渡された位置情報を位置アノテーション３６として標識２と関連付けてフロントガラス３４に提示する。
【００３８】
また情報抽出部４８は、標識２が広告情報の表示を含む場合、それを抽出して表示制御部６２に渡す。表示制御部６２はその広告情報を広告アノテーション４０としてフロントガラス３４に提示する。
【００３９】
補助情報取得部５０は、渡された位置情報および視線方向の情報をキーとして補助情報ＤＢ５２を検索し、その位置および視線方向にて定まる視野空間内の環境に関連する補助情報、特にその視野空間内の建物・商業施設の名称を示す名称補助情報を取得する。補助情報取得部５０は取得された名称補助情報を表示制御部６２に渡す。表示制御部６２は、渡された名称補助情報を名称アノテーション３８として対象の建物・商業施設と関連付けてフロントガラス３４に提示する。
【００４０】
なお広告に関して、情報抽出部４８が位置情報および視線方向の情報を広告取得部５４に渡し、広告取得部５４が渡された位置情報および視線方向の情報をキーとして広告ＤＢ５６を検索し、その位置および視線方向にて定まる視野空間内の商業施設に関連する広告補助情報を取得してもよい。広告取得部５４はこの広告補助情報を表示制御部６２に渡し、表示制御部６２はこの広告補助情報を広告アノテーション４０としてフロントガラス３４に提示してもよい。この場合、広告ＤＢ５６のデータを書き換えることにより容易に広告の更新ができる。
【００４１】
また、情報抽出部４８において抽出された位置情報および視線方向の情報は、現実世界の画像を更新するのにも好適に使用される。画像更新部５８は、渡された位置情報および視線方向の情報をキーとして画像ライブラリ６０を検索し、その位置および視線方向で定まる過去の画像を取得する。そして画像更新部５８は、その過去の画像と画像取得部４６が取得した現在の画像とを比較し、差分があれば過去の画像を画像取得部４６が取得した現在の画像で更新する。この場合、建物の立て替えや区画整理などで風景が変わったとしてもその画像を自動的に更新できる。
【００４２】
また、撮像装置４２から動画データが送られてくる場合は、情報抽出部４８は動画データを構成する一連の画像から、標識２が人間などの動く物体によって隠されて見えなくなっている画像を抽出する機能を有してもよい。これにより、標識２が人間などの動く物体によって隠される場合にも対応できる。
【００４３】
図７は、撮像装置４２および画像処理装置４４における一連の処理の一部を示すフローチャートである。撮像装置４２は、標識２を撮像する（Ｓ２０２）。情報抽出部４８は、撮像された標識２から画像認識手法を用いて位置表示をもとにその標識２の位置を取得する（Ｓ２０４）。情報抽出部４８は、撮像された標識２から画像認識手法を用いて方向表示をもとにその標識２が撮像された視線方向を取得する（Ｓ２０６）。補助情報取得部５０は、取得された位置および視線方向にて定まる視野空間内の環境に関連する補助情報を取得する（Ｓ２０８）。表示制御部６２は、取得された補助情報を視野空間内に仮想的に反映してユーザに提示する（Ｓ２１０）。
【００４４】
本応用例によると、拡張現実において標識２をアンカーとして視野空間内の現実環境に関する補助情報をより容易かつ正確にユーザに提供できる。また、広告などの付加情報も提示できる。
【００４５】
なお、画像取得部４６は撮像装置４２で撮像されたデジタルデータとしての画像の代わりに、アナログ技術を利用した他の撮像装置、例えば写真機によって撮られた写真をスキャンして得られる画像データを取得してもよい。
【００４６】
（応用例２）
応用例２では、線路に沿った所定箇所、例えば踏切に標識２を設置する。線路を走る列車の先頭車両は撮像装置およびそれに接続された画像処理装置を備える。図８は、先頭車両のフロントガラス６４越しに見える風景の一例を示す模式図である。フロントガラス６４は、応用例１のフロントガラス３４と同様に構成される。
【００４７】
列車が踏切６６に差し掛かったとする。踏切６６には標識２が設置されている。撮像装置はその標識２を撮像し、画像処理装置はその画像から位置・視線方向の情報を抽出する。画像処理装置は、抽出された位置・視線方向をキーとして画像ＤＢを検索し、踏切６６の安全な状態の通常画像を抽出する。画像処理装置は、この抽出された通常画像と撮像装置によって現在撮像された踏切６６の画像とを比較する。そして画像処理装置は、踏切上の車６８などの異物を差分として検出すると、注意を喚起する危険アノテーション７０を車６８に関連付けて表示する。
【００４８】
本応用例によると、運転手は危険アノテーション７０によって踏切６６上の異物を早期に発見できるので、事故を防止するために有益である。
なお、標識２の軸部４を踏切警報機７２と共用してもよい。つまり踏切警報機７２の頂部に符号提示部６を設けてもよい。
【００４９】
以上、実施の形態にもとづき本発明を説明したが、実施の形態は、本発明の原理、応用を示しているにすぎないことはいうまでもなく、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が可能であることはいうまでもない。
【００５０】
第１および第２の実施の形態において、標識の符号提示部の球面に太陽電池を設け、そこで発生する電力でＬＥＤ等の自己発光素子を駆動して位置情報符号を提示してもよい。または、符号提示部をバス停の標識と共用してもよい。
【００５１】
第１および第２の実施の形態では、標識は地上に設置される場合について説明したが、これに限られない。例えば実施の形態に係る標識は海上や空中に設置されてもよい。
【００５２】
第１および第２の実施の形態では、符号提示部６が球形である場合について説明したが、これに限られない。例えば符号提示部６はラグビーボール状であってもよい。
【符号の説明】
【００５３】
２ 標識、 ４ 軸部、 ６ 符号提示部、 ８ 位置情報符号、 ２４ 標識、 ２６ 軸部、 ２８ 符号提示部、 ３０ ＱＲコード。
【技術分野】
【０００１】
本発明は、標識およびその標識を使用する標識使用方法に関する。
【背景技術】
【０００２】
画像認識技術と動体認識技術の進歩によって、今後現実世界における様々なシーンの映像が画像分析の対象となる可能性がある。そのような画像分析が使用されるものとしては例えば拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）がある。拡張現実は現実環境にコンピュータを用いて情報を付加、提示する技術である（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２１１２５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
現実世界の画像を分析する際、比較などのためにその画像が撮像された場所や時間に関する情報が必要な場合がある。これらの情報を得るためには例えば撮像装置によって画像にデジタル的に場所や時間に関する情報を付随させることが考えられる。しかしながら、まず画像ごとにそのような情報を入力するのは手間である。さらに撮像装置からいちいちそのような情報を取り出していたのでは即時性に欠ける。また、写真をスキャンして画像を得る場合などは画像以外の情報は得られないので場所や時間を同定するのは困難である。
【０００５】
本発明はこうした課題に鑑みてなされたものであり、その目的は、画像処理によって位置および方向に関する情報を提供できる標識の提供にある。
【課題を解決するための手段】
【０００６】
本発明のある態様は標識に関する。この標識は、所定箇所に設置されるべき標識であって、異なる複数の視線方向から識別可能な、当該標識の位置を示す位置表示と、異なる複数の視線方向のうちいずれの視線方向から当該標識が視認されているかを示す方向表示と、を備える。
【０００７】
この態様によると、標識が含まれる画像を分析することにより標識の位置および標識が視認されている視線方向に関する情報を得ることができる。
【０００８】
本発明の別の態様は、標識使用方法である。この方法は、標識を撮像するステップと、撮像された標識から画像認識手法を用いて位置表示をもとにその標識の位置を取得するステップと、撮像された標識から画像認識手法を用いて方向表示をもとにその標識が撮像された視線方向を取得するステップと、を含む。
【０００９】
なお、以上の構成要素の任意の組み合わせや、本発明の構成要素や表現を装置、方法、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体などの間で相互に置換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明によれば、標識の画像処理によって標識を含む画像の位置および方向に関する情報を提供できる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施の形態に係る標識を示す側面図である。
【図２】図１の球面の一例を示す部分展開図である。
【図３】第２の実施の形態に係る標識を示す斜視図である。
【図４】街路に複数の標識が配置されている様子を示す模式図である。
【図５】車両内のユーザからフロントガラス越しに見える風景の一例を示す模式図である。
【図６】車両に搭載される撮像装置および画像処理装置の機能および構成を示すブロック図である。
【図７】撮像装置および画像処理装置における一連の処理の一部を示すフローチャートである。
【図８】先頭車両のフロントガラス越しに見える風景の一例を示す模式図である。
【発明を実施するための形態】
【００１２】
以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面における部材の寸法は、理解を容易にするために適宜拡大、縮小して示される。また、各図面において実施の形態を説明する上で重要ではない部材の一部は省略して表示する。
【００１３】
（第１の実施の形態）
第１の実施の形態に係る標識は、交差点などの街路の主要な箇所に設置される。この標識が映りこんだ２次元画像を画像処理することで、標識の位置や２次元画像が撮られた視線の方向に関する情報が取得される。このように取得された位置・視線方向に関する情報は、例えば拡張現実に有効に利用される。
【００１４】
図１は、第１の実施の形態に係る標識２を示す側面図である。標識２は、軸部４と、軸部４の一端に取り付けられた符号提示部６とを備える。軸部４の他端は街路上の標識２が設置されるべき所定箇所、例えば交差点に固定される。符号提示部６は全方位から符号を視認可能な部材、この例では球体であり、その球面６ａには異なる複数の視線方向から識別可能な、標識２の位置を示す複数の位置表示と、異なる複数の視線方向のうちいずれの視線方向から標識２が視認されているかを示す方向表示と、が配置される。ここで視線方向とは、撮像装置によって標識２を撮像する際、標識２に対してその撮像装置が向いている向きである。
【００１５】
位置表示は、標識２が設置されている箇所の緯度と経度を示す情報を含む。方向表示は、標識２が視認されている視線方向の方位角または仰俯角の少なくともいずれか一方を示す情報を含む。また、同じ視点から少なくとも２つの異なる標識２を視認する場合、それぞれの視線方向の情報から例えば三角測量により標識２から視点までの距離を求めてもよい。
【００１６】
複数の位置表示は方向表示を兼ねるよう配置されている。つまり個々の位置表示は標識２の位置の情報を含む位置情報符号として球面６ａ上に表示され、方向表示は符号として表示される代わりに複数の位置情報符号の視認の態様に依存する形で定められる。
【００１７】
標識２は例えば走行中の車両に搭載された車載カメラなどの撮像装置によって撮像され、撮像された標識２の画像は撮像装置に接続された画像処理装置で処理される。この画像処理装置は位置情報符号をもとに撮像された標識２の位置を取得し、その位置情報符号の映り方から標識２が撮像された視線方向を取得する。
【００１８】
図２は、図１の球面６ａの一例を示す部分展開図である。図２では球面６ａのうち視線方向に対応する一部をメルカトル図法に倣い展開して示す。図２中で一点鎖線で囲まれた視野角外範囲１２は、撮像装置の視野に入らない範囲を示す。図２中で破線で示される上下の部分は、符号提示部６を視認する際、符号提示部６が球体であるが故に識別不可となる部分を示す。図２の例では、符号提示部６の球面６ａを緯線方向に沿って１２ブロックに分割する。
【００１９】
球面６ａには、緯線方向に沿って並ぶ白（０）黒（１）ブロックの列である位置情報符号８が、経線方向に連続して複数配置されている。位置情報符号８は、１行下がる毎に反時計回りに１ブロックずらして配置される。つまり複数の位置情報符号８は、球面６ａ上のらせんに沿って配置される。
位置情報符号８は所定の長さを有する。この所定の長さは撮像装置が標識２を視認したときの視野角に位置情報符号８が過不足無く入るように設定される。図２の例は、視野角１８０度弱に６ブロックの位置情報符号８が過不足無く入る場合に対応する。
【００２０】
位置情報符号８を、白ブロックを０、黒ブロックを１（もしくはその反対）としてデジタル化した符号はいわゆるハミング符号を形成する。撮像装置によって撮像された標識２の画像を処理する画像処理装置は、標識２の画像からこのハミング符号を抽出してエラー検出・訂正し、それに含まれる位置情報を取得する。
【００２１】
図２で斜線が付されていない視野角範囲１０は撮像装置の視野に入る範囲を示す。図２の状態では上からＸ行目１４に含まれる位置情報符号８はエラー訂正なしで読み取り可能である。また、Ｘ＋１行目１６に含まれる位置情報符号８はエラー訂正ありで読み取り可能である。また、Ｘ＋２行目１８から下の位置情報符号８は識別不能となる。
【００２２】
ここで撮像装置（視点）が移動して方位角が変化し、視野角範囲１０が図２の状態から右に１ブロック分移動したとする。するとＸ行目１４に含まれる位置情報符号８はエラー訂正ありで読み取り可能となり、Ｘ＋１行目１６に含まれる位置情報符号８はエラー訂正なしで読み取り可能となる。したがって、このことをもって方位角が３６０度／１２＝３０度だけ最初の状態から相対的に変化したことを識別できる。
【００２３】
経線方向で撮像装置の視野に入る行数（図２の例では５行）よりも短い周期で位置情報符号８に絶対的な方位に関する基準情報、例えば方位角そのものを含めてもよい。この場合、相対的な方位角だけでなくその相対的な方位角および基準情報から絶対的な方位角も識別可能となる。また、全ての位置情報符号８にそのような情報を含めるわけではないので、球面６ａ上に提示する情報量を少なく保つことができる。
【００２４】
仰俯角については、図２に実線で示されるような識別可能な部分が符号提示部６の全体像のうち上または下からどれほどの距離にあるかという情報から判別される。言い換えると、符号提示部６が球体であることにより、撮像装置によって撮像された符号提示部６の画像の上部または下部の少なくともいずれか一方に識別不可な部分が生じるということを利用して仰俯角を識別する。
あるいはまた、位置情報符号８が対応する仰俯角情報を含んでもよい。
【００２５】
本実施の形態に係る標識２によると、標識２が撮像された画像から標識２の位置情報および視線方向を抽出することによって、標識２の位置および標識２が撮像された位置・視線方向を高い精度で取得できる。したがって標識２が映る画像内の他の物体の基点や同一性をより高い精度で識別可能となる。取得されたそれらの情報は、例えば拡張現実において標識２周辺の建物等にアノテーションを提示する際に好適に使用される。また、後述する応用例にも見られる通り、それらの情報は様々な場面で有益に使用される。
【００２６】
標識２は、標識２が設置されるべき箇所に対応付けられた付加情報の表示をさらに備えてもよい。付加情報とは例えば、標識２が設置されるべき箇所の近隣にある商業施設の名称やその商業施設で行われているイベントの情報などの広告情報である。この場合、標識２は街路に設置される看板や広告を兼ねてもよい。つまり看板や広告に上記の位置表示および方向表示、付加情報を埋め込んでもよい。
また、付加情報とは例えば標識２が設置されている地域の交通事故発生率などのその地域に関する情報であってもよい。
【００２７】
また、標識２は時刻表示をさらに備えてもよい。この場合、標識２を液晶ディスプレイやＬＥＤなどの表示装置で実現する。そしてその表示装置に位置表示と方向表示と時刻表示とを表示させる。これにより、標識２の画像分析によって位置・方向だけでなく時刻情報も抽出できる。時刻情報が分かると、例えばこの時刻情報をキーとしてある標識２をある時刻に別々の視線方向から撮像した画像を集めることができるようになる。
なお、標識２が時刻表示を含まなくてもまたは標識２の時刻表示によらなくても、ある標識２を別々の視線方向から撮像した画像を集めることができる。
【００２８】
また、Ｇｏｏｇｌｅ（登録商標）などの検索エンジンが、標識２が含まれる画像の場所を標識２の位置表示から特定し、特定された場所を基にインデックスを作成してもよい。このように本実施の形態に係る標識２は、現実世界に設けられる、仮想世界のためのアンカーとして機能する。
【００２９】
（第２の実施の形態）
図３は、第２の実施の形態に係る標識２４を示す斜視図である。標識２４は、軸部２６と、軸部２６の一端に取り付けられた符号提示部２８と、を備える。軸部２６の他端は街路上の標識２４が設置されるべき箇所に固定される。符号提示部２８は球形の部材であり、その球面２８ａには各視線方向に対応するＱＲコード（登録商標）３０がプリントされている。
【００３０】
ＱＲコード３０は、標識２４が設置されている位置に関する位置情報と、標識２４が視認されている視線方向に関する方向情報と、を含む表示である。カメラなどの撮像装置が標識２４を撮像し、画像処理装置は撮像された画像を処理することでＱＲコード３０を認識、解読し、両情報を抽出する。
【００３１】
第２の実施の形態に係る標識２４によると、第１の実施の形態に係る標識２と同様の作用効果を得ることができる。
【００３２】
以下第１の実施の形態に係る標識２を用いた応用例を２つ説明する。
（応用例１）
図４は、街路に複数の標識２が配置されている様子を示す模式図である。以降の図では説明を簡単にするため、球面６ａ上の位置情報符号８は省略して表示する。ユーザは、撮像装置およびそれに接続された画像処理装置（図４では両者とも不図示）を備える車両３２を運転している。この撮像装置が街路上の標識２を撮像し、画像処理装置がその画像から位置・視線方向の情報を抽出する。画像処理装置は、抽出された位置・視線方向をキーとして標識２周辺の建物・商業施設の名称をデータベースから取得し、車両３２のフロントガラスに名称アノテーションとして提示する。また、標識２に対応付けられた広告などの付加情報が標識２から抽出されると、それを標識２と対応付けてフロントガラスに広告アノテーションとして提示する。
【００３３】
図５は、車両３２内のユーザからフロントガラス３４越しに見える風景の一例を示す模式図である。フロントガラス３４はシースルーでありながら任意の必要な箇所にアノテーションを提示できるように構成される。このようなフロントガラス３４は、例えば公知の有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）技術を用いて構成される。
【００３４】
車両３２に搭載された撮像装置による標識２の撮像および画像処理装置によるその画像処理の結果、フロントガラス３４には位置アノテーション３６と、名称アノテーション３８と、広告アノテーション４０と、が提示される。位置アノテーション３６は、標識２が設置されている地図上の位置を示す。名称アノテーション３８は、標識２の画像から取得された位置・視線方向にて定まる視野空間内の建物・商業施設の名称を示す。広告アノテーション４０は、標識２が広告情報の表示を含む場合、その広告を位置アノテーション３６に関連付けて示す。
【００３５】
図６は、車両３２に搭載される撮像装置４２および画像処理装置４４の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウェア的には、コンピュータのＣＰＵ（central processing unit）をはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解されるところである。
【００３６】
撮像装置４２は、例えばデジタルカメラであり、標識２の画像を撮像する。画像処理装置４４は、画像取得部４６と、情報抽出部４８と、補助情報取得部５０と、補助情報ＤＢ（Ｄａｔａ Ｂａｓｅ：データベース）５２と、広告取得部５４と、広告ＤＢ５６と、画像更新部５８と、画像ライブラリ６０と、表示制御部６２と、を含む。
【００３７】
画像取得部４６は、撮像装置４２によって撮像された画像を取得する。情報抽出部４８は、画像取得部４６によって取得された標識２の画像から、公知の画像認識手法を用いて位置情報符号８をもとにその標識２の位置を抽出する。また情報抽出部４８は、標識２の画像から複数の位置情報符号８の視認の態様に依存する形で定められる方向表示をもとに標識２が撮像された視線方向を抽出する。この視線方向の抽出については、例えば図２に関連して説明された手法が用いられる。情報抽出部４８は抽出された位置情報および視線方向の情報を、補助情報取得部５０と、画像更新部５８と、表示制御部６２と、に渡す。表示制御部６２は、渡された位置情報を位置アノテーション３６として標識２と関連付けてフロントガラス３４に提示する。
【００３８】
また情報抽出部４８は、標識２が広告情報の表示を含む場合、それを抽出して表示制御部６２に渡す。表示制御部６２はその広告情報を広告アノテーション４０としてフロントガラス３４に提示する。
【００３９】
補助情報取得部５０は、渡された位置情報および視線方向の情報をキーとして補助情報ＤＢ５２を検索し、その位置および視線方向にて定まる視野空間内の環境に関連する補助情報、特にその視野空間内の建物・商業施設の名称を示す名称補助情報を取得する。補助情報取得部５０は取得された名称補助情報を表示制御部６２に渡す。表示制御部６２は、渡された名称補助情報を名称アノテーション３８として対象の建物・商業施設と関連付けてフロントガラス３４に提示する。
【００４０】
なお広告に関して、情報抽出部４８が位置情報および視線方向の情報を広告取得部５４に渡し、広告取得部５４が渡された位置情報および視線方向の情報をキーとして広告ＤＢ５６を検索し、その位置および視線方向にて定まる視野空間内の商業施設に関連する広告補助情報を取得してもよい。広告取得部５４はこの広告補助情報を表示制御部６２に渡し、表示制御部６２はこの広告補助情報を広告アノテーション４０としてフロントガラス３４に提示してもよい。この場合、広告ＤＢ５６のデータを書き換えることにより容易に広告の更新ができる。
【００４１】
また、情報抽出部４８において抽出された位置情報および視線方向の情報は、現実世界の画像を更新するのにも好適に使用される。画像更新部５８は、渡された位置情報および視線方向の情報をキーとして画像ライブラリ６０を検索し、その位置および視線方向で定まる過去の画像を取得する。そして画像更新部５８は、その過去の画像と画像取得部４６が取得した現在の画像とを比較し、差分があれば過去の画像を画像取得部４６が取得した現在の画像で更新する。この場合、建物の立て替えや区画整理などで風景が変わったとしてもその画像を自動的に更新できる。
【００４２】
また、撮像装置４２から動画データが送られてくる場合は、情報抽出部４８は動画データを構成する一連の画像から、標識２が人間などの動く物体によって隠されて見えなくなっている画像を抽出する機能を有してもよい。これにより、標識２が人間などの動く物体によって隠される場合にも対応できる。
【００４３】
図７は、撮像装置４２および画像処理装置４４における一連の処理の一部を示すフローチャートである。撮像装置４２は、標識２を撮像する（Ｓ２０２）。情報抽出部４８は、撮像された標識２から画像認識手法を用いて位置表示をもとにその標識２の位置を取得する（Ｓ２０４）。情報抽出部４８は、撮像された標識２から画像認識手法を用いて方向表示をもとにその標識２が撮像された視線方向を取得する（Ｓ２０６）。補助情報取得部５０は、取得された位置および視線方向にて定まる視野空間内の環境に関連する補助情報を取得する（Ｓ２０８）。表示制御部６２は、取得された補助情報を視野空間内に仮想的に反映してユーザに提示する（Ｓ２１０）。
【００４４】
本応用例によると、拡張現実において標識２をアンカーとして視野空間内の現実環境に関する補助情報をより容易かつ正確にユーザに提供できる。また、広告などの付加情報も提示できる。
【００４５】
なお、画像取得部４６は撮像装置４２で撮像されたデジタルデータとしての画像の代わりに、アナログ技術を利用した他の撮像装置、例えば写真機によって撮られた写真をスキャンして得られる画像データを取得してもよい。
【００４６】
（応用例２）
応用例２では、線路に沿った所定箇所、例えば踏切に標識２を設置する。線路を走る列車の先頭車両は撮像装置およびそれに接続された画像処理装置を備える。図８は、先頭車両のフロントガラス６４越しに見える風景の一例を示す模式図である。フロントガラス６４は、応用例１のフロントガラス３４と同様に構成される。
【００４７】
列車が踏切６６に差し掛かったとする。踏切６６には標識２が設置されている。撮像装置はその標識２を撮像し、画像処理装置はその画像から位置・視線方向の情報を抽出する。画像処理装置は、抽出された位置・視線方向をキーとして画像ＤＢを検索し、踏切６６の安全な状態の通常画像を抽出する。画像処理装置は、この抽出された通常画像と撮像装置によって現在撮像された踏切６６の画像とを比較する。そして画像処理装置は、踏切上の車６８などの異物を差分として検出すると、注意を喚起する危険アノテーション７０を車６８に関連付けて表示する。
【００４８】
本応用例によると、運転手は危険アノテーション７０によって踏切６６上の異物を早期に発見できるので、事故を防止するために有益である。
なお、標識２の軸部４を踏切警報機７２と共用してもよい。つまり踏切警報機７２の頂部に符号提示部６を設けてもよい。
【００４９】
以上、実施の形態にもとづき本発明を説明したが、実施の形態は、本発明の原理、応用を示しているにすぎないことはいうまでもなく、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が可能であることはいうまでもない。
【００５０】
第１および第２の実施の形態において、標識の符号提示部の球面に太陽電池を設け、そこで発生する電力でＬＥＤ等の自己発光素子を駆動して位置情報符号を提示してもよい。または、符号提示部をバス停の標識と共用してもよい。
【００５１】
第１および第２の実施の形態では、標識は地上に設置される場合について説明したが、これに限られない。例えば実施の形態に係る標識は海上や空中に設置されてもよい。
【００５２】
第１および第２の実施の形態では、符号提示部６が球形である場合について説明したが、これに限られない。例えば符号提示部６はラグビーボール状であってもよい。
【符号の説明】
【００５３】
２ 標識、 ４ 軸部、 ６ 符号提示部、 ８ 位置情報符号、 ２４ 標識、 ２６ 軸部、 ２８ 符号提示部、 ３０ ＱＲコード。
【特許請求の範囲】
【請求項１】
所定箇所に設置されるべき標識であって、
異なる複数の視線方向から識別可能な、当該標識の位置を示す位置表示と、
前記異なる複数の視線方向のうちいずれの視線方向から当該標識が視認されているかを示す方向表示と、を備えることを特徴とする標識。
【請求項２】
前記位置表示を複数備え、
複数の前記位置表示は前記方向表示を兼ねるよう配置されていることを特徴とする請求項１に記載の標識。
【請求項３】
前記方向表示は複数の前記位置表示の視認の態様に依存する形で定められることを特徴とする請求項２に記載の標識。
【請求項４】
前記標識が設置されるべき箇所に対応付けられた付加情報の表示をさらに備えることを特徴とする請求項１から３のいずれかに記載の標識。
【請求項５】
時刻表示をさらに備えることを特徴とする請求項１から４のいずれかに記載の標識。
【請求項６】
請求項１から５のいずれかに記載の標識を撮像するステップと、
撮像された標識から画像認識手法を用いて前記位置表示をもとにその標識の位置を取得するステップと、
撮像された標識から画像認識手法を用いて前記方向表示をもとにその標識が撮像された視線方向を取得するステップと、を含むことを特徴とする標識使用方法。
【請求項７】
取得された位置および視線方向にて定まる視野空間内の環境に関連する補助情報を取得するステップと、
取得された補助情報を前記視野空間内に仮想的に反映してユーザに提示するステップと、をさらに含むことを特徴とする請求項６に記載の標識使用方法。
【請求項８】
取得された位置および視線方向を使用して、標識を別々の視線方向から撮像した画像を集めるステップをさらに含むことを特徴とする請求項６または７に記載の標識使用方法。
【請求項９】
取得された位置から標識が含まれる画像の場所を特定し、特定された場所を基に検索エンジンにおけるインデックスを作成するステップをさらに含むことを特徴とする請求項６から８のいずれかに記載の標識使用方法。
【請求項１０】
請求項１から５のいずれかに記載の標識を撮像する機能と、
撮像された標識から画像認識手法を用いて前記位置表示をもとにその標識の位置を取得する機能と、
撮像された標識から画像認識手法を用いて前記方向表示をもとにその標識が撮像された視線方向を取得する機能と、をコンピュータに実現させることを特徴とするコンピュータプログラム。
【請求項１】
所定箇所に設置されるべき標識であって、
異なる複数の視線方向から識別可能な、当該標識の位置を示す位置表示と、
前記異なる複数の視線方向のうちいずれの視線方向から当該標識が視認されているかを示す方向表示と、を備えることを特徴とする標識。
【請求項２】
前記位置表示を複数備え、
複数の前記位置表示は前記方向表示を兼ねるよう配置されていることを特徴とする請求項１に記載の標識。
【請求項３】
前記方向表示は複数の前記位置表示の視認の態様に依存する形で定められることを特徴とする請求項２に記載の標識。
【請求項４】
前記標識が設置されるべき箇所に対応付けられた付加情報の表示をさらに備えることを特徴とする請求項１から３のいずれかに記載の標識。
【請求項５】
時刻表示をさらに備えることを特徴とする請求項１から４のいずれかに記載の標識。
【請求項６】
請求項１から５のいずれかに記載の標識を撮像するステップと、
撮像された標識から画像認識手法を用いて前記位置表示をもとにその標識の位置を取得するステップと、
撮像された標識から画像認識手法を用いて前記方向表示をもとにその標識が撮像された視線方向を取得するステップと、を含むことを特徴とする標識使用方法。
【請求項７】
取得された位置および視線方向にて定まる視野空間内の環境に関連する補助情報を取得するステップと、
取得された補助情報を前記視野空間内に仮想的に反映してユーザに提示するステップと、をさらに含むことを特徴とする請求項６に記載の標識使用方法。
【請求項８】
取得された位置および視線方向を使用して、標識を別々の視線方向から撮像した画像を集めるステップをさらに含むことを特徴とする請求項６または７に記載の標識使用方法。
【請求項９】
取得された位置から標識が含まれる画像の場所を特定し、特定された場所を基に検索エンジンにおけるインデックスを作成するステップをさらに含むことを特徴とする請求項６から８のいずれかに記載の標識使用方法。
【請求項１０】
請求項１から５のいずれかに記載の標識を撮像する機能と、
撮像された標識から画像認識手法を用いて前記位置表示をもとにその標識の位置を取得する機能と、
撮像された標識から画像認識手法を用いて前記方向表示をもとにその標識が撮像された視線方向を取得する機能と、をコンピュータに実現させることを特徴とするコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−１０７７４０（Ｐ２０１１−１０７７４０Ａ）
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願番号】特願２００９−２５８７９３（Ｐ２００９−２５８７９３）
【出願日】平成２１年１１月１２日（２００９．１１．１２）
【出願人】（０００１５５４６９）株式会社野村総合研究所 (1,067)
【Ｆターム（参考）】
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願日】平成２１年１１月１２日（２００９．１１．１２）
【出願人】（０００１５５４６９）株式会社野村総合研究所 (1,067)
【Ｆターム（参考）】
[ Back to top ]