表示装置及び制御方法
【課題】対象物と関連情報との対応を容易に認識させることが可能な表示装置を提供する。
【解決手段】表示装置は、撮影画像取得手段と、対象物特定手段と、関連情報取得手段と、特徴情報抽出手段と、表示部と、表示制御手段と、を備える。撮影画像取得手段は、カメラ等により生成された撮影画像を取得する。対象物特定手段は、撮影画像内の対象物を特定する。関連情報取得手段は、特定した対象物に関する関連情報を取得する。特徴情報抽出手段は、撮影画像に基づいて対象物の特徴情報を抽出する。表示制御手段は、抽出した特徴情報に基づいて、関連情報の表示態様を決定する。
【解決手段】表示装置は、撮影画像取得手段と、対象物特定手段と、関連情報取得手段と、特徴情報抽出手段と、表示部と、表示制御手段と、を備える。撮影画像取得手段は、カメラ等により生成された撮影画像を取得する。対象物特定手段は、撮影画像内の対象物を特定する。関連情報取得手段は、特定した対象物に関する関連情報を取得する。特徴情報抽出手段は、撮影画像に基づいて対象物の特徴情報を抽出する。表示制御手段は、抽出した特徴情報に基づいて、関連情報の表示態様を決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像に基づき対象物の情報を表示する技術に関する。
【背景技術】
【０００２】
従来から、撮像画像を表示手段によってリアルタイムで観察している位置（現在地）と、その位置からの方位や角度などから得た対象物の位置とから、データベースを検索することによってその対象物を特定し、その特定された対象物についての情報（以後、「関連情報」とも呼ぶ。）を表示手段に表示させる技術が存在する。例えば、特許文献１には、撮影画像を表示手段に表示させ、画面中の対象物を画像認識し、その対象物の近傍にその関連情報を表示する技術が開示されている。さらに、特許文献１には、同種の対象物が密集している場合は、その関連情報の表示態様を簡略化する技術が開示されている。その他、本発明に関連する技術が、特許文献２及び特許文献３に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−００９１９２号公報
【特許文献２】特開２００８−２１６３０９号公報
【特許文献３】特開２０１０−０６６５９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
異なる種類の対象物が密集して存在する場合、全ての対象物に対応する関連情報をその近傍に表示すると、どの関連情報がどの対象物に対応するかユーザがわかりにくくなる。また、表示スペース等の関係上、関連情報を対象物から離れた位置に表示せざるを得ない場合には、これらの対応がわかりにくくなる。
【０００５】
本発明は、上記のような課題を解決するためになされたものであり、対象物と関連情報との対応を容易に認識させることが可能な表示装置を提供することを主な目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明は、撮影画像を取得する撮影画像取得手段と、前記撮影画像内の対象物を特定する対象物特定手段と、前記対象物に関する関連情報を取得する関連情報取得手段と、前記撮影画像に基づいて前記対象物の形状を認識する特徴情報認識手段と、前記対象物に関する関連情報を前記対象物と関連付けて表示手段に表示させる表示制御手段と、を有し、前記表示制御手段は、前記対象物の形状に基づいて、前記関連情報を表示させる際のフォントを決定することを特徴とする。
【０００７】
請求項７に記載の発明は、撮像部と、制御部と、表示部とを備える表示装置により実行される制御方法であって、前記撮像部が撮影画像を取得する撮影画像取得工程と、前記制御部が前記撮影画像内の対象物を特定する対象物特定工程と、前記制御部が前記対象物に関する関連情報を取得する関連情報取得工程と、前記制御部が前記撮影画像に基づいて前記対象物の形状を認識する特徴情報認識工程と、前記制御部が前記対象物に関する関連情報を前記対象物と関連付けて前記表示部に表示させる表示制御工程と、を有し、前記表示制御工程は、前記対象物の形状に基づいて、前記関連情報を表示させる際のフォントを決定することを特徴とする。
【図面の簡単な説明】
【０００８】
【図１】本実施例に係る表示装置のブロック構成図の一例である。
【図２】データベースに登録された情報の概要を示す図である。
【図３】（ａ）は、通常時映像の一例を示す。（ｂ）は、制御時映像の一例を示す。
【図４】（ａ）は、Ａさん及びＢさんに文字情報が登録されていた場合の制御時映像を示す。（ｂ）は、ＡさんとＢさんが所定距離以内に近接し、かつ、表示色が同一色である場合の制御時映像を示す。
【図５】本実施例の処理手順を示すフローチャートの一例である。
【発明を実施するための形態】
【０００９】
本発明の好適な実施形態によれば、表示装置は、撮影画像を取得する撮影画像取得手段と、前記撮影画像内の対象物を特定する対象物特定手段と、前記対象物に関する関連情報を取得する関連情報取得手段と、前記撮影画像に基づいて前記対象物の特徴情報を抽出する特徴情報抽出手段と、前記関連情報を表示する表示部と、前記特徴情報に基づいて、前記関連情報の表示態様を決定する表示制御手段と、を備える。
【００１０】
上記の表示装置は、撮影画像取得手段と、対象物特定手段と、関連情報取得手段と、特徴情報抽出手段と、表示部と、表示制御手段と、を備える。撮影画像取得手段は、カメラ等により生成された撮影画像を取得する。対象物特定手段は、撮影画像内の対象物を特定する。ここで、「対象物」は、人、施設、車など特定種類の物又は人であり、関連情報の表示対象となるものである。関連情報取得手段は、特定した対象物に関する関連情報を取得する。特徴情報抽出手段は、撮影画像に基づいて対象物の特徴情報を抽出する。表示制御手段は、抽出した特徴情報に基づいて、関連情報の表示態様を決定する。このように、表示装置は、撮影画像中の対象物の特徴情報に基づき、関連情報の表示態様を決定することで、対象物と関連情報との対応を明確にして、表示部に関連情報を表示することができる。
【００１１】
上記の表示装置の一態様では、前記特徴情報は、前記対象物の色に関する情報であり、前記表示制御手段は、当該特徴情報に基づいて、前記関連情報の表示色を決定する。このようにすることで、表示装置は、対象物と関連情報との対応を明確にすることができる。
【００１２】
上記の表示装置の他の一態様では、前記特徴情報は、前記対象物の形状に関する情報であり、前記表示制御手段は、当該特徴情報に基づいて、前記関連情報の形状を決定する。ここで、「形状」とは、大きさの概念も含むものとする。この態様によっても、表示装置は、対象物と関連情報との対応を明確にすることができる。
【００１３】
上記の表示装置の他の一態様では、前記特徴情報抽出手段は、前記撮影画像に基づいて前記対象物に特徴的な特徴色を複数抽出し、前記表示制御手段は、前記関連情報を、当該関連情報の表示位置の背景色と異なる特徴色で前記表示部に表示させる。このようにすることで、表示装置は、関連情報が対象物周辺の背景に起因して見えにくくなるのを抑制することができる。
【００１４】
上記の表示装置の他の一態様では、前記表示制御手段は、前記特徴情報抽出手段が、関連情報の表示位置の背景色と異なる特徴色を抽出できない場合、前記関連情報の表示位置を、当該関連情報の表示色と前記背景色とが異なる位置に変更する。この態様によっても、表示装置は、関連情報が背景に起因して見えにくくなるのを抑制することができる。
【００１５】
上記の表示装置の他の一態様では、前記表示制御手段は、前記対象物が互いに近接し、かつ当該対象物の関連情報の表示態様が同一又は近似している場合、当該関連情報の表示位置を、他方の前記対象物が存在する位置に基づき決定する。ここで、「表示態様が同一又は近似する」とは、例えば、関連情報を表示色又は／及び形状に基づき予め定めた種類のいずれかに分類した場合に、同一の種類に属することを指す。この態様により、表示装置は、対象物と関連情報との対応に誤認が生じるのを抑制することができる。
【００１６】
上記の表示装置の他の一態様では、前記特徴情報抽出手段は、前記撮影画像に基づいて前記対象物に特徴的な特徴色を複数抽出し、前記表示制御手段は、前記対象物が互いに近接し、かつ当該対象物の関連情報の表示色が同一又は近似している場合、少なくとも一方の前記関連情報の表示色を他の特徴色に変更する。この態様によっても、表示装置は、対象物と関連情報との対応に誤認が生じるのを抑制することができる。
【００１７】
上記の表示装置の他の一態様では、前記表示部は、ヘッドアップディスプレイ、ヘッドマウントディスプレイ、又は前記撮影画像を表示するディスプレイである。
【００１８】
本発明の他の実施形態によれば、表示装置により実行される制御方法であって、撮影画像を取得する撮影画像取得工程と、前記撮影画像内の対象物を特定する対象物特定工程と、前記対象物に関する関連情報を取得する関連情報取得工程と、前記撮影画像に基づいて前記対象物の特徴情報を抽出する特徴情報抽出工程と、前記特徴情報に基づいて、前記関連情報の表示態様を決定する表示制御工程と、を備える。表示装置は、この制御方法を実行することで、対象物と関連情報との対応を明確にして、関連情報を表示することができる。
【００１９】
本発明の他の実施形態によれば、表示装置により実行されるプログラムであって、撮影画像を取得する撮影画像取得手段、前記撮影画像内の対象物を特定する対象物特定手段、前記対象物に関する関連情報を取得する関連情報取得手段、前記撮影画像に基づいて前記対象物の特徴情報を抽出する特徴情報抽出手段、前記特徴情報に基づいて、前記関連情報の表示態様を決定する表示制御手段、として前記表示装置を機能させる。表示装置は、このプログラムを搭載し実行することで、対象物と関連情報との対応を明確にして、関連情報を表示することができる。なお、好適には、上記のプログラムは記憶媒体に記憶される。
【実施例】
【００２０】
以下、図面を参照して本発明の好適な実施例について説明する。
【００２１】
［概略構成図］
図１は、本発明における表示装置の一例である表示装置１の概略構成図の一例を示す。表示装置１は、車両の乗員に対し情報を表示するための装着型表示装置（ヘッドマウントディスプレイ）である。表示装置１は、各端末から送信される位置情報等を管理するサーバ装置８と通信可能である。表示装置１は、現在位置情報取得部２と、向き情報取得部３と、撮像部４と、制御部５と、表示部６と、を備える。後述するように、表示装置１は、撮影画像中に撮影された人、施設等に名称等の関連情報を生成し、その表示を行う。
【００２２】
現在位置情報取得部２は、例えばＧＰＳ受信機であり、複数のＧＰＳ衛星等から受信した緯度及び経度情報等から表示装置１の絶対的な位置（現在位置）を検出する。そして、現在位置情報取得部２は、取得した現在位置の情報（「現在位置情報Ｉｐ」とも呼ぶ。）を制御部５へ一定又は不定の周期で送信する。
【００２３】
向き情報取得部３は、例えば、電子コンパスや６軸センサであり、撮像部４が撮影を行う向きを検出する。向き情報取得部３は、検出した向きの情報（「向き情報Ｉｄ」とも呼ぶ。）を制御部５へ一定又は不定の周期で送信する。
【００２４】
撮像部４は、撮像素子に入射する光に基づき撮影した画像（単に「撮影画像Ｉｆ」とも呼ぶ。）を生成する。撮像部４は、ユーザが表示装置１を装着した場合に、ユーザの視野と略一致する撮影範囲を有する。撮像部４は、生成した撮影画像Ｉｆを制御部５へ送信する。
【００２５】
制御部５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含んでおり、表示装置１全体の制御を行う。制御部５は、後述する対象物特定部５１と、表示決定部５２と、を備える。そして、制御部５は、後述するように、本発明における「撮影画像取得手段」、「対象物特定手段」、「関連情報取得手段」、「特徴情報抽出手段」、「表示制御手段」として機能する。
【００２６】
表示部６は、関連情報を表示する。表示部６は、例えば、プロジェクタと、コンバイナとを有する。プロジェクタは、例えば、光源や液晶パネルを有しており、表示決定部５２から入力された関連情報に対応する画像データに基づいて光源や液晶パネルを駆動し、当該画像データに対応した光線をコンバイナに照射する。コンバイナは、例えば、ハーフミラーやホログラフィック光学素子（ＨＯＥ：Ｈｏｌｏｇｒａｐｈｉｃ Ｏｐｔｉｃａｌ Ｅｌｅｍｅｎｔ）により構成され、外光の一部分を透過すると共に、プロジェクタにより照射される光線を反射する。この結果、コンバイナを透過した外光の一部とプロジェクタによって照射された光線の反射光とがコンバイナにおいて結合されてユーザに視認される。
【００２７】
次に、制御部５が備える対象物特定部５１及び表示決定部５２が実行する処理について具体的に説明する。
【００２８】
対象物特定部５１は、撮影画像Ｉｆから、関連情報を表示部６に表示すべき対象物（「表示対象物」とも呼ぶ。）を特定する。ここでは、表示対象物は、人、施設、及び車であるとする。具体的には、対象物特定部５１は、例えば撮影画像Ｉｆと表示対象物である人、施設、及び車のテンプレート画像等とを比較することで、撮影画像Ｉｆから表示対象物と判断される領域（「表示対象物領域Ｔ」とも呼ぶ。）を特定する。そして、対象物特定部５１は、現在位置情報Ｉｐ及び向き情報Ｉｄに加え、表示対象物領域Ｔの撮影画像Ｉｆに占める位置に基づき、各表示対象物の実際の位置を推定する。以後では、対象物特定部５１が推定した各表示対象物の位置情報を、「推定位置情報Ｉｅ」とも呼ぶ。
【００２９】
表示決定部５２は、推定位置情報Ｉｅと、撮影画像Ｉｆとに基づき、サーバ装置８が有するデータベース１０を参照して、関連情報と、その表示態様と、その表示位置とを決定する。このように、表示決定部５２は、表示内容決定部５２１と、表示態様決定部５２２と、表示位置決定部５２３と、を備える。
【００３０】
まず、表示内容決定部５２１が実行する処理について説明する。概略的には、表示内容決定部５２１は、推定位置情報Ｉｅに基づき、サーバ装置８が有するデータベース１０を参照することで、各表示対象物に付すべき関連情報を決定する。
【００３１】
ここで、データベース１０の具体的内容について、図２を参照して説明する。図２は、データベース１０が保持する情報の概要を示す図である。図２に示すように、データベース１０は、表示装置１を使用するユーザの情報である「ユーザ情報」と、表示対象物の情報である「表示対象物情報」と、を記憶している。
【００３２】
ユーザ情報は、現在位置情報Ｉｐと、向き情報Ｉｄとを含む。これらの情報は、一定又は不定の周期で、表示装置１からアップロードされ、更新される。
【００３３】
表示対象物情報は、表示対象物の種別である人、施設、車ごとに分けられる。ここで、表示対象物の種別が人である場合、図２に示すように、名前、現在位置情報Ｉｐ、及び文字情報が記憶される。ここで、「文字情報」とは、関連情報やその表示態様等を指定する情報である。名前及び文字情報は、例えば予め登録され、現在位置情報Ｉｐは、当該対象となる人が使用するＧＰＳ機能付きの携帯端末などから一定又は不定の周期でアップロードされ、更新される。
【００３４】
次に、表示対象物の種別が施設の場合、主に、施設の名称、位置情報、施設の形状に関する情報、及び文字情報がデータベース１０に記憶される。これらの情報は、例えば予めデータベース１０に登録される。そして、表示対象物の種別が車の場合、主に、車種の情報、ドライバーの情報、現在位置情報Ｉｐ、形状に関する情報、及び文字情報がデータベース１０に記憶される。これらの情報のうち、現在位置情報Ｉｐは、車両から一定又は不定の周期でアップロードされ、更新され、他の情報は、例えば予めデータベース１０に登録される。
【００３５】
ここで、再び図１を参照し、表示内容決定部５２１が実行する処理について具体的に説明する。表示内容決定部５２１は、データベース１０から、推定位置情報Ｉｅと一致又は一致すると見なすことができる誤差の範囲にある現在位置情報Ｉｐ又は位置情報を有する表示対象物を検索する。上述の範囲は、例えば実験等に基づき予め定められる。そして、表示内容決定部５２１は、推定位置情報Ｉｅと一致又は略一致した現在位置情報Ｉｐ又は位置情報を有する表示対象物をデータベース１０上で特定した場合、当該表示対象物の名前又は文字情報等に基づき関連情報を定める。具体的には、表示対象物が人の場合には、表示内容決定部５２１は、関連情報をデータベース１０に登録された名前、又は文字情報で指定された立場、役割、愛称等に定める。また、表示内容決定部５２１は、表示対象物が施設の場合には、関連情報をデータベース１０に登録された名称、又は文字情報で指定された略称等に定め、表示対象物が車の場合には、関連情報を、車種、ドライバー、又は文字情報で指定された名称等に定める。
【００３６】
次に、表示態様決定部５２２が実行する処理について説明する。表示態様決定部５２２は、各表示対象物の表示対象物領域Ｔの色情報に基づき、表示内容決定部５２１が決定した関連情報を表示する色（単に「表示色」とも呼ぶ。）を決定する。ここで、上述の色情報は、本発明における「特徴情報」の一例である。
【００３７】
具体的には、表示態様決定部５２２は、各表示対象物に対応する表示対象物領域Ｔで最も特徴的な色（「第１特徴色」とも呼ぶ。）を抽出する。例えば、表示態様決定部５２２は、表示対象物領域Ｔの各画素を予め定めた種類の色のいずれかに分類した場合に、表示対象物領域Ｔの全画素中で所定比率以上を占め、かつ、最も大きい比率を占める色を特徴色に定める。上述の所定比率は、例えば実験等に基づき特徴的であると見なされる比率に予め定められる。そして、表示態様決定部５２２は、第１特徴色が存在する場合には、当該第１特徴色を表示色に定め、第１特徴色が存在しない場合には、予め定めた基本色を表示色に定める。基本色は、例えば黒又は蛍光緑などである。
【００３８】
また、表示態様決定部５２２は、第１特徴色が、関連情報を表示する部分の背景の色（単位、「背景色」とも呼ぶ。）と同一又は近似しているか否か撮影画像Ｉｆに基づき判定し、当該背景色と同一又は近似していると判断した場合には、表示対象物領域Ｔで第１特徴色の次に特徴的な色（「第２特徴色」とも呼ぶ。）を表示色に定める。例えば、表示態様決定部５２２は、表示対象物領域Ｔの位置から関連情報の表示位置を特定し、当該表示位置と重なる撮影画像Ｉｆの画素が示す色と、第１特徴色とが一致又は近似すると判断した場合には、関連情報の表示色を第２特徴色に定める。ここで、「表示位置と重なる撮影画像Ｉｆの画素が示す色」とは、例えば、該当する画素の画素値の平均等が示す色であってもよく、該当する画素のうち代表の一つの画素値が示す色であってもよい。また、表示態様決定部５２２は、例えば、第１特徴色と背景色とを所定の方式に従い数値化し、これらの値が所定差以内の場合に、これらの色が一致又は近似すると判断する。以後では、第１特徴色と第２特徴色とを特に区別しない場合、単にこれらを「特徴色」と総称する。
【００３９】
次に、表示位置決定部５２３が実行する処理について説明する。表示位置決定部５２３は、２つの表示対象物が互いに近接し、かつ、これらに付される関連情報の表示態様が同一又は近似していると判断した場合には、各関連情報の表示位置を、他方の表示対象物の位置に基づき定める。具体的には、表示位置決定部５２３は、この場合、各関連情報の表示位置を、一方の表示対象物の位置を基準として、他方の表示対象物と反対側の位置（以後、「対角位置」とも呼ぶ。）に配置する。例えば、表示位置決定部５２３は、撮影画像Ｉｆに基づき、人、施設等のカテゴリが同一の表示対象物の表示対象物領域Ｔが所定距離以内に近接し、かつ、これらの表示色が一致又は近似する場合、これらの各関連情報を対角位置に配置する。これにより、表示位置決定部５２３は、２つの表示対象物が互いに近接し、かつ、これらに付される関連情報の表示態様が同一又は近似している場合であっても、ユーザに誤認を生じさせることなく、各表示対象物の関連情報を表示することができる。
【００４０】
［表示例］
次に、図３及び図４を参照し、具体的な表示例について説明する。なお、図３及び図４では、網目のハッチングは橙色を示し、斜線のハッチングは緑色を示し、横線のハッチングはピンク色を示し、縦線のハッチングは青色を示すものとする。
【００４１】
図３（ａ）は、関連情報が表示されていない場合に対応する、ユーザが表示部６を介して視認する映像（「通常時映像」とも呼ぶ。）を示す。即ち、図３（ａ）に示す通常時映像は、ユーザが表示装置１を非装着の場合に視認する映像と略一致し、また、撮影画像Ｉｆとも略一致する。図３（ａ）において、符号「９」はユーザの視点を示す。図３（ａ）に示す通常時映像は、ピンク色の服を着た人「Ａさん」と、青色の服を着た人「Ｂさん」と、橙色のお店「お店Ｃ」と、緑色のお店「お店Ｄ」と、を含む。
【００４２】
図３（ｂ）は、表示部６により関連情報が表示された場合に、ユーザが視認する映像（「制御時映像」とも呼ぶ。）を示す。図３（ｂ）に示すように、ピンク色の服を着た人より下側近傍に「Ａさん」の文字がピンク色で表示されている。同様に、青色の服を着た人より下側近傍に「Ｂさん」の文字が青色で表示されている。また、橙色のお店より下側近傍に「お店Ｃ」の文字が橙色で表示されている。さらに、緑色のお店より下側近傍に「お店Ｄ」の文字が緑色で表示されている。
【００４３】
この場合に、制御部５が実行する処理について説明する。対象物特定部５１は、撮影画像Ｉｆから４つの表示対象物領域Ｔを特定すると共に各表示対象物の推定位置情報Ｉｅを算出する。そして、表示内容決定部５２１は、当該推定位置情報Ｉｅに基づき、データベース１０に登録された位置情報に基づき各表示対象物の名前又は名称を特定し、当該名前等を関連情報とする。そして、表示態様決定部５２２は、各表示対象物領域Ｔから第１特徴色を特定し、特定した各第１特徴色により各関連情報を表示部６に表示させる。なお、この場合、表示位置は、予め定められた標準位置（ここでは、各表示対象物領域Ｔの下側近傍）に定められている。このように、制御部５は、関連情報を各表示対象物の第１特徴色で表示することにより、各表示対象物と関連情報とを明確に対応付けて関連情報を表示することができる。
【００４４】
図４（ａ）は、データベース１０上で、Ａさん及びＢさんに文字情報が登録されていた場合の制御時映像を示す。ここでは、データベース１０上で、Ａさんの文字情報が「敵」と登録され、Ｂさんの文字情報が「味方」と登録されているものとする。この場合、図４（ａ）に示すように、表示内容決定部５２１は、名前よりも優先して文字情報を用いて関連情報を決定する。さらに、表示態様決定部５２２は、文字情報を用いた表示について、関連情報を四角枠で囲むことにより強調表示する。このようにすることで、表示決定部５２は、例えば鬼ごっこを実行している場合の鬼、敵味方に分かれるゲーム、その他イベントにおいて、対象となる人等の立場、役割等の関連情報をユーザに積極的に提示することができる。
【００４５】
なお、図４（ａ）に加え、表示態様決定部５２２は、文字情報で、関連情報の他、色、大きさ、フォント等の表示態様について指定があった場合には、当該指定に基づき関連情報を生成する。
【００４６】
図４（ｂ）は、ＡさんとＢさんが所定距離以内に近接し、かつ、これらの関連情報の表示色が同一色（ピンク色）である場合の制御時映像を示す。図４（ｂ）に示すように、この場合には、表示位置決定部５２３は、各関連情報を、それぞれ対角位置に配置する。このようにすることで、表示装置１は、表示対象物と関連情報との対応が不明確になるのを防ぎ、ユーザにＡさんとＢさんとを適切に判別させることができる。
【００４７】
［処理フロー］
次に、本実施例で制御部５が実行する処理手順について図５を用いて説明する。図５は、本実施例で制御部５が実行する処理手順を示すフローチャートの一例である。制御部５は、図５に示すフローチャートの処理を、所定の周期に従い繰り返し実行する。
【００４８】
まず、制御部５は、現在位置情報Ｉｐを取得する（ステップＳ１０１）。具体的には、制御部５は、現在位置情報取得部２から現在位置情報Ｉｐを受信する。次に、制御部５は、向き情報Ｉｄを取得する（ステップＳ１０２）。具体的には、制御部５は、向き情報取得部３から向き情報Ｉｄを受信する。さらに、制御部５は、撮影画像Ｉｆを取得する（ステップＳ１０３）。具体的には、制御部５は、撮像部４から撮影画像Ｉｆを受信する。
【００４９】
次に、制御部５は、撮影画像Ｉｆから表示対象物を特定する（ステップＳ１０４）。具体的には、制御部５は、撮影画像Ｉｆから表示対象物領域Ｔを特定する。そして、制御部５は、現在位置情報Ｉｐ及び向き情報Ｉｄに加え、表示対象物領域Ｔの撮影画像Ｉｆでの位置に基づき、各表示対象物の推定位置情報Ｉｅを算出する。
【００５０】
そして、制御部５は、撮影画像Ｉｆ中に表示対象物が存在するか否か判定する（ステップＳ１０５）。そして、制御部５は、表示対象物が存在する場合（ステップＳ１０５；Ｙｅｓ）、データベース１０から表示対象物の情報を検索する（ステップＳ１０６）。具体的には、制御部５は、サーバ装置８と通信を行い、推定位置情報Ｉｅに基づき、データベース１０から該当する表示対象物の情報を検索する。一方、制御部５は、表示対象物が存在しないと判断した場合（ステップＳ１０５；Ｎｏ）、関連情報を表示する必要がないと判断し、フローチャートの処理を終了する。
【００５１】
次に、ステップＳ１０７で、制御部５は、関連情報を決定する（ステップＳ１０７）。具体的には、制御部５は、データベース１０から検索した表示対象物の名前、名称、文字情報等を、表示すべき関連情報に定める。
【００５２】
次に、制御部５は、第１特徴色が存在するか否か判定する（ステップＳ１０８）。具体的には、制御部５は、各表示対象物領域Ｔの画素値に基づき、第１特徴色を抽出する。
【００５３】
そして、制御部５は、第１特徴色があると判断した場合（ステップＳ１０８；Ｙｅｓ）、第１特徴色が背景色に近いか否か判定する（ステップＳ１０９）。そして、制御部５は、特徴色が背景色に近いと判断した場合（ステップＳ１０９；Ｙｅｓ）、表示色を第２特徴色に定める（ステップＳ１１０）。このようにすることで、制御部５は、関連情報の表示色が道路や壁等の表示対象物周辺の背景色と近似することに起因して、ユーザが関連情報を視認しにくくなるのを抑制することができる。一方、制御部５は、第１特徴色が背景色に近くないと判断した場合（ステップＳ１０９；Ｎｏ）、表示色を第１特徴色に定める（ステップＳ１１１）。このように、制御部５は、表示対象物の最も特徴的な色を用いてその関連情報を表示することで、ユーザに容易に表示対象物とその関連情報との対応関係を把握させることができる。
【００５４】
一方、制御部５は、ステップＳ１０８で、第１特徴色が存在しないと判断した場合（ステップＳ１０８；Ｎｏ）、表示対象物の表示色を予め定められた黒や蛍光緑などの基本色に決定する（ステップＳ１１２）。
【００５５】
次に、制御部５は、各表示対象物について、似た特徴を有する表示対象物と近接しているか否か判定する（ステップＳ１１３）。例えば、制御部５は、人、施設等のカテゴリが同一の表示対象物が所定距離以内に互いに近接し、かつ、これらの表示色が一致又は近似するか否か判定する。そして、制御部５は、似た特徴を有する表示対象物と近接していると判断した場合（ステップＳ１１３；Ｙｅｓ）、当該表示対象物と反対側に関連情報の表示位置を定める（ステップＳ１１４）。即ち、制御部５は、一方の表示対象物の関連情報の表示位置を、他方の表示対象物と離れた位置に定める。このようにすることで、制御部５は、表示対象物と関連情報との対応関係に誤認が生じるのを抑制することができる。
【００５６】
一方、制御部５は、似た特徴を有する表示対象物と近接していないと判断した場合（ステップＳ１１３；Ｎｏ）、通常の表示位置に関連情報の表示位置を定める。そして、制御部５は、関連情報を、決定した表示態様で、決定した表示位置に、表示部６に表示させる（ステップＳ１１６）。
【００５７】
［変形例］
以下、本実施例の各変形例について説明する。なお、これらの各変形例は、任意に組み合わせて上述の実施例に適用することが可能である。
【００５８】
（変形例１）
上述の説明では、表示態様決定部５２２は、撮影画像Ｉｆの表示対象物領域Ｔから第１特徴色、第２特徴色を抽出し、これらを関連情報の表示色に定めた。しかし、本発明が適用可能な方法は、これに限定されない。
【００５９】
これに代えて、又はこれに加えて、表示態様決定部５２２は、表示対象物の形状に基づき関連情報の表示態様を決定してもよい。例えば、表示対象物が人の場合、表示態様決定部５２２は、表示対象物領域Ｔからその人の背丈、横幅等を特定し、これに応じて、関連情報のフォントを変える。より具体的には、表示態様決定部５２２は、背丈、横幅等に基づき、体格がいい人であると判断した場合には、他の人と比較して、関連情報のフォントを太字にする。
【００６０】
他の例では、表示態様決定部５２２は、背丈、横幅に応じて、表示対象物である人の関連情報の表示領域の縦横比を定めてもよい。具体的には、表示態様決定部５２２は、背丈が大きいほど、当該表示領域の縦幅を大きくし、横幅が大きいほど、当該表示領域の横幅を大きくする。
【００６１】
これによっても、表示装置１は、表示対象物とその関連情報とをユーザが直感的に分かりやすいように対応づけて関連情報を表示することができる。このように、形状は、本発明における「特徴情報」の一例である。
【００６２】
（変形例２）
図１では、表示決定部５２は、表示位置決定部５２３を備え、似た特徴を有する２つの表示対象物が互いに近接した場合に、これらの関連情報の表示位置を対角位置になるように決定した。しかし、本発明が適用可能な構成は、これに限定されない。これに代えて、又はこれに加えて、この場合、表示決定部５２は、これらの表示対象物のうち少なくともいずれか一方の関連情報の表示色を、第２特徴色に変更してもよい。これによっても、表示決定部５２は、好適に、似た特徴を有する２つの表示対象物が互いに近接したことに起因して表示対象物と関連情報との対応をユーザが誤認するのを抑制することができる。
【００６３】
（変形例３）
図４のステップＳ１０９、Ｓ１１０では、表示決定部５２は、関連情報の表示色と表示対象物の背景色とが同一又は近似する場合、表示色を第２特徴色に設定した。しかし、本発明が適用可能な方法は、これに限定されない。
【００６４】
これに代えて、又はこれに加えて、表示決定部５２は、この場合、関連情報の表示位置を、標準位置から、表示色と同一かつ近似しない表示対象物の周辺の位置に変更してもよい。これによっても、好適に、表示決定部５２は、関連情報が視認しにくくなるのを抑制することができる。
【００６５】
また、他の例では、この場合、表示決定部５２は、第２特徴色が抽出可能なときには、関連情報の表示色を第２特徴色に定め、第２特徴色が抽出できないときに、関連情報の表示位置を上述したように変更してもよい。
【００６６】
（変形例４）
上述の実施例では、表示装置１は、ヘッドマウントディスプレイであった。しかし、本発明が適用可能な表示装置１は、これに限定されない。
【００６７】
これに代えて、表示装置１は、車両に設置されるヘッドアップディスプレイであってもよい。この場合であっても、表示装置１は、現在位置情報取得部２と、向き情報取得部３と、撮像部４と、制御部５と、表示部６と、を備える。そして、撮像部４は運転時の運転者の視線と略一致する方向に向けて設置される。また、表示部６に相当する、光を照射する光源部と、照射された光を運転者に向けて反射するコンバイナ等の光学素子とが車両に設置される。この場合であっても、表示装置１は、好適に、光学素子を介して運転者が視認する車外の景色に、当該景色に含まれる表示対象物の関連情報を重畳させてユーザに視認させることができる。
【００６８】
他の例では、表示装置１は、撮像部４から取得した撮影画像Ｉｆに、案内表示を付してナビゲーションを行うナビゲーション装置であってもよい。この場合であっても、表示装置１は、上述の実施例に基づき、撮影画像Ｉｆから表示対象物を抽出し、表示される撮影画像Ｉｆに関連情報を重畳させることができる。
【００６９】
（変形例５）
実施例の説明では、制御部５は、撮像部４の向きと、ユーザの視線方向とが一致するものとして関連情報を表示部６に表示させた。これに代えて、制御部５は、ユーザの視線方向をカメラ等で検出し、検出した視線方向と、撮像部４の撮影方向との差を算出し、当該差に応じて関連情報の表示位置をずらしてもよい。これによって、制御部５は、ユーザの視線と撮像部４との撮影方向とが一致しない場合であっても、ユーザの視線に応じて、関連情報の位置を補正し、表示対象物とその関連情報とを適切に対応付けてユーザに認識させることができる。
【００７０】
（変形例６）
図１の説明では、データベース１０は、サーバ装置８が保持した。しかし、本発明が適用可能な構成は、これに限定されない。これに代えて、データベース１０は、表示装置１により保持されていてもよい。
【産業上の利用可能性】
【００７１】
本発明は、ヘッドマウントディスプレイ、ヘッドアップディスプレイ、ナビゲーション装置、その他表示装置に好適に適用することができる。
【符号の説明】
【００７２】
１ 表示装置
２ 現在位置情報取得部
４ 撮像部
５ 制御部
６ 表示部
【技術分野】
【０００１】
本発明は、撮影画像に基づき対象物の情報を表示する技術に関する。
【背景技術】
【０００２】
従来から、撮像画像を表示手段によってリアルタイムで観察している位置（現在地）と、その位置からの方位や角度などから得た対象物の位置とから、データベースを検索することによってその対象物を特定し、その特定された対象物についての情報（以後、「関連情報」とも呼ぶ。）を表示手段に表示させる技術が存在する。例えば、特許文献１には、撮影画像を表示手段に表示させ、画面中の対象物を画像認識し、その対象物の近傍にその関連情報を表示する技術が開示されている。さらに、特許文献１には、同種の対象物が密集している場合は、その関連情報の表示態様を簡略化する技術が開示されている。その他、本発明に関連する技術が、特許文献２及び特許文献３に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−００９１９２号公報
【特許文献２】特開２００８−２１６３０９号公報
【特許文献３】特開２０１０−０６６５９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
異なる種類の対象物が密集して存在する場合、全ての対象物に対応する関連情報をその近傍に表示すると、どの関連情報がどの対象物に対応するかユーザがわかりにくくなる。また、表示スペース等の関係上、関連情報を対象物から離れた位置に表示せざるを得ない場合には、これらの対応がわかりにくくなる。
【０００５】
本発明は、上記のような課題を解決するためになされたものであり、対象物と関連情報との対応を容易に認識させることが可能な表示装置を提供することを主な目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明は、撮影画像を取得する撮影画像取得手段と、前記撮影画像内の対象物を特定する対象物特定手段と、前記対象物に関する関連情報を取得する関連情報取得手段と、前記撮影画像に基づいて前記対象物の形状を認識する特徴情報認識手段と、前記対象物に関する関連情報を前記対象物と関連付けて表示手段に表示させる表示制御手段と、を有し、前記表示制御手段は、前記対象物の形状に基づいて、前記関連情報を表示させる際のフォントを決定することを特徴とする。
【０００７】
請求項７に記載の発明は、撮像部と、制御部と、表示部とを備える表示装置により実行される制御方法であって、前記撮像部が撮影画像を取得する撮影画像取得工程と、前記制御部が前記撮影画像内の対象物を特定する対象物特定工程と、前記制御部が前記対象物に関する関連情報を取得する関連情報取得工程と、前記制御部が前記撮影画像に基づいて前記対象物の形状を認識する特徴情報認識工程と、前記制御部が前記対象物に関する関連情報を前記対象物と関連付けて前記表示部に表示させる表示制御工程と、を有し、前記表示制御工程は、前記対象物の形状に基づいて、前記関連情報を表示させる際のフォントを決定することを特徴とする。
【図面の簡単な説明】
【０００８】
【図１】本実施例に係る表示装置のブロック構成図の一例である。
【図２】データベースに登録された情報の概要を示す図である。
【図３】（ａ）は、通常時映像の一例を示す。（ｂ）は、制御時映像の一例を示す。
【図４】（ａ）は、Ａさん及びＢさんに文字情報が登録されていた場合の制御時映像を示す。（ｂ）は、ＡさんとＢさんが所定距離以内に近接し、かつ、表示色が同一色である場合の制御時映像を示す。
【図５】本実施例の処理手順を示すフローチャートの一例である。
【発明を実施するための形態】
【０００９】
本発明の好適な実施形態によれば、表示装置は、撮影画像を取得する撮影画像取得手段と、前記撮影画像内の対象物を特定する対象物特定手段と、前記対象物に関する関連情報を取得する関連情報取得手段と、前記撮影画像に基づいて前記対象物の特徴情報を抽出する特徴情報抽出手段と、前記関連情報を表示する表示部と、前記特徴情報に基づいて、前記関連情報の表示態様を決定する表示制御手段と、を備える。
【００１０】
上記の表示装置は、撮影画像取得手段と、対象物特定手段と、関連情報取得手段と、特徴情報抽出手段と、表示部と、表示制御手段と、を備える。撮影画像取得手段は、カメラ等により生成された撮影画像を取得する。対象物特定手段は、撮影画像内の対象物を特定する。ここで、「対象物」は、人、施設、車など特定種類の物又は人であり、関連情報の表示対象となるものである。関連情報取得手段は、特定した対象物に関する関連情報を取得する。特徴情報抽出手段は、撮影画像に基づいて対象物の特徴情報を抽出する。表示制御手段は、抽出した特徴情報に基づいて、関連情報の表示態様を決定する。このように、表示装置は、撮影画像中の対象物の特徴情報に基づき、関連情報の表示態様を決定することで、対象物と関連情報との対応を明確にして、表示部に関連情報を表示することができる。
【００１１】
上記の表示装置の一態様では、前記特徴情報は、前記対象物の色に関する情報であり、前記表示制御手段は、当該特徴情報に基づいて、前記関連情報の表示色を決定する。このようにすることで、表示装置は、対象物と関連情報との対応を明確にすることができる。
【００１２】
上記の表示装置の他の一態様では、前記特徴情報は、前記対象物の形状に関する情報であり、前記表示制御手段は、当該特徴情報に基づいて、前記関連情報の形状を決定する。ここで、「形状」とは、大きさの概念も含むものとする。この態様によっても、表示装置は、対象物と関連情報との対応を明確にすることができる。
【００１３】
上記の表示装置の他の一態様では、前記特徴情報抽出手段は、前記撮影画像に基づいて前記対象物に特徴的な特徴色を複数抽出し、前記表示制御手段は、前記関連情報を、当該関連情報の表示位置の背景色と異なる特徴色で前記表示部に表示させる。このようにすることで、表示装置は、関連情報が対象物周辺の背景に起因して見えにくくなるのを抑制することができる。
【００１４】
上記の表示装置の他の一態様では、前記表示制御手段は、前記特徴情報抽出手段が、関連情報の表示位置の背景色と異なる特徴色を抽出できない場合、前記関連情報の表示位置を、当該関連情報の表示色と前記背景色とが異なる位置に変更する。この態様によっても、表示装置は、関連情報が背景に起因して見えにくくなるのを抑制することができる。
【００１５】
上記の表示装置の他の一態様では、前記表示制御手段は、前記対象物が互いに近接し、かつ当該対象物の関連情報の表示態様が同一又は近似している場合、当該関連情報の表示位置を、他方の前記対象物が存在する位置に基づき決定する。ここで、「表示態様が同一又は近似する」とは、例えば、関連情報を表示色又は／及び形状に基づき予め定めた種類のいずれかに分類した場合に、同一の種類に属することを指す。この態様により、表示装置は、対象物と関連情報との対応に誤認が生じるのを抑制することができる。
【００１６】
上記の表示装置の他の一態様では、前記特徴情報抽出手段は、前記撮影画像に基づいて前記対象物に特徴的な特徴色を複数抽出し、前記表示制御手段は、前記対象物が互いに近接し、かつ当該対象物の関連情報の表示色が同一又は近似している場合、少なくとも一方の前記関連情報の表示色を他の特徴色に変更する。この態様によっても、表示装置は、対象物と関連情報との対応に誤認が生じるのを抑制することができる。
【００１７】
上記の表示装置の他の一態様では、前記表示部は、ヘッドアップディスプレイ、ヘッドマウントディスプレイ、又は前記撮影画像を表示するディスプレイである。
【００１８】
本発明の他の実施形態によれば、表示装置により実行される制御方法であって、撮影画像を取得する撮影画像取得工程と、前記撮影画像内の対象物を特定する対象物特定工程と、前記対象物に関する関連情報を取得する関連情報取得工程と、前記撮影画像に基づいて前記対象物の特徴情報を抽出する特徴情報抽出工程と、前記特徴情報に基づいて、前記関連情報の表示態様を決定する表示制御工程と、を備える。表示装置は、この制御方法を実行することで、対象物と関連情報との対応を明確にして、関連情報を表示することができる。
【００１９】
本発明の他の実施形態によれば、表示装置により実行されるプログラムであって、撮影画像を取得する撮影画像取得手段、前記撮影画像内の対象物を特定する対象物特定手段、前記対象物に関する関連情報を取得する関連情報取得手段、前記撮影画像に基づいて前記対象物の特徴情報を抽出する特徴情報抽出手段、前記特徴情報に基づいて、前記関連情報の表示態様を決定する表示制御手段、として前記表示装置を機能させる。表示装置は、このプログラムを搭載し実行することで、対象物と関連情報との対応を明確にして、関連情報を表示することができる。なお、好適には、上記のプログラムは記憶媒体に記憶される。
【実施例】
【００２０】
以下、図面を参照して本発明の好適な実施例について説明する。
【００２１】
［概略構成図］
図１は、本発明における表示装置の一例である表示装置１の概略構成図の一例を示す。表示装置１は、車両の乗員に対し情報を表示するための装着型表示装置（ヘッドマウントディスプレイ）である。表示装置１は、各端末から送信される位置情報等を管理するサーバ装置８と通信可能である。表示装置１は、現在位置情報取得部２と、向き情報取得部３と、撮像部４と、制御部５と、表示部６と、を備える。後述するように、表示装置１は、撮影画像中に撮影された人、施設等に名称等の関連情報を生成し、その表示を行う。
【００２２】
現在位置情報取得部２は、例えばＧＰＳ受信機であり、複数のＧＰＳ衛星等から受信した緯度及び経度情報等から表示装置１の絶対的な位置（現在位置）を検出する。そして、現在位置情報取得部２は、取得した現在位置の情報（「現在位置情報Ｉｐ」とも呼ぶ。）を制御部５へ一定又は不定の周期で送信する。
【００２３】
向き情報取得部３は、例えば、電子コンパスや６軸センサであり、撮像部４が撮影を行う向きを検出する。向き情報取得部３は、検出した向きの情報（「向き情報Ｉｄ」とも呼ぶ。）を制御部５へ一定又は不定の周期で送信する。
【００２４】
撮像部４は、撮像素子に入射する光に基づき撮影した画像（単に「撮影画像Ｉｆ」とも呼ぶ。）を生成する。撮像部４は、ユーザが表示装置１を装着した場合に、ユーザの視野と略一致する撮影範囲を有する。撮像部４は、生成した撮影画像Ｉｆを制御部５へ送信する。
【００２５】
制御部５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含んでおり、表示装置１全体の制御を行う。制御部５は、後述する対象物特定部５１と、表示決定部５２と、を備える。そして、制御部５は、後述するように、本発明における「撮影画像取得手段」、「対象物特定手段」、「関連情報取得手段」、「特徴情報抽出手段」、「表示制御手段」として機能する。
【００２６】
表示部６は、関連情報を表示する。表示部６は、例えば、プロジェクタと、コンバイナとを有する。プロジェクタは、例えば、光源や液晶パネルを有しており、表示決定部５２から入力された関連情報に対応する画像データに基づいて光源や液晶パネルを駆動し、当該画像データに対応した光線をコンバイナに照射する。コンバイナは、例えば、ハーフミラーやホログラフィック光学素子（ＨＯＥ：Ｈｏｌｏｇｒａｐｈｉｃ Ｏｐｔｉｃａｌ Ｅｌｅｍｅｎｔ）により構成され、外光の一部分を透過すると共に、プロジェクタにより照射される光線を反射する。この結果、コンバイナを透過した外光の一部とプロジェクタによって照射された光線の反射光とがコンバイナにおいて結合されてユーザに視認される。
【００２７】
次に、制御部５が備える対象物特定部５１及び表示決定部５２が実行する処理について具体的に説明する。
【００２８】
対象物特定部５１は、撮影画像Ｉｆから、関連情報を表示部６に表示すべき対象物（「表示対象物」とも呼ぶ。）を特定する。ここでは、表示対象物は、人、施設、及び車であるとする。具体的には、対象物特定部５１は、例えば撮影画像Ｉｆと表示対象物である人、施設、及び車のテンプレート画像等とを比較することで、撮影画像Ｉｆから表示対象物と判断される領域（「表示対象物領域Ｔ」とも呼ぶ。）を特定する。そして、対象物特定部５１は、現在位置情報Ｉｐ及び向き情報Ｉｄに加え、表示対象物領域Ｔの撮影画像Ｉｆに占める位置に基づき、各表示対象物の実際の位置を推定する。以後では、対象物特定部５１が推定した各表示対象物の位置情報を、「推定位置情報Ｉｅ」とも呼ぶ。
【００２９】
表示決定部５２は、推定位置情報Ｉｅと、撮影画像Ｉｆとに基づき、サーバ装置８が有するデータベース１０を参照して、関連情報と、その表示態様と、その表示位置とを決定する。このように、表示決定部５２は、表示内容決定部５２１と、表示態様決定部５２２と、表示位置決定部５２３と、を備える。
【００３０】
まず、表示内容決定部５２１が実行する処理について説明する。概略的には、表示内容決定部５２１は、推定位置情報Ｉｅに基づき、サーバ装置８が有するデータベース１０を参照することで、各表示対象物に付すべき関連情報を決定する。
【００３１】
ここで、データベース１０の具体的内容について、図２を参照して説明する。図２は、データベース１０が保持する情報の概要を示す図である。図２に示すように、データベース１０は、表示装置１を使用するユーザの情報である「ユーザ情報」と、表示対象物の情報である「表示対象物情報」と、を記憶している。
【００３２】
ユーザ情報は、現在位置情報Ｉｐと、向き情報Ｉｄとを含む。これらの情報は、一定又は不定の周期で、表示装置１からアップロードされ、更新される。
【００３３】
表示対象物情報は、表示対象物の種別である人、施設、車ごとに分けられる。ここで、表示対象物の種別が人である場合、図２に示すように、名前、現在位置情報Ｉｐ、及び文字情報が記憶される。ここで、「文字情報」とは、関連情報やその表示態様等を指定する情報である。名前及び文字情報は、例えば予め登録され、現在位置情報Ｉｐは、当該対象となる人が使用するＧＰＳ機能付きの携帯端末などから一定又は不定の周期でアップロードされ、更新される。
【００３４】
次に、表示対象物の種別が施設の場合、主に、施設の名称、位置情報、施設の形状に関する情報、及び文字情報がデータベース１０に記憶される。これらの情報は、例えば予めデータベース１０に登録される。そして、表示対象物の種別が車の場合、主に、車種の情報、ドライバーの情報、現在位置情報Ｉｐ、形状に関する情報、及び文字情報がデータベース１０に記憶される。これらの情報のうち、現在位置情報Ｉｐは、車両から一定又は不定の周期でアップロードされ、更新され、他の情報は、例えば予めデータベース１０に登録される。
【００３５】
ここで、再び図１を参照し、表示内容決定部５２１が実行する処理について具体的に説明する。表示内容決定部５２１は、データベース１０から、推定位置情報Ｉｅと一致又は一致すると見なすことができる誤差の範囲にある現在位置情報Ｉｐ又は位置情報を有する表示対象物を検索する。上述の範囲は、例えば実験等に基づき予め定められる。そして、表示内容決定部５２１は、推定位置情報Ｉｅと一致又は略一致した現在位置情報Ｉｐ又は位置情報を有する表示対象物をデータベース１０上で特定した場合、当該表示対象物の名前又は文字情報等に基づき関連情報を定める。具体的には、表示対象物が人の場合には、表示内容決定部５２１は、関連情報をデータベース１０に登録された名前、又は文字情報で指定された立場、役割、愛称等に定める。また、表示内容決定部５２１は、表示対象物が施設の場合には、関連情報をデータベース１０に登録された名称、又は文字情報で指定された略称等に定め、表示対象物が車の場合には、関連情報を、車種、ドライバー、又は文字情報で指定された名称等に定める。
【００３６】
次に、表示態様決定部５２２が実行する処理について説明する。表示態様決定部５２２は、各表示対象物の表示対象物領域Ｔの色情報に基づき、表示内容決定部５２１が決定した関連情報を表示する色（単に「表示色」とも呼ぶ。）を決定する。ここで、上述の色情報は、本発明における「特徴情報」の一例である。
【００３７】
具体的には、表示態様決定部５２２は、各表示対象物に対応する表示対象物領域Ｔで最も特徴的な色（「第１特徴色」とも呼ぶ。）を抽出する。例えば、表示態様決定部５２２は、表示対象物領域Ｔの各画素を予め定めた種類の色のいずれかに分類した場合に、表示対象物領域Ｔの全画素中で所定比率以上を占め、かつ、最も大きい比率を占める色を特徴色に定める。上述の所定比率は、例えば実験等に基づき特徴的であると見なされる比率に予め定められる。そして、表示態様決定部５２２は、第１特徴色が存在する場合には、当該第１特徴色を表示色に定め、第１特徴色が存在しない場合には、予め定めた基本色を表示色に定める。基本色は、例えば黒又は蛍光緑などである。
【００３８】
また、表示態様決定部５２２は、第１特徴色が、関連情報を表示する部分の背景の色（単位、「背景色」とも呼ぶ。）と同一又は近似しているか否か撮影画像Ｉｆに基づき判定し、当該背景色と同一又は近似していると判断した場合には、表示対象物領域Ｔで第１特徴色の次に特徴的な色（「第２特徴色」とも呼ぶ。）を表示色に定める。例えば、表示態様決定部５２２は、表示対象物領域Ｔの位置から関連情報の表示位置を特定し、当該表示位置と重なる撮影画像Ｉｆの画素が示す色と、第１特徴色とが一致又は近似すると判断した場合には、関連情報の表示色を第２特徴色に定める。ここで、「表示位置と重なる撮影画像Ｉｆの画素が示す色」とは、例えば、該当する画素の画素値の平均等が示す色であってもよく、該当する画素のうち代表の一つの画素値が示す色であってもよい。また、表示態様決定部５２２は、例えば、第１特徴色と背景色とを所定の方式に従い数値化し、これらの値が所定差以内の場合に、これらの色が一致又は近似すると判断する。以後では、第１特徴色と第２特徴色とを特に区別しない場合、単にこれらを「特徴色」と総称する。
【００３９】
次に、表示位置決定部５２３が実行する処理について説明する。表示位置決定部５２３は、２つの表示対象物が互いに近接し、かつ、これらに付される関連情報の表示態様が同一又は近似していると判断した場合には、各関連情報の表示位置を、他方の表示対象物の位置に基づき定める。具体的には、表示位置決定部５２３は、この場合、各関連情報の表示位置を、一方の表示対象物の位置を基準として、他方の表示対象物と反対側の位置（以後、「対角位置」とも呼ぶ。）に配置する。例えば、表示位置決定部５２３は、撮影画像Ｉｆに基づき、人、施設等のカテゴリが同一の表示対象物の表示対象物領域Ｔが所定距離以内に近接し、かつ、これらの表示色が一致又は近似する場合、これらの各関連情報を対角位置に配置する。これにより、表示位置決定部５２３は、２つの表示対象物が互いに近接し、かつ、これらに付される関連情報の表示態様が同一又は近似している場合であっても、ユーザに誤認を生じさせることなく、各表示対象物の関連情報を表示することができる。
【００４０】
［表示例］
次に、図３及び図４を参照し、具体的な表示例について説明する。なお、図３及び図４では、網目のハッチングは橙色を示し、斜線のハッチングは緑色を示し、横線のハッチングはピンク色を示し、縦線のハッチングは青色を示すものとする。
【００４１】
図３（ａ）は、関連情報が表示されていない場合に対応する、ユーザが表示部６を介して視認する映像（「通常時映像」とも呼ぶ。）を示す。即ち、図３（ａ）に示す通常時映像は、ユーザが表示装置１を非装着の場合に視認する映像と略一致し、また、撮影画像Ｉｆとも略一致する。図３（ａ）において、符号「９」はユーザの視点を示す。図３（ａ）に示す通常時映像は、ピンク色の服を着た人「Ａさん」と、青色の服を着た人「Ｂさん」と、橙色のお店「お店Ｃ」と、緑色のお店「お店Ｄ」と、を含む。
【００４２】
図３（ｂ）は、表示部６により関連情報が表示された場合に、ユーザが視認する映像（「制御時映像」とも呼ぶ。）を示す。図３（ｂ）に示すように、ピンク色の服を着た人より下側近傍に「Ａさん」の文字がピンク色で表示されている。同様に、青色の服を着た人より下側近傍に「Ｂさん」の文字が青色で表示されている。また、橙色のお店より下側近傍に「お店Ｃ」の文字が橙色で表示されている。さらに、緑色のお店より下側近傍に「お店Ｄ」の文字が緑色で表示されている。
【００４３】
この場合に、制御部５が実行する処理について説明する。対象物特定部５１は、撮影画像Ｉｆから４つの表示対象物領域Ｔを特定すると共に各表示対象物の推定位置情報Ｉｅを算出する。そして、表示内容決定部５２１は、当該推定位置情報Ｉｅに基づき、データベース１０に登録された位置情報に基づき各表示対象物の名前又は名称を特定し、当該名前等を関連情報とする。そして、表示態様決定部５２２は、各表示対象物領域Ｔから第１特徴色を特定し、特定した各第１特徴色により各関連情報を表示部６に表示させる。なお、この場合、表示位置は、予め定められた標準位置（ここでは、各表示対象物領域Ｔの下側近傍）に定められている。このように、制御部５は、関連情報を各表示対象物の第１特徴色で表示することにより、各表示対象物と関連情報とを明確に対応付けて関連情報を表示することができる。
【００４４】
図４（ａ）は、データベース１０上で、Ａさん及びＢさんに文字情報が登録されていた場合の制御時映像を示す。ここでは、データベース１０上で、Ａさんの文字情報が「敵」と登録され、Ｂさんの文字情報が「味方」と登録されているものとする。この場合、図４（ａ）に示すように、表示内容決定部５２１は、名前よりも優先して文字情報を用いて関連情報を決定する。さらに、表示態様決定部５２２は、文字情報を用いた表示について、関連情報を四角枠で囲むことにより強調表示する。このようにすることで、表示決定部５２は、例えば鬼ごっこを実行している場合の鬼、敵味方に分かれるゲーム、その他イベントにおいて、対象となる人等の立場、役割等の関連情報をユーザに積極的に提示することができる。
【００４５】
なお、図４（ａ）に加え、表示態様決定部５２２は、文字情報で、関連情報の他、色、大きさ、フォント等の表示態様について指定があった場合には、当該指定に基づき関連情報を生成する。
【００４６】
図４（ｂ）は、ＡさんとＢさんが所定距離以内に近接し、かつ、これらの関連情報の表示色が同一色（ピンク色）である場合の制御時映像を示す。図４（ｂ）に示すように、この場合には、表示位置決定部５２３は、各関連情報を、それぞれ対角位置に配置する。このようにすることで、表示装置１は、表示対象物と関連情報との対応が不明確になるのを防ぎ、ユーザにＡさんとＢさんとを適切に判別させることができる。
【００４７】
［処理フロー］
次に、本実施例で制御部５が実行する処理手順について図５を用いて説明する。図５は、本実施例で制御部５が実行する処理手順を示すフローチャートの一例である。制御部５は、図５に示すフローチャートの処理を、所定の周期に従い繰り返し実行する。
【００４８】
まず、制御部５は、現在位置情報Ｉｐを取得する（ステップＳ１０１）。具体的には、制御部５は、現在位置情報取得部２から現在位置情報Ｉｐを受信する。次に、制御部５は、向き情報Ｉｄを取得する（ステップＳ１０２）。具体的には、制御部５は、向き情報取得部３から向き情報Ｉｄを受信する。さらに、制御部５は、撮影画像Ｉｆを取得する（ステップＳ１０３）。具体的には、制御部５は、撮像部４から撮影画像Ｉｆを受信する。
【００４９】
次に、制御部５は、撮影画像Ｉｆから表示対象物を特定する（ステップＳ１０４）。具体的には、制御部５は、撮影画像Ｉｆから表示対象物領域Ｔを特定する。そして、制御部５は、現在位置情報Ｉｐ及び向き情報Ｉｄに加え、表示対象物領域Ｔの撮影画像Ｉｆでの位置に基づき、各表示対象物の推定位置情報Ｉｅを算出する。
【００５０】
そして、制御部５は、撮影画像Ｉｆ中に表示対象物が存在するか否か判定する（ステップＳ１０５）。そして、制御部５は、表示対象物が存在する場合（ステップＳ１０５；Ｙｅｓ）、データベース１０から表示対象物の情報を検索する（ステップＳ１０６）。具体的には、制御部５は、サーバ装置８と通信を行い、推定位置情報Ｉｅに基づき、データベース１０から該当する表示対象物の情報を検索する。一方、制御部５は、表示対象物が存在しないと判断した場合（ステップＳ１０５；Ｎｏ）、関連情報を表示する必要がないと判断し、フローチャートの処理を終了する。
【００５１】
次に、ステップＳ１０７で、制御部５は、関連情報を決定する（ステップＳ１０７）。具体的には、制御部５は、データベース１０から検索した表示対象物の名前、名称、文字情報等を、表示すべき関連情報に定める。
【００５２】
次に、制御部５は、第１特徴色が存在するか否か判定する（ステップＳ１０８）。具体的には、制御部５は、各表示対象物領域Ｔの画素値に基づき、第１特徴色を抽出する。
【００５３】
そして、制御部５は、第１特徴色があると判断した場合（ステップＳ１０８；Ｙｅｓ）、第１特徴色が背景色に近いか否か判定する（ステップＳ１０９）。そして、制御部５は、特徴色が背景色に近いと判断した場合（ステップＳ１０９；Ｙｅｓ）、表示色を第２特徴色に定める（ステップＳ１１０）。このようにすることで、制御部５は、関連情報の表示色が道路や壁等の表示対象物周辺の背景色と近似することに起因して、ユーザが関連情報を視認しにくくなるのを抑制することができる。一方、制御部５は、第１特徴色が背景色に近くないと判断した場合（ステップＳ１０９；Ｎｏ）、表示色を第１特徴色に定める（ステップＳ１１１）。このように、制御部５は、表示対象物の最も特徴的な色を用いてその関連情報を表示することで、ユーザに容易に表示対象物とその関連情報との対応関係を把握させることができる。
【００５４】
一方、制御部５は、ステップＳ１０８で、第１特徴色が存在しないと判断した場合（ステップＳ１０８；Ｎｏ）、表示対象物の表示色を予め定められた黒や蛍光緑などの基本色に決定する（ステップＳ１１２）。
【００５５】
次に、制御部５は、各表示対象物について、似た特徴を有する表示対象物と近接しているか否か判定する（ステップＳ１１３）。例えば、制御部５は、人、施設等のカテゴリが同一の表示対象物が所定距離以内に互いに近接し、かつ、これらの表示色が一致又は近似するか否か判定する。そして、制御部５は、似た特徴を有する表示対象物と近接していると判断した場合（ステップＳ１１３；Ｙｅｓ）、当該表示対象物と反対側に関連情報の表示位置を定める（ステップＳ１１４）。即ち、制御部５は、一方の表示対象物の関連情報の表示位置を、他方の表示対象物と離れた位置に定める。このようにすることで、制御部５は、表示対象物と関連情報との対応関係に誤認が生じるのを抑制することができる。
【００５６】
一方、制御部５は、似た特徴を有する表示対象物と近接していないと判断した場合（ステップＳ１１３；Ｎｏ）、通常の表示位置に関連情報の表示位置を定める。そして、制御部５は、関連情報を、決定した表示態様で、決定した表示位置に、表示部６に表示させる（ステップＳ１１６）。
【００５７】
［変形例］
以下、本実施例の各変形例について説明する。なお、これらの各変形例は、任意に組み合わせて上述の実施例に適用することが可能である。
【００５８】
（変形例１）
上述の説明では、表示態様決定部５２２は、撮影画像Ｉｆの表示対象物領域Ｔから第１特徴色、第２特徴色を抽出し、これらを関連情報の表示色に定めた。しかし、本発明が適用可能な方法は、これに限定されない。
【００５９】
これに代えて、又はこれに加えて、表示態様決定部５２２は、表示対象物の形状に基づき関連情報の表示態様を決定してもよい。例えば、表示対象物が人の場合、表示態様決定部５２２は、表示対象物領域Ｔからその人の背丈、横幅等を特定し、これに応じて、関連情報のフォントを変える。より具体的には、表示態様決定部５２２は、背丈、横幅等に基づき、体格がいい人であると判断した場合には、他の人と比較して、関連情報のフォントを太字にする。
【００６０】
他の例では、表示態様決定部５２２は、背丈、横幅に応じて、表示対象物である人の関連情報の表示領域の縦横比を定めてもよい。具体的には、表示態様決定部５２２は、背丈が大きいほど、当該表示領域の縦幅を大きくし、横幅が大きいほど、当該表示領域の横幅を大きくする。
【００６１】
これによっても、表示装置１は、表示対象物とその関連情報とをユーザが直感的に分かりやすいように対応づけて関連情報を表示することができる。このように、形状は、本発明における「特徴情報」の一例である。
【００６２】
（変形例２）
図１では、表示決定部５２は、表示位置決定部５２３を備え、似た特徴を有する２つの表示対象物が互いに近接した場合に、これらの関連情報の表示位置を対角位置になるように決定した。しかし、本発明が適用可能な構成は、これに限定されない。これに代えて、又はこれに加えて、この場合、表示決定部５２は、これらの表示対象物のうち少なくともいずれか一方の関連情報の表示色を、第２特徴色に変更してもよい。これによっても、表示決定部５２は、好適に、似た特徴を有する２つの表示対象物が互いに近接したことに起因して表示対象物と関連情報との対応をユーザが誤認するのを抑制することができる。
【００６３】
（変形例３）
図４のステップＳ１０９、Ｓ１１０では、表示決定部５２は、関連情報の表示色と表示対象物の背景色とが同一又は近似する場合、表示色を第２特徴色に設定した。しかし、本発明が適用可能な方法は、これに限定されない。
【００６４】
これに代えて、又はこれに加えて、表示決定部５２は、この場合、関連情報の表示位置を、標準位置から、表示色と同一かつ近似しない表示対象物の周辺の位置に変更してもよい。これによっても、好適に、表示決定部５２は、関連情報が視認しにくくなるのを抑制することができる。
【００６５】
また、他の例では、この場合、表示決定部５２は、第２特徴色が抽出可能なときには、関連情報の表示色を第２特徴色に定め、第２特徴色が抽出できないときに、関連情報の表示位置を上述したように変更してもよい。
【００６６】
（変形例４）
上述の実施例では、表示装置１は、ヘッドマウントディスプレイであった。しかし、本発明が適用可能な表示装置１は、これに限定されない。
【００６７】
これに代えて、表示装置１は、車両に設置されるヘッドアップディスプレイであってもよい。この場合であっても、表示装置１は、現在位置情報取得部２と、向き情報取得部３と、撮像部４と、制御部５と、表示部６と、を備える。そして、撮像部４は運転時の運転者の視線と略一致する方向に向けて設置される。また、表示部６に相当する、光を照射する光源部と、照射された光を運転者に向けて反射するコンバイナ等の光学素子とが車両に設置される。この場合であっても、表示装置１は、好適に、光学素子を介して運転者が視認する車外の景色に、当該景色に含まれる表示対象物の関連情報を重畳させてユーザに視認させることができる。
【００６８】
他の例では、表示装置１は、撮像部４から取得した撮影画像Ｉｆに、案内表示を付してナビゲーションを行うナビゲーション装置であってもよい。この場合であっても、表示装置１は、上述の実施例に基づき、撮影画像Ｉｆから表示対象物を抽出し、表示される撮影画像Ｉｆに関連情報を重畳させることができる。
【００６９】
（変形例５）
実施例の説明では、制御部５は、撮像部４の向きと、ユーザの視線方向とが一致するものとして関連情報を表示部６に表示させた。これに代えて、制御部５は、ユーザの視線方向をカメラ等で検出し、検出した視線方向と、撮像部４の撮影方向との差を算出し、当該差に応じて関連情報の表示位置をずらしてもよい。これによって、制御部５は、ユーザの視線と撮像部４との撮影方向とが一致しない場合であっても、ユーザの視線に応じて、関連情報の位置を補正し、表示対象物とその関連情報とを適切に対応付けてユーザに認識させることができる。
【００７０】
（変形例６）
図１の説明では、データベース１０は、サーバ装置８が保持した。しかし、本発明が適用可能な構成は、これに限定されない。これに代えて、データベース１０は、表示装置１により保持されていてもよい。
【産業上の利用可能性】
【００７１】
本発明は、ヘッドマウントディスプレイ、ヘッドアップディスプレイ、ナビゲーション装置、その他表示装置に好適に適用することができる。
【符号の説明】
【００７２】
１ 表示装置
２ 現在位置情報取得部
４ 撮像部
５ 制御部
６ 表示部
【特許請求の範囲】
【請求項１】
撮影画像を取得する撮影画像取得手段と、
前記撮影画像内の対象物を特定する対象物特定手段と、
前記対象物に関する関連情報を取得する関連情報取得手段と、
前記撮影画像に基づいて前記対象物の形状を認識する特徴情報認識手段と、
前記対象物に関する関連情報を前記対象物と関連付けて表示手段に表示させる表示制御手段と、を有し、
前記表示制御手段は、前記対象物の形状に基づいて、前記関連情報を表示させる際のフォントを決定することを特徴とする表示装置。
【請求項２】
前記表示制御手段は、前記対象物の形状に基づいて、前記関連情報を表示させる際の文字の太さを決定することを特徴とする請求項１に記載の表示装置。
【請求項３】
前記特徴情報認識手段は、前記対象物の縦方向及び横方向の大きさを認識し、
前記表示制御手段は、前記対象物の縦方向の大きさに基づき前記関連情報を表示させる領域の縦方向の大きさを決定することを特徴とする請求項１又は請求項２に記載の表示装置。
【請求項４】
前記特徴情報認識手段は、前記対象物の縦方向及び横方向の大きさを認識し、
前記表示制御手段は、前記対象物の横方向の大きさに基づき前記関連情報を表示させる領域の横方向の大きさを決定することを特徴とする請求項１乃至請求項３のいずれか一項に記載の表示装置。
【請求項５】
前記特徴情報認識手段は、前記対象物の縦方向及び横方向の大きさを認識し、
前記表示制御手段は、前記対象物の横方向の大きさに基づき前記関連情報を表示させるフォントを決定することを特徴とする請求項１乃至請求項３のいずれか一項に記載の表示装置。
【請求項６】
前記表示手段は、ヘッドアップディスプレイ又はヘッドマウントディスプレイであることを特徴とする請求項１乃至請求項５のいずれか一項に記載の表示装置。
【請求項７】
撮像部と、制御部と、表示部とを備える表示装置により実行される制御方法であって、
前記撮像部が撮影画像を取得する撮影画像取得工程と、
前記制御部が前記撮影画像内の対象物を特定する対象物特定工程と、
前記制御部が前記対象物に関する関連情報を取得する関連情報取得工程と、
前記制御部が前記撮影画像に基づいて前記対象物の形状を認識する特徴情報認識工程と、
前記制御部が前記対象物に関する関連情報を前記対象物と関連付けて前記表示部に表示させる表示制御工程と、を有し、
前記表示制御工程は、前記対象物の形状に基づいて、前記関連情報を表示させる際のフォントを決定することを特徴とする制御方法。
【請求項１】
撮影画像を取得する撮影画像取得手段と、
前記撮影画像内の対象物を特定する対象物特定手段と、
前記対象物に関する関連情報を取得する関連情報取得手段と、
前記撮影画像に基づいて前記対象物の形状を認識する特徴情報認識手段と、
前記対象物に関する関連情報を前記対象物と関連付けて表示手段に表示させる表示制御手段と、を有し、
前記表示制御手段は、前記対象物の形状に基づいて、前記関連情報を表示させる際のフォントを決定することを特徴とする表示装置。
【請求項２】
前記表示制御手段は、前記対象物の形状に基づいて、前記関連情報を表示させる際の文字の太さを決定することを特徴とする請求項１に記載の表示装置。
【請求項３】
前記特徴情報認識手段は、前記対象物の縦方向及び横方向の大きさを認識し、
前記表示制御手段は、前記対象物の縦方向の大きさに基づき前記関連情報を表示させる領域の縦方向の大きさを決定することを特徴とする請求項１又は請求項２に記載の表示装置。
【請求項４】
前記特徴情報認識手段は、前記対象物の縦方向及び横方向の大きさを認識し、
前記表示制御手段は、前記対象物の横方向の大きさに基づき前記関連情報を表示させる領域の横方向の大きさを決定することを特徴とする請求項１乃至請求項３のいずれか一項に記載の表示装置。
【請求項５】
前記特徴情報認識手段は、前記対象物の縦方向及び横方向の大きさを認識し、
前記表示制御手段は、前記対象物の横方向の大きさに基づき前記関連情報を表示させるフォントを決定することを特徴とする請求項１乃至請求項３のいずれか一項に記載の表示装置。
【請求項６】
前記表示手段は、ヘッドアップディスプレイ又はヘッドマウントディスプレイであることを特徴とする請求項１乃至請求項５のいずれか一項に記載の表示装置。
【請求項７】
撮像部と、制御部と、表示部とを備える表示装置により実行される制御方法であって、
前記撮像部が撮影画像を取得する撮影画像取得工程と、
前記制御部が前記撮影画像内の対象物を特定する対象物特定工程と、
前記制御部が前記対象物に関する関連情報を取得する関連情報取得工程と、
前記制御部が前記撮影画像に基づいて前記対象物の形状を認識する特徴情報認識工程と、
前記制御部が前記対象物に関する関連情報を前記対象物と関連付けて前記表示部に表示させる表示制御工程と、を有し、
前記表示制御工程は、前記対象物の形状に基づいて、前記関連情報を表示させる際のフォントを決定することを特徴とする制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−１５５３１３（Ｐ２０１２−１５５３１３Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−２３６２６８（Ｐ２０１１−２３６２６８）
【出願日】平成２３年１０月２７日（２０１１．１０．２７）
【分割の表示】特願２０１１−５２１０３５（Ｐ２０１１−５２１０３５）の分割
【原出願日】平成２３年１月２６日（２０１１．１．２６）
【出願人】（０００００５０１６）パイオニア株式会社 (3,620)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１０月２７日（２０１１．１０．２７）
【分割の表示】特願２０１１−５２１０３５（Ｐ２０１１−５２１０３５）の分割
【原出願日】平成２３年１月２６日（２０１１．１．２６）
【出願人】（０００００５０１６）パイオニア株式会社 (3,620)
【Ｆターム（参考）】
[ Back to top ]