表示制御装置、表示制御方法、およびプログラム
【課題】仮想オブジェクトの視認性を向上するための、表示制御装置、表示制御方法、およびプログラムを提供する。
【解決手段】実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトの表示を制御する制御部を備え、前記制御部は、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトに対する前記仮想オブジェクトの相対的な姿勢を変化させる、表示制御装置。
【解決手段】実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトの表示を制御する制御部を備え、前記制御部は、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトに対する前記仮想オブジェクトの相対的な姿勢を変化させる、表示制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示制御装置、表示制御方法、およびプログラムに関する。
【背景技術】
【0002】
近年、画像認識技術が高度化しており、撮像装置からの入力画像に含まれる実オブジェクト(例えば、看板やビルなどの物体)の位置や姿勢を認識することが可能となっている。このような物体認識の応用例の一つとして、AR(Augmented Reality:拡張現実)アプリケーションが知られている。ARアプリケーションによれば、実空間画像に含まれる実オブジェクトに、実オブジェクトに対応付けられた仮想オブジェクト(例えば、広告情報、ナビゲーション情報、またはゲームのための情報)を付加することができる。なお、このようなARアプリケーションについては例えば特許文献1に開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2010−49158号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、仮想オブジェクトは、実オブジェクトに対して一律的な姿勢で実オブジェクトに付加される傾向にある。このため、実オブジェクトの姿勢によっては、仮想オブジェクトの視認性が損なわれる場合がある。
【0005】
そこで、本開示では仮想オブジェクトの視認性を向上することが可能な、新規かつ改良された表示制御装置、表示制御方法、およびプログラムを提案する。
【課題を解決するための手段】
【0006】
本開示によれば、実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトの表示を制御する制御部を備え、前記制御部は、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトに対する前記仮想オブジェクトの相対的な姿勢を変化させる、表示制御装置が提供される。
【0007】
また、本開示によれば、実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトの姿勢を、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトに対して相対的に変化させる、表示制御方法が提供される。
【0008】
また、本開示によれば、コンピュータを、実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトの表示を制御する制御部であって、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトに対する前記仮想オブジェクトの相対的な姿勢を変化させる制御部、として機能させるためのプログラムが提供される。
【発明の効果】
【0009】
以上説明したように本開示に係る表示制御装置、表示制御方法、およびプログラムによれば、仮想オブジェクトの視認性を向上することが可能である。
【図面の簡単な説明】
【0010】
【図1】本開示によるARシステムの構成を示した説明図である。
【図2】仮想オブジェクトが付加された実空間画像の具体例を示した説明図である。
【図3】本開示の比較例を示した説明図である。
【図4】携帯端末のハードウェア構成を示した説明図である。
【図5】第1の実施形態による携帯端末の構成を示した機能ブロック図である。
【図6】実オブジェクトの正対状態を示した説明図である。
【図7】実オブジェクトの面がy軸回りに回転した状態を示した説明図である。
【図8】第1の実施形態による実空間画像へのラベルグラフィックの付加例を示した説明図である。
【図9】第1の実施形態による実空間画像へのラベルグラフィックの他の付加例を示した説明図である。
【図10】複数の実オブジェクトが存在する場合のラベルグラフィックの付加を示した説明図である。
【図11】実オブジェクトの面がx軸回りに回転した状態を示した説明図である。
【図12】第1の実施形態による実空間画像へのラベルグラフィックの付加例を示した説明図である。
【図13】第1の実施形態による携帯端末の動作を示したフローチャートである。
【図14】本開示の第2の実施形態によるARシステムの構成例を示した説明図である。
【図15】本開示の第2の実施形態による携帯端末の構成を示した機能ブロック図である。
【図16】第2の実施形態による実空間画像へのラベルグラフィックの付加例を示した説明図である。
【図17】第2の実施形態による他の実空間画像へのラベルグラフィックの付加例を示した説明図である。
【図18】第2の実施形態の変形例による実空間画像へのラベルグラフィックの付加例を示した説明図である。
【図19】第3の実施形態によるARシステムを示した説明図である。
【発明を実施するための形態】
【0011】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0012】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【0013】
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
1.ARシステムの概要
2.各実施形態の説明
2−1.第1の実施形態
2−2.第2の実施形態
2−3.第3の実施形態
3.むすび
【0014】
<<1.ARシステムの概要>>
本開示によるARシステムは、一例として「2−1.第1の実施形態」〜「2−3.第3の実施形態」において詳細に説明するように、多様な形態で実施され得る。また、各実施形態によるARシステムを構成する表示制御装置(携帯端末20、ARサーバ30)は、
A.実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトの表示を制御する制御部(241、242)を備え、
B.制御部は、実空間画像における実オブジェクトの姿勢に応じ、実オブジェクトに対する前記仮想オブジェクトの相対的な姿勢を変化させる。
【0015】
以下では、まず、このような各実施形態において共通するARシステムの基本構成について図1および図2を参照して説明する。
【0016】
図1は、本開示によるARシステムの構成を示した説明図である。図1に示したように、本開示によるARシステムは、撮像機能を有する携帯端末20を含む。この携帯端末20は、実空間画像を撮像し、実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトを実空間画像に付加してディスプレイ26に表示することができる。
【0017】
例えば、携帯端末20により撮像された実オブジェクトが図1に示したような電車の発着時刻を示す駅時刻表40Aである場合、携帯端末20は、駅時刻表40Aに対応する仮想オブジェクトが付加された実空間画像をディスプレイ26に表示することが可能である。以下、図2を参照し、仮想オブジェクトが付加された実空間画像についてより具体的に説明する。
【0018】
図2は、仮想オブジェクトが付加された実空間画像の具体例を示した説明図である。図2に示したように、実空間画像Pは、実オブジェクトである駅時刻表40A、及び駅時刻表40Aに付加された仮想オブジェクトであるラベルグラフィック50Aを含む。図2に示したように、ラベルグラフィック50Aは例えば駅時刻表40Aと同一平面に付加される。ユーザは、このような仮想オブジェクトが付加された実空間画像を視認することにより、実空間から直接には得られない情報(図2の場合、例えば実オブジェクトが時刻表であること。)を把握することができる。
【0019】
さらに、ユーザは、表示画面において所定の操作を行うことにより、実空間画像に含まれる仮想オブジェクトの表示を変化させることが可能である。例えば、1の実オブジェクトに複数の仮想オブジェクトが関連付けられている場合、携帯端末20は、ユーザ操作に応じて複数の仮想オブジェクトのうちで表示する仮想オブジェクトを切り替えてもよい。より具体的に説明すると、駅時刻表40Aにラベルグラフィック50Aおよび周辺マップを示す仮想オブジェクトが関連付けられている場合、携帯端末20は、ユーザ操作に応じて駅時刻表40Aの表示上に周辺マップを示す仮想オブジェクトを重畳してもよい。
【0020】
なお、上記のように1の実オブジェクトに複数の仮想オブジェクトが関連付けられている場合、携帯端末20は、関連付けられている仮想オブジェクトを識別するタブグラフィックを実オブジェクトに付加してもよい。例えば、携帯端末20は、ラベルグラフィック50Aに加え、「周辺マップ」というテキスト情報からなるタブグラフィックを時刻表40Aに付加してもよい。
【0021】
以上、壁に配置された駅時刻表40Aを実オブジェクトの一例として説明したが、図1に示した床に配置される出口案内40Bも実オブジェクトとして同様に扱うことが可能である。さらに、実オブジェクトは、看板、ビル、乗り物、食品、または玩具などの物体や、QRコードやARマーカーのような識別パターンであってもよい。
【0022】
また、図1においては、携帯端末20の一例としてスマートフォンを示したが、携帯端末20はスマートフォンに限定されない。例えば、携帯端末20は、PDA(Personal Digital Assistants)、携帯電話、携帯用音楽再生装置、携帯用映像処理装置、または携帯用ゲーム機器であってもよい。さらに、携帯端末20は表示制御装置の一例に過ぎず、表示制御装置はネットワーク側に設けられるサーバであってもよい。
【0023】
ところで、上述したラベルグラフィック50を一律的に実オブジェクト40と同一平面に付加すると、ラベルグラフィック50の視認性や操作性が損なわれる場合がある。例えば、図3に示したように、駅時刻表40Aを構成する平面と実空間画像の撮像光軸の成す角度が浅い場合にラベルグラフィック50A’を駅時刻表40Aと同一平面に付加すると、傾きの大きさによりラベルグラフィック50A’の表示が小さくなるので、視認性が下がる。さらに、ラベルグラフィック50A’がユーザにより操作可能な領域である場合、ラベルグラフィック50A’の表示が小さいと操作判定領域も極端に小さくなってしまう。
【0024】
そこで、上記事情を一着眼点にして本開示の実施形態を創作するに至った。本開示の実施形態によれば、仮想オブジェクトの視認性および操作性を向上することが可能である。以下、図4を参照してこのような携帯端末20のハードウェア構成を説明した後、本開示の各実施形態について順次詳細に説明する。
【0025】
(携帯端末のハードウェア構成)
図4は、携帯端末20のハードウェア構成を示した説明図である。図3に示したように、携帯端末20は、CPU(Central Processing Unit)201と、ROM(Read Only Memory)202と、RAM(Random Access Memory)203と、入力装置208と、出力装置210と、ストレージ装置211と、ドライブ212と、撮像装置213と、通信装置215とを備える。
【0026】
CPU201は、演算処理装置および制御装置として機能し、各種プログラムに従って無線通信装置20内の動作全般を制御する。また、CPU201は、マイクロプロセッサであってもよい。ROM202は、CPU201が使用するプログラムや演算パラメータ等を記憶する。RAM203は、CPU201の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバスにより相互に接続されている。
【0027】
入力装置208は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU201に出力する入力制御回路などから構成されている。携帯端末20のユーザは、該入力装置208を操作することにより、携帯端末20に対して各種のデータを入力したり処理動作を指示したりすることができる。
【0028】
出力装置210は、例えば、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置およびランプなどの表示装置を含む。さらに、出力装置210は、スピーカおよびヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。
【0029】
ストレージ装置211は、本実施形態にかかる携帯端末20の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置211は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置211は、CPU201が実行するプログラムや各種データを格納する。
【0030】
ドライブ212は、記憶媒体用リーダライタであり、携帯端末20に内蔵、あるいは外付けされる。ドライブ212は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体24に記録されている情報を読み出して、RAM203に出力する。また、ドライブ212は、リムーバブル記憶媒体24に情報を書き込むこともできる。
【0031】
撮像装置213は、光を集光する撮影レンズおよびズームレンズなどの撮像光学系、およびCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの信号変換素子を備える。撮像光学系は、被写体から発せられる光を集光して信号変換部に被写体像を形成し、信号変換素子は、形成された被写体像を電気的な画像信号に変換する。
【0032】
通信装置215は、例えば、ネットワーク12に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置215は、無線LAN(Local Area Network)対応通信装置であっても、LTE(Long Term Evolution)対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【0033】
なお、ネットワーク12は、ネットワーク12に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク12は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク12は、IP−VPN(Internet Protocol−Virtual Private Network)などの専用回線網を含んでもよい。
【0034】
<<2.各実施形態の説明>>
以上、図1〜図4を参照し、本開示によるARシステムの基本構成を説明した。以下、図5〜図19を参照し、本開示による第1の実施形態〜第3の実施形態について詳細に説明する。
【0035】
<2−1.第1の実施形態>
−−−携帯端末の構成−−−
図5は、第1の実施形態による携帯端末20−1の構成を示した機能ブロック図である。図5に示したように、第1の実施形態による携帯端末20−1は、ディスプレイ26と、タッチパネル27と、撮像装置213と、特徴量DB220と、画像認識部224と、仮想オブジェクトDB228と、仮想オブジェクト取得部232と、制御部241と、を備える。
【0036】
ディスプレイ26は、LCDまたはOLEDなどにより構成される表示モジュールである。ディスプレイ26は、制御部241による制御に従って多様な画面を表示する。例えば、ディスプレイ26は、撮像装置213により撮像中の実空間画像および実オブジェクトに付加される仮想オブジェクトを表示する。
【0037】
なお、図5においてはディスプレイ26が携帯端末20−1の一部として実装される例を示したが、ディスプレイ26は、携帯端末20−1とは別体に構成されてもよい。また、ディスプレイ26は、ユーザの頭部に装着されるHMD(Head Mounted Display)であってもよい。
【0038】
タッチパネル27は、ディスプレイ26に積層される操作検出部である。タッチパネル27は、ユーザの指やタッチペンなどの操作体の近接または接触を検出することができる。なお、タッチパネル27は操作検出部の一例に過ぎず、携帯端末20−1は、キーボードおよびボタンなどの他の操作用の構成を含んでもよい。
【0039】
撮像装置213は、図4を参照して説明したように、撮像光学系および信号変換素子を備え、制御部241による制御に従って実空間画像(動画または静止画)を撮像する。なお、撮像装置213は、動画撮像用の構成と、静止画撮像用の構成を別個に備えてもよい。
【0040】
特徴量DB220は、実オブジェクトの画像の特徴量データを記憶するデータベースである。具体的には、特徴量DB220においては、各実オブジェクトを識別するための識別情報と、各実オブジェクトの特徴量データが関連付けられる。特徴量データは、例えば、SIFT法またはRandom Ferns法に従って実オブジェクトの学習用画像から決定された特徴量の集合であってもよい。
【0041】
画像認識部224は、撮像装置213により撮像された実空間画像に含まれる実オブジェクト、および当該実オブジェクトの実空間画像における位置および姿勢を認識する。例えば、画像認識部224は、実空間画像から決定される特徴量をデータベース220に記憶されている各実オブジェクトの特徴量と照合することにより、実空間画像に含まれる実オブジェクトを認識する。より具体的には、画像認識部224は、SIFT法またはRandom Ferns法などの特徴量決定法に従って実空間画像内の実オブジェクトの特徴量を決定し、決定した特徴量をデータベース220に記憶されている各実オブジェクトの特徴量と照合する。そして、画像認識部224は、実空間画像内の実オブジェクトの特徴量と最も適合する特徴量と関連付けられている実オブジェクトの識別情報、実空間画像における位置および姿勢を認識する。
【0042】
なお、画像認識部224は、既知の図形若しくは記号、人工マーカ(例えば、バーコード若しくはQRコード)又は自然マーカなどの実オブジェクトを認識し、当該実オブジェクトの実空間画像におけるサイズおよび形状から当該実オブジェクトの位置及び姿勢を認識してもよい。
【0043】
また、上記では、実空間画像に含まれる実オブジェクトを画像処理により認識する例を説明したが、実オブジェクトの認識方法は画像処理に限定されない。例えば、撮像装置213が向けられている方向、および携帯端末20−1の現在位置を検出し、検出結果に基づいて実空間画像に含まれている実オブジェクト、実空間画像における当該実オブジェクトの位置および姿勢を推定することも可能である。
【0044】
仮想オブジェクトDB228は、実オブジェクトに付加するための仮想オブジェクトを記憶するデータベースである。具体的には、仮想オブジェクトDB228においては、仮想オブジェクトの識別情報、実オブジェクトの識別情報、実オブジェクトからの相対的な表示位置を示す設定情報、およびユーザに呈示される仮想オブジェクトが関連付けられる。仮想オブジェクトには、例えば図2を参照して説明したようなラベルグラフィック50が該当するが、ラベルグラフィック50は仮想オブジェクトの一例に過ぎない。仮想オブジェクトは、テキスト形式であってもよいし、イメージ形式であってもよい。
【0045】
仮想オブジェクト取得部232は、画像認識部224により認識された実オブジェクトに対応する仮想オブジェクトおよび設定情報を取得する。例えば、仮想オブジェクト取得部232は、画像認識部224により認識された実オブジェクトの識別情報に関連付けられている仮想オブジェクトおよび設定情報を仮想オブジェクトDB228から取得する。
【0046】
制御部241は、携帯端末20−1の動作全般を制御する。例えば、制御部241は、仮想オブジェクト取得部232により取得された仮想オブジェクトを実空間画像に付加し、仮想オブジェクトが付加された実空間画像をディスプレイ26に表示させる。
【0047】
ここで、制御部241は、実空間画像における実オブジェクトの姿勢に応じ、実オブジェクトに対する仮想オブジェクトの相対的な姿勢を変化させる。例えば、制御部241は、実オブジェクトの面の、実空間画像の撮像光軸と交差する軸回りの回転角に応じ、実オブジェクトの面と同一の面(、平面および曲面を含む。面という語に関し、以下同様である。)、前記実オブジェクトの面と平行な面、前記実オブジェクトの面と所定の関係にある面、または前記実オブジェクトの面と異なる面などに前記仮想オブジェクトを付加する。
【0048】
具体例として、制御部241は、実オブジェクトの正対状態を基準とする上記軸回りの回転角が所定値未満である場合には実オブジェクトの面と同一または平行な面上に仮想オブジェクトを付加してもよい。一方、制御部241は、正対状態を基準とする上記軸回りの回転角が所定値以上である場合には実オブジェクトの面と異なる面上に仮想オブジェクトを付加してもよい。以下、このような制御部241の機能をより詳細に説明する。
【0049】
(正対状態)
まず、図6を参照し、実オブジェクトの正対状態について説明する。図6は、実オブジェクトの正対状態を示した説明図である。なお、本明細書で用いるz軸は実空間画像の撮像光軸であり、x軸は実空間画像の水平方向に沿う軸であり、y軸は実空間画像の鉛直方向に沿う軸であり、x軸、y軸およびz軸は各々直交する。
【0050】
図6に示したように、正対状態は、実オブジェクト40の面が撮像光軸であるz軸と直交する状態である。なお、図6に示した実オブジェクト40の面は、実オブジェクト40の実際の面と異なってもよく、実オブジェクト40に関して事前に定義されている面であってもよい。以下では、この正対状態を基準とする実オブジェクト40の面の回転角を議論する。ただし、回転角の基準となる状態は正対状態に限られず、実オブジェクトの他の姿勢を基準状態として扱ってもよい。
【0051】
(y軸回りの回転角α)
図7は、実オブジェクト40の面がy軸回りに回転した状態を示した説明図である。本明細書においては、図7に示したように、正対状態を基準とするy軸回りの実オブジェクト40の面の回転角をαと称する。
【0052】
(回転角αに基づく表示制御)
制御部241は、回転角αが所定値未満である場合、実オブジェクトの面と同一または平行な平面上に仮想オブジェクトであるラベルグラフィックを付加してもよい。一方、制御部241は、回転角αが所定値以上である場合、実オブジェクトの面と異なる平面上にラベルグラフィックを付加してもよい。以下、この点について図8〜図10を参照して具体的に説明する。
【0053】
図8は、第1の実施形態による実空間画像へのラベルグラフィックの付加例を示した説明図である。図8に示したように、駅時刻表40Aの回転角αが所定値以上である場合、制御部241は、駅時刻表40Aと直交する平面上(x−z平面において駅時刻表40Aと90度または270度を形成する平面上)にラベルグラフィック50Aを付加してもよい。かかる構成により、ラベルグラフィック50Aの表示面積の拡大しつつ、正対状態を基準とする傾きを低減できるので、ラベルグラフィック50Aの視認性を向上することが可能となる。
【0054】
さらに、ラベルグラフィック50Aのような仮想オブジェクトを図8に示したように実オブジェクトと重ならない領域に付加することにより、実オブジェクトの視認性を確保することができる。
【0055】
なお、制御部241は、実オブジェクトの回転角αが所定値より大きくなったことによりラベルグラフィック50Aの相対的な姿勢を変化させる場合、ユーザが変化を認識できるように、姿勢変化の過程をアニメーションで表現してもよい。
【0056】
図9は、第1の実施形態による実空間画像へのラベルグラフィックの他の付加例を示した説明図である。図9に示したように、駅時刻表40Aの回転角αが所定値以上である場合、制御部241は、撮像光軸であるz軸と直交する平面上(すなわち、x−y平面上)にラベルグラフィック50Aを付加してもよい。かかる構成により、上記同様にラベルグラフィック50Aの視認性を確保することが可能となる。
【0057】
なお、制御部241は、図10に示したように実空間画像に複数の実オブジェクト40L、40M、40Nが含まれる場合、各実オブジェクト40の各々に対応するラベルグラフィック50L、50Mおよび50Nが重ならないように各ラベルグラフィック50を付加してもよい。かかる構成により、各ラベルグラフィック50の視認性を確保することが可能である。
【0058】
以上、図7〜図10を参照して実オブジェクト40の面がy軸回りに回転した場合の表示制御について説明したが、以下に説明するように、実オブジェクト40の面がx軸回りに回転した場合にも同様の表示制御を実現可能である。
【0059】
(x軸回りの回転角β)
図11は、実オブジェクト40の面がx軸回りに回転した状態を示した説明図である。本明細書においては、図11に示したように、正対状態を基準とするx軸回りの実オブジェクト40の面の回転角をβと称する。
【0060】
(回転角βに基づく表示制御)
制御部241は、回転角βが所定値(回転角αに関する所定値と同一であってもよいし、異なってもよい。)未満である場合、実オブジェクトの面と同一または平行な平面上にラベルグラフィックを付加してもよい。一方、制御部241は、回転角βが所定値以上である場合、実オブジェクトの面と異なる平面上にラベルグラフィックを付加してもよい。以下、この点について図12を参照して具体的に説明する。
【0061】
図12は、第1の実施形態による実空間画像へのラベルグラフィックの付加例を示した説明図である。図12に示したように、出口案内40Bの回転角βが所定値以上である場合、制御部241は、撮像光軸であるz軸と直交する平面上(すなわち、x−y平面上)にラベルグラフィック50Bを付加してもよい。かかる構成により、ラベルグラフィック50Bの表示面積の拡大しつつ、ラベルグラフィック50Bを正対状態で表示できるので、ラベルグラフィック50Bの視認性を向上することが可能となる。
【0062】
なお、出口案内40Bの回転角βが所定値以上である場合、制御部241は、出口案内40Bと直交する平面上(y−z平面において出口案内40Bと90度または270度を形成する平面上)にラベルグラフィック50Aを付加してもよい。かかる構成によっても、上記同様にラベルグラフィック50Bの視認性を向上することが可能である。
【0063】
(補足)
・認識できていた実オブジェクトが認識できなくなった場合
実空間画像において認識できていた実オブジェクトが携帯端末20−1との位置関係の変化により認識できなくなる場合がある。例えば、図8に示した実オブジェクト40Aの面がさらにy軸回りに反時計方向に回転した場合、実空間画像に実オブジェクト40Aの面が含まれなくなるので、画像認識部224は実オブジェクト40Aを認識できなくなる。その結果、ラベルグラフィックも画面から消え得る。
【0064】
しかし、実空間画像上に映っている実オブジェクトの認識が難しい場合にほど、その実オブジェクトに関する情報をユーザに伝える意義が高いと考えられる。そこで、制御部241は、認識できていた実オブジェクトが認識できなくなった場合、以前の認識結果に基づき、当該実オブジェクトに対応するラベルグラフィックを維持してもよい。例えば、制御部241は、実オブジェクトを認識できなくなる直前の実オブジェクトの位置、姿勢に応じた位置、姿勢で、所定期間にわたってラベルグラフィックを維持してもよい。かかる構成により、実空間画像からは視認が困難である実オブジェクトに関する情報をユーザに伝えることが可能となる。
【0065】
・制御部が着目する回転角
上記では、y軸回りの回転角α、またはx軸回りの回転角βのいずれかが所定値以上である場合に制御部241がラベルグラフィックの実オブジェクトに対する相対的な姿勢を変化させる例を説明したが、本技術はかかる例に限定されない。より詳細に説明すると、ラベルグラフィックが付加される位置や向きによっては、ある座標軸回りの回転角が大きくても、ラベルグラフィックの視認性や操作性に与える影響が少ない場合がある。例えば、図2に示したように、ラベルグラフィック50Aが実オブジェクト40Aのy軸方向に沿う辺上に付加される場合、実オブジェクト40Aのx軸回りの回転角がラベルグラフィック50Aの視認性に与える影響は比較的少ない。
【0066】
そこで、制御部241は、実オブジェクトの面が正対状態である場合にラベルグラフィックを付加する辺の方向に沿う座標軸に着目し、この座標軸回りの回転角が所定値以上であるか否かに応じてラベルグラフィックの姿勢を制御してもよい。例えば、図12に示したラベルグラフィック50Bは出口案内40Bの面が正対状態である場合にx軸方向の辺に付加されるので、制御部241は、ラベルグラフィック50Bの姿勢制御に関してはx軸回りの回転角のみに着目してもよい。なお、実オブジェクト40Aの姿勢は、x軸回りの回転角、y軸回りの回転角、およびz軸回りの回転角などの成分ごとに表現することが可能である。
【0067】
−−−携帯端末の動作−−−
以上、図5〜図12を参照して第1の実施形態による携帯端末20−1の構成を説明した。続いて、図13を参照し、第1の実施形態による携帯端末20−1の動作を説明する。
【0068】
図13は、第1の実施形態による携帯端末20−1の動作を示したフローチャートである。図13に示したように、撮像装置213により実空間画像が撮像されると、画像認識部224が、実空間画像に含まれる実オブジェクトの識別、および実オブジェクトの位置、姿勢、およびスケールなどを認識する(S310)。
【0069】
続いて、仮想オブジェクト取得部232が、画像認識部224による認識結果に基づいて実オブジェクトに対応する仮想オブジェクトを取得する(S320)。
【0070】
その後、制御部241は、画像認識部224により認識された実オブジェクトの正対状態を基準とする回転角が所定値以上であるか否かを判断する(S330)。回転角が所定値未満である場合(S330/no)、制御部241は仮想オブジェクトを実オブジェクトの面と同一または並行する平面上に付加する(S340)。
【0071】
一方、制御部241は、回転角が所定値以上である場合(S330/yes)、仮想オブジェクトを実オブジェクトと異なる平面に付加する(S350)。例えば、制御部241は、回転角が所定値以上である場合(S330/yes)、仮想オブジェクトを撮像光軸であるz軸と直交する平面上に付加してもよい。かかる構成により、仮想オブジェクトを正対状態で表示できるので、ラベルグラフィック50Bの視認性を向上することが可能となる。
【0072】
<2−2.第2の実施形態>
以上、図5〜図13を参照して本開示の第1の実施形態を説明した。続いて、図14〜図18を参照し、本開示の第2の実施形態を説明する。本開示の第2の実施形態では、実オブジェクトが複数の面を有する場合の仮想オブジェクトの表示方法を提案する。
【0073】
(第2の実施形態によるARシステム)
図14は、本開示の第2の実施形態によるARシステムの構成例を示した説明図である。第2の実施形態によるARシステムは、図14に示したように携帯端末20−2を含み、この携帯端末20−2が牛乳パック40Cのような複数の面を有する実オブジェクトを撮像する場合に適用される。図14に示した牛乳パック40Cは、複数の面として、商品名が印刷された第1の面42、および、原材料名が印刷された第2の面44を有する。
【0074】
(第2の実施形態による携帯端末の構成)
図15は、本開示の第2の実施形態による携帯端末20−2の構成を示した機能ブロック図である。図15に示したように、第2の実施形態による携帯端末20−2は、ディスプレイ26と、タッチパネル27と、撮像装置213と、特徴量DB220と、画像認識部224と、仮想オブジェクトDB228と、仮想オブジェクト取得部232と、制御部242と、を備える。ディスプレイ26、タッチパネル27、撮像装置213、特徴量DB220、画像認識部224、仮想オブジェクトDB228、および仮想オブジェクト取得部232の機能は第1の実施形態で説明した通りであるので、以下では、第1の実施形態と異なる構成について主に説明する。
【0075】
制御部242は、第1の実施形態による制御部241の機能の全部または一部に加え、主面判断部250の機能、および主面判断部250による判断結果に応じた姿勢で仮想オブジェクトを付加する機能を有する。
【0076】
主面判断部250は、実空間画像に含まれる実オブジェクトが複数の面を有する場合、複数の面のうちの主面を判断する。例えば、主面判断部250は、複数の面のうちで、画像認識部224による認識面積が最も広い面を主面として判断してもよい。または、主面判断部250は、複数の面のうちで、撮像光軸であるz軸との直交性が最も高い面(正対状態に最も近い面)を主面として判断してもよい。さらに、主面は、実オブジェクトごとに事前に定義されていてもよい。
【0077】
制御部242は、主面判断部250により判断された主面に対し、実オブジェクトに対応するラベルグラフィック(仮想オブジェクト)を付加する。以下、図16を参照し、より具体的に説明する。
【0078】
図16は、第2の実施形態による実空間画像へのラベルグラフィックの付加例を示した説明図である。図16に示した実空間画像においては、牛乳パック40Cの第1の面42の方が、第2の面よりも認識面積が広く、かつ、正対状態に近い。このため、主面判断部250は、牛乳パック40Cの第1の面42および第2の面44のうちで、第1の面42を主面と判断する。
【0079】
このため、制御部242は、主面判断部250により主面と判断された第1の面42に対してラベルグラフィック50Cを付加する。なお、図16においては、ラベルグラフィック50Cが値段表示である例を示しているが、ラベルグラフィック50Cは値段表示に限定されない。ラベルグラフィック50Cは、例えば、賞味期限情報、クーポン情報、および公告情報など、牛乳パック40Cに関連付けられたどのような情報であってもよい。
【0080】
図17は、第2の実施形態による他の実空間画像へのラベルグラフィックの付加例を示した説明図である。図17に示した実空間画像においては、牛乳パック40Cの第2の面44の方が、第1の面よりも認識面積が広く、かつ、正対状態に近い。このため、主面判断部250は、牛乳パック40Cの第1の面42および第2の面44のうちで、第2の面44を主面と判断する。
【0081】
このため、制御部242は、主面判断部250により主面と判断された第2の面44に対してラベルグラフィック50Cを付加する。なお、図16および図17に示したように、ラベルグラフィック50Cを付加する面に応じ、ラベルグラフィック50Cの牛乳パック40Cに対する相対的な姿勢も変化する。
【0082】
(補足)
上記では、いずれの面が主面である場合にも同一のラベルグラフィックを付加する例を説明したが、本実施形態はかかる例に限定されない。他の例として、仮想オブジェクトDB228には、実オブジェクトの面の各々にラベルグラフィックが対応付けられていてもよく、この場合、制御部242は、図18に示すように、主面に応じて異なるラベルグラフィックを付加してもよい。
【0083】
図18は、第2の実施形態の変形例による実空間画像へのラベルグラフィックの付加例を示した説明図である。図18に示したように、制御部242は、第2の面44が主面である場合、第1の面42が主面である場合のラベルグラフィック50Cと異なる、賞味期限を示すラベルグラフィック50C’を第2の面44に付加してもよい。かかる構成により、実オブジェクトを撮像する角度に応じて多様な情報をユーザに呈示することが可能となる。
【0084】
同様の趣旨により、制御部242は、複数の面の全てに、各面に対応するラベルグラフィックを付加してもよい。さらに、制御部242は、第1の実施形態において説明したように、ラベルグラフィック50Cを付加する面の回転角に応じ、ラベルグラフィック50Cの牛乳パック40Cに対する相対的な姿勢を変化させてもよい。
【0085】
<2−3.第3の実施形態>
以上、本開示の第2の実施形態を説明した。続いて、本開示の第3の実施形態を説明する。第1および第2の実施形態では携帯端末が単独でARを実現する例を説明したが、本開示の第3の実施形態のように、携帯端末とネットワーク側に配置されたサーバとが共同してARを実現することも可能である。
【0086】
図19は、第3の実施形態によるARシステムを示した説明図である。図19に示したように、第3の実施形態によるARシステムは、携帯端末20−3と、ネットワーク12と、ARサーバ30と、を含む。
【0087】
このような第3の実施形態によれば、ARのための機能の一部をARサーバ30に実装することによりクラウドコンピューティングを実現することができる。例えば、仮想オブジェクトDB、および仮想オブジェクト取得部の機能をARサーバ30に実装してもよい。この場合、携帯端末20−3は、実オブジェクトの認識結果を仮想オブジェクトの取得要求としてARサーバ30に送信することにより、実オブジェクトに対応する仮想オブジェクトをARサーバ30から受信することが可能である。
【0088】
また、画像認識部および特徴量DBの機能もARサーバ30に実装してもよい。この場合、携帯端末20−3は、撮像装置213により撮像された画像をARサーバ30に送信し、ARサーバ30が、実オブジェクトの認識および仮想オブジェクトの取得を行い、仮想オブジェクトを携帯端末20−4に送信してもよい。
【0089】
さらに、仮想オブジェクトの実空間画像への付加機能をARサーバ30に実装してもよい。この場合、携帯端末20−3は、撮像装置213により撮像された実空間画像をARサーバ30に送信し、ARサーバ30が、実オブジェクトの認識、仮想オブジェクトの取得、および仮想オブジェクトの付加を行い、仮想オブジェクトが付加された実空間画像を携帯端末20−3に送信してもよい。このように仮想オブジェクトの実空間画像への付加機能をARサーバ30に実装する場合、ARサーバ30が表示制御装置として機能することとなる。
【0090】
<<3.むすび>>
以上説明したように、本開示による携帯端末20は、実空間画像における実オブジェクトの姿勢に応じ、ラベルグラフィックを実オブジェクトと同一面、または、実オブジェクトと異なる面に付加する。かかる構成により、ラベルグラフィックの視認性および操作性を向上することが可能である。
【0091】
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0092】
例えば、本明細書の携帯端末20の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、携帯端末20の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【0093】
また、携帯端末20またはARサーバ30に内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上述した携帯端末20またはARサーバ30の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【0094】
また、以下のような構成も本開示の技術的範囲に属する。
(1)
実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトの表示を制御する制御部を備え、
前記制御部は、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトに対する前記仮想オブジェクトの相対的な姿勢を変化させる、表示制御装置。
(2)
前記制御部は、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトの面と同一の面、前記実オブジェクトの面と平行な面、前記実オブジェクトの面と所定の関係にある面、または前記実オブジェクトの面と異なる面に前記仮想オブジェクトを付加する、(1)に記載の表示制御装置。
(3)
前記制御部は、前記実オブジェクトの面の、前記実空間画像の撮像光軸と交差する交差軸回りの回転角に応じた相対的な姿勢で、前記実オブジェクトの面に前記仮想オブジェクトを付加する、(1)または(2)に記載の表示制御装置。
(4)
前記制御部は、
前記実オブジェクトの面が前記撮像光軸に直交する正対状態を基準とする前記交差軸回りの回転角が所定値未満である場合には前記実オブジェクトの面と同一または平行な面上に前記仮想オブジェクトを付加し、
前記正対状態を基準とする前記交差軸回りの回転角が所定値以上である場合には前記実オブジェクトの面と異なる面上に前記仮想オブジェクトを付加する、(3)に記載の表示制御装置。
(5)
前記制御部は、前記正対状態を基準とする前記交差軸回りの回転角が所定値以上である場合には、前記実オブジェクトの面と直交する面上、または、前記撮像装置の光軸と直交する面上に前記仮想オブジェクトを付加する、(4)に記載の表示制御装置。
(6)
前記仮想オブジェクトは、前記実オブジェクトの面を構成するいずれかの辺に対応するように付加され、
前記交差軸は、前記実オブジェクトの面が前記正対状態である場合に前記仮想オブジェクトが付加される辺の方向に沿う軸である、(3)〜(5)のいずれか一項に記載の表示制御装置。
(7)
前記制御部は、前記仮想オブジェクトを、前記実オブジェクトと重ならない位置に付加する、(1)〜(6)のいずれか一項に記載の表示制御装置。
(8)
前記制御部は、実空間画像に複数の実オブジェクトが含まれる場合、前記複数の実オブジェクトの各々に対応する仮想オブジェクトが重ならないように各仮想オブジェクトを付加する、(1)〜(7)のいずれか一項に記載の表示制御装置。
(9)
前記制御部は、前記仮想オブジェクトの相対的な姿勢を変化させる場合、変化の過程を表示装置に表示させる、(1)〜(8)のいずれか一項に記載の表示制御装置。
(10)
前記制御部は、前記実オブジェクトから複数の面が検出された場合、複数の面のうちの主面に対して前記仮想オブジェクトを付加する、(1)〜(9)のいずれか一項に記載の表示制御装置。
(11)
前記制御部は、前記主面に該当する面に応じ、異なる仮想オブジェクトを前記主面に付加する、(10)に記載の表示制御装置。
(12)
前記主面は、前記複数の面のうちで、前記撮像光軸との直交性が最も高い面である、(10)に記載の表示制御装置。
(13)
前記主面は、前記複数の面のうちで、前記実空間画像における認識面積が最も広い面である、(10)に記載の表示制御装置。
(14)
前記主面は、前記複数の面のうちで事前に定義されている面である、(10)に記載の表示制御装置。
(15)
実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトの姿勢を、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトに対して相対的に変化させる、表示制御方法。
(16)
コンピュータを、
実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトの表示を制御する制御部であって、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトに対する前記仮想オブジェクトの相対的な姿勢を変化させる制御部、として機能させるための、プログラム。
(17)
前記制御部は、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトの面と同一の面、前記実オブジェクトの面と平行な面、前記実オブジェクトの面と所定の関係にある面、または前記実オブジェクトの面と異なる面に前記仮想オブジェクトを付加する、(16)に記載のプログラム。
(18)
前記制御部は、前記実オブジェクトの面の、前記実空間画像の撮像光軸と交差する交差軸回りの回転角に応じた相対的な姿勢で、前記実オブジェクトの面に前記仮想オブジェクトを付加する、(16)または(17)に記載のプログラム。
(19)
前記制御部は、
前記実オブジェクトの面が前記撮像光軸に直交する正対状態を基準とする前記交差軸回りの回転角が所定値未満である場合には前記実オブジェクトの面と同一または平行な面上に前記仮想オブジェクトを付加し、
前記正対状態を基準とする前記交差軸回りの回転角が所定値以上である場合には前記実オブジェクトの面と異なる面上に前記仮想オブジェクトを付加する、(18)に記載のプログラム。
(20)
前記制御部は、前記実オブジェクトから複数の面が検出された場合、複数の面のうちの主面に対して前記仮想オブジェクトを付加する、(16)〜(19)のいずれか一項に記載のプログラム。
【符号の説明】
【0095】
20 携帯端末
26 ディスプレイ
27 タッチパネル
30 ARサーバ
213 撮像装置
220 特徴量DB
224 画像認識部
228、328 仮想オブジェクトDB
232、332 仮想オブジェクト取得部
241、242 制御部
250 主面判断部
【技術分野】
【0001】
本発明は、表示制御装置、表示制御方法、およびプログラムに関する。
【背景技術】
【0002】
近年、画像認識技術が高度化しており、撮像装置からの入力画像に含まれる実オブジェクト(例えば、看板やビルなどの物体)の位置や姿勢を認識することが可能となっている。このような物体認識の応用例の一つとして、AR(Augmented Reality:拡張現実)アプリケーションが知られている。ARアプリケーションによれば、実空間画像に含まれる実オブジェクトに、実オブジェクトに対応付けられた仮想オブジェクト(例えば、広告情報、ナビゲーション情報、またはゲームのための情報)を付加することができる。なお、このようなARアプリケーションについては例えば特許文献1に開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2010−49158号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、仮想オブジェクトは、実オブジェクトに対して一律的な姿勢で実オブジェクトに付加される傾向にある。このため、実オブジェクトの姿勢によっては、仮想オブジェクトの視認性が損なわれる場合がある。
【0005】
そこで、本開示では仮想オブジェクトの視認性を向上することが可能な、新規かつ改良された表示制御装置、表示制御方法、およびプログラムを提案する。
【課題を解決するための手段】
【0006】
本開示によれば、実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトの表示を制御する制御部を備え、前記制御部は、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトに対する前記仮想オブジェクトの相対的な姿勢を変化させる、表示制御装置が提供される。
【0007】
また、本開示によれば、実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトの姿勢を、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトに対して相対的に変化させる、表示制御方法が提供される。
【0008】
また、本開示によれば、コンピュータを、実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトの表示を制御する制御部であって、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトに対する前記仮想オブジェクトの相対的な姿勢を変化させる制御部、として機能させるためのプログラムが提供される。
【発明の効果】
【0009】
以上説明したように本開示に係る表示制御装置、表示制御方法、およびプログラムによれば、仮想オブジェクトの視認性を向上することが可能である。
【図面の簡単な説明】
【0010】
【図1】本開示によるARシステムの構成を示した説明図である。
【図2】仮想オブジェクトが付加された実空間画像の具体例を示した説明図である。
【図3】本開示の比較例を示した説明図である。
【図4】携帯端末のハードウェア構成を示した説明図である。
【図5】第1の実施形態による携帯端末の構成を示した機能ブロック図である。
【図6】実オブジェクトの正対状態を示した説明図である。
【図7】実オブジェクトの面がy軸回りに回転した状態を示した説明図である。
【図8】第1の実施形態による実空間画像へのラベルグラフィックの付加例を示した説明図である。
【図9】第1の実施形態による実空間画像へのラベルグラフィックの他の付加例を示した説明図である。
【図10】複数の実オブジェクトが存在する場合のラベルグラフィックの付加を示した説明図である。
【図11】実オブジェクトの面がx軸回りに回転した状態を示した説明図である。
【図12】第1の実施形態による実空間画像へのラベルグラフィックの付加例を示した説明図である。
【図13】第1の実施形態による携帯端末の動作を示したフローチャートである。
【図14】本開示の第2の実施形態によるARシステムの構成例を示した説明図である。
【図15】本開示の第2の実施形態による携帯端末の構成を示した機能ブロック図である。
【図16】第2の実施形態による実空間画像へのラベルグラフィックの付加例を示した説明図である。
【図17】第2の実施形態による他の実空間画像へのラベルグラフィックの付加例を示した説明図である。
【図18】第2の実施形態の変形例による実空間画像へのラベルグラフィックの付加例を示した説明図である。
【図19】第3の実施形態によるARシステムを示した説明図である。
【発明を実施するための形態】
【0011】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0012】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【0013】
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
1.ARシステムの概要
2.各実施形態の説明
2−1.第1の実施形態
2−2.第2の実施形態
2−3.第3の実施形態
3.むすび
【0014】
<<1.ARシステムの概要>>
本開示によるARシステムは、一例として「2−1.第1の実施形態」〜「2−3.第3の実施形態」において詳細に説明するように、多様な形態で実施され得る。また、各実施形態によるARシステムを構成する表示制御装置(携帯端末20、ARサーバ30)は、
A.実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトの表示を制御する制御部(241、242)を備え、
B.制御部は、実空間画像における実オブジェクトの姿勢に応じ、実オブジェクトに対する前記仮想オブジェクトの相対的な姿勢を変化させる。
【0015】
以下では、まず、このような各実施形態において共通するARシステムの基本構成について図1および図2を参照して説明する。
【0016】
図1は、本開示によるARシステムの構成を示した説明図である。図1に示したように、本開示によるARシステムは、撮像機能を有する携帯端末20を含む。この携帯端末20は、実空間画像を撮像し、実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトを実空間画像に付加してディスプレイ26に表示することができる。
【0017】
例えば、携帯端末20により撮像された実オブジェクトが図1に示したような電車の発着時刻を示す駅時刻表40Aである場合、携帯端末20は、駅時刻表40Aに対応する仮想オブジェクトが付加された実空間画像をディスプレイ26に表示することが可能である。以下、図2を参照し、仮想オブジェクトが付加された実空間画像についてより具体的に説明する。
【0018】
図2は、仮想オブジェクトが付加された実空間画像の具体例を示した説明図である。図2に示したように、実空間画像Pは、実オブジェクトである駅時刻表40A、及び駅時刻表40Aに付加された仮想オブジェクトであるラベルグラフィック50Aを含む。図2に示したように、ラベルグラフィック50Aは例えば駅時刻表40Aと同一平面に付加される。ユーザは、このような仮想オブジェクトが付加された実空間画像を視認することにより、実空間から直接には得られない情報(図2の場合、例えば実オブジェクトが時刻表であること。)を把握することができる。
【0019】
さらに、ユーザは、表示画面において所定の操作を行うことにより、実空間画像に含まれる仮想オブジェクトの表示を変化させることが可能である。例えば、1の実オブジェクトに複数の仮想オブジェクトが関連付けられている場合、携帯端末20は、ユーザ操作に応じて複数の仮想オブジェクトのうちで表示する仮想オブジェクトを切り替えてもよい。より具体的に説明すると、駅時刻表40Aにラベルグラフィック50Aおよび周辺マップを示す仮想オブジェクトが関連付けられている場合、携帯端末20は、ユーザ操作に応じて駅時刻表40Aの表示上に周辺マップを示す仮想オブジェクトを重畳してもよい。
【0020】
なお、上記のように1の実オブジェクトに複数の仮想オブジェクトが関連付けられている場合、携帯端末20は、関連付けられている仮想オブジェクトを識別するタブグラフィックを実オブジェクトに付加してもよい。例えば、携帯端末20は、ラベルグラフィック50Aに加え、「周辺マップ」というテキスト情報からなるタブグラフィックを時刻表40Aに付加してもよい。
【0021】
以上、壁に配置された駅時刻表40Aを実オブジェクトの一例として説明したが、図1に示した床に配置される出口案内40Bも実オブジェクトとして同様に扱うことが可能である。さらに、実オブジェクトは、看板、ビル、乗り物、食品、または玩具などの物体や、QRコードやARマーカーのような識別パターンであってもよい。
【0022】
また、図1においては、携帯端末20の一例としてスマートフォンを示したが、携帯端末20はスマートフォンに限定されない。例えば、携帯端末20は、PDA(Personal Digital Assistants)、携帯電話、携帯用音楽再生装置、携帯用映像処理装置、または携帯用ゲーム機器であってもよい。さらに、携帯端末20は表示制御装置の一例に過ぎず、表示制御装置はネットワーク側に設けられるサーバであってもよい。
【0023】
ところで、上述したラベルグラフィック50を一律的に実オブジェクト40と同一平面に付加すると、ラベルグラフィック50の視認性や操作性が損なわれる場合がある。例えば、図3に示したように、駅時刻表40Aを構成する平面と実空間画像の撮像光軸の成す角度が浅い場合にラベルグラフィック50A’を駅時刻表40Aと同一平面に付加すると、傾きの大きさによりラベルグラフィック50A’の表示が小さくなるので、視認性が下がる。さらに、ラベルグラフィック50A’がユーザにより操作可能な領域である場合、ラベルグラフィック50A’の表示が小さいと操作判定領域も極端に小さくなってしまう。
【0024】
そこで、上記事情を一着眼点にして本開示の実施形態を創作するに至った。本開示の実施形態によれば、仮想オブジェクトの視認性および操作性を向上することが可能である。以下、図4を参照してこのような携帯端末20のハードウェア構成を説明した後、本開示の各実施形態について順次詳細に説明する。
【0025】
(携帯端末のハードウェア構成)
図4は、携帯端末20のハードウェア構成を示した説明図である。図3に示したように、携帯端末20は、CPU(Central Processing Unit)201と、ROM(Read Only Memory)202と、RAM(Random Access Memory)203と、入力装置208と、出力装置210と、ストレージ装置211と、ドライブ212と、撮像装置213と、通信装置215とを備える。
【0026】
CPU201は、演算処理装置および制御装置として機能し、各種プログラムに従って無線通信装置20内の動作全般を制御する。また、CPU201は、マイクロプロセッサであってもよい。ROM202は、CPU201が使用するプログラムや演算パラメータ等を記憶する。RAM203は、CPU201の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバスにより相互に接続されている。
【0027】
入力装置208は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU201に出力する入力制御回路などから構成されている。携帯端末20のユーザは、該入力装置208を操作することにより、携帯端末20に対して各種のデータを入力したり処理動作を指示したりすることができる。
【0028】
出力装置210は、例えば、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置およびランプなどの表示装置を含む。さらに、出力装置210は、スピーカおよびヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。
【0029】
ストレージ装置211は、本実施形態にかかる携帯端末20の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置211は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置211は、CPU201が実行するプログラムや各種データを格納する。
【0030】
ドライブ212は、記憶媒体用リーダライタであり、携帯端末20に内蔵、あるいは外付けされる。ドライブ212は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体24に記録されている情報を読み出して、RAM203に出力する。また、ドライブ212は、リムーバブル記憶媒体24に情報を書き込むこともできる。
【0031】
撮像装置213は、光を集光する撮影レンズおよびズームレンズなどの撮像光学系、およびCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの信号変換素子を備える。撮像光学系は、被写体から発せられる光を集光して信号変換部に被写体像を形成し、信号変換素子は、形成された被写体像を電気的な画像信号に変換する。
【0032】
通信装置215は、例えば、ネットワーク12に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置215は、無線LAN(Local Area Network)対応通信装置であっても、LTE(Long Term Evolution)対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【0033】
なお、ネットワーク12は、ネットワーク12に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク12は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク12は、IP−VPN(Internet Protocol−Virtual Private Network)などの専用回線網を含んでもよい。
【0034】
<<2.各実施形態の説明>>
以上、図1〜図4を参照し、本開示によるARシステムの基本構成を説明した。以下、図5〜図19を参照し、本開示による第1の実施形態〜第3の実施形態について詳細に説明する。
【0035】
<2−1.第1の実施形態>
−−−携帯端末の構成−−−
図5は、第1の実施形態による携帯端末20−1の構成を示した機能ブロック図である。図5に示したように、第1の実施形態による携帯端末20−1は、ディスプレイ26と、タッチパネル27と、撮像装置213と、特徴量DB220と、画像認識部224と、仮想オブジェクトDB228と、仮想オブジェクト取得部232と、制御部241と、を備える。
【0036】
ディスプレイ26は、LCDまたはOLEDなどにより構成される表示モジュールである。ディスプレイ26は、制御部241による制御に従って多様な画面を表示する。例えば、ディスプレイ26は、撮像装置213により撮像中の実空間画像および実オブジェクトに付加される仮想オブジェクトを表示する。
【0037】
なお、図5においてはディスプレイ26が携帯端末20−1の一部として実装される例を示したが、ディスプレイ26は、携帯端末20−1とは別体に構成されてもよい。また、ディスプレイ26は、ユーザの頭部に装着されるHMD(Head Mounted Display)であってもよい。
【0038】
タッチパネル27は、ディスプレイ26に積層される操作検出部である。タッチパネル27は、ユーザの指やタッチペンなどの操作体の近接または接触を検出することができる。なお、タッチパネル27は操作検出部の一例に過ぎず、携帯端末20−1は、キーボードおよびボタンなどの他の操作用の構成を含んでもよい。
【0039】
撮像装置213は、図4を参照して説明したように、撮像光学系および信号変換素子を備え、制御部241による制御に従って実空間画像(動画または静止画)を撮像する。なお、撮像装置213は、動画撮像用の構成と、静止画撮像用の構成を別個に備えてもよい。
【0040】
特徴量DB220は、実オブジェクトの画像の特徴量データを記憶するデータベースである。具体的には、特徴量DB220においては、各実オブジェクトを識別するための識別情報と、各実オブジェクトの特徴量データが関連付けられる。特徴量データは、例えば、SIFT法またはRandom Ferns法に従って実オブジェクトの学習用画像から決定された特徴量の集合であってもよい。
【0041】
画像認識部224は、撮像装置213により撮像された実空間画像に含まれる実オブジェクト、および当該実オブジェクトの実空間画像における位置および姿勢を認識する。例えば、画像認識部224は、実空間画像から決定される特徴量をデータベース220に記憶されている各実オブジェクトの特徴量と照合することにより、実空間画像に含まれる実オブジェクトを認識する。より具体的には、画像認識部224は、SIFT法またはRandom Ferns法などの特徴量決定法に従って実空間画像内の実オブジェクトの特徴量を決定し、決定した特徴量をデータベース220に記憶されている各実オブジェクトの特徴量と照合する。そして、画像認識部224は、実空間画像内の実オブジェクトの特徴量と最も適合する特徴量と関連付けられている実オブジェクトの識別情報、実空間画像における位置および姿勢を認識する。
【0042】
なお、画像認識部224は、既知の図形若しくは記号、人工マーカ(例えば、バーコード若しくはQRコード)又は自然マーカなどの実オブジェクトを認識し、当該実オブジェクトの実空間画像におけるサイズおよび形状から当該実オブジェクトの位置及び姿勢を認識してもよい。
【0043】
また、上記では、実空間画像に含まれる実オブジェクトを画像処理により認識する例を説明したが、実オブジェクトの認識方法は画像処理に限定されない。例えば、撮像装置213が向けられている方向、および携帯端末20−1の現在位置を検出し、検出結果に基づいて実空間画像に含まれている実オブジェクト、実空間画像における当該実オブジェクトの位置および姿勢を推定することも可能である。
【0044】
仮想オブジェクトDB228は、実オブジェクトに付加するための仮想オブジェクトを記憶するデータベースである。具体的には、仮想オブジェクトDB228においては、仮想オブジェクトの識別情報、実オブジェクトの識別情報、実オブジェクトからの相対的な表示位置を示す設定情報、およびユーザに呈示される仮想オブジェクトが関連付けられる。仮想オブジェクトには、例えば図2を参照して説明したようなラベルグラフィック50が該当するが、ラベルグラフィック50は仮想オブジェクトの一例に過ぎない。仮想オブジェクトは、テキスト形式であってもよいし、イメージ形式であってもよい。
【0045】
仮想オブジェクト取得部232は、画像認識部224により認識された実オブジェクトに対応する仮想オブジェクトおよび設定情報を取得する。例えば、仮想オブジェクト取得部232は、画像認識部224により認識された実オブジェクトの識別情報に関連付けられている仮想オブジェクトおよび設定情報を仮想オブジェクトDB228から取得する。
【0046】
制御部241は、携帯端末20−1の動作全般を制御する。例えば、制御部241は、仮想オブジェクト取得部232により取得された仮想オブジェクトを実空間画像に付加し、仮想オブジェクトが付加された実空間画像をディスプレイ26に表示させる。
【0047】
ここで、制御部241は、実空間画像における実オブジェクトの姿勢に応じ、実オブジェクトに対する仮想オブジェクトの相対的な姿勢を変化させる。例えば、制御部241は、実オブジェクトの面の、実空間画像の撮像光軸と交差する軸回りの回転角に応じ、実オブジェクトの面と同一の面(、平面および曲面を含む。面という語に関し、以下同様である。)、前記実オブジェクトの面と平行な面、前記実オブジェクトの面と所定の関係にある面、または前記実オブジェクトの面と異なる面などに前記仮想オブジェクトを付加する。
【0048】
具体例として、制御部241は、実オブジェクトの正対状態を基準とする上記軸回りの回転角が所定値未満である場合には実オブジェクトの面と同一または平行な面上に仮想オブジェクトを付加してもよい。一方、制御部241は、正対状態を基準とする上記軸回りの回転角が所定値以上である場合には実オブジェクトの面と異なる面上に仮想オブジェクトを付加してもよい。以下、このような制御部241の機能をより詳細に説明する。
【0049】
(正対状態)
まず、図6を参照し、実オブジェクトの正対状態について説明する。図6は、実オブジェクトの正対状態を示した説明図である。なお、本明細書で用いるz軸は実空間画像の撮像光軸であり、x軸は実空間画像の水平方向に沿う軸であり、y軸は実空間画像の鉛直方向に沿う軸であり、x軸、y軸およびz軸は各々直交する。
【0050】
図6に示したように、正対状態は、実オブジェクト40の面が撮像光軸であるz軸と直交する状態である。なお、図6に示した実オブジェクト40の面は、実オブジェクト40の実際の面と異なってもよく、実オブジェクト40に関して事前に定義されている面であってもよい。以下では、この正対状態を基準とする実オブジェクト40の面の回転角を議論する。ただし、回転角の基準となる状態は正対状態に限られず、実オブジェクトの他の姿勢を基準状態として扱ってもよい。
【0051】
(y軸回りの回転角α)
図7は、実オブジェクト40の面がy軸回りに回転した状態を示した説明図である。本明細書においては、図7に示したように、正対状態を基準とするy軸回りの実オブジェクト40の面の回転角をαと称する。
【0052】
(回転角αに基づく表示制御)
制御部241は、回転角αが所定値未満である場合、実オブジェクトの面と同一または平行な平面上に仮想オブジェクトであるラベルグラフィックを付加してもよい。一方、制御部241は、回転角αが所定値以上である場合、実オブジェクトの面と異なる平面上にラベルグラフィックを付加してもよい。以下、この点について図8〜図10を参照して具体的に説明する。
【0053】
図8は、第1の実施形態による実空間画像へのラベルグラフィックの付加例を示した説明図である。図8に示したように、駅時刻表40Aの回転角αが所定値以上である場合、制御部241は、駅時刻表40Aと直交する平面上(x−z平面において駅時刻表40Aと90度または270度を形成する平面上)にラベルグラフィック50Aを付加してもよい。かかる構成により、ラベルグラフィック50Aの表示面積の拡大しつつ、正対状態を基準とする傾きを低減できるので、ラベルグラフィック50Aの視認性を向上することが可能となる。
【0054】
さらに、ラベルグラフィック50Aのような仮想オブジェクトを図8に示したように実オブジェクトと重ならない領域に付加することにより、実オブジェクトの視認性を確保することができる。
【0055】
なお、制御部241は、実オブジェクトの回転角αが所定値より大きくなったことによりラベルグラフィック50Aの相対的な姿勢を変化させる場合、ユーザが変化を認識できるように、姿勢変化の過程をアニメーションで表現してもよい。
【0056】
図9は、第1の実施形態による実空間画像へのラベルグラフィックの他の付加例を示した説明図である。図9に示したように、駅時刻表40Aの回転角αが所定値以上である場合、制御部241は、撮像光軸であるz軸と直交する平面上(すなわち、x−y平面上)にラベルグラフィック50Aを付加してもよい。かかる構成により、上記同様にラベルグラフィック50Aの視認性を確保することが可能となる。
【0057】
なお、制御部241は、図10に示したように実空間画像に複数の実オブジェクト40L、40M、40Nが含まれる場合、各実オブジェクト40の各々に対応するラベルグラフィック50L、50Mおよび50Nが重ならないように各ラベルグラフィック50を付加してもよい。かかる構成により、各ラベルグラフィック50の視認性を確保することが可能である。
【0058】
以上、図7〜図10を参照して実オブジェクト40の面がy軸回りに回転した場合の表示制御について説明したが、以下に説明するように、実オブジェクト40の面がx軸回りに回転した場合にも同様の表示制御を実現可能である。
【0059】
(x軸回りの回転角β)
図11は、実オブジェクト40の面がx軸回りに回転した状態を示した説明図である。本明細書においては、図11に示したように、正対状態を基準とするx軸回りの実オブジェクト40の面の回転角をβと称する。
【0060】
(回転角βに基づく表示制御)
制御部241は、回転角βが所定値(回転角αに関する所定値と同一であってもよいし、異なってもよい。)未満である場合、実オブジェクトの面と同一または平行な平面上にラベルグラフィックを付加してもよい。一方、制御部241は、回転角βが所定値以上である場合、実オブジェクトの面と異なる平面上にラベルグラフィックを付加してもよい。以下、この点について図12を参照して具体的に説明する。
【0061】
図12は、第1の実施形態による実空間画像へのラベルグラフィックの付加例を示した説明図である。図12に示したように、出口案内40Bの回転角βが所定値以上である場合、制御部241は、撮像光軸であるz軸と直交する平面上(すなわち、x−y平面上)にラベルグラフィック50Bを付加してもよい。かかる構成により、ラベルグラフィック50Bの表示面積の拡大しつつ、ラベルグラフィック50Bを正対状態で表示できるので、ラベルグラフィック50Bの視認性を向上することが可能となる。
【0062】
なお、出口案内40Bの回転角βが所定値以上である場合、制御部241は、出口案内40Bと直交する平面上(y−z平面において出口案内40Bと90度または270度を形成する平面上)にラベルグラフィック50Aを付加してもよい。かかる構成によっても、上記同様にラベルグラフィック50Bの視認性を向上することが可能である。
【0063】
(補足)
・認識できていた実オブジェクトが認識できなくなった場合
実空間画像において認識できていた実オブジェクトが携帯端末20−1との位置関係の変化により認識できなくなる場合がある。例えば、図8に示した実オブジェクト40Aの面がさらにy軸回りに反時計方向に回転した場合、実空間画像に実オブジェクト40Aの面が含まれなくなるので、画像認識部224は実オブジェクト40Aを認識できなくなる。その結果、ラベルグラフィックも画面から消え得る。
【0064】
しかし、実空間画像上に映っている実オブジェクトの認識が難しい場合にほど、その実オブジェクトに関する情報をユーザに伝える意義が高いと考えられる。そこで、制御部241は、認識できていた実オブジェクトが認識できなくなった場合、以前の認識結果に基づき、当該実オブジェクトに対応するラベルグラフィックを維持してもよい。例えば、制御部241は、実オブジェクトを認識できなくなる直前の実オブジェクトの位置、姿勢に応じた位置、姿勢で、所定期間にわたってラベルグラフィックを維持してもよい。かかる構成により、実空間画像からは視認が困難である実オブジェクトに関する情報をユーザに伝えることが可能となる。
【0065】
・制御部が着目する回転角
上記では、y軸回りの回転角α、またはx軸回りの回転角βのいずれかが所定値以上である場合に制御部241がラベルグラフィックの実オブジェクトに対する相対的な姿勢を変化させる例を説明したが、本技術はかかる例に限定されない。より詳細に説明すると、ラベルグラフィックが付加される位置や向きによっては、ある座標軸回りの回転角が大きくても、ラベルグラフィックの視認性や操作性に与える影響が少ない場合がある。例えば、図2に示したように、ラベルグラフィック50Aが実オブジェクト40Aのy軸方向に沿う辺上に付加される場合、実オブジェクト40Aのx軸回りの回転角がラベルグラフィック50Aの視認性に与える影響は比較的少ない。
【0066】
そこで、制御部241は、実オブジェクトの面が正対状態である場合にラベルグラフィックを付加する辺の方向に沿う座標軸に着目し、この座標軸回りの回転角が所定値以上であるか否かに応じてラベルグラフィックの姿勢を制御してもよい。例えば、図12に示したラベルグラフィック50Bは出口案内40Bの面が正対状態である場合にx軸方向の辺に付加されるので、制御部241は、ラベルグラフィック50Bの姿勢制御に関してはx軸回りの回転角のみに着目してもよい。なお、実オブジェクト40Aの姿勢は、x軸回りの回転角、y軸回りの回転角、およびz軸回りの回転角などの成分ごとに表現することが可能である。
【0067】
−−−携帯端末の動作−−−
以上、図5〜図12を参照して第1の実施形態による携帯端末20−1の構成を説明した。続いて、図13を参照し、第1の実施形態による携帯端末20−1の動作を説明する。
【0068】
図13は、第1の実施形態による携帯端末20−1の動作を示したフローチャートである。図13に示したように、撮像装置213により実空間画像が撮像されると、画像認識部224が、実空間画像に含まれる実オブジェクトの識別、および実オブジェクトの位置、姿勢、およびスケールなどを認識する(S310)。
【0069】
続いて、仮想オブジェクト取得部232が、画像認識部224による認識結果に基づいて実オブジェクトに対応する仮想オブジェクトを取得する(S320)。
【0070】
その後、制御部241は、画像認識部224により認識された実オブジェクトの正対状態を基準とする回転角が所定値以上であるか否かを判断する(S330)。回転角が所定値未満である場合(S330/no)、制御部241は仮想オブジェクトを実オブジェクトの面と同一または並行する平面上に付加する(S340)。
【0071】
一方、制御部241は、回転角が所定値以上である場合(S330/yes)、仮想オブジェクトを実オブジェクトと異なる平面に付加する(S350)。例えば、制御部241は、回転角が所定値以上である場合(S330/yes)、仮想オブジェクトを撮像光軸であるz軸と直交する平面上に付加してもよい。かかる構成により、仮想オブジェクトを正対状態で表示できるので、ラベルグラフィック50Bの視認性を向上することが可能となる。
【0072】
<2−2.第2の実施形態>
以上、図5〜図13を参照して本開示の第1の実施形態を説明した。続いて、図14〜図18を参照し、本開示の第2の実施形態を説明する。本開示の第2の実施形態では、実オブジェクトが複数の面を有する場合の仮想オブジェクトの表示方法を提案する。
【0073】
(第2の実施形態によるARシステム)
図14は、本開示の第2の実施形態によるARシステムの構成例を示した説明図である。第2の実施形態によるARシステムは、図14に示したように携帯端末20−2を含み、この携帯端末20−2が牛乳パック40Cのような複数の面を有する実オブジェクトを撮像する場合に適用される。図14に示した牛乳パック40Cは、複数の面として、商品名が印刷された第1の面42、および、原材料名が印刷された第2の面44を有する。
【0074】
(第2の実施形態による携帯端末の構成)
図15は、本開示の第2の実施形態による携帯端末20−2の構成を示した機能ブロック図である。図15に示したように、第2の実施形態による携帯端末20−2は、ディスプレイ26と、タッチパネル27と、撮像装置213と、特徴量DB220と、画像認識部224と、仮想オブジェクトDB228と、仮想オブジェクト取得部232と、制御部242と、を備える。ディスプレイ26、タッチパネル27、撮像装置213、特徴量DB220、画像認識部224、仮想オブジェクトDB228、および仮想オブジェクト取得部232の機能は第1の実施形態で説明した通りであるので、以下では、第1の実施形態と異なる構成について主に説明する。
【0075】
制御部242は、第1の実施形態による制御部241の機能の全部または一部に加え、主面判断部250の機能、および主面判断部250による判断結果に応じた姿勢で仮想オブジェクトを付加する機能を有する。
【0076】
主面判断部250は、実空間画像に含まれる実オブジェクトが複数の面を有する場合、複数の面のうちの主面を判断する。例えば、主面判断部250は、複数の面のうちで、画像認識部224による認識面積が最も広い面を主面として判断してもよい。または、主面判断部250は、複数の面のうちで、撮像光軸であるz軸との直交性が最も高い面(正対状態に最も近い面)を主面として判断してもよい。さらに、主面は、実オブジェクトごとに事前に定義されていてもよい。
【0077】
制御部242は、主面判断部250により判断された主面に対し、実オブジェクトに対応するラベルグラフィック(仮想オブジェクト)を付加する。以下、図16を参照し、より具体的に説明する。
【0078】
図16は、第2の実施形態による実空間画像へのラベルグラフィックの付加例を示した説明図である。図16に示した実空間画像においては、牛乳パック40Cの第1の面42の方が、第2の面よりも認識面積が広く、かつ、正対状態に近い。このため、主面判断部250は、牛乳パック40Cの第1の面42および第2の面44のうちで、第1の面42を主面と判断する。
【0079】
このため、制御部242は、主面判断部250により主面と判断された第1の面42に対してラベルグラフィック50Cを付加する。なお、図16においては、ラベルグラフィック50Cが値段表示である例を示しているが、ラベルグラフィック50Cは値段表示に限定されない。ラベルグラフィック50Cは、例えば、賞味期限情報、クーポン情報、および公告情報など、牛乳パック40Cに関連付けられたどのような情報であってもよい。
【0080】
図17は、第2の実施形態による他の実空間画像へのラベルグラフィックの付加例を示した説明図である。図17に示した実空間画像においては、牛乳パック40Cの第2の面44の方が、第1の面よりも認識面積が広く、かつ、正対状態に近い。このため、主面判断部250は、牛乳パック40Cの第1の面42および第2の面44のうちで、第2の面44を主面と判断する。
【0081】
このため、制御部242は、主面判断部250により主面と判断された第2の面44に対してラベルグラフィック50Cを付加する。なお、図16および図17に示したように、ラベルグラフィック50Cを付加する面に応じ、ラベルグラフィック50Cの牛乳パック40Cに対する相対的な姿勢も変化する。
【0082】
(補足)
上記では、いずれの面が主面である場合にも同一のラベルグラフィックを付加する例を説明したが、本実施形態はかかる例に限定されない。他の例として、仮想オブジェクトDB228には、実オブジェクトの面の各々にラベルグラフィックが対応付けられていてもよく、この場合、制御部242は、図18に示すように、主面に応じて異なるラベルグラフィックを付加してもよい。
【0083】
図18は、第2の実施形態の変形例による実空間画像へのラベルグラフィックの付加例を示した説明図である。図18に示したように、制御部242は、第2の面44が主面である場合、第1の面42が主面である場合のラベルグラフィック50Cと異なる、賞味期限を示すラベルグラフィック50C’を第2の面44に付加してもよい。かかる構成により、実オブジェクトを撮像する角度に応じて多様な情報をユーザに呈示することが可能となる。
【0084】
同様の趣旨により、制御部242は、複数の面の全てに、各面に対応するラベルグラフィックを付加してもよい。さらに、制御部242は、第1の実施形態において説明したように、ラベルグラフィック50Cを付加する面の回転角に応じ、ラベルグラフィック50Cの牛乳パック40Cに対する相対的な姿勢を変化させてもよい。
【0085】
<2−3.第3の実施形態>
以上、本開示の第2の実施形態を説明した。続いて、本開示の第3の実施形態を説明する。第1および第2の実施形態では携帯端末が単独でARを実現する例を説明したが、本開示の第3の実施形態のように、携帯端末とネットワーク側に配置されたサーバとが共同してARを実現することも可能である。
【0086】
図19は、第3の実施形態によるARシステムを示した説明図である。図19に示したように、第3の実施形態によるARシステムは、携帯端末20−3と、ネットワーク12と、ARサーバ30と、を含む。
【0087】
このような第3の実施形態によれば、ARのための機能の一部をARサーバ30に実装することによりクラウドコンピューティングを実現することができる。例えば、仮想オブジェクトDB、および仮想オブジェクト取得部の機能をARサーバ30に実装してもよい。この場合、携帯端末20−3は、実オブジェクトの認識結果を仮想オブジェクトの取得要求としてARサーバ30に送信することにより、実オブジェクトに対応する仮想オブジェクトをARサーバ30から受信することが可能である。
【0088】
また、画像認識部および特徴量DBの機能もARサーバ30に実装してもよい。この場合、携帯端末20−3は、撮像装置213により撮像された画像をARサーバ30に送信し、ARサーバ30が、実オブジェクトの認識および仮想オブジェクトの取得を行い、仮想オブジェクトを携帯端末20−4に送信してもよい。
【0089】
さらに、仮想オブジェクトの実空間画像への付加機能をARサーバ30に実装してもよい。この場合、携帯端末20−3は、撮像装置213により撮像された実空間画像をARサーバ30に送信し、ARサーバ30が、実オブジェクトの認識、仮想オブジェクトの取得、および仮想オブジェクトの付加を行い、仮想オブジェクトが付加された実空間画像を携帯端末20−3に送信してもよい。このように仮想オブジェクトの実空間画像への付加機能をARサーバ30に実装する場合、ARサーバ30が表示制御装置として機能することとなる。
【0090】
<<3.むすび>>
以上説明したように、本開示による携帯端末20は、実空間画像における実オブジェクトの姿勢に応じ、ラベルグラフィックを実オブジェクトと同一面、または、実オブジェクトと異なる面に付加する。かかる構成により、ラベルグラフィックの視認性および操作性を向上することが可能である。
【0091】
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0092】
例えば、本明細書の携帯端末20の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、携帯端末20の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【0093】
また、携帯端末20またはARサーバ30に内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上述した携帯端末20またはARサーバ30の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【0094】
また、以下のような構成も本開示の技術的範囲に属する。
(1)
実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトの表示を制御する制御部を備え、
前記制御部は、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトに対する前記仮想オブジェクトの相対的な姿勢を変化させる、表示制御装置。
(2)
前記制御部は、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトの面と同一の面、前記実オブジェクトの面と平行な面、前記実オブジェクトの面と所定の関係にある面、または前記実オブジェクトの面と異なる面に前記仮想オブジェクトを付加する、(1)に記載の表示制御装置。
(3)
前記制御部は、前記実オブジェクトの面の、前記実空間画像の撮像光軸と交差する交差軸回りの回転角に応じた相対的な姿勢で、前記実オブジェクトの面に前記仮想オブジェクトを付加する、(1)または(2)に記載の表示制御装置。
(4)
前記制御部は、
前記実オブジェクトの面が前記撮像光軸に直交する正対状態を基準とする前記交差軸回りの回転角が所定値未満である場合には前記実オブジェクトの面と同一または平行な面上に前記仮想オブジェクトを付加し、
前記正対状態を基準とする前記交差軸回りの回転角が所定値以上である場合には前記実オブジェクトの面と異なる面上に前記仮想オブジェクトを付加する、(3)に記載の表示制御装置。
(5)
前記制御部は、前記正対状態を基準とする前記交差軸回りの回転角が所定値以上である場合には、前記実オブジェクトの面と直交する面上、または、前記撮像装置の光軸と直交する面上に前記仮想オブジェクトを付加する、(4)に記載の表示制御装置。
(6)
前記仮想オブジェクトは、前記実オブジェクトの面を構成するいずれかの辺に対応するように付加され、
前記交差軸は、前記実オブジェクトの面が前記正対状態である場合に前記仮想オブジェクトが付加される辺の方向に沿う軸である、(3)〜(5)のいずれか一項に記載の表示制御装置。
(7)
前記制御部は、前記仮想オブジェクトを、前記実オブジェクトと重ならない位置に付加する、(1)〜(6)のいずれか一項に記載の表示制御装置。
(8)
前記制御部は、実空間画像に複数の実オブジェクトが含まれる場合、前記複数の実オブジェクトの各々に対応する仮想オブジェクトが重ならないように各仮想オブジェクトを付加する、(1)〜(7)のいずれか一項に記載の表示制御装置。
(9)
前記制御部は、前記仮想オブジェクトの相対的な姿勢を変化させる場合、変化の過程を表示装置に表示させる、(1)〜(8)のいずれか一項に記載の表示制御装置。
(10)
前記制御部は、前記実オブジェクトから複数の面が検出された場合、複数の面のうちの主面に対して前記仮想オブジェクトを付加する、(1)〜(9)のいずれか一項に記載の表示制御装置。
(11)
前記制御部は、前記主面に該当する面に応じ、異なる仮想オブジェクトを前記主面に付加する、(10)に記載の表示制御装置。
(12)
前記主面は、前記複数の面のうちで、前記撮像光軸との直交性が最も高い面である、(10)に記載の表示制御装置。
(13)
前記主面は、前記複数の面のうちで、前記実空間画像における認識面積が最も広い面である、(10)に記載の表示制御装置。
(14)
前記主面は、前記複数の面のうちで事前に定義されている面である、(10)に記載の表示制御装置。
(15)
実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトの姿勢を、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトに対して相対的に変化させる、表示制御方法。
(16)
コンピュータを、
実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトの表示を制御する制御部であって、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトに対する前記仮想オブジェクトの相対的な姿勢を変化させる制御部、として機能させるための、プログラム。
(17)
前記制御部は、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトの面と同一の面、前記実オブジェクトの面と平行な面、前記実オブジェクトの面と所定の関係にある面、または前記実オブジェクトの面と異なる面に前記仮想オブジェクトを付加する、(16)に記載のプログラム。
(18)
前記制御部は、前記実オブジェクトの面の、前記実空間画像の撮像光軸と交差する交差軸回りの回転角に応じた相対的な姿勢で、前記実オブジェクトの面に前記仮想オブジェクトを付加する、(16)または(17)に記載のプログラム。
(19)
前記制御部は、
前記実オブジェクトの面が前記撮像光軸に直交する正対状態を基準とする前記交差軸回りの回転角が所定値未満である場合には前記実オブジェクトの面と同一または平行な面上に前記仮想オブジェクトを付加し、
前記正対状態を基準とする前記交差軸回りの回転角が所定値以上である場合には前記実オブジェクトの面と異なる面上に前記仮想オブジェクトを付加する、(18)に記載のプログラム。
(20)
前記制御部は、前記実オブジェクトから複数の面が検出された場合、複数の面のうちの主面に対して前記仮想オブジェクトを付加する、(16)〜(19)のいずれか一項に記載のプログラム。
【符号の説明】
【0095】
20 携帯端末
26 ディスプレイ
27 タッチパネル
30 ARサーバ
213 撮像装置
220 特徴量DB
224 画像認識部
228、328 仮想オブジェクトDB
232、332 仮想オブジェクト取得部
241、242 制御部
250 主面判断部
【特許請求の範囲】
【請求項1】
実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトの表示を制御する制御部を備え、
前記制御部は、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトに対する前記仮想オブジェクトの相対的な姿勢を変化させる、表示制御装置。
【請求項2】
前記制御部は、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトの面と同一の面、前記実オブジェクトの面と平行な面、前記実オブジェクトの面と所定の関係にある面、または前記実オブジェクトの面と異なる面に前記仮想オブジェクトを付加する、請求項1に記載の表示制御装置。
【請求項3】
前記制御部は、前記実オブジェクトの面の、前記実空間画像の撮像光軸と交差する交差軸回りの回転角に応じた相対的な姿勢で、前記実オブジェクトの面に前記仮想オブジェクトを付加する、請求項1に記載の表示制御装置。
【請求項4】
前記制御部は、
前記実オブジェクトの面が前記撮像光軸に直交する正対状態を基準とする前記交差軸回りの回転角が所定値未満である場合には前記実オブジェクトの面と同一または平行な面上に前記仮想オブジェクトを付加し、
前記正対状態を基準とする前記交差軸回りの回転角が所定値以上である場合には前記実オブジェクトの面と異なる面上に前記仮想オブジェクトを付加する、請求項3に記載の表示制御装置。
【請求項5】
前記制御部は、前記正対状態を基準とする前記交差軸回りの回転角が所定値以上である場合には、前記実オブジェクトの面と直交する面上、または、前記撮像装置の光軸と直交する面上に前記仮想オブジェクトを付加する、請求項4に記載の表示制御装置。
【請求項6】
前記仮想オブジェクトは、前記実オブジェクトの面を構成するいずれかの辺に対応するように付加され、
前記交差軸は、前記実オブジェクトの面が前記正対状態である場合に前記仮想オブジェクトが付加される辺の方向に沿う軸である、請求項3に記載の表示制御装置。
【請求項7】
前記制御部は、前記仮想オブジェクトを、前記実オブジェクトと重ならない位置に付加する、請求項1に記載の表示制御装置。
【請求項8】
前記制御部は、実空間画像に複数の実オブジェクトが含まれる場合、前記複数の実オブジェクトの各々に対応する仮想オブジェクトが重ならないように各仮想オブジェクトを付加する、請求項1に記載の表示制御装置。
【請求項9】
前記制御部は、前記仮想オブジェクトの相対的な姿勢を変化させる場合、変化の過程を表示装置に表示させる、請求項1に記載の表示制御装置。
【請求項10】
前記制御部は、前記実オブジェクトから複数の面が検出された場合、複数の面のうちの主面に対して前記仮想オブジェクトを付加する、請求項1に記載の表示制御装置。
【請求項11】
前記制御部は、前記主面に該当する面に応じ、異なる仮想オブジェクトを前記主面に付加する、請求項10に記載の表示制御装置。
【請求項12】
前記主面は、前記複数の面のうちで、前記撮像光軸との直交性が最も高い面である、請求項10に記載の表示制御装置。
【請求項13】
前記主面は、前記複数の面のうちで、前記実空間画像における認識面積が最も広い面である、請求項10に記載の表示制御装置。
【請求項14】
前記主面は、前記複数の面のうちで事前に定義されている面である、請求項10に記載の表示制御装置。
【請求項15】
実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトの姿勢を、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトに対して相対的に変化させる、表示制御方法。
【請求項16】
コンピュータを、
実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトの表示を制御する制御部であって、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトに対する前記仮想オブジェクトの相対的な姿勢を変化させる制御部、として機能させるための、プログラム。
【請求項17】
前記制御部は、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトの面と同一の面、前記実オブジェクトの面と平行な面、前記実オブジェクトの面と所定の関係にある面、または前記実オブジェクトの面と異なる面に前記仮想オブジェクトを付加する、請求項16に記載のプログラム。
【請求項18】
前記制御部は、前記実オブジェクトの面の、前記実空間画像の撮像光軸と交差する交差軸回りの回転角に応じた相対的な姿勢で、前記実オブジェクトの面に前記仮想オブジェクトを付加する、請求項16に記載のプログラム。
【請求項19】
前記制御部は、
前記実オブジェクトの面が前記撮像光軸に直交する正対状態を基準とする前記交差軸回りの回転角が所定値未満である場合には前記実オブジェクトの面と同一または平行な面上に前記仮想オブジェクトを付加し、
前記正対状態を基準とする前記交差軸回りの回転角が所定値以上である場合には前記実オブジェクトの面と異なる面上に前記仮想オブジェクトを付加する、請求項18に記載のプログラム。
【請求項20】
前記制御部は、前記実オブジェクトから複数の面が検出された場合、複数の面のうちの主面に対して前記仮想オブジェクトを付加する、請求項16に記載のプログラム。
【請求項1】
実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトの表示を制御する制御部を備え、
前記制御部は、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトに対する前記仮想オブジェクトの相対的な姿勢を変化させる、表示制御装置。
【請求項2】
前記制御部は、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトの面と同一の面、前記実オブジェクトの面と平行な面、前記実オブジェクトの面と所定の関係にある面、または前記実オブジェクトの面と異なる面に前記仮想オブジェクトを付加する、請求項1に記載の表示制御装置。
【請求項3】
前記制御部は、前記実オブジェクトの面の、前記実空間画像の撮像光軸と交差する交差軸回りの回転角に応じた相対的な姿勢で、前記実オブジェクトの面に前記仮想オブジェクトを付加する、請求項1に記載の表示制御装置。
【請求項4】
前記制御部は、
前記実オブジェクトの面が前記撮像光軸に直交する正対状態を基準とする前記交差軸回りの回転角が所定値未満である場合には前記実オブジェクトの面と同一または平行な面上に前記仮想オブジェクトを付加し、
前記正対状態を基準とする前記交差軸回りの回転角が所定値以上である場合には前記実オブジェクトの面と異なる面上に前記仮想オブジェクトを付加する、請求項3に記載の表示制御装置。
【請求項5】
前記制御部は、前記正対状態を基準とする前記交差軸回りの回転角が所定値以上である場合には、前記実オブジェクトの面と直交する面上、または、前記撮像装置の光軸と直交する面上に前記仮想オブジェクトを付加する、請求項4に記載の表示制御装置。
【請求項6】
前記仮想オブジェクトは、前記実オブジェクトの面を構成するいずれかの辺に対応するように付加され、
前記交差軸は、前記実オブジェクトの面が前記正対状態である場合に前記仮想オブジェクトが付加される辺の方向に沿う軸である、請求項3に記載の表示制御装置。
【請求項7】
前記制御部は、前記仮想オブジェクトを、前記実オブジェクトと重ならない位置に付加する、請求項1に記載の表示制御装置。
【請求項8】
前記制御部は、実空間画像に複数の実オブジェクトが含まれる場合、前記複数の実オブジェクトの各々に対応する仮想オブジェクトが重ならないように各仮想オブジェクトを付加する、請求項1に記載の表示制御装置。
【請求項9】
前記制御部は、前記仮想オブジェクトの相対的な姿勢を変化させる場合、変化の過程を表示装置に表示させる、請求項1に記載の表示制御装置。
【請求項10】
前記制御部は、前記実オブジェクトから複数の面が検出された場合、複数の面のうちの主面に対して前記仮想オブジェクトを付加する、請求項1に記載の表示制御装置。
【請求項11】
前記制御部は、前記主面に該当する面に応じ、異なる仮想オブジェクトを前記主面に付加する、請求項10に記載の表示制御装置。
【請求項12】
前記主面は、前記複数の面のうちで、前記撮像光軸との直交性が最も高い面である、請求項10に記載の表示制御装置。
【請求項13】
前記主面は、前記複数の面のうちで、前記実空間画像における認識面積が最も広い面である、請求項10に記載の表示制御装置。
【請求項14】
前記主面は、前記複数の面のうちで事前に定義されている面である、請求項10に記載の表示制御装置。
【請求項15】
実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトの姿勢を、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトに対して相対的に変化させる、表示制御方法。
【請求項16】
コンピュータを、
実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトの表示を制御する制御部であって、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトに対する前記仮想オブジェクトの相対的な姿勢を変化させる制御部、として機能させるための、プログラム。
【請求項17】
前記制御部は、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトの面と同一の面、前記実オブジェクトの面と平行な面、前記実オブジェクトの面と所定の関係にある面、または前記実オブジェクトの面と異なる面に前記仮想オブジェクトを付加する、請求項16に記載のプログラム。
【請求項18】
前記制御部は、前記実オブジェクトの面の、前記実空間画像の撮像光軸と交差する交差軸回りの回転角に応じた相対的な姿勢で、前記実オブジェクトの面に前記仮想オブジェクトを付加する、請求項16に記載のプログラム。
【請求項19】
前記制御部は、
前記実オブジェクトの面が前記撮像光軸に直交する正対状態を基準とする前記交差軸回りの回転角が所定値未満である場合には前記実オブジェクトの面と同一または平行な面上に前記仮想オブジェクトを付加し、
前記正対状態を基準とする前記交差軸回りの回転角が所定値以上である場合には前記実オブジェクトの面と異なる面上に前記仮想オブジェクトを付加する、請求項18に記載のプログラム。
【請求項20】
前記制御部は、前記実オブジェクトから複数の面が検出された場合、複数の面のうちの主面に対して前記仮想オブジェクトを付加する、請求項16に記載のプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【公開番号】特開2012−221249(P2012−221249A)
【公開日】平成24年11月12日(2012.11.12)
【国際特許分類】
【出願番号】特願2011−86679(P2011−86679)
【出願日】平成23年4月8日(2011.4.8)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.QRコード
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成24年11月12日(2012.11.12)
【国際特許分類】
【出願日】平成23年4月8日(2011.4.8)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.QRコード
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]