画像処理装置、画像処理方法及びプログラム
【課題】ＡＲアプリケーションにおいて有益な情報をより確実にユーザに提供すること。
【解決手段】実世界を映す入力画像を取得する画像取得部と、前記実世界におけるオブジェクトの外観上の構造を表すテンプレートであって、当該オブジェクトにより可視化される情報に関連付けられる１つ以上のフィールドを含む前記テンプレートを取得するテンプレート取得部と、前記入力画像を前記テンプレートと照合するテンプレート照合部と、前記入力画像に前記テンプレートが適合する場合に、前記テンプレートに含まれる少なくとも１つのフィールドに関連付けられる情報を前記入力画像から認識する認識部と、前記認識部による前記少なくとも１つのフィールドについての認識の結果をディスプレイ上に表示させる表示制御部と、を備える画像処理装置を提供する。
【解決手段】実世界を映す入力画像を取得する画像取得部と、前記実世界におけるオブジェクトの外観上の構造を表すテンプレートであって、当該オブジェクトにより可視化される情報に関連付けられる１つ以上のフィールドを含む前記テンプレートを取得するテンプレート取得部と、前記入力画像を前記テンプレートと照合するテンプレート照合部と、前記入力画像に前記テンプレートが適合する場合に、前記テンプレートに含まれる少なくとも１つのフィールドに関連付けられる情報を前記入力画像から認識する認識部と、前記認識部による前記少なくとも１つのフィールドについての認識の結果をディスプレイ上に表示させる表示制御部と、を備える画像処理装置を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、実世界に付加的な情報を重畳してユーザに呈示する拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに呈示される情報は、テキスト、アイコン又はアニメーションなどの様々な形態の仮想的なオブジェクトを用いて可視化され得る。
【０００３】
ＡＲオブジェクトの表示に関連する文献として、例えば下記特許文献１が挙げられる。下記特許文献１に記載された技術では、ＡＲオブジェクトは、実世界に存在する実オブジェクトと関連付けられる位置に表示される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−０８１５５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
多くのＡＲアプリケーションにおいて、ＡＲオブジェクトの選択及び配置は、入力画像を用いた画像認識に基づいて行われる。これは、入力画像の見え方がＡＲアプリケーションの有効な動作を左右することを意味する。従って、ＡＲアプリケーションがユーザに入力画像の見え方を調整させながら画像認識を遂行することができれば、有益な情報をより確実にユーザに提供することができる。
【課題を解決するための手段】
【０００６】
本開示によれば、実世界を映す入力画像を取得する画像取得部と、前記実世界におけるオブジェクトの外観上の構造を表すテンプレートであって、当該オブジェクトにより可視化される情報に関連付けられる１つ以上のフィールドを含む前記テンプレートを取得するテンプレート取得部と、前記入力画像を前記テンプレートと照合するテンプレート照合部と、前記入力画像に前記テンプレートが適合する場合に、前記テンプレートに含まれる少なくとも１つのフィールドに関連付けられる情報を前記入力画像から認識する認識部と、前記認識部による前記少なくとも１つのフィールドについての認識の結果をディスプレイ上に表示させる表示制御部と、を備える画像処理装置が提供される。
【０００７】
また、本開示によれば、実世界を映す入力画像を取得することと、前記実世界におけるオブジェクトの外観上の構造を表すテンプレートであって、当該オブジェクトにより可視化される情報に関連付けられる１つ以上のフィールドを含む前記テンプレートを取得することと、前記入力画像を前記テンプレートと照合することと、前記入力画像に前記テンプレートが適合する場合に、前記テンプレートに含まれる少なくとも１つのフィールドに関連付けられる情報を前記入力画像から認識することと、前記少なくとも１つのフィールドについての認識の結果をディスプレイ上に表示させることと、を含む画像処理方法が提供される。
【０００８】
また、本開示によれば、画像処理装置を制御するコンピュータを、実世界を映す入力画像を取得する画像取得部と、前記実世界におけるオブジェクトの外観上の構造を表すテンプレートであって、当該オブジェクトにより可視化される情報に関連付けられる１つ以上のフィールドを含む前記テンプレートを取得するテンプレート取得部と、前記入力画像を前記テンプレートと照合するテンプレート照合部と、前記入力画像に前記テンプレートが適合する場合に、前記テンプレートに含まれる少なくとも１つのフィールドに関連付けられる情報を前記入力画像から認識する認識部と、前記認識部による前記少なくとも１つのフィールドについての認識の結果をディスプレイ上に表示させる表示制御部と、として機能させるためのプログラムが提供される。
【発明の効果】
【０００９】
本開示に係る技術によれば、ＡＲアプリケーションにおいて有益な情報をより確実にユーザに提供することができる。
【図面の簡単な説明】
【００１０】
【図１】一実施形態に係る画像処理装置の概要について説明するための説明図である。
【図２】一実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。
【図３】一実施形態に係る画像処理装置の論理的機能の構成の一例を示すブロック図である。
【図４Ａ】入力画像に映るオブジェクトの第１の例を示す説明図である。
【図４Ｂ】図４Ａに例示したオブジェクトに対応するテンプレートの一例を示す説明図である。
【図５Ａ】入力画像に映るオブジェクトの第２の例を示す説明図である。
【図５Ｂ】図５Ａに例示したオブジェクトに対応するテンプレートの一例を示す説明図である。
【図６Ａ】入力画像に映るオブジェクトの第３の例を示す説明図である。
【図６Ｂ】図６Ａに例示したオブジェクトに対応するテンプレートの一例を示す説明図である。
【図７】一実施形態における認識結果についての表示の第１の例について説明するための説明図である。
【図８Ａ】一実施形態における認識結果についての表示の第２の例について説明するための説明図である。
【図８Ｂ】一実施形態における認識結果についての表示の第３の例について説明するための説明図である。
【図９】一実施形態における認識結果についての表示の第４の例について説明するための説明図である。
【図１０】一実施形態における認識結果の表示の第５の例について説明するための説明図である。
【図１１】一実施形態において表示され得る関連情報の第１の例について説明するための説明図である。
【図１２】一実施形態において表示され得る関連情報の第２の例について説明するための説明図である。
【図１３】一実施形態において表示され得る関連情報の第３の例について説明するための説明図である。
【図１４】一実施形態に係る画像処理の流れの一例を示すフローチャートである。
【図１５】図１４に示したフィールド認識処理の詳細な流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
また、以下の順序で説明を行う。
１．概要
２．一実施形態に係る画像処理装置の構成例
２−１．ハードウェア構成
２−２．機能構成
２−３．処理の流れ
３．まとめ
【００１３】
＜１．概要＞
図１は、本開示に係る技術の一実施形態の概要について説明するための説明図である。図１を参照すると、実世界１内でユーザにより携帯されている画像処理装置１００が示されている。
【００１４】
画像処理装置１００は、実世界を撮像した画像を画面上に表示する装置である。画像処理装置１００は、例えば、スマートフォン、ＰＤＡ（Personal Digital Assistant）、ＰＮＤ（Portable Navigation Device）、ゲーム端末又は携帯用音楽プレーヤなどの端末装置であってもよく、ＰＣ（Personal Computer）又はワークステーションなどの情報処理装置であってよい。
【００１５】
実世界１は、画像処理装置１００が利用され得る空間の一例である。実世界１内には、実オブジェクト１０ａ及び１０ｂが存在する。実オブジェクト１０ａは、ナビゲーション情報を提供する実オブジェクトである。実オブジェクト１０ａは、例えば、駅に設置される乗換案内用の掲示板、道路に設置される道案内の看板、又は商業施設に設置される売り場案内用のポスターなどであってよい。実オブジェクト１０ｂは、画像１０ｃを表示する情報機器である。実オブジェクト１０ｂは、例えば、デジタルサイネージ用のモニタ、ＰＣ（Personal Computer）、スマートフォン又はテレビジョン受像機などであってよい。画像１０ｃは、ユーザに何らかの情報を提供する表示オブジェクトである。
【００１６】
本実施形態において、実オブジェクト１０ａにより提供されるナビゲーション情報は、同じ種類のナビゲーション情報に共通する外観上の構造を有し、構造的に可視化される。例えば、Ａ駅、Ｂ駅及びＣ駅にそれぞれ設置される掲示板は、共通的な外観上の構造を有する。そして、それら掲示板により示される情報の内容のみが互いに異なる。図１に示した画像処理装置１００は、このような実オブジェクト１０ａの構造を後に説明するテンプレートを用いて認識し、実オブジェクト１０ａを識別する。同様に、実オブジェクト１０ｂにより表示される画像１０ｃは、同じ種類の画像情報に共通する外観上の構造を有し、構造的に可視化される。例えば、レストラン情報を提供するＷｅｂサイトの個々のレストランのＷｅｂページは、共通的な外観上の構造を有する。そして、それらＷｅｂページにより提供される情報の内容のみが互いに異なる。図１に示した画像処理装置１００は、このような画像１０ｃの構造を後に説明するテンプレートを用いて認識し、画像１０ｃを識別する。そして、画像処理装置１００は、これらオブジェクトの識別結果に基づいて、様々なＡＲアプリケーションを実現する。
【００１７】
＜２．一実施形態に係る画像処理装置の構成例＞
［２−１．ハードウェア構成］
図２は、本実施形態に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。図２を参照すると、画像処理装置１００は、撮像部１０２、センサ部１０４、入力部１０６、記憶部１０８、表示部１１０、通信部１１２、バス１１６及び制御部１１８を備える。
【００１８】
（１）撮像部
撮像部１０２は、画像を撮像するカメラモジュールである。撮像部１０２は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を用いて実世界を撮像し、撮像画像を生成する。撮像部１０２により生成される撮像画像は、制御部１１８による画像処理の入力画像となる。なお、撮像部１０２は、必ずしも画像処理装置１００の一部でなくてもよい。例えば、画像処理装置１００と有線又は無線で接続される撮像装置が撮像部１０２として扱われてもよい。
【００１９】
（２）センサ部
センサ部１０４は、測位センサ、加速度センサ及びジャイロセンサなどの様々なセンサを含み得る。例えば、センサ部１０４は、ＧＰＳ（Global Positioning System）信号を受信して画像処理装置１００の地理的位置を測定するＧＰＳセンサを含んでもよい。また、センサ部１０４は、無線アクセスポイントから受信される無線信号の強度に基づいて画像処理装置１００の位置を測定する測位センサを含んでもよい。
【００２０】
（３）入力部
入力部１０６は、ユーザが画像処理装置１００を操作し又は画像処理装置１００へ情報を入力するために使用される入力デバイスである。入力部１０６は、例えば、表示部１１０の画面上へのユーザによるタッチを検出するタッチセンサを含んでもよい。その代わりに（又はそれに加えて）、入力部１０６は、マウス若しくはタッチパッドなどのポインティングデバイスを含んでもよい。さらに、入力部１０６は、キーボード、キーパッド、ボタン又はスイッチなどのその他の種類の入力デバイスを含んでもよい。
【００２１】
（４）記憶部
記憶部１０８は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、画像処理装置１００による処理のためのプログラム及びデータを記憶する。記憶部１０８により記憶されるデータは、例えば、撮像画像データ、センサデータ及び後に説明する様々なデータベース（ＤＢ）内のデータを含み得る。なお、本明細書で説明するプログラム及びデータの一部は、記憶部１０８により記憶されることなく、外部のデータソース（例えば、データサーバ、ネットワークストレージ又は外付けメモリなど）から取得されてもよい。
【００２２】
（５）表示部
表示部１１０は、ＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic light-Emitting Diode）又はＣＲＴ（Cathode Ray Tube）などのディスプレイを含む表示モジュールである。表示部１１０は、例えば、画像処理装置１００により生成されるＡＲアプリケーションの画像を表示するために使用される。なお、表示部１１０もまた、必ずしも画像処理装置１００の一部でなくてもよい。例えば、画像処理装置１００と有線又は無線で接続される表示装置が表示部１１０として扱われてもよい。
【００２３】
（６）通信部
通信部１１２は、画像処理装置１００による他の装置との間の通信を仲介する通信インタフェースである。通信部１１２は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。
【００２４】
（７）バス
バス１１６は、撮像部１０２、センサ部１０４、入力部１０６、記憶部１０８、表示部１１０、通信部１１２及び制御部１１８を相互に接続する。
【００２５】
（８）制御部
制御部１１８は、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）などのプロセッサに相当する。制御部１１８は、記憶部１０８又は他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する画像処理装置１００の様々な機能を動作させる。
【００２６】
［２−２．機能構成］
図３は、図２に示した画像処理装置１００の記憶部１０８及び制御部１１８により実現される論理的機能の構成の一例を示すブロック図である。図３を参照すると、画像処理装置１００は、画像取得部１２０、テンプレートデータベース（ＤＢ）１２５、テンプレート取得部１３０、テンプレート照合部１４０、参照画像ＤＢ１４５、認識部１５０、表示制御部１６０、関連情報ＤＢ１６５及び情報取得部１７０を含む。
【００２７】
（１）画像取得部
画像取得部１２０は、撮像部１０２により生成される撮像画像を入力画像として取得する。画像取得部１２０により取得される入力画像は、実世界を映した画像である。当該入力画像は、静止画であってもよく、動画を構成する各フレームであってもよい。画像取得部１２０は、取得した入力画像を、テンプレート照合部１４０、認識部１５０及び表示制御部１６０へ出力する。
【００２８】
（２）テンプレートＤＢ
テンプレートＤＢ１２５は、実世界において構造的に可視化されるオブジェクトの構造をそれぞれ表す複数のテンプレートを記憶するデータベースである。テンプレートは、典型的にはオブジェクトの種類ごとに定義され得る。例えば、乗換案内用の掲示板、道案内の看板、売り場案内用のポスター及びレストラン情報を提供するＷｅｂページなどの様々な種類のオブジェクトについて、テンプレートが予め定義されてよい。本実施形態において、テンプレートＤＢ１２５により記憶される各テンプレートは１つ以上のフィールドを含み、各フィールドは対応するオブジェクトにより可視化される情報に関連付けられる。各テンプレートに含まれる１つ又は複数のフィールドは、識別用フィールドであり、オブジェクトを一意に識別可能な情報に関連付けられる。
【００２９】
本明細書において、オブジェクトの識別とは、互いに異なる情報を可視化する複数のオブジェクトのうちの具体的なオブジェクトを特定することを意味する。例えば、Ａ駅、Ｂ駅及びＣ駅にそれぞれ設置される掲示板のうち具体的にどの駅に設置される掲示板であるかを特定することは、オブジェクトの識別という用語で表現され得る。以下、図４Ａ〜図６Ｂを用いて、テンプレートＤＢ１２５により記憶され得るテンプレートの３つの例を説明する。
【００３０】
（２−１）第１の例
図４Ａは、入力画像に映るオブジェクトの第１の例を示す説明図である。図４Ｂは、図４Ａに例示したオブジェクトに対応するテンプレートの一例を示す説明図である。
【００３１】
図４Ａに示したオブジェクト１２ａは、駅の案内用の掲示板である。オブジェクト１２ａは、駅名が書かれた柱状部と案内情報が書かれた板状部とを含む。図中左の板状部において、案内情報は、複数の区画に分けて記載されている。
【００３２】
図４Ｂに示したテンプレートＴ１は、実世界に存在する実オブジェクトであるオブジェクト１２ａの外観上の構造を表すテンプレートである。テンプレートＴ１は、１０個のフィールドＦ１０〜Ｆ１９を含む。フィールドＦ１０（Station_Name_text）は、識別用フィールドであり、駅名に関連付けられる。フィールドＦ１１（Title_text）は、通常フィールドであり、見出し文字列に関連付けられる。フィールドＦ１２（Left_SubTitle_text）及びＦ１３（Right_SubTitle_text）は、通常フィールドであり、副見出し文字列に関連付けられる。フィールドＦ１４（Left_Contents_text）及びＦ１５（Right_Contents_text）は、通常フィールドであり、案内情報の内容に関連付けられる。フィールドＦ１６〜Ｆ１９は、通常フィールドであり、広告情報に関連付けられる。テンプレートは、このような１つ以上のフィールドの位置関係及び各フィールドの属性を定義するデータであってよい。また、テンプレートは、対応するオブジェクトが共通的に有する文字又はマークなどの画像（例えば、テンプレートＴ１の“ｉ”マークなど）を含んでもよい。
【００３３】
（２−２）第２の例
図５Ａは、入力画像に映るオブジェクトの第２の例を示す説明図である。図５Ｂは、図５Ａに例示したオブジェクトに対応するテンプレートの一例を示す説明図である。
【００３４】
図５Ａに示したオブジェクト１２ｂは、実世界に存在する情報機器１１ｂにより表示されるレストラン情報用のＷｅｂページである。オブジェクト１２ｂは、Ｗｅｂページの見出し、レストランを識別する識別情報及びレストラン情報の内容を含む。
【００３５】
図５Ｂに示したテンプレートＴ２は、Ｗｅｂページであるオブジェクト１２ｂの可視的な構造を表すテンプレートである。テンプレートＴ２は、６個のフィールドＦ２０〜Ｆ２５を含む。フィールドＦ２０（Area_text）は、識別用フィールドの１つであり、地域名に関連付けられる。フィールドＦ２１（Name_text）は、識別用フィールドの１つであり、レストラン名に関連付けられる。フィールドＦ２２（Title_text）は、通常フィールドであり、見出し文字列に関連付けられる。フィールドＦ２３（Contents_text）は、通常フィールドであり、レストラン情報の内容に関連付けられる。フィールドＦ２４（Photo1_image）及びＦ２５（Photo2_image）は、通常フィールドであり、画像情報に関連付けられる。このように、１つのテンプレートが複数の識別用フィールドを含んでもよい。また、テンプレートに含まれる各フィールドは、テキスト情報に関連付けられてもよく、又は画像情報に関連付けられてもよい。
【００３６】
（２−３）第３の例
図６Ａは、入力画像に映るオブジェクトの第３の例を示す説明図である。図６Ｂは、図６Ａに例示したオブジェクトに対応するテンプレートの一例を示す説明図である。
【００３７】
図６Ａに示したオブジェクト１２ｃは、実世界に存在する情報機器１１ｂにより表示されるソーシャルネットワーク用のＷｅｂページである。オブジェクト１２ｃは、Ｗｅｂページの見出し、人物を識別する識別情報、フレンド情報及びプロフィール情報などを含む。
【００３８】
図６Ｂに示したテンプレートＴ３は、Ｗｅｂページであるオブジェクト１２ｃの可視的な構造を表すテンプレートである。テンプレートＴ３は、１０個のフィールドＦ３０〜Ｆ３９を含む。フィールドＦ３０（Portrait_image）は、識別用フィールドであり、人物の顔画像に関連付けられる。フィールドＦ３１（Nickname_text）は、通常フィールドであり、ニックネームに関連付けられる。フィールドＦ３２（Title1_text）及びＦ３４（Title2_text）は、通常フィールドであり、見出し文字列に関連付けられる。フィールドＦ３３（Contents1_text）及びＦ３５（Contents2_text）は、通常フィールドであり、様々な情報の内容に関連付けられる。フィールドＦ３６（Friend1_image）及びＦ３８（Friend2_image）は、通常フィールドであり、友人の顔画像に関連付けられる。フィールドＦ３７（Friend1_text）及びＦ３９（Friend2_text）は、通常フィールドであり、友人のニックネームに関連付けられる。このように、テンプレートに含まれるフィールドのうち画像情報に関連付けられるフィールドが識別用フィールドであってもよい。
【００３９】
（３）テンプレート取得部
テンプレート取得部１３０は、画像処理装置１００による画像処理に際して、テンプレートＤＢ１２５により記憶される上述した１つ以上のテンプレートを取得する。そして、テンプレート取得部１３０は、取得したテンプレートをテンプレート照合部１４０へ出力する。
【００４０】
（４）テンプレート照合部
テンプレート照合部１４０は、画像取得部１２０により取得される入力画像を、テンプレート取得部１３０により取得される１つ以上のテンプレートの各々と照合する。例えば、テンプレート照合部１４０は、入力画像からエッジを抽出する。次に、テンプレート照合部１４０は、各テンプレートの位置及び姿勢を３次元的に変化させながら、入力画像から抽出されたエッジと各テンプレートに含まれるフィールドの枠との一致度を判定する。そして、テンプレート照合部１４０は、所定の一致度を上回るテンプレートが存在する場合には、当該テンプレートに対応するオブジェクトが入力画像に映っていると判定する。テンプレート照合部１４０は、このような照合の結果（例えば、適合したテンプレートの識別子、位置及び姿勢）を、認識部１５０へ出力する。
【００４１】
（５）参照画像ＤＢ
参照画像ＤＢ１４５は、認識部１５０によるフィールド認識処理において参照される既知の画像を記憶するデータベースである。参照画像ＤＢ１４５は、例えば、レストランの外観を映した画像と当該レストランの識別子とを関連付けて記憶してもよい。また、参照画像ＤＢ１４５は、人物の顔画像と当該人物の識別子とを関連付けて記憶してもよい。なお、認識部１５０によるフィールド認識処理において参照される画像は、これら例に限定されず、他の種類の画像であってもよい。
【００４２】
（６）認識部
認識部１５０は、入力画像にいずれかのテンプレートが適合する場合に、適合するテンプレートに含まれる少なくとも１つのフィールドに関連付けられる情報を入力画像から認識する。例えば、認識部１５０は、テキスト情報に関連付けられるフィールドについて、ＯＣＲ（Optical Character Recognition）を実行することにより、当該フィールドに関連付けられるテキスト情報を認識する。また、認識部１５０は、画像情報に関連付けられるフィールドについて、当該フィールドに対応する入力画像の部分画像を参照画像ＤＢ１４５により記憶されている既知の画像と照合することにより、当該フィールドに関連付けられる情報を認識する。認識部１５０は、例えば、入力画像に適合するテンプレートの姿勢に応じて、対応するオブジェクトの表面が撮像面に正対するように入力画像を加工した上で、加工後の入力画像についてＯＣＲ又は既知画像との照合を実行してもよい。
【００４３】
本実施形態において、認識部１５０は、テンプレートを用いて入力画像から認識される情報に基づいて、入力画像に映るオブジェクトを識別する。例えば、認識部１５０は、図４Ｂに例示したテンプレートＴ１が入力画像に適合する場合に、入力画像に映るオブジェクトがどの駅の案内用の掲示板であるかを、識別用フィールドＦ１０から読み取られる駅名に基づいて識別し得る。また、例えば、認識部１５０は、図５Ｂに例示したテンプレートＴ２が入力画像に適合する場合に、入力画像に映るオブジェクトがどのレストランの情報を提供するＷｅｂページであるかを、識別用フィールドＦ２０及びＦ２１からそれぞれ読み取られる地域名及びレストラン名に基づいて識別し得る。また、例えば、認識部１５０は、図６Ｂに例示したテンプレートＴ３が入力画像に適合する場合に、入力画像に映るオブジェクトが誰の人物情報を提供するＷｅｂページであるかを、識別用フィールドＦ３０に対応する部分画像と既知の顔画像との照合の結果に基づいて識別し得る。なお、認識部１５０は、オブジェクトを識別するために十分な情報が非識別用フィールドから認識された場合には、当該情報に基づいてオブジェクトを識別してもよい。
【００４４】
認識部１５０による各フィールドに関連付けられる情報の認識は、必ずしも成功するとは限らない。例えば、テンプレートの一部のフィールドに対応する部位が入力画像に映っていない場合には、認識部１５０は、当該フィールドに関連付けられる情報を認識することができない。また、あるフィールドに対応する部位が入力画像内で小さく映っているケース、又はオブジェクトの表面が撮像面に全く正対していないケースでは、当該フィールドに関連付けられる情報を認識することは難しい。そこで、認識部１５０は、入力画像の見え方をユーザに調整させるために、各フィールドに関連付けられる情報の認識の成否を表示制御部１６０へ出力する。
【００４５】
（７）表示制御部
表示制御部１６０は、認識部１５０による少なくとも１つのフィールドについての認識の結果を表示部１１０のディスプレイ上に表示させる。例えば、表示制御部１６０は、識別用フィールドが入力画像に映っていない場合には、認識部１５０によるオブジェクトの識別をユーザに支援させるために、識別用フィールドの方向へ撮像部１０２を動かすことを促す標識（indication）をディスプレイ上に表示させてよい。また、表示制御部１６０は、入力画像に映る識別用フィールドのサイズが小さい場合には、識別用フィールドをより大きく映すことを促す標識をディスプレイ上に表示させてよい。これら標識を視認したユーザが撮像部１０２を移動させ又はズーム率を変更することにより、識別用フィールドに関連付けられる情報の認識が容易となる。また、表示制御部１６０は、識別用フィールドに関連付けられる情報の認識が成功した場合に、さらに識別用フィールド以外のフィールドについての認識が容易となるようにユーザを誘導してもよい。例えば、表示制御部１６０は、関連付けられる情報の認識の成功又は失敗を表現する標識をフィールドごとに入力画像に重畳することにより、情報の認識が失敗しているフィールドについて認識を支援させるようにユーザを誘導し得る。
【００４６】
図７は、認識結果についての表示制御部１６０による表示の第１の例について説明するための説明図である。図７の左には、オブジェクト１２ａが映る画像Ｉｍ１１が、画像処理装置１００のディスプレイ上に表示されている。画像Ｉｍ１１には、オブジェクト１２ａの識別用フィールド（に対応する部位）が十分に映っていない。そこで、表示制御部１６０は、オブジェクト１２ａの識別用フィールドを入力画像に映すことをユーザに促す標識Ｄ１を、画像Ｉｍ１１に重畳している。かかる標識Ｄ１を視認したユーザは、例えば画像処理装置１００を移動させ又は回転させて、オブジェクト１２ａの識別用フィールドを入力画像に映す。図７の右では、識別用フィールドから認識された情報に基づくオブジェクト１２ａの識別が成功したことを示す標識Ｄ２が、オブジェクト１２ａを映した画像Ｉｍ１２に重畳されている。
【００４７】
図８Ａは、認識結果についての表示制御部１６０による表示の第２の例について説明するための説明図である。図８Ａに例示した画像Ｉｍ２１において、情報の認識が成功したフィールドには半透明の矩形の標識が、情報の認識が失敗したフィールドには透明の矩形の標識が重畳されている。これら標識を視認したユーザは、情報の認識が失敗したフィールドに対応するオブジェクトの部位がより大きく又はより明瞭に入力画像に映るように、画像処理装置１００（あるいは撮像部１０２）を操作し得る。図８Ｂは、認識結果についての表示制御部１６０による表示の第３の例について説明するための説明図である。図８Ｂの例では、情報の認識が成功したフィールドについては標識は重畳されず、情報の認識が失敗したフィールドにのみ透明の矩形の標識が重畳されている。この場合にも、標識の消去によって情報の認識の成否をユーザに示し、情報の認識が失敗したフィールドについて認識が容易となるようにユーザを誘導することができる。
【００４８】
図９は、認識結果についての表示制御部１６０による表示の第４の例について説明するための説明図である。図９に示した画像処理装置１００のディスプレイ上には、実世界２に存在する情報機器１１ｂにより表示されているオブジェクト１２ｃが映る画像Ｉｍ３１が表示されている。画像Ｉｍ３１には、オブジェクト１２ｃの識別用フィールドＦ３０（に対応する部位）は映っているものの、そのサイズが小さいことから、識別用フィールドＦ３０について情報の認識が失敗し得る。そこで、表示制御部１６０は、識別用フィールドＦ３０をより大きく入力画像に映すことをユーザに促す標識Ｄ３を、画像Ｉｍ３１に重畳している。かかる標識Ｄ３を視認したユーザは、例えば画像処理装置１００を情報機器１１ｂに近付け又は撮像部１０２のズーム率を変更して、識別用フィールドＦ３０をより大きく入力画像に映す。それにより、識別用フィールドＦ３０についての情報の認識はより確実に成功し得る。
【００４９】
図１０は、認識結果についての表示制御部１６０による表示の第５の例について説明するための説明図である。図１０に示した画像処理装置１００のディスプレイ上には、オブジェクト１２ｃが映る画像Ｉｍ４１が表示されている。画像Ｉｍ４１には、オブジェクト１２ｃが映っているものの、そのサイズが大き過ぎることからいずれのテンプレートもオブジェクト１２ｃに適合しない。そこで、表示制御部１６０は、オブジェクト１２ｃをより小さく映すことをユーザに促す標識Ｄ４を、画像Ｉｍ４１に重畳している。かかる標識Ｄ４を視認したユーザがオブジェクト１２ｃの全体を入力画像に映すことにより、例えば図６Ｂに示したテンプレートＴ３が入力画像に映るオブジェクト１２ｃに適合し得る。
【００５０】
上述したような表示制御部１６０とユーザとの連携によってオブジェクトの識別が成功し、又は必要とされる全ての情報が認識部１５０により認識されると、ＡＲアプリケーションの実行が開始され得る。例えば、表示制御部１６０は、認識部１５０により識別されたオブジェクトに関連する関連情報を情報取得部１７０に取得させる。そして、表示制御部１６０は、情報取得部１７０により取得された関連情報をディスプレイ上に表示させる。
【００５１】
（８）関連情報ＤＢ
関連情報ＤＢ１６５は、ＡＲアプリケーションのために表示される様々な情報を記憶するデータベースである。関連情報ＤＢ１６５において、個々の関連情報は、いずれかのオブジェクト又はいずれかのオブジェクトにより可視化される情報と関連付けられる。関連情報は、例えば、ＡＲアプリケーションのためのアノテーションであってもよい。各アノテーションは、例えば、関連付けられているオブジェクトが入力画像内で識別された場合に、当該オブジェクトの周囲に配置され、入力画像に重畳され得る。また、関連情報は、関連付けられているオブジェクトを映すより高画質な画像を表現する画像情報であってもよい。例えば、入力画像に映るあるオブジェクトが識別されると、当該オブジェクトを映すより高画質な画像が入力画像の代わりにディスプレイ上に表示され得る。関連情報ＤＢ１６５は、画像処理装置１００の位置に応じて動的に取得される関連情報を記憶してもよい。
【００５２】
（９）情報取得部
情報取得部１７０は、認識部１５０により識別されるオブジェクトに関連する関連情報を、関連情報ＤＢ１６５又は外部のサーバから取得する。そして、情報取得部１７０は、取得した関連情報を表示制御部１６０へ出力し、ＡＲアプリケーションのための表示処理を表示制御部１６０に実行させる。一例として、情報取得部１７０により取得される関連情報は、上述したアノテーション、画像情報又は通信部１１２を介してＷｅｂサイトから取得される情報を含み得る。
【００５３】
図１１は、本実施形態において表示され得る関連情報の第１の例について説明するための説明図である。図１１の左において、画像処理装置１００のディスプレイ上には、図７に例示した画像Ｉｍ１２が表示されている。画像Ｉｍ１２の標識Ｄ２は、画像Ｉｍ１２に映るオブジェクト１２ａの認識部１５０による識別が成功したことを示している。オブジェクト１２ａは、例えば東京駅に設置される掲示板である。情報取得部１７０は、オブジェクト１２ａの識別が成功すると、オブジェクト１２ａに関連する関連情報を取得する。そして、表示制御部１６０は、情報取得部１７０により取得された関連情報を入力画像に重畳する。図１１の右において、画像Ｉｍ１３に関連情報Ａ１が重畳されている。一例として、関連情報Ａ１は、東京駅から発着する列車についての運行情報である。
【００５４】
図１２は、本実施形態において表示され得る関連情報の第２の例について説明するための説明図である。図１２の左において、画像処理装置１００のディスプレイ上には、図７に例示した画像Ｉｍ１２が再び表示されている。情報取得部１７０は、オブジェクト１２ａの識別が成功すると、オブジェクト１２ａのより高画質な画像を表現する画像情報を関連情報として取得する。そして、表示制御部１６０は、情報取得部１７０から入力される当該画像情報を用いて、入力画像の代わりにオブジェクト１２ａのより高画質な画像を表示する。図１２の右において、画像処理装置１００のディスプレイ上にオブジェクト１２ａのより高画質な画像Ｉｍ１４が表示されている。表示制御部１６０は、かかる画像Ｉｍ１４にさらに図１１で例示したような関連情報を重畳してもよい。
【００５５】
図１３は、本実施形態において表示され得る関連情報の第３の例について説明するための説明図である。図１３の左において、画像処理装置１００のディスプレイ上には、オブジェクト１２ｃを映した画像Ｉｍ３２が表示されている。画像Ｉｍ３１の標識Ｄ３は、オブジェクト１２ｃの認識部１５０による識別が成功したことを示している。オブジェクト１２ｃは、ある個人の人物情報を提供するＷｅｂページである。情報取得部１７０は、オブジェクト１２ｃの識別が成功すると、オブジェクト１２ｃに関連する関連情報を取得する。例えば、情報取得部１７０は、認識部１５０により識別された人物のＷｅｂページの送信を要求するＨＴＴＰ（Hypertext Transfer Protocol）リクエストをソーシャルネットワーク用のＷｅｂサイトに送信し、オブジェクト１２ｃと同じＷｅｂページを取得し得る。そして、表示制御部１６０は、情報取得部１７０により取得されたＷｅｂページを画像処理装置１００のディスプレイ上に表示する。図１３の右において、Ｗｅｂページの画像Ｉｍ３３が表示されている。
【００５６】
なお、情報取得部１７０によりＷｅｂサイトから取得される情報は、Ｗｅｂページそのものではなくてもよい。例えば、レストラン情報を提供するＷｅｂサイトの個々のレストランのＷｅｂページが識別された場合に、当該レストランのためのクーポン情報が取得されてもよい。
【００５７】
［２−３．処理の流れ］
図１４は、本実施形態に係る画像処理装置１００による画像処理の流れの一例を示すフローチャートである。
【００５８】
図１４を参照すると、まず、画像取得部１２０は、撮像部１０２により生成される撮像画像を入力画像として取得する（ステップＳ１０２）。そして、画像取得部１２０は、取得した入力画像を、テンプレート照合部１４０、認識部１５０及び表示制御部１６０へ出力する。また、テンプレート取得部１３０は、画像処理装置１００による画像処理に際して、テンプレートＤＢ１２５により記憶される１つ以上のテンプレートを取得する（ステップＳ１０４）。そして、テンプレート取得部１３０は、取得したテンプレートをテンプレート照合部１４０へ出力する。
【００５９】
次に、テンプレート照合部１４０は、画像取得部１２０から入力される入力画像を、テンプレート取得部１３０から入力されるテンプレートの各々と照合する（ステップＳ１０６）。そして、テンプレート照合部１４０は、照合結果を認識部１５０へ出力する。
【００６０】
次に、認識部１５０は、テンプレート照合部１４０から入力される照合結果に基づいて、入力画像に適合したテンプレートが存在するかを判定する（ステップＳ１０８）。ここで、入力画像に適合したテンプレートが存在しない場合には、処理はステップＳ１０２へ戻り、次の入力画像が取得され得る。なお、ステップＳ１０４におけるテンプレートの取得は、次の繰り返しにおいて省略されてよい。
【００６１】
ステップＳ１０８において、入力画像に適合したテンプレートが存在する場合には、認識部１５０は、適合した当該テンプレートに含まれるフィールドに関連付けられる情報を、入力画像から認識する（ステップＳ１１０）。ここでのフィールド認識処理について、後にさらに説明する。次に、認識部１５０は、テンプレートを用いて入力画像から認識された情報に基づいて、入力画像に映るオブジェクトを識別する（ステップＳ１２０）。そして、認識部１５０は、各フィールドについての認識結果及びオブジェクトの識別結果を表示制御部１６０へ出力する。
【００６２】
次に、表示制御部１６０は、入力画像に映るオブジェクトが識別されたかを判定する（ステップＳ１２２）。ここで、入力画像に映るオブジェクトが識別されていない場合には、表示制御部１６０は、識別用フィールドについての認識が容易となるようにユーザを誘導する標識をディスプレイ上に表示し、オブジェクトの識別を支援する（ステップＳ１２４）。
【００６３】
一方、入力画像に映るオブジェクトが識別された場合には、表示制御部１６０は、ＡＲアプリケーションの実行の準備が整ったか否かを判定する（ステップＳ１２６）。例えば、識別用フィールド以外のフィールドの情報の認識が成功しなければＡＲアプリケーションを実行できないような場合において、いずれかのフィールドの情報の認識が成功していなければ、ＡＲアプリケーションの実行の準備は整っていないと判定され得る。その場合、表示制御部１６０は、識別用フィールド以外のフィールドについての認識が容易となるようにユーザを誘導する標識をディスプレイ上に表示する（ステップＳ１２８）。
【００６４】
ステップＳ１２６において、ＡＲアプリケーションの実行の準備が整っている場合には、ＡＲアプリケーションが実行される（ステップＳ１３０）。例えば、識別されたオブジェクトに関連する関連情報が情報取得部１７０により取得され、取得された関連情報が表示制御部１６０によりディスプレイ上に表示される。
【００６５】
図１５は、図１４のステップＳ１１０における認識部１５０によるフィールド認識処理の詳細な流れの一例を示すフローチャートである。
【００６６】
図１５のステップＳ１１２〜ステップＳ１１４の処理は、入力画像に適合したテンプレートに含まれる各フィールドについて繰り返される（ステップＳ１１１）。まず、認識部１５０は、各フィールドがテンプレートにおいてテキスト情報及び画像情報のいずれに関連付けられているかを判定する（ステップＳ１１２）。対象のフィールドがテキスト情報に関連付けられている場合には、認識部１５０は、当該フィールドに対応する部分画像にＯＣＲを適用し、当該フィールドに関連付けられるテキスト情報を認識する（ステップＳ１１３）。一方、認識部１５０は、対象のフィールドが画像情報に関連付けられている場合には、当該フィールドに対応する部分画像を参照画像ＤＢ１４５に記憶されている既知画像と照合することにより、当該フィールドに関連付けられる情報を認識する（ステップＳ１１４）。
【００６７】
入力画像に適合したテンプレートに含まれる各フィールドについてステップＳ１１２〜ステップＳ１１４の処理が終了すると、認識部１５０は、識別用フィールドについての認識が成功したか否かを判定する（ステップＳ１１５）。ここで、識別用フィールドについての認識が成功した場合には、認識部１５０は、さらに識別用フィールドから認識された情報に基づいて、入力画像に映るオブジェクトを識別する（ステップＳ１１６）。そして、認識部１５０は、各フィールドについての認識結果及びオブジェクトの識別結果を表示制御部１６０へ出力する。
【００６８】
＜３．まとめ＞
ここまで、図１〜図１５を用いて、本開示に係る技術の一実施形態について詳細に説明した。本実施形態によれば、実世界におけるオブジェクトの外観上の構造を表すテンプレートを用いて入力画像に映るオブジェクトが検出され、当該オブジェクト上で可視化される情報が上記テンプレートに含まれるフィールドごとに認識される。その際、少なくとも１つのフィールドについての認識の結果がディスプレイ上に表示されるため、ＡＲアプリケーションが有効に動作するようにユーザが入力画像の見え方を調整することが可能となる。従って、ＡＲアプリケーションが有益な情報をより確実にユーザに提供することができる。特に、オブジェクトの識別が成功したか否かだけでなく、その前提となる各フィールドについての認識の中間的な結果が表示されることで、ユーザはＡＲアプリケーションによる画像処理を効果的に支援することができる。
【００６９】
また、本実施形態によれば、テンプレートは、オブジェクトを一意に識別可能な情報に関連付けられる識別用フィールドを含む。かかる構成によれば、共通的な外観上の構造を有し、その情報の内容のみが互いに異なる複数のオブジェクトについて、１つのテンプレートのみを用いてオブジェクトを識別することができる。従って、多数のオブジェクトを識別対象とする場合に、テンプレートの定義に要する負担が軽減されると共に、テンプレートのデータ量が過剰に増えることを回避することができる。そして、入力画像に適合するテンプレートの識別用フィールドについての認識が容易となるようにユーザが誘導される。従って、オブジェクトの識別がより成功し易くなることから、ＡＲアプリケーションの恩恵（例えば、有益な情報の獲得など）をユーザが受ける機会を増加させることができる。
【００７０】
また、本実施形態によれば、テキスト情報に関連付けられるフィールドについては、当該フィールドの情報の認識のためにＯＣＲ技術が利用され得る。また、画像情報に関連付けられるフィールドについては、当該フィールドの情報の認識のために既知画像が利用され得る。このようなフィールドごとの認識手法の切り替えにより、多様なオブジェクトをテンプレートを用いて識別することが可能となる。
【００７１】
また、本実施形態によれば、実世界に存在する実オブジェクトの識別も、情報機器により表示される画像に相当する表示オブジェクトの識別も可能である。例えば、表示オブジェクトがＷｅｂページである場合には、テンプレートを用いたＷｅｂページの識別の結果に基づいて、入力画像に映るＷｅｂページ又は当該Ｗｅｂページに関連する情報を当該入力画像を撮像した装置において簡易に（即ち、ＵＲＬの入力又はＷｅｂページの検索などの煩雑な操作を要することなく）取得することが可能となる。
【００７２】
なお、上述した画像処理装置１００の論理的機能の一部は、当該装置上に実装される代わりに、クラウドコンピューティング環境内に存在する装置上に実装されてもよい。その場合には、論理的機能の間でやり取りされる情報が、図２に例示した通信部１１２を介して装置間で送信され又は受信され得る。
【００７３】
本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵなどのプロセッサにより実行される。
【００７４】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００７５】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
実世界を映す入力画像を取得する画像取得部と、
前記実世界におけるオブジェクトの外観上の構造を表すテンプレートであって、当該オブジェクトにより可視化される情報に関連付けられる１つ以上のフィールドを含む前記テンプレートを取得するテンプレート取得部と、
前記入力画像を前記テンプレートと照合するテンプレート照合部と、
前記入力画像に前記テンプレートが適合する場合に、前記テンプレートに含まれる少なくとも１つのフィールドに関連付けられる情報を前記入力画像から認識する認識部と、
前記認識部による前記少なくとも１つのフィールドについての認識の結果をディスプレイ上に表示させる表示制御部と、
を備える画像処理装置。
（２）
前記認識部は、前記テンプレートを用いて前記入力画像から認識される情報に基づいて、前記入力画像に映るオブジェクトを識別し、
前記表示制御部は、前記認識部によるオブジェクトの識別をユーザに支援させるように、前記少なくとも１つのフィールドについての認識の結果を前記ディスプレイ上に表示させる、
前記（１）に記載の画像処理装置。
（３）
前記テンプレートは、前記オブジェクトを一意に識別可能な情報に関連付けられる識別用フィールドを含み、
前記表示制御部は、前記識別用フィールドについての認識が容易となるように前記ユーザを誘導する、
前記（２）に記載の画像処理装置。
（４）
前記表示制御部は、前記識別用フィールドに関連付けられる情報の認識が成功した場合には、前記識別用フィールド以外のフィールドについての認識が容易となるように前記ユーザを誘導する、前記（３）に記載の画像処理装置。
（５）
前記表示制御部は、関連付けられる情報の認識の成功又は失敗を表現する標識をフィールドごとに前記入力画像に重畳することにより、前記ユーザを誘導する、前記（３）又は前記（４）に記載の画像処理装置。
（６）
前記認識部は、テキスト情報に関連付けられるフィールドについて、ＯＣＲ（Optical Character Recognition）を実行することにより当該フィールドに関連付けられる情報を認識する、前記（１）〜（５）のいずれか１項に記載の画像処理装置。
（７）
前記認識部は、画像情報に関連付けられるフィールドについて、当該フィールドに対応する前記入力画像の部分画像を既知の画像と照合することにより、当該フィールドに関連付けられる情報を認識する、前記（１）〜（６）のいずれか１項に記載の画像処理装置。
（８）
前記テンプレートは、前記実世界に存在する実オブジェクトの外観上の構造を表す、前記（１）〜（７）のいずれか１項に記載の画像処理装置。
（９）
前記テンプレートは、前記実世界に存在する情報機器により表示される画像の可視的な構造を表す、前記（１）〜（７）のいずれか１項に記載の画像処理装置。
（１０）
前記画像処理装置は、前記認識部により識別されるオブジェクトに関連する関連情報を取得する情報取得部、をさらに備え、
前記表示制御部は、前記入力画像に映るオブジェクトが前記認識部により識別された場合に、当該オブジェクトに関連する前記関連情報を前記ディスプレイ上に表示させる、
前記（１）〜（９）のいずれか１項に記載の画像処理装置。
（１１）
前記関連情報は、拡張現実のためのアノテーションである、前記（１０）に記載の画像処理装置。
（１２）
前記関連情報は、前記認識部により識別されたオブジェクトのより高画質な画像を表現する画像情報である、前記（１０）に記載の画像処理装置。
（１３）
前記テンプレートは、前記実世界に存在する情報機器により表示されるＷｅｂサイトの画像の可視的な構造を表し、
前記関連情報は、前記Ｗｅｂサイトから取得される情報である、
前記（１０）に記載の画像処理装置。
（１４）
前記画像取得部、前記テンプレート取得部、前記テンプレート照合部、前記認識部及び前記表示制御部のうち少なくとも１つが前記画像処理装置の代わりにクラウドコンピューティング環境上に存在する装置により実現される、前記（１）〜（１３）のいずれか１項に記載の画像処理装置。
（１５）
実世界を映す入力画像を取得することと、
前記実世界におけるオブジェクトの外観上の構造を表すテンプレートであって、当該オブジェクトにより可視化される情報に関連付けられる１つ以上のフィールドを含む前記テンプレートを取得することと、
前記入力画像を前記テンプレートと照合することと、
前記入力画像に前記テンプレートが適合する場合に、前記テンプレートに含まれる少なくとも１つのフィールドに関連付けられる情報を前記入力画像から認識することと、
前記少なくとも１つのフィールドについての認識の結果をディスプレイ上に表示させることと、
を含む画像処理方法。
（１６）
画像処理装置を制御するコンピュータを、
実世界を映す入力画像を取得する画像取得部と、
前記実世界におけるオブジェクトの外観上の構造を表すテンプレートであって、当該オブジェクトにより可視化される情報に関連付けられる１つ以上のフィールドを含む前記テンプレートを取得するテンプレート取得部と、
前記入力画像を前記テンプレートと照合するテンプレート照合部と、
前記入力画像に前記テンプレートが適合する場合に、前記テンプレートに含まれる少なくとも１つのフィールドに関連付けられる情報を前記入力画像から認識する認識部と、
前記認識部による前記少なくとも１つのフィールドについての認識の結果をディスプレイ上に表示させる表示制御部と、
として機能させるためのプログラム。
【符号の説明】
【００７６】
１００ 画像処理装置
１２０ 画像取得部
１３０ テンプレート取得部
１４０ テンプレート照合部
１５０ 認識部
１６０ 表示制御部
１７０ 情報取得部
Ｔ１，Ｔ２，Ｔ３ テンプレート
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、実世界に付加的な情報を重畳してユーザに呈示する拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに呈示される情報は、テキスト、アイコン又はアニメーションなどの様々な形態の仮想的なオブジェクトを用いて可視化され得る。
【０００３】
ＡＲオブジェクトの表示に関連する文献として、例えば下記特許文献１が挙げられる。下記特許文献１に記載された技術では、ＡＲオブジェクトは、実世界に存在する実オブジェクトと関連付けられる位置に表示される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−０８１５５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
多くのＡＲアプリケーションにおいて、ＡＲオブジェクトの選択及び配置は、入力画像を用いた画像認識に基づいて行われる。これは、入力画像の見え方がＡＲアプリケーションの有効な動作を左右することを意味する。従って、ＡＲアプリケーションがユーザに入力画像の見え方を調整させながら画像認識を遂行することができれば、有益な情報をより確実にユーザに提供することができる。
【課題を解決するための手段】
【０００６】
本開示によれば、実世界を映す入力画像を取得する画像取得部と、前記実世界におけるオブジェクトの外観上の構造を表すテンプレートであって、当該オブジェクトにより可視化される情報に関連付けられる１つ以上のフィールドを含む前記テンプレートを取得するテンプレート取得部と、前記入力画像を前記テンプレートと照合するテンプレート照合部と、前記入力画像に前記テンプレートが適合する場合に、前記テンプレートに含まれる少なくとも１つのフィールドに関連付けられる情報を前記入力画像から認識する認識部と、前記認識部による前記少なくとも１つのフィールドについての認識の結果をディスプレイ上に表示させる表示制御部と、を備える画像処理装置が提供される。
【０００７】
また、本開示によれば、実世界を映す入力画像を取得することと、前記実世界におけるオブジェクトの外観上の構造を表すテンプレートであって、当該オブジェクトにより可視化される情報に関連付けられる１つ以上のフィールドを含む前記テンプレートを取得することと、前記入力画像を前記テンプレートと照合することと、前記入力画像に前記テンプレートが適合する場合に、前記テンプレートに含まれる少なくとも１つのフィールドに関連付けられる情報を前記入力画像から認識することと、前記少なくとも１つのフィールドについての認識の結果をディスプレイ上に表示させることと、を含む画像処理方法が提供される。
【０００８】
また、本開示によれば、画像処理装置を制御するコンピュータを、実世界を映す入力画像を取得する画像取得部と、前記実世界におけるオブジェクトの外観上の構造を表すテンプレートであって、当該オブジェクトにより可視化される情報に関連付けられる１つ以上のフィールドを含む前記テンプレートを取得するテンプレート取得部と、前記入力画像を前記テンプレートと照合するテンプレート照合部と、前記入力画像に前記テンプレートが適合する場合に、前記テンプレートに含まれる少なくとも１つのフィールドに関連付けられる情報を前記入力画像から認識する認識部と、前記認識部による前記少なくとも１つのフィールドについての認識の結果をディスプレイ上に表示させる表示制御部と、として機能させるためのプログラムが提供される。
【発明の効果】
【０００９】
本開示に係る技術によれば、ＡＲアプリケーションにおいて有益な情報をより確実にユーザに提供することができる。
【図面の簡単な説明】
【００１０】
【図１】一実施形態に係る画像処理装置の概要について説明するための説明図である。
【図２】一実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。
【図３】一実施形態に係る画像処理装置の論理的機能の構成の一例を示すブロック図である。
【図４Ａ】入力画像に映るオブジェクトの第１の例を示す説明図である。
【図４Ｂ】図４Ａに例示したオブジェクトに対応するテンプレートの一例を示す説明図である。
【図５Ａ】入力画像に映るオブジェクトの第２の例を示す説明図である。
【図５Ｂ】図５Ａに例示したオブジェクトに対応するテンプレートの一例を示す説明図である。
【図６Ａ】入力画像に映るオブジェクトの第３の例を示す説明図である。
【図６Ｂ】図６Ａに例示したオブジェクトに対応するテンプレートの一例を示す説明図である。
【図７】一実施形態における認識結果についての表示の第１の例について説明するための説明図である。
【図８Ａ】一実施形態における認識結果についての表示の第２の例について説明するための説明図である。
【図８Ｂ】一実施形態における認識結果についての表示の第３の例について説明するための説明図である。
【図９】一実施形態における認識結果についての表示の第４の例について説明するための説明図である。
【図１０】一実施形態における認識結果の表示の第５の例について説明するための説明図である。
【図１１】一実施形態において表示され得る関連情報の第１の例について説明するための説明図である。
【図１２】一実施形態において表示され得る関連情報の第２の例について説明するための説明図である。
【図１３】一実施形態において表示され得る関連情報の第３の例について説明するための説明図である。
【図１４】一実施形態に係る画像処理の流れの一例を示すフローチャートである。
【図１５】図１４に示したフィールド認識処理の詳細な流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
また、以下の順序で説明を行う。
１．概要
２．一実施形態に係る画像処理装置の構成例
２−１．ハードウェア構成
２−２．機能構成
２−３．処理の流れ
３．まとめ
【００１３】
＜１．概要＞
図１は、本開示に係る技術の一実施形態の概要について説明するための説明図である。図１を参照すると、実世界１内でユーザにより携帯されている画像処理装置１００が示されている。
【００１４】
画像処理装置１００は、実世界を撮像した画像を画面上に表示する装置である。画像処理装置１００は、例えば、スマートフォン、ＰＤＡ（Personal Digital Assistant）、ＰＮＤ（Portable Navigation Device）、ゲーム端末又は携帯用音楽プレーヤなどの端末装置であってもよく、ＰＣ（Personal Computer）又はワークステーションなどの情報処理装置であってよい。
【００１５】
実世界１は、画像処理装置１００が利用され得る空間の一例である。実世界１内には、実オブジェクト１０ａ及び１０ｂが存在する。実オブジェクト１０ａは、ナビゲーション情報を提供する実オブジェクトである。実オブジェクト１０ａは、例えば、駅に設置される乗換案内用の掲示板、道路に設置される道案内の看板、又は商業施設に設置される売り場案内用のポスターなどであってよい。実オブジェクト１０ｂは、画像１０ｃを表示する情報機器である。実オブジェクト１０ｂは、例えば、デジタルサイネージ用のモニタ、ＰＣ（Personal Computer）、スマートフォン又はテレビジョン受像機などであってよい。画像１０ｃは、ユーザに何らかの情報を提供する表示オブジェクトである。
【００１６】
本実施形態において、実オブジェクト１０ａにより提供されるナビゲーション情報は、同じ種類のナビゲーション情報に共通する外観上の構造を有し、構造的に可視化される。例えば、Ａ駅、Ｂ駅及びＣ駅にそれぞれ設置される掲示板は、共通的な外観上の構造を有する。そして、それら掲示板により示される情報の内容のみが互いに異なる。図１に示した画像処理装置１００は、このような実オブジェクト１０ａの構造を後に説明するテンプレートを用いて認識し、実オブジェクト１０ａを識別する。同様に、実オブジェクト１０ｂにより表示される画像１０ｃは、同じ種類の画像情報に共通する外観上の構造を有し、構造的に可視化される。例えば、レストラン情報を提供するＷｅｂサイトの個々のレストランのＷｅｂページは、共通的な外観上の構造を有する。そして、それらＷｅｂページにより提供される情報の内容のみが互いに異なる。図１に示した画像処理装置１００は、このような画像１０ｃの構造を後に説明するテンプレートを用いて認識し、画像１０ｃを識別する。そして、画像処理装置１００は、これらオブジェクトの識別結果に基づいて、様々なＡＲアプリケーションを実現する。
【００１７】
＜２．一実施形態に係る画像処理装置の構成例＞
［２−１．ハードウェア構成］
図２は、本実施形態に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。図２を参照すると、画像処理装置１００は、撮像部１０２、センサ部１０４、入力部１０６、記憶部１０８、表示部１１０、通信部１１２、バス１１６及び制御部１１８を備える。
【００１８】
（１）撮像部
撮像部１０２は、画像を撮像するカメラモジュールである。撮像部１０２は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を用いて実世界を撮像し、撮像画像を生成する。撮像部１０２により生成される撮像画像は、制御部１１８による画像処理の入力画像となる。なお、撮像部１０２は、必ずしも画像処理装置１００の一部でなくてもよい。例えば、画像処理装置１００と有線又は無線で接続される撮像装置が撮像部１０２として扱われてもよい。
【００１９】
（２）センサ部
センサ部１０４は、測位センサ、加速度センサ及びジャイロセンサなどの様々なセンサを含み得る。例えば、センサ部１０４は、ＧＰＳ（Global Positioning System）信号を受信して画像処理装置１００の地理的位置を測定するＧＰＳセンサを含んでもよい。また、センサ部１０４は、無線アクセスポイントから受信される無線信号の強度に基づいて画像処理装置１００の位置を測定する測位センサを含んでもよい。
【００２０】
（３）入力部
入力部１０６は、ユーザが画像処理装置１００を操作し又は画像処理装置１００へ情報を入力するために使用される入力デバイスである。入力部１０６は、例えば、表示部１１０の画面上へのユーザによるタッチを検出するタッチセンサを含んでもよい。その代わりに（又はそれに加えて）、入力部１０６は、マウス若しくはタッチパッドなどのポインティングデバイスを含んでもよい。さらに、入力部１０６は、キーボード、キーパッド、ボタン又はスイッチなどのその他の種類の入力デバイスを含んでもよい。
【００２１】
（４）記憶部
記憶部１０８は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、画像処理装置１００による処理のためのプログラム及びデータを記憶する。記憶部１０８により記憶されるデータは、例えば、撮像画像データ、センサデータ及び後に説明する様々なデータベース（ＤＢ）内のデータを含み得る。なお、本明細書で説明するプログラム及びデータの一部は、記憶部１０８により記憶されることなく、外部のデータソース（例えば、データサーバ、ネットワークストレージ又は外付けメモリなど）から取得されてもよい。
【００２２】
（５）表示部
表示部１１０は、ＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic light-Emitting Diode）又はＣＲＴ（Cathode Ray Tube）などのディスプレイを含む表示モジュールである。表示部１１０は、例えば、画像処理装置１００により生成されるＡＲアプリケーションの画像を表示するために使用される。なお、表示部１１０もまた、必ずしも画像処理装置１００の一部でなくてもよい。例えば、画像処理装置１００と有線又は無線で接続される表示装置が表示部１１０として扱われてもよい。
【００２３】
（６）通信部
通信部１１２は、画像処理装置１００による他の装置との間の通信を仲介する通信インタフェースである。通信部１１２は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。
【００２４】
（７）バス
バス１１６は、撮像部１０２、センサ部１０４、入力部１０６、記憶部１０８、表示部１１０、通信部１１２及び制御部１１８を相互に接続する。
【００２５】
（８）制御部
制御部１１８は、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）などのプロセッサに相当する。制御部１１８は、記憶部１０８又は他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する画像処理装置１００の様々な機能を動作させる。
【００２６】
［２−２．機能構成］
図３は、図２に示した画像処理装置１００の記憶部１０８及び制御部１１８により実現される論理的機能の構成の一例を示すブロック図である。図３を参照すると、画像処理装置１００は、画像取得部１２０、テンプレートデータベース（ＤＢ）１２５、テンプレート取得部１３０、テンプレート照合部１４０、参照画像ＤＢ１４５、認識部１５０、表示制御部１６０、関連情報ＤＢ１６５及び情報取得部１７０を含む。
【００２７】
（１）画像取得部
画像取得部１２０は、撮像部１０２により生成される撮像画像を入力画像として取得する。画像取得部１２０により取得される入力画像は、実世界を映した画像である。当該入力画像は、静止画であってもよく、動画を構成する各フレームであってもよい。画像取得部１２０は、取得した入力画像を、テンプレート照合部１４０、認識部１５０及び表示制御部１６０へ出力する。
【００２８】
（２）テンプレートＤＢ
テンプレートＤＢ１２５は、実世界において構造的に可視化されるオブジェクトの構造をそれぞれ表す複数のテンプレートを記憶するデータベースである。テンプレートは、典型的にはオブジェクトの種類ごとに定義され得る。例えば、乗換案内用の掲示板、道案内の看板、売り場案内用のポスター及びレストラン情報を提供するＷｅｂページなどの様々な種類のオブジェクトについて、テンプレートが予め定義されてよい。本実施形態において、テンプレートＤＢ１２５により記憶される各テンプレートは１つ以上のフィールドを含み、各フィールドは対応するオブジェクトにより可視化される情報に関連付けられる。各テンプレートに含まれる１つ又は複数のフィールドは、識別用フィールドであり、オブジェクトを一意に識別可能な情報に関連付けられる。
【００２９】
本明細書において、オブジェクトの識別とは、互いに異なる情報を可視化する複数のオブジェクトのうちの具体的なオブジェクトを特定することを意味する。例えば、Ａ駅、Ｂ駅及びＣ駅にそれぞれ設置される掲示板のうち具体的にどの駅に設置される掲示板であるかを特定することは、オブジェクトの識別という用語で表現され得る。以下、図４Ａ〜図６Ｂを用いて、テンプレートＤＢ１２５により記憶され得るテンプレートの３つの例を説明する。
【００３０】
（２−１）第１の例
図４Ａは、入力画像に映るオブジェクトの第１の例を示す説明図である。図４Ｂは、図４Ａに例示したオブジェクトに対応するテンプレートの一例を示す説明図である。
【００３１】
図４Ａに示したオブジェクト１２ａは、駅の案内用の掲示板である。オブジェクト１２ａは、駅名が書かれた柱状部と案内情報が書かれた板状部とを含む。図中左の板状部において、案内情報は、複数の区画に分けて記載されている。
【００３２】
図４Ｂに示したテンプレートＴ１は、実世界に存在する実オブジェクトであるオブジェクト１２ａの外観上の構造を表すテンプレートである。テンプレートＴ１は、１０個のフィールドＦ１０〜Ｆ１９を含む。フィールドＦ１０（Station_Name_text）は、識別用フィールドであり、駅名に関連付けられる。フィールドＦ１１（Title_text）は、通常フィールドであり、見出し文字列に関連付けられる。フィールドＦ１２（Left_SubTitle_text）及びＦ１３（Right_SubTitle_text）は、通常フィールドであり、副見出し文字列に関連付けられる。フィールドＦ１４（Left_Contents_text）及びＦ１５（Right_Contents_text）は、通常フィールドであり、案内情報の内容に関連付けられる。フィールドＦ１６〜Ｆ１９は、通常フィールドであり、広告情報に関連付けられる。テンプレートは、このような１つ以上のフィールドの位置関係及び各フィールドの属性を定義するデータであってよい。また、テンプレートは、対応するオブジェクトが共通的に有する文字又はマークなどの画像（例えば、テンプレートＴ１の“ｉ”マークなど）を含んでもよい。
【００３３】
（２−２）第２の例
図５Ａは、入力画像に映るオブジェクトの第２の例を示す説明図である。図５Ｂは、図５Ａに例示したオブジェクトに対応するテンプレートの一例を示す説明図である。
【００３４】
図５Ａに示したオブジェクト１２ｂは、実世界に存在する情報機器１１ｂにより表示されるレストラン情報用のＷｅｂページである。オブジェクト１２ｂは、Ｗｅｂページの見出し、レストランを識別する識別情報及びレストラン情報の内容を含む。
【００３５】
図５Ｂに示したテンプレートＴ２は、Ｗｅｂページであるオブジェクト１２ｂの可視的な構造を表すテンプレートである。テンプレートＴ２は、６個のフィールドＦ２０〜Ｆ２５を含む。フィールドＦ２０（Area_text）は、識別用フィールドの１つであり、地域名に関連付けられる。フィールドＦ２１（Name_text）は、識別用フィールドの１つであり、レストラン名に関連付けられる。フィールドＦ２２（Title_text）は、通常フィールドであり、見出し文字列に関連付けられる。フィールドＦ２３（Contents_text）は、通常フィールドであり、レストラン情報の内容に関連付けられる。フィールドＦ２４（Photo1_image）及びＦ２５（Photo2_image）は、通常フィールドであり、画像情報に関連付けられる。このように、１つのテンプレートが複数の識別用フィールドを含んでもよい。また、テンプレートに含まれる各フィールドは、テキスト情報に関連付けられてもよく、又は画像情報に関連付けられてもよい。
【００３６】
（２−３）第３の例
図６Ａは、入力画像に映るオブジェクトの第３の例を示す説明図である。図６Ｂは、図６Ａに例示したオブジェクトに対応するテンプレートの一例を示す説明図である。
【００３７】
図６Ａに示したオブジェクト１２ｃは、実世界に存在する情報機器１１ｂにより表示されるソーシャルネットワーク用のＷｅｂページである。オブジェクト１２ｃは、Ｗｅｂページの見出し、人物を識別する識別情報、フレンド情報及びプロフィール情報などを含む。
【００３８】
図６Ｂに示したテンプレートＴ３は、Ｗｅｂページであるオブジェクト１２ｃの可視的な構造を表すテンプレートである。テンプレートＴ３は、１０個のフィールドＦ３０〜Ｆ３９を含む。フィールドＦ３０（Portrait_image）は、識別用フィールドであり、人物の顔画像に関連付けられる。フィールドＦ３１（Nickname_text）は、通常フィールドであり、ニックネームに関連付けられる。フィールドＦ３２（Title1_text）及びＦ３４（Title2_text）は、通常フィールドであり、見出し文字列に関連付けられる。フィールドＦ３３（Contents1_text）及びＦ３５（Contents2_text）は、通常フィールドであり、様々な情報の内容に関連付けられる。フィールドＦ３６（Friend1_image）及びＦ３８（Friend2_image）は、通常フィールドであり、友人の顔画像に関連付けられる。フィールドＦ３７（Friend1_text）及びＦ３９（Friend2_text）は、通常フィールドであり、友人のニックネームに関連付けられる。このように、テンプレートに含まれるフィールドのうち画像情報に関連付けられるフィールドが識別用フィールドであってもよい。
【００３９】
（３）テンプレート取得部
テンプレート取得部１３０は、画像処理装置１００による画像処理に際して、テンプレートＤＢ１２５により記憶される上述した１つ以上のテンプレートを取得する。そして、テンプレート取得部１３０は、取得したテンプレートをテンプレート照合部１４０へ出力する。
【００４０】
（４）テンプレート照合部
テンプレート照合部１４０は、画像取得部１２０により取得される入力画像を、テンプレート取得部１３０により取得される１つ以上のテンプレートの各々と照合する。例えば、テンプレート照合部１４０は、入力画像からエッジを抽出する。次に、テンプレート照合部１４０は、各テンプレートの位置及び姿勢を３次元的に変化させながら、入力画像から抽出されたエッジと各テンプレートに含まれるフィールドの枠との一致度を判定する。そして、テンプレート照合部１４０は、所定の一致度を上回るテンプレートが存在する場合には、当該テンプレートに対応するオブジェクトが入力画像に映っていると判定する。テンプレート照合部１４０は、このような照合の結果（例えば、適合したテンプレートの識別子、位置及び姿勢）を、認識部１５０へ出力する。
【００４１】
（５）参照画像ＤＢ
参照画像ＤＢ１４５は、認識部１５０によるフィールド認識処理において参照される既知の画像を記憶するデータベースである。参照画像ＤＢ１４５は、例えば、レストランの外観を映した画像と当該レストランの識別子とを関連付けて記憶してもよい。また、参照画像ＤＢ１４５は、人物の顔画像と当該人物の識別子とを関連付けて記憶してもよい。なお、認識部１５０によるフィールド認識処理において参照される画像は、これら例に限定されず、他の種類の画像であってもよい。
【００４２】
（６）認識部
認識部１５０は、入力画像にいずれかのテンプレートが適合する場合に、適合するテンプレートに含まれる少なくとも１つのフィールドに関連付けられる情報を入力画像から認識する。例えば、認識部１５０は、テキスト情報に関連付けられるフィールドについて、ＯＣＲ（Optical Character Recognition）を実行することにより、当該フィールドに関連付けられるテキスト情報を認識する。また、認識部１５０は、画像情報に関連付けられるフィールドについて、当該フィールドに対応する入力画像の部分画像を参照画像ＤＢ１４５により記憶されている既知の画像と照合することにより、当該フィールドに関連付けられる情報を認識する。認識部１５０は、例えば、入力画像に適合するテンプレートの姿勢に応じて、対応するオブジェクトの表面が撮像面に正対するように入力画像を加工した上で、加工後の入力画像についてＯＣＲ又は既知画像との照合を実行してもよい。
【００４３】
本実施形態において、認識部１５０は、テンプレートを用いて入力画像から認識される情報に基づいて、入力画像に映るオブジェクトを識別する。例えば、認識部１５０は、図４Ｂに例示したテンプレートＴ１が入力画像に適合する場合に、入力画像に映るオブジェクトがどの駅の案内用の掲示板であるかを、識別用フィールドＦ１０から読み取られる駅名に基づいて識別し得る。また、例えば、認識部１５０は、図５Ｂに例示したテンプレートＴ２が入力画像に適合する場合に、入力画像に映るオブジェクトがどのレストランの情報を提供するＷｅｂページであるかを、識別用フィールドＦ２０及びＦ２１からそれぞれ読み取られる地域名及びレストラン名に基づいて識別し得る。また、例えば、認識部１５０は、図６Ｂに例示したテンプレートＴ３が入力画像に適合する場合に、入力画像に映るオブジェクトが誰の人物情報を提供するＷｅｂページであるかを、識別用フィールドＦ３０に対応する部分画像と既知の顔画像との照合の結果に基づいて識別し得る。なお、認識部１５０は、オブジェクトを識別するために十分な情報が非識別用フィールドから認識された場合には、当該情報に基づいてオブジェクトを識別してもよい。
【００４４】
認識部１５０による各フィールドに関連付けられる情報の認識は、必ずしも成功するとは限らない。例えば、テンプレートの一部のフィールドに対応する部位が入力画像に映っていない場合には、認識部１５０は、当該フィールドに関連付けられる情報を認識することができない。また、あるフィールドに対応する部位が入力画像内で小さく映っているケース、又はオブジェクトの表面が撮像面に全く正対していないケースでは、当該フィールドに関連付けられる情報を認識することは難しい。そこで、認識部１５０は、入力画像の見え方をユーザに調整させるために、各フィールドに関連付けられる情報の認識の成否を表示制御部１６０へ出力する。
【００４５】
（７）表示制御部
表示制御部１６０は、認識部１５０による少なくとも１つのフィールドについての認識の結果を表示部１１０のディスプレイ上に表示させる。例えば、表示制御部１６０は、識別用フィールドが入力画像に映っていない場合には、認識部１５０によるオブジェクトの識別をユーザに支援させるために、識別用フィールドの方向へ撮像部１０２を動かすことを促す標識（indication）をディスプレイ上に表示させてよい。また、表示制御部１６０は、入力画像に映る識別用フィールドのサイズが小さい場合には、識別用フィールドをより大きく映すことを促す標識をディスプレイ上に表示させてよい。これら標識を視認したユーザが撮像部１０２を移動させ又はズーム率を変更することにより、識別用フィールドに関連付けられる情報の認識が容易となる。また、表示制御部１６０は、識別用フィールドに関連付けられる情報の認識が成功した場合に、さらに識別用フィールド以外のフィールドについての認識が容易となるようにユーザを誘導してもよい。例えば、表示制御部１６０は、関連付けられる情報の認識の成功又は失敗を表現する標識をフィールドごとに入力画像に重畳することにより、情報の認識が失敗しているフィールドについて認識を支援させるようにユーザを誘導し得る。
【００４６】
図７は、認識結果についての表示制御部１６０による表示の第１の例について説明するための説明図である。図７の左には、オブジェクト１２ａが映る画像Ｉｍ１１が、画像処理装置１００のディスプレイ上に表示されている。画像Ｉｍ１１には、オブジェクト１２ａの識別用フィールド（に対応する部位）が十分に映っていない。そこで、表示制御部１６０は、オブジェクト１２ａの識別用フィールドを入力画像に映すことをユーザに促す標識Ｄ１を、画像Ｉｍ１１に重畳している。かかる標識Ｄ１を視認したユーザは、例えば画像処理装置１００を移動させ又は回転させて、オブジェクト１２ａの識別用フィールドを入力画像に映す。図７の右では、識別用フィールドから認識された情報に基づくオブジェクト１２ａの識別が成功したことを示す標識Ｄ２が、オブジェクト１２ａを映した画像Ｉｍ１２に重畳されている。
【００４７】
図８Ａは、認識結果についての表示制御部１６０による表示の第２の例について説明するための説明図である。図８Ａに例示した画像Ｉｍ２１において、情報の認識が成功したフィールドには半透明の矩形の標識が、情報の認識が失敗したフィールドには透明の矩形の標識が重畳されている。これら標識を視認したユーザは、情報の認識が失敗したフィールドに対応するオブジェクトの部位がより大きく又はより明瞭に入力画像に映るように、画像処理装置１００（あるいは撮像部１０２）を操作し得る。図８Ｂは、認識結果についての表示制御部１６０による表示の第３の例について説明するための説明図である。図８Ｂの例では、情報の認識が成功したフィールドについては標識は重畳されず、情報の認識が失敗したフィールドにのみ透明の矩形の標識が重畳されている。この場合にも、標識の消去によって情報の認識の成否をユーザに示し、情報の認識が失敗したフィールドについて認識が容易となるようにユーザを誘導することができる。
【００４８】
図９は、認識結果についての表示制御部１６０による表示の第４の例について説明するための説明図である。図９に示した画像処理装置１００のディスプレイ上には、実世界２に存在する情報機器１１ｂにより表示されているオブジェクト１２ｃが映る画像Ｉｍ３１が表示されている。画像Ｉｍ３１には、オブジェクト１２ｃの識別用フィールドＦ３０（に対応する部位）は映っているものの、そのサイズが小さいことから、識別用フィールドＦ３０について情報の認識が失敗し得る。そこで、表示制御部１６０は、識別用フィールドＦ３０をより大きく入力画像に映すことをユーザに促す標識Ｄ３を、画像Ｉｍ３１に重畳している。かかる標識Ｄ３を視認したユーザは、例えば画像処理装置１００を情報機器１１ｂに近付け又は撮像部１０２のズーム率を変更して、識別用フィールドＦ３０をより大きく入力画像に映す。それにより、識別用フィールドＦ３０についての情報の認識はより確実に成功し得る。
【００４９】
図１０は、認識結果についての表示制御部１６０による表示の第５の例について説明するための説明図である。図１０に示した画像処理装置１００のディスプレイ上には、オブジェクト１２ｃが映る画像Ｉｍ４１が表示されている。画像Ｉｍ４１には、オブジェクト１２ｃが映っているものの、そのサイズが大き過ぎることからいずれのテンプレートもオブジェクト１２ｃに適合しない。そこで、表示制御部１６０は、オブジェクト１２ｃをより小さく映すことをユーザに促す標識Ｄ４を、画像Ｉｍ４１に重畳している。かかる標識Ｄ４を視認したユーザがオブジェクト１２ｃの全体を入力画像に映すことにより、例えば図６Ｂに示したテンプレートＴ３が入力画像に映るオブジェクト１２ｃに適合し得る。
【００５０】
上述したような表示制御部１６０とユーザとの連携によってオブジェクトの識別が成功し、又は必要とされる全ての情報が認識部１５０により認識されると、ＡＲアプリケーションの実行が開始され得る。例えば、表示制御部１６０は、認識部１５０により識別されたオブジェクトに関連する関連情報を情報取得部１７０に取得させる。そして、表示制御部１６０は、情報取得部１７０により取得された関連情報をディスプレイ上に表示させる。
【００５１】
（８）関連情報ＤＢ
関連情報ＤＢ１６５は、ＡＲアプリケーションのために表示される様々な情報を記憶するデータベースである。関連情報ＤＢ１６５において、個々の関連情報は、いずれかのオブジェクト又はいずれかのオブジェクトにより可視化される情報と関連付けられる。関連情報は、例えば、ＡＲアプリケーションのためのアノテーションであってもよい。各アノテーションは、例えば、関連付けられているオブジェクトが入力画像内で識別された場合に、当該オブジェクトの周囲に配置され、入力画像に重畳され得る。また、関連情報は、関連付けられているオブジェクトを映すより高画質な画像を表現する画像情報であってもよい。例えば、入力画像に映るあるオブジェクトが識別されると、当該オブジェクトを映すより高画質な画像が入力画像の代わりにディスプレイ上に表示され得る。関連情報ＤＢ１６５は、画像処理装置１００の位置に応じて動的に取得される関連情報を記憶してもよい。
【００５２】
（９）情報取得部
情報取得部１７０は、認識部１５０により識別されるオブジェクトに関連する関連情報を、関連情報ＤＢ１６５又は外部のサーバから取得する。そして、情報取得部１７０は、取得した関連情報を表示制御部１６０へ出力し、ＡＲアプリケーションのための表示処理を表示制御部１６０に実行させる。一例として、情報取得部１７０により取得される関連情報は、上述したアノテーション、画像情報又は通信部１１２を介してＷｅｂサイトから取得される情報を含み得る。
【００５３】
図１１は、本実施形態において表示され得る関連情報の第１の例について説明するための説明図である。図１１の左において、画像処理装置１００のディスプレイ上には、図７に例示した画像Ｉｍ１２が表示されている。画像Ｉｍ１２の標識Ｄ２は、画像Ｉｍ１２に映るオブジェクト１２ａの認識部１５０による識別が成功したことを示している。オブジェクト１２ａは、例えば東京駅に設置される掲示板である。情報取得部１７０は、オブジェクト１２ａの識別が成功すると、オブジェクト１２ａに関連する関連情報を取得する。そして、表示制御部１６０は、情報取得部１７０により取得された関連情報を入力画像に重畳する。図１１の右において、画像Ｉｍ１３に関連情報Ａ１が重畳されている。一例として、関連情報Ａ１は、東京駅から発着する列車についての運行情報である。
【００５４】
図１２は、本実施形態において表示され得る関連情報の第２の例について説明するための説明図である。図１２の左において、画像処理装置１００のディスプレイ上には、図７に例示した画像Ｉｍ１２が再び表示されている。情報取得部１７０は、オブジェクト１２ａの識別が成功すると、オブジェクト１２ａのより高画質な画像を表現する画像情報を関連情報として取得する。そして、表示制御部１６０は、情報取得部１７０から入力される当該画像情報を用いて、入力画像の代わりにオブジェクト１２ａのより高画質な画像を表示する。図１２の右において、画像処理装置１００のディスプレイ上にオブジェクト１２ａのより高画質な画像Ｉｍ１４が表示されている。表示制御部１６０は、かかる画像Ｉｍ１４にさらに図１１で例示したような関連情報を重畳してもよい。
【００５５】
図１３は、本実施形態において表示され得る関連情報の第３の例について説明するための説明図である。図１３の左において、画像処理装置１００のディスプレイ上には、オブジェクト１２ｃを映した画像Ｉｍ３２が表示されている。画像Ｉｍ３１の標識Ｄ３は、オブジェクト１２ｃの認識部１５０による識別が成功したことを示している。オブジェクト１２ｃは、ある個人の人物情報を提供するＷｅｂページである。情報取得部１７０は、オブジェクト１２ｃの識別が成功すると、オブジェクト１２ｃに関連する関連情報を取得する。例えば、情報取得部１７０は、認識部１５０により識別された人物のＷｅｂページの送信を要求するＨＴＴＰ（Hypertext Transfer Protocol）リクエストをソーシャルネットワーク用のＷｅｂサイトに送信し、オブジェクト１２ｃと同じＷｅｂページを取得し得る。そして、表示制御部１６０は、情報取得部１７０により取得されたＷｅｂページを画像処理装置１００のディスプレイ上に表示する。図１３の右において、Ｗｅｂページの画像Ｉｍ３３が表示されている。
【００５６】
なお、情報取得部１７０によりＷｅｂサイトから取得される情報は、Ｗｅｂページそのものではなくてもよい。例えば、レストラン情報を提供するＷｅｂサイトの個々のレストランのＷｅｂページが識別された場合に、当該レストランのためのクーポン情報が取得されてもよい。
【００５７】
［２−３．処理の流れ］
図１４は、本実施形態に係る画像処理装置１００による画像処理の流れの一例を示すフローチャートである。
【００５８】
図１４を参照すると、まず、画像取得部１２０は、撮像部１０２により生成される撮像画像を入力画像として取得する（ステップＳ１０２）。そして、画像取得部１２０は、取得した入力画像を、テンプレート照合部１４０、認識部１５０及び表示制御部１６０へ出力する。また、テンプレート取得部１３０は、画像処理装置１００による画像処理に際して、テンプレートＤＢ１２５により記憶される１つ以上のテンプレートを取得する（ステップＳ１０４）。そして、テンプレート取得部１３０は、取得したテンプレートをテンプレート照合部１４０へ出力する。
【００５９】
次に、テンプレート照合部１４０は、画像取得部１２０から入力される入力画像を、テンプレート取得部１３０から入力されるテンプレートの各々と照合する（ステップＳ１０６）。そして、テンプレート照合部１４０は、照合結果を認識部１５０へ出力する。
【００６０】
次に、認識部１５０は、テンプレート照合部１４０から入力される照合結果に基づいて、入力画像に適合したテンプレートが存在するかを判定する（ステップＳ１０８）。ここで、入力画像に適合したテンプレートが存在しない場合には、処理はステップＳ１０２へ戻り、次の入力画像が取得され得る。なお、ステップＳ１０４におけるテンプレートの取得は、次の繰り返しにおいて省略されてよい。
【００６１】
ステップＳ１０８において、入力画像に適合したテンプレートが存在する場合には、認識部１５０は、適合した当該テンプレートに含まれるフィールドに関連付けられる情報を、入力画像から認識する（ステップＳ１１０）。ここでのフィールド認識処理について、後にさらに説明する。次に、認識部１５０は、テンプレートを用いて入力画像から認識された情報に基づいて、入力画像に映るオブジェクトを識別する（ステップＳ１２０）。そして、認識部１５０は、各フィールドについての認識結果及びオブジェクトの識別結果を表示制御部１６０へ出力する。
【００６２】
次に、表示制御部１６０は、入力画像に映るオブジェクトが識別されたかを判定する（ステップＳ１２２）。ここで、入力画像に映るオブジェクトが識別されていない場合には、表示制御部１６０は、識別用フィールドについての認識が容易となるようにユーザを誘導する標識をディスプレイ上に表示し、オブジェクトの識別を支援する（ステップＳ１２４）。
【００６３】
一方、入力画像に映るオブジェクトが識別された場合には、表示制御部１６０は、ＡＲアプリケーションの実行の準備が整ったか否かを判定する（ステップＳ１２６）。例えば、識別用フィールド以外のフィールドの情報の認識が成功しなければＡＲアプリケーションを実行できないような場合において、いずれかのフィールドの情報の認識が成功していなければ、ＡＲアプリケーションの実行の準備は整っていないと判定され得る。その場合、表示制御部１６０は、識別用フィールド以外のフィールドについての認識が容易となるようにユーザを誘導する標識をディスプレイ上に表示する（ステップＳ１２８）。
【００６４】
ステップＳ１２６において、ＡＲアプリケーションの実行の準備が整っている場合には、ＡＲアプリケーションが実行される（ステップＳ１３０）。例えば、識別されたオブジェクトに関連する関連情報が情報取得部１７０により取得され、取得された関連情報が表示制御部１６０によりディスプレイ上に表示される。
【００６５】
図１５は、図１４のステップＳ１１０における認識部１５０によるフィールド認識処理の詳細な流れの一例を示すフローチャートである。
【００６６】
図１５のステップＳ１１２〜ステップＳ１１４の処理は、入力画像に適合したテンプレートに含まれる各フィールドについて繰り返される（ステップＳ１１１）。まず、認識部１５０は、各フィールドがテンプレートにおいてテキスト情報及び画像情報のいずれに関連付けられているかを判定する（ステップＳ１１２）。対象のフィールドがテキスト情報に関連付けられている場合には、認識部１５０は、当該フィールドに対応する部分画像にＯＣＲを適用し、当該フィールドに関連付けられるテキスト情報を認識する（ステップＳ１１３）。一方、認識部１５０は、対象のフィールドが画像情報に関連付けられている場合には、当該フィールドに対応する部分画像を参照画像ＤＢ１４５に記憶されている既知画像と照合することにより、当該フィールドに関連付けられる情報を認識する（ステップＳ１１４）。
【００６７】
入力画像に適合したテンプレートに含まれる各フィールドについてステップＳ１１２〜ステップＳ１１４の処理が終了すると、認識部１５０は、識別用フィールドについての認識が成功したか否かを判定する（ステップＳ１１５）。ここで、識別用フィールドについての認識が成功した場合には、認識部１５０は、さらに識別用フィールドから認識された情報に基づいて、入力画像に映るオブジェクトを識別する（ステップＳ１１６）。そして、認識部１５０は、各フィールドについての認識結果及びオブジェクトの識別結果を表示制御部１６０へ出力する。
【００６８】
＜３．まとめ＞
ここまで、図１〜図１５を用いて、本開示に係る技術の一実施形態について詳細に説明した。本実施形態によれば、実世界におけるオブジェクトの外観上の構造を表すテンプレートを用いて入力画像に映るオブジェクトが検出され、当該オブジェクト上で可視化される情報が上記テンプレートに含まれるフィールドごとに認識される。その際、少なくとも１つのフィールドについての認識の結果がディスプレイ上に表示されるため、ＡＲアプリケーションが有効に動作するようにユーザが入力画像の見え方を調整することが可能となる。従って、ＡＲアプリケーションが有益な情報をより確実にユーザに提供することができる。特に、オブジェクトの識別が成功したか否かだけでなく、その前提となる各フィールドについての認識の中間的な結果が表示されることで、ユーザはＡＲアプリケーションによる画像処理を効果的に支援することができる。
【００６９】
また、本実施形態によれば、テンプレートは、オブジェクトを一意に識別可能な情報に関連付けられる識別用フィールドを含む。かかる構成によれば、共通的な外観上の構造を有し、その情報の内容のみが互いに異なる複数のオブジェクトについて、１つのテンプレートのみを用いてオブジェクトを識別することができる。従って、多数のオブジェクトを識別対象とする場合に、テンプレートの定義に要する負担が軽減されると共に、テンプレートのデータ量が過剰に増えることを回避することができる。そして、入力画像に適合するテンプレートの識別用フィールドについての認識が容易となるようにユーザが誘導される。従って、オブジェクトの識別がより成功し易くなることから、ＡＲアプリケーションの恩恵（例えば、有益な情報の獲得など）をユーザが受ける機会を増加させることができる。
【００７０】
また、本実施形態によれば、テキスト情報に関連付けられるフィールドについては、当該フィールドの情報の認識のためにＯＣＲ技術が利用され得る。また、画像情報に関連付けられるフィールドについては、当該フィールドの情報の認識のために既知画像が利用され得る。このようなフィールドごとの認識手法の切り替えにより、多様なオブジェクトをテンプレートを用いて識別することが可能となる。
【００７１】
また、本実施形態によれば、実世界に存在する実オブジェクトの識別も、情報機器により表示される画像に相当する表示オブジェクトの識別も可能である。例えば、表示オブジェクトがＷｅｂページである場合には、テンプレートを用いたＷｅｂページの識別の結果に基づいて、入力画像に映るＷｅｂページ又は当該Ｗｅｂページに関連する情報を当該入力画像を撮像した装置において簡易に（即ち、ＵＲＬの入力又はＷｅｂページの検索などの煩雑な操作を要することなく）取得することが可能となる。
【００７２】
なお、上述した画像処理装置１００の論理的機能の一部は、当該装置上に実装される代わりに、クラウドコンピューティング環境内に存在する装置上に実装されてもよい。その場合には、論理的機能の間でやり取りされる情報が、図２に例示した通信部１１２を介して装置間で送信され又は受信され得る。
【００７３】
本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵなどのプロセッサにより実行される。
【００７４】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００７５】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
実世界を映す入力画像を取得する画像取得部と、
前記実世界におけるオブジェクトの外観上の構造を表すテンプレートであって、当該オブジェクトにより可視化される情報に関連付けられる１つ以上のフィールドを含む前記テンプレートを取得するテンプレート取得部と、
前記入力画像を前記テンプレートと照合するテンプレート照合部と、
前記入力画像に前記テンプレートが適合する場合に、前記テンプレートに含まれる少なくとも１つのフィールドに関連付けられる情報を前記入力画像から認識する認識部と、
前記認識部による前記少なくとも１つのフィールドについての認識の結果をディスプレイ上に表示させる表示制御部と、
を備える画像処理装置。
（２）
前記認識部は、前記テンプレートを用いて前記入力画像から認識される情報に基づいて、前記入力画像に映るオブジェクトを識別し、
前記表示制御部は、前記認識部によるオブジェクトの識別をユーザに支援させるように、前記少なくとも１つのフィールドについての認識の結果を前記ディスプレイ上に表示させる、
前記（１）に記載の画像処理装置。
（３）
前記テンプレートは、前記オブジェクトを一意に識別可能な情報に関連付けられる識別用フィールドを含み、
前記表示制御部は、前記識別用フィールドについての認識が容易となるように前記ユーザを誘導する、
前記（２）に記載の画像処理装置。
（４）
前記表示制御部は、前記識別用フィールドに関連付けられる情報の認識が成功した場合には、前記識別用フィールド以外のフィールドについての認識が容易となるように前記ユーザを誘導する、前記（３）に記載の画像処理装置。
（５）
前記表示制御部は、関連付けられる情報の認識の成功又は失敗を表現する標識をフィールドごとに前記入力画像に重畳することにより、前記ユーザを誘導する、前記（３）又は前記（４）に記載の画像処理装置。
（６）
前記認識部は、テキスト情報に関連付けられるフィールドについて、ＯＣＲ（Optical Character Recognition）を実行することにより当該フィールドに関連付けられる情報を認識する、前記（１）〜（５）のいずれか１項に記載の画像処理装置。
（７）
前記認識部は、画像情報に関連付けられるフィールドについて、当該フィールドに対応する前記入力画像の部分画像を既知の画像と照合することにより、当該フィールドに関連付けられる情報を認識する、前記（１）〜（６）のいずれか１項に記載の画像処理装置。
（８）
前記テンプレートは、前記実世界に存在する実オブジェクトの外観上の構造を表す、前記（１）〜（７）のいずれか１項に記載の画像処理装置。
（９）
前記テンプレートは、前記実世界に存在する情報機器により表示される画像の可視的な構造を表す、前記（１）〜（７）のいずれか１項に記載の画像処理装置。
（１０）
前記画像処理装置は、前記認識部により識別されるオブジェクトに関連する関連情報を取得する情報取得部、をさらに備え、
前記表示制御部は、前記入力画像に映るオブジェクトが前記認識部により識別された場合に、当該オブジェクトに関連する前記関連情報を前記ディスプレイ上に表示させる、
前記（１）〜（９）のいずれか１項に記載の画像処理装置。
（１１）
前記関連情報は、拡張現実のためのアノテーションである、前記（１０）に記載の画像処理装置。
（１２）
前記関連情報は、前記認識部により識別されたオブジェクトのより高画質な画像を表現する画像情報である、前記（１０）に記載の画像処理装置。
（１３）
前記テンプレートは、前記実世界に存在する情報機器により表示されるＷｅｂサイトの画像の可視的な構造を表し、
前記関連情報は、前記Ｗｅｂサイトから取得される情報である、
前記（１０）に記載の画像処理装置。
（１４）
前記画像取得部、前記テンプレート取得部、前記テンプレート照合部、前記認識部及び前記表示制御部のうち少なくとも１つが前記画像処理装置の代わりにクラウドコンピューティング環境上に存在する装置により実現される、前記（１）〜（１３）のいずれか１項に記載の画像処理装置。
（１５）
実世界を映す入力画像を取得することと、
前記実世界におけるオブジェクトの外観上の構造を表すテンプレートであって、当該オブジェクトにより可視化される情報に関連付けられる１つ以上のフィールドを含む前記テンプレートを取得することと、
前記入力画像を前記テンプレートと照合することと、
前記入力画像に前記テンプレートが適合する場合に、前記テンプレートに含まれる少なくとも１つのフィールドに関連付けられる情報を前記入力画像から認識することと、
前記少なくとも１つのフィールドについての認識の結果をディスプレイ上に表示させることと、
を含む画像処理方法。
（１６）
画像処理装置を制御するコンピュータを、
実世界を映す入力画像を取得する画像取得部と、
前記実世界におけるオブジェクトの外観上の構造を表すテンプレートであって、当該オブジェクトにより可視化される情報に関連付けられる１つ以上のフィールドを含む前記テンプレートを取得するテンプレート取得部と、
前記入力画像を前記テンプレートと照合するテンプレート照合部と、
前記入力画像に前記テンプレートが適合する場合に、前記テンプレートに含まれる少なくとも１つのフィールドに関連付けられる情報を前記入力画像から認識する認識部と、
前記認識部による前記少なくとも１つのフィールドについての認識の結果をディスプレイ上に表示させる表示制御部と、
として機能させるためのプログラム。
【符号の説明】
【００７６】
１００ 画像処理装置
１２０ 画像取得部
１３０ テンプレート取得部
１４０ テンプレート照合部
１５０ 認識部
１６０ 表示制御部
１７０ 情報取得部
Ｔ１，Ｔ２，Ｔ３ テンプレート
【特許請求の範囲】
【請求項１】
実世界を映す入力画像を取得する画像取得部と、
前記実世界におけるオブジェクトの外観上の構造を表すテンプレートであって、当該オブジェクトにより可視化される情報に関連付けられる１つ以上のフィールドを含む前記テンプレートを取得するテンプレート取得部と、
前記入力画像を前記テンプレートと照合するテンプレート照合部と、
前記入力画像に前記テンプレートが適合する場合に、前記テンプレートに含まれる少なくとも１つのフィールドに関連付けられる情報を前記入力画像から認識する認識部と、
前記認識部による前記少なくとも１つのフィールドについての認識の結果をディスプレイ上に表示させる表示制御部と、
を備える画像処理装置。
【請求項２】
前記認識部は、前記テンプレートを用いて前記入力画像から認識される情報に基づいて、前記入力画像に映るオブジェクトを識別し、
前記表示制御部は、前記認識部によるオブジェクトの識別をユーザに支援させるように、前記少なくとも１つのフィールドについての認識の結果を前記ディスプレイ上に表示させる、
請求項１に記載の画像処理装置。
【請求項３】
前記テンプレートは、前記オブジェクトを一意に識別可能な情報に関連付けられる識別用フィールドを含み、
前記表示制御部は、前記識別用フィールドについての認識が容易となるように前記ユーザを誘導する、
請求項２に記載の画像処理装置。
【請求項４】
前記表示制御部は、前記識別用フィールドに関連付けられる情報の認識が成功した場合には、前記識別用フィールド以外のフィールドについての認識が容易となるように前記ユーザを誘導する、請求項３に記載の画像処理装置。
【請求項５】
前記表示制御部は、関連付けられる情報の認識の成功又は失敗を表現する標識をフィールドごとに前記入力画像に重畳することにより、前記ユーザを誘導する、請求項３に記載の画像処理装置。
【請求項６】
前記認識部は、テキスト情報に関連付けられるフィールドについて、ＯＣＲ（Optical Character Recognition）を実行することにより当該フィールドに関連付けられる情報を認識する、請求項１に記載の画像処理装置。
【請求項７】
前記認識部は、画像情報に関連付けられるフィールドについて、当該フィールドに対応する前記入力画像の部分画像を既知の画像と照合することにより、当該フィールドに関連付けられる情報を認識する、請求項１に記載の画像処理装置。
【請求項８】
前記テンプレートは、前記実世界に存在する実オブジェクトの外観上の構造を表す、請求項１に記載の画像処理装置。
【請求項９】
前記テンプレートは、前記実世界に存在する情報機器により表示される画像の可視的な構造を表す、請求項１に記載の画像処理装置。
【請求項１０】
前記画像処理装置は、前記認識部により識別されるオブジェクトに関連する関連情報を取得する情報取得部、をさらに備え、
前記表示制御部は、前記入力画像に映るオブジェクトが前記認識部により識別された場合に、当該オブジェクトに関連する前記関連情報を前記ディスプレイ上に表示させる、
請求項１に記載の画像処理装置。
【請求項１１】
前記関連情報は、拡張現実のためのアノテーションである、請求項１０に記載の画像処理装置。
【請求項１２】
前記関連情報は、前記認識部により識別されたオブジェクトのより高画質な画像を表現する画像情報である、請求項１０に記載の画像処理装置。
【請求項１３】
前記テンプレートは、前記実世界に存在する情報機器により表示されるＷｅｂサイトの画像の可視的な構造を表し、
前記関連情報は、前記Ｗｅｂサイトから取得される情報である、
請求項１０に記載の画像処理装置。
【請求項１４】
前記画像取得部、前記テンプレート取得部、前記テンプレート照合部、前記認識部及び前記表示制御部のうち少なくとも１つが前記画像処理装置の代わりにクラウドコンピューティング環境上に存在する装置により実現される、請求項１に記載の画像処理装置。
【請求項１５】
実世界を映す入力画像を取得することと、
前記実世界におけるオブジェクトの外観上の構造を表すテンプレートであって、当該オブジェクトにより可視化される情報に関連付けられる１つ以上のフィールドを含む前記テンプレートを取得することと、
前記入力画像を前記テンプレートと照合することと、
前記入力画像に前記テンプレートが適合する場合に、前記テンプレートに含まれる少なくとも１つのフィールドに関連付けられる情報を前記入力画像から認識することと、
前記少なくとも１つのフィールドについての認識の結果をディスプレイ上に表示させることと、
を含む画像処理方法。
【請求項１６】
画像処理装置を制御するコンピュータを、
実世界を映す入力画像を取得する画像取得部と、
前記実世界におけるオブジェクトの外観上の構造を表すテンプレートであって、当該オブジェクトにより可視化される情報に関連付けられる１つ以上のフィールドを含む前記テンプレートを取得するテンプレート取得部と、
前記入力画像を前記テンプレートと照合するテンプレート照合部と、
前記入力画像に前記テンプレートが適合する場合に、前記テンプレートに含まれる少なくとも１つのフィールドに関連付けられる情報を前記入力画像から認識する認識部と、
前記認識部による前記少なくとも１つのフィールドについての認識の結果をディスプレイ上に表示させる表示制御部と、
として機能させるためのプログラム。
【請求項１】
実世界を映す入力画像を取得する画像取得部と、
前記実世界におけるオブジェクトの外観上の構造を表すテンプレートであって、当該オブジェクトにより可視化される情報に関連付けられる１つ以上のフィールドを含む前記テンプレートを取得するテンプレート取得部と、
前記入力画像を前記テンプレートと照合するテンプレート照合部と、
前記入力画像に前記テンプレートが適合する場合に、前記テンプレートに含まれる少なくとも１つのフィールドに関連付けられる情報を前記入力画像から認識する認識部と、
前記認識部による前記少なくとも１つのフィールドについての認識の結果をディスプレイ上に表示させる表示制御部と、
を備える画像処理装置。
【請求項２】
前記認識部は、前記テンプレートを用いて前記入力画像から認識される情報に基づいて、前記入力画像に映るオブジェクトを識別し、
前記表示制御部は、前記認識部によるオブジェクトの識別をユーザに支援させるように、前記少なくとも１つのフィールドについての認識の結果を前記ディスプレイ上に表示させる、
請求項１に記載の画像処理装置。
【請求項３】
前記テンプレートは、前記オブジェクトを一意に識別可能な情報に関連付けられる識別用フィールドを含み、
前記表示制御部は、前記識別用フィールドについての認識が容易となるように前記ユーザを誘導する、
請求項２に記載の画像処理装置。
【請求項４】
前記表示制御部は、前記識別用フィールドに関連付けられる情報の認識が成功した場合には、前記識別用フィールド以外のフィールドについての認識が容易となるように前記ユーザを誘導する、請求項３に記載の画像処理装置。
【請求項５】
前記表示制御部は、関連付けられる情報の認識の成功又は失敗を表現する標識をフィールドごとに前記入力画像に重畳することにより、前記ユーザを誘導する、請求項３に記載の画像処理装置。
【請求項６】
前記認識部は、テキスト情報に関連付けられるフィールドについて、ＯＣＲ（Optical Character Recognition）を実行することにより当該フィールドに関連付けられる情報を認識する、請求項１に記載の画像処理装置。
【請求項７】
前記認識部は、画像情報に関連付けられるフィールドについて、当該フィールドに対応する前記入力画像の部分画像を既知の画像と照合することにより、当該フィールドに関連付けられる情報を認識する、請求項１に記載の画像処理装置。
【請求項８】
前記テンプレートは、前記実世界に存在する実オブジェクトの外観上の構造を表す、請求項１に記載の画像処理装置。
【請求項９】
前記テンプレートは、前記実世界に存在する情報機器により表示される画像の可視的な構造を表す、請求項１に記載の画像処理装置。
【請求項１０】
前記画像処理装置は、前記認識部により識別されるオブジェクトに関連する関連情報を取得する情報取得部、をさらに備え、
前記表示制御部は、前記入力画像に映るオブジェクトが前記認識部により識別された場合に、当該オブジェクトに関連する前記関連情報を前記ディスプレイ上に表示させる、
請求項１に記載の画像処理装置。
【請求項１１】
前記関連情報は、拡張現実のためのアノテーションである、請求項１０に記載の画像処理装置。
【請求項１２】
前記関連情報は、前記認識部により識別されたオブジェクトのより高画質な画像を表現する画像情報である、請求項１０に記載の画像処理装置。
【請求項１３】
前記テンプレートは、前記実世界に存在する情報機器により表示されるＷｅｂサイトの画像の可視的な構造を表し、
前記関連情報は、前記Ｗｅｂサイトから取得される情報である、
請求項１０に記載の画像処理装置。
【請求項１４】
前記画像取得部、前記テンプレート取得部、前記テンプレート照合部、前記認識部及び前記表示制御部のうち少なくとも１つが前記画像処理装置の代わりにクラウドコンピューティング環境上に存在する装置により実現される、請求項１に記載の画像処理装置。
【請求項１５】
実世界を映す入力画像を取得することと、
前記実世界におけるオブジェクトの外観上の構造を表すテンプレートであって、当該オブジェクトにより可視化される情報に関連付けられる１つ以上のフィールドを含む前記テンプレートを取得することと、
前記入力画像を前記テンプレートと照合することと、
前記入力画像に前記テンプレートが適合する場合に、前記テンプレートに含まれる少なくとも１つのフィールドに関連付けられる情報を前記入力画像から認識することと、
前記少なくとも１つのフィールドについての認識の結果をディスプレイ上に表示させることと、
を含む画像処理方法。
【請求項１６】
画像処理装置を制御するコンピュータを、
実世界を映す入力画像を取得する画像取得部と、
前記実世界におけるオブジェクトの外観上の構造を表すテンプレートであって、当該オブジェクトにより可視化される情報に関連付けられる１つ以上のフィールドを含む前記テンプレートを取得するテンプレート取得部と、
前記入力画像を前記テンプレートと照合するテンプレート照合部と、
前記入力画像に前記テンプレートが適合する場合に、前記テンプレートに含まれる少なくとも１つのフィールドに関連付けられる情報を前記入力画像から認識する認識部と、
前記認識部による前記少なくとも１つのフィールドについての認識の結果をディスプレイ上に表示させる表示制御部と、
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６Ａ】
【図６Ｂ】
【図７】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６Ａ】
【図６Ｂ】
【図７】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１３−８０３２６（Ｐ２０１３−８０３２６Ａ）
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願番号】特願２０１１−２１９２０３（Ｐ２０１１−２１９２０３）
【出願日】平成２３年１０月３日（２０１１．１０．３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願日】平成２３年１０月３日（２０１１．１０．３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]