画像処理装置、画像処理方法及びプログラム
【課題】物体認識において使用されている認識手法をユーザに簡易にフィードバックする。
【解決手段】入力画像を取得する画像取得部と、複数の認識手法から上記入力画像に映る物体の認識手法を選択する選択部と、上記選択部により選択される認識手法を用いて、上記入力画像に映る物体を認識する認識部と、上記認識部により認識される物体と関連付けられる仮想オブジェクトを上記入力画像に重畳して表示する表示制御部と、を備え、上記表示制御部は、上記選択部により選択される認識手法に応じて、上記仮想オブジェクトの表示を変化させる、画像処理装置が提供される。
【解決手段】入力画像を取得する画像取得部と、複数の認識手法から上記入力画像に映る物体の認識手法を選択する選択部と、上記選択部により選択される認識手法を用いて、上記入力画像に映る物体を認識する認識部と、上記認識部により認識される物体と関連付けられる仮想オブジェクトを上記入力画像に重畳して表示する表示制御部と、を備え、上記表示制御部は、上記選択部により選択される認識手法に応じて、上記仮想オブジェクトの表示を変化させる、画像処理装置が提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、実世界に付加的な情報を重畳してユーザに呈示する拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに呈示される情報は、様々な形態の仮想的なオブジェクトを用いて可視化され得る。例えば、ＡＲ技術を実世界の物体への注目を促すために利用する場合には、実世界の物体（またはその物体の周囲）などに、その物体への注目を促すための仮想オブジェクト（例えば、目印など）が重畳して表示され得る。ユーザは、その仮想オブジェクトを閲覧することにより、注目が促された物体に注目することができる。注目が促される物体としては、例えば、案内や広告などを挙げることができる。
【０００３】
このような物体は、撮像装置により実世界が撮像されることにより得られた撮像画像に基づいて認識され得る。ここで、物体認識の手法としては、常に同一の認識手法が用いられるとは限らず、状況に応じて適宜変更され得る。例えば、物体認識の正確さを評価し、評価結果に基づいて、認識に使用するパラメータを修正したり認識アルゴリズムを変更したりすることにより、物体認識の精度を高める技術について開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１７５８６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、どのような認識手法が使用されているかをユーザにフィードバックする技術はこれまで開示されていない。認識手法は、処理コストや実現可能な認識精度において互いに異なる。そのため、認識手法がユーザにフィードバックされれば、特に使用される可能性のある認識手法が複数存在する場合に有益である。一例として、ユーザは、フィードバックに応じて、現在表示されている仮想オブジェクトの位置若しくは姿勢又は呈示される情報の内容の信頼性を判断することができる。また、他の例として、ユーザは、フィードバックに応じて、高い認識精度を期待できる認識手法が使用される状況になるまで待って仮想オブジェクトを操作することもできる。したがって、物体認識において使用されている認識手法をユーザに簡易にフィードバックすることのできる技術が実現されることが望ましい。
【課題を解決するための手段】
【０００６】
本開示によれば、入力画像を取得する画像取得部と、複数の認識手法から前記入力画像に映る物体の認識手法を選択する選択部と、前記選択部により選択される認識手法を用いて、前記入力画像に映る物体を認識する認識部と、前記認識部により認識される物体と関連付けられる仮想オブジェクトを前記入力画像に重畳して表示する表示制御部と、を備え、前記表示制御部は、前記選択部により選択される認識手法に応じて、前記仮想オブジェクトの表示を変化させる、画像処理装置が提供される。
【発明の効果】
【０００７】
以上説明したように本開示によれば、物体認識において使用されている認識手法をユーザに簡易にフィードバックすることが可能である。
【図面の簡単な説明】
【０００８】
【図１】本開示の実施形態に係る画像処理装置の概要を説明するための図である。
【図２】同実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。
【図３】制御部により実現される機能の構成の一例を示すブロック図である。
【図４】複数の認識手法から認識手法を選択する機能を説明するための図である。
【図５】制御部により実現される機能の構成の他の一例を示すブロック図である。
【図６】複数の認識手法に関する第１の例を説明するための図である。
【図７】複数の認識手法に関する第２の例を説明するための図である。
【図８】複数の認識手法に関する第３の例を説明するための図である。
【図９】物体の認識処理の流れを示すフローチャートである。
【図１０】選択された認識手法に応じた仮想オブジェクトの表示例を示す図である。
【図１１】選択された認識手法に応じた仮想オブジェクトの表示例を示す図である。
【図１２】出力画像の表示制御処理の流れを示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１０】
なお、説明は以下の順序で行うものとする。
１．画像処理装置の概要
２．ハードウェア構成例
３．画像処理装置が有する機能
３−１．画像取得部
３−２．検出部
３−３．選択部
３−４．認識部
３−５．認識処理の流れ
３−６．表示制御部
３−７．表示制御処理の流れ
４．まとめ
【００１１】
＜１．画像処理装置の概要＞
図１は、本開示の実施形態に係る画像処理装置の概要を説明するための図である。図１には、本開示の実施形態に係る画像処理装置１００を持つユーザが存在する実空間１が示されている。
【００１２】
図１を参照すると、実空間１の内部には、物体Ｏｂｊが存在する。物体Ｏｂｊは、例えば、ユーザが注目すべき物体であり、典型的には、図１に示したように、目的地の場所を説明するための案内などであるが、商品やイベントを宣伝するための広告などであってもよく、他の物体であってもよい。また、図１に示した例では、物体Ｏｂｊは、壁に設置されているが、天井や床などに設置されていてもよい。さらに、実空間１は、図１の例に限定されず、屋内の環境であっても屋外の環境であってもよい。
【００１３】
画像処理装置１００は、実空間の内部を撮影し、後に説明する本実施形態に係る画像処理を実行する。図１では、画像処理装置１００の一例としてビデオカメラを示しているが、画像処理装置１００はかかる例に限定されない。例えば、画像処理装置１００は、ビデオカメラなどの撮像装置から画像を取得することのできる、ＰＣ（Personal Computer）、携帯端末又はデジタル家電機器などの情報処理装置であってもよい。また、画像処理装置１００は、必ずしも図１に示したようにユーザに保持されていなくてもよい。例えば、画像処理装置１００は、任意の場所に固定的に設置されてもよく、又は視覚としてのカメラを有するロボットなどに搭載されてもよい。
【００１４】
撮像された画像を入力画像とし、その入力画像に基づいて画像処理装置１００により物体Ｏｂｊが認識されると、認識された物体Ｏｂｊに関連付けられる仮想オブジェクトが入力画像に重畳されて表示され得る。仮想オブジェクトは、例えば、認識された物体Ｏｂｊへの注目を促すための仮想オブジェクト（例えば、目印など）であり、例えば、入力画像内の物体Ｏｂｊ（またはその物体Ｏｂｊの周囲）などに重畳され得る。ユーザは、その仮想オブジェクトを閲覧することにより、注目が促された物体Ｏｂｊに注目することができる。
【００１５】
物体認識の手法としては、常に同一の認識手法が用いられるとは限らず、状況に応じて適宜変更され得る。本開示の実施形態に係る画像処理装置１００は、次節より詳しく説明する仕組みにより、物体の認識手法をユーザに把握させることを可能とする。
【００１６】
＜２．ハードウェア構成例＞
図２は、本開示の実施形態に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。図２を参照すると、画像処理装置１００は、撮像部１０２、センサ部１０４、入力部１０６、記憶部１０８、表示部１１２、接続ポート１１４、バス１１６及び制御部１１８を備える。
【００１７】
（撮像部）
撮像部１０２は、例えば、撮像装置に相当するカメラモジュールである。撮像部１０２は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を用いて実空間１を撮像することにより、撮像画像を生成する。本開示の実施形態においては、撮像部１０２が画像処理装置１００の一部であることを想定しているが、撮像部１０２は、画像処理装置１００とは別体に構成されてもよい。
【００１８】
（センサ部）
センサ部１０４は、画像処理装置１００の位置及び姿勢（撮像部１０２の位置及び姿勢）の認識を支援するセンサ群である。例えば、センサ部１０４は、ＧＰＳ（Global Positioning System）信号を受信して画像処理装置１００の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。また、センサ部１０４は、無線アクセスポイントから受信される無線信号の強度に基づいて画像処理装置１００の位置を測定する測位センサを含んでもよい。また、例えば、センサ部１０４は、画像処理装置１００の傾き角を測定するジャイロセンサ、３軸加速度を測定する加速度センサ、又は方位を測定する地磁気センサを含んでもよい。なお、画像処理装置１００が画像認識に基づく位置推定機能及び姿勢推定機能を有する場合には、センサ部１０４は画像処理装置１００の構成から省略されてもよい。
【００１９】
（入力部）
入力部１０６は、ユーザが画像処理装置１００を操作し又は画像処理装置１００へ情報を入力するために使用される入力デバイスである。入力部１０６は、例えば、キーボード、キーパッド、マウス、ボタン、スイッチ又はタッチパネルなどを含み得る。入力部１０６は、入力画像に映るユーザのジェスチャを認識するジェスチャ認識モジュールを含んでもよい。また、入力部１０６は、ＨＭＤ（Head Mounted Display）を装着したユーザの視線方向をユーザ入力として検出する視線検出モジュールを含んでもよい。
【００２０】
（記憶部）
記憶部１０８は、半導体メモリ又はハードディスクなどの記憶媒体を用いて、画像処理装置１００による処理のためのプログラム及びデータを記憶する。例えば、記憶部１０８は、撮像部１０２から出力される画像データ及びセンサ部１０４から出力されるセンサデータを記憶する。また、記憶部１０８は、物体認識のために使用される特徴量辞書及び表示対象となる仮想オブジェクトのデータである仮想オブジェクトデータを記憶する。さらに、記憶部１０８は、物体認識の結果として生成される認識結果を記憶する。
【００２１】
（表示部）
表示部１１２は、ＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic light-Emitting Diode）又はＣＲＴ（Cathode Ray Tube）などにより構成される表示モジュールである。表示部１１２の画面上には、画像処理装置１００により入力画像に仮想オブジェクトが重畳された出力画像が表示される。表示部１１２は、画像処理装置１００の一部であってもよく、又は画像処理装置１００とは別体に構成されてもよい。また、表示部１１２は、ユーザにより装着されるＨＭＤであってもよい。
【００２２】
（接続ポート）
接続ポート１１４は、画像処理装置１００を周辺機器又はネットワークと接続するためのポートである。例えば、接続ポート１１４には、追加的な記憶媒体としてのリムーバブルメディアが接続されてもよい。また、接続ポート１１４には、有線又は無線通信インタフェースが接続されてもよい。それにより、例えば、画像処理装置１００がネットワーク上のサーバから画像を取得することが可能となる。
【００２３】
（バス）
バス１１６は、撮像部１０２、センサ部１０４、入力部１０６、記憶部１０８、表示部１１２、接続ポート１１４及び制御部１１８を相互に接続する。
【００２４】
（制御部）
制御部１１８は、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）などのプロセッサに相当する。制御部１１８は、記憶部１０８又は他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する画像処理装置１００の様々な機能を動作させる。
【００２５】
＜３．機能構成例＞
図３は、図２に示した画像処理装置１００の制御部１１８により実現される機能の構成の一例を示すブロック図である。図３を参照すると、制御部１１８は、画像取得部１２０、検出部１３０、選択部１４０、認識部１５０及び表示制御部１６０を含む。
【００２６】
［３−１．画像取得部］
画像取得部１２０は、撮像部１０２（又は他の撮像装置）を用いて撮像された実空間を映す入力画像を取得する。入力画像は、仮想オブジェクトが配置される実空間内の場所又は物体が映された画像である。画像取得部１２０は、取得した入力画像を、検出部１３０及び表示制御部１６０へ出力する。また、後に説明するように、画像取得部１２０は、取得した入力画像を、検出部１３０に出力しなくてもよい。例えば、撮像部１０２（又は他の撮像装置）が実空間を連続的に撮像している場合には、画像取得部１２０は、連続的に入力画像を取得することができる。
【００２７】
［３−２．検出部］
検出部１３０は、画像取得部１２０から入力される入力画像に映る物体の動きに関するパラメータを検出する。検出部１３０により検出されるパラメータは、例えば、画像処理装置１００と入力画像に映る物体との間の相対的な移動量に応じたパラメータである。検出部１３０は、例えば、入力画像の各領域における移動量をオプティカルフローなどにより取得し、各領域における移動量の総和を、相対的な移動量として算出することができる。移動量は、例えば、ベクトルにより表現され得る。
【００２８】
入力画像の各領域は、例えば、あらかじめ決められていてもよい。例えば、入力画像の各領域は、入力画像全体の各ブロック（画素の集合）であってもよく、入力画像全体の各画素であってもよい。また、入力画像の各領域は、あらかじめ決められていなくてもよい。例えば、検出部１３０は、入力画像に映っている物体の移動量をオプティカルフローなどにより取得し、その物体の移動量を相対的な移動量として算出することもできる。オプティカルフローとしては、例えば、ブロックマッチング法、勾配法などの手法が採用され得る。
【００２９】
［３−３．選択部］
図４は、複数の認識手法から認識手法を選択する機能を説明するための図である。図４を参照しながら、物体を認識するための手法が複数存在する場合に、複数の認識手法から入力画像に映る物体の認識手法を選択する機能を説明する。選択部１４０は、複数の認識手法から少なくとも１つの認識手法を選択することができる。
【００３０】
選択部１４０は、検出部１３０により検出されるパラメータが入力画像に所定のレベルを超えて動く物体が映っていないことを示している場合に、処理コストのより高い認識手法を選択する。例えば、画像取得部１２０により取得される入力画像が、画像Ｉｍ０Ａから画像Ｉｍ１Ａに遷移した場合を想定する。この場合、選択部１４０は、検出部１３０により算出された移動量が所定の移動量を超えていないため、入力画像に所定のレベルを超えて動く物体が映っていないことをパラメータが示していると判断することができる。
【００３１】
一方、選択部１４０は、検出部１３０により検出されるパラメータが入力画像に所定のレベルを超えて動く物体が映っていることを示している場合に、処理コストのより低い認識手法を選択する。例えば、画像取得部１２０により取得される入力画像が、画像Ｉｍ０Ａから画像Ｉｍ１Ａ’に遷移した場合を想定する。この場合、選択部１４０は、検出部１３０により算出された移動量が所定の移動量を超えているため、入力画像に所定のレベルを超えて動く物体が映っていることをパラメータが示していると判断することができる。
【００３２】
選択部１４０は、選択した認識手法を、認識部１５０及び表示制御部１６０へ出力する。なお、処理コストのより高い認識手法や、処理コストのより低い認識手法などといった表現は、相対的な関係における処理コストの高低を表現しているにすぎず、絶対的な処理コストの高低を示すものではない。すなわち、２つの処理コストを比較した場合に、一方の処理コストが他方の処理コストよりも高いということを意味している。
【００３３】
このように認識手法を選択することにより、パラメータに応じて物体認識のための処理コストを変更することができる。例えば、入力画像に所定のレベルを超えて動く物体が映っている場合には、入力画像に大きなブレが生じている（入力画像が比較的不鮮明である）と考えられるため、物体認識の精度よりも物体認識における処理速度を重視することができる。そこで、選択部１４０は、より低い処理コストの認識手法を選択する。
【００３４】
他方、例えば、入力画像に所定のレベルを超えて動く物体が映っていない場合には、入力画像に大きなブレが生じていない（入力画像が比較的鮮明である）と考えられるため、物体認識における処理速度よりも物体認識の精度を重視することができる。そこで、選択部１４０は、より高い処理コストの認識手法を選択する。
【００３５】
図５は、図２に示した画像処理装置１００の制御部１１８により実現される機能の構成の他の一例を示すブロック図である。図５を参照しながら、物体を認識するための手法が複数存在する場合に、複数の認識手法から入力画像に映る物体の認識手法を選択する機能の他の一例を説明する。
【００３６】
上記したように、検出部１３０は、画像取得部１２０から入力される入力画像に映る物体の動きに関するパラメータを検出する。検出部１３０により検出されるパラメータは、例えば、画像処理装置１００の絶対的な移動量に応じたパラメータであってもよい。この場合、検出部１３０は、センサ部１０４により検出されたセンサデータを、画像処理装置１００の絶対的な移動量として検出することができる。
【００３７】
また、上記したように、選択部１４０は、検出部１３０により検出されるパラメータが入力画像に所定のレベルを超えて動く物体が映っていないことを示している場合に、処理コストのより高い認識手法を選択する。例えば、過去に検出された複数のセンサデータの平均値と現在検出されたセンサデータの値との差分が所定値を超えている場合に、入力画像に所定のレベルを超えて動く物体が映っていないことをパラメータが示していると判断することができる。
【００３８】
あるいは、過去に検出されたセンサデータと現在検出されたセンサデータの値との差分が所定値を超えている場合に、入力画像に所定のレベルを超えて動く物体が映っていないことをパラメータが示していると判断してもよい。
【００３９】
一方、上記したように、選択部１４０は、検出部１３０により検出されるパラメータが入力画像に所定のレベルを超えて動く物体が映っていることを示している場合に、処理コストのより低い認識手法を選択する。例えば、過去に検出された複数のセンサデータの平均値と現在検出されたセンサデータの値との差分が所定値を超えていない場合に、入力画像に所定のレベルを超えて動く物体が映っていることをパラメータが示していると判断することができる。
【００４０】
あるいは、過去に検出されたセンサデータと現在検出されたセンサデータの値との差分が所定値を超えていない場合に、入力画像に所定のレベルを超えて動く物体が映っていることをパラメータが示していると判断してもよい。
【００４１】
［３−４．認識部］
認識部１５０は、選択部１４０により選択される認識手法を用いて、入力画像に映る物体を認識する。認識部１５０は、例えば、入力画像から抽出される各特徴量を既知の物体画像の特徴量の集合である特徴量辞書と照合することにより、入力画像に映る物体を認識することができる。認識部１５０は、例えば、入力画像から抽出される特徴量に一致する特徴量が特徴量辞書に存在する場合、その特徴量に対応付けられている物体ＩＤとその物体の位置及び姿勢とを取得することにより、物体を認識することができる。ここで使用される特徴量辞書は、記憶部１０８にあらかじめ記憶させておいてもよいし、他の装置から送信されてもよい。
【００４２】
また、入力画像から抽出される特徴量は、１つであってもよいし複数であってもよい。入力画像から各特徴量を抽出する処理は、例えば、認識部１５０により行われ得る。特徴量辞書は、物体を識別するための物体ＩＤとその物体画像の特徴量との組み合わせを有しているが、この組み合わせは、１つであってもよいし複数であってもよい。以下では、入力画像に映る物体として、物体Ｏｂｊが認識される例を主に説明するが、入力画像に映る物体は、１つに限らず複数認識されてもよい。認識部１５０は、認識結果を、表示制御部１６０へ出力する。
【００４３】
認識部１５０は、より具体的には、例えば、ＦＡＳＴ特徴検出法（FAST feature detection）などの任意の公知の手法に従って、入力画像内の特徴点を抽出する。そして、認識部１５０は、抽出された特徴点を特徴量辞書に含まれる物体の頂点と照合する。その結果、認識部１５０は、入力画像にどの物体が映っているか、及び認識された各物体がどの位置にどのような姿勢で映っているかを認識する。
【００４４】
認識された物体が実空間モデルに含まれる物体である場合には、当該物体の３次元位置及び姿勢は、実空間モデルにおいて示されている。認識された物体が物体モデルに含まれる物体である場合には、当該物体の３次元位置及び姿勢は、当該物体の頂点群の撮像面上での２次元位置をピンホールモデルに従って実空間内の３次元位置に変換することにより求められ得る（例えば、特開２００８−３０４２６８号公報参照）。
【００４５】
認識部１５０は、選択部１４０により処理コストのより低い認識手法が選択された場合には、処理コストのより低い認識手法を用いて、入力画像に映る物体Ｏｂｊを認識する。また、認識部１５０は、選択部１４０により処理コストのより高い認識手法が選択された場合には、処理コストのより高い認識手法を用いて、入力画像に映る物体Ｏｂｊを認識する。この二つの認識手法（処理コストのより低い認識手法、及び処理コストのより高い認識手法）は、入力画像から各特徴量を抽出するアルゴリズム自体が異なることにより処理コストが異なっていてもよいし、照合の対象とされるデータ量が互いに異なることにより処理コストが異なっていてもよい。以下では、主に、照合の対象とされるデータ量が互いに異なることにより二つの認識手法の処理コストが異なる例を説明する。
【００４６】
図６は、複数の認識手法に関する第１の例を説明するための図である。図６に示すように、認識部１５０は、選択部１４０により処理コストのより低い認識手法が選択された場合、例えば、入力画像Ｉｍ１Ａのサイズを縮小し、縮小した画像Ｉｍ１Ｂから特徴量辞書と照合される各特徴量を抽出することができる。そして、認識部１５０は、抽出した各特徴量を特徴量辞書と照合することにより、入力画像に映る物体Ｏｂｊを認識することができる。
【００４７】
他方、認識部１５０は、選択部１４０により処理コストのより高い認識手法が選択された場合、例えば、入力画像Ｉｍ１Ａのサイズを縮小せずに、入力画像Ｉｍ１Ａから特徴量辞書と照合される各特徴量を抽出することができる。そして、認識部１５０は、抽出した各特徴量を特徴量辞書と照合することにより、入力画像に映る物体Ｏｂｊを認識することができる。
【００４８】
このように、複数の認識手法に関する第１の例においては、選択部１４０により処理コストのより低い認識手法（第１の認識手法）が選択された場合、認識部１５０は、よりサイズの小さい画像から各特徴量を抽出することが可能である。これにより、選択部１４０により処理コストのより低い認識手法が選択された場合には、照合対象のデータ量がより小さくなることにより、認識部１５０は、処理コストのより低い認識手法を用いて、入力画像に映る物体Ｏｂｊを認識することができる。
【００４９】
なお、ここでは、認識部１５０は、選択部１４０により処理コストのより低い認識手法が選択された場合、入力画像Ｉｍ１Ａのサイズを縮小し、選択部１４０により処理コストのより高い認識手法が選択された場合、入力画像Ｉｍ１Ａのサイズを縮小しないこととした。しかし、このような例に限らず、選択部１４０により処理コストのより低い認識手法が選択された場合、選択部１４０により処理コストのより高い認識手法が選択された場合と比較して、よりサイズが小さい画像から各特徴量を抽出するようにすればよい。
【００５０】
図７は、複数の認識手法に関する第２の例を説明するための図である。図７に示すように、認識部１５０は、選択部１４０により処理コストのより低い認識手法が選択された場合には、入力画像Ｉｍ１Ａから各特徴量を抽出し、抽出した各特徴量の高周波成分を無視するとともに特徴量辞書の高周波成分を無視し、各特徴量と特徴量辞書との照合を行うことができる。認識部１５０は、例えば、入力画像Ｉｍ１Ａから抽出した各特徴量及び特徴量辞書の各特徴量のうち所定の周波数を超える領域を高周波成分としてカットする。認識部１５０は、かかる照合により、入力画像に映る物体Ｏｂｊを認識することができる。
【００５１】
他方、認識部１５０は、選択部１４０により処理コストのより高い認識手法が選択された場合には、入力画像Ｉｍ１Ａから各特徴量を抽出し、抽出した各特徴量と特徴量辞書との照合を行うことができる。認識部１５０は、かかる照合により、入力画像に映る物体Ｏｂｊを認識することができる。
【００５２】
このように、複数の認識手法に関する第２の例においては、選択部１４０により処理コストのより低い認識手法（第２の認識手法）が選択された場合、認識部１５０は、各特徴量の高周波成分を無視して各特徴量を照合することが可能である。これにより、選択部１４０により処理コストのより低い認識手法が選択された場合には、照合対象のデータ量がより小さくなることにより、認識部１５０は、処理コストのより低い認識手法を用いて、入力画像に映る物体Ｏｂｊを認識することができる。
【００５３】
なお、ここでは、認識部１５０は、選択部１４０により処理コストのより低い認識手法が選択された場合、入力画像Ｉｍ１Ａから抽出した各特徴量及び特徴量辞書の各特徴量の高周波成分を無視した照合を行うこととした。しかし、このような例に限らず、選択部１４０により処理コストのより低い認識手法が選択された場合、選択部１４０により処理コストのより高い認識手法が選択された場合と比較して、より広範囲の周波数成分を各特徴量からカットするようにすればよい。
【００５４】
図８は、複数の認識手法に関する第３の例を説明するための図である。図８に示すように、認識部１５０は、選択部１４０により処理コストのより低い認識手法が選択された場合には、入力画像Ｉｍ１Ａから各特徴量を抽出し、抽出した各特徴量とよりデータ量の小さい特徴量辞書との照合を行うことができる。認識部１５０は、かかる照合により、入力画像に映る物体Ｏｂｊを認識することができる。
【００５５】
他方、認識部１５０は、選択部１４０により処理コストのより高い認識手法が選択された場合には、入力画像Ｉｍ１Ａから各特徴量を抽出し、抽出した各特徴量とよりデータ量の大きい特徴量辞書との照合を行うことができる。認識部１５０は、かかる照合により、入力画像に映る物体Ｏｂｊを認識することができる。
【００５６】
このように、複数の認識手法に関する第３の例においては、選択部１４０により処理コストのより低い認識手法（第３の認識手法）が選択された場合、認識部１５０は、よりデータ量の小さい特徴量辞書を用いて照合することが可能である。これにより、選択部１４０により処理コストのより低い認識手法が選択された場合には、照合対象のデータ量がより小さくなることにより、認識部１５０は、処理コストのより低い認識手法を用いて、入力画像に映る物体Ｏｂｊを認識することができる。
【００５７】
なお、データ量のより大きい特徴量辞書や、データ量のより小さい特徴量辞書などといった表現は、相対的な関係における特徴量辞書のデータ量の大小を表現しているにすぎず、絶対的なデータ量の大小を示すものではない。すなわち、２つの特徴量辞書のデータ量を比較した場合に、一方のデータ量が他方のデータ量よりも小さいということを意味している。
【００５８】
［３−５．認識処理の流れ］
図９は、物体の認識処理の流れを示すフローチャートである。図９を参照しながら、物体の認識処理の流れを説明する。
【００５９】
図９に示すように、まず、画像取得部１２０は、撮像部１０２（又は他の撮像装置）を用いて撮像された実空間を映す入力画像を取得する（Ｓ１０１）。また、検出部１３０は、画像取得部１２０から入力される入力画像に映る物体の動きに関するパラメータを検出する（Ｓ１０２）。
【００６０】
続いて、選択部１４０は、パラメータを解析して処理コストを判定する（Ｓ１０３）。選択部１４０は、より低い処理コストの認識手法を選択すべきと判定した場合には（Ｓ１０３において「処理コスト：低」）、より低い処理コストの認識手法を選択する（Ｓ１０４）。他方、選択部１４０は、より高い処理コストの認識手法を選択すべきと判定した場合には（Ｓ１０３において「処理コスト：高」）、より高い処理コストの認識手法を選択する（Ｓ１０５）。
【００６１】
続いて、認識部１５０は、選択部１４０により選択された認識手法を用いて、入力画像に映る物体を認識する（Ｓ１０６）。選択部１４０は、選択した認識手法を表示制御部１６０へ出力し、認識部１５０は、認識結果を表示制御部１６０へ出力する（Ｓ１０７）。制御部１１８は、入力画像の取得（Ｓ１０１）に戻り、画像取得部１２０による画像取得（Ｓ１０１）から認識手法及び認識結果の出力（Ｓ１０７）までの処理が再度行われ得る。
【００６２】
［３−６．表示制御部］
表示制御部１６０は、認識部１５０により認識される物体と関連付けられる仮想オブジェクトを入力画像に重畳して表示する。仮想オブジェクトは、例えば、物体ＩＤと仮想オブジェクトデータとが関連付けられたデータが記憶部１０８により記憶されている。すなわち、表示制御部１６０は、認識部１５０により取得された物体ＩＤに関連付けられた仮想オブジェクトデータを記憶部１０８から取得し、取得した仮想オブジェクトデータに基づいて仮想オブジェクトを表示することができる。
【００６３】
図１０及び図１１は、選択部１４０により選択された認識手法に応じた仮想オブジェクトの表示例を示す図である。図１０に示すように、表示制御部１６０は、認識部１５０により認識される物体と関連付けられる仮想オブジェクトを入力画像Ｉｍ１Ａに重畳して表示することができる。また、表示制御部１６０は、仮想オブジェクトをどのような位置にどのような姿勢により表示してもよい。例えば、表示制御部１６０は、認識部１５０により取得された物体の位置（又はその物体の周囲）に、認識部１５０により取得された姿勢により、仮想オブジェクトを表示することができる。
【００６４】
例えば、選択部１４０により処理コストのより低い認識手法が選択された場合には、認識部１５０により、処理コストのより低い認識手法を用いて入力画像Ｉｍ１Ａに映る物体Ｏｂｊが認識されるため、表示制御部１６０は、仮想オブジェクトの表示の鮮明度をより低くすることができる。図１０に示した例では、時刻ｔ１において、入力画像１Ａに映る物体の認識手法として処理コストのより低い認識手法が選択部１４０により選択され、表示制御部１６０により鮮明度のより低い仮想オブジェクトＶ１が表示されている。
【００６５】
その後、図１０に示すように、ユーザが、時刻ｔ２において、画像処理装置１００の向きを左に移動させたとする。この場合、選択部１４０により処理コストのより低い認識手法が選択されることが想定されるため、表示制御部１６０は、仮想オブジェクトの表示の鮮明度をより低くすることができる。図１０に示した例では、時刻ｔ２において、入力画像２Ａに映る物体の認識手法として処理コストのより低い認識手法が選択部１４０により選択され、表示制御部１６０により鮮明度のより低い仮想オブジェクトＶ２が表示されている。
【００６６】
表示制御部１６０は、選択部１４０により処理コストのより低い認識手法が選択される場合に、仮想オブジェクトの残像を表示させてもよい。図１０に示した例では、時刻ｔ２において、入力画像２Ａに映る物体の認識手法として処理コストのより低い認識手法が選択部１４０により選択され、表示制御部１６０により仮想オブジェクトＶ１の残像が表示されている。このように、仮想オブジェクトＶ２とともに過去に表示された仮想オブジェクトＶ１の残像を表示するようにすることで、残像を見たユーザは、画像処理装置１００の向きを戻し、物体Ｏｂｊの表示位置を所望の位置に戻すことができる。
【００６７】
その後、図１１に示すように、ユーザが、時刻ｔ３において、画像処理装置１００の向きを右に移動させたとする。この場合、選択部１４０により処理コストのより低い認識手法が選択されることが想定されるため、表示制御部１６０は、仮想オブジェクトの表示の鮮明度をより低くすることができる。図１１に示した例では、時刻ｔ３において、入力画像３Ａに映る物体の認識手法として処理コストのより低い認識手法が選択部１４０により選択され、表示制御部１６０により鮮明度のより低い仮想オブジェクトＶ３が表示されている。
【００６８】
なお、時刻ｔ３においても、入力画像３Ａに映る物体の認識手法として処理コストのより低い認識手法が選択部１４０により選択され、表示制御部１６０により仮想オブジェクトＶ２の残像が表示されている。このように、仮想オブジェクトＶ３とともに過去に表示された仮想オブジェクトＶ２の残像を表示するようにすることで、残像を見たユーザは、画像処理装置１００の向きを戻し、物体Ｏｂｊの表示位置を所望の位置に戻すことができる。
【００６９】
その後、図１１に示すように、ユーザが、時刻ｔ４において、画像処理装置１００の向きを固定したとする。この場合、選択部１４０により処理コストのより高い認識手法が選択されることが想定されるため、表示制御部１６０は、仮想オブジェクトの表示の鮮明度をより高くすることができる。図１１に示した例では、時刻ｔ４において、入力画像４Ａに映る物体の認識手法として処理コストのより高い認識手法が選択部１４０により選択され、表示制御部１６０により鮮明度のより高い仮想オブジェクトＶ４が表示されている。
【００７０】
このように、表示制御部１６０は、選択部１４０により選択される認識手法に応じて、仮想オブジェクトの表示を変化させることができる。かかる制御により、仮想オブジェクトに関連付けられる物体の認識手法をユーザに把握させることが可能である。
【００７１】
［３−７．表示制御処理の流れ］
図１２は、出力画像の表示制御処理の流れを示すフローチャートである。図１２を参照しながら、出力画像の表示制御処理の流れを説明する。
【００７２】
図１２に示すように、まず、表示制御部１６０は、画像取得部１２０から入力画像を取得する（Ｓ２０１）。また、表示制御部１６０は、選択部１４０により出力された認識手法及び認識部１５０により出力された認識結果を取得する（Ｓ２０２）。続いて、表示制御部１６０は、認識された物体に関連付けられる仮想オブジェクトを、認識手法に応じて入力画像に重畳することにより出力画像を生成する（Ｓ２０３）。続いて、表示制御部１６０は、出力画像を表示する（Ｓ２０４）。制御部１１８は、入力画像の取得（Ｓ２０１）に戻り、画像取得部１２０による画像取得（Ｓ２０１）から出力画像の表示（Ｓ２０４）までの処理が再度行われ得る。
【００７３】
＜４．まとめ＞
以上説明したように、本開示の実施形態によれば、画像処理装置は、仮想オブジェクトに関連付けられる物体の認識手法をユーザに把握させることが可能である。これにより、ユーザは、例えば、表示される仮想オブジェクトを見れば、その仮想オブジェクトに関連付けられる物体の認識がどの程度の処理コストによりなされたかを把握することができる。既に述べたように、仮想オブジェクトは、例えば、認識手法に基づいてその鮮明度が変更され得る。
【００７４】
また、本開示の実施形態によれば、画像処理装置は、現在認識された物体に関連付けられる仮想オブジェクトとともに過去に表示された仮想オブジェクトの残像を表示するようにすることもできる。これにより、残像を見たユーザは、画像処理装置の向きを戻し、物体の表示位置を所望の位置に戻すことができる。
【００７５】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００７６】
例えば、本明細書の画像処理装置が実行する処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、画像処理装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【００７７】
また、本明細書において説明した画像処理装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵ（Central Processing Unit）などのプロセッサにより実行される。
【００７８】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
入力画像を取得する画像取得部と、
複数の認識手法から前記入力画像に映る物体の認識手法を選択する選択部と、
前記選択部により選択される認識手法を用いて、前記入力画像に映る物体を認識する認識部と、
前記認識部により認識される物体と関連付けられる仮想オブジェクトを前記入力画像に重畳して表示する表示制御部と、
を備え、
前記表示制御部は、前記選択部により選択される認識手法に応じて、前記仮想オブジェクトの表示を変化させる、
画像処理装置。
（２）
前記認識部は、前記入力画像から抽出される特徴量を既知の物体画像の特徴量の集合である特徴量辞書と照合することにより、前記入力画像に映る物体を認識する、（１）に記載の画像処理装置。
（３）
前記複数の認識手法は、前記認識部による照合の対象とされるデータ量が互いに異なる手法である、（１）又は（２）に記載の画像処理装置。
（４）
前記認識部は、第１の認識手法において、サイズを縮小した前記入力画像から前記特徴量辞書と照合される特徴量を抽出する、（１）から（３）のいずれか一項に記載の画像処理装置。
（５）
前記認識部は、第２の認識手法において、各特徴量の高周波成分を無視して特徴量を照合する、（１）から（３）のいずれか一項に記載の画像処理装置。
（６）
前記認識部は、第３の認識手法において、複数の特徴量辞書のうちデータ量のより小さい特徴量辞書を用いる、（１）から（３）のいずれか一項に記載の画像処理装置。
（７）
前記複数の認識手法は、前記認識部による前記特徴量の抽出アルゴリズムが互いに異なる手法である、（２）に記載の画像処理装置。
（８）
前記画像処理装置は、前記入力画像に映る物体の動きに関するパラメータを検出する検出部、をさらに備え、
前記選択部は、前記検出部により検出されるパラメータが前記入力画像に所定のレベルを超えて動く物体が映っていることを示している場合に、処理コストのより低い認識手法を選択する、
（１）から（７）のいずれか一項に記載の画像処理装置。
（９）
前記パラメータは、前記画像処理装置と前記入力画像に映る物体との間の相対的な移動量に応じたパラメータである、（８）に記載の画像処理装置。
（１０）
前記パラメータは、前記画像処理装置の絶対的な移動量に応じたパラメータである、（８）に記載の画像処理装置。
（１１）
前記表示制御部は、前記選択部により選択される認識手法に応じて、前記仮想オブジェクトの表示の鮮明度を変化させる、（１）から（１０）のいずれか一項に記載の画像処理装置。
（１２）
前記表示制御部は、前記選択部により処理コストのより低い認識手法が選択される場合に、前記仮想オブジェクトの残像を表示させる、（１）から（１１）のいずれか一項に記載の画像処理装置。
（１３）
入力画像を取得することと、
複数の認識手法から前記入力画像に映る物体の認識手法を選択することと、
選択された前記認識手法を用いて、前記入力画像に映る物体を認識することと、
認識された物体と関連付けられる仮想オブジェクトを前記入力画像に重畳して表示することと、
選択された前記認識手法に応じて、前記仮想オブジェクトの表示を変化させることと、
を含む、画像処理方法。
（１４）
コンピュータを、
入力画像を取得する画像取得部と、
複数の認識手法から前記入力画像に映る物体の認識手法を選択する選択部と、
前記選択部により選択される認識手法を用いて、前記入力画像に映る物体を認識する認識部と、
前記認識部により認識される物体と関連付けられる仮想オブジェクトを前記入力画像に重畳して表示する表示制御部と、
を備え、
前記表示制御部は、前記選択部により選択される認識手法に応じて、前記仮想オブジェクトの表示を変化させる、
画像処理装置として機能させるためのプログラム。
【符号の説明】
【００７９】
１００ 画像処理装置
１０２ 撮像部
１０４ センサ部
１０６ 入力部
１０８ 記憶部
１１２ 表示部
１１８ 制御部
１２０ 画像取得部
１３０ 検出部
１４０ 選択部
１５０ 認識部
１６０ 表示制御部
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、実世界に付加的な情報を重畳してユーザに呈示する拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに呈示される情報は、様々な形態の仮想的なオブジェクトを用いて可視化され得る。例えば、ＡＲ技術を実世界の物体への注目を促すために利用する場合には、実世界の物体（またはその物体の周囲）などに、その物体への注目を促すための仮想オブジェクト（例えば、目印など）が重畳して表示され得る。ユーザは、その仮想オブジェクトを閲覧することにより、注目が促された物体に注目することができる。注目が促される物体としては、例えば、案内や広告などを挙げることができる。
【０００３】
このような物体は、撮像装置により実世界が撮像されることにより得られた撮像画像に基づいて認識され得る。ここで、物体認識の手法としては、常に同一の認識手法が用いられるとは限らず、状況に応じて適宜変更され得る。例えば、物体認識の正確さを評価し、評価結果に基づいて、認識に使用するパラメータを修正したり認識アルゴリズムを変更したりすることにより、物体認識の精度を高める技術について開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１７５８６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、どのような認識手法が使用されているかをユーザにフィードバックする技術はこれまで開示されていない。認識手法は、処理コストや実現可能な認識精度において互いに異なる。そのため、認識手法がユーザにフィードバックされれば、特に使用される可能性のある認識手法が複数存在する場合に有益である。一例として、ユーザは、フィードバックに応じて、現在表示されている仮想オブジェクトの位置若しくは姿勢又は呈示される情報の内容の信頼性を判断することができる。また、他の例として、ユーザは、フィードバックに応じて、高い認識精度を期待できる認識手法が使用される状況になるまで待って仮想オブジェクトを操作することもできる。したがって、物体認識において使用されている認識手法をユーザに簡易にフィードバックすることのできる技術が実現されることが望ましい。
【課題を解決するための手段】
【０００６】
本開示によれば、入力画像を取得する画像取得部と、複数の認識手法から前記入力画像に映る物体の認識手法を選択する選択部と、前記選択部により選択される認識手法を用いて、前記入力画像に映る物体を認識する認識部と、前記認識部により認識される物体と関連付けられる仮想オブジェクトを前記入力画像に重畳して表示する表示制御部と、を備え、前記表示制御部は、前記選択部により選択される認識手法に応じて、前記仮想オブジェクトの表示を変化させる、画像処理装置が提供される。
【発明の効果】
【０００７】
以上説明したように本開示によれば、物体認識において使用されている認識手法をユーザに簡易にフィードバックすることが可能である。
【図面の簡単な説明】
【０００８】
【図１】本開示の実施形態に係る画像処理装置の概要を説明するための図である。
【図２】同実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。
【図３】制御部により実現される機能の構成の一例を示すブロック図である。
【図４】複数の認識手法から認識手法を選択する機能を説明するための図である。
【図５】制御部により実現される機能の構成の他の一例を示すブロック図である。
【図６】複数の認識手法に関する第１の例を説明するための図である。
【図７】複数の認識手法に関する第２の例を説明するための図である。
【図８】複数の認識手法に関する第３の例を説明するための図である。
【図９】物体の認識処理の流れを示すフローチャートである。
【図１０】選択された認識手法に応じた仮想オブジェクトの表示例を示す図である。
【図１１】選択された認識手法に応じた仮想オブジェクトの表示例を示す図である。
【図１２】出力画像の表示制御処理の流れを示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１０】
なお、説明は以下の順序で行うものとする。
１．画像処理装置の概要
２．ハードウェア構成例
３．画像処理装置が有する機能
３−１．画像取得部
３−２．検出部
３−３．選択部
３−４．認識部
３−５．認識処理の流れ
３−６．表示制御部
３−７．表示制御処理の流れ
４．まとめ
【００１１】
＜１．画像処理装置の概要＞
図１は、本開示の実施形態に係る画像処理装置の概要を説明するための図である。図１には、本開示の実施形態に係る画像処理装置１００を持つユーザが存在する実空間１が示されている。
【００１２】
図１を参照すると、実空間１の内部には、物体Ｏｂｊが存在する。物体Ｏｂｊは、例えば、ユーザが注目すべき物体であり、典型的には、図１に示したように、目的地の場所を説明するための案内などであるが、商品やイベントを宣伝するための広告などであってもよく、他の物体であってもよい。また、図１に示した例では、物体Ｏｂｊは、壁に設置されているが、天井や床などに設置されていてもよい。さらに、実空間１は、図１の例に限定されず、屋内の環境であっても屋外の環境であってもよい。
【００１３】
画像処理装置１００は、実空間の内部を撮影し、後に説明する本実施形態に係る画像処理を実行する。図１では、画像処理装置１００の一例としてビデオカメラを示しているが、画像処理装置１００はかかる例に限定されない。例えば、画像処理装置１００は、ビデオカメラなどの撮像装置から画像を取得することのできる、ＰＣ（Personal Computer）、携帯端末又はデジタル家電機器などの情報処理装置であってもよい。また、画像処理装置１００は、必ずしも図１に示したようにユーザに保持されていなくてもよい。例えば、画像処理装置１００は、任意の場所に固定的に設置されてもよく、又は視覚としてのカメラを有するロボットなどに搭載されてもよい。
【００１４】
撮像された画像を入力画像とし、その入力画像に基づいて画像処理装置１００により物体Ｏｂｊが認識されると、認識された物体Ｏｂｊに関連付けられる仮想オブジェクトが入力画像に重畳されて表示され得る。仮想オブジェクトは、例えば、認識された物体Ｏｂｊへの注目を促すための仮想オブジェクト（例えば、目印など）であり、例えば、入力画像内の物体Ｏｂｊ（またはその物体Ｏｂｊの周囲）などに重畳され得る。ユーザは、その仮想オブジェクトを閲覧することにより、注目が促された物体Ｏｂｊに注目することができる。
【００１５】
物体認識の手法としては、常に同一の認識手法が用いられるとは限らず、状況に応じて適宜変更され得る。本開示の実施形態に係る画像処理装置１００は、次節より詳しく説明する仕組みにより、物体の認識手法をユーザに把握させることを可能とする。
【００１６】
＜２．ハードウェア構成例＞
図２は、本開示の実施形態に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。図２を参照すると、画像処理装置１００は、撮像部１０２、センサ部１０４、入力部１０６、記憶部１０８、表示部１１２、接続ポート１１４、バス１１６及び制御部１１８を備える。
【００１７】
（撮像部）
撮像部１０２は、例えば、撮像装置に相当するカメラモジュールである。撮像部１０２は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を用いて実空間１を撮像することにより、撮像画像を生成する。本開示の実施形態においては、撮像部１０２が画像処理装置１００の一部であることを想定しているが、撮像部１０２は、画像処理装置１００とは別体に構成されてもよい。
【００１８】
（センサ部）
センサ部１０４は、画像処理装置１００の位置及び姿勢（撮像部１０２の位置及び姿勢）の認識を支援するセンサ群である。例えば、センサ部１０４は、ＧＰＳ（Global Positioning System）信号を受信して画像処理装置１００の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。また、センサ部１０４は、無線アクセスポイントから受信される無線信号の強度に基づいて画像処理装置１００の位置を測定する測位センサを含んでもよい。また、例えば、センサ部１０４は、画像処理装置１００の傾き角を測定するジャイロセンサ、３軸加速度を測定する加速度センサ、又は方位を測定する地磁気センサを含んでもよい。なお、画像処理装置１００が画像認識に基づく位置推定機能及び姿勢推定機能を有する場合には、センサ部１０４は画像処理装置１００の構成から省略されてもよい。
【００１９】
（入力部）
入力部１０６は、ユーザが画像処理装置１００を操作し又は画像処理装置１００へ情報を入力するために使用される入力デバイスである。入力部１０６は、例えば、キーボード、キーパッド、マウス、ボタン、スイッチ又はタッチパネルなどを含み得る。入力部１０６は、入力画像に映るユーザのジェスチャを認識するジェスチャ認識モジュールを含んでもよい。また、入力部１０６は、ＨＭＤ（Head Mounted Display）を装着したユーザの視線方向をユーザ入力として検出する視線検出モジュールを含んでもよい。
【００２０】
（記憶部）
記憶部１０８は、半導体メモリ又はハードディスクなどの記憶媒体を用いて、画像処理装置１００による処理のためのプログラム及びデータを記憶する。例えば、記憶部１０８は、撮像部１０２から出力される画像データ及びセンサ部１０４から出力されるセンサデータを記憶する。また、記憶部１０８は、物体認識のために使用される特徴量辞書及び表示対象となる仮想オブジェクトのデータである仮想オブジェクトデータを記憶する。さらに、記憶部１０８は、物体認識の結果として生成される認識結果を記憶する。
【００２１】
（表示部）
表示部１１２は、ＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic light-Emitting Diode）又はＣＲＴ（Cathode Ray Tube）などにより構成される表示モジュールである。表示部１１２の画面上には、画像処理装置１００により入力画像に仮想オブジェクトが重畳された出力画像が表示される。表示部１１２は、画像処理装置１００の一部であってもよく、又は画像処理装置１００とは別体に構成されてもよい。また、表示部１１２は、ユーザにより装着されるＨＭＤであってもよい。
【００２２】
（接続ポート）
接続ポート１１４は、画像処理装置１００を周辺機器又はネットワークと接続するためのポートである。例えば、接続ポート１１４には、追加的な記憶媒体としてのリムーバブルメディアが接続されてもよい。また、接続ポート１１４には、有線又は無線通信インタフェースが接続されてもよい。それにより、例えば、画像処理装置１００がネットワーク上のサーバから画像を取得することが可能となる。
【００２３】
（バス）
バス１１６は、撮像部１０２、センサ部１０４、入力部１０６、記憶部１０８、表示部１１２、接続ポート１１４及び制御部１１８を相互に接続する。
【００２４】
（制御部）
制御部１１８は、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）などのプロセッサに相当する。制御部１１８は、記憶部１０８又は他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する画像処理装置１００の様々な機能を動作させる。
【００２５】
＜３．機能構成例＞
図３は、図２に示した画像処理装置１００の制御部１１８により実現される機能の構成の一例を示すブロック図である。図３を参照すると、制御部１１８は、画像取得部１２０、検出部１３０、選択部１４０、認識部１５０及び表示制御部１６０を含む。
【００２６】
［３−１．画像取得部］
画像取得部１２０は、撮像部１０２（又は他の撮像装置）を用いて撮像された実空間を映す入力画像を取得する。入力画像は、仮想オブジェクトが配置される実空間内の場所又は物体が映された画像である。画像取得部１２０は、取得した入力画像を、検出部１３０及び表示制御部１６０へ出力する。また、後に説明するように、画像取得部１２０は、取得した入力画像を、検出部１３０に出力しなくてもよい。例えば、撮像部１０２（又は他の撮像装置）が実空間を連続的に撮像している場合には、画像取得部１２０は、連続的に入力画像を取得することができる。
【００２７】
［３−２．検出部］
検出部１３０は、画像取得部１２０から入力される入力画像に映る物体の動きに関するパラメータを検出する。検出部１３０により検出されるパラメータは、例えば、画像処理装置１００と入力画像に映る物体との間の相対的な移動量に応じたパラメータである。検出部１３０は、例えば、入力画像の各領域における移動量をオプティカルフローなどにより取得し、各領域における移動量の総和を、相対的な移動量として算出することができる。移動量は、例えば、ベクトルにより表現され得る。
【００２８】
入力画像の各領域は、例えば、あらかじめ決められていてもよい。例えば、入力画像の各領域は、入力画像全体の各ブロック（画素の集合）であってもよく、入力画像全体の各画素であってもよい。また、入力画像の各領域は、あらかじめ決められていなくてもよい。例えば、検出部１３０は、入力画像に映っている物体の移動量をオプティカルフローなどにより取得し、その物体の移動量を相対的な移動量として算出することもできる。オプティカルフローとしては、例えば、ブロックマッチング法、勾配法などの手法が採用され得る。
【００２９】
［３−３．選択部］
図４は、複数の認識手法から認識手法を選択する機能を説明するための図である。図４を参照しながら、物体を認識するための手法が複数存在する場合に、複数の認識手法から入力画像に映る物体の認識手法を選択する機能を説明する。選択部１４０は、複数の認識手法から少なくとも１つの認識手法を選択することができる。
【００３０】
選択部１４０は、検出部１３０により検出されるパラメータが入力画像に所定のレベルを超えて動く物体が映っていないことを示している場合に、処理コストのより高い認識手法を選択する。例えば、画像取得部１２０により取得される入力画像が、画像Ｉｍ０Ａから画像Ｉｍ１Ａに遷移した場合を想定する。この場合、選択部１４０は、検出部１３０により算出された移動量が所定の移動量を超えていないため、入力画像に所定のレベルを超えて動く物体が映っていないことをパラメータが示していると判断することができる。
【００３１】
一方、選択部１４０は、検出部１３０により検出されるパラメータが入力画像に所定のレベルを超えて動く物体が映っていることを示している場合に、処理コストのより低い認識手法を選択する。例えば、画像取得部１２０により取得される入力画像が、画像Ｉｍ０Ａから画像Ｉｍ１Ａ’に遷移した場合を想定する。この場合、選択部１４０は、検出部１３０により算出された移動量が所定の移動量を超えているため、入力画像に所定のレベルを超えて動く物体が映っていることをパラメータが示していると判断することができる。
【００３２】
選択部１４０は、選択した認識手法を、認識部１５０及び表示制御部１６０へ出力する。なお、処理コストのより高い認識手法や、処理コストのより低い認識手法などといった表現は、相対的な関係における処理コストの高低を表現しているにすぎず、絶対的な処理コストの高低を示すものではない。すなわち、２つの処理コストを比較した場合に、一方の処理コストが他方の処理コストよりも高いということを意味している。
【００３３】
このように認識手法を選択することにより、パラメータに応じて物体認識のための処理コストを変更することができる。例えば、入力画像に所定のレベルを超えて動く物体が映っている場合には、入力画像に大きなブレが生じている（入力画像が比較的不鮮明である）と考えられるため、物体認識の精度よりも物体認識における処理速度を重視することができる。そこで、選択部１４０は、より低い処理コストの認識手法を選択する。
【００３４】
他方、例えば、入力画像に所定のレベルを超えて動く物体が映っていない場合には、入力画像に大きなブレが生じていない（入力画像が比較的鮮明である）と考えられるため、物体認識における処理速度よりも物体認識の精度を重視することができる。そこで、選択部１４０は、より高い処理コストの認識手法を選択する。
【００３５】
図５は、図２に示した画像処理装置１００の制御部１１８により実現される機能の構成の他の一例を示すブロック図である。図５を参照しながら、物体を認識するための手法が複数存在する場合に、複数の認識手法から入力画像に映る物体の認識手法を選択する機能の他の一例を説明する。
【００３６】
上記したように、検出部１３０は、画像取得部１２０から入力される入力画像に映る物体の動きに関するパラメータを検出する。検出部１３０により検出されるパラメータは、例えば、画像処理装置１００の絶対的な移動量に応じたパラメータであってもよい。この場合、検出部１３０は、センサ部１０４により検出されたセンサデータを、画像処理装置１００の絶対的な移動量として検出することができる。
【００３７】
また、上記したように、選択部１４０は、検出部１３０により検出されるパラメータが入力画像に所定のレベルを超えて動く物体が映っていないことを示している場合に、処理コストのより高い認識手法を選択する。例えば、過去に検出された複数のセンサデータの平均値と現在検出されたセンサデータの値との差分が所定値を超えている場合に、入力画像に所定のレベルを超えて動く物体が映っていないことをパラメータが示していると判断することができる。
【００３８】
あるいは、過去に検出されたセンサデータと現在検出されたセンサデータの値との差分が所定値を超えている場合に、入力画像に所定のレベルを超えて動く物体が映っていないことをパラメータが示していると判断してもよい。
【００３９】
一方、上記したように、選択部１４０は、検出部１３０により検出されるパラメータが入力画像に所定のレベルを超えて動く物体が映っていることを示している場合に、処理コストのより低い認識手法を選択する。例えば、過去に検出された複数のセンサデータの平均値と現在検出されたセンサデータの値との差分が所定値を超えていない場合に、入力画像に所定のレベルを超えて動く物体が映っていることをパラメータが示していると判断することができる。
【００４０】
あるいは、過去に検出されたセンサデータと現在検出されたセンサデータの値との差分が所定値を超えていない場合に、入力画像に所定のレベルを超えて動く物体が映っていることをパラメータが示していると判断してもよい。
【００４１】
［３−４．認識部］
認識部１５０は、選択部１４０により選択される認識手法を用いて、入力画像に映る物体を認識する。認識部１５０は、例えば、入力画像から抽出される各特徴量を既知の物体画像の特徴量の集合である特徴量辞書と照合することにより、入力画像に映る物体を認識することができる。認識部１５０は、例えば、入力画像から抽出される特徴量に一致する特徴量が特徴量辞書に存在する場合、その特徴量に対応付けられている物体ＩＤとその物体の位置及び姿勢とを取得することにより、物体を認識することができる。ここで使用される特徴量辞書は、記憶部１０８にあらかじめ記憶させておいてもよいし、他の装置から送信されてもよい。
【００４２】
また、入力画像から抽出される特徴量は、１つであってもよいし複数であってもよい。入力画像から各特徴量を抽出する処理は、例えば、認識部１５０により行われ得る。特徴量辞書は、物体を識別するための物体ＩＤとその物体画像の特徴量との組み合わせを有しているが、この組み合わせは、１つであってもよいし複数であってもよい。以下では、入力画像に映る物体として、物体Ｏｂｊが認識される例を主に説明するが、入力画像に映る物体は、１つに限らず複数認識されてもよい。認識部１５０は、認識結果を、表示制御部１６０へ出力する。
【００４３】
認識部１５０は、より具体的には、例えば、ＦＡＳＴ特徴検出法（FAST feature detection）などの任意の公知の手法に従って、入力画像内の特徴点を抽出する。そして、認識部１５０は、抽出された特徴点を特徴量辞書に含まれる物体の頂点と照合する。その結果、認識部１５０は、入力画像にどの物体が映っているか、及び認識された各物体がどの位置にどのような姿勢で映っているかを認識する。
【００４４】
認識された物体が実空間モデルに含まれる物体である場合には、当該物体の３次元位置及び姿勢は、実空間モデルにおいて示されている。認識された物体が物体モデルに含まれる物体である場合には、当該物体の３次元位置及び姿勢は、当該物体の頂点群の撮像面上での２次元位置をピンホールモデルに従って実空間内の３次元位置に変換することにより求められ得る（例えば、特開２００８−３０４２６８号公報参照）。
【００４５】
認識部１５０は、選択部１４０により処理コストのより低い認識手法が選択された場合には、処理コストのより低い認識手法を用いて、入力画像に映る物体Ｏｂｊを認識する。また、認識部１５０は、選択部１４０により処理コストのより高い認識手法が選択された場合には、処理コストのより高い認識手法を用いて、入力画像に映る物体Ｏｂｊを認識する。この二つの認識手法（処理コストのより低い認識手法、及び処理コストのより高い認識手法）は、入力画像から各特徴量を抽出するアルゴリズム自体が異なることにより処理コストが異なっていてもよいし、照合の対象とされるデータ量が互いに異なることにより処理コストが異なっていてもよい。以下では、主に、照合の対象とされるデータ量が互いに異なることにより二つの認識手法の処理コストが異なる例を説明する。
【００４６】
図６は、複数の認識手法に関する第１の例を説明するための図である。図６に示すように、認識部１５０は、選択部１４０により処理コストのより低い認識手法が選択された場合、例えば、入力画像Ｉｍ１Ａのサイズを縮小し、縮小した画像Ｉｍ１Ｂから特徴量辞書と照合される各特徴量を抽出することができる。そして、認識部１５０は、抽出した各特徴量を特徴量辞書と照合することにより、入力画像に映る物体Ｏｂｊを認識することができる。
【００４７】
他方、認識部１５０は、選択部１４０により処理コストのより高い認識手法が選択された場合、例えば、入力画像Ｉｍ１Ａのサイズを縮小せずに、入力画像Ｉｍ１Ａから特徴量辞書と照合される各特徴量を抽出することができる。そして、認識部１５０は、抽出した各特徴量を特徴量辞書と照合することにより、入力画像に映る物体Ｏｂｊを認識することができる。
【００４８】
このように、複数の認識手法に関する第１の例においては、選択部１４０により処理コストのより低い認識手法（第１の認識手法）が選択された場合、認識部１５０は、よりサイズの小さい画像から各特徴量を抽出することが可能である。これにより、選択部１４０により処理コストのより低い認識手法が選択された場合には、照合対象のデータ量がより小さくなることにより、認識部１５０は、処理コストのより低い認識手法を用いて、入力画像に映る物体Ｏｂｊを認識することができる。
【００４９】
なお、ここでは、認識部１５０は、選択部１４０により処理コストのより低い認識手法が選択された場合、入力画像Ｉｍ１Ａのサイズを縮小し、選択部１４０により処理コストのより高い認識手法が選択された場合、入力画像Ｉｍ１Ａのサイズを縮小しないこととした。しかし、このような例に限らず、選択部１４０により処理コストのより低い認識手法が選択された場合、選択部１４０により処理コストのより高い認識手法が選択された場合と比較して、よりサイズが小さい画像から各特徴量を抽出するようにすればよい。
【００５０】
図７は、複数の認識手法に関する第２の例を説明するための図である。図７に示すように、認識部１５０は、選択部１４０により処理コストのより低い認識手法が選択された場合には、入力画像Ｉｍ１Ａから各特徴量を抽出し、抽出した各特徴量の高周波成分を無視するとともに特徴量辞書の高周波成分を無視し、各特徴量と特徴量辞書との照合を行うことができる。認識部１５０は、例えば、入力画像Ｉｍ１Ａから抽出した各特徴量及び特徴量辞書の各特徴量のうち所定の周波数を超える領域を高周波成分としてカットする。認識部１５０は、かかる照合により、入力画像に映る物体Ｏｂｊを認識することができる。
【００５１】
他方、認識部１５０は、選択部１４０により処理コストのより高い認識手法が選択された場合には、入力画像Ｉｍ１Ａから各特徴量を抽出し、抽出した各特徴量と特徴量辞書との照合を行うことができる。認識部１５０は、かかる照合により、入力画像に映る物体Ｏｂｊを認識することができる。
【００５２】
このように、複数の認識手法に関する第２の例においては、選択部１４０により処理コストのより低い認識手法（第２の認識手法）が選択された場合、認識部１５０は、各特徴量の高周波成分を無視して各特徴量を照合することが可能である。これにより、選択部１４０により処理コストのより低い認識手法が選択された場合には、照合対象のデータ量がより小さくなることにより、認識部１５０は、処理コストのより低い認識手法を用いて、入力画像に映る物体Ｏｂｊを認識することができる。
【００５３】
なお、ここでは、認識部１５０は、選択部１４０により処理コストのより低い認識手法が選択された場合、入力画像Ｉｍ１Ａから抽出した各特徴量及び特徴量辞書の各特徴量の高周波成分を無視した照合を行うこととした。しかし、このような例に限らず、選択部１４０により処理コストのより低い認識手法が選択された場合、選択部１４０により処理コストのより高い認識手法が選択された場合と比較して、より広範囲の周波数成分を各特徴量からカットするようにすればよい。
【００５４】
図８は、複数の認識手法に関する第３の例を説明するための図である。図８に示すように、認識部１５０は、選択部１４０により処理コストのより低い認識手法が選択された場合には、入力画像Ｉｍ１Ａから各特徴量を抽出し、抽出した各特徴量とよりデータ量の小さい特徴量辞書との照合を行うことができる。認識部１５０は、かかる照合により、入力画像に映る物体Ｏｂｊを認識することができる。
【００５５】
他方、認識部１５０は、選択部１４０により処理コストのより高い認識手法が選択された場合には、入力画像Ｉｍ１Ａから各特徴量を抽出し、抽出した各特徴量とよりデータ量の大きい特徴量辞書との照合を行うことができる。認識部１５０は、かかる照合により、入力画像に映る物体Ｏｂｊを認識することができる。
【００５６】
このように、複数の認識手法に関する第３の例においては、選択部１４０により処理コストのより低い認識手法（第３の認識手法）が選択された場合、認識部１５０は、よりデータ量の小さい特徴量辞書を用いて照合することが可能である。これにより、選択部１４０により処理コストのより低い認識手法が選択された場合には、照合対象のデータ量がより小さくなることにより、認識部１５０は、処理コストのより低い認識手法を用いて、入力画像に映る物体Ｏｂｊを認識することができる。
【００５７】
なお、データ量のより大きい特徴量辞書や、データ量のより小さい特徴量辞書などといった表現は、相対的な関係における特徴量辞書のデータ量の大小を表現しているにすぎず、絶対的なデータ量の大小を示すものではない。すなわち、２つの特徴量辞書のデータ量を比較した場合に、一方のデータ量が他方のデータ量よりも小さいということを意味している。
【００５８】
［３−５．認識処理の流れ］
図９は、物体の認識処理の流れを示すフローチャートである。図９を参照しながら、物体の認識処理の流れを説明する。
【００５９】
図９に示すように、まず、画像取得部１２０は、撮像部１０２（又は他の撮像装置）を用いて撮像された実空間を映す入力画像を取得する（Ｓ１０１）。また、検出部１３０は、画像取得部１２０から入力される入力画像に映る物体の動きに関するパラメータを検出する（Ｓ１０２）。
【００６０】
続いて、選択部１４０は、パラメータを解析して処理コストを判定する（Ｓ１０３）。選択部１４０は、より低い処理コストの認識手法を選択すべきと判定した場合には（Ｓ１０３において「処理コスト：低」）、より低い処理コストの認識手法を選択する（Ｓ１０４）。他方、選択部１４０は、より高い処理コストの認識手法を選択すべきと判定した場合には（Ｓ１０３において「処理コスト：高」）、より高い処理コストの認識手法を選択する（Ｓ１０５）。
【００６１】
続いて、認識部１５０は、選択部１４０により選択された認識手法を用いて、入力画像に映る物体を認識する（Ｓ１０６）。選択部１４０は、選択した認識手法を表示制御部１６０へ出力し、認識部１５０は、認識結果を表示制御部１６０へ出力する（Ｓ１０７）。制御部１１８は、入力画像の取得（Ｓ１０１）に戻り、画像取得部１２０による画像取得（Ｓ１０１）から認識手法及び認識結果の出力（Ｓ１０７）までの処理が再度行われ得る。
【００６２】
［３−６．表示制御部］
表示制御部１６０は、認識部１５０により認識される物体と関連付けられる仮想オブジェクトを入力画像に重畳して表示する。仮想オブジェクトは、例えば、物体ＩＤと仮想オブジェクトデータとが関連付けられたデータが記憶部１０８により記憶されている。すなわち、表示制御部１６０は、認識部１５０により取得された物体ＩＤに関連付けられた仮想オブジェクトデータを記憶部１０８から取得し、取得した仮想オブジェクトデータに基づいて仮想オブジェクトを表示することができる。
【００６３】
図１０及び図１１は、選択部１４０により選択された認識手法に応じた仮想オブジェクトの表示例を示す図である。図１０に示すように、表示制御部１６０は、認識部１５０により認識される物体と関連付けられる仮想オブジェクトを入力画像Ｉｍ１Ａに重畳して表示することができる。また、表示制御部１６０は、仮想オブジェクトをどのような位置にどのような姿勢により表示してもよい。例えば、表示制御部１６０は、認識部１５０により取得された物体の位置（又はその物体の周囲）に、認識部１５０により取得された姿勢により、仮想オブジェクトを表示することができる。
【００６４】
例えば、選択部１４０により処理コストのより低い認識手法が選択された場合には、認識部１５０により、処理コストのより低い認識手法を用いて入力画像Ｉｍ１Ａに映る物体Ｏｂｊが認識されるため、表示制御部１６０は、仮想オブジェクトの表示の鮮明度をより低くすることができる。図１０に示した例では、時刻ｔ１において、入力画像１Ａに映る物体の認識手法として処理コストのより低い認識手法が選択部１４０により選択され、表示制御部１６０により鮮明度のより低い仮想オブジェクトＶ１が表示されている。
【００６５】
その後、図１０に示すように、ユーザが、時刻ｔ２において、画像処理装置１００の向きを左に移動させたとする。この場合、選択部１４０により処理コストのより低い認識手法が選択されることが想定されるため、表示制御部１６０は、仮想オブジェクトの表示の鮮明度をより低くすることができる。図１０に示した例では、時刻ｔ２において、入力画像２Ａに映る物体の認識手法として処理コストのより低い認識手法が選択部１４０により選択され、表示制御部１６０により鮮明度のより低い仮想オブジェクトＶ２が表示されている。
【００６６】
表示制御部１６０は、選択部１４０により処理コストのより低い認識手法が選択される場合に、仮想オブジェクトの残像を表示させてもよい。図１０に示した例では、時刻ｔ２において、入力画像２Ａに映る物体の認識手法として処理コストのより低い認識手法が選択部１４０により選択され、表示制御部１６０により仮想オブジェクトＶ１の残像が表示されている。このように、仮想オブジェクトＶ２とともに過去に表示された仮想オブジェクトＶ１の残像を表示するようにすることで、残像を見たユーザは、画像処理装置１００の向きを戻し、物体Ｏｂｊの表示位置を所望の位置に戻すことができる。
【００６７】
その後、図１１に示すように、ユーザが、時刻ｔ３において、画像処理装置１００の向きを右に移動させたとする。この場合、選択部１４０により処理コストのより低い認識手法が選択されることが想定されるため、表示制御部１６０は、仮想オブジェクトの表示の鮮明度をより低くすることができる。図１１に示した例では、時刻ｔ３において、入力画像３Ａに映る物体の認識手法として処理コストのより低い認識手法が選択部１４０により選択され、表示制御部１６０により鮮明度のより低い仮想オブジェクトＶ３が表示されている。
【００６８】
なお、時刻ｔ３においても、入力画像３Ａに映る物体の認識手法として処理コストのより低い認識手法が選択部１４０により選択され、表示制御部１６０により仮想オブジェクトＶ２の残像が表示されている。このように、仮想オブジェクトＶ３とともに過去に表示された仮想オブジェクトＶ２の残像を表示するようにすることで、残像を見たユーザは、画像処理装置１００の向きを戻し、物体Ｏｂｊの表示位置を所望の位置に戻すことができる。
【００６９】
その後、図１１に示すように、ユーザが、時刻ｔ４において、画像処理装置１００の向きを固定したとする。この場合、選択部１４０により処理コストのより高い認識手法が選択されることが想定されるため、表示制御部１６０は、仮想オブジェクトの表示の鮮明度をより高くすることができる。図１１に示した例では、時刻ｔ４において、入力画像４Ａに映る物体の認識手法として処理コストのより高い認識手法が選択部１４０により選択され、表示制御部１６０により鮮明度のより高い仮想オブジェクトＶ４が表示されている。
【００７０】
このように、表示制御部１６０は、選択部１４０により選択される認識手法に応じて、仮想オブジェクトの表示を変化させることができる。かかる制御により、仮想オブジェクトに関連付けられる物体の認識手法をユーザに把握させることが可能である。
【００７１】
［３−７．表示制御処理の流れ］
図１２は、出力画像の表示制御処理の流れを示すフローチャートである。図１２を参照しながら、出力画像の表示制御処理の流れを説明する。
【００７２】
図１２に示すように、まず、表示制御部１６０は、画像取得部１２０から入力画像を取得する（Ｓ２０１）。また、表示制御部１６０は、選択部１４０により出力された認識手法及び認識部１５０により出力された認識結果を取得する（Ｓ２０２）。続いて、表示制御部１６０は、認識された物体に関連付けられる仮想オブジェクトを、認識手法に応じて入力画像に重畳することにより出力画像を生成する（Ｓ２０３）。続いて、表示制御部１６０は、出力画像を表示する（Ｓ２０４）。制御部１１８は、入力画像の取得（Ｓ２０１）に戻り、画像取得部１２０による画像取得（Ｓ２０１）から出力画像の表示（Ｓ２０４）までの処理が再度行われ得る。
【００７３】
＜４．まとめ＞
以上説明したように、本開示の実施形態によれば、画像処理装置は、仮想オブジェクトに関連付けられる物体の認識手法をユーザに把握させることが可能である。これにより、ユーザは、例えば、表示される仮想オブジェクトを見れば、その仮想オブジェクトに関連付けられる物体の認識がどの程度の処理コストによりなされたかを把握することができる。既に述べたように、仮想オブジェクトは、例えば、認識手法に基づいてその鮮明度が変更され得る。
【００７４】
また、本開示の実施形態によれば、画像処理装置は、現在認識された物体に関連付けられる仮想オブジェクトとともに過去に表示された仮想オブジェクトの残像を表示するようにすることもできる。これにより、残像を見たユーザは、画像処理装置の向きを戻し、物体の表示位置を所望の位置に戻すことができる。
【００７５】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００７６】
例えば、本明細書の画像処理装置が実行する処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、画像処理装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【００７７】
また、本明細書において説明した画像処理装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵ（Central Processing Unit）などのプロセッサにより実行される。
【００７８】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
入力画像を取得する画像取得部と、
複数の認識手法から前記入力画像に映る物体の認識手法を選択する選択部と、
前記選択部により選択される認識手法を用いて、前記入力画像に映る物体を認識する認識部と、
前記認識部により認識される物体と関連付けられる仮想オブジェクトを前記入力画像に重畳して表示する表示制御部と、
を備え、
前記表示制御部は、前記選択部により選択される認識手法に応じて、前記仮想オブジェクトの表示を変化させる、
画像処理装置。
（２）
前記認識部は、前記入力画像から抽出される特徴量を既知の物体画像の特徴量の集合である特徴量辞書と照合することにより、前記入力画像に映る物体を認識する、（１）に記載の画像処理装置。
（３）
前記複数の認識手法は、前記認識部による照合の対象とされるデータ量が互いに異なる手法である、（１）又は（２）に記載の画像処理装置。
（４）
前記認識部は、第１の認識手法において、サイズを縮小した前記入力画像から前記特徴量辞書と照合される特徴量を抽出する、（１）から（３）のいずれか一項に記載の画像処理装置。
（５）
前記認識部は、第２の認識手法において、各特徴量の高周波成分を無視して特徴量を照合する、（１）から（３）のいずれか一項に記載の画像処理装置。
（６）
前記認識部は、第３の認識手法において、複数の特徴量辞書のうちデータ量のより小さい特徴量辞書を用いる、（１）から（３）のいずれか一項に記載の画像処理装置。
（７）
前記複数の認識手法は、前記認識部による前記特徴量の抽出アルゴリズムが互いに異なる手法である、（２）に記載の画像処理装置。
（８）
前記画像処理装置は、前記入力画像に映る物体の動きに関するパラメータを検出する検出部、をさらに備え、
前記選択部は、前記検出部により検出されるパラメータが前記入力画像に所定のレベルを超えて動く物体が映っていることを示している場合に、処理コストのより低い認識手法を選択する、
（１）から（７）のいずれか一項に記載の画像処理装置。
（９）
前記パラメータは、前記画像処理装置と前記入力画像に映る物体との間の相対的な移動量に応じたパラメータである、（８）に記載の画像処理装置。
（１０）
前記パラメータは、前記画像処理装置の絶対的な移動量に応じたパラメータである、（８）に記載の画像処理装置。
（１１）
前記表示制御部は、前記選択部により選択される認識手法に応じて、前記仮想オブジェクトの表示の鮮明度を変化させる、（１）から（１０）のいずれか一項に記載の画像処理装置。
（１２）
前記表示制御部は、前記選択部により処理コストのより低い認識手法が選択される場合に、前記仮想オブジェクトの残像を表示させる、（１）から（１１）のいずれか一項に記載の画像処理装置。
（１３）
入力画像を取得することと、
複数の認識手法から前記入力画像に映る物体の認識手法を選択することと、
選択された前記認識手法を用いて、前記入力画像に映る物体を認識することと、
認識された物体と関連付けられる仮想オブジェクトを前記入力画像に重畳して表示することと、
選択された前記認識手法に応じて、前記仮想オブジェクトの表示を変化させることと、
を含む、画像処理方法。
（１４）
コンピュータを、
入力画像を取得する画像取得部と、
複数の認識手法から前記入力画像に映る物体の認識手法を選択する選択部と、
前記選択部により選択される認識手法を用いて、前記入力画像に映る物体を認識する認識部と、
前記認識部により認識される物体と関連付けられる仮想オブジェクトを前記入力画像に重畳して表示する表示制御部と、
を備え、
前記表示制御部は、前記選択部により選択される認識手法に応じて、前記仮想オブジェクトの表示を変化させる、
画像処理装置として機能させるためのプログラム。
【符号の説明】
【００７９】
１００ 画像処理装置
１０２ 撮像部
１０４ センサ部
１０６ 入力部
１０８ 記憶部
１１２ 表示部
１１８ 制御部
１２０ 画像取得部
１３０ 検出部
１４０ 選択部
１５０ 認識部
１６０ 表示制御部
【特許請求の範囲】
【請求項１】
入力画像を取得する画像取得部と、
複数の認識手法から前記入力画像に映る物体の認識手法を選択する選択部と、
前記選択部により選択される認識手法を用いて、前記入力画像に映る物体を認識する認識部と、
前記認識部により認識される物体と関連付けられる仮想オブジェクトを前記入力画像に重畳して表示する表示制御部と、
を備え、
前記表示制御部は、前記選択部により選択される認識手法に応じて、前記仮想オブジェクトの表示を変化させる、
画像処理装置。
【請求項２】
前記認識部は、前記入力画像から抽出される特徴量を既知の物体画像の特徴量の集合である特徴量辞書と照合することにより、前記入力画像に映る物体を認識する、請求項１に記載の画像処理装置。
【請求項３】
前記複数の認識手法は、前記認識部による照合の対象とされるデータ量が互いに異なる手法である、請求項２に記載の画像処理装置。
【請求項４】
前記認識部は、第１の認識手法において、サイズを縮小した前記入力画像から前記特徴量辞書と照合される特徴量を抽出する、請求項３に記載の画像処理装置。
【請求項５】
前記認識部は、第２の認識手法において、各特徴量の高周波成分を無視して特徴量を照合する、請求項３に記載の画像処理装置。
【請求項６】
前記認識部は、第３の認識手法において、複数の特徴量辞書のうちデータ量のより小さい特徴量辞書を用いる、請求項３に記載の画像処理装置。
【請求項７】
前記複数の認識手法は、前記認識部による前記特徴量の抽出アルゴリズムが互いに異なる手法である、請求項２に記載の画像処理装置。
【請求項８】
前記画像処理装置は、前記入力画像に映る物体の動きに関するパラメータを検出する検出部、をさらに備え、
前記選択部は、前記検出部により検出されるパラメータが前記入力画像に所定のレベルを超えて動く物体が映っていることを示している場合に、処理コストのより低い認識手法を選択する、
請求項１に記載の画像処理装置。
【請求項９】
前記パラメータは、前記画像処理装置と前記入力画像に映る物体との間の相対的な移動量に応じたパラメータである、請求項８に記載の画像処理装置。
【請求項１０】
前記パラメータは、前記画像処理装置の絶対的な移動量に応じたパラメータである、請求項８に記載の画像処理装置。
【請求項１１】
前記表示制御部は、前記選択部により選択される認識手法に応じて、前記仮想オブジェクトの表示の鮮明度を変化させる、請求項１に記載の画像処理装置。
【請求項１２】
前記表示制御部は、前記選択部により処理コストのより低い認識手法が選択される場合に、前記仮想オブジェクトの残像を表示させる、請求項１に記載の画像処理装置。
【請求項１３】
入力画像を取得することと、
複数の認識手法から前記入力画像に映る物体の認識手法を選択することと、
選択された前記認識手法を用いて、前記入力画像に映る物体を認識することと、
認識された物体と関連付けられる仮想オブジェクトを前記入力画像に重畳して表示することと、
選択された前記認識手法に応じて、前記仮想オブジェクトの表示を変化させることと、
を含む、画像処理方法。
【請求項１４】
コンピュータを、
入力画像を取得する画像取得部と、
複数の認識手法から前記入力画像に映る物体の認識手法を選択する選択部と、
前記選択部により選択される認識手法を用いて、前記入力画像に映る物体を認識する認識部と、
前記認識部により認識される物体と関連付けられる仮想オブジェクトを前記入力画像に重畳して表示する表示制御部と、
を備え、
前記表示制御部は、前記選択部により選択される認識手法に応じて、前記仮想オブジェクトの表示を変化させる、
画像処理装置として機能させるためのプログラム。
【請求項１】
入力画像を取得する画像取得部と、
複数の認識手法から前記入力画像に映る物体の認識手法を選択する選択部と、
前記選択部により選択される認識手法を用いて、前記入力画像に映る物体を認識する認識部と、
前記認識部により認識される物体と関連付けられる仮想オブジェクトを前記入力画像に重畳して表示する表示制御部と、
を備え、
前記表示制御部は、前記選択部により選択される認識手法に応じて、前記仮想オブジェクトの表示を変化させる、
画像処理装置。
【請求項２】
前記認識部は、前記入力画像から抽出される特徴量を既知の物体画像の特徴量の集合である特徴量辞書と照合することにより、前記入力画像に映る物体を認識する、請求項１に記載の画像処理装置。
【請求項３】
前記複数の認識手法は、前記認識部による照合の対象とされるデータ量が互いに異なる手法である、請求項２に記載の画像処理装置。
【請求項４】
前記認識部は、第１の認識手法において、サイズを縮小した前記入力画像から前記特徴量辞書と照合される特徴量を抽出する、請求項３に記載の画像処理装置。
【請求項５】
前記認識部は、第２の認識手法において、各特徴量の高周波成分を無視して特徴量を照合する、請求項３に記載の画像処理装置。
【請求項６】
前記認識部は、第３の認識手法において、複数の特徴量辞書のうちデータ量のより小さい特徴量辞書を用いる、請求項３に記載の画像処理装置。
【請求項７】
前記複数の認識手法は、前記認識部による前記特徴量の抽出アルゴリズムが互いに異なる手法である、請求項２に記載の画像処理装置。
【請求項８】
前記画像処理装置は、前記入力画像に映る物体の動きに関するパラメータを検出する検出部、をさらに備え、
前記選択部は、前記検出部により検出されるパラメータが前記入力画像に所定のレベルを超えて動く物体が映っていることを示している場合に、処理コストのより低い認識手法を選択する、
請求項１に記載の画像処理装置。
【請求項９】
前記パラメータは、前記画像処理装置と前記入力画像に映る物体との間の相対的な移動量に応じたパラメータである、請求項８に記載の画像処理装置。
【請求項１０】
前記パラメータは、前記画像処理装置の絶対的な移動量に応じたパラメータである、請求項８に記載の画像処理装置。
【請求項１１】
前記表示制御部は、前記選択部により選択される認識手法に応じて、前記仮想オブジェクトの表示の鮮明度を変化させる、請求項１に記載の画像処理装置。
【請求項１２】
前記表示制御部は、前記選択部により処理コストのより低い認識手法が選択される場合に、前記仮想オブジェクトの残像を表示させる、請求項１に記載の画像処理装置。
【請求項１３】
入力画像を取得することと、
複数の認識手法から前記入力画像に映る物体の認識手法を選択することと、
選択された前記認識手法を用いて、前記入力画像に映る物体を認識することと、
認識された物体と関連付けられる仮想オブジェクトを前記入力画像に重畳して表示することと、
選択された前記認識手法に応じて、前記仮想オブジェクトの表示を変化させることと、
を含む、画像処理方法。
【請求項１４】
コンピュータを、
入力画像を取得する画像取得部と、
複数の認識手法から前記入力画像に映る物体の認識手法を選択する選択部と、
前記選択部により選択される認識手法を用いて、前記入力画像に映る物体を認識する認識部と、
前記認識部により認識される物体と関連付けられる仮想オブジェクトを前記入力画像に重畳して表示する表示制御部と、
を備え、
前記表示制御部は、前記選択部により選択される認識手法に応じて、前記仮想オブジェクトの表示を変化させる、
画像処理装置として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−２２６５２９（Ｐ２０１２−２２６５２９Ａ）
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願番号】特願２０１１−９３０８９（Ｐ２０１１−９３０８９）
【出願日】平成２３年４月１９日（２０１１．４．１９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願日】平成２３年４月１９日（２０１１．４．１９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]