説明

情報提示装置、情報提示方法、情報提示システム、情報登録装置、情報登録方法、情報登録システムおよびプログラム

【課題】物体に紐付けあるいは関連付けされた複数の情報の選択的な引き出しを容易とする。
【解決手段】画像データに対して物体の検出識別処理を施して得られた、物体識別情報と、物体およびカメラの相対位置情報とを取得する。物体識別情報および相対位置情報に基づいて情報提示を制御する。例えば、提示情報データベースから物体識別情報および相対位置情報に関連付けされた、画像、音声、テキストなどのコンテンツ情報を取得する。物体に関連付けられている情報を引き出して提示できる。単一の対象物(物体)に対して、複数の情報提示を受けることが可能となる。

【発明の詳細な説明】
【技術分野】
【0001】
本技術は、情報提示装置、情報提示方法、情報提示システム、情報登録装置、情報登録方法、情報登録システムおよびプログラムに関する。詳しくは、本技術は、画像、音声、テキスト等のコンテンツ情報の提示(閲覧)、登録を、物体を媒介にして行う情報提示装置、情報提示方法、情報提示システム、情報登録装置、情報登録方法、情報登録システムおよびプログラムに関する。
【背景技術】
【0002】
近年、カメラの搭載された電子機器として、携帯電話や携帯情報端末、またはテレビやカメラ、ビデオカメラ等、様々な種類の機器が広く普及している。このため、QRコード等のサイバーコードの認識を使った情報ソース(URL等)の取得と、情報(インターネット上のホームページ等)の閲覧は広く行われるようになっている。サイバーコードの認識技術としては、例えば特許文献1に記載される技術等がある。
【0003】
しかし、これらの場合、1つのサイバーコードに複数の情報を紐づけると、それを選択する方法を提供する必要がある。選択方法としてはタッチポイントが非常に有効であるが、まだ対応デバイスは少ない。また、ボタン操作等で実現する場合は、操作が複雑になりがちである。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許3558104号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本技術の目的は、物体に紐付けあるいは関連付けされた複数の情報の選択的な引き出しを容易とすることにある。
【課題を解決するための手段】
【0006】
本技術の概念は、
画像データに対して物体の検出識別処理を施して得られた物体識別情報と、物体およびカメラの相対位置情報とを取得する物体情報取得部と、
上記物体識別情報および上記相対位置情報に基づいて情報提示を制御する情報提示制御部と
を備える情報提示装置にある。
【0007】
本技術において、物体情報取得部により、物体識別情報と、物体およびカメラの相対位置情報とが取得される。これらの情報は、物体情報取得部において、画像データに対して物体の検出識別処理が施されることで得られたものである。例えば、この画像データはカメラ(撮像部)により撮像されて得られたもの、あるいは記録部から読み出されたものである。情報提示制御部により、物体識別情報および相対位置情報に基づいて情報提示が制御される。例えば、提示情報データベースから物体識別情報および相対位置情報に関連付けされた、画像、音声、テキストなどのコンテンツ情報が取得されて、提示される。
【0008】
なお、本技術において、例えば、情報提示制御部は、相対位置情報に対してジェスチャの検出識別処理が施されて得られたジェスチャ識別情報を取得し、物体識別情報およびジェスチャ識別情報に基づいて情報提示を制御する、ようにされてもよい。例えば、情報提示制御部は、物体識別情報およびジェスチャ識別情報に関連付けされた情報を提示する。この場合、情報提示制御部は、例えば、提示情報データベースから物体識別情報およびジェスチャ識別情報に関連付けされた情報を取得して提示する。この場合、ユーザが対象物にかざすカメラに所定の動きを与えることで、ユーザは必要とする情報の提示を受けることができる。
【0009】
また、例えば、ジェスチャ識別情報には、確からしさを示す確信度情報が付加されており、情報提示制御部は、この確信度情報が示す確信度が所定値以下のとき、物体識別情報に関連付けされた情報を提示する、ようにされてもよい。すなわち、この場合には、情報提示制御部は、例えば、提示情報データベースから物体識別情報のみに関連付けされた情報を取得して提示する。この場合には、ジェスチャ識別情報の紐付け条件が解除されることからより多くの情報の提示がなされ、ユーザが必要とする情報を選択可能とされる。
【0010】
また、本技術において、例えば、情報提示制御部は、所定数の種類の提示情報を取得し、相対位置情報が示す第1の操作により、所定数の種類から1つの種類を選択し、相対位置情報が示す第2の操作により、この選択された1つの種類の提示情報のうち少なくとも1つを選択する、ようにされてもよい。例えば、第1の操作は、物体およびカメラの相対位置を一定範囲に入れ込む操作であってもよく、また、第2の操作は、物体およびカメラの相対位置を特定の図形を描くように変化させる操作であってもよい。この場合、所定数の種類の提示情報から、ユーザは、所望する任意の情報を選択して、閲覧、変更、削除などを行うことが可能となる。
【0011】
このように本技術においては、物体識別情報および相対位置情報に基づいて情報提示が制御されるものである。そのため、物体に関連付けられている情報を引き出して提示できる。また、タッチポイントやボタン操作等を必ずしも利用せずとも、ユーザが必要とする情報の提示が可能となる。例えば、ユーザは、対象物をカメラ(撮像部)で撮像しているときに、カメラを動かすだけ、あるいは対象物を動かすだけで、操作を行うことが可能となる。その結果、単一の対象物(物体)に対して、複数の情報提示を受けることが可能となる。
【0012】
また、本技術の他の概念は、
画像データに対して物体の検出識別処理を施して得られた物体識別情報と、物体およびカメラの相対位置情報とを取得する物体情報取得部と、
登録対象のコンテンツ情報を上記物体識別情報および上記相対位置情報に関連付けてデータベースに登録するコンテンツ情報登録部とを備える
情報登録装置にある。
【0013】
本技術において、物体情報取得部により、物体識別情報と、物体およびカメラの相対位置情報とが取得される。これらの情報は、物体情報取得部において、画像データに対して物体の検出識別処理が施されることで得られたものである。例えば、この画像データはカメラ(撮像部)により撮像されて得られたもの、あるいは記録部から読み出されたものである。
【0014】
そして、コンテンツ情報登録部により、登録対象のコンテンツ情報は物体識別情報および相対位置情報に関連付けられてデータベースに登録される。例えば、コンテンツ情報登録部は、相対位置情報に対してジェスチャの検出識別処理が施されて得られたジェスチャ識別情報を取得し、登録対象のコンテンツ情報に物体識別情報およびジェスチャ識別情報を関連付けてデータベースに登録する、ようにされる。
【0015】
このように本技術においては、登録対象のコンテンツ情報は、物体識別情報の他に、物体およびカメラの相対位置情報に関連付けされて、データベースに登録される。したがって、物体に、複数の情報を登録することが可能となる。
【発明の効果】
【0016】
本技術によれば、物体に紐付けあるいは関連付けされた複数の情報の選択的な引き出しを容易に行うことができる。
【図面の簡単な説明】
【0017】
【図1】本技術の第1の実施の形態としての情報提示システムの構成例を示すブロック図である。
【図2】システムを、クライアント装置のみで、あるいはクライアント装置とサーバ装置とがネットワーク接続されたネットワークシステムで構成できることを説明するための図である。
【図3】情報提示システムにおける情報提示の処理手順の一例を示すフローチャートである。
【図4】位置をベースにしたジェスチャ認識を説明するための図である。
【図5】具体的実現例としての情報閲覧システムの例を説明するための図である。
【図6】具体的実現例としての情報閲覧システムの例を説明するための図である。
【図7】具体的実現例としての品物情報提示システムの例を説明するための図である。
【図8】情報登録システムの構成例を示すブロック図である。
【図9】情報登録システムにおける情報登録の処理手順の一例を示すフローチャートである。
【図10】本技術の第2の実施の形態としての情報登録システムの構成例を示すブロック図である。
【図11】情報登録システムにおける情報登録の処理手順の一例を示すフローチャートである。
【図12】本技術の第3の実施の形態としての情報提示システムの構成例を示すブロック図である。
【図13】情報提示システムにおける情報提示の処理手順の一例を示すフローチャートである。
【図14】具体的実現例としての往訪時の情報閲覧の例を説明するための図である。
【図15】具体的実現例としての往訪時の情報閲覧の例を説明するための図である。
【図16】情報提示システムの他の構成例を示すブロック図である。
【図17】物体識別情報の他に、物体に対する位置(x,y,z)、回転(roll, pitch, yaw)の情報を利用する例を説明するための図である。
【図18】物体識別情報の他に、物体に対する位置(x,y,z)、回転(roll, pitch, yaw)の情報を利用する例を説明するための図である。
【発明を実施するための形態】
【0018】
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.第1の実施の形態
2.第2の実施の形態
3.第3の実施の形態
4.変形例
【0019】
<1.第1の実施の形態>
[情報提示システム]
図1は、第1の実施の形態としての情報提示システム300の構成例を示している。この情報提示システム300は、物体認識部301と、物体識別データベース302と、ジェスチャ認識部303と、ジェスチャ識別データベース304と、情報提示部305と、提示情報データベース306を有している。
【0020】
物体認識部301は、物体識別データベース302に蓄積されている物体識別データに基づいて、画像データに対して物体の検出識別処理を施して、物体情報を得る。この場合の画像データは、撮像部(カメラ)で撮像して得られた画像データ、あるいは記憶部としての半導体メモリ、ハードディスクドライブなどに蓄積されている画像データである。この場合、同じ物体が異なった物体として認識されないように、物体識別データベース302は、システム内で統一共有される。また、ここでいう物体には、人物や動物も含まれる。
【0021】
物体認識部301で取得される物体状態には、例えば、物体識別情報(物体ID)と共に、物体に対するカメラ(撮像部)の位置情報が含まれる。このカメラ位置情報は、例えば物体位置を基準とするものであり、物体とカメラとの相対位置情報を構成する。物体認識部301は、例えば、画像に含まれる物体の特徴点の位置に基づいて物体を認識する。
【0022】
また、物体認識部301は、この物体の特徴点の位置に基づいて、例えば物体を基準とするカメラ(撮像部)位置を算出する。つまり、物体(対象物)が画像内でどのように写っているかと、予め登録された物体識別データベース302内の認識辞書に記載されている物体の現実のサイズからカメラ位置を算出する。このような物体認識部301の処理については、詳細説明は省略するが、例えば、本出願人の出願に係る「特開2008−304268号公報」に詳述されている。
【0023】
ジェスチャ認識部303は、ジェスチャ識別データベース304に蓄積されているジェスチャ識別データに基づいて、物体認識部301から出力されるカメラ位置情報に対して、ジェスチャの検出識別処理を施して、ジェスチャ識別情報(ジェスチャID)を得る。このジェスチャ識別情報には、確からしさを示す確信度情報が付加されている。つまり、ジェスチャ認識部303は、カメラ位置情報を利用して、その位置、または軌跡を、ジェスチャ識別データと比較して、最も近しいジェスチャ識別情報と、そのジェスチャ識別の確信度情報を、計算して出力する。
【0024】
情報提示部305は、物体識別情報、ジェスチャ識別情報、さらには確信度情報を用いて、物体識別情報およびジェスチャ識別情報に関連付けされた画像、音声、テキストなどのコンテンツ情報を取得し、提示する。この際、情報提示部305は、ジェスチャ識別の確信度が所定値以下の場合、物体識別情報に関連付けされた情報を複数提示し、ジェスチャの入力を待つ。ここでのジェスチャ認識は、タッチポイントやボタン操作に置き換えが可能であり、また、部分的あるいは全体的にハイブリッドにしてもよい。
【0025】
図1に示す情報提示システム300は、例えば、図2(a)に示すようにクライアント装置500Aのみ、あるいは、図2(b)に示すようにクライアント装置500Aとサーバ装置500Bとがネットワーク500Cを介して接続されたネットワークシステムで構成できる。図2(b)に示すネットワークシステムの場合、情報提示システム300を構成する各部が、適宜、クライアント装置500Aとサーバ装置500Bとに分割配置される。例えば、物体認識部301、物体識別データベース302、ジェスチャ認識部303、ジェスチャ識別データベース304、提示情報データベース306などはサーバ装置500Bに配置可能である。
【0026】
図1に示す情報提示システム300における情報提示の処理手順の一例を、図3のフローチャートを参照して説明する。情報提示システム300は、ステップST31において、例えばパワーオン時に処理を開始する。その後、情報提示システム300は、ステップST32の処理に移る。
【0027】
このステップST32において、物体認識部301は、入力画像データに対して物体の検出識別処理を施して物体識別情報を得る。この際、ユーザは、例えばクライアント装置500Aに付属の撮像部(カメラ)で所定の物体を撮像して入力画像データを取得する。あるいは、この際、ユーザは、例えばクライアント装置500Aの記憶部に蓄積されている画像データを選択することで入力画像データを得る。
【0028】
次に、ステップST33において、情報提示システム300は、物体が識別されたか否かを判断する。物体が識別されたとき、ステップST34において、ジェスチャ認識部303において、ジェスチャ識別がされたか否かを判断する。ここで、情報提示システム300は、ジェスチャ識別の確信度が所定値より大きいときは、ジェスチャ識別がされたと判断する。
【0029】
ジェスチャ識別がされたとき、情報提示部305は、ステップST35において、物体識別情報およびジェスチャ識別情報に関連付けされた画像、音声、テキストなどのコンテンツ情報を提示情報データベース306から取得し、提示する。一方、ジェスチャ識別がされないとき、情報提示部305は、ステップST36において、物体識別情報に関連付けされた画像、音声、テキストなどのコンテンツ情報を複数提示し、ジェスチャの入力を待つ。
【0030】
ここで、ジェスチャ認識方法の一例を説明する。位置をベースにしたジェスチャ認識について説明する。この場合、図4に示すように、物体認識部301で得られるカメラ位置情報が示すカメラ位置の座標(X0,Y0,Z0)を閾値処理する。すなわち、カメラ位置が任意の規定空間内に存在するかどうかを演算する。このとき、特に座標系は問わない。図中では、規定空間の一例を破線で示している。各規定空間は互いに接していてもよい。
【0031】
また、動画像データを入力に用いた場合は、カメラ位置が時系列で得られる。そのため、この場合は、メディアンフィルタ等で適切にフィルタリングすることで、ユーザが操作する際の安定性を確保することが重要である。また、認識物体がフレームにない、すなわち物体認識が行われない場合も状態の一つとして検出し、出力する。
【0032】
この他にも、軌跡の時系列処理をベースにした認識(HMMやDPマッチング)や、パーティクルフィルタ等を使った軌跡の追跡時を応用する方法等、様々な方法がある。しかし、物体(対象物)とカメラの相対位置関係だけでジェスチャ認識ができる方法であれば、方法は問わない。
【0033】
[具体的な実現例]
次に、具体的な実現例を説明する。ここでは、実現例1としての情報閲覧システムの例および実現例2としての品質情報提示システムの例を説明する。
【0034】
「実現例1:情報閲覧システム」
拡張現実感のもと、例えば壁に掛っているカレンダーやポスター、道路上の看板や、新聞広告のチラシや、ゴルフ練習場の会員券などにカメラをかざして情報を取得する場合に、複数の情報が提示され、それらの選択、拡大、キャンセルなどの操作を行いたいニーズがある。そこで、上述の図1に示す情報提示システム300を利用して、これらの操作を実現する。
【0035】
ここでは、カメラ(撮像部)が搭載されている携帯電話等の情報端末を想定する。例えば、ユーザは、図5(a)に示すように、カメラで対象物を写すことで、選択可能な複数の情報種類の提示を受けることができる。そして、図5(b)に示すように、カメラを並進移動させることで、選択フォーカス位置を変えることができる。この際、カメラ位置の動きに従って、ユーザ操作の便宜のために、例えば、選択フォーカス位置を示すガイド表示がなされ、選択フォーカス位置を示すように移動する。
【0036】
そして、図5(c)に示すように、ある情報種類が選択されている状態で、カメラを対象物に近づけることで、その情報種類を選択でき、その情報種類の最初の情報が提示される状態となる。この状態で、さらに、図5(d)に示すように、カメラを対象物の上で輪を描くように回すことで、次の情報を提示させることができる。なお、このような状態において、情報の登録、あるいは登録されている情報の編集なども行うことができる。
【0037】
また、図6(a)に示すようにある情報種類が選択されている状態から、図6(b)に示すように、カメラを対象物から遠ざけることで、その情報種類の選択状態を解除できる。そして、この状態で、図6(c)に示すように、カメラを対象物の上で三角形を描くように動かすことで、各情報種類に登録されている情報を削除できる。
【0038】
「実現例2:品物情報提示システム」
上述の実現例1とは逆に、カメラを固定し、対象物を動かす形式の例である。拡張現実感のもと、カメラに対象物をかざすことで情報を得ることができる。例えば、図7に示すように、透明な棚を背面からカメラで写しておき、ユーザが棚のどこに商品を置いたかで、提示する情報を変えるなどである。認証チップ等を使わずに、カメラとモニタだけで実現できるため、非常に手軽である。
【0039】
図8は、上述の図1に示す情報提示システム300の提示情報データベース306に画像、音声、テキスト等のコンテンツ情報を登録するための情報登録システム400の構成例を示している。この情報登録システム400は、物体認識部401と、物体識別データベース402と、ジェスチャ認識部403と、ジェスチャ識別データベース404と、情報登録部405を有している。また、この情報登録システム400は、情報入力部406と、提示部407と、操作入力部408と、提示情報データベース306を有している。
【0040】
物体認識部401は、図1に示す情報提示システム300の物体認識部301と同様に構成され、物体識別データベース402に蓄積されている物体識別データに基づいて、画像データに対して物体の検出識別処理を施して、物体情報を得る。この場合の画像データは、撮像部(カメラ)で撮像して得られた画像データ、あるいは記憶部としての半導体メモリ、ハードディスクドライブに蓄積されている画像データである。この場合、同じ物体が異なった物体として認識されないように、物体識別データベース402は、システム内で統一共有される。また、ここでいう物体には、人物や動物も含まれる。
【0041】
物体認識部401で取得される物体状態には、例えば、物体識別情報(物体ID)と共に、物体に対するカメラ(撮像部)の位置情報が含まれる。このカメラ位置情報は、例えば物体位置を基準とするものであり、物体とカメラとの相対位置情報を構成する。物体認識部401は、例えば、画像に含まれる物体の特徴点の位置に基づいて物体を認識する。
【0042】
また、物体認識部401は、この物体の特徴点の位置に基づいて、例えば物体を基準とするカメラ(撮像部)位置を算出する。つまり、物体(対象物)が画像内でどのように写っているかと、予め登録された物体識別ベース402内の認識辞書に記載されている物体の現実のサイズからカメラ位置を算出する。このような物体認識部401の処理については、詳細説明は省略するが、例えば、本出願人の出願に係る「特開2008−304268号公報」に詳述されている。
【0043】
ジェスチャ認識部403は、図1に示す情報提示システム300のジェスチャ認識部303と同様に構成される。このジェスチャ認識部403は、ジェスチャ識別データベース404に蓄積されているジェスチャ識別データに基づいて、物体認識部401から出力されるカメラ位置情報に対して、ジェスチャの検出識別処理を施して、ジェスチャ識別情報(ジェスチャID)を得る。
【0044】
情報登録部405は、情報入力部406から入力されるコンテンツ情報を、上述の物体識別情報(物体ID)およびジェスチャ識別情報(ジェスチャID)に関連付けて、提示情報データベース306に登録する。このコンテンツ情報は、例えば、画像、音声、テキストなどの各種のコンテンツ情報である。情報登録部405は、例えば、提示部407に表示されるGUI(Graphical User Interface)を利用したユーザの操作入力部408による操作に応じて、ユーザが選択した種類のコンテンツ情報の登録を行う。
【0045】
図8に示す情報登録システム400も、例えば、図2(a)に示すようにクライアント装置500Aのみ、あるいは、図2(b)に示すようにクライアント装置500Aとサーバ装置500Bとがネットワーク500Cを介して接続されたネットワークシステムで構成できる。図2(b)に示すネットワークシステムの場合、情報登録システム400を構成する各部が、適宜、クライアント装置500Aとサーバ装置500Bとに分割配置される。例えば、物体認識部401、物体識別データベース402、ジェスチャ認識部403、ジェスチャ識別データベース404、提示情報データベース306などはサーバ装置500Bに配置可能である。
【0046】
図8に示す情報登録システム400における情報登録の処理手順の一例を、図9のフローチャートを参照して説明する。情報登録システム400は、ステップST41において、処理を開始する。その後、情報登録システム400は、ステップST42の処理に移る。このステップST42において、物体認識部401は、入力画像データに対して物体の検出識別処理を施して物体識別情報を得る。この際、ユーザは、例えばクライアント装置500Aに付属の撮像部(カメラ)で所定の物体を撮像して入力画像データを取得する。あるいは、この際、ユーザは、例えばクライアント装置500Aの記憶部に蓄積されている画像データを選択することで入力画像データを得る。
【0047】
次に、情報登録システム400は、ステップST44において、情報登録入力がされたか否かを判断する。情報登録システム400は、ジェスチャ認識部403でジェスチャ識別がされたとき、あるいは操作入力部408の登録ボタンが押されたとき、情報登録入力がされたと判断する。情報登録入力がされたとき、情報登録システム400は、ステップST45の処理に移る。
【0048】
このステップST45において、情報登録システム400は、提示部407に、物体識別情報(物体ID)とジェスチャ識別情報(ジェスチャID)に基づいた情報登録GUIを提示する。すなわち、提示部407に、物体識別情報およびジェスチャ識別情報と、入力可能なコンテンツ情報の種類が提示される。例えば、画像、音声、テキストのいずれもが入力可能な情報であるときは、提示部407には、その旨が表示される。
【0049】
次に、情報登録システム400は、ステップST46において、提示された種類のコンテンツ情報が入力されたか否かを判断する。ユーザは、情報入力部406から所望のコンテンツ情報を入力できる。コンテンツ情報が入力されたとき、ステップST47において、情報登録部405は、提示情報データベース306に、入力内容を、物体識別情報およびジェスチャ識別情報に関連づけて登録する。
【0050】
上述したように、図1に示す情報提示システム300においては、物体識別情報および相対位置情報(ジェスチャ識別情報)に基づいて情報提示が制御される。そのため、提示情報データベース306から物体およびジェスチャに関連付けられている情報を引き出して提示できる。また、タッチポイントやボタン操作等を必ずしも利用せずとも、ユーザが必要とする情報の提示が可能となる。例えば、ユーザは、対象物をカメラ(撮像部)で撮像しているときに、カメラを動かすだけ、あるいは対象物を動かすだけで、操作を行うことが可能となる。その結果、単一の対象物(物体)に対して、複数の情報提示を受けることが可能となる。
【0051】
<2.第2の実施の形態>
[情報登録システム]
図10は、第2の実施の形態としての情報登録システム100の構成例を示している。この情報登録システム100は、物体認識部101と、物体識別データベース102と、ユーザ認識部103と、ユーザ識別データベース104と、登録環境検出部105を有している。また、この情報登録システム100は、情報登録部106と、情報入力部107と、提示部108と、操作入力部109と、登録情報データベース110を有している。
【0052】
物体認識部101は、物体識別データベース102に蓄積されている物体識別データに基づいて、画像データに対して物体の検出識別処理を施して、物体情報を得る。この場合の画像データは、記憶部としての半導体メモリ、ハードディスクドライブなどに蓄積されている画像データであってもよく、あるいは撮像部(カメラ)で撮像して得られた画像データであってもよい。この場合、同じ物体が異なった物体として認識されないように、物体識別データベース102は、システム内で統一共有される。また、ここでいう物体には、人物や動物も含まれる。
【0053】
物体認識部101で取得される物体状態には、例えば、物体識別情報(物体ID)と共に、物体に関するメタ情報としての物体の位置および姿勢の情報が含まれる。これらは、SLAM(Simultaneously Localization and Mapping)技術や画像追跡技術、ジャイロセンサの値などを使うことで、情報の補正や、物体を検出した後で、未検出状態になった場合などの情報の予測を行うことができる。物体認識部101は、例えば、画像に含まれる物体の特徴点の位置に基づいて物体を認識する。また、物体認識部101は、この物体の特徴点の位置に基づいて、物体の世界座標系における位置および姿勢を算出する。この位置情報は、物体と撮像部(カメラ)との相対位置情報を構成する。このような物体認識部101の処理については、詳細説明は省略するが、例えば、本出願人の出願に係る「特開2008−304268号公報」に詳述されている。
【0054】
ユーザ認識部103は、ユーザ識別データベース104に蓄積されているユーザ識別データに基づいて、ユーザの検出識別処理を行って、ユーザ識別情報を得る。この場合のユーザの検出識別処理は、顔認識などの画像認識、あるいは指紋認識を用いてもよく、あるいは、ユーザによるユーザID、パスワードの手入力に基づいて行われてもよい。つまり、この場合のユーザの検出識別処理は、従来周知の一般的なユーザ認証の処理でよい。この場合、同じユーザ(人物)が異なったユーザとして認識されないように、ユーザ識別データベース104は、システム内で統一共有される。
【0055】
登録環境検出部105は、図示しない情報登録端末やインターネット等から登録時の環境情報を検出する。この環境情報には、例えば、位置情報取得部で得られる情報(緯度経度、高度、速度、移動方向など)、時計部で得られる時刻情報、インターネットから得られる天気情報等が含まれる。この場合、同じ環境が異なった環境として認識されないように、時刻合わせや緯度経度の算出方法は、システム内で統一共有される。なお、この登録環境情報には、閲覧可能なユーザ情報などを含めることもできる。
【0056】
位置情報取得部では、GPS(Global Positioning System)により、または、WiFi(Wireless Fidelity)での測位あるいは携帯基地局を用いた測位により、情報(緯度経度、高度、速度、移動方向など)が得られる。
【0057】
なお、環境情報には、上述の情報の他に、以下の情報の一部あるいは全部が含まれていてもよい。例えば、(1)気温、気圧、湿度、(2)方位,加速度、(3)近接、(4)照度、(5)騒音、(6)照度、(7)騒音、(8)日付、(9)姿勢(6軸)、(10)テキスト、などである。また、例えば、(11)ユーザのバイタルデータ(顔色、体温、BMI、血圧、心拍、体脂肪量、基礎代謝、指紋、声紋など)、(12)ユーザの動作(通勤中、ゴルフ中、夕食中、掃除をしているなどで、センサにより自動で取得しても良いし、ユーザが手入力をしてもよい)、(13)音声(センサにより自動で取得しても良いし、ユーザが録音をしてもよい)、(14)情報の閲覧履歴、などである。
【0058】
情報登録部106は、情報入力部107から入力されるコンテンツ情報を、上述の物体情報、ユーザ識別情報および登録環境情報に関連付けて(紐付けて)、登録情報データベース110に登録する。このコンテンツ情報は、例えば、画像、音声、テキストなどの各種のコンテンツ情報である。情報登録部106は、例えば、提示部108に表示されるGUI(Graphical User Interface)を利用したユーザの操作入力部109による操作に応じて、ユーザが選択した種類のコンテンツ情報の登録を行う。
【0059】
なお、この場合、ユーザは、登録対象のコンテンツ情報に紐付けられる環境情報の種類を選択可能とされてもよい。例えば、登録環境検出部105で位置情報、時刻情報および天気情報が得られる場合、位置情報および時刻情報のみを、登録対象のコンテンツ情報に紐付けられる環境情報として選択する等である。
【0060】
図10に示す情報登録システム100も、例えば、図2(a)に示すようにクライアント装置500Aのみ、あるいは、図2(b)に示すようにクライアント装置500Aとサーバ装置500Bとがネットワーク500Cを介して接続されたネットワークシステムで構成できる。図2(b)に示すネットワークシステムの場合、情報登録システム100を構成する各部が、適宜、クライアント装置500Aとサーバ装置500Bとに分割配置される。例えば、物体認識部101、物体識別データベース102、ユーザ認識部103、ユーザ識別データベース104、登録環境検出部105の一部、登録情報データベース110などはサーバ装置500Bに配置可能である。
【0061】
図10に示す情報登録システム100における情報登録の処理手順の一例を、図11のフローチャートを参照して説明する。情報登録システム100は、ステップST1において、処理を開始する。その後、情報登録システム100は、ステップST2の処理に移る。このステップST2において、ユーザ認識部103は、入力されるユーザ情報(顔画像、指紋画像、ユーザのアカウント、パスワードの手入力情報など)に基づいて、ユーザの検出識別処理を行ってユーザ識別情報を得る。
【0062】
次に、ステップST3において、物体認識部101は、入力画像データに対して物体の検出識別処理を施して物体情報を得る。この際、ユーザは、例えばクライアント装置500Aに付属の撮像部(カメラ)で所定の物体を撮像して入力画像データを取得する。あるいは、この際、ユーザは、例えばクライアント装置500Aの記憶部に蓄積されている画像データを選択することで入力画像データを得る。
【0063】
次に、ステップST4において、提示部108は、ステップST3で識別された情報登録可能な対象物(物体)を提示する。そして、情報登録システム100は、ステップST5において、ステップST4で提示された対象物に対するユーザの選択操作があるか否かを判断する。ユーザは、操作入力部109を操作することで、この選択操作を行うことができる。
【0064】
ユーザの選択操作があるとき、情報登録システム100は、ステップST6の処理に移る。このステップST6において、提示部108は、入力可能なコンテンツ情報の種類を提示する。例えば、画像、音声、テキストのいずれもが入力可能な情報であるときは、提示部108は、その旨を表示する。そして、情報登録システム100は、ステップST7において、提示された種類のコンテンツ情報が入力されたか否かを判断する。ユーザは、情報入力部107から所望のコンテンツ情報を入力できる。
【0065】
コンテンツ情報が入力されたとき、ステップST8において、提示部108は、登録環境検出部105で検出された登録環境を提示する。そして、情報登録システム100は、ステップST9において、提示された環境に対するユーザの選択操作があるか否かを判断する。ユーザは、操作入力部109を操作することで、この選択操作を行うことができる。
【0066】
ユーザの選択操作があるとき、情報登録システム100は、ステップST10の処理に移る。このステップST10において、情報登録部106は、ステップST5で選択された対象物(物体)に、ステップST7で入力されたコンテンツ情報を登録する。すなわち、情報登録部106は、コンテンツ情報を対象物(物体)に関連づけて登録情報データベース110に登録する。この際、コンテンツ情報を、さらに、ユーザ識別情報およびステップST9で選択された登録環境の情報にも関連付けて登録する。情報登録システム100は、ステップST10の処理の後、ステップST11において、処理を終了する。
【0067】
上述したように、図10に示す情報登録システム100においては、登録対象のコンテンツ情報が物体情報に関連付けされて登録情報データベース110に登録される。そのため、ユーザは、コンテンツ情報を登録するに当たって、適切な検索キーワードを考える必要がなく、ユーザの使い勝手が向上する。つまり、ユーザは所定の物体を撮像する操作をするか、あるいは記憶部に記憶されている所定の物体を撮影した画像データを選択する操作をするだけでよくなる。
【0068】
また、図10に示す情報登録システム100においては、登録対象のコンテンツ情報は、物体情報と共に、さらにユーザ識別情報に関連付けされて登録情報データベース110に登録される。そのため、登録情報データベース110から、物体情報だけでなくさらにユーザ識別情報に関連付けされた所望のコンテンツ情報を取り出すことが容易となる。すなわち、ユーザに応じたコンテンツ情報の取り出しが可能となる。
【0069】
また、図10に示す情報登録システム100においては、登録対象のコンテンツ情報は、物体情報と共に、さらに登録環境情報に関連付けされて登録情報データベース110に登録される。そのため、コンテンツ情報を提示する際に、登録環境情報を利用して、閲覧環境にあったコンテンツ情報を優先的に提示することなどが可能となる。
【0070】
<3.第3の実施の形態>
[情報提示システム]
図12は、第3の実施の形態としての情報提示システム200の構成例を示している。この情報提示システム200は、物体認識部201と、物体識別データベース202と、ユーザ認識部203と、ユーザ識別データベース204と、閲覧環境検出部205を有している。また、この情報提示システム200は、ユーザ状態検出部206と、情報提示部207と、登録情報データベース208と、インターネット209と、操作入力部210を有している。
【0071】
物体認識部201は、物体識別データベース202に蓄積されている物体識別データに基づいて、画像データに対して物体の検出識別処理を施して、物体情報を得る。この場合の画像データは、記憶部としての半導体メモリ、ハードディスクドライブなどに蓄積されている画像データであってもよく、あるいは撮像部(カメラ)で撮像して得られた画像データであってもよい。この場合、同じ物体が異なった物体として認識されないように、物体識別データベース202は、システム内で統一共有される。また、ここでいう物体には、人物や動物も含まれる。
【0072】
物体認識部201で取得される物体状態には、例えば、物体識別情報(物体ID)と共に、物体に関するメタ情報としての物体の位置および姿勢の情報が含まれる。これらは、SLAM(Simultaneously Localization and Mapping)技術や画像追跡技術、ジャイロセンサの値などを使うことで、情報の補正や、物体を検出した後で、未検出状態になった場合などの情報の予測を行うことができる。物体認識部201は、例えば、画像に含まれる物体の特徴点の位置に基づいて物体を認識する。また、物体認識部201は、この物体の特徴点の位置に基づいて、物体の世界座標系における位置および姿勢を算出する。この位置情報は、物体と撮像部(カメラ)との相対位置情報を構成する。このような物体認識部201の処理については、詳細説明は省略するが、例えば、本出願人の出願に係る「特開2008−304268号公報」に詳述されている。
【0073】
ユーザ認識部203は、ユーザ識別データベース204に蓄積されているユーザ識別データに基づいて、ユーザの検出識別処理を行って、ユーザ識別情報を得る。この場合のユーザの検出識別処理は、顔認識などの画像認識、あるいは指紋認識を用いてもよく、あるいは、ユーザによるユーザID、パスワードの手入力に基づいて行われてもよい。つまり、この場合のユーザの検出識別処理は、従来周知の一般的なユーザ認証の処理でよい。この場合、同じユーザ(人物)が異なったユーザとして認識されないように、ユーザ識別データベース204は、システム内で統一共有される。
【0074】
閲覧環境検出部205は、図示しない情報登録端末やインターネット等から閲覧時の環境情報を検出する。この環境情報には、例えば、位置情報取得部で得られる情報(緯度経度、高度、速度、移動方向など)、時計部で得られる時刻情報、インターネットから得られる天気情報等が含まれる。この場合、同じ環境が異なった環境として認識されないように、時刻合わせや緯度経度の算出方法は、システム内で統一共有される。
【0075】
位置情報取得部では、GPS(Global Positioning System)により、または、WiFi(Wireless Fidelity)での測位あるいは携帯基地局を用いた測位により、情報(緯度経度、高度、速度、移動方向など)が得られる。
【0076】
なお、環境情報には、上述の情報の他に、以下の情報の一部あるいは全部が含まれていてもよい。例えば、(1)気温、気圧、湿度、(2)方位、加速度、(3)近接、(4)照度、(5)騒音、(6)照度、(7)騒音、(8)日付、(9)姿勢(6軸)、(10)テキスト、などである。また、例えば、(11)ユーザのバイタルデータ(顔色、体温、BMI、血圧、心拍、体脂肪量、基礎代謝、指紋、声紋など)、(12)ユーザの動作(通勤中、ゴルフ中、夕食中、掃除をしているなどで、センサにより自動で取得しても良いし、ユーザが手入力をしてもよい)、(13)音声(センサにより自動で取得しても良いし、ユーザが録音をしてもよい)、(14)情報の閲覧履歴、などである。
【0077】
ユーザ状態検出部206は、物体識別情報、ユーザ識別情報、閲覧環境情報などに基づいて、情報検索クエリ(query)を生成する。この情報検索クエリは、例えば、物体情報に含まれる物体識別情報およびユーザ識別情報に関連付けされたコンテンツ情報を、閲覧環境情報(時刻情報、位置情報など)に応じた順位で提示するためのものとされる。
【0078】
情報提示部207は、ユーザ状態検出部206で生成される情報検索クエリに基づいて、登録情報データベース208からコンテンツ情報を取得し、さらにはインターネット209から関連する情報を取得して、提示する。この場合、複数の情報が取得される場合には、情報の順位付けにしたがって、自動的に、あるいは、ユーザの操作入力部210からの切り替え操作により、提示する情報を切り替える。この場合、操作入力部210は、例えばタッチセンサや加速度センサを備える構成であってもよい。なお、インターネット209から関連する情報を取得する構成を持たないことも考えられる。
【0079】
図12に示す情報提示システム200も、例えば、図2(a)に示すようにクライアント装置500Aのみ、あるいは、図2(b)に示すようにクライアント装置500Aとサーバ装置500Bとがネットワーク500Cを介して接続されたネットワークシステムで構成できる。図2(b)に示すネットワークシステムの場合、情報提示システム200を構成する各部が、適宜、クライアント装置500Aとサーバ装置500Bとに分割配置される。例えば、物体認識部201、物体識別データベース202、ユーザ認識部203、ユーザ識別データベース204、閲覧環境検出部205の一部、登録情報データベース208などはサーバ装置500Bに配置可能である。
【0080】
図12に示す情報提示システム200における情報提示の処理手順の一例を、図13のフローチャートを参照して説明する。情報提示システム200は、ステップST21において、例えばパワーオン時に処理を開始する。その後、情報提示システム200は、ステップST22の処理に移る。このステップST22において、ユーザ認識部203は、入力されるユーザ情報(顔画像、指紋画像、ユーザのアカウント、パスワードの手入力情報など)に基づいて、ユーザの検出識別処理を行ってユーザ識別情報を得る。
【0081】
次に、ステップST23において、閲覧環境検出部205は、図示しない情報登録端末やインターネット等から閲覧時の環境情報、例えば、位置情報(緯度経度情報)、時刻情報などを検出する。情報提示システム200は、ステップST23の処理の後、ステップST24の処理に移る。
【0082】
このステップST24において、物体認識部201は、入力画像データに対して物体の検出識別処理を施して物体情報を得る。この際、ユーザは、例えばクライアント装置500Aに付属の撮像部(カメラ)で所定の物体を撮像して入力画像データを取得する。あるいは、この際、ユーザは、例えばクライアント装置500Aの記憶部に蓄積されている画像データを選択することで入力画像データを得る。
【0083】
次に、ステップST25において、情報提示システム200は、物体が識別されたか否かを判断する。物体が識別されたとき、ステップST26において、ユーザ状態検出部206は、物体識別情報、ユーザ識別情報、閲覧環境情報などに基づいて、情報検索クエリを生成する。この情報検索クエリは、例えば、物体情報に含まれる物体識別情報およびユーザ識別情報に関連付けされたコンテンツ情報を、閲覧環境情報(時刻情報、位置情報など)に応じた順位で提示するためのものとされる。
【0084】
次に、ステップST27において、情報提示部207は、ステップST26で生成された情報検索クエリに基づいて、登録情報データベース208やインターネット209から情報を取得して提示する。この場合、登録情報データベース208からは物体識別情報およびユーザ識別情報に関連付けされて登録されているコンテンツ情報が取得される。この際、例えば、ユーザ識別情報が一致しなくても、登録時の環境情報として含められている閲覧可能なユーザ情報で許容される範囲(例えば、親族、友達など)にある場合には、そのコンテンツ情報の取得も行われる。また、この場合、インターネット209から関連する情報が取得される。
【0085】
次に、情報提示システム200は、ステップST28において、切り替え入力があるか否かを判断する。この切り替え入力は、例えば、ユーザの操作入力部210からの切り替え操作によりなされるか、あるいは一定の時間経過があるとき自動的になされる。切り替え入力があるとき、情報提示部207は、ステップST27において、登録情報データベース208やインターネット209から次の提示順位の情報を取得して提示する。なお、提示される情報がひとつだけであるときは、その情報の提示が継続される。また、提示される情報が複数あって提示順位が最後の情報が提示されている状態で切り替え入力があった場合は、最初の提示順位の情報の提示に切り替わる。
【0086】
ステップST28で切り替え入力がないとき、情報提示システム200は、ステップST29において、ステップST25において行われた物体識別の状態が継続しているか否かを判断する。物体識別状態が継続しているとき、情報提示システム200は、ステップST28の処理に戻る。一方、物体識別状態が継続しなくなったとき、情報提示システム200は、ステップST24の処理に戻り、上述したと同様の処理を繰り返す。
【0087】
例えば、ユーザがある物体の撮像状態を中止する場合、さらに別の物体の撮像状態に移る場合などには、物体識別状態が途切れることとなり、ステップST24の処理に戻ることとなる。なお、物体識別状態が継続しなくなったとき、ユーザの操作に明示的な操作があるまで、ステップST24の処理に戻らないようにしてもよい。情報提示システム200は、例えば、パワーオフにより、処理を終了する。
【0088】
[具体的な実現例]
次に、具体的な実現例を説明する。ここでは、実現例1として往訪時の情報閲覧の例、実現例2として評判閲覧システムの例、さらに実現例3として掲示板システムの例を説明する。
【0089】
「実現例1:往訪時の情報閲覧」
目的地を往訪するにあたっては、手早く必要な情報を手に入れたいニーズがある。そこで、上述の図10に示す情報登録システム100および図12に示す情報提示システム200を利用して、往訪時に必ず携帯する物体(物品)に対して、「情報の貼り付け」と「情報の引き出し」が可能になるシステムを実現する。
【0090】
ここでは、インターネットにアクセス可能で、カメラ(撮像部)が搭載されている携帯電話等の情報端末を想定する。ユーザは、図14(a)に示すように、事前に、対象物に対して情報端末をかざし、物体を撮影したのち、図14(b)に示すように、往訪に関する情報登録を行う。その後、ユーザが、図15(a)示すように、対象物に情報端末をかざすと、図15(b)〜(d)に示すように、情報が提示される。
【0091】
この際、物体認識部201とユーザ認識部203での識別結果が用いられて、登録情報データベース208に対して情報検索が行われる。また、単に登録した情報だけが表示されるのではなく、往訪に必要な情報をインターネットから取得されて提示される。情報の提示は、タッチセンサや加速度センサによるユーザ操作入力、または時間経過で画面が切り替えられる。
【0092】
また、この際、ユーザ状態検出部206において行われる情報の順位付けに基づいて、提示順番が制御される。順位付けは、例えば、以下の(1)式により、情報毎に計算される優先度に基づいて行われる。
【0093】
【数1】

【0094】
この(1)式においては、情報提示時の閲覧環境から「予定時刻までの時間」と「目的地までの距離」がそれぞれ正規化されて優先度Vが計算されている。図15に示す表示例では、この優先度Vに基づいて、「Schedule」、「Movement Information」、「Weather Information」がこの順に表示されている。ここで、情報を貼り付ける物体(物品)としては、ゴルフ場に行く時のゴルフ会員券、病院に行く時の診察券、会社に行く時の社員証など、様々なケースが考えられ、それぞれ対応が可能である。
【0095】
「実現例2:評判閲覧システム」
お菓子やおもちゃ等の購入検討時等に対象物に対する評価を手軽に登録、閲覧したいニーズがある。そこで、上述の図10に示す情報登録システム100および図12に示す情報提示システム200を利用して、購入検討対象物に対して、「情報の貼り付け」と「情報の引き出し」が可能になるシステムを実現する。
【0096】
ここでは、インターネットにアクセス可能で、カメラ(撮像部)が搭載されている携帯電話等の情報端末を想定する。基本的に、上述の実現例1と同じシステムで実現されるが、異なる点は、ユーザ状態検出部206の振る舞いである。上述の実現例1では、ユーザの識別結果は単に情報検索時に用いられるだけである。ここでは、(2)式に示すように、優先度Vの計算に用いられる。
【0097】
【数2】

【0098】
計算方法の一つの例として、年齢、性別、年収、BMI(Body Mass Index)などの数値の差の重み付け和を正規化する方法がある。これによって、ユーザは、対象物に情報端末をかざすだけで、様々な人が登録した情報を重要度に応じて手軽に閲覧可能になる。ここでは、お菓子の購入に限らず、凡そ物品の選択が必要なケースの殆どにおいて、利用が可能である。また、この実現例2においては、物品の販売側等のキャンペーン情報等の登録も含まれる。ツイッター(Twitter)などでは、フォロワー等、人物同士の関係を軸にタイムライン表示等が可能であるが、ここでは物を軸にした情報提示を行う所がポイントである。
【0099】
「実現例3:掲示板システム」
大人数での待ち合わせ等のような状況で、特定の場所にメモをユーザが相互に残したいニーズがある。従来は駅の伝言黒板等があったが、不特定多数の人に伝言を見られる点や、設置場所が少ない、複数の人によって大量に書き込まれている場合にどれが自分に必要な情報か分かりにくい等の欠点があった。そこで、上述の図10に示す情報登録システム100および図12に示す情報提示システム200を利用して、この欠点を解消でき任意の場所に設置可能な掲示板システムを実現する。
【0100】
この掲示板システムは、通常のウエブ(web)ブラウザから利用が可能である。ユーザはログインした後、予めシステムに登録済みのマークが、そのマークのある場所と共に提示されるため、それを選択し、マークに対する相対位置・回転情報と共に登録したい情報を登録する。この際、その情報の閲覧制限も設定することができる。
【0101】
閲覧制限の一つの形として、そのマークの前で三角形を描くジェスチャをした場合のみ登録情報が見えるようにする等の設定も可能である。これにより、同じマークに対して、本人、または第三者が大量に付けている情報から、当該ジェスチャを用いて情報のフィルタリングが可能になる。
【0102】
これによって、例えば、自宅から情報登録が可能なので、ユーザは飲み会の待ち合わせ場所として、渋谷駅前の忠犬ハチ公像を選択し、「忠犬ハチ公」と書かれた銅板の少し右横の空間に、情報として会場の場所と地図を登録するような使い方ができる。
【0103】
この掲示板システムは、カメラ(撮像部)が搭載されている携帯電話等の情報端末から利用が可能である。すなわち、システムに予め登録されているマークを撮像することで、そのマークに登録されている情報を閲覧することができる。このとき、ユーザの状態に合わせて登録されている情報の中から、ユーザの現在の状況に合わせたものが優先的に提示される。また、提示される情報に対してマークの前で三角形や五芒星など、特定の形を描くジェスチャを行うことで情報の切り替え操作やフィルタリング等を行うことも可能である。
【0104】
これによって、例えば、先の予め自宅からハチ公前の銅板に情報を登録したケースに於いては、実際に現地に行って、当該銅板をカメラで撮像し、かつ三角形を描くジェスチャをすることで、情報を閲覧することが可能である。この場合、どのマークの前でどういったジェスチャをすれば良いかだけ知っていれば、情報が閲覧可能なので、集合するメンバーは事前にマークとジェスチャを教えておいてもらうことで、この情報にアクセスすることが可能になる。またマークとジェスチャを知らなければ、この情報にアクセスすることは難しいため、見せたい人にだけ情報を見せる機能が簡易的に実現できる。
【0105】
また、この掲示板システムでは、携帯端末から情報を登録することが可能である。すなわち、システムに予め登録されているマークを撮像した後、情報登録GUIを呼び出し、その操作によって情報を登録することができる。これによって、例えば、先の集合場所に情報を登録するケースにおいて、自分が既に到着したことや、会場に先行することなどをメモとして、「忠犬ハチ公」と書かれた銅板の右下等に登録することが可能である。
【0106】
なお、図16に示す情報提示システム200Aは、上述の実現例3に対応させてジェスチャ認識部211を備えたものである。この図16において、図12と対応する部分には、同一符号を付し、その詳細説明は省略する。
【0107】
ジェスチャ認識部211は、ジェスチャ識別データベース212に蓄積されているジェスチャ識別データに基づいて、物体認識部201から出力される物体の位置情報に対して、ジェスチャの検出識別処理を施して、ジェスチャ識別情報を得る。ここで、物体の位置情報は、物体とカメラ(撮像部)との相対位置情報を構成する。
【0108】
情報提示部207は、ユーザ状態検出部206からの情報検索クエリおよびジェスチャ識別情報に基づいて、登録情報データベース208やインターネット209から情報を取得して、提示する。詳細説明は省略するが、この情報提示システム200Aのその他は、図12に示す情報提示システム200と同様に構成される。
【0109】
なお、上述では、登録情報データベース208には、物体識別情報に関連づけされて画像、音声、テキストなどのコンテンツ情報が登録されているものとしている。そして、情報提示部207は、この登録情報データベース208から物体識別情報に関連付けされているコンテンツ情報を取得して表示するものとしている。
【0110】
しかし、例えば、登録情報データベース208に、物体識別情報の他に、物体に対する位置(x,y,z)、回転(roll, pitch, yaw)に関連付けて、コンテンツ情報を登録する場合もある。上述の図10に示す情報登録システム100では、このような情報登録も可能である。図17は、物体から離れた位置(x1,y1,z1)にメッセージ情報が登録されていることを示している。
【0111】
この場合、情報提示システム(例えば、携帯端末)200では、撮像位置を、図18(a)から図18(b)に示すように移動させることで、図18(c)から図18(d)に示すように、物体がカメラのフレーム内にある状態からフレームアウトした状態となる。このような状態とすることで、上述したように位置(x1,y1,z1)に関連付けされたメッセージ情報を登録情報データベース208から取得でき、図18(d)に示すように、隠されているメッセージ情報の表示が可能となる。
【0112】
上述したように、図12に示す情報提示システム200においては、登録情報データベース208から物体情報(物体識別情報)に関連付けされたコンテンツ情報が取得されて提示される。そのため、ユーザは、コンテンツ情報を閲覧するに当たって、複雑な操作を要求されることなく、ユーザの使い勝手が向上する。つまり、ユーザは所定の物体を撮像する操作をするか、あるいは記憶部に記憶されている所定の物体を撮影した画像データを選択する操作をするだけで、所望のコンテンツ情報の提示を受けて、その閲覧が可能となる。
【0113】
また、図12に示す情報提示システム200においては、登録情報データベース208から物体情報およびユーザ識別情報に関連付けされたコンテンツ情報を取得できる。つまり、物体情報だけでなくさらにユーザ識別情報に関連付けされた所望のコンテンツ情報の取得が可能となる。すなわち、ユーザに応じたコンテンツ情報の取り出しが可能となる。
【0114】
また、図12に示す情報提示システム200においては、閲覧環境情報(位置情報、時刻情報など)に基づいて、取得された所定数のコンテンツ情報の提示順位を決定できる。すなわち、コンテンツ情報を提示する際に、閲覧環境にあったコンテンツ情報を優先的に提示することなどが可能となる。
【0115】
<4.変形例>
なお、上述実施の形態においては、各データベースが別個に存在するように示しているが、一個のデータベース内に複数種類のデータベースが含まれる構成であってもよい。また、上述実施の形態においては、各装置がネットワークシステムで構成される場合、各部が、適宜、クライアント装置500Aとサーバ装置500Bとに分割配置されるように説明した。
【0116】
しかし、クライアント装置500Aが全ての機能部を備える他に、サーバ装置500Bにも適宜認識部やデータベースを配置する構成も考えられる。その場合、通信が良好に行われる場合にはサーバ装置500B側で認識処理を効率的に行わせることができ、通信が不良の場合であってもクライアント装置500A側のみで全ての処理が可能で、情報提示などに支障を来さなくなる。
【0117】
また、上述実施の形態においては、物体認識が光学式(カメラ等)であるように説明した。しかし、物体認識に関しては、必ずしも光学式(カメラ等)に限定されるものではない。例えば、無線機器(ブルートゥース等)や、測距機器(超音波、レーザー等)と識別機能のついたセンサの組み合わせ等、物体の識別と相対位置の取得が両立できる手段であれば置き換えが可能である。
【0118】
また、本技術は、以下のような構成を取ることもできる。
(1)画像データに対して物体の検出識別処理を施して得られた物体識別情報と、物体およびカメラの相対位置情報とを取得する物体情報取得部と、
上記物体識別情報および上記相対位置情報に基づいて情報提示を制御する情報提示制御部と
を備える情報提示装置。
(2)上記情報提示制御部は、
上記相対位置情報に対してジェスチャの検出識別処理が施されて得られたジェスチャ識別情報を取得し、
上記物体識別情報および上記ジェスチャ識別情報に基づいて情報提示を制御する
前記(1)に記載の情報提示装置。
(3)上記情報提示制御部は、
上記物体識別情報および上記ジェスチャ識別情報に関連付けされた情報を提示する
前記(2)に記載の情報提示装置。
(4)上記ジェスチャ識別情報には、確からしさを示す確信度情報が付加されており、
上記情報提示制御部は、
上記確信度情報が示す確信度が所定値以下のとき、上記物体識別情報に関連付けされた情報を提示する
前記(2)または(3)に記載の情報提示装置。
(5)上記情報提示制御部は、所定数の種類の提示情報を取得し、
上記相対位置情報が示す第1の操作により、上記所定数の種類から1つの種類を選択し、
上記相対位置情報が示す第2の操作により、上記選択された1つの種類の提示情報のうち少なくとも1つを選択する
前記(1)から(4)のいずれかに記載の情報提示装置。
(6)上記第1の操作は、
物体およびカメラの相対位置を一定範囲に入れ込む操作である
前記(5)に記載の情報提示装置。
(7)上記第2の操作は、
物体およびカメラの相対位置を特定の図形を描くように変化させる操作である
前記(5)または(6)に記載の情報提示装置。
(8)上記画像データを得る撮像部をさらに備える
前記(1)から(7)のいずれかに記載の情報提示装置。
(9)画像データに対して物体の検出識別処理を施して得られた物体識別情報と、物体およびカメラの相対位置情報とを取得する物体情報取得ステップと、
上記物体識別情報および上記相対位置情報に基づいて情報提示を制御する情報提示制御ステップと
を備える情報提示方法。
(10)コンピュータを、
画像データに対して物体の検出識別処理を施して得られた物体識別情報と、物体およびカメラの相対位置情報とを取得する物体情報取得手段と、
上記物体識別情報および上記相対位置情報に基づいて情報提示を制御する情報提示制御手段
として機能させるプログラム。
(11)画像データを取得する画像データ取得部と、
上記画像データに対して物体の検出識別処理を施して物体識別情報と、物体およびカメラの相対位置情報を得る物体認識部と、
上記物体識別情報および上記相対位置情報に基づいて情報提示を制御する情報提示制御部と
を備える情報提示システム。
(12)画像データに対して物体の検出識別処理を施して得られた物体識別情報と、物体およびカメラの相対位置情報とを取得する物体情報取得部と、
登録対象のコンテンツ情報を上記物体識別情報および上記相対位置情報に関連付けてデータベースに登録するコンテンツ情報登録部とを備える
情報登録装置。
(13)上記コンテンツ情報登録部は、
上記相対位置情報に対してジェスチャの検出識別処理が施されて得られたジェスチャ識別情報を取得し、
登録対象のコンテンツ情報を上記物体識別情報および上記ジェスチャ識別情報に関連付けてデータベースに登録する
前記(12)に記載の情報登録装置。
(14)画像データに対して物体の検出識別処理を施して得られた物体識別情報と、物体およびカメラの相対位置情報とを取得する物体情報取得ステップと、
登録対象のコンテンツ情報を上記物体識別情報および上記相対位置情報に関連付けてデータベースに登録するコンテンツ情報登録ステップとを備える
情報登録方法。
(15)コンピュータを、
画像データに対して物体の検出識別処理を施して得られた物体識別情報と、物体およびカメラの相対位置情報とを取得する物体情報取得手段と、
登録対象のコンテンツ情報を上記物体識別情報および上記相対位置情報に関連付けてデータベースに登録するコンテンツ情報登録手段
として機能させるプログラム。
(16)画像データを取得する画像データ取得部と、
上記画像データに対して物体の検出識別処理を施して物体識別情報と、物体およびカメラの相対位置情報を得る物体認識部と、
データベースと、
上記データベースに登録対象のコンテンツ情報を入力するコンテンツ情報入力部と、
上記コンテンツ情報を、上記物体識別情報および上記相対位置情報に関連付けて上記データベースに登録するコンテンツ情報登録部とを備える
情報登録システム。
【符号の説明】
【0119】
100・・・情報登録システム
101・・・物体認識部
102・・・物体識別データベース
103・・・ユーザ認識部
104・・・ユーザ識別データベース
105・・・登録環境検出部
106・・・情報登録部
107・・・情報入力部
108・・・提示部
109・・・操作入力部
110・・・登録情報データベース
200,200A・・・情報提示システム
201・・・物体認識部
202・・・物体識別データベース
203・・・ユーザ認識部
204・・・ユーザ識別データベース
205・・・閲覧環境検出部
206・・・ユーザ状態検出部
207・・・情報提示部
209・・・インターネット
210・・・操作入力部
211・・・ジェスチャ認識部
212・・・ジェスチャ識別データベース
300・・・情報提示システム
301・・・物体認識部
302・・・物体識別データベース
303・・・ジェスチャ認識部
304・・・ジェスチャ識別データベース
305・・・情報提示部
306・・・提示情報データベース
400・・・情報登録システム
401・・・物体認識部
402・・・物体識別データベース
403・・・ジェスチャ認識部
404・・・ジェスチャ識別データベース
405・・・情報登録部
406・・・情報入力部
407・・・提示部
408・・・操作入力部

【特許請求の範囲】
【請求項1】
画像データに対して物体の検出識別処理を施して得られた物体識別情報と、物体およびカメラの相対位置情報とを取得する物体情報取得部と、
上記物体識別情報および上記相対位置情報に基づいて情報提示を制御する情報提示制御部と
を備える情報提示装置。
【請求項2】
上記情報提示制御部は、
上記相対位置情報に対してジェスチャの検出識別処理が施されて得られたジェスチャ識別情報を取得し、
上記物体識別情報および上記ジェスチャ識別情報に基づいて情報提示を制御する
請求項1に記載の情報提示装置。
【請求項3】
上記情報提示制御部は、
上記物体識別情報および上記ジェスチャ識別情報に関連付けされた情報を提示する
請求項2に記載の情報提示装置。
【請求項4】
上記ジェスチャ識別情報には、確からしさを示す確信度情報が付加されており、
上記情報提示制御部は、
上記確信度情報が示す確信度が所定値以下のとき、上記物体識別情報に関連付けされた情報を提示する
請求項2に記載の情報提示装置。
【請求項5】
上記情報提示制御部は、所定数の種類の提示情報を取得し、
上記相対位置情報が示す第1の操作により、上記所定数の種類から1つの種類を選択し、
上記相対位置情報が示す第2の操作により、上記選択された1つの種類の提示情報のうち少なくとも1つを選択する
請求項1に記載の情報提示装置。
【請求項6】
上記第1の操作は、
物体およびカメラの相対位置を一定範囲に入れ込む操作である
請求項5に記載の情報提示装置。
【請求項7】
上記第2の操作は、
物体およびカメラの相対位置を特定の図形を描くように変化させる操作である
請求項5に記載の情報提示装置。
【請求項8】
上記画像データを得る撮像部をさらに備える
請求項1に記載の情報提示装置。
【請求項9】
画像データに対して物体の検出識別処理を施して得られた物体識別情報と、物体およびカメラの相対位置情報とを取得する物体情報取得ステップと、
上記物体識別情報および上記相対位置情報に基づいて情報提示を制御する情報提示制御ステップと
を備える情報提示方法。
【請求項10】
コンピュータを、
画像データに対して物体の検出識別処理を施して得られた物体識別情報と、物体およびカメラの相対位置情報とを取得する物体情報取得手段と、
上記物体識別情報および上記相対位置情報に基づいて情報提示を制御する情報提示制御手段
として機能させるプログラム。
【請求項11】
画像データを取得する画像データ取得部と、
上記画像データに対して物体の検出識別処理を施して物体識別情報と、物体およびカメラの相対位置情報を得る物体認識部と、
上記物体識別情報および上記相対位置情報に基づいて情報提示を制御する情報提示制御部と
を備える情報提示システム。
【請求項12】
画像データに対して物体の検出識別処理を施して得られた物体識別情報と、物体およびカメラの相対位置情報とを取得する物体情報取得部と、
登録対象のコンテンツ情報を上記物体識別情報および上記相対位置情報に関連付けてデータベースに登録するコンテンツ情報登録部とを備える
情報登録装置。
【請求項13】
上記コンテンツ情報登録部は、
上記相対位置情報に対してジェスチャの検出識別処理が施されて得られたジェスチャ識別情報を取得し、
登録対象のコンテンツ情報を上記物体識別情報および上記ジェスチャ識別情報に関連付けてデータベースに登録する
請求項12に記載の情報登録装置。
【請求項14】
画像データに対して物体の検出識別処理を施して得られた物体識別情報と、物体およびカメラの相対位置情報とを取得する物体情報取得ステップと、
登録対象のコンテンツ情報を上記物体識別情報および上記相対位置情報に関連付けてデータベースに登録するコンテンツ情報登録ステップとを備える
情報登録方法。
【請求項15】
コンピュータを、
画像データに対して物体の検出識別処理を施して得られた物体識別情報と、物体およびカメラの相対位置情報とを取得する物体情報取得手段と、
登録対象のコンテンツ情報を上記物体識別情報および上記相対位置情報に関連付けてデータベースに登録するコンテンツ情報登録手段
として機能させるプログラム。
【請求項16】
画像データを取得する画像データ取得部と、
上記画像データに対して物体の検出識別処理を施して物体識別情報と、物体およびカメラの相対位置情報を得る物体認識部と、
データベースと、
上記データベースに登録対象のコンテンツ情報を入力するコンテンツ情報入力部と、
上記コンテンツ情報を、上記物体識別情報および上記相対位置情報に関連付けて上記データベースに登録するコンテンツ情報登録部とを備える
情報登録システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図16】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図14】
image rotate

【図15】
image rotate

【図17】
image rotate

【図18】
image rotate


【公開番号】特開2013−105346(P2013−105346A)
【公開日】平成25年5月30日(2013.5.30)
【国際特許分類】
【出願番号】特願2011−249180(P2011−249180)
【出願日】平成23年11月14日(2011.11.14)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.QRコード
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】