物体データ間関連付けシステム、物体データ間関連付け方法、登録装置、及び読み出し装置
【課題】タグの貼付を行わずに任意の物体とデータとを関連付ける。
【解決手段】安定化判定部２２が、映像情報取得部２１が取得した映像情報の中に物体が存在すると判定した場合、特徴情報抽出部２３は、映像情報から物体の特徴を示す特徴情報を抽出する。次に、リンク情報登録部２８は、データ入力部２５が入力を受け付けたデータと特徴情報抽出部２３が抽出した特徴情報とを関連付けてデータ管理装置４のデータベース４２に登録する。
【解決手段】安定化判定部２２が、映像情報取得部２１が取得した映像情報の中に物体が存在すると判定した場合、特徴情報抽出部２３は、映像情報から物体の特徴を示す特徴情報を抽出する。次に、リンク情報登録部２８は、データ入力部２５が入力を受け付けたデータと特徴情報抽出部２３が抽出した特徴情報とを関連付けてデータ管理装置４のデータベース４２に登録する。
【発明の詳細な説明】
【技術分野】
【０００１】
任意の物体とデータとを関連付けてデータベースに登録し、また、物体に関連付けられたデータをデータベースから読み出す物体データ間関連付けシステム、物体データ間関連付け方法、登録装置、及び読み出し装置に関する。
【背景技術】
【０００２】
近年、通信技術の進化及びインターネットの普及により、インターネットを通じて個人が撮影したデジタル写真や動画などのデータを共有することが容易になっている。しかし、従来のデータ共有方法は、主にＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）を用いて操作を行う必要があったため、ＰＣの操作に不慣れな人は、これらのデータを取得することが困難であるという問題がある。これに対し、インターネット対応ＴＶ（Ｔｅｌｅｖｉｓｉｏｎ）等の非ＰＣ機器を用いてデータの共有を行うことも考えられる。しかし、従来の非ＰＣ機器は、リモコンによる操作が主となるため、複雑な操作には不向きであるという問題がある。
このような問題を解決するため、任意の物体とデータとを関連付け、当該物体を用いた操作により、関連付けられたデータを読み出すシステムが提案されている。これにより、コンピュータの操作に不慣れな人でも直感的にデータの取出しを行うことができる。
【０００３】
非特許文献１には、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）タグとデータとを関連付けてサーバ装置に格納しておき、当該タグを貼付した任意の物体をＲＦＩＤの読取装置に近接させることで、データを取得する技術が開示されている。
また、ＲＦＩＤタグに限らず、二次元バーコードや、その他の形式のタグを用いても同様の関連付けを行うことができる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Ｍｉｃｈａｅｌ Ｎｕｎｅｓ、Ｓａｕｌ Ｇｒｅｅｎｂｅｒｇ、Ｃａｒｍａｎ Ｎｅｕｓｔａｅｄｔｅｒ、“Ｓｈａｒｉｎｇ Ｄｉｇｉｔａｌ Ｐｈｏｔｏｇｒａｐｈｓ ｉｎ ｔｈｅ Ｈｏｍｅ ｔｈｒｏｕｇｈ Ｐｈｙｓｉｃａｌ Ｍｅｍｅｎｔｏｓ，Ｓｏｕｖｅｎｉｒｓ，ａｎｄ Ｋｅｅｐｓａｋｅｓ”、「Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ７ｔｈ ＡＣＭ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄｅｓｉｇｎｉｎｇ ｉｎｔｅｒａｃｔｉｖｅ ｓｙｓｔｅｍｓ」、ＡＣＭ、２００８年２月、２５０−２６０頁
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、非特許文献１に記載の手法では、タグを用いて任意の物体とデータとを関連付けるため、以下の問題点がある。
（１）タグの貼付にコスト及び手間がかかる。
（２）タグの貼付により物体のデザインを損なう。
（３）貼付したタグの破損や剥脱により物体とデータとの関連付けが失われる。
【０００６】
本発明は、上記の問題に鑑みてなされたものであり、タグの貼付を行わずに任意の物体とデータとを関連付ける物体データ間関連付けシステム、物体データ間関連付け方法、登録装置、及び読み出し装置を提供することを課題とする。
【課題を解決するための手段】
【０００７】
本発明は上記の課題を解決するためになされたものであり、任意の物体とデータとを関連付けてデータベースに登録し、前記物体に関連付けられたデータを前記データベースから読み出す物体データ間関連付けシステムであって、撮像装置から映像情報を取得する映像情報取得部と、前記映像情報取得部が取得した映像情報の中に物体が存在するか否かを判定する存在判定部と、前記存在判定部によって物体が存在すると判定された場合に、前記映像情報取得部が取得した映像情報から前記物体の特徴を示す特徴情報を抽出する特徴情報抽出部と、前記物体に関連付けるデータの入力を受け付けるデータ入力部と、前記データ入力部が入力を受け付けたデータと前記特徴情報抽出部が抽出した特徴情報とを関連付けて前記データベースに登録する登録部と、前記特徴情報抽出部が抽出した特徴情報との類似度が所定の閾値以上となる特徴情報を前記データベースから検索する特徴情報検索部と、前記特徴情報検索部による検索結果として得られた特徴情報に関連付けられたデータを前記データベースから取得するデータ取得部と、前記データ取得部が取得したデータを表示するデータ表示部と、を備えることを特徴とする。
【０００８】
また、本発明において、前記存在判定部は、前記映像情報取得部が取得した映像情報のフレーム画像に含まれる前記物体の領域の面積を算出し、当該面積が所定の閾値を超える場合に、前記物体が存在すると判定することを特徴とする。
【０００９】
また、本発明は、前記映像情報取得部が取得した映像情報において、関連付けの対象となる物体の映りが安定しているか否かを判定する安定化判定部を備え、前記特徴情報抽出部は、前記安定化判定部によって前記物体の映りが安定していると判定された場合に、映像情報から前記物体の特徴を示す特徴情報を抽出することを特徴とする。
【００１０】
また、本発明において、前記安定化判定部は、前記映像情報取得部が取得した映像情報の各フレーム画像に含まれる前記物体の領域の面積を算出し、連続するフレーム画像間における前記物体の領域の面積の差が所定の範囲内である場合に、前記物体の映りが安定していると判定することを特徴とする。
【００１１】
また、本発明において、前記安定化判定部は、前記映像情報取得部が取得した映像情報の連続するフレーム画像間における前記物体の領域の面積の差が、所定のフレーム数以上連続して所定の範囲内である場合に、前記物体の映りが安定していると判定することを特徴とする。
【００１２】
また、本発明は、前記安定化判定部によって前記物体の映りが安定していると判定したフレーム画像のうち最初のフレーム画像の各画素値と前記映像情報取得部が取得した映像情報の現在のフレーム画像の各画素値との差が、所定の閾値を超えた場合に、前記物体の映りが安定していないと判定する不安定化判定部を備え、前記登録部は、前記データベースへの登録を実行する前に、前記不安定化判定部によって前記物体の映りが安定していないと判定された場合、前記データベースへの登録を中止し、前記表示部は、前記不安定化判定部によって前記物体の映りが安定していないと判定された場合、前記読み出したデータの表示を終了することを特徴とする。
【００１３】
また、本発明において、前記不安定化判定部は、前記安定化判定部によって前記物体の映りが安定していると判定したフレーム画像のうち最初のフレーム画像における前記物体の領域を切落しマスクとして、前記安定化判定部によって前記物体の映りが安定していると判定した最初のフレーム画像の切落しにより得られる画像の各画素値と、前記映像情報取得部が取得した映像情報の現在のフレーム画像の切落しにより得られる画像の各画素値との差が、所定の閾値を超えた場合に、前記物体の映りが安定していないと判定することを特徴とする。
【００１４】
また、本発明は、任意の物体とデータとを関連付けてデータベースに登録し、前記物体に関連付けられたデータを前記データベースから読み出す物体データ間関連付けシステムを用いた物体データ間関連付け方法であって、映像情報取得部は、撮像装置から映像情報を取得し、存在判定部は、前記映像情報取得部が取得した映像情報の中に物体が存在するか否かを判定し、特徴情報抽出部は、前記存在判定部によって物体が存在すると判定された場合に、前記映像情報取得部が取得した映像情報から前記物体の特徴を示す特徴情報を抽出し、データ入力部は、前記物体に関連付けるデータの入力を受け付け、登録部は、前記データ入力部が入力を受け付けたデータと前記特徴情報抽出部が抽出した特徴情報とを関連付けて前記データベースに登録し、特徴情報検索部は、前記特徴情報抽出部が抽出した特徴情報との類似度が所定の閾値以上となる特徴情報を前記データベースから検索し、データ取得部は、前記特徴情報検索部による検索結果として得られた特徴情報に関連付けられたデータを前記データベースから取得し、データ表示部は、前記データ取得部が取得したデータを表示する、ことを特徴とする。
【００１５】
また、本発明は、任意の物体とデータとを関連付けてデータベースに登録する登録装置であって、撮像装置から映像情報を取得する映像情報取得部と、前記映像情報取得部が取得した映像情報の中に物体が存在するか否かを判定する存在判定部と、前記存在判定部によって物体が存在すると判定された場合に、前記映像情報取得部が取得した映像情報から前記物体の特徴を示す特徴情報を抽出する特徴情報抽出部と、前記物体に関連付けるデータの入力を受け付けるデータ入力部と、前記データ入力部が入力を受け付けたデータと前記特徴情報抽出部が抽出した特徴情報とを関連付けて前記データベースに登録する登録部と、を備えることを特徴とする。
【００１６】
また、本発明は、物体に関連付けられたデータを、物体の特徴情報とデータとを関連付けて記憶するデータベースから読み出す読み出し装置であって、撮像装置から映像情報を取得する映像情報取得部と、前記映像情報取得部が取得した映像情報の中に物体が存在するか否かを判定する存在判定部と、前記存在判定部によって物体が存在すると判定された場合に、前記映像情報取得部が取得した映像情報から前記物体の特徴を示す特徴情報を抽出する特徴情報抽出部と、前記特徴情報抽出部が抽出した特徴情報との類似度が所定の閾値以上となる特徴情報を前記データベースから検索する特徴情報検索部と、前記特徴情報検索部による検索結果として得られた特徴情報に関連付けられたデータを前記データベースから取得するデータ取得部と、前記データ取得部が取得したデータを表示するデータ表示部と、を備えることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、物体の映像から抽出した特徴情報とデータとを関連付けてデータベースに登録するので、タグの貼付を行わずに任意の物体とデータとを関連付けることができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態による物体データ間関連付けシステムの概略構成図である。
【図２】物体データ間関連付けシステムの各装置の構成を示す概略ブロック図である。
【図３】データベースが記憶する各テーブルの構成を示す図である。
【図４】登録装置の動作を示すフローチャートである。
【図５】安定化判定部による安定化判定処理の動作を示すフローチャートである。
【図６】映像情報のフレーム数と面積Ｓとの関係を示すグラフである。
【図７】安定化判定部による不安定化判定処理の動作を示すフローチャートである。
【図８】フレーム画像の切落しによって得られる切落し画像を示す図である。
【図９】読み出し装置の動作を示すフローチャートである。
【図１０】本実施形態による物体データ間関連付けシステムの利用例を示す図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図１は、本発明の一実施形態による物体データ間関連付けシステムの概略構成図である。
物体データ間関連付けシステムは、撮像装置１−１、１−２、登録装置２、読み出し装置３、データ管理装置４を備える。撮像装置１−１と登録装置２、撮像装置１−２と読み出し装置３は有線で接続されている。また、登録装置２、読み出し装置３、データ管理装置４は、それぞれＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットなどのネットワークを介して接続されている。
【００２０】
撮像装置１−１、１−２は、関連付けの対象となる物体を撮像し、当該物体を含む映像情報を登録装置２、読み出し装置３に出力する。
登録装置２は、撮像装置１−１から映像情報を入力し、当該映像情報に含まれる物体と、ユーザによって選択されたデータとを関連付けてデータ管理装置４に登録する。
読み出し装置３は、撮像装置１−２から映像情報を入力し、当該映像情報に含まれる物体に関連付けられたデータをデータ管理装置４から受信する。
【００２１】
図２は、物体データ間関連付けシステムの各装置の構成を示す概略ブロック図である。
撮像装置１−１、１−２は、物体を載置される撮影台１１と、撮影台１１に載置された物体が視野内に収まる位置に設置されたカメラ１２とを備える。本実施形態では、撮像装置１−１、１−２は筐体を有し、撮影台１１は、透明または半透明の素材で形成されており、当該筐体の上面に配置されているものとする。そして、カメラ１２は、筐体内部、即ち撮影台１１の下方に設置され、撮影台１１の上部に載置された物体を撮像するものとする。そして、撮像装置１−１は、映像情報を登録装置２に出力し、撮像装置１−２は、映像情報を読み出し装置３に出力する。
【００２２】
登録装置２は、映像情報取得部２１、安定化判定部２２（不安定化判定部）、特徴情報抽出部２３、特徴情報登録部２４、データ入力部２５、データ表示部２６、リンク情報生成部２７、リンク情報登録部２８を備える。
映像情報取得部２１は、撮像装置１−１から映像情報を取得する。なお、映像情報取得部２１は、撮像装置１−１が出力する映像情報の全てのフレーム画像を取得する必要は無く、所定のフレーム毎に、フレーム画像を取得しても良い。
安定化判定部２２は、映像情報取得部２１が取得した映像情報の中に物体が存在するか否か、及び当該映像情報に含まれる物体の映りが安定しているか否かを判定する。また、安定化判定部２２は、内部メモリに映像情報の背景画像を記憶する。ここで、背景画像とは、撮像装置１−１の撮影台１１に物体が載置されていないときの画像のことである。
特徴情報抽出部２３は、安定化判定部２２の判定結果に基づいて、映像情報取得部２１が取得した映像情報に含まれる物体の特徴を示す特徴情報を抽出する。ここで、特徴情報とは、例えば、映像情報のフレーム画像における物体の領域のエッジ部の座標を示す情報や、物体の重心の座標から輪郭までの角度毎の距離を示す情報など、物体の形状の特徴を示す情報のことである。
特徴情報登録部２４は、特徴情報抽出部２３が抽出した特徴情報をデータ管理装置４に送信する。
【００２３】
データ入力部２５は、ユーザから、特徴情報抽出部２３が抽出した特徴情報に関連付けるデータの入力を受け付ける。
データ表示部２６は、データ入力部２５が入力を受け付けたデータを表示する。
リンク情報生成部２７は、特徴情報抽出部２３が抽出した特徴情報とデータ入力部２５が入力を受け付けたデータとを関連付けるリンク情報を生成する。
リンク情報登録部２８は、リンク情報生成部２７が生成したリンク情報をデータ管理装置４に送信する。
【００２４】
読み出し装置３は、映像情報取得部３１、安定化判定部３２（不安定化判定部）、特徴情報抽出部３３、特徴情報検索部３４、データ取得部３５、データ表示部３６を備える。
映像情報取得部３１は、撮像装置１−２から映像情報を取得する。
安定化判定部３２は、映像情報取得部３１が取得した映像情報に含まれる物体の映りが安定しているか否かを判定する。また、安定化判定部２２は、内部メモリに映像情報の背景画像を記憶する。
特徴情報抽出部３３は、安定化判定部３２の判定結果に基づいて、映像情報取得部３１が取得した映像情報に含まれる物体の特徴を示す特徴情報を抽出する。
特徴情報検索部３４は、データ管理装置４から、特徴情報抽出部３３が抽出した特徴情報と類似する特徴情報を検索する。
データ取得部３５は、特徴情報検索部３４の検索結果として得られた特徴情報に関連付けられたデータをデータ管理装置４から取得する。
データ表示部３６は、データ取得部３５が取得したデータを表示する。
【００２５】
データ管理装置４は、データ管理部４１、データベース４２、データ記憶部４３を備える。
データ管理部４１は、データベース４２への情報の登録、及びデータベース４２からの情報の読み出しを行う。また、データ管理部４１は、物体に関連付けられたデータのデータ記憶部４３への登録、及び物体に関連付けられたデータのデータ記憶部４３からの読み出しを行う。
データベース４２は、物体を特定する物体ＩＤと物体の特徴情報とを関連付けて記憶する特徴情報テーブル、データを特定するデータＩＤとデータ種別とデータ本体へのパスとを関連付けて記憶するデータテーブル、物体ＩＤとデータＩＤとの関連付けを示すリンク情報を記憶するリンクテーブルを記憶する。
データ記憶部４３は、物体に関連付けられたデータの本体を記憶する。
【００２６】
図３は、データベースが記憶する各テーブルの構成を示す図である。
データベース４２が記憶する特徴情報テーブルは、図２（ａ）に示すように、物体ＩＤと特徴情報とを関連付けて記憶する。なお、物体ＩＤ及び特徴情報は、特徴情報テーブル内において一意（ｕｎｉｑｕｅ）であるものとする。
データベース４２が記憶するデータテーブルは、図２（ｂ）に示すように、データＩＤとデータ種別とパスとを関連付けて記憶する。なお、データＩＤ及びパスは、データテーブル内において一意であるものとする。
データベース４２が記憶するリンクテーブルは、図２（ｃ）に示すように、物体ＩＤとデータＩＤとを関連付けて記憶する。なお、物体ＩＤ及びデータＩＤは、リンクテーブル内において一意でなくても良い。つまり、ある物体ＩＤに複数のデータＩＤが関連付けられていても良い、また、あるデータＩＤが複数の物体ＩＤに関連付けられていても良い。
【００２７】
そして、登録装置２の映像情報取得部２１は、撮像装置１−１から映像情報を取得し、安定化判定部２２は、映像情報取得部２１が取得した映像情報の中に物体が存在するか否かを判定する。次に、特徴情報抽出部２３は、安定化判定部２２によって物体が存在すると判定された場合に、映像情報取得部２１が取得した映像情報から物体の特徴を示す特徴情報を抽出する。そして、データ入力部２５は、物体に関連付けるデータの入力を受け付け、リンク情報登録部２８は、データ入力部２５が入力を受け付けたデータと特徴情報抽出部２３が抽出した特徴情報とを関連付けてデータ管理装置４のデータベース４２に登録する。
【００２８】
他方、読み出し装置３の映像情報取得部３１は、撮像装置１−２から映像情報を取得し、安定化判定部３２は、映像情報取得部３１が取得した映像情報の中に物体が存在するか否かを判定する。次に、特徴情報抽出部３３は、安定化判定部３２によって物体が存在すると判定された場合に、映像情報取得部３１が取得した映像情報から物体の特徴を示す特徴情報を抽出する。そして、特徴情報検索部３４は、特徴情報抽出部３３が抽出した特徴情報との類似度が所定の閾値以上となる特徴情報をデータベース４２から検索し、データ取得部３５は、特徴情報検索部３４による検索結果として得られた特徴情報に関連付けられたデータをデータベース４２から取得する。次に、データ表示部３６は、データ取得部３５が取得したデータを表示する。
これにより、物体データ間関連付けシステムは、タグの貼付を行わずに任意の物体とデータとを関連付けることができる。
【００２９】
次に、本実施形態による物体データ間関連付けシステムの動作を説明する。
まず、登録装置２による、物体とデータとを関連付けるリンク情報の登録動作を説明する。
図４は、登録装置の動作を示すフローチャートである。
登録装置２が起動すると、登録装置２に接続された撮像装置１−１のカメラ１２は、撮影台１１の上部の撮像を開始する。そして、映像情報取得部２１は、カメラ１２が撮像した映像情報を取得する（ステップＳ１０１）。次に、安定化判定部２２は、映像情報の中に物体が存在するか否か、そして映像情報において物体の映りが安定しているか否かを判定する安定化判定処理を実行する（ステップＳ１０２）。
【００３０】
図５は、安定化判定部による安定化判定処理の動作を示すフローチャートである。
安定化判定部２２は、安定化判定処理を開始すると、まず、映像情報取得部２１が取得した映像情報の現在のフレーム画像と内部メモリに記憶する背景画像との各画素の差分を算出し、当該差分の画素からなる差分画像を生成する（ステップＳ３０１）。
次に、安定化判定部２２は、生成した差分画像から、フレーム画像に含まれる前景の最外郭のシルエットを抽出し、シルエット画像を生成する（ステップＳ３０２）。
【００３１】
シルエット画像の生成は、例えば以下のように行う。
まず、安定化判定部２２は、差分画像に対して二値化処理を行い、二値化画像を生成する。二値化処理とは、各画素の明るさを所定の閾値により、黒色と白色の２つの値に変換する処理のことである。二値化処理は、例えば、１９７９年に大津展之によって提案された閾値設定手法を用いて行うと良い。次に、安定化判定部２２は、二値化画像の各画素に対して背景部分であるか前景部分であるかを示すラベル情報を付与するラベリング処理を行う。なお、ラベリング処理とは、同じ画素値を示す隣接する画素に同一のラベル情報を付与することで、画素集合として分類する処理のことである。そして、安定化判定部２２は、前景部分であることを示すラベル情報が付与された画素集合のうち最大の画素集合の最外郭に囲まれた画素を黒色とし、他の画素を白色とするシルエット画像を生成する。
【００３２】
安定化判定部２２は、ステップＳ３０２でシルエット画像を生成すると、生成したシルエット画像のうち黒色画素の画素数を算出することで、フレーム画像に含まれる前景の面積Ｓ（以下、面積Ｓと記載する）を算出する（ステップＳ３０３）。次に、安定化判定部２２は、面積Ｓが、フレーム画像に物体が含まれるか否かを判定する物体存在判定閾値ｅ以上であるか否かを判定する（ステップＳ３０４）。
【００３３】
安定化判定部２２は、面積Ｓが物体存在判定閾値ｅ未満であると判定した場合（ステップＳ３０４：ＮＯ）、物体が撮像装置１−１の撮影台１１に載置されていない「未載置状態」であると判定し（ステップＳ３０５）、安定化判定処理を終了する。
【００３４】
他方、安定化判定部２２は、面積Ｓが物体存在判定閾値ｅ以上であると判定した場合（ステップＳ３０４：ＹＥＳ）、内部メモリから、連続安定化フレーム数Ｎと直前のフレーム画像における前景の面積Ｓ´（以下、面積Ｓ´と記載する）を読み出す（ステップＳ３０６）。なお、連続安定化フレーム数Ｎとは、物体が安定して撮影台１１に載置されていると連続して判定されたフレーム数を示す。また、連続安定化フレーム数Ｎ及び面積Ｓ´は、後述する処理で内部メモリに登録される情報であり、初回実行時の内部メモリには、連続安定化フレーム数Ｎ、面積Ｓ´として「０」が記憶されているものとする。
【００３５】
安定化判定部２２は、ステップＳ３０６で連続安定化フレーム数Ｎと面積Ｓ´とを読み出すと、面積Ｓ´と面積Ｓとの差の絶対値が、物体が安定して撮影台１１に載置されているか否かを判定する安定化判定閾値ｓ未満であるか否かを判定する（ステップＳ３０７）。
【００３６】
安定化判定部２２は、面積Ｓ´と面積Ｓとの差の絶対値が安定化判定閾値ｓ以上であると判定した場合（ステップＳ３０７：ＮＯ）、連続安定化フレーム数Ｎを０にリセットして内部メモリに記録し、また、面積Ｓを面積Ｓ´として内部メモリに記録する（ステップＳ３０８）。そして、安定化判定部２２は、フレーム画像において、物体の映りが不安定である「不安定状態」であると判定し（ステップＳ３０９）、安定化判定処理を終了する。
【００３７】
他方、安定化判定部２２は、面積Ｓ´と面積Ｓとの差の絶対値が安定化判定閾値ｓ未満であると判定した場合（ステップＳ３０７：ＹＥＳ）、連続安定化フレーム数Ｎに１を加算して内部メモリに記録し、また、面積Ｓを面積Ｓ´として内部メモリに記録する（ステップＳ３１０）。次に、安定化判定部２２は、連続安定化フレーム数Ｎが、物体が安定して撮影台１１に載置された状態が継続しているか否かを判定するフレーム数である連続安定化判定閾値ｎ以上であるか否かを判定する（ステップＳ３１１）。
【００３８】
安定化判定部２２は、連続安定化フレーム数Ｎが連続安定化判定閾値ｎ未満であると判定した場合（ステップＳ３１１：ＮＯ）、フレーム画像の状態が「不安定状態」であると判定し（ステップＳ３０９）、安定化判定処理を終了する。
他方、安定化判定部２２は、連続安定化フレーム数Ｎが連続安定化判定閾値ｎ以上であると判定した場合（ステップＳ３１１：ＹＥＳ）、フレーム画像から前景画像を抽出し、内部メモリに記録する（ステップＳ３１２）。即ち、安定化判定部２２は、「安定状態」であると判定したフレーム画像のうち、最初のフレーム画像を内部メモリに記録する。
【００３９】
前景画像は、例えば、ステップＳ３０２で生成したシルエット画像を切落しマスクとして、安定化判定部２２がフレーム画像の切落しを行うことにより得ることができる。ここで、切落しマスクとは、ピクセルマップによって定義される領域であって、その境界の外側の表示データを切り取るものである。また、切落しとは、切落しマスクの外側にある表示要素を全部除去することによって、内側のデータだけを取り出す動作のことである。
安定化判定部２２は、ステップＳ３１２で前景画像を記憶すると、フレーム画像において、物体の映りが安定している「安定状態」であると判定し（ステップＳ３１３）、安定化判定処理を終了する。
【００４０】
図６は、映像情報のフレーム数と面積Ｓとの関係を示すグラフである。
つまり、安定化判定処理において安定化判定部２２は、映像情報取得部２１が取得した映像情報の各フレーム画像に含まれる物体の領域の面積Ｓを算出し、図６に示すように、連続するフレーム画像間における物体の領域の面積の差の絶対値｜Ｓ´−Ｓ｜が、連続安定化判定閾値ｎ以上連続して安定化判定閾値ｓの範囲内である場合に、物体の映りが安定している状態である「安定状態」であると判定する。
【００４１】
安定化判定部２２は、図４に示すステップＳ１０２による安定化判定処理を完了すると、安定化判定処理において、フレーム画像の状態が「安定状態」であると判定したか否かを判定する（ステップＳ１０３）。安定化判定部２２は、フレーム画像の状態が「未載置状態」または「不安定状態」であると判定した場合（ステップＳ１０３：ＮＯ）、ステップＳ１０２に戻り、次のフレーム画像に対する安定化判定処理を行う。
【００４２】
他方、安定化判定部２２が、フレーム画像の状態が「安定状態」であると判定した場合（ステップＳ１０３：ＹＥＳ）、特徴情報抽出部２３は、「安定状態」であると判定されたフレーム画像から特徴情報を抽出する（ステップＳ１０４）。
【００４３】
特徴情報の抽出は、例えば、特徴情報としてフレーム画像における物体の領域のエッジ部の座標を示す情報（特徴点）を用いる場合、特徴情報抽出部２３は、安定化判定部２２が図５に示すステップＳ３１２で生成した前景画像に対してＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）やＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）などの特徴点抽出手法を用いることで、複数の特徴点の集合からなる特徴情報を抽出することができる。
【００４４】
また、特徴情報として、物体の重心の座標から輪郭までの角度毎の距離を示す情報（極座標情報）など、物体の形状の特徴を示す情報を用いる場合、特徴情報抽出部２３は、安定化判定部２２が図５に示すステップＳ３０２で生成したシルエット画像における、物体の重心から画素値の切り替わりの点までの距離を所定の角度毎に三角関数を用いて算出することで、特徴情報を抽出することができる。
【００４５】
ステップＳ１０４で特徴情報抽出部２３が特徴情報を抽出すると、特徴情報登録部２４は、抽出した特徴情報をデータ管理装置４に送信し、当該特徴情報との類似度が所定の閾値以上となる特徴情報がデータ管理装置４のデータベース４２に未登録であるか否かを問い合わせる（ステップＳ１０５）。
【００４６】
データ管理装置４のデータ管理部４１は、登録装置２から特徴情報を受信すると、当該特徴情報とデータベース４２が記憶する特徴情報テーブルに格納された各特徴情報との類似度を算出する。類似度の算出は、例えば以下のように行う。
特徴情報としてＳＩＦＴやＳＵＲＦによって算出された特徴点を用いる場合、データ管理部４１は、特徴点同士の類似度の合計が最大となる組み合わせを割当問題解法アルゴリズム（例えば線形計画法）によって算出し、各特徴点の類似度の合計値を、特徴情報間の類似度として算出する。
特徴情報として極座標情報を用いる場合、データ管理部４１は、極座標情報が示すデータ列の先頭を１つずつずらしながら、すなわち角度をずらしながら極座標情報同士の類似度を算出し、最大となる類似度を特徴情報間の類似度として算出する。
【００４７】
そして、データ管理部４１は、登録装置２から受信した特徴情報とデータベース４２が記憶する特徴情報テーブルに格納された各特徴情報との類似度のうち最大のものが、所定の閾値以上であるか否かを判定する。
データ管理部４１は、登録装置２から受信した特徴情報との類似度が所定の閾値以上であると判定した場合、類似度が最大となる特徴情報に関連付けられた物体ＩＤを特徴情報テーブルから読み出し、登録装置２に送信する。他方、データ管理部４１は、登録装置２から受信した特徴情報との類似度が所定の閾値以上であると判定した場合、特徴情報が未登録であると判定し、特徴情報が未登録であることを示す情報を登録装置２に送信する。
【００４８】
登録装置２の特徴情報登録部２４は、データ管理装置４から、特徴情報が未登録であることを示す情報を受信した場合（ステップＳ１０５：ＮＯ）、当該特徴情報の登録要求をデータ管理装置４に送信する（ステップＳ１０６）。データ管理装置４のデータ管理部４１は、登録装置２から登録要求を受信すると、ステップＳ１０５で受信した特徴情報をデータベース４２の特徴情報テーブルに記録し、当該特徴情報に関連付けて固有の物体ＩＤを付与する。そして、データ管理部４１は、付与した物体ＩＤを登録装置２に通知する。
【００４９】
他方、登録装置２の特徴情報登録部２４は、データ管理装置４から、特徴情報に関連付けられた物体ＩＤを受信した場合（ステップＳ１０５：ＹＥＳ）、データ管理装置４から受信した物体ＩＤに関連付けられたデータの送信要求を送信する。
データ管理装置４のデータ管理部４１は、登録装置２から物体ＩＤを含む送信要求を受信すると、データベース４２のリンク情報テーブルから受信した物体ＩＤに関連付けられたデータＩＤを全て読み出す。次に、データ管理部４１は、データベース４２のデータテーブルから、読み出したデータＩＤに関連付けられたデータのパスを読み出す。次に、データ管理部４１は、データ記憶部４３から、読み出したパスによって特定されるデータを読み出す。そして、データ管理部４１は、読み出したデータを登録装置２に送信する。
登録装置２の特徴情報登録部２４は、データ管理装置４からデータを受信する（ステップＳ１０７）。
【００５０】
ステップＳ１０６で特徴情報登録部２４が特徴情報の物体ＩＤを受信すると、またはステップＳ１０７で、特徴情報登録部２４が物体に関連付けられたデータを受信すると、データ入力部２５は、ユーザから物体に関連付けるデータの入力を受け付ける（ステップＳ１０８）。ここで、データの入力とは、外部から登録装置２にデータを取り入れること、または登録装置２に予め登録されているデータの中から関連付けるデータを選択することである。
【００５１】
以下に、データの入力方法の一例を説明する。
登録装置２がデータ管理装置４から物体ＩＤを受信すると、データ表示部２６は、登録装置２に予め登録されているデータの一覧を表示する。ユーザは、ゲーム用リモコンや奥行カメラなど、直感的ジェスチャを検出する入力装置を介して、登録装置２のデータ入力部２５へ出力する。このように、データの選択を直感的なジェスチャによって行うことで、ユーザが高度な編集技術を有していなくても簡単に送信データの選択を行うことができる。なお、ステップＳ１０７で特徴情報登録部２４が物体ＩＤに関連付けられているデータを受信している場合、データ入力部２５は、受信したデータに追加するデータとしてデータの入力を受け付ける。
また、このとき、マイクやカメラを介して、関連付けたデータの説明の音声や映像をデータ入力部２５に出力しても良い。
【００５２】
ステップＳ１０８で、データ入力部２５がユーザから関連付けるデータの入力を受け付けると、データ表示部２６は、データ入力部２５が入力を受け付けたデータを順に表示する（ステップＳ１０９）。この表示は、データ入力部２５が入力を受け付けたデータを物体に関連付けても良いか否かの確認を行うために行っている。そして、ユーザは物体を撮像装置１−１の撮影台１１から除去することで、データの関連付けをキャンセルする。
そのため、ステップＳ１０９でデータ表示部２６がデータの表示を行っている間、安定化判定部２２は、ユーザによって物体が除去されたか否かを判定する不安定化判定処理を実行する（ステップＳ１１０）。
【００５３】
図７は、安定化判定部による不安定化判定処理の動作を示すフローチャートである。
図８は、フレーム画像の切落しによって得られる切落し画像を示す図である。
安定化判定部２２は、不安定化判定処理を開始すると、まず、図８（ａ）に示すステップＳ３１２で内部メモリに記録した安定状態の前景画像を切落しマスクとして、図８（ｂ）に示す映像情報取得部２１が取得した映像情報の現在のフレーム画像の切落しを行い、図８（ｃ）に示す切落し画像を生成する（ステップＳ４０１）。
これにより、フレーム画像に含まれる影などによる前景の最外郭の変化を無視することができる。
【００５４】
次に、安定化判定部２２は、内部メモリに記憶する安定状態の前景画像の各画素値と、ステップＳ４０１で生成した切落し画像の各画素値とを、それぞれ比較し、画素値の異なり度合いを示す差分値を算出する（ステップＳ４０２）。
具体的には、安定化判定部２２は、まず前景画像及び切落し画像を色空間成分の各チャンネルの画像に分離する。ここで、色空間成分とは、ＲＧＢ（赤、緑、青）、ＹＭＣＫ（イエロー、マゼンタ、シアン）、ＨＳＶ（色相、彩度、明度）、ＹＣｂＣｒ（輝度、青信号色差、赤信号色差）、ＹＰｂＰｒ（輝度、青信号色差、赤信号色差）などである。次に、安定化判定部２２は、分離した画像の各画素値の差の絶対値を算出する。そして、安定化判定部２２は、算出した輝度値の差の絶対値を合計することで、差分値を算出する。つまり、差分値が大きいほど、画像間の差異が大きいということが分かる。
【００５５】
安定化判定部２２は、ステップＳ４０２で安定状態の前景画像の画素値と切落し画像の画素値との比較結果である差分値を算出すると、算出した差分値が所定の閾値以上であるか否かを判定する（ステップＳ４０３）。安定化判定部２２は、算出した差分値が所定の閾値以上であると判定した場合（ステップＳ４０３：ＹＥＳ）、フレーム画像において物体の映りが不安定である「不安定状態」であると判定し（ステップＳ４０４）、不安定化判定処理を終了する。他方、安定化判定部２２は、算出した差分値が所定の閾値未満であると判定した場合（ステップＳ４０３：ＮＯ）、フレーム画像において物体の映りが安定している「安定状態」であると判定し（ステップＳ４０５）、不安定化判定処理を終了する。
【００５６】
安定化判定部２２は、図４に示すステップＳ１１０による不安定化判定処理を完了すると、不安定化判定処理において、データ表示部２６がデータの表示を行っている間、フレーム画像の状態が「安定状態」であると判定したか否かを判定する（ステップＳ１１１）。即ち、安定化判定部２２は、データ表示部２６によるデータの表示中に物体が撮像装置１−１の撮影台１１から除去されたか否かを判定する。
安定化判定部２２は、データ表示部２６がデータの表示を行っている途中に、フレーム画像の状態が「不安定状態」であると判定した場合（ステップＳ１１１：ＮＯ）、ステップＳ１０９によるデータの表示を中断し、処理を終了する。
【００５７】
他方、安定化判定部２２は、データ表示部２６によるデータの表示が終了するまで、フレーム画像の状態が「安定状態」のままであると判定した場合（ステップＳ１１１：ＹＥＳ）、リンク情報生成部２７は、データ入力部２５が入力したデータと、ステップＳ１０５またはステップＳ１０６で特徴情報登録部２４が受信した物体ＩＤとを関連付けるリンク情報を生成する（ステップＳ１１２）。そして、リンク情報登録部２８は、データ入力部２５が入力したデータ及びリンク情報生成部２７が生成したリンク情報の登録要求をデータ管理装置４に送信する（ステップＳ１１３）。
【００５８】
データ管理装置４のデータ管理部４１は、登録装置２から登録要求を受信すると、登録装置２から受信したデータをデータ記憶部４３に登録し、データ記憶部４３の登録先のパスを取得する。そして、データ管理部４１は、データベース４２のデータテーブルに、登録したデータの種別と取得したパスとを記録する。また、データ管理部４１は、データテーブルに、登録したデータ種別及びパスの組み合わせに関連付けて固有のデータＩＤを記録する。
そして、データ管理部４１は、データベース４２のリンクテーブルに、登録装置２から受信した物体ＩＤとデータテーブルに記録したデータＩＤとを関連付けて記録する。
【００５９】
ステップＳ１３でリンク情報登録部２８がリンク情報の登録要求を送信すると、安定化判定部２２は、上述した不安定化判定処理を行う（ステップＳ１１４）。そして、安定化判定部２２は、不安定化判定処理により、「安定状態」であると判定したか否かを判定する（ステップＳ１１５）。安定化判定部２２は、「安定状態」であると判定した場合（ステップＳ１１５：ＹＥＳ）、ステップＳ１１４に戻り、不安定化判定処理を繰り返し実行する。
他方、安定化判定部２２が、「不安定状態」であると判定した場合（ステップＳ１１５：ＮＯ）、登録装置２は、処理を終了する。
【００６０】
次に、読み出し装置３による、物体に関連付けられたデータの読み出し動作を説明する。
図９は、読み出し装置の動作を示すフローチャートである。
読み出し装置３が起動すると、読み出し装置３に接続された撮像装置１−２のカメラ１２は、撮影台１１の上部の撮像を開始する。そして、映像情報取得部３１は、カメラ１２が撮像した映像情報を取得する（ステップＳ２０１）。次に、安定化判定部３２は、登録装置２の安定化判定部２２と同様に、安定化判定処理を実行する（ステップＳ２０２）。
【００６１】
次に、安定化判定部３２は、安定化判定処理において、フレーム画像の状態が「安定状態」であると判定したか否かを判定する（ステップＳ２０３）。安定化判定部３２は、フレーム画像の状態が「未載置状態」または「不安定状態」であると判定した場合（ステップＳ２０３：ＮＯ）、ステップＳ２０２に戻り、次のフレーム画像に対する安定化判定処理を行う。
【００６２】
他方、安定化判定部３２が、フレーム画像の状態が「安定状態」であると判定した場合（ステップＳ２０３：ＹＥＳ）、特徴情報抽出部２３は、「安定状態」であると判定されたフレーム画像から特徴情報を抽出する（ステップＳ２０４）。
次に、特徴情報検索部３４は、抽出した特徴情報をデータ管理装置４に送信し、当該特徴情報との類似度が所定の閾値以上となる特徴情報がデータ管理装置４のデータベース４２に未登録であるか否かを問い合わせる（ステップＳ２０５）。
【００６３】
データ管理装置４のデータ管理部４１は、読み出し装置３から特徴情報を受信すると、当該特徴情報とデータベース４２が記憶する特徴情報テーブルに格納された各特徴情報との類似度を算出する。そして、データ管理部４１は、読み出し装置３から受信した特徴情報とデータベース４２が記憶する特徴情報テーブルに格納された各特徴情報との類似度のうち最大のものが、所定の閾値以上であるか否かを判定する。
データ管理部４１は、読み出し装置３から受信した特徴情報との類似度が所定の閾値以上であると判定した場合、類似度が最大となる特徴情報に関連付けられた物体ＩＤを特徴情報テーブルから読み出し、読み出し装置３に送信する。他方、データ管理部４１は、読み出し装置３から受信した特徴情報との類似度が所定の閾値以上であると判定した場合、特徴情報が未登録であると判定し、特徴情報が未登録であることを示す情報を読み出し装置３に送信する。
【００６４】
読み出し装置３の特徴情報検索部３４が、データ管理装置４から、特徴情報が未登録であることを示す情報を受信した場合（ステップＳ２０５：ＮＯ）、データ表示部３６は、撮像装置１−２の撮影台１１に載置された物体が未登録である旨を表示し（ステップＳ２０６）、処理を終了する。
【００６５】
他方、特徴情報検索部３４がデータ管理装置４から、特徴情報に関連付けられた物体ＩＤを受信した場合（ステップＳ２０５：ＹＥＳ）、データ取得部３５は、データ管理装置４から受信した物体ＩＤに関連付けられたデータの送信要求を送信する。
データ管理装置４のデータ管理部４１は、読み出し装置３から物体ＩＤを含む送信要求を受信すると、データベース４２のリンク情報テーブルから、受信した物体ＩＤに関連付けられたデータＩＤを全て読み出す。次に、データ管理部４１は、データベース４２のデータテーブルから、読み出したデータＩＤに関連付けられたデータのパスを読み出す。次に、データ管理部４１は、データ記憶部４３から、読み出したパスによって特定されるデータを読み出す。そして、データ管理部４１は、読み出したデータを読み出し装置３に送信する。
【００６６】
そして、読み出し装置３のデータ取得部３５は、データ管理装置４からデータを受信する（ステップＳ２０７）。次に、データ表示部３６は、データ取得部３５が入力を受け付けたデータを表示する（ステップＳ２０８）。このとき、ユーザは物体を撮像装置１−２の撮影台１１から除去することで、データの表示を終了する。
そのため、ステップＳ２０８でデータ表示部３６がデータの表示を行っている間、安定化判定部３２は、ユーザによって物体が除去されたか否かを判定する不安定化判定処理を実行する（ステップＳ２０９）。
【００６７】
そして、安定化判定部３２は、不安定化判定処理により、「安定状態」であると判定したか否かを判定する（ステップＳ２１０）。安定化判定部３２は、「安定状態」であると判定した場合（ステップＳ２１０：ＹＥＳ）、ステップＳ２０９に戻り、不安定化判定処理を繰り返し実行する。
他方、安定化判定部３２が、「不安定状態」であると判定した場合（ステップＳ２１０：ＮＯ）、読み出し装置３は、処理を終了する。
【００６８】
このように、本実施形態によれば、登録装置２は、物体の映像から抽出した特徴情報とデータとを関連付けてデータ管理装置４に登録し、読み出し装置３は、物体の映像から抽出した特徴情報に関連付けられたデータをデータ管理装置４から読み出すため、タグの貼付を行わずに任意の物体とデータとを関連付けることができる。
【００６９】
図１０は、本実施形態による物体データ間関連付けシステムの利用例を示す図である。
本実施形態による物体データ間関連付けシステムは、映像が詰まった（関連付けられた）思い出の品を使った世代間コミュニケーションツールとして用いることができる。
具体的には、データの送り手である孫は、旅先で拾った貝殻などの思い出の品をテレビの前の撮像装置１−１に置き、登録装置２に対して簡単な操作をすることで、思い出の品に詰め込みたい（関連付けたい）映像を編集することができる。
そして、この思い出の品を受け取った祖父母は、当該思い出の品をテレビの前の撮像装置１−２に置くだけで、読み出し装置３が動作し、思い出の品に詰められた（関連付けられた）映像を見ることができる。
このように、本実施形態による物体データ間関連付けシステムは、思い出の品を置くという簡単かつ直感的な操作で動作するため、ＩＴリテラシの低いユーザでも、ネットワークを介してデータの共有を行うことができる。
【００７０】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、本実施形態では、物体データ間関連付けシステムが、物体とデータとの関連付けを行う登録装置２と物体から関連付けられたデータを読み出す読み出し装置３が別の装置として構成される例を説明したが、これに限られず、物体とデータとの関連付けを行う機能と物体から関連付けられたデータを読み出す機能とを備える装置によって構成されていても良い。
【００７１】
また、本実施形態では、物体データ間関連付けシステムが、登録装置２と読み出し装置３とを１つずつ備える場合を説明したが、実際には多数の登録装置２と読み出し装置３によって構成される。
【００７２】
また、本実施形態では、撮像装置１−１、１−２のカメラ１２は、透明または半透明の素材で形成された撮影台１１の下方に設置され、撮影台１１の上部に載置された物体を撮像する場合を説明したが、これに限られず、例えば、撮像装置１−１、１−２の筐体内部に撮影台が設置され、カメラ１２が撮影台１１の上方に設置されることで、カメラ１２が撮影台１１の上部に載置された物体を撮像するようにしても良い。この場合、ユーザが撮像装置１−１、１−２の筐体の蓋を開け、任意の物体を箱の中に入れることで、撮像装置１−１、１−２が物体の撮像を行うこととなる。
【００７３】
上述の登録装置２、読み出し装置３、データ管理装置４は内部に、コンピュータシステムを有している。そして、上述した各処理部の動作は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００７４】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００７５】
１−１、１−２…撮像装置 ２…登録装置 ３…読み出し装置 ４…データ管理装置 １１…撮影台 １２…カメラ ２１、３１…映像情報取得部 ２２、３２…安定化判定部 ２３、３３…特徴情報抽出部 ２４…特徴情報登録部 ２５…データ入力部 ２６…データ表示部 ２７…リンク情報生成部 ２８…リンク情報登録部 ３４…特徴情報検索部 ３５…データ取得部 ３６…データ表示部 ４１…データ管理部 ４２…データベース ４３…データ記憶部
【技術分野】
【０００１】
任意の物体とデータとを関連付けてデータベースに登録し、また、物体に関連付けられたデータをデータベースから読み出す物体データ間関連付けシステム、物体データ間関連付け方法、登録装置、及び読み出し装置に関する。
【背景技術】
【０００２】
近年、通信技術の進化及びインターネットの普及により、インターネットを通じて個人が撮影したデジタル写真や動画などのデータを共有することが容易になっている。しかし、従来のデータ共有方法は、主にＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）を用いて操作を行う必要があったため、ＰＣの操作に不慣れな人は、これらのデータを取得することが困難であるという問題がある。これに対し、インターネット対応ＴＶ（Ｔｅｌｅｖｉｓｉｏｎ）等の非ＰＣ機器を用いてデータの共有を行うことも考えられる。しかし、従来の非ＰＣ機器は、リモコンによる操作が主となるため、複雑な操作には不向きであるという問題がある。
このような問題を解決するため、任意の物体とデータとを関連付け、当該物体を用いた操作により、関連付けられたデータを読み出すシステムが提案されている。これにより、コンピュータの操作に不慣れな人でも直感的にデータの取出しを行うことができる。
【０００３】
非特許文献１には、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）タグとデータとを関連付けてサーバ装置に格納しておき、当該タグを貼付した任意の物体をＲＦＩＤの読取装置に近接させることで、データを取得する技術が開示されている。
また、ＲＦＩＤタグに限らず、二次元バーコードや、その他の形式のタグを用いても同様の関連付けを行うことができる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Ｍｉｃｈａｅｌ Ｎｕｎｅｓ、Ｓａｕｌ Ｇｒｅｅｎｂｅｒｇ、Ｃａｒｍａｎ Ｎｅｕｓｔａｅｄｔｅｒ、“Ｓｈａｒｉｎｇ Ｄｉｇｉｔａｌ Ｐｈｏｔｏｇｒａｐｈｓ ｉｎ ｔｈｅ Ｈｏｍｅ ｔｈｒｏｕｇｈ Ｐｈｙｓｉｃａｌ Ｍｅｍｅｎｔｏｓ，Ｓｏｕｖｅｎｉｒｓ，ａｎｄ Ｋｅｅｐｓａｋｅｓ”、「Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ７ｔｈ ＡＣＭ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄｅｓｉｇｎｉｎｇ ｉｎｔｅｒａｃｔｉｖｅ ｓｙｓｔｅｍｓ」、ＡＣＭ、２００８年２月、２５０−２６０頁
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、非特許文献１に記載の手法では、タグを用いて任意の物体とデータとを関連付けるため、以下の問題点がある。
（１）タグの貼付にコスト及び手間がかかる。
（２）タグの貼付により物体のデザインを損なう。
（３）貼付したタグの破損や剥脱により物体とデータとの関連付けが失われる。
【０００６】
本発明は、上記の問題に鑑みてなされたものであり、タグの貼付を行わずに任意の物体とデータとを関連付ける物体データ間関連付けシステム、物体データ間関連付け方法、登録装置、及び読み出し装置を提供することを課題とする。
【課題を解決するための手段】
【０００７】
本発明は上記の課題を解決するためになされたものであり、任意の物体とデータとを関連付けてデータベースに登録し、前記物体に関連付けられたデータを前記データベースから読み出す物体データ間関連付けシステムであって、撮像装置から映像情報を取得する映像情報取得部と、前記映像情報取得部が取得した映像情報の中に物体が存在するか否かを判定する存在判定部と、前記存在判定部によって物体が存在すると判定された場合に、前記映像情報取得部が取得した映像情報から前記物体の特徴を示す特徴情報を抽出する特徴情報抽出部と、前記物体に関連付けるデータの入力を受け付けるデータ入力部と、前記データ入力部が入力を受け付けたデータと前記特徴情報抽出部が抽出した特徴情報とを関連付けて前記データベースに登録する登録部と、前記特徴情報抽出部が抽出した特徴情報との類似度が所定の閾値以上となる特徴情報を前記データベースから検索する特徴情報検索部と、前記特徴情報検索部による検索結果として得られた特徴情報に関連付けられたデータを前記データベースから取得するデータ取得部と、前記データ取得部が取得したデータを表示するデータ表示部と、を備えることを特徴とする。
【０００８】
また、本発明において、前記存在判定部は、前記映像情報取得部が取得した映像情報のフレーム画像に含まれる前記物体の領域の面積を算出し、当該面積が所定の閾値を超える場合に、前記物体が存在すると判定することを特徴とする。
【０００９】
また、本発明は、前記映像情報取得部が取得した映像情報において、関連付けの対象となる物体の映りが安定しているか否かを判定する安定化判定部を備え、前記特徴情報抽出部は、前記安定化判定部によって前記物体の映りが安定していると判定された場合に、映像情報から前記物体の特徴を示す特徴情報を抽出することを特徴とする。
【００１０】
また、本発明において、前記安定化判定部は、前記映像情報取得部が取得した映像情報の各フレーム画像に含まれる前記物体の領域の面積を算出し、連続するフレーム画像間における前記物体の領域の面積の差が所定の範囲内である場合に、前記物体の映りが安定していると判定することを特徴とする。
【００１１】
また、本発明において、前記安定化判定部は、前記映像情報取得部が取得した映像情報の連続するフレーム画像間における前記物体の領域の面積の差が、所定のフレーム数以上連続して所定の範囲内である場合に、前記物体の映りが安定していると判定することを特徴とする。
【００１２】
また、本発明は、前記安定化判定部によって前記物体の映りが安定していると判定したフレーム画像のうち最初のフレーム画像の各画素値と前記映像情報取得部が取得した映像情報の現在のフレーム画像の各画素値との差が、所定の閾値を超えた場合に、前記物体の映りが安定していないと判定する不安定化判定部を備え、前記登録部は、前記データベースへの登録を実行する前に、前記不安定化判定部によって前記物体の映りが安定していないと判定された場合、前記データベースへの登録を中止し、前記表示部は、前記不安定化判定部によって前記物体の映りが安定していないと判定された場合、前記読み出したデータの表示を終了することを特徴とする。
【００１３】
また、本発明において、前記不安定化判定部は、前記安定化判定部によって前記物体の映りが安定していると判定したフレーム画像のうち最初のフレーム画像における前記物体の領域を切落しマスクとして、前記安定化判定部によって前記物体の映りが安定していると判定した最初のフレーム画像の切落しにより得られる画像の各画素値と、前記映像情報取得部が取得した映像情報の現在のフレーム画像の切落しにより得られる画像の各画素値との差が、所定の閾値を超えた場合に、前記物体の映りが安定していないと判定することを特徴とする。
【００１４】
また、本発明は、任意の物体とデータとを関連付けてデータベースに登録し、前記物体に関連付けられたデータを前記データベースから読み出す物体データ間関連付けシステムを用いた物体データ間関連付け方法であって、映像情報取得部は、撮像装置から映像情報を取得し、存在判定部は、前記映像情報取得部が取得した映像情報の中に物体が存在するか否かを判定し、特徴情報抽出部は、前記存在判定部によって物体が存在すると判定された場合に、前記映像情報取得部が取得した映像情報から前記物体の特徴を示す特徴情報を抽出し、データ入力部は、前記物体に関連付けるデータの入力を受け付け、登録部は、前記データ入力部が入力を受け付けたデータと前記特徴情報抽出部が抽出した特徴情報とを関連付けて前記データベースに登録し、特徴情報検索部は、前記特徴情報抽出部が抽出した特徴情報との類似度が所定の閾値以上となる特徴情報を前記データベースから検索し、データ取得部は、前記特徴情報検索部による検索結果として得られた特徴情報に関連付けられたデータを前記データベースから取得し、データ表示部は、前記データ取得部が取得したデータを表示する、ことを特徴とする。
【００１５】
また、本発明は、任意の物体とデータとを関連付けてデータベースに登録する登録装置であって、撮像装置から映像情報を取得する映像情報取得部と、前記映像情報取得部が取得した映像情報の中に物体が存在するか否かを判定する存在判定部と、前記存在判定部によって物体が存在すると判定された場合に、前記映像情報取得部が取得した映像情報から前記物体の特徴を示す特徴情報を抽出する特徴情報抽出部と、前記物体に関連付けるデータの入力を受け付けるデータ入力部と、前記データ入力部が入力を受け付けたデータと前記特徴情報抽出部が抽出した特徴情報とを関連付けて前記データベースに登録する登録部と、を備えることを特徴とする。
【００１６】
また、本発明は、物体に関連付けられたデータを、物体の特徴情報とデータとを関連付けて記憶するデータベースから読み出す読み出し装置であって、撮像装置から映像情報を取得する映像情報取得部と、前記映像情報取得部が取得した映像情報の中に物体が存在するか否かを判定する存在判定部と、前記存在判定部によって物体が存在すると判定された場合に、前記映像情報取得部が取得した映像情報から前記物体の特徴を示す特徴情報を抽出する特徴情報抽出部と、前記特徴情報抽出部が抽出した特徴情報との類似度が所定の閾値以上となる特徴情報を前記データベースから検索する特徴情報検索部と、前記特徴情報検索部による検索結果として得られた特徴情報に関連付けられたデータを前記データベースから取得するデータ取得部と、前記データ取得部が取得したデータを表示するデータ表示部と、を備えることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、物体の映像から抽出した特徴情報とデータとを関連付けてデータベースに登録するので、タグの貼付を行わずに任意の物体とデータとを関連付けることができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態による物体データ間関連付けシステムの概略構成図である。
【図２】物体データ間関連付けシステムの各装置の構成を示す概略ブロック図である。
【図３】データベースが記憶する各テーブルの構成を示す図である。
【図４】登録装置の動作を示すフローチャートである。
【図５】安定化判定部による安定化判定処理の動作を示すフローチャートである。
【図６】映像情報のフレーム数と面積Ｓとの関係を示すグラフである。
【図７】安定化判定部による不安定化判定処理の動作を示すフローチャートである。
【図８】フレーム画像の切落しによって得られる切落し画像を示す図である。
【図９】読み出し装置の動作を示すフローチャートである。
【図１０】本実施形態による物体データ間関連付けシステムの利用例を示す図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図１は、本発明の一実施形態による物体データ間関連付けシステムの概略構成図である。
物体データ間関連付けシステムは、撮像装置１−１、１−２、登録装置２、読み出し装置３、データ管理装置４を備える。撮像装置１−１と登録装置２、撮像装置１−２と読み出し装置３は有線で接続されている。また、登録装置２、読み出し装置３、データ管理装置４は、それぞれＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットなどのネットワークを介して接続されている。
【００２０】
撮像装置１−１、１−２は、関連付けの対象となる物体を撮像し、当該物体を含む映像情報を登録装置２、読み出し装置３に出力する。
登録装置２は、撮像装置１−１から映像情報を入力し、当該映像情報に含まれる物体と、ユーザによって選択されたデータとを関連付けてデータ管理装置４に登録する。
読み出し装置３は、撮像装置１−２から映像情報を入力し、当該映像情報に含まれる物体に関連付けられたデータをデータ管理装置４から受信する。
【００２１】
図２は、物体データ間関連付けシステムの各装置の構成を示す概略ブロック図である。
撮像装置１−１、１−２は、物体を載置される撮影台１１と、撮影台１１に載置された物体が視野内に収まる位置に設置されたカメラ１２とを備える。本実施形態では、撮像装置１−１、１−２は筐体を有し、撮影台１１は、透明または半透明の素材で形成されており、当該筐体の上面に配置されているものとする。そして、カメラ１２は、筐体内部、即ち撮影台１１の下方に設置され、撮影台１１の上部に載置された物体を撮像するものとする。そして、撮像装置１−１は、映像情報を登録装置２に出力し、撮像装置１−２は、映像情報を読み出し装置３に出力する。
【００２２】
登録装置２は、映像情報取得部２１、安定化判定部２２（不安定化判定部）、特徴情報抽出部２３、特徴情報登録部２４、データ入力部２５、データ表示部２６、リンク情報生成部２７、リンク情報登録部２８を備える。
映像情報取得部２１は、撮像装置１−１から映像情報を取得する。なお、映像情報取得部２１は、撮像装置１−１が出力する映像情報の全てのフレーム画像を取得する必要は無く、所定のフレーム毎に、フレーム画像を取得しても良い。
安定化判定部２２は、映像情報取得部２１が取得した映像情報の中に物体が存在するか否か、及び当該映像情報に含まれる物体の映りが安定しているか否かを判定する。また、安定化判定部２２は、内部メモリに映像情報の背景画像を記憶する。ここで、背景画像とは、撮像装置１−１の撮影台１１に物体が載置されていないときの画像のことである。
特徴情報抽出部２３は、安定化判定部２２の判定結果に基づいて、映像情報取得部２１が取得した映像情報に含まれる物体の特徴を示す特徴情報を抽出する。ここで、特徴情報とは、例えば、映像情報のフレーム画像における物体の領域のエッジ部の座標を示す情報や、物体の重心の座標から輪郭までの角度毎の距離を示す情報など、物体の形状の特徴を示す情報のことである。
特徴情報登録部２４は、特徴情報抽出部２３が抽出した特徴情報をデータ管理装置４に送信する。
【００２３】
データ入力部２５は、ユーザから、特徴情報抽出部２３が抽出した特徴情報に関連付けるデータの入力を受け付ける。
データ表示部２６は、データ入力部２５が入力を受け付けたデータを表示する。
リンク情報生成部２７は、特徴情報抽出部２３が抽出した特徴情報とデータ入力部２５が入力を受け付けたデータとを関連付けるリンク情報を生成する。
リンク情報登録部２８は、リンク情報生成部２７が生成したリンク情報をデータ管理装置４に送信する。
【００２４】
読み出し装置３は、映像情報取得部３１、安定化判定部３２（不安定化判定部）、特徴情報抽出部３３、特徴情報検索部３４、データ取得部３５、データ表示部３６を備える。
映像情報取得部３１は、撮像装置１−２から映像情報を取得する。
安定化判定部３２は、映像情報取得部３１が取得した映像情報に含まれる物体の映りが安定しているか否かを判定する。また、安定化判定部２２は、内部メモリに映像情報の背景画像を記憶する。
特徴情報抽出部３３は、安定化判定部３２の判定結果に基づいて、映像情報取得部３１が取得した映像情報に含まれる物体の特徴を示す特徴情報を抽出する。
特徴情報検索部３４は、データ管理装置４から、特徴情報抽出部３３が抽出した特徴情報と類似する特徴情報を検索する。
データ取得部３５は、特徴情報検索部３４の検索結果として得られた特徴情報に関連付けられたデータをデータ管理装置４から取得する。
データ表示部３６は、データ取得部３５が取得したデータを表示する。
【００２５】
データ管理装置４は、データ管理部４１、データベース４２、データ記憶部４３を備える。
データ管理部４１は、データベース４２への情報の登録、及びデータベース４２からの情報の読み出しを行う。また、データ管理部４１は、物体に関連付けられたデータのデータ記憶部４３への登録、及び物体に関連付けられたデータのデータ記憶部４３からの読み出しを行う。
データベース４２は、物体を特定する物体ＩＤと物体の特徴情報とを関連付けて記憶する特徴情報テーブル、データを特定するデータＩＤとデータ種別とデータ本体へのパスとを関連付けて記憶するデータテーブル、物体ＩＤとデータＩＤとの関連付けを示すリンク情報を記憶するリンクテーブルを記憶する。
データ記憶部４３は、物体に関連付けられたデータの本体を記憶する。
【００２６】
図３は、データベースが記憶する各テーブルの構成を示す図である。
データベース４２が記憶する特徴情報テーブルは、図２（ａ）に示すように、物体ＩＤと特徴情報とを関連付けて記憶する。なお、物体ＩＤ及び特徴情報は、特徴情報テーブル内において一意（ｕｎｉｑｕｅ）であるものとする。
データベース４２が記憶するデータテーブルは、図２（ｂ）に示すように、データＩＤとデータ種別とパスとを関連付けて記憶する。なお、データＩＤ及びパスは、データテーブル内において一意であるものとする。
データベース４２が記憶するリンクテーブルは、図２（ｃ）に示すように、物体ＩＤとデータＩＤとを関連付けて記憶する。なお、物体ＩＤ及びデータＩＤは、リンクテーブル内において一意でなくても良い。つまり、ある物体ＩＤに複数のデータＩＤが関連付けられていても良い、また、あるデータＩＤが複数の物体ＩＤに関連付けられていても良い。
【００２７】
そして、登録装置２の映像情報取得部２１は、撮像装置１−１から映像情報を取得し、安定化判定部２２は、映像情報取得部２１が取得した映像情報の中に物体が存在するか否かを判定する。次に、特徴情報抽出部２３は、安定化判定部２２によって物体が存在すると判定された場合に、映像情報取得部２１が取得した映像情報から物体の特徴を示す特徴情報を抽出する。そして、データ入力部２５は、物体に関連付けるデータの入力を受け付け、リンク情報登録部２８は、データ入力部２５が入力を受け付けたデータと特徴情報抽出部２３が抽出した特徴情報とを関連付けてデータ管理装置４のデータベース４２に登録する。
【００２８】
他方、読み出し装置３の映像情報取得部３１は、撮像装置１−２から映像情報を取得し、安定化判定部３２は、映像情報取得部３１が取得した映像情報の中に物体が存在するか否かを判定する。次に、特徴情報抽出部３３は、安定化判定部３２によって物体が存在すると判定された場合に、映像情報取得部３１が取得した映像情報から物体の特徴を示す特徴情報を抽出する。そして、特徴情報検索部３４は、特徴情報抽出部３３が抽出した特徴情報との類似度が所定の閾値以上となる特徴情報をデータベース４２から検索し、データ取得部３５は、特徴情報検索部３４による検索結果として得られた特徴情報に関連付けられたデータをデータベース４２から取得する。次に、データ表示部３６は、データ取得部３５が取得したデータを表示する。
これにより、物体データ間関連付けシステムは、タグの貼付を行わずに任意の物体とデータとを関連付けることができる。
【００２９】
次に、本実施形態による物体データ間関連付けシステムの動作を説明する。
まず、登録装置２による、物体とデータとを関連付けるリンク情報の登録動作を説明する。
図４は、登録装置の動作を示すフローチャートである。
登録装置２が起動すると、登録装置２に接続された撮像装置１−１のカメラ１２は、撮影台１１の上部の撮像を開始する。そして、映像情報取得部２１は、カメラ１２が撮像した映像情報を取得する（ステップＳ１０１）。次に、安定化判定部２２は、映像情報の中に物体が存在するか否か、そして映像情報において物体の映りが安定しているか否かを判定する安定化判定処理を実行する（ステップＳ１０２）。
【００３０】
図５は、安定化判定部による安定化判定処理の動作を示すフローチャートである。
安定化判定部２２は、安定化判定処理を開始すると、まず、映像情報取得部２１が取得した映像情報の現在のフレーム画像と内部メモリに記憶する背景画像との各画素の差分を算出し、当該差分の画素からなる差分画像を生成する（ステップＳ３０１）。
次に、安定化判定部２２は、生成した差分画像から、フレーム画像に含まれる前景の最外郭のシルエットを抽出し、シルエット画像を生成する（ステップＳ３０２）。
【００３１】
シルエット画像の生成は、例えば以下のように行う。
まず、安定化判定部２２は、差分画像に対して二値化処理を行い、二値化画像を生成する。二値化処理とは、各画素の明るさを所定の閾値により、黒色と白色の２つの値に変換する処理のことである。二値化処理は、例えば、１９７９年に大津展之によって提案された閾値設定手法を用いて行うと良い。次に、安定化判定部２２は、二値化画像の各画素に対して背景部分であるか前景部分であるかを示すラベル情報を付与するラベリング処理を行う。なお、ラベリング処理とは、同じ画素値を示す隣接する画素に同一のラベル情報を付与することで、画素集合として分類する処理のことである。そして、安定化判定部２２は、前景部分であることを示すラベル情報が付与された画素集合のうち最大の画素集合の最外郭に囲まれた画素を黒色とし、他の画素を白色とするシルエット画像を生成する。
【００３２】
安定化判定部２２は、ステップＳ３０２でシルエット画像を生成すると、生成したシルエット画像のうち黒色画素の画素数を算出することで、フレーム画像に含まれる前景の面積Ｓ（以下、面積Ｓと記載する）を算出する（ステップＳ３０３）。次に、安定化判定部２２は、面積Ｓが、フレーム画像に物体が含まれるか否かを判定する物体存在判定閾値ｅ以上であるか否かを判定する（ステップＳ３０４）。
【００３３】
安定化判定部２２は、面積Ｓが物体存在判定閾値ｅ未満であると判定した場合（ステップＳ３０４：ＮＯ）、物体が撮像装置１−１の撮影台１１に載置されていない「未載置状態」であると判定し（ステップＳ３０５）、安定化判定処理を終了する。
【００３４】
他方、安定化判定部２２は、面積Ｓが物体存在判定閾値ｅ以上であると判定した場合（ステップＳ３０４：ＹＥＳ）、内部メモリから、連続安定化フレーム数Ｎと直前のフレーム画像における前景の面積Ｓ´（以下、面積Ｓ´と記載する）を読み出す（ステップＳ３０６）。なお、連続安定化フレーム数Ｎとは、物体が安定して撮影台１１に載置されていると連続して判定されたフレーム数を示す。また、連続安定化フレーム数Ｎ及び面積Ｓ´は、後述する処理で内部メモリに登録される情報であり、初回実行時の内部メモリには、連続安定化フレーム数Ｎ、面積Ｓ´として「０」が記憶されているものとする。
【００３５】
安定化判定部２２は、ステップＳ３０６で連続安定化フレーム数Ｎと面積Ｓ´とを読み出すと、面積Ｓ´と面積Ｓとの差の絶対値が、物体が安定して撮影台１１に載置されているか否かを判定する安定化判定閾値ｓ未満であるか否かを判定する（ステップＳ３０７）。
【００３６】
安定化判定部２２は、面積Ｓ´と面積Ｓとの差の絶対値が安定化判定閾値ｓ以上であると判定した場合（ステップＳ３０７：ＮＯ）、連続安定化フレーム数Ｎを０にリセットして内部メモリに記録し、また、面積Ｓを面積Ｓ´として内部メモリに記録する（ステップＳ３０８）。そして、安定化判定部２２は、フレーム画像において、物体の映りが不安定である「不安定状態」であると判定し（ステップＳ３０９）、安定化判定処理を終了する。
【００３７】
他方、安定化判定部２２は、面積Ｓ´と面積Ｓとの差の絶対値が安定化判定閾値ｓ未満であると判定した場合（ステップＳ３０７：ＹＥＳ）、連続安定化フレーム数Ｎに１を加算して内部メモリに記録し、また、面積Ｓを面積Ｓ´として内部メモリに記録する（ステップＳ３１０）。次に、安定化判定部２２は、連続安定化フレーム数Ｎが、物体が安定して撮影台１１に載置された状態が継続しているか否かを判定するフレーム数である連続安定化判定閾値ｎ以上であるか否かを判定する（ステップＳ３１１）。
【００３８】
安定化判定部２２は、連続安定化フレーム数Ｎが連続安定化判定閾値ｎ未満であると判定した場合（ステップＳ３１１：ＮＯ）、フレーム画像の状態が「不安定状態」であると判定し（ステップＳ３０９）、安定化判定処理を終了する。
他方、安定化判定部２２は、連続安定化フレーム数Ｎが連続安定化判定閾値ｎ以上であると判定した場合（ステップＳ３１１：ＹＥＳ）、フレーム画像から前景画像を抽出し、内部メモリに記録する（ステップＳ３１２）。即ち、安定化判定部２２は、「安定状態」であると判定したフレーム画像のうち、最初のフレーム画像を内部メモリに記録する。
【００３９】
前景画像は、例えば、ステップＳ３０２で生成したシルエット画像を切落しマスクとして、安定化判定部２２がフレーム画像の切落しを行うことにより得ることができる。ここで、切落しマスクとは、ピクセルマップによって定義される領域であって、その境界の外側の表示データを切り取るものである。また、切落しとは、切落しマスクの外側にある表示要素を全部除去することによって、内側のデータだけを取り出す動作のことである。
安定化判定部２２は、ステップＳ３１２で前景画像を記憶すると、フレーム画像において、物体の映りが安定している「安定状態」であると判定し（ステップＳ３１３）、安定化判定処理を終了する。
【００４０】
図６は、映像情報のフレーム数と面積Ｓとの関係を示すグラフである。
つまり、安定化判定処理において安定化判定部２２は、映像情報取得部２１が取得した映像情報の各フレーム画像に含まれる物体の領域の面積Ｓを算出し、図６に示すように、連続するフレーム画像間における物体の領域の面積の差の絶対値｜Ｓ´−Ｓ｜が、連続安定化判定閾値ｎ以上連続して安定化判定閾値ｓの範囲内である場合に、物体の映りが安定している状態である「安定状態」であると判定する。
【００４１】
安定化判定部２２は、図４に示すステップＳ１０２による安定化判定処理を完了すると、安定化判定処理において、フレーム画像の状態が「安定状態」であると判定したか否かを判定する（ステップＳ１０３）。安定化判定部２２は、フレーム画像の状態が「未載置状態」または「不安定状態」であると判定した場合（ステップＳ１０３：ＮＯ）、ステップＳ１０２に戻り、次のフレーム画像に対する安定化判定処理を行う。
【００４２】
他方、安定化判定部２２が、フレーム画像の状態が「安定状態」であると判定した場合（ステップＳ１０３：ＹＥＳ）、特徴情報抽出部２３は、「安定状態」であると判定されたフレーム画像から特徴情報を抽出する（ステップＳ１０４）。
【００４３】
特徴情報の抽出は、例えば、特徴情報としてフレーム画像における物体の領域のエッジ部の座標を示す情報（特徴点）を用いる場合、特徴情報抽出部２３は、安定化判定部２２が図５に示すステップＳ３１２で生成した前景画像に対してＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）やＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）などの特徴点抽出手法を用いることで、複数の特徴点の集合からなる特徴情報を抽出することができる。
【００４４】
また、特徴情報として、物体の重心の座標から輪郭までの角度毎の距離を示す情報（極座標情報）など、物体の形状の特徴を示す情報を用いる場合、特徴情報抽出部２３は、安定化判定部２２が図５に示すステップＳ３０２で生成したシルエット画像における、物体の重心から画素値の切り替わりの点までの距離を所定の角度毎に三角関数を用いて算出することで、特徴情報を抽出することができる。
【００４５】
ステップＳ１０４で特徴情報抽出部２３が特徴情報を抽出すると、特徴情報登録部２４は、抽出した特徴情報をデータ管理装置４に送信し、当該特徴情報との類似度が所定の閾値以上となる特徴情報がデータ管理装置４のデータベース４２に未登録であるか否かを問い合わせる（ステップＳ１０５）。
【００４６】
データ管理装置４のデータ管理部４１は、登録装置２から特徴情報を受信すると、当該特徴情報とデータベース４２が記憶する特徴情報テーブルに格納された各特徴情報との類似度を算出する。類似度の算出は、例えば以下のように行う。
特徴情報としてＳＩＦＴやＳＵＲＦによって算出された特徴点を用いる場合、データ管理部４１は、特徴点同士の類似度の合計が最大となる組み合わせを割当問題解法アルゴリズム（例えば線形計画法）によって算出し、各特徴点の類似度の合計値を、特徴情報間の類似度として算出する。
特徴情報として極座標情報を用いる場合、データ管理部４１は、極座標情報が示すデータ列の先頭を１つずつずらしながら、すなわち角度をずらしながら極座標情報同士の類似度を算出し、最大となる類似度を特徴情報間の類似度として算出する。
【００４７】
そして、データ管理部４１は、登録装置２から受信した特徴情報とデータベース４２が記憶する特徴情報テーブルに格納された各特徴情報との類似度のうち最大のものが、所定の閾値以上であるか否かを判定する。
データ管理部４１は、登録装置２から受信した特徴情報との類似度が所定の閾値以上であると判定した場合、類似度が最大となる特徴情報に関連付けられた物体ＩＤを特徴情報テーブルから読み出し、登録装置２に送信する。他方、データ管理部４１は、登録装置２から受信した特徴情報との類似度が所定の閾値以上であると判定した場合、特徴情報が未登録であると判定し、特徴情報が未登録であることを示す情報を登録装置２に送信する。
【００４８】
登録装置２の特徴情報登録部２４は、データ管理装置４から、特徴情報が未登録であることを示す情報を受信した場合（ステップＳ１０５：ＮＯ）、当該特徴情報の登録要求をデータ管理装置４に送信する（ステップＳ１０６）。データ管理装置４のデータ管理部４１は、登録装置２から登録要求を受信すると、ステップＳ１０５で受信した特徴情報をデータベース４２の特徴情報テーブルに記録し、当該特徴情報に関連付けて固有の物体ＩＤを付与する。そして、データ管理部４１は、付与した物体ＩＤを登録装置２に通知する。
【００４９】
他方、登録装置２の特徴情報登録部２４は、データ管理装置４から、特徴情報に関連付けられた物体ＩＤを受信した場合（ステップＳ１０５：ＹＥＳ）、データ管理装置４から受信した物体ＩＤに関連付けられたデータの送信要求を送信する。
データ管理装置４のデータ管理部４１は、登録装置２から物体ＩＤを含む送信要求を受信すると、データベース４２のリンク情報テーブルから受信した物体ＩＤに関連付けられたデータＩＤを全て読み出す。次に、データ管理部４１は、データベース４２のデータテーブルから、読み出したデータＩＤに関連付けられたデータのパスを読み出す。次に、データ管理部４１は、データ記憶部４３から、読み出したパスによって特定されるデータを読み出す。そして、データ管理部４１は、読み出したデータを登録装置２に送信する。
登録装置２の特徴情報登録部２４は、データ管理装置４からデータを受信する（ステップＳ１０７）。
【００５０】
ステップＳ１０６で特徴情報登録部２４が特徴情報の物体ＩＤを受信すると、またはステップＳ１０７で、特徴情報登録部２４が物体に関連付けられたデータを受信すると、データ入力部２５は、ユーザから物体に関連付けるデータの入力を受け付ける（ステップＳ１０８）。ここで、データの入力とは、外部から登録装置２にデータを取り入れること、または登録装置２に予め登録されているデータの中から関連付けるデータを選択することである。
【００５１】
以下に、データの入力方法の一例を説明する。
登録装置２がデータ管理装置４から物体ＩＤを受信すると、データ表示部２６は、登録装置２に予め登録されているデータの一覧を表示する。ユーザは、ゲーム用リモコンや奥行カメラなど、直感的ジェスチャを検出する入力装置を介して、登録装置２のデータ入力部２５へ出力する。このように、データの選択を直感的なジェスチャによって行うことで、ユーザが高度な編集技術を有していなくても簡単に送信データの選択を行うことができる。なお、ステップＳ１０７で特徴情報登録部２４が物体ＩＤに関連付けられているデータを受信している場合、データ入力部２５は、受信したデータに追加するデータとしてデータの入力を受け付ける。
また、このとき、マイクやカメラを介して、関連付けたデータの説明の音声や映像をデータ入力部２５に出力しても良い。
【００５２】
ステップＳ１０８で、データ入力部２５がユーザから関連付けるデータの入力を受け付けると、データ表示部２６は、データ入力部２５が入力を受け付けたデータを順に表示する（ステップＳ１０９）。この表示は、データ入力部２５が入力を受け付けたデータを物体に関連付けても良いか否かの確認を行うために行っている。そして、ユーザは物体を撮像装置１−１の撮影台１１から除去することで、データの関連付けをキャンセルする。
そのため、ステップＳ１０９でデータ表示部２６がデータの表示を行っている間、安定化判定部２２は、ユーザによって物体が除去されたか否かを判定する不安定化判定処理を実行する（ステップＳ１１０）。
【００５３】
図７は、安定化判定部による不安定化判定処理の動作を示すフローチャートである。
図８は、フレーム画像の切落しによって得られる切落し画像を示す図である。
安定化判定部２２は、不安定化判定処理を開始すると、まず、図８（ａ）に示すステップＳ３１２で内部メモリに記録した安定状態の前景画像を切落しマスクとして、図８（ｂ）に示す映像情報取得部２１が取得した映像情報の現在のフレーム画像の切落しを行い、図８（ｃ）に示す切落し画像を生成する（ステップＳ４０１）。
これにより、フレーム画像に含まれる影などによる前景の最外郭の変化を無視することができる。
【００５４】
次に、安定化判定部２２は、内部メモリに記憶する安定状態の前景画像の各画素値と、ステップＳ４０１で生成した切落し画像の各画素値とを、それぞれ比較し、画素値の異なり度合いを示す差分値を算出する（ステップＳ４０２）。
具体的には、安定化判定部２２は、まず前景画像及び切落し画像を色空間成分の各チャンネルの画像に分離する。ここで、色空間成分とは、ＲＧＢ（赤、緑、青）、ＹＭＣＫ（イエロー、マゼンタ、シアン）、ＨＳＶ（色相、彩度、明度）、ＹＣｂＣｒ（輝度、青信号色差、赤信号色差）、ＹＰｂＰｒ（輝度、青信号色差、赤信号色差）などである。次に、安定化判定部２２は、分離した画像の各画素値の差の絶対値を算出する。そして、安定化判定部２２は、算出した輝度値の差の絶対値を合計することで、差分値を算出する。つまり、差分値が大きいほど、画像間の差異が大きいということが分かる。
【００５５】
安定化判定部２２は、ステップＳ４０２で安定状態の前景画像の画素値と切落し画像の画素値との比較結果である差分値を算出すると、算出した差分値が所定の閾値以上であるか否かを判定する（ステップＳ４０３）。安定化判定部２２は、算出した差分値が所定の閾値以上であると判定した場合（ステップＳ４０３：ＹＥＳ）、フレーム画像において物体の映りが不安定である「不安定状態」であると判定し（ステップＳ４０４）、不安定化判定処理を終了する。他方、安定化判定部２２は、算出した差分値が所定の閾値未満であると判定した場合（ステップＳ４０３：ＮＯ）、フレーム画像において物体の映りが安定している「安定状態」であると判定し（ステップＳ４０５）、不安定化判定処理を終了する。
【００５６】
安定化判定部２２は、図４に示すステップＳ１１０による不安定化判定処理を完了すると、不安定化判定処理において、データ表示部２６がデータの表示を行っている間、フレーム画像の状態が「安定状態」であると判定したか否かを判定する（ステップＳ１１１）。即ち、安定化判定部２２は、データ表示部２６によるデータの表示中に物体が撮像装置１−１の撮影台１１から除去されたか否かを判定する。
安定化判定部２２は、データ表示部２６がデータの表示を行っている途中に、フレーム画像の状態が「不安定状態」であると判定した場合（ステップＳ１１１：ＮＯ）、ステップＳ１０９によるデータの表示を中断し、処理を終了する。
【００５７】
他方、安定化判定部２２は、データ表示部２６によるデータの表示が終了するまで、フレーム画像の状態が「安定状態」のままであると判定した場合（ステップＳ１１１：ＹＥＳ）、リンク情報生成部２７は、データ入力部２５が入力したデータと、ステップＳ１０５またはステップＳ１０６で特徴情報登録部２４が受信した物体ＩＤとを関連付けるリンク情報を生成する（ステップＳ１１２）。そして、リンク情報登録部２８は、データ入力部２５が入力したデータ及びリンク情報生成部２７が生成したリンク情報の登録要求をデータ管理装置４に送信する（ステップＳ１１３）。
【００５８】
データ管理装置４のデータ管理部４１は、登録装置２から登録要求を受信すると、登録装置２から受信したデータをデータ記憶部４３に登録し、データ記憶部４３の登録先のパスを取得する。そして、データ管理部４１は、データベース４２のデータテーブルに、登録したデータの種別と取得したパスとを記録する。また、データ管理部４１は、データテーブルに、登録したデータ種別及びパスの組み合わせに関連付けて固有のデータＩＤを記録する。
そして、データ管理部４１は、データベース４２のリンクテーブルに、登録装置２から受信した物体ＩＤとデータテーブルに記録したデータＩＤとを関連付けて記録する。
【００５９】
ステップＳ１３でリンク情報登録部２８がリンク情報の登録要求を送信すると、安定化判定部２２は、上述した不安定化判定処理を行う（ステップＳ１１４）。そして、安定化判定部２２は、不安定化判定処理により、「安定状態」であると判定したか否かを判定する（ステップＳ１１５）。安定化判定部２２は、「安定状態」であると判定した場合（ステップＳ１１５：ＹＥＳ）、ステップＳ１１４に戻り、不安定化判定処理を繰り返し実行する。
他方、安定化判定部２２が、「不安定状態」であると判定した場合（ステップＳ１１５：ＮＯ）、登録装置２は、処理を終了する。
【００６０】
次に、読み出し装置３による、物体に関連付けられたデータの読み出し動作を説明する。
図９は、読み出し装置の動作を示すフローチャートである。
読み出し装置３が起動すると、読み出し装置３に接続された撮像装置１−２のカメラ１２は、撮影台１１の上部の撮像を開始する。そして、映像情報取得部３１は、カメラ１２が撮像した映像情報を取得する（ステップＳ２０１）。次に、安定化判定部３２は、登録装置２の安定化判定部２２と同様に、安定化判定処理を実行する（ステップＳ２０２）。
【００６１】
次に、安定化判定部３２は、安定化判定処理において、フレーム画像の状態が「安定状態」であると判定したか否かを判定する（ステップＳ２０３）。安定化判定部３２は、フレーム画像の状態が「未載置状態」または「不安定状態」であると判定した場合（ステップＳ２０３：ＮＯ）、ステップＳ２０２に戻り、次のフレーム画像に対する安定化判定処理を行う。
【００６２】
他方、安定化判定部３２が、フレーム画像の状態が「安定状態」であると判定した場合（ステップＳ２０３：ＹＥＳ）、特徴情報抽出部２３は、「安定状態」であると判定されたフレーム画像から特徴情報を抽出する（ステップＳ２０４）。
次に、特徴情報検索部３４は、抽出した特徴情報をデータ管理装置４に送信し、当該特徴情報との類似度が所定の閾値以上となる特徴情報がデータ管理装置４のデータベース４２に未登録であるか否かを問い合わせる（ステップＳ２０５）。
【００６３】
データ管理装置４のデータ管理部４１は、読み出し装置３から特徴情報を受信すると、当該特徴情報とデータベース４２が記憶する特徴情報テーブルに格納された各特徴情報との類似度を算出する。そして、データ管理部４１は、読み出し装置３から受信した特徴情報とデータベース４２が記憶する特徴情報テーブルに格納された各特徴情報との類似度のうち最大のものが、所定の閾値以上であるか否かを判定する。
データ管理部４１は、読み出し装置３から受信した特徴情報との類似度が所定の閾値以上であると判定した場合、類似度が最大となる特徴情報に関連付けられた物体ＩＤを特徴情報テーブルから読み出し、読み出し装置３に送信する。他方、データ管理部４１は、読み出し装置３から受信した特徴情報との類似度が所定の閾値以上であると判定した場合、特徴情報が未登録であると判定し、特徴情報が未登録であることを示す情報を読み出し装置３に送信する。
【００６４】
読み出し装置３の特徴情報検索部３４が、データ管理装置４から、特徴情報が未登録であることを示す情報を受信した場合（ステップＳ２０５：ＮＯ）、データ表示部３６は、撮像装置１−２の撮影台１１に載置された物体が未登録である旨を表示し（ステップＳ２０６）、処理を終了する。
【００６５】
他方、特徴情報検索部３４がデータ管理装置４から、特徴情報に関連付けられた物体ＩＤを受信した場合（ステップＳ２０５：ＹＥＳ）、データ取得部３５は、データ管理装置４から受信した物体ＩＤに関連付けられたデータの送信要求を送信する。
データ管理装置４のデータ管理部４１は、読み出し装置３から物体ＩＤを含む送信要求を受信すると、データベース４２のリンク情報テーブルから、受信した物体ＩＤに関連付けられたデータＩＤを全て読み出す。次に、データ管理部４１は、データベース４２のデータテーブルから、読み出したデータＩＤに関連付けられたデータのパスを読み出す。次に、データ管理部４１は、データ記憶部４３から、読み出したパスによって特定されるデータを読み出す。そして、データ管理部４１は、読み出したデータを読み出し装置３に送信する。
【００６６】
そして、読み出し装置３のデータ取得部３５は、データ管理装置４からデータを受信する（ステップＳ２０７）。次に、データ表示部３６は、データ取得部３５が入力を受け付けたデータを表示する（ステップＳ２０８）。このとき、ユーザは物体を撮像装置１−２の撮影台１１から除去することで、データの表示を終了する。
そのため、ステップＳ２０８でデータ表示部３６がデータの表示を行っている間、安定化判定部３２は、ユーザによって物体が除去されたか否かを判定する不安定化判定処理を実行する（ステップＳ２０９）。
【００６７】
そして、安定化判定部３２は、不安定化判定処理により、「安定状態」であると判定したか否かを判定する（ステップＳ２１０）。安定化判定部３２は、「安定状態」であると判定した場合（ステップＳ２１０：ＹＥＳ）、ステップＳ２０９に戻り、不安定化判定処理を繰り返し実行する。
他方、安定化判定部３２が、「不安定状態」であると判定した場合（ステップＳ２１０：ＮＯ）、読み出し装置３は、処理を終了する。
【００６８】
このように、本実施形態によれば、登録装置２は、物体の映像から抽出した特徴情報とデータとを関連付けてデータ管理装置４に登録し、読み出し装置３は、物体の映像から抽出した特徴情報に関連付けられたデータをデータ管理装置４から読み出すため、タグの貼付を行わずに任意の物体とデータとを関連付けることができる。
【００６９】
図１０は、本実施形態による物体データ間関連付けシステムの利用例を示す図である。
本実施形態による物体データ間関連付けシステムは、映像が詰まった（関連付けられた）思い出の品を使った世代間コミュニケーションツールとして用いることができる。
具体的には、データの送り手である孫は、旅先で拾った貝殻などの思い出の品をテレビの前の撮像装置１−１に置き、登録装置２に対して簡単な操作をすることで、思い出の品に詰め込みたい（関連付けたい）映像を編集することができる。
そして、この思い出の品を受け取った祖父母は、当該思い出の品をテレビの前の撮像装置１−２に置くだけで、読み出し装置３が動作し、思い出の品に詰められた（関連付けられた）映像を見ることができる。
このように、本実施形態による物体データ間関連付けシステムは、思い出の品を置くという簡単かつ直感的な操作で動作するため、ＩＴリテラシの低いユーザでも、ネットワークを介してデータの共有を行うことができる。
【００７０】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、本実施形態では、物体データ間関連付けシステムが、物体とデータとの関連付けを行う登録装置２と物体から関連付けられたデータを読み出す読み出し装置３が別の装置として構成される例を説明したが、これに限られず、物体とデータとの関連付けを行う機能と物体から関連付けられたデータを読み出す機能とを備える装置によって構成されていても良い。
【００７１】
また、本実施形態では、物体データ間関連付けシステムが、登録装置２と読み出し装置３とを１つずつ備える場合を説明したが、実際には多数の登録装置２と読み出し装置３によって構成される。
【００７２】
また、本実施形態では、撮像装置１−１、１−２のカメラ１２は、透明または半透明の素材で形成された撮影台１１の下方に設置され、撮影台１１の上部に載置された物体を撮像する場合を説明したが、これに限られず、例えば、撮像装置１−１、１−２の筐体内部に撮影台が設置され、カメラ１２が撮影台１１の上方に設置されることで、カメラ１２が撮影台１１の上部に載置された物体を撮像するようにしても良い。この場合、ユーザが撮像装置１−１、１−２の筐体の蓋を開け、任意の物体を箱の中に入れることで、撮像装置１−１、１−２が物体の撮像を行うこととなる。
【００７３】
上述の登録装置２、読み出し装置３、データ管理装置４は内部に、コンピュータシステムを有している。そして、上述した各処理部の動作は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００７４】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００７５】
１−１、１−２…撮像装置 ２…登録装置 ３…読み出し装置 ４…データ管理装置 １１…撮影台 １２…カメラ ２１、３１…映像情報取得部 ２２、３２…安定化判定部 ２３、３３…特徴情報抽出部 ２４…特徴情報登録部 ２５…データ入力部 ２６…データ表示部 ２７…リンク情報生成部 ２８…リンク情報登録部 ３４…特徴情報検索部 ３５…データ取得部 ３６…データ表示部 ４１…データ管理部 ４２…データベース ４３…データ記憶部
【特許請求の範囲】
【請求項１】
任意の物体とデータとを関連付けてデータベースに登録し、前記物体に関連付けられたデータを前記データベースから読み出す物体データ間関連付けシステムであって、
撮像装置から映像情報を取得する映像情報取得部と、
前記映像情報取得部が取得した映像情報の中に物体が存在するか否かを判定する存在判定部と、
前記存在判定部によって物体が存在すると判定された場合に、前記映像情報取得部が取得した映像情報から前記物体の特徴を示す特徴情報を抽出する特徴情報抽出部と、
前記物体に関連付けるデータの入力を受け付けるデータ入力部と、
前記データ入力部が入力を受け付けたデータと前記特徴情報抽出部が抽出した特徴情報とを関連付けて前記データベースに登録する登録部と、
前記特徴情報抽出部が抽出した特徴情報との類似度が所定の閾値以上となる特徴情報を前記データベースから検索する特徴情報検索部と、
前記特徴情報検索部による検索結果として得られた特徴情報に関連付けられたデータを前記データベースから取得するデータ取得部と、
前記データ取得部が取得したデータを表示するデータ表示部と、
を備えることを特徴とする物体データ間関連付けシステム。
【請求項２】
前記存在判定部は、前記映像情報取得部が取得した映像情報のフレーム画像に含まれる前記物体の領域の面積を算出し、当該面積が所定の閾値を超える場合に、前記物体が存在すると判定する
ことを特徴とする請求項１に記載の物体データ間関連付けシステム。
【請求項３】
前記映像情報取得部が取得した映像情報において、関連付けの対象となる物体の映りが安定しているか否かを判定する安定化判定部を備え、
前記特徴情報抽出部は、前記安定化判定部によって前記物体の映りが安定していると判定された場合に、映像情報から前記物体の特徴を示す特徴情報を抽出する
ことを特徴とする請求項１または請求項２に記載の物体データ間関連付けシステム。
【請求項４】
前記安定化判定部は、前記映像情報取得部が取得した映像情報の各フレーム画像に含まれる前記物体の領域の面積を算出し、連続するフレーム画像間における前記物体の領域の面積の差が所定の範囲内である場合に、前記物体の映りが安定していると判定する
ことを特徴とする請求項３に記載の物体データ間関連付けシステム。
【請求項５】
前記安定化判定部は、前記映像情報取得部が取得した映像情報の連続するフレーム画像間における前記物体の領域の面積の差が、所定のフレーム数以上連続して所定の範囲内である場合に、前記物体の映りが安定していると判定する
ことを特徴とする請求項４に記載の物体データ間関連付けシステム。
【請求項６】
前記安定化判定部によって前記物体の映りが安定していると判定したフレーム画像のうち最初のフレーム画像の各画素値と前記映像情報取得部が取得した映像情報の現在のフレーム画像の各画素値との差が、所定の閾値を超えた場合に、前記物体の映りが安定していないと判定する不安定化判定部を備え、
前記登録部は、前記データベースへの登録を実行する前に、前記不安定化判定部によって前記物体の映りが安定していないと判定された場合、前記データベースへの登録を中止し、
前記表示部は、前記不安定化判定部によって前記物体の映りが安定していないと判定された場合、前記読み出したデータの表示を終了する
ことを特徴とする請求項３から請求項５の何れか１項に記載の物体データ間関連付けシステム。
【請求項７】
前記不安定化判定部は、
前記安定化判定部によって前記物体の映りが安定していると判定したフレーム画像のうち最初のフレーム画像における前記物体の領域を切落しマスクとして、前記安定化判定部によって前記物体の映りが安定していると判定した最初のフレーム画像の切落しにより得られる画像の各画素値と、前記映像情報取得部が取得した映像情報の現在のフレーム画像の切落しにより得られる画像の各画素値との差が、所定の閾値を超えた場合に、前記物体の映りが安定していないと判定する
ことを特徴とする請求項６に記載の物体データ間関連付けシステム。
【請求項８】
任意の物体とデータとを関連付けてデータベースに登録し、前記物体に関連付けられたデータを前記データベースから読み出す物体データ間関連付けシステムを用いた物体データ間関連付け方法であって、
映像情報取得部は、撮像装置から映像情報を取得し、
存在判定部は、前記映像情報取得部が取得した映像情報の中に物体が存在するか否かを判定し、
特徴情報抽出部は、前記存在判定部によって物体が存在すると判定された場合に、前記映像情報取得部が取得した映像情報から前記物体の特徴を示す特徴情報を抽出し、
データ入力部は、前記物体に関連付けるデータの入力を受け付け、
登録部は、前記データ入力部が入力を受け付けたデータと前記特徴情報抽出部が抽出した特徴情報とを関連付けて前記データベースに登録し、
特徴情報検索部は、前記特徴情報抽出部が抽出した特徴情報との類似度が所定の閾値以上となる特徴情報を前記データベースから検索し、
データ取得部は、前記特徴情報検索部による検索結果として得られた特徴情報に関連付けられたデータを前記データベースから取得し、
データ表示部は、前記データ取得部が取得したデータを表示する、
ことを特徴とする物体データ間関連付け方法。
【請求項９】
任意の物体とデータとを関連付けてデータベースに登録する登録装置であって、
撮像装置から映像情報を取得する映像情報取得部と、
前記映像情報取得部が取得した映像情報の中に物体が存在するか否かを判定する存在判定部と、
前記存在判定部によって物体が存在すると判定された場合に、前記映像情報取得部が取得した映像情報から前記物体の特徴を示す特徴情報を抽出する特徴情報抽出部と、
前記物体に関連付けるデータの入力を受け付けるデータ入力部と、
前記データ入力部が入力を受け付けたデータと前記特徴情報抽出部が抽出した特徴情報とを関連付けて前記データベースに登録する登録部と、
を備えることを特徴とする登録装置。
【請求項１０】
物体に関連付けられたデータを、物体の特徴情報とデータとを関連付けて記憶するデータベースから読み出す読み出し装置であって、
撮像装置から映像情報を取得する映像情報取得部と、
前記映像情報取得部が取得した映像情報の中に物体が存在するか否かを判定する存在判定部と、
前記存在判定部によって物体が存在すると判定された場合に、前記映像情報取得部が取得した映像情報から前記物体の特徴を示す特徴情報を抽出する特徴情報抽出部と、
前記特徴情報抽出部が抽出した特徴情報との類似度が所定の閾値以上となる特徴情報を前記データベースから検索する特徴情報検索部と、
前記特徴情報検索部による検索結果として得られた特徴情報に関連付けられたデータを前記データベースから取得するデータ取得部と、
前記データ取得部が取得したデータを表示するデータ表示部と、
を備えることを特徴とする読み出し装置。
【請求項１】
任意の物体とデータとを関連付けてデータベースに登録し、前記物体に関連付けられたデータを前記データベースから読み出す物体データ間関連付けシステムであって、
撮像装置から映像情報を取得する映像情報取得部と、
前記映像情報取得部が取得した映像情報の中に物体が存在するか否かを判定する存在判定部と、
前記存在判定部によって物体が存在すると判定された場合に、前記映像情報取得部が取得した映像情報から前記物体の特徴を示す特徴情報を抽出する特徴情報抽出部と、
前記物体に関連付けるデータの入力を受け付けるデータ入力部と、
前記データ入力部が入力を受け付けたデータと前記特徴情報抽出部が抽出した特徴情報とを関連付けて前記データベースに登録する登録部と、
前記特徴情報抽出部が抽出した特徴情報との類似度が所定の閾値以上となる特徴情報を前記データベースから検索する特徴情報検索部と、
前記特徴情報検索部による検索結果として得られた特徴情報に関連付けられたデータを前記データベースから取得するデータ取得部と、
前記データ取得部が取得したデータを表示するデータ表示部と、
を備えることを特徴とする物体データ間関連付けシステム。
【請求項２】
前記存在判定部は、前記映像情報取得部が取得した映像情報のフレーム画像に含まれる前記物体の領域の面積を算出し、当該面積が所定の閾値を超える場合に、前記物体が存在すると判定する
ことを特徴とする請求項１に記載の物体データ間関連付けシステム。
【請求項３】
前記映像情報取得部が取得した映像情報において、関連付けの対象となる物体の映りが安定しているか否かを判定する安定化判定部を備え、
前記特徴情報抽出部は、前記安定化判定部によって前記物体の映りが安定していると判定された場合に、映像情報から前記物体の特徴を示す特徴情報を抽出する
ことを特徴とする請求項１または請求項２に記載の物体データ間関連付けシステム。
【請求項４】
前記安定化判定部は、前記映像情報取得部が取得した映像情報の各フレーム画像に含まれる前記物体の領域の面積を算出し、連続するフレーム画像間における前記物体の領域の面積の差が所定の範囲内である場合に、前記物体の映りが安定していると判定する
ことを特徴とする請求項３に記載の物体データ間関連付けシステム。
【請求項５】
前記安定化判定部は、前記映像情報取得部が取得した映像情報の連続するフレーム画像間における前記物体の領域の面積の差が、所定のフレーム数以上連続して所定の範囲内である場合に、前記物体の映りが安定していると判定する
ことを特徴とする請求項４に記載の物体データ間関連付けシステム。
【請求項６】
前記安定化判定部によって前記物体の映りが安定していると判定したフレーム画像のうち最初のフレーム画像の各画素値と前記映像情報取得部が取得した映像情報の現在のフレーム画像の各画素値との差が、所定の閾値を超えた場合に、前記物体の映りが安定していないと判定する不安定化判定部を備え、
前記登録部は、前記データベースへの登録を実行する前に、前記不安定化判定部によって前記物体の映りが安定していないと判定された場合、前記データベースへの登録を中止し、
前記表示部は、前記不安定化判定部によって前記物体の映りが安定していないと判定された場合、前記読み出したデータの表示を終了する
ことを特徴とする請求項３から請求項５の何れか１項に記載の物体データ間関連付けシステム。
【請求項７】
前記不安定化判定部は、
前記安定化判定部によって前記物体の映りが安定していると判定したフレーム画像のうち最初のフレーム画像における前記物体の領域を切落しマスクとして、前記安定化判定部によって前記物体の映りが安定していると判定した最初のフレーム画像の切落しにより得られる画像の各画素値と、前記映像情報取得部が取得した映像情報の現在のフレーム画像の切落しにより得られる画像の各画素値との差が、所定の閾値を超えた場合に、前記物体の映りが安定していないと判定する
ことを特徴とする請求項６に記載の物体データ間関連付けシステム。
【請求項８】
任意の物体とデータとを関連付けてデータベースに登録し、前記物体に関連付けられたデータを前記データベースから読み出す物体データ間関連付けシステムを用いた物体データ間関連付け方法であって、
映像情報取得部は、撮像装置から映像情報を取得し、
存在判定部は、前記映像情報取得部が取得した映像情報の中に物体が存在するか否かを判定し、
特徴情報抽出部は、前記存在判定部によって物体が存在すると判定された場合に、前記映像情報取得部が取得した映像情報から前記物体の特徴を示す特徴情報を抽出し、
データ入力部は、前記物体に関連付けるデータの入力を受け付け、
登録部は、前記データ入力部が入力を受け付けたデータと前記特徴情報抽出部が抽出した特徴情報とを関連付けて前記データベースに登録し、
特徴情報検索部は、前記特徴情報抽出部が抽出した特徴情報との類似度が所定の閾値以上となる特徴情報を前記データベースから検索し、
データ取得部は、前記特徴情報検索部による検索結果として得られた特徴情報に関連付けられたデータを前記データベースから取得し、
データ表示部は、前記データ取得部が取得したデータを表示する、
ことを特徴とする物体データ間関連付け方法。
【請求項９】
任意の物体とデータとを関連付けてデータベースに登録する登録装置であって、
撮像装置から映像情報を取得する映像情報取得部と、
前記映像情報取得部が取得した映像情報の中に物体が存在するか否かを判定する存在判定部と、
前記存在判定部によって物体が存在すると判定された場合に、前記映像情報取得部が取得した映像情報から前記物体の特徴を示す特徴情報を抽出する特徴情報抽出部と、
前記物体に関連付けるデータの入力を受け付けるデータ入力部と、
前記データ入力部が入力を受け付けたデータと前記特徴情報抽出部が抽出した特徴情報とを関連付けて前記データベースに登録する登録部と、
を備えることを特徴とする登録装置。
【請求項１０】
物体に関連付けられたデータを、物体の特徴情報とデータとを関連付けて記憶するデータベースから読み出す読み出し装置であって、
撮像装置から映像情報を取得する映像情報取得部と、
前記映像情報取得部が取得した映像情報の中に物体が存在するか否かを判定する存在判定部と、
前記存在判定部によって物体が存在すると判定された場合に、前記映像情報取得部が取得した映像情報から前記物体の特徴を示す特徴情報を抽出する特徴情報抽出部と、
前記特徴情報抽出部が抽出した特徴情報との類似度が所定の閾値以上となる特徴情報を前記データベースから検索する特徴情報検索部と、
前記特徴情報検索部による検索結果として得られた特徴情報に関連付けられたデータを前記データベースから取得するデータ取得部と、
前記データ取得部が取得したデータを表示するデータ表示部と、
を備えることを特徴とする読み出し装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−１３４０６６（Ｐ２０１１−１３４０６６Ａ）
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願番号】特願２００９−２９２４００（Ｐ２００９−２９２４００）
【出願日】平成２１年１２月２４日（２００９．１２．２４）
【出願人】（３９７０６５４８０）エヌ・ティ・ティ・コムウェア株式会社 (187)
【Ｆターム（参考）】
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願日】平成２１年１２月２４日（２００９．１２．２４）
【出願人】（３９７０６５４８０）エヌ・ティ・ティ・コムウェア株式会社 (187)
【Ｆターム（参考）】
[ Back to top ]