画像処理装置、プログラム、画像処理方法及び端末装置
【課題】行為者に過度の負担を課すことなく、行為の詳細を履歴としてより容易に管理することを可能とする。
【解決手段】実空間に存在するオブジェクトを入力画像内で識別する識別部と、前記識別部により識別される第１のオブジェクトと第２のオブジェクトとの間の物理的作用に対応するイベントを前記入力画像を用いて検出する検出部と、前記イベントの検出に応じて、前記第１のオブジェクトに関連付けられている属性データを前記第２のオブジェクトに関連付ける属性制御部と、を備える画像処理装置を提供する。
【解決手段】実空間に存在するオブジェクトを入力画像内で識別する識別部と、前記識別部により識別される第１のオブジェクトと第２のオブジェクトとの間の物理的作用に対応するイベントを前記入力画像を用いて検出する検出部と、前記イベントの検出に応じて、前記第１のオブジェクトに関連付けられている属性データを前記第２のオブジェクトに関連付ける属性制御部と、を備える画像処理装置を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、プログラム、画像処理方法及び端末装置に関する。
【背景技術】
【０００２】
医療分野では、医薬の調剤又は患者への投薬などの医療行為において生じ得る過誤を防止するための多くの取組みが行われている。例えば、点滴注射の薬液の調剤に際して、医師又は看護師は、点滴バッグに注入した薬液の名称及び量を、マーカペンなどの筆記具を用いて当該点滴バッグに書き残す。下記特許文献１は、不適切な医療行為がなされることを防止するために、医療行為が行われる際に、行為者及び患者の識別子、使用される医療機器の識別子、並びに時刻を互いに関連付けるデータを、履歴として記録することを提案している。
【０００３】
作業行為の履歴の追跡は、医療分野のみならず、他の分野においても重要である。例えば、食品加工分野では、衛生管理、又は製品の品質の維持若しくは証明を目的として、加工プロセスの履歴データを記録し、事後的に履歴を追跡可能とする取組みが行われている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２８９０６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
履歴データを追跡するための既存の取組みの多くは、データ入力などの場面で人手を要する。しかし、人手を要する手法では、データの入力ミス又は故意の不正入力などのリスクが残される。また、目的とする行為に加えてデータ入力作業を行為者に課すことは、行為者にとっての負担となる。上記特許文献１に記載された仕組みによれば、医療機器と接続される特別な端末装置の導入によって、データ入力は自動化される。しかし、当該仕組みは特別な端末装置の存在を前提とするため、その応用範囲は限られる。
【０００６】
これに対し、作業行為を映した映像を履歴として記録する手法が考えられる。この場合、履歴を記録するために人手は不要である。しかし、単純に映像を記録するだけでは、外部から内容物を判別できない容器などを用いた行為の詳細を事後的に把握することが難しい。
【０００７】
従って、上述した分野に限らず一般的に、行為者に過度の負担を課すことなく行為の詳細を履歴としてより容易に管理することのできる仕組みが実現されることが望ましい。
【課題を解決するための手段】
【０００８】
本開示によれば、実空間に存在するオブジェクトを入力画像内で識別する識別部と、前記識別部により識別される第１のオブジェクトと第２のオブジェクトとの間の物理的作用に対応するイベントを前記入力画像を用いて検出する検出部と、前記イベントの検出に応じて、前記第１のオブジェクトに関連付けられている属性データを前記第２のオブジェクトに関連付ける属性制御部と、を備える画像処理装置が提供される。
【０００９】
また、本開示によれば、画像処理装置を制御するコンピュータを、実空間に存在するオブジェクトを入力画像内で識別する識別部と、前記識別部により識別される第１のオブジェクトと第２のオブジェクトとの間の物理的作用に対応するイベントを前記入力画像を用いて検出する検出部と、前記イベントの検出に応じて、前記第１のオブジェクトに関連付けられている属性データを前記第２のオブジェクトに関連付ける属性制御部と、として機能させるためのプログラムが提供される。
【００１０】
また、本開示によれば、実空間に存在するオブジェクトを入力画像内で識別することと、識別された第１のオブジェクトと第２のオブジェクトとの間の物理的作用に対応するイベントを前記入力画像を用いて検出することと、前記イベントの検出に応じて、前記第１のオブジェクトに関連付けられている属性データを前記第２のオブジェクトに関連付けることと、を含む画像処理方法が提供される。
【００１１】
また、本開示によれば、実空間に存在するオブジェクトを映す入力画像を取得する画像取得部と、第１のオブジェクトとの間の物理的作用に関与する、前記入力画像内で識別される第２のオブジェクトに関連付けられている属性データを取得するデータ取得部と、前記データ取得部により取得される前記属性データを前記入力画像に重畳する表示制御部と、を備え、前記属性データは、前記物理的作用に対応するイベントの検出前に前記第１のオブジェクトに関連付けられており、前記イベントの検出に応じて前記第２のオブジェクトに新たに関連付けられるデータである、端末装置が提供される。
【００１２】
また、本開示によれば、端末装置を制御するコンピュータを、実空間に存在するオブジェクトを映す入力画像を取得する画像取得部と、第１のオブジェクトとの間の物理的作用に関与する、前記入力画像内で識別される第２のオブジェクトに関連付けられている属性データを取得するデータ取得部と、前記データ取得部により取得される前記属性データを前記入力画像に重畳する表示制御部と、として機能させ、前記属性データは、前記物理的作用に対応するイベントの検出前に前記第１のオブジェクトに関連付けられており、前記イベントの検出に応じて前記第２のオブジェクトに新たに関連付けられるデータである、プログラムが提供される。
【発明の効果】
【００１３】
本開示に係る技術によれば、行為者に過度の負担を課すことなく、行為の詳細を履歴としてより容易に管理することができる。
【図面の簡単な説明】
【００１４】
【図１】一実施形態に係る画像処理システムの概要について説明するための説明図である。
【図２】一実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。
【図３】一実施形態に係る画像処理装置の論理的機能の構成の一例を示すブロック図である。
【図４】一実施形態における属性の制御の基本的な概念について説明するための説明図である。
【図５】一実施形態に係る端末装置のハードウェア構成の一例を示すブロック図である。
【図６】一実施形態に係る端末装置の論理的機能の構成の一例を示すブロック図である。
【図７】一実施形態において表示される出力画像の一例について説明するための説明図である。
【図８】第１の実施例におけるオブジェクトデータの一例について説明するための説明図である。
【図９】第１の実施例における属性制御テーブルの一例について説明するための説明図である。
【図１０Ａ】第１の実施例における属性データの状態遷移の一例について説明するための説明図の前半部である。
【図１０Ｂ】第１の実施例における属性データの状態遷移の一例について説明するための説明図の後半部である。
【図１１】第１の実施例における履歴データの一例について説明するための説明図である。
【図１２】第１の実施例において表示される出力画像の一例について説明するための説明図である。
【図１３】第１の実施例における属性制御処理の流れの一例を示すフローチャートである。
【図１４】第１の実施例における表示制御処理の流れの一例を示すフローチャートである。
【図１５】第２の実施例におけるオブジェクトデータの一例について説明するための説明図である。
【図１６】第２の実施例における属性制御テーブルの一例について説明するための説明図である。
【図１７Ａ】第２の実施例における属性データの状態遷移の一例について説明するための説明図の前半部である。
【図１７Ｂ】第２の実施例における属性データの状態遷移の一例について説明するための説明図の後半部である。
【図１８】第２の実施例において表示される出力画像の一例について説明するための説明図である。
【図１９】第２の実施例における属性制御処理の流れの一例を示すフローチャートである。
【図２０】第３の実施例におけるオブジェクトデータの一例について説明するための説明図である。
【図２１】第３の実施例における履歴データの一例について説明するための説明図である。
【図２２】第３の実施例における属性データの状態遷移の一例について説明するための説明図である。
【図２３】第３の実施例において表示される出力画像の一例について説明するための説明図である。
【図２４】第３の実施例における属性制御処理の流れの一例を示すフローチャートである。
【図２５】第４の実施例におけるオブジェクトデータの一例について説明するための説明図である。
【図２６】第４の実施例における属性制御テーブルの一例について説明するための説明図である。
【図２７Ａ】第４の実施例における属性データの状態遷移の一例について説明するための説明図の前半部である。
【図２７Ｂ】第４の実施例における属性データの状態遷移の一例について説明するための説明図の後半部である。
【図２８】第４の実施例において表示される出力画像の一例について説明するための説明図である。
【図２９】第４の実施例における属性制御処理の流れの一例を示すフローチャートである。
【図３０】一変形例に係る画像処理装置の論理的機能の構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１６】
また、以下の順序で説明を行う。
１．システムの概要
２．画像処理装置の構成例
２−１．ハードウェア構成
２−２．機能構成
３．端末装置の構成例
３−１．ハードウェア構成
３−２．機能構成
４．第１の実施例
５．第２の実施例
６．第３の実施例
７．第４の実施例
８．変形例
９．まとめ
【００１７】
＜１．システムの概要＞
図１は、一実施形態に係る画像処理システムの概要について説明するための説明図である。図１を参照すると、一例としての画像処理システム１が示されている。画像処理システム１は、画像処理装置１００及び端末装置２００を含む。
【００１８】
画像処理装置１００は、撮像部１０２を有する。撮像部１０２のレンズは、実空間における何らかの作業行為に関与するオブジェクトに向けられる。図１の例では、人物Ｕａが実空間に存在するオブジェクトＯｂｊ１及びＯｂｊ２の一方又は双方を対象とする行為を行っている。オブジェクトＯｂｊ１及びＯｂｊ２のみならず、人物Ｕａもまたオブジェクトの１つとして扱われてよい。撮像部１０２は、これらオブジェクトが関与する行為を撮像し、撮像画像（典型的には、動画を構成する各フレーム）を生成する。生成される撮像画像は、作業行為の履歴の管理を目的とする、画像処理装置１００により実行される画像処理への入力画像となる。
【００１９】
端末装置２００は、撮像部（図示せず）と表示部２１０とを有する。端末装置２００は、撮像部を用いて何らかのオブジェクトを撮像し、画像に映るオブジェクトに関連付けられているデータの配信を画像処理装置１００へ要求する。そして、端末装置２００は、画像処理装置１００から配信されるデータを表示部２１０に表示させる。画像処理装置１００から配信されるデータは、いずれかのオブジェクトについて行われた作業行為の履歴を事後的に把握することを可能とするデータである。作業行為の履歴は、例えば、オブジェクトに関連付けられる属性を通じて把握され、又はタイムスタンプを付与される履歴データそのものから把握され得る。
【００２０】
図１では、画像処理装置１００及び端末装置２００が物理的に異なる装置として構成される例を示している。しかしながら、画像処理装置１００及び端末装置２００は、一体の装置として構成されてもよい。画像処理装置１００及び端末装置２００は、それぞれ、例えば、デスクトップＰＣ、タブレットＰＣ、ノートブックＰＣ、スマートフォン若しくはＰＤＡ（Personal Digital Assistants）などの汎用的な装置であってもよく、又は履歴の管理／閲覧を目的とする専用の装置であってもよい。また、端末装置２００の画面は、ヘッドマウントディスプレイを用いて実現されてもよい。
【００２１】
＜２．画像処理装置の構成例＞
［２−１．ハードウェア構成］
図２は、一実施形態に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。図２を参照すると、画像処理装置１００は、撮像部１０２、入力部１０４、記憶部１０６、表示部１１０、通信部１１２、バス１１６及び制御部１１８を備える。
【００２２】
（１）撮像部
撮像部１０２は、画像を撮像するカメラモジュールである。撮像部１０２は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を用いて被写体を撮像し、撮像画像を生成する。撮像部１０２は、必ずしも画像処理装置１００の一部でなくてもよい。例えば、図１の例のように、画像処理装置１００と有線又は無線で接続される撮像装置が撮像部１０２として扱われてもよい。
【００２３】
（２）入力部
入力部１０４は、ユーザが画像処理装置１００を操作し又は画像処理装置１００へ情報を入力するために使用される入力デバイスである。入力部１０４は、例えば、表示部１１０の画面上へのユーザによるタッチを検出するタッチセンサを含んでもよい。その代わりに（又はそれに加えて）、入力部１０４は、マウス若しくはタッチパッドなどのポインティングデバイスを含んでもよい。さらに、入力部１０４は、キーボード、キーパッド、ボタン、スイッチ又はリモートコントローラなどのその他の種類の入力デバイスを含んでもよい。
【００２４】
（３）記憶部
記憶部１０６は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、画像処理装置１００による処理のためのプログラム及びデータを記憶する。記憶部１０６により記憶されるデータは、例えば、撮像部１０２により生成される撮像画像データ及び後に説明するデータベース内の様々なデータを含み得る。なお、本明細書で説明するプログラム及びデータの一部又は全部は、記憶部１０６により記憶されることなく、外部のデータソース（例えば、データサーバ、ネットワークストレージ又は外付けメモリなど）から取得されてもよい。
【００２５】
（４）表示部
表示部１１０は、ＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic light-Emitting Diode）又はＣＲＴ（Cathode Ray Tube）などにより構成される表示モジュールである。なお、表示部１１０もまた、必ずしも画像処理装置１００の一部でなくてもよい。例えば、画像処理装置１００と有線又は無線で接続される表示装置が表示部１１０として扱われてもよい。
【００２６】
（５）通信部
通信部１１２は、画像処理装置１００による他の装置（例えば、端末装置２００）との間の通信を仲介する通信インタフェースである。通信部１１２は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。
【００２７】
（７）バス
バス１１６は、撮像部１０２、入力部１０４、記憶部１０６、表示部１１０、通信部１１２及び制御部１１８を相互に接続する。
【００２８】
（８）制御部
制御部１１８は、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）などのプロセッサに相当する。制御部１１８は、記憶部１０６又は他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する画像処理装置１００の様々な機能を動作させる。
【００２９】
［２−２．機能構成］
図３は、図２に示した画像処理装置１００の記憶部１０６及び制御部１１８により実現される論理的機能の構成の一例を示すブロック図である。図３を参照すると、画像処理装置１００は、画像取得部１２０、オブジェクト識別部１３０、オブジェクトデータベース（ＤＢ）１４０、イベント検出部１５０、属性ＤＢ１６０、属性制御部１７０、データ配信部１８０及びユーザインタフェース部１９０を含む。
【００３０】
（１）画像取得部
画像取得部１２０は、撮像部１０２により生成される撮像画像を入力画像として取得する。入力画像には、医療行為、食品加工行為又はその他の種類の行為に関与するオブジェクトが映される。画像取得部１２０により取得される一連の入力画像は、典型的には動画を構成する。画像取得部１２０は、取得した入力画像を、オブジェクト識別部１３０へ順次出力する。
【００３１】
（２）オブジェクト識別部
オブジェクト識別部１３０は、実空間に存在するオブジェクトを入力画像内で識別する。オブジェクト識別部１３０は、例えば、入力画像から抽出される画像特徴量を各オブジェクトについて事前に抽出される画像特徴量と照合することにより、入力画像に映るオブジェクトを識別してもよい。また、オブジェクト識別部１３０は、各オブジェクトに貼付され、印刷され又は装着されるバーコード又は２次元コード（例えば、ＱＲコード（登録商標））などの識別情報を解釈することにより、入力画像に映るオブジェクトを識別してもよい。また、オブジェクト識別部１３０は、各オブジェクトの表面上の文字列又はラベルなどを読み取ることにより、入力画像に映るオブジェクトを識別してもよい。なお、後に説明する１つの実施例では、入力画像に映る人物もまたオブジェクトとして識別される。人物の識別は、例えば、事前に抽出される顔画像の特徴量を用いて行われ得る。本実施形態では、一例として、画像特徴量の照合によりオブジェクトが識別される例を主に説明する。
【００３２】
（３）オブジェクトＤＢ
オブジェクトＤＢ１４０は、履歴管理の対象となる行為に関与するオブジェクトについてのデータを記憶するデータベースである。オブジェクトＤＢ１４０により記憶されるデータは、オブジェクト識別部１３０によるオブジェクトの識別、イベント検出部１５０によるイベントの検出及び属性制御部１７０によるオブジェクトの属性の制御のために用いられ得る。本実施形態において、オブジェクトＤＢ１４０は、少なくとも各オブジェクトの既知の画像特徴量を含むオブジェクトデータ１４２を記憶する。さらに、オブジェクトＤＢ１４０は、属性の制御のパターンを定義する属性制御テーブル１４４を記憶し得る。これらデータの具体的な例について、後に例を挙げて説明する。
【００３３】
（４）イベント検出部
イベント検出部１５０は、オブジェクト識別部１３０により識別される複数のオブジェクトの間の物理的作用に対応するイベントを、入力画像を用いて検出する。本明細書において、オブジェクト間の「物理的」作用とは、作業行為に関与する複数のオブジェクト（物体及び人物の双方を含み得る）の間の実空間における何らかの作用をいう。例えば、２つのオブジェクトの接触又は接近は、これらオブジェクトの間の物理的作用に相当し得る。ある人物の何らかの物体を対象とする動作もまた、当該人物と当該物体の間の物理的作用に相当し得る。これら物理的作用に対応するイベントは、実空間内の上述した物理的作用に応じて実行すべき処理のトリガとなる。どのような物理的作用についてイベントを検出すべきかは、アプリケーションの用途に合わせて定義され得る。後に説明する４つの実施例では、次のような物理的作用についてのイベントが検出される。
第１の実施例）医療行為における薬液の移送
第２の実施例）調剤行為における薬品の調合
第３の実施例）患者による薬の服用
第４の実施例）食品加工行為における食材及び調味料の配合
なお、これらは説明のための例に過ぎず、他の行為におけるオブジェクト間の物理的作用についてイベントが検出されてもよい。
【００３４】
（５）属性ＤＢ
属性ＤＢ１６０は、各オブジェクトについて行われた行為の履歴を把握可能とするためのデータを記憶するデータベースである。属性ＤＢ１６０により記憶されるデータは、後に説明する属性制御部１７０により管理される。本実施形態において、属性ＤＢ１６０は、各オブジェクトに関連付けられる属性を示す属性データ１６２を記憶する。属性データ１６２は、一部のオブジェクトに予め関連付けられる初期の属性と、上述したイベントの検出に応じて他のオブジェクトに関連付けられる事後的な属性との双方を示し得る。かかる属性データ１６２を閲覧することにより、各オブジェクトについて行われた行為の履歴が把握され得る。さらに、属性ＤＢ１６０は、上述したイベントの都度の各オブジェクトの属性の変化を示す履歴データ１６４を記憶し得る。
【００３５】
（６）属性制御部
属性制御部１７０は、各オブジェクトに関連付けられる属性を制御する。例えば、本実施形態において、属性制御部１７０は、イベント検出部１５０による上述したイベントの検出に応じて、検出されたイベントに対応する物理的作用に関与した第１のオブジェクトに関連付けられている属性データを第２のオブジェクトに関連付ける。
【００３６】
図４は、本実施形態における属性の制御の基本的な概念について説明するための説明図である。図４を参照すると、物理的作用に関与する２つのオブジェクトＯｂｊ１及びＯｂｊ２が示されている。これら２つのオブジェクトは、典型的には、物質を収容可能なオブジェクトである。本明細書において、物質の収容とは、物質を内部に収納すること、物質を可搬な形で保持すること、及び物質を構成成分として有することなどの様々な形態を含むものとする。例えば、図４の上段において、オブジェクトＯｂｊ１は物質ＳＢ１を、オブジェクトＯｂｊ２は物質ＳＢ２をそれぞれ収容している。この場合、属性データ１６２において、オブジェクトＯｂｊ１に物質ＳＢ１の種類を示す属性値が、オブジェクトＯｂｊ２に物質ＳＢ２の種類を示す属性値がそれぞれ関連付けられる。そして、属性制御部１７０は、オブジェクトＯｂｊ１からオブジェクトＯｂｊ２への物理的作用に対応するイベントが検出されると、オブジェクトＯｂｊ１に関連付けられている属性値をオブジェクトＯｂｊ２に新たに関連付ける。いくつかの実施例において、このような属性値の移動の方向は、上述した属性制御テーブル１４４を参照することで属性制御部１７０により決定され得る。図４の下段において、物理的作用に対応するイベントの検出の結果、オブジェクトＯｂｊ２に物質ＳＢ１の種類を示す属性値が新たに関連付けられている。一方、オブジェクトＯｂｊ１から物質ＳＢ１の種類を示す属性値が削除されている。なお、各オブジェクトの属性データは、関連付けられるオブジェクトに収容される物質の種類のみならず、当該物質の数量をも表してよい。
【００３７】
（７）データ配信部
データ配信部１８０は、いずれかのオブジェクトを映した画像を表示する装置に当該オブジェクトに関連付けられている属性データを配信し、配信された属性データを当該装置の画面上に表示させる。例えば、データ配信部１８０は、図１に例示した端末装置２００から送信されるデータ要求を受け付ける。当該データ要求は、端末装置２００により撮像される画像又は当該画像から抽出される特徴量を含み得る。データ配信部１８０は、データ要求に含まれる画像又は画像特徴量をオブジェクト識別部１３０へ出力し、画像に映るオブジェクトを識別させる。なお、端末装置２００により撮像される画像に映るオブジェクトのオブジェクトＩＤ（識別子）がデータ要求に含まれる場合には、オブジェクト識別部１３０によるオブジェクトの識別は省略されてよい。次に、データ配信部１８０は、識別されたオブジェクトのオブジェクトＩＤに関連付けられている属性データを、属性ＤＢ１６０から取得する。そして、データ配信部１８０は、取得した属性データを端末装置２００へ配信する。データ配信部１８０は、識別されたオブジェクトの画像内の位置を示す位置データをさらに端末装置２００へ配信してもよい。
【００３８】
（８）ユーザインタフェース部
ユーザインタフェース部１９０は、アプリケーションの目的に合わせて、様々なユーザインタフェースをユーザに提供し得る。例えば、ユーザインタフェース部１９０は、オブジェクトデータ１４２、属性制御テーブル１４４、属性データ１６２又は履歴データ１６４をユーザが閲覧し又は編集するためのＵＩ画面を提供してもよい。また、ユーザインタフェース部１９０は、属性データの更新についてユーザからの承認を受け付けるための承認画面をユーザに提供してもよい。
【００３９】
＜３．端末装置の構成例＞
［３−１．ハードウェア構成］
図５は、一実施形態に係る端末装置２００のハードウェア構成の一例を示すブロック図である。図５を参照すると、端末装置２００は、撮像部２０２、入力部２０４、記憶部２０６、表示部２１０、通信部２１２、音声出力部２１４、バス２１６及び制御部２１８を備える。
【００４０】
（１）撮像部
撮像部２０２は、画像を撮像するカメラモジュールである。撮像部２０２は、ＣＣＤ又はＣＭＯＳなどの撮像素子を用いて被写体を撮像し、撮像画像を生成する。撮像部２０２は、必ずしも端末装置２００の一部でなくてもよい。例えば、端末装置２００と有線又は無線で接続される撮像装置が撮像部２０２として扱われてもよい。
【００４１】
（２）入力部
入力部２０４は、ユーザが端末装置２００を操作し又は端末装置２００へ情報を入力するために使用される入力デバイスである。入力部２０４は、例えば、表示部２１０の画面上へのユーザによるタッチを検出するタッチセンサを含んでもよい。その代わりに（又はそれに加えて）、入力部２０４は、マウス若しくはタッチパッドなどのポインティングデバイスを含んでもよい。さらに、入力部２０４は、キーボード、キーパッド、ボタン、スイッチ又はリモートコントローラなどのその他の種類の入力デバイスを含んでもよい。
【００４２】
（３）記憶部
記憶部２０６は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、端末装置２００による処理のためのプログラム及びデータを記憶する。記憶部２０６により記憶されるデータは、例えば、上述した画像処理装置１００から配信されるデータを含み得る。なお、本明細書で説明するプログラム及びデータの一部又は全部は、記憶部２０６により記憶されることなく、外部のデータソース（例えば、データサーバ、ネットワークストレージ又は外付けメモリなど）から取得されてもよい。
【００４３】
（４）表示部
表示部２１０は、ＬＣＤ、ＯＬＥＤ又はＣＲＴなどにより構成される表示モジュールである。なお、表示部２１０もまた、必ずしも端末装置２００の一部でなくてもよい。例えば、端末装置２００と有線又は無線で接続される表示装置が表示部２１０として扱われてもよい。
【００４４】
（５）通信部
通信部２１２は、端末装置２００による他の装置（例えば、画像処理装置１００）との間の通信を仲介する通信インタフェースである。通信部２１２は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。
【００４５】
（６）音声出力部
音声出力部２１４は、例えばスピーカにより構成される音声出力モジュールである。なお、音声出力部２１４もまた、必ずしも端末装置２００の一部でなくてもよい。例えば、端末装置２００と有線又は無線で接続される音声出力装置が音声出力部２１４として扱われてもよい。
【００４６】
（７）バス
バス２１６は、撮像部２０２、入力部２０４、記憶部２０６、表示部２１０、通信部２１２、音声出力部２１４及び制御部２１８を相互に接続する。
【００４７】
（８）制御部
制御部２１８は、ＣＰＵ又はＤＳＰなどのプロセッサに相当する。制御部２１８は、記憶部２０６又は他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する端末装置２００の様々な機能を動作させる。
【００４８】
［３−２．機能構成］
図６は、図５に示した端末装置２００の記憶部２０６及び制御部２１８により実現される論理的機能の構成の一例を示すブロック図である。図６を参照すると、端末装置２００は、画像取得部２２０、データ取得部２３０、表示制御部２４０及びユーザインタフェース部２５０を含む。
【００４９】
（１）画像取得部
画像取得部２２０は、撮像部２０２により生成される撮像画像を入力画像として取得する。入力画像には、実空間に存在する様々なオブジェクトが映される。画像取得部２２０は、取得した入力画像を、データ取得部２３０及び表示制御部２４０へ出力する。
【００５０】
（２）データ取得部
データ取得部２３０は、画像取得部２２０により取得される入力画像内で識別されるオブジェクトに関連付けられている属性データを取得する。例えば、データ取得部２３０は、入力画像又は入力画像の画像特徴量を含むデータ要求を画像処理装置１００へ送信する。データ取得部２３０は、入力画像に映るオブジェクトを識別し、識別したオブジェクトのオブジェクトＩＤをデータ要求に含めてもよい。そして、データ取得部２３０は、データ要求に応じて画像処理装置１００から配信される属性データを取得し得る。属性データに加えて、識別されたオブジェクトの画像内の位置を示す位置データが画像処理装置１００からさらに取得されてもよい。そして、データ取得部２３０は、取得した属性データ（及び位置データ）を表示制御部２４０へ出力する。
【００５１】
本実施形態においてデータ取得部２３０により取得される属性データは、第１のオブジェクトとの間の物理的作用に関与する第２のオブジェクトに関連付けられている属性データを含み得る。当該属性データは、物理的作用に対応するイベントの検出前に第１のオブジェクトに関連付けられており、当該イベントの検出に応じて第２のオブジェクトに新たに関連付けられるデータであってよい。即ち、データ取得部２３０により取得される属性データを閲覧することで、入力画像に映るオブジェクトを対象として行われた行為の詳細が把握され得る。なお、画像処理装置１００から取得される属性データは、タイムスタンプの付与された履歴データの形式で表現されていてもよい。
【００５２】
（３）表示制御部
表示制御部２４０は、端末装置２００における画像及びデータの表示を制御する。例えば、表示制御部２４０は、入力画像に映るオブジェクトに関連付けられている属性データがデータ取得部２３０により取得された場合に、取得された属性データを入力画像に重畳する。属性データは、関連付けられているオブジェクトの位置に依存することなく、オブジェクトＩＤ又はオブジェクトの名称と共に表示されてもよい。その代わりに、属性データは、関連付けられているオブジェクトの画像内の位置に重なるように、又は当該位置を指し示すように表示されてもよい。
【００５３】
図７は、本実施形態において表示される出力画像の一例について説明するための説明図である。図７の左には、端末装置２００により撮像され得る一例としての入力画像Ｉｍ００が示されている。入力画像Ｉｍ００には、オブジェクトＯｂｊ２が映っている。端末装置２００は、入力画像Ｉｍ００に重畳すべきデータを要求するデータ要求を画像処理装置１００へ送信し、画像処理装置１００から配信されるデータを受信する。図７の右には、端末装置２００により表示され得る一例としての出力画像Ｉｍ０１が示されている。出力画像Ｉｍ０１は、入力画像Ｉｍ００に仮想オブジェクトであるメッセージＭＳＧ１を重畳することにより生成された画像である。メッセージＭＳＧ１は、例えば図４の下段に示した属性データ１６２に基づいて生成され、入力画像Ｉｍ００に映るオブジェクトＯｂｊ２が物質ＳＢ１及びＳＢ２を収容していることを表す。端末装置２００のユーザは、出力画像Ｉｍ０１を閲覧することにより、例えばオブジェクトＯｂｊ２に物質ＳＢ１及びＳＢ２を加える行為が行われたことを把握することができる。なお、表示部２１０を介して表示制御部２４０によりメッセージＭＳＧ１が表示される代わりに、音声出力部２１４を介してメッセージＭＳＧ１を読み上げる音声が出力されてもよい。
【００５４】
（４）ユーザインタフェース部
ユーザインタフェース部２５０は、アプリケーションの目的に合わせて、様々なユーザインタフェースをユーザに提供し得る。例えば、ユーザインタフェース部２５０は、ユーザからデータ取得部２３０に属性データの取得を明示的に指示するためのＵＩ画面を提供してもよい。
【００５５】
ここまで、本開示に係る技術の一実施形態についての概念的な説明を行った。次節より説明する４つの実施例では、本開示に係る技術の具体的な利用場面をそれぞれ想定し、当該技術のさらなる詳細を説明する。
【００５６】
＜４．第１の実施例＞
【００５７】
第１の実施例では、履歴管理の対象として、医療行為における薬液の移送を例示する。従って、画像処理装置１００は、医師、看護師又は薬剤師などの人物が薬液を取り扱う際に用いる医療器具の間の物理的作用に対応するイベントを検出する。
【００５８】
（１）オブジェクトの例
図８は、第１の実施例におけるオブジェクトデータの一例について説明するための説明図である。図８を参照すると、オブジェクトＤＢ１４０により記憶される一例としてのオブジェクトデータ１４２ａが示されている。オブジェクトデータ１４２ａは、「オブジェクトＩＤ」、「名称」、「品番」、「タイプ」及び「特徴量」という５つのデータ項目を有する。
【００５９】
「オブジェクトＩＤ」は、各オブジェクトを一意に識別するための識別子である。「名称」は、各オブジェクトに付与される名称を示す。図８の例では、オブジェクトＯｂｊ１１に「バイアル」、オブジェクトＯｂｊ１２に「注射器」、オブジェクトＯｂｊ１３に「点滴バッグ」という名称がそれぞれ付与されている。「品番」は、同じ種類のオブジェクトを個々に区別するために付与される文字列を示す。
【００６０】
「タイプ」は、属性制御部１７０による属性の制御の際に参照される区分であり、複数のタイプの候補のうちの少なくとも１つが各オブジェクトについて定義される。本実施例では、次の３つのタイプの候補のうちのいずれかが各オブジェクトに割当てられる。
“ＳＯＵＲＣＥ”…物質の移送元のオブジェクトを示すタイプである
“ＴＲＡＮＳＰＯＲＴＥＲ”…物質を移送可能なオブジェクトを示すタイプである
“ＤＥＳＴＩＮＡＴＩＯＮ”…物質の移送先のオブジェクトを示すタイプである
図８の例では、オブジェクトＯｂｊ１１のタイプは“ＳＯＵＲＣＥ”、オブジェクトＯｂｊ１２のタイプは“ＴＲＡＮＳＰＯＲＴＥＲ”、オブジェクトＯｂｊ１３のタイプは“ＤＥＳＴＩＮＡＴＩＯＮ”である。
【００６１】
「特徴量」は、各オブジェクトについて既知の画像から抽出される特徴量である。オブジェクト識別部１３０は、入力画像から抽出される画像特徴量をオブジェクトデータ１４２ａのこれら特徴量と照合し、入力画像に映るオブジェクトを識別し得る。
【００６２】
（２）イベント
本実施例において、イベント検出部１５０は、オブジェクト識別部１３０により識別される医療器具の間の物理的作用に対応するイベントを検出する。例えば、図８に例示したオブジェクトが関与するイベントとして、次のようなイベントが挙げられる。
イベントＥｖ１１）バイアルから注射器への薬液の抽出
イベントＥｖ１２）注射器から点滴バッグへの薬液の注入
【００６３】
これらイベントは、例えば、２つのオブジェクトについて所定のイベント検出条件が満たされること条件として検出されてよい。所定のイベント検出条件とは、例えば、次のような条件のいずれかであってよい。
条件Ｃ１１）２つのオブジェクトの間の距離が閾値を下回る。
条件Ｃ１２）条件Ｃ１１が連続的に満たされている時間が閾値を上回る。
条件Ｃ１３）２つのオブジェクトを扱う人物の所定のジェスチャが認識される。
条件Ｃ１１における距離は、入力画像内の２次元的な距離であってもよく、又は公知の３次元構造認識技術に基づいて認識される実空間内の３次元的な距離であってもよい。条件Ｃ１１及びＣ１２における閾値は、オブジェクトに依存することなく共通的に定義されても、各オブジェクトについて個別に定義されてもよい。
【００６４】
上述したイベント検出条件に従って複数のオブジェクト間の物理的作用に対応するイベントが検出されると、イベント検出部１５０は、検出されたイベントを属性制御部１７０に通知する。
【００６５】
（３）属性の制御
本実施例において、属性制御部１７０は、検出されたイベントに関与するオブジェクトについて定義されているタイプが所定の属性制御条件を満たす場合に、それらオブジェクトの属性を更新する。属性制御条件は、上述した属性制御テーブルにおいて定義される。
【００６６】
図９は、第１の実施例における属性制御テーブルの一例について説明するための説明図である。図９を参照すると、オブジェクトＤＢ１４０により記憶される一例としての属性制御テーブル１４４ａが示されている。属性制御テーブル１４４ａは、行及び列の双方にオブジェクトの３つのタイプを配置したマトリックス形式で定義されている。各列は、イベントに関与する第１のオブジェクトのタイプに対応する。各行は、イベントに関与する第２のオブジェクトのタイプに対応する。
【００６７】
例えば、第１のオブジェクトのタイプが“ＳＯＵＲＣＥ”であって、第２のオブジェクトのタイプが“ＴＲＡＮＳＰＯＲＴＥＲ”である場合には、第１のオブジェクトに関連付けられている属性が第２のオブジェクトに追加される（即ち、新たに関連付けられる）。第１のオブジェクトの属性は更新されない。
【００６８】
また、第１のオブジェクトのタイプが“ＴＲＡＮＳＰＯＲＴＥＲ”であって、第２のオブジェクトのタイプが“ＤＥＳＴＩＮＡＴＩＯＮ”である場合には、第１のオブジェクトに関連付けられている属性が第２のオブジェクトに追加される。第１のオブジェクトの属性は削除される。
【００６９】
これら以外のタイプの組合せにおいては、第１及び第２のオブジェクトの属性は更新されない。
【００７０】
即ち、属性制御部１７０は、イベント検出部１５０によりイベントが検出されると、検出されたイベントに関与するオブジェクトを特定し、特定したオブジェクトのタイプの組合せに対応する属性の制御内容を、属性制御テーブル１４４ａを参照することにより決定する。そして、属性制御部１７０は、決定した制御内容に従って、属性ＤＢ１６０に記憶されている属性データ１６２を更新する。ここでの属性データ１６２の更新は、特定されたオブジェクトへの新たな属性の関連付け、及び特定されたオブジェクトの属性の削除を含み得る。また、属性制御部１７０は、検出されたイベントに対応するレコードを後に説明する履歴データに追加する。
【００７１】
（４）データ遷移
図１０Ａ及び図１０Ｂは、本実施例における例示的なシナリオに沿った属性データの状態遷移の一例について説明するための説明図である。これら図の左側には時系列で取得される４つの入力画像Ｉｍ１１〜Ｉｍ１４が順に示されており、右側には各時点の属性データ１６２ａの部分的な内容が示されている。
【００７２】
図１０Ａを参照すると、入力画像Ｉｍ１１には、バイアルＯｂｊ１１及び注射器Ｏｂｊ１２が映っている。属性データ１６２ａにおいて、バイアルＯｂｊ１１には、物質ＳＢ１１を示す属性値が関連付けられている。これは、バイアルＯｂｊ１１に物質ＳＢ１１が収容されていることを表す。一方、注射器Ｏｂｊ１２には、いずれの属性値も関連付けられていない。これは、注射器Ｏｂｊ１２に何も収容されていないことを表す。
【００７３】
次に、入力画像Ｉｍ１２において、バイアルＯｂｊ１１から距離閾値Ｄ１の範囲内に、注射器Ｏｂｊ１２が映っている。イベント検出部１５０は、例えば上述したイベント検出条件Ｃ１１又はＣ１２に従って、バイアルＯｂｊ１１と注射器Ｏｂｊ１２との間の薬液の抽出に対応するイベントを検出する。オブジェクトデータ１４２ａによれば、バイアルＯｂｊ１１のタイプは“ＳＯＵＲＣＥ”、注射器Ｏｂｊ１２のタイプは“ＴＲＡＮＳＰＯＲＴＥＲ”である。そこで、属性制御部１７０は、“ＳＯＵＲＣＥ”及び“ＴＲＡＮＳＰＯＲＴＥＲ”の組合せに対応する属性の制御内容を属性制御テーブル１４４ａを参照して決定し、バイアルＯｂｊ１１に関連付けられている属性値“ＳＢ１１”を注射器Ｏｂｊ１２に新たに関連付ける。その結果、属性データ１６２ａは、注射器Ｏｂｊ１２に物質ＳＢ１１が収容されていることを表す。
【００７４】
次に、図１０Ｂを参照すると、入力画像Ｉｍ１３には、注射器Ｏｂｊ１２及び点滴バッグＯｂｊ１３が映っている。属性データ１６２ａにおいて、点滴バッグＯｂｊ１３には、物質ＳＢ１２を示す属性値が関連付けられている。これは、図１０Ａ及び図１０Ｂに示したシナリオ以前の行為の結果であって、点滴バッグＯｂｊ１３に物質ＳＢ１２が収容されていることを表す。
【００７５】
次に、入力画像Ｉｍ１４において、注射器Ｏｂｊ１２から距離閾値Ｄ１の範囲内に、点滴バッグＯｂｊ１３が映っている。イベント検出部１５０は、例えば上述したイベント検出条件Ｃ１１又はＣ１２に従って、注射器Ｏｂｊ１２と点滴バッグＯｂｊ１３との間の薬液の注入に対応するイベントを検出する。オブジェクトデータ１４２ａによれば、注射器Ｏｂｊ１２のタイプは“ＴＲＡＮＳＰＯＲＴＥＲ”、点滴バッグＯｂｊ１３のタイプは“ＤＥＳＴＩＮＡＴＩＯＮ”である。そこで、属性制御部１７０は、“ＴＲＡＮＳＰＯＲＴＥＲ”及び“ＤＥＳＴＩＮＡＴＩＯＮ”の組合せに対応する属性の制御内容を属性制御テーブル１４４ａを参照して決定し、注射器Ｏｂｊ１２に関連付けられている属性値“ＳＢ１１”を点滴バッグＯｂｊ１３に新たに関連付ける。その結果、属性データ１６２ａは、点滴バッグＯｂｊ１３に物質ＳＢ１１及びＳＢ１２が収容されていることを表す。
【００７６】
図１１は、上述したシナリオの間に属性制御部１７０により生成される一例としての履歴データ１６４ａの内容を示している。図１１を参照すると、履歴データ１６４ａは、「オブジェクトＩＤ」、「属性（前）」、「属性（後）」及び「時刻」という４つのデータ項目を有する。「オブジェクトＩＤ」は、個々のレコードが示す履歴に関与したオブジェクトを識別する識別子である。「属性（前）」は、属性制御部１７０により更新される前の当該オブジェクトの属性値を示す。「属性（後）」は、属性制御部１７０により更新された後の当該オブジェクトの属性値を示す。「時刻」は、対応するイベントの検出時刻（又は属性の更新時刻であってもよい）を示す。属性制御部１７０は、履歴の信頼性を補強するために、これら時刻に対応する時刻認証データを外部の時刻認証サービスから取得し、取得した時刻認証データを図１１に示したような履歴に関連付けて記憶させてもよい。図１１の例では、時刻Ｔ１１において注射器Ｏｂｊ１２の属性が更新され、さらに時刻Ｔ１２において注射器Ｏｂｊ１２及び点滴バッグＯｂｊ１３の属性が更新されたことが、履歴データ１６４ａにより示されている。
【００７７】
（５）表示例
図１２は、本実施例において端末装置２００により表示される出力画像の一例について説明するための説明図である。図１２を参照すると、一例としての出力画像Ｉｍ１９が示されている。出力画像Ｉｍ１９には、バイアルＯｂｊ１１及び点滴バッグＯｂｊ１３が映っている。また、出力画像Ｉｍ１９には、バイアルＯｂｊ１１を指し示すメッセージＭＳＧ１１及び点滴バッグＯｂｊ１３を指し示すメッセージＭＳＧ１２が重畳されている。メッセージＭＳＧ１１は、バイアルＯｂｊ１１が物質ＳＢ１１を収容していることを表す。メッセージＭＳＧ１２は、点滴バッグＯｂｊ１３が物質ＳＢ１１及びＳＢ１２を収容していることを表す。端末装置２００のユーザは、例えば、このようなメッセージＭＳＧ１２を閲覧することにより、点滴バッグＯｂｊ１３に適切な薬液が注入されたかを容易に把握することができる。
【００７８】
（６）処理の流れ
（６−１）属性制御処理
図１３は、本実施例における画像処理装置１００による属性制御処理の流れの一例を示すフローチャートである。図１３に示した属性制御処理は、画像取得部１２０により順次取得される入力画像について繰り返される。
【００７９】
まず、画像取得部１２０は、撮像部１０２により生成される撮像画像を入力画像として取得する（ステップＳ１００）。そして、画像取得部１２０は、取得した入力画像をオブジェクト識別部１３０へ出力する。
【００８０】
次に、オブジェクト識別部１３０は、オブジェクトＤＢ１４０により記憶されている各オブジェクトの既知の特徴量を用いて、入力画像に映るオブジェクトを識別する（ステップＳ１０４）。
【００８１】
次に、イベント検出部１５０は、オブジェクト識別部１３０により識別されるオブジェクトについて上述したイベント検出条件が満たされているかを判定する（ステップＳ１０８）。ここで、イベント検出条件が満たされていない場合には、その後の処理はスキップされる（ステップＳ１１２）。イベント検出条件が満たされている場合には、イベント検出部１５０は、検出したイベントを属性制御部１７０に通知する。
【００８２】
属性制御部１７０は、イベント検出部１５０によりイベントが検出されると、属性制御テーブル１４４ａを用いて、検出されたイベントに関与するオブジェクトについての属性の制御内容を決定する（ステップＳ１１６）。そして、属性制御部１７０は、第１のオブジェクトから第２のオブジェクトへ属性値を移動することを決定した場合には（ステップＳ１２０）、第１のオブジェクトに関連付けられている属性値を第２のオブジェクトに関連付ける（ステップＳ１２４）。また、属性制御部１７０は、第１のオブジェクトの属性値を削除することを決定した場合には（ステップＳ１２８）、第１のオブジェクトに関連付けられている属性値を削除する（ステップＳ１３２）。
【００８３】
そして、属性制御部１７０は、更新前及び更新後の属性値を含む履歴データ１６４ａの新たなレコードを属性ＤＢ１６０に記憶させる（ステップＳ１４８）。
【００８４】
（６−２）表示制御処理
図１４は、本実施例における端末装置２００による表示制御処理の流れの一例を示すフローチャートである。図１４に示した表示制御処理は、端末装置２００の画像取得部２２０により順次取得される入力画像について繰り返されてもよく、又はスナップショットとして取得される１つの入力画像について単発的に実行されてもよい。
【００８５】
まず、画像取得部２２０は、撮像部２０２により生成される撮像画像を入力画像として取得する（ステップＳ１５０）。そして、画像取得部２２０は、取得した入力画像を、データ取得部２３０及び表示制御部２４０へ出力する。
【００８６】
次に、データ取得部２３０は、取得された入力画像内で識別されるオブジェクトに関連付けられている属性データを要求するデータ要求を、画像処理装置１００へ送信する（ステップＳ１５４）。そして、データ取得部２３０は、データ要求に対する応答を画像処理装置１００から受信する（ステップＳ１５８）。ここで、データ要求に対する応答として上述した属性データが受信された場合には、処理はステップＳ１７０へ進む。一方、属性データが受信されなかった場合には、表示制御部２４０により入力画像が表示される（ステップＳ１６６）。
【００８７】
ステップＳ１７０において、表示制御部２４０は、データ取得部２３０により取得された属性データを入力画像に重畳することにより、出力画像を生成する（ステップＳ１７０）。そして、表示制御部２４０は、表示部２１０に出力画像を表示させる（ステップＳ１６４）。
【００８８】
ここまで、図８〜図１４を用いて第１の実施例について説明した。本実施例によれば、ある医療器具から他の医療器具へ薬液が移送される状況において、医療器具に収容されている薬液の成分をオブジェクトの属性を通じて把握することが可能となる。
【００８９】
一般的に、一度薬液をある医療器具へ移すと、メモ書きなどが無ければ、行為者本人以外の人物がその医療器具に何が収容されているかを知ることは難しい。しかし、本実施例によれば、オブジェクトの属性データ又は属性の更新履歴を閲覧することで、行為者本人以外の人物であっても、医療器具に何が収容されているかを容易に把握することができる。
【００９０】
また、オブジェクトの属性の更新に際して医療行為の行為者にデータ入力などの作業は課されない。従って、行為者の過度な負担を原因として履歴が誤って記録されなかったり、不正なデータが入力されたりするリスクが防止される。
【００９１】
＜５．第２の実施例＞
第２の実施例では、履歴管理の対象として、調剤行為における薬品の調合を例示する。従って、画像処理装置１００は、医師、看護師又は薬剤師などの人物が薬品を取り扱う際に用いる調剤器具の間の物理的作用に対応するイベントを検出する。なお、説明の簡明さのために、本実施例において第１の実施例と重複する事項についての説明は省略する。
【００９２】
（１）オブジェクトの例
図１５は、第２の実施例におけるオブジェクトデータの一例について説明するための説明図である。図１５を参照すると、オブジェクトＤＢ１４０により記憶される一例としてのオブジェクトデータ１４２ｂが示されている。オブジェクトデータ１４２ｂは、第１の実施例に係るオブジェクトデータ１４２ａと同様、「オブジェクトＩＤ」、「名称」、「品番」、「タイプ」及び「特徴量」という５つのデータ項目を有する。
【００９３】
図１５の例では、オブジェクトＯｂｊ２１に「薬瓶」、オブジェクトＯｂｊ２２に「さじ」、オブジェクトＯｂｊ２３に「薬包紙」、オブジェクトＯｂｊ２４に「計量器」、オブジェクトＯｂｊ２５に「パッケージ」、という名称がそれぞれ付与されている。
【００９４】
本実施例において、各オブジェクトには次の５つのタイプの候補のうちのいずれかが割当てられる。
“ＳＯＵＲＣＥ”…物質の移送元のオブジェクトを示すタイプである
“ＴＲＡＮＳＰＯＲＴＥＲ１”…物質を移送可能なオブジェクトを示すタイプである
“ＴＲＡＮＳＰＯＲＴＥＲ２”…物質を移送可能なオブジェクトを示すタイプである
“ＳＣＡＬＥ”…物質を計量可能なオブジェクトを示すタイプである
“ＤＥＳＴＩＮＡＴＩＯＮ”…物質の移送先のオブジェクトを示すタイプである
図１５の例では、オブジェクトＯｂｊ２１のタイプは“ＳＯＵＲＣＥ”、オブジェクトＯｂｊ２２のタイプは“ＴＲＡＮＳＰＯＲＴＥＲ１”、オブジェクトＯｂｊ２３のタイプは“ＴＲＡＮＳＰＯＲＴＥＲ２”、オブジェクトＯｂｊ２４のタイプは“ＳＣＡＬＥ”、オブジェクトＯｂｊ２５のタイプは“ＤＥＳＴＩＮＡＴＩＯＮ”である。
【００９５】
（２）イベント
本実施例において、イベント検出部１５０は、オブジェクト識別部１３０により識別される調剤器具の間の物理的作用に対応するイベントを検出する。例えば、図１５に例示したオブジェクトが関与するイベントとして、次のようなイベントが挙げられる。
イベントＥｖ２１）薬瓶からさじへの薬品の取り出し
イベントＥｖ２２）さじから薬包紙への薬品の移し替え
イベントＥｖ２３）さじからパッケージへの薬品の移し入れ
イベントＥｖ２４）薬包紙からパッケージへの薬品の移し入れ
イベントＥｖ２５）薬包紙に収容される薬品の計量器による計量
【００９６】
これらイベントは、例えば、２つのオブジェクトについて所定のイベント検出条件が満たされること条件として検出されてよい。所定のイベント検出条件とは、例えば、次のような条件のいずれかであってよい。
条件Ｃ２１）２つのオブジェクトの間の距離が閾値を下回る。
条件Ｃ２２）一方のオブジェクトの上方に他方のオブジェクトが位置する。
条件Ｃ２３）条件Ｃ２１又はＣ２２が連続的に満たされている時間が閾値を上回る。
条件Ｃ２４）２つのオブジェクトを扱う人物の所定のジェスチャが認識される。
条件Ｃ２１における距離は、入力画像内の２次元的な距離であってもよく、又は公知の３次元構造認識技術に基づいて認識される実空間内の３次元的な距離であってもよい。条件Ｃ２１及びＣ２３における閾値は、オブジェクトに依存することなく共通的に定義されても、各オブジェクトについて個別に定義されてもよい。
【００９７】
（３）属性の制御
本実施例においても、属性制御部１７０は、検出されたイベントに関与するオブジェクトについて定義されているタイプが所定の属性制御条件を満たす場合に、それらオブジェクトの属性を更新する。属性制御条件は、属性制御テーブルにおいて定義される。
【００９８】
図１６は、第２の実施例における属性制御テーブルの一例について説明するための説明図である。図１６を参照すると、オブジェクトＤＢ１４０により記憶される一例としての属性制御テーブル１４４ｂが示されている。属性制御テーブル１４４ｂは、行及び列の双方にオブジェクトの５つのタイプを配置したマトリックス形式で定義されている。各列は、イベントに関与する第１のオブジェクトのタイプに対応する。各行は、イベントに関与する第２のオブジェクトのタイプに対応する。
【００９９】
例えば、第１のオブジェクトのタイプが“ＳＯＵＲＣＥ”であって、第２のオブジェクトのタイプが“ＴＲＡＮＳＰＯＲＴＥＲ１”又は“ＴＲＡＮＳＰＯＲＴＥＲ２”である場合には、第１のオブジェクトに関連付けられている属性が第２のオブジェクトに追加される（即ち、新たに関連付けられる）。第１のオブジェクトの属性は更新されない。
【０１００】
また、第１のオブジェクトのタイプが“ＴＲＡＮＳＰＯＲＴＥＲ１”であって、第２のオブジェクトのタイプが“ＴＲＡＮＳＰＯＲＴＥＲ２”又は“ＤＥＳＴＩＮＡＴＩＯＮ”である場合には、第１のオブジェクトに関連付けられている属性が第２のオブジェクトに追加される。第１のオブジェクトの属性は削除される。
【０１０１】
また、第１のオブジェクトのタイプが“ＴＲＡＮＳＰＯＲＴＥＲ２”であって、第２のオブジェクトのタイプが“ＤＥＳＴＩＮＡＴＩＯＮ”である場合には、第１のオブジェクトに関連付けられている属性が第２のオブジェクトに追加される。第１のオブジェクトの属性は削除される。
【０１０２】
また、第１のオブジェクトのタイプが“ＴＲＡＮＳＰＯＲＴＥＲ２”であって、第２のオブジェクトのタイプが“ＳＣＡＬＥ”である場合には、第２のオブジェクトに関連付けられている属性に物質の数量が付加される。即ち、属性制御部１７０は、例えば、タイプ“ＳＣＡＬＥ”を有する計量器による計量結果を（例えば、公知のＯＣＲ（Optical Character Recognition）技術を表示パネルに適用することにより）入力画像から読み取り、読み取った数量の値を第２のオブジェクトの属性に付加する。
【０１０３】
同様に、第１のオブジェクトのタイプが“ＳＣＡＬＥ”であって、第２のオブジェクトのタイプが“ＤＥＳＴＩＮＡＴＩＯＮ”である場合には、第１のオブジェクトに関連付けられている属性に物質の数量が付加される。
【０１０４】
これら以外のタイプの組合せにおいては、第１及び第２のオブジェクトの属性は更新されない。
【０１０５】
なお、例えば計量さじのような器具について、“ＴＲＡＮＳＰＯＲＴＥＲ１”及び“ＳＣＡＬＥ”という２つのタイプの双方が設定されてもよい。また、固定的な数量の計量のために用いられる器具については、動的に読み取られる値の代わりに、予め定義される固定的な数量の値が割当てられてよい。
【０１０６】
（４）データ遷移
図１７Ａ及び図１７Ｂは、本実施例における例示的なシナリオに沿った属性データの状態遷移の一例について説明するための説明図である。これら図の左側には時系列で取得される６つの入力画像Ｉｍ２１〜Ｉｍ２６が順に示されており、右側には各時点の属性データ１６２ｂの部分的な内容が示されている。
【０１０７】
図１７Ａを参照すると、入力画像Ｉｍ２１には、薬瓶Ｏｂｊ２１及びさじＯｂｊ２２が映っている。属性データ１６２ｂにおいて、薬瓶Ｏｂｊ２１には、物質ＳＢ２１を示す属性値が関連付けられている。これは、薬瓶Ｏｂｊ２１に物質ＳＢ２１が収容されていることを表す。一方、さじＯｂｊ２２には、いずれの属性値も関連付けられていない。これは、さじＯｂｊ２２に何も収容されていないことを表す。
【０１０８】
次に、入力画像Ｉｍ２２において、薬瓶Ｏｂｊ２１の上方に、さじＯｂｊ２２が映っている。イベント検出部１５０は、例えば上述したイベント検出条件Ｃ２２又はＣ２３に従って、薬瓶Ｏｂｊ２１とさじＯｂｊ２２との間の薬品の取り出しに対応するイベントを検出する。オブジェクトデータ１４２ｂによれば、薬瓶Ｏｂｊ２１のタイプは“ＳＯＵＲＣＥ”、さじＯｂｊ２２のタイプは“ＴＲＡＮＳＰＯＲＴＥＲ１”である。そこで、属性制御部１７０は、“ＳＯＵＲＣＥ”及び“ＴＲＡＮＳＰＯＲＴＥＲ１”の組合せに対応する属性の制御内容を属性制御テーブル１４４ｂを参照して決定し、薬瓶Ｏｂｊ２１に関連付けられている属性値“ＳＢ２１”をさじＯｂｊ２２に新たに関連付ける。その結果、属性データ１６２ｂは、さじＯｂｊ２２に物質ＳＢ２１が収容されていることを表す。
【０１０９】
次に、入力画像Ｉｍ２３には、さじＯｂｊ２２、薬包紙Ｏｂｊ２３及び計量器Ｏｂｊ２４が映っている。属性データ１６２ｂにおいて、さじＯｂｊ２２には、物質ＳＢ２１を示す属性値が関連付けられている。一方、薬包紙Ｏｂｊ２３には、いずれの属性値も関連付けられていない。
【０１１０】
次に、図１７Ｂを参照すると、入力画像Ｉｍ２４において、薬包紙Ｏｂｊ２３の上方に、さじＯｂｊ２２が映っている。イベント検出部１５０は、例えば上述したイベント検出条件Ｃ２２又はＣ２３に従って、さじＯｂｊ２２と薬包紙Ｏｂｊ２３との間の薬品の移し替えに対応するイベントを検出する。オブジェクトデータ１４２ｂによれば、さじＯｂｊ２２のタイプは“ＴＲＡＮＳＰＯＲＴＥＲ１”、薬包紙Ｏｂｊ２３のタイプは“ＴＲＡＮＳＰＯＲＴＥＲ２”である。そこで、属性制御部１７０は、“ＴＲＡＮＳＰＯＲＴＥＲ１”及び“ＴＲＡＮＳＰＯＲＴＥＲ２”の組合せに対応する属性の制御内容を属性制御テーブル１４４ｂを参照して決定し、さじＯｂｊ２２に関連付けられている属性値“ＳＢ２１”を薬包紙Ｏｂｊ２３に新たに関連付ける。その結果、属性データ１６２ｂは、薬包紙Ｏｂｊ２３に物質ＳＢ２１が収容されていることを表す。
【０１１１】
次に、入力画像Ｉｍ２５において、計量器Ｏｂｊ２４が薬包紙Ｏｂｊ２３に収容されている物質の数量を計量している様子が映っている。オブジェクトデータ１４２ｂによれば、薬包紙Ｏｂｊ２３のタイプは“ＴＲＡＮＳＰＯＲＴＥＲ２”、計量器Ｏｂｊ２４のタイプは“ＳＣＡＬＥ”である。そこで、属性制御部１７０は、計量器Ｏｂｊ２４により表示される数量の値を入力画像Ｉｍ２５から読み取り、読み取った値を薬包紙Ｏｂｊ２３の属性に付加する。図１７Ｂの例では、結果として、属性データ１６２ｂは、薬包紙Ｏｂｊ２３に物質ＳＢ２１が３．０ｇ収容されていることを表す。
【０１１２】
次に、入力画像Ｉｍ２６において、パッケージＯｂｊ２５の上方に、薬包紙Ｏｂｊ２３が映っている。イベント検出部１５０は、例えば上述したイベント検出条件Ｃ２２又はＣ２３に従って、薬包紙Ｏｂｊ２３からパッケージＯｂｊ２５への薬品の移し入れに対応するイベントを検出する。オブジェクトデータ１４２ｂによれば、薬包紙Ｏｂｊ２３のタイプは“ＴＲＡＮＳＰＯＲＴＥＲ２”、パッケージＯｂｊ２５のタイプは“ＤＥＳＴＩＮＡＴＩＯＮ”である。そこで、属性制御部１７０は、“ＴＲＡＮＳＰＯＲＴＥＲ２”及び“ＤＥＳＴＩＮＡＴＩＯＮ”の組合せに対応する属性の制御内容を属性制御テーブル１４４ｂを参照して決定し、薬包紙Ｏｂｊ２３に関連付けられている属性値“ＳＢ２１＿３．０ｇ”をパッケージＯｂｊ２５に新たに関連付ける。その結果、属性データ１６２ｂは、パッケージＯｂｊ２５に物質ＳＢ２１が３．０ｇ収容されていることを表す。
【０１１３】
（５）表示例
図１８は、本実施例において端末装置２００により表示される出力画像の一例について説明するための説明図である。図１８を参照すると、一例としての出力画像Ｉｍ２９が示されている。出力画像Ｉｍ２９には、パッケージＯｂｊ２５が映っている。また、出力画像Ｉｍ２９には、パッケージＯｂｊ２５を指し示すメッセージＭＳＧ２１が重畳されている。メッセージＭＳＧ２１は、パッケージＯｂｊ２５が物質ＳＢ２１を３．０ｇ収容していることを表す。端末装置２００のユーザは、例えば、このようなメッセージＭＳＧ２１を閲覧することにより、パッケージＯｂｊ２５に現在いずれの薬品がどれだけの数量収容されているかを容易に把握することができる。
【０１１４】
（６）処理の流れ
図１９は、本実施例における画像処理装置１００による属性制御処理の流れの一例を示すフローチャートである。図１９に示した属性制御処理は、画像取得部１２０により順次取得される入力画像について繰り返される。
【０１１５】
まず、画像取得部１２０は、撮像部１０２により生成される撮像画像を入力画像として取得する（ステップＳ２００）。そして、画像取得部１２０は、取得した入力画像をオブジェクト識別部１３０へ出力する。
【０１１６】
次に、オブジェクト識別部１３０は、オブジェクトＤＢ１４０により記憶されている各オブジェクトの既知の特徴量を用いて、入力画像に映るオブジェクトを識別する（ステップＳ２０４）。
【０１１７】
次に、イベント検出部１５０は、オブジェクト識別部１３０により識別されるオブジェクトについて上述したイベント検出条件が満たされているかを判定する（ステップＳ２０８）。ここで、イベント検出条件が満たされていない場合には、その後の処理はスキップされる（ステップＳ２１２）。イベント検出条件が満たされている場合には、イベント検出部１５０は、検出したイベントを属性制御部１７０に通知する。
【０１１８】
属性制御部１７０は、イベント検出部１５０によりイベントが検出されると、属性制御テーブル１４４ｂを用いて、検出されたイベントに関与するオブジェクトについての属性の制御内容を決定する（ステップＳ２１６）。そして、属性制御部１７０は、第１のオブジェクトから第２のオブジェクトへ属性値を移動することを決定した場合には（ステップＳ２２０）、第１のオブジェクトに関連付けられている属性値を第２のオブジェクトに関連付ける（ステップＳ２２４）。また、属性制御部１７０は、第１のオブジェクトの属性値を削除することを決定した場合には（ステップＳ２２８）、第１のオブジェクトに関連付けられている属性値を削除する（ステップＳ２３２）。
【０１１９】
また、属性制御部１７０は、いずれかのオブジェクトに数量を付加することを決定した場合には（ステップＳ２３６）、付加すべき物質の数量の値を取得し（ステップＳ２４０）、取得した数量の値を“ＳＣＡＬＥ”オブジェクトではない方のオブジェクトの属性に付加する（ステップＳ２４４）。
【０１２０】
そして、属性制御部１７０は、更新前及び更新後の属性値を含む履歴データ１６４の新たなレコードを属性ＤＢ１６０に記憶させる（ステップＳ２４８）。なお、いずれのオブジェクトの属性も更新されない場合には、ステップＳ２４８の処理はスキップされる。
【０１２１】
ここまで、図１５〜図１９を用いて第２の実施例について説明した。本実施例によれば、調剤器具を用いて薬品が調合される状況において、調剤器具に収容されている薬品の成分をオブジェクトの属性を通じて把握することが可能となる。また、オブジェクトに収容される物質の数量をもオブジェクトの属性に付加することができる。また、オブジェクトの属性データ又は属性の更新履歴を閲覧することで、行為者本人以外の人物であっても薬品の成分及びその数量を容易に把握することができる。オブジェクトの属性の更新に際しては、調剤行為の行為者にデータ入力などの作業は課されない。
【０１２２】
＜６．第３の実施例＞
第３の実施例では、履歴管理の対象として、患者による薬の服用を例示する。従って、画像処理装置１００は、患者と薬との間の物理的作用、即ち薬の服用行為に対応するイベントを検出する。なお、説明の簡明さのために、本実施例において先行するいずれかの実施例と重複する事項についての説明は省略する。
【０１２３】
（１）オブジェクトの例
図２０は、第３の実施例におけるオブジェクトデータの一例について説明するための説明図である。図２０を参照すると、オブジェクトＤＢ１４０により記憶される一例としてのオブジェクトデータ１４２ｃが示されている。オブジェクトデータ１４２ｃは、人物オブジェクトについての人物データと、処方薬オブジェクトについての処方薬データとを含む。
【０１２４】
人物データは、「オブジェクトＩＤ」、「名称」及び「特徴量」という３つのデータ項目を有する。「オブジェクトＩＤ」は、各人物オブジェクトを一意に識別するための識別子である。「名称」は、各人物の名前を示す。「特徴量」は、各人物の既知の顔画像から抽出される特徴量である。
【０１２５】
処方薬データは、「オブジェクトＩＤ」、「名称」、「患者ＩＤ」、「服用量」及び「特徴量」という５つのデータ項目を有する。「オブジェクトＩＤ」は、各処方薬オブジェクトを一意に識別するための識別子である。「名称」は、各処方薬の名称を示す。「患者ＩＤ」は、各処方薬を服用する人物のオブジェクトＩＤを示す。図２０の例では、オブジェクトＯｂｊ３５、即ち「Ｘ１錠」を服用する人物は、オブジェクトＯｂｊ３１、即ち「ＸＸさん」である。「服用量」は、各処方薬をいつどれだけ服用すべきかについての情報を示す。「特徴量」は、各処方薬の既知の画像から抽出される特徴量である。
【０１２６】
（２）イベント
本実施例において、イベント検出部１５０は、オブジェクト識別部１３０により識別される人物による処方薬の服用行為に対応するイベントを検出する。イベント検出部１５０は、例えば、公知のジェスチャ認識技術を用いて、人物による服用行為のジェスチャを検出してもよい。本実施例におけるイベント検出条件は、次のような条件となる。
条件Ｃ３１）人物オブジェクトが処方薬オブジェクトを服用するジェスチャが認識される。
【０１２７】
（３）属性の制御
属性制御部１７０は、イベント検出部１５０により服用行為に対応するイベントが検出されると、服用行為に関与する人物オブジェクト及び処方薬オブジェクトの属性を更新する。例えば、属性制御部１７０は、処方薬オブジェクトに含まれる物質の種類と１回当たりの服用量とを示す属性を人物オブジェクトに新たに関連付けてもよい。また、属性制御部１７０は、処方薬オブジェクトの属性から、１回当たりの服用量に相当する数量を削除してもよい。さらに、属性制御部１７０は、これらオブジェクトの属性を更新すると、更新の履歴を示すレコードを履歴データ１６４ｃに記憶させる。
【０１２８】
図２１は、本実施例において属性制御部１７０により生成される一例としての履歴データ１６４ｃの内容を示している。図２１を参照すると、履歴データ１６４ｃは、「オブジェクトＩＤ」、「属性」及び「時刻」という３つのデータ項目を有する。「オブジェクトＩＤ」は、処方薬を服用した人物の人物オブジェクトを識別する識別子である。「属性」は、属性制御部１７０により当該人物オブジェクトに新たに関連付けられた属性値を示す。「時刻」は、対応するイベントの検出時刻（又は属性の更新時刻であってもよい）を示す。属性制御部１７０は、履歴の信頼性を補強するために、これら時刻に対応する時刻認証データを外部の時刻認証サービスから取得し、取得した時刻認証データを図２１に示したような履歴に関連付けて記憶させてもよい。図２１の例では、時刻Ｔ３１、Ｔ３２及びＴ３３において、患者Ｏｂｊ３１が物質ＳＢ３１を２錠ずつ服用したことが、履歴データ１６４ｃにより示されている。
【０１２９】
さらに、属性制御部１７０は、服用行為に対応するイベントの検出に応じて、担当の医師、看護師又は患者の家族などが有する端末装置に通知メッセージを送信してもよい。また、属性制御部１７０は、患者が服用すべきでない薬を服用したことが検出された場合には、警報メッセージを送信し又は警報音を発してもよい。
【０１３０】
（４）データ遷移
図２２は、本実施例における例示的なシナリオに沿った属性データの状態遷移の一例について説明するための説明図である。これら図の左側には時系列で取得される３つの入力画像Ｉｍ３１〜Ｉｍ３３が順に示されており、右側には各時点の属性データ１６２ｃの部分的な内容が示されている。
【０１３１】
図２２を参照すると、入力画像Ｉｍ３１には、患者Ｏｂｊ３１及び処方薬Ｏｂｊ３５が映っている。属性データ１６２ｃにおいて、患者Ｏｂｊ３１には、いずれの属性値も関連付けられていない。一方、処方薬Ｏｂｊ３５には、物質ＳＢ３１の種類と数量３０錠とを示す属性値が関連付けられている。これは、処方薬Ｏｂｊ３５に物質ＳＢ３１が３０錠収容されていることを表す。
【０１３２】
次に、入力画像Ｉｍ３２において、処方薬Ｏｂｊ３５を患者Ｏｂｊ３１が服用する様子が映っている。イベント検出部１５０は、このような服用行為のジェスチャを認識することにより、当該服用行為に対応するイベントを検出する。すると、属性制御部１７０は、処方薬Ｏｂｊ３５に関連付けられている属性値“ＳＢ３１”を患者Ｏｂｊ３１に新たに関連付ける。また、属性制御部１７０は、１回当たりの服用量に相当する数量を患者Ｏｂｊ３１の属性に付加する。また、属性制御部１７０は、処方薬Ｏｂｊ３５の属性から１回当たりの服用量に相当する数量を削除する。その結果、属性データ１６２ｃは、患者Ｏｂｊ３１が物質ＳＢ３１を２錠服用したこと、及び処方薬Ｏｂｊ３５に物質ＳＢ３１が２８錠収容されていることを表す。
【０１３３】
その後、入力画像Ｉｍ３３には、患者Ｏｂｊ３１が映っている。属性データ１６２ｃは、引き続き患者Ｏｂｊ３１が物質ＳＢ３１を２錠服用したことを表している。なお、属性制御部１７０は、服用行為に対応するイベントの検出時刻から処方薬の効果の持続時間が経過した時点で、当該イベントが検出された際に患者オブジェクトに関連付けた属性を削除してもよい。
【０１３４】
（５）表示例
図２３は、本実施例において端末装置２００により表示される出力画像の一例について説明するための説明図である。図２３を参照すると、一例としての出力画像Ｉｍ３９が示されている。出力画像Ｉｍ３９には、患者Ｏｂｊ３１が映っている。また、出力画像Ｉｍ３９には、患者Ｏｂｊ３１を指し示すメッセージＭＳＧ３１が重畳されている。メッセージＭＳ３１は、患者Ｏｂｊ３１が２０１１年１１月１日１４時に“Ｘ１錠”を２錠服用したことを表す。端末装置２００のユーザは、例えば、このようなメッセージＭＳＧ３１を閲覧することにより、患者が適切な時刻に適切な処方薬を服用したかを容易に把握することができる。
【０１３５】
なお、画像処理装置１００のユーザインタフェース部１９０又は端末装置２００のユーザインタフェース部２５０は、患者のオブジェクトＩＤ又は名前をユーザ（例えば医師、看護師又は家族など）に指定させ、指定された患者に関連付けられている服用行為の履歴を当該ユーザに呈示するためのＵＩ画面を、ユーザに提供してもよい。
【０１３６】
（６）処理の流れ
図２４は、本実施例における画像処理装置１００による属性制御処理の流れの一例を示すフローチャートである。図２４に示した属性制御処理は、画像取得部１２０により順次取得される入力画像について繰り返される。
【０１３７】
まず、画像取得部１２０は、撮像部１０２により生成される撮像画像を入力画像として取得する（ステップＳ３００）。そして、画像取得部１２０は、取得した入力画像をオブジェクト識別部１３０へ出力する。
【０１３８】
次に、オブジェクト識別部１３０は、オブジェクトＤＢ１４０により記憶されている人物オブジェクト及び処方薬オブジェクトの既知の特徴量を用いて、入力画像に映るこれらオブジェクトを識別する（ステップＳ３０４）。
【０１３９】
次に、イベント検出部１５０は、オブジェクト識別部１３０により識別されるオブジェクトについて、ジェスチャ認識技術を用いてイベント検出条件が満たされているかを判定する（ステップＳ３０８）。ここで、イベント検出条件が満たされていない場合には、その後の処理はスキップされる（ステップＳ３１２）。イベント検出条件が満たされている場合には、イベント検出部１５０は、検出したイベントを属性制御部１７０に通知する。
【０１４０】
属性制御部１７０は、イベント検出部１５０によりイベントが検出されると、処方薬オブジェクトである第１のオブジェクトに関連付けられている属性値及び服用量を、人物オブジェクトである第２のオブジェクトに関連付ける（ステップＳ３２４）。また、属性制御部１７０は、第１のオブジェクトに関連付けられている属性の数量から、１回当たりの服用量を削除する（ステップＳ３３２）。そして、属性制御部１７０は、履歴データ１６４ｃの新たなレコードを属性ＤＢ１６０に記憶させる（ステップＳ３４８）。
【０１４１】
ここまで、図２０〜図２４を用いて第３の実施例について説明した。本実施例によれば、患者が処方薬を服用する状況において、患者がどの薬をいつ服用したかをオブジェクトの属性データ又は属性の更新履歴を通じて第３者が把握することが可能となる。オブジェクトの属性の更新に際しては、患者及び第３者にデータ入力などの作業は課されない。
【０１４２】
＜７．第４の実施例＞
第４の実施例では、履歴管理の対象として、食品加工行為における食材及び調味料の配合を例示する。従って、画像処理装置１００は、シェフ、レストランの従業員又は食品加工工場の従業員などの人物が食材及び調味料を取り扱う際の物理的作用に対応するイベントを検出する。なお、説明の簡明さのために、本実施例において先行するいずれかの実施例と重複する事項についての説明は省略する。
【０１４３】
（１）オブジェクトの例
図２５は、第４の実施例におけるオブジェクトデータの一例について説明するための説明図である。図２５を参照すると、オブジェクトＤＢ１４０により記憶される一例としてのオブジェクトデータ１４２ｄが示されている。オブジェクトデータ１４２ｄは、第１の実施例に係るオブジェクトデータ１４２ａと同様、「オブジェクトＩＤ」、「名称」、「品番」、「タイプ」及び「特徴量」という５つのデータ項目を有する。
【０１４４】
本実施例において、各オブジェクトには次の４つのタイプの候補のうちのいずれかが割当てられる。
“ＳＯＵＲＣＥ”…食材又は調味料の移送元のオブジェクトを示すタイプである。食材若しくは調味料の容器、又は食材そのものなどに相当し得る
“ＴＲＡＮＳＰＯＲＴＥＲ”…食材又は調味料を移送可能なオブジェクトを示すタイプである
“ＣＯＮＴＡＩＮＥＲ”…調理される食品を収容可能なオブジェクトを示すタイプである
“ＦＯＯＤ＿ＩＴＥＭ”…調理される食品のオブジェクトを示すタイプである
図２５の例では、オブジェクトＯｂｊ４１（ひき肉）及びオブジェクトＯｂｊ４２（コショウ瓶）のタイプは“ＳＯＵＲＣＥ”である。オブジェクトＯｂｊ４３（おたま）のタイプは“ＴＲＡＮＳＰＯＲＴＥＲ”である。オブジェクトＯｂｊ４４（ボウル）、オブジェクトＯｂｊ４５（フライパン）及びオブジェクトＯｂｊ４６（トレイ）のタイプは“ＣＯＮＴＡＩＮＥＲ”である。オブジェクトＯｂｊ５０（食品）のタイプは“ＦＯＯＤ＿ＩＴＥＭ”である。
【０１４５】
なお、“ＦＯＯＤ＿ＩＴＥＭ”オブジェクトを識別するための特徴量（例えば、オブジェクトデータ１４２ｄにおける特徴量ＦＤ５０）は、初期状態では与えられない。“ＦＯＯＤ＿ＩＴＥＭ”オブジェクトの特徴量は、後述するイベントの検出に応じて入力画像から抽出され得る。
【０１４６】
（２）イベント
本実施例において、イベント検出部１５０は、オブジェクト識別部１３０により識別されるオブジェクトの間の物理的作用に対応するイベントを検出する。例えば、図２５に例示したオブジェクトが関与するイベントとして、次のようなイベントが挙げられる。
イベントＥｖ４１）ボウルへのひき肉の投入
イベントＥｖ４２）コショウ瓶からボウルへのコショウの投入
イベントＥｖ４３）ボウルからフライパンへの食品の移し替え
イベントＥｖ４４）フライパンからトレイへの食品の移し替え
【０１４７】
これらイベントは、例えば、２つのオブジェクトについて所定のイベント検出条件が満たされること条件として検出されてよい。所定のイベント検出条件とは、例えば、次のような条件のいずれかであってよい。
条件Ｃ４１）一方のオブジェクトの上方に他方のオブジェクトが位置する。
条件Ｃ４２）条件Ｃ４１が連続的に満たされている時間が閾値を上回る。
条件Ｃ４３）２つのオブジェクトを扱う人物の所定のジェスチャが認識される。
条件Ｃ４２における閾値は、オブジェクトに依存することなく共通的に定義されても、各オブジェクトについて個別に定義されてもよい。
【０１４８】
（３）属性の制御
本実施例においても、属性制御部１７０は、検出されたイベントに関与するオブジェクトについて定義されているタイプが所定の属性制御条件を満たす場合に、それらオブジェクトの属性を更新する。属性制御条件は、属性制御テーブルにおいて定義される。
【０１４９】
図２６は、第４の実施例における属性制御テーブルの一例について説明するための説明図である。図２６を参照すると、オブジェクトＤＢ１４０により記憶される一例としての属性制御テーブル１４４ｄが示されている。属性制御テーブル１４４ｄは、行及び列の双方にオブジェクトの４つのタイプを配置したマトリックス形式で定義されている。各列は、イベントに関与する第１のオブジェクトのタイプに対応する。各行は、イベントに関与する第２のオブジェクトのタイプに対応する。
【０１５０】
例えば、第１のオブジェクトのタイプが“ＳＯＵＲＣＥ”であって、第２のオブジェクトのタイプが“ＴＲＡＮＳＰＯＲＴＥＲ”である場合には、第１のオブジェクトに関連付けられている属性が第２のオブジェクトに追加される（即ち、新たに関連付けられる）。第１のオブジェクトの属性は更新されない。
【０１５１】
第１のオブジェクトのタイプが“ＳＯＵＲＣＥ”であって、第２のオブジェクトのタイプが“ＣＯＮＴＡＩＮＥＲ”である場合には、第２のオブジェクトに収容されている第３のオブジェクトが存在するかが判定され、存在しない場合には当該第３のオブジェクトが生成される。ここで生成される第３のオブジェクトは、“ＦＯＯＤ＿ＩＴＥＭ”オブジェクトである。そして、第１のオブジェクトに関連付けられている属性が第３のオブジェクトに追加される。さらに、第３のオブジェクトの新たな特徴量が入力画像から抽出される。第１のオブジェクトの属性は更新されない。
【０１５２】
また、第１のオブジェクトのタイプが“ＳＯＵＲＣＥ”であって、第２のオブジェクトのタイプが“ＦＯＯＤ＿ＩＴＥＭ”である場合には、第１のオブジェクトに関連付けられている属性が第２のオブジェクトに追加される。さらに、第３のオブジェクトの新たな特徴量が入力画像から抽出される。第１のオブジェクトの属性は更新されない。
【０１５３】
また、第１のオブジェクトのタイプが“ＴＲＡＮＳＰＯＲＴＥＲ”であって、第２のオブジェクトのタイプが“ＣＯＮＴＡＩＮＥＲ”である場合には、第２のオブジェクトに収容されている第３のオブジェクトが存在するかが判定され、存在しない場合には当該第３のオブジェクトが生成される。ここで生成される第３のオブジェクトは、“ＦＯＯＤ＿ＩＴＥＭ”オブジェクトである。そして、第１のオブジェクトに関連付けられている属性が第３のオブジェクトに追加される。さらに、第３のオブジェクトの新たな特徴量が入力画像から抽出される。第１のオブジェクトの属性は削除される。
【０１５４】
また、第１のオブジェクトのタイプが“ＴＲＡＮＳＰＯＲＴＥＲ”であって、第２のオブジェクトのタイプが“ＦＯＯＤ＿ＩＴＥＭ”である場合には、第１のオブジェクトに関連付けられている属性が第２のオブジェクトに追加される。さらに、第２のオブジェクトの新たな特徴量が入力画像から抽出される。第１のオブジェクトの属性は削除される。
【０１５５】
また、第１のオブジェクトのタイプが“ＣＯＮＴＡＩＮＥＲ”であって、第２のオブジェクトのタイプも“ＣＯＮＴＡＩＮＥＲ”である場合には、第１のオブジェクトに関連付けられている属性が第２のオブジェクトに追加される。さらに、第２のオブジェクトの新たな特徴量が入力画像から抽出される。第１のオブジェクトの属性は削除される。
【０１５６】
また、第１のオブジェクトのタイプが“ＣＯＮＴＡＩＮＥＲ”であって、第２のオブジェクトのタイプが“ＦＯＯＤ＿ＩＴＥＭ”である場合には、第１のオブジェクトに関連付けられている属性が第２のオブジェクトに追加される。さらに、第２のオブジェクトの新たな特徴量が入力画像から抽出される。第１のオブジェクトの属性は削除される。
【０１５７】
これら以外のタイプの組合せにおいては、第１及び第２のオブジェクトの属性は更新されない。
【０１５８】
なお、“ＦＯＯＤ＿ＩＴＥＭ”オブジェクトの特徴量は、“ＦＯＯＤ＿ＩＴＥＭ”オブジェクトを収容する“ＣＯＮＴＡＩＮＥＲ”オブジェクトの画像領域から既知の“ＣＯＮＴＡＩＮＥＲ”オブジェクトが映っている部分を除くことにより決定される差分領域から抽出されてよい。属性制御部１７０は、“ＦＯＯＤ＿ＩＴＥＭ”オブジェクトが関与するイベントが検出された場合において、当該オブジェクトの外観に大きな変化が見られないときは、当該オブジェクトの特徴量を抽出せず又は更新しなくてよい。また、本実施例においても、第２の実施例において説明したような、物質を計量可能なオブジェクトを示す“ＳＣＡＬＥ”タイプがさらに使用されてもよい。
【０１５９】
（４）データ遷移
図２７Ａ及び図２７Ｂは、本実施例における例示的なシナリオに沿った属性データの状態遷移の一例について説明するための説明図である。これら図の左側には時系列で取得される５つの入力画像Ｉｍ４１〜Ｉｍ４５が順に示されており、右側には各時点の属性データ１６２ｄの部分的な内容が示されている。
【０１６０】
図２７Ａを参照すると、入力画像Ｉｍ４１には、ひき肉Ｏｂｊ４１及びボウルＯｂｊ４４が映っている。属性データ１６２ｄにおいて、ひき肉Ｏｂｊ４１には、物質ＳＢ４１及び物質ＳＢ４３を示す属性値が関連付けられている。これは、ひき肉Ｏｂｊ４１が構成成分として物質ＳＢ４１及びＳＢ４３を有することを表す。一方、ボウルＯｂｊ４４には、いずれの属性値も関連付けられていない。これは、ボウルＯｂｊ４４に何も収容されていないことを表す。
【０１６１】
次に、入力画像Ｉｍ４２において、ボウルＯｂｊ４４の上方に、ひき肉Ｏｂｊ４１が映っている。イベント検出部１５０は、例えば上述したイベント検出条件Ｃ４１〜Ｃ４３のいずれかに従って、ボウルＯｂｊ４４へのひき肉Ｏｂｊ４１の投入に対応するイベントを検出する。オブジェクトデータ１４２ｄによれば、ひき肉Ｏｂｊ４１のタイプは“ＳＯＵＲＣＥ”、ボウルＯｂｊ４４のタイプは“ＣＯＮＴＡＩＮＥＲ”である。そこで、属性制御部１７０は、属性制御テーブル１４４ｄにより示される制御内容に従って、“ＦＯＯＤ＿ＩＴＥＭ”オブジェクトである食品Ｏｂｊ５０を新たに生成し、ひき肉Ｏｂｊ４１に関連付けられている属性値“ＳＢ４１”及び“ＳＢ４３”を食品Ｏｂｊ５０に関連付ける。ボウルＯｂｊ４４には、食品Ｏｂｊ５０を示す属性値が関連付けられる。さらに、属性制御部１７０は、食品Ｏｂｊ５０の特徴量ＦＤ５０を入力画像Ｉｍ４２から抽出し、抽出した特徴量ＦＤ５０をオブジェクトＤＢ１４０に記憶させる。
【０１６２】
次に、入力画像Ｉｍ４３には、コショウ瓶Ｏｂｊ４２、ボウルＯｂｊ４４及び食品Ｏｂｊ５０が映っている。イベント検出部１５０は、例えば上述したイベント検出条件Ｃ４１〜Ｃ４３のいずれかに従って、ボウルＯｂｊ４４内の食品Ｏｂｊ５０へのコショウの投入に対応するイベントを検出する。ここで、食品Ｏｂｊ５０タイプは“ＦＯＯＤ＿ＩＴＥＭ”、コショウ瓶Ｏｂｊ４２のタイプは“ＳＯＵＲＣＥ”である。そこで、属性制御部１７０は、属性制御テーブル１４４ｄにより示される制御内容に従って、コショウ瓶Ｏｂｊ４２に関連付けられている属性値“ＳＢ４２”を食品Ｏｂｊ５０に新たに関連付ける。属性データ１６２ｄにおいて、コショウ瓶Ｏｂｊ４２には、物質ＳＢ４２（コショウ）を示す属性値が関連付けられている。ボウルＯｂｊ４４には、食品Ｏｂｊ５０を示す属性値が関連付けられている。食品Ｏｂｊ５０には、物質ＳＢ４１、ＳＢ４２及びＳＢ４３を示す属性値が関連付けられている。
【０１６３】
次に、図２７Ｂを参照すると、入力画像Ｉｍ４４において、フライパンＯｂｊ４５に食品Ｏｂｊ５０が収容されている様子が映っている。属性データ１６２ｄは、フライパンＯｂｊ４５に食品Ｏｂｊ５０が収容されていること、及び食品Ｏｂｊ５０が物質ＳＢ４１、ＳＢ４２及びＳＢ４３を構成成分として有することを表す。
【０１６４】
さらに、フライパンＯｂｊ４５での調理を経た後、入力画像Ｉｍ４５において、フライパンＯｂｊ４５の近傍にトレイＯｂｊ４６が映っている。イベント検出部１５０は、フライパンＯｂｊ４５からトレイＯｂｊ４６への食品Ｏｂｊ５０の移し替えに対応するイベントを検出する。ここで、フライパンＯｂｊ４５及びトレイＯｂｊ４６のタイプは共に“ＣＯＮＴＡＩＮＥＲ”である。そこで、属性制御部１７０は、属性制御テーブル１４４ｄにより示される制御内容に従って、フライパンＯｂｊ４５に関連付けられている属性値“Ｏｂｊ５０”をトレイＯｂｊ４６に新たに関連付ける。その結果、属性データ１６２ｄは、トレイＯｂｊ４６に食品Ｏｂｊ５０が収容されていることを表す。さらに、属性制御部１７０は、食品Ｏｂｊ５０の特徴量ＦＤ５０を新たに入力画像Ｉｍ４２から抽出し、抽出した特徴量ＦＤ５０をオブジェクトＤＢ１４０に記憶させる。ここで記憶される特徴量ＦＤ５０は、フライパンＯｂｊ４５を用いて調理された食品Ｏｂｊ５０の外観の特徴を表現する。
【０１６５】
（５）表示例
図２８は、本実施例において端末装置２００により表示される出力画像の一例について説明するための説明図である。図２８を参照すると、一例としての出力画像Ｉｍ４９が示されている。出力画像Ｉｍ４９には、トレイＯｂｊ４６及び食品Ｏｂｊ５０が映っている。また、出力画像Ｉｍ４９には、食品Ｏｂｊ５０を指し示すメッセージＭＳＧ４１が重畳されている。メッセージＭＳＧ４１は、食品Ｏｂｊ５０が物質ＳＢ４１、ＳＢ４３及びＳＢ４２にそれぞれ相当し得る牛肉、豚肉及びコショウを含有していることを表す。端末装置２００のユーザは、例えば、このようなメッセージＭＳＧ４１を閲覧することにより、食品Ｏｂｊ５０にどのような成分が含まれているかを容易に把握することができる。
【０１６６】
（６）処理の流れ
図２９は、本実施例における画像処理装置１００による属性制御処理の流れの一例を示すフローチャートである。図２９に示した属性制御処理は、画像取得部１２０により順次取得される入力画像について繰り返される。
【０１６７】
まず、画像取得部１２０は、撮像部１０２により生成される撮像画像を入力画像として取得する（ステップＳ４００）。そして、画像取得部１２０は、取得した入力画像をオブジェクト識別部１３０へ出力する。
【０１６８】
次に、オブジェクト識別部１３０は、オブジェクトＤＢ１４０により記憶されている各オブジェクトの既知の特徴量を用いて、入力画像に映るオブジェクトを識別する（ステップＳ４０４）。
【０１６９】
次に、イベント検出部１５０は、オブジェクト識別部１３０により識別されるオブジェクトについて上述したイベント検出条件が満たされているかを判定する（ステップＳ４０８）。ここで、イベント検出条件が満たされていない場合には、その後の処理はスキップされる（ステップＳ４１２）。イベント検出条件が満たされている場合には、イベント検出部１５０は、検出したイベントを属性制御部１７０に通知する。
【０１７０】
属性制御部１７０は、イベント検出部１５０によりイベントが検出されると、属性制御テーブル１４４ｄを用いて、検出されたイベントに関与するオブジェクトについての属性の制御内容を決定する（ステップＳ４１６）。そして、属性制御部１７０は、第１のオブジェクトから第２のオブジェクトへ属性値を移動することを決定した場合には（ステップＳ４２０）、第１のオブジェクトに関連付けられている属性値を第２のオブジェクトに関連付ける（ステップＳ４２４）。また、属性制御部１７０は、第１のオブジェクトの属性値を削除することを決定した場合には（ステップＳ４２８）、第１のオブジェクトに関連付けられている属性値を削除する（ステップＳ４３２）。
【０１７１】
また、属性制御部１７０は、新たな“ＦＯＯＤ＿ＩＴＥＭ”オブジェクトを生成することを決定した場合には（ステップＳ４３６）、“ＦＯＯＤ＿ＩＴＥＭ”オブジェクトを生成する（ステップＳ４３８）。ここで生成される“ＦＯＯＤ＿ＩＴＥＭ”オブジェクトには、第１のオブジェクトに関連付けられている属性値が関連付けられる。
【０１７２】
また、属性制御部１７０は、“ＦＯＯＤ＿ＩＴＥＭ”オブジェクトの特徴量を更新することを決定した場合には（ステップＳ４４０）、上述した抽出対象領域から画像特徴量を抽出し（ステップＳ４４２）、抽出した画像特徴量で“ＦＯＯＤ＿ＩＴＥＭ”オブジェクトの特徴量を更新する（ステップＳ４４４）。
【０１７３】
そして、属性制御部１７０は、履歴データ１６４の新たなレコードを属性ＤＢ１６０に記憶させる（ステップＳ４４８）。なお、いずれのオブジェクトの属性も更新されない場合には、ステップＳ４４８の処理はスキップされる。
【０１７４】
ここまで、図２５〜図２９を用いて第４の実施例について説明した。本実施例によれば、調理器具を用いて食品が加工される状況において、食品に含有されている成分をオブジェクトの属性を通じて把握することが可能となる。消費者は、カメラを有する端末装置を食品にかざすことで加工された食品の成分を容易に把握できるため、より安心して食品を購入し又は食することができる。
【０１７５】
＜８．変形例＞
上述した実施形態では、画像処理装置１００及び端末装置２００が物理的に異なる装置として構成される例について主に説明した。しかしながら、画像処理装置１００及び端末装置２００は、図３０に例示する画像処理装置３００のように、一体の装置として構成されてもよい。
【０１７６】
図３０は、一変形例に係る画像処理装置３００の論理的機能の構成の一例を示すブロック図である。図３０を参照すると、画像処理装置３００は、画像取得部１２０、オブジェクト識別部１３０、オブジェクトＤＢ１４０、イベント検出部１５０、属性ＤＢ１６０、属性制御部１７０、表示制御部２４０及びユーザインタフェース部１９０、２５０を含む。画像処理装置３００の各処理ブロックの機能は、上で説明した同じ符号の付された処理ブロックの機能と原則として同様である。画像処理装置３００の表示制御部２４０は、入力画像に映るオブジェクトに関連付けられている属性データを属性ＤＢ１６０から取得し、取得した属性データを入力画像に重畳する。
【０１７７】
＜９．まとめ＞
ここまで、本開示に係る技術の一実施形態及びその４つの実施例について詳細に説明した。本開示に係る技術によれば、実空間に存在するオブジェクトが入力画像内で識別され、識別されたオブジェクト間の物理的作用に対応するイベントの検出に応じて、第１のオブジェクトに関連付けられている属性データが第２のオブジェクトに関連付けられる。従って、これらオブジェクト間の物理的作用を生じさせる様々な作業行為の履歴を、オブジェクトの属性という形式で管理することが可能となる。その際、属性データの更新は画像認識技術を用いて自動的に行われるため、行為者に負担が課されることがない。
【０１７８】
上記実施形態によれば、上記オブジェクトは物質を収容可能なオブジェクトであってよく、上記属性データは関連付けられるオブジェクトに収容される物質の種類を示し得る。かかる構成によれば、収容される物質を外部から視認できないオブジェクトについて行われた行為の詳細を事後的に把握することが可能となる。
【０１７９】
また、上記実施形態によれば、オブジェクト間の物理的作用に対応するイベントは、当該オブジェクトの間の位置関係が所定の条件を満たす場合に検出されてよい。オブジェクト間の位置関係についての条件の代わりに、オブジェクトに対する人物のジェスチャの認識についての条件が採用されてもよい。これらの構成によれば、入力画像以外の情報を要することなく、上述した履歴管理の仕組みを実現することができる。即ち、事前に用意されるデータベースを除いてアプリケーションの目的に特化した入力情報が必要とされないため、医師、看護師、薬剤師、患者の家族、シェフ又は工場の従業員など様々な人物が有し得る汎用的な装置を用いて、履歴を容易に蓄積し又は蓄積された履歴を閲覧することが可能となる。
【０１８０】
また、上記実施形態によれば、属性の制御内容は、検出されるイベントに関与するオブジェクトについて定義されるタイプに応じて決定され得る。かかる構成によれば、作業行為の様々なパターンをタイプの組合せを通じて区別し、そのパターンごとに異なる属性の制御を実現することができる。よって、履歴管理の対象となる作業行為の様々なバリエーションに、上述した履歴管理の仕組みを柔軟に適用することが可能となる。
【０１８１】
履歴の正確性がより重要視される場面では、属性の更新についての承認をユーザから受け付けるユーザインタフェースが提供されてもよい。この場合には、行為者に課される負担の僅かな増加によって、管理される履歴の正確性を担保することができる。また、記憶される履歴データに時刻認証データを付加することで、作業行為の時刻をも証明可能とし、履歴の信頼性及び追跡可能性をより高めることができる。
【０１８２】
なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵなどのプロセッサにより実行される。
【０１８３】
また、各装置の論理的機能の一部は、当該装置上に実装される代わりに、クラウドコンピューティング環境内に存在する装置上に実装されてもよい。その場合には、論理的機能の間でやり取りされる情報が、図２に例示した通信部１１２又は図５に例示した通信部２１２を介して装置間で送信され又は受信され得る。
【０１８４】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１８５】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
実空間に存在するオブジェクトを入力画像内で識別する識別部と、
前記識別部により識別される第１のオブジェクトと第２のオブジェクトとの間の物理的作用に対応するイベントを前記入力画像を用いて検出する検出部と、
前記イベントの検出に応じて、前記第１のオブジェクトに関連付けられている属性データを前記第２のオブジェクトに関連付ける属性制御部と、
を備える画像処理装置。
（２）
前記第１のオブジェクト及び前記第２のオブジェクトは、物質を収容可能なオブジェクトである、前記（１）に記載の画像処理装置。
（３）
前記属性データは、関連付けられるオブジェクトに収容される物質の少なくとも種類を示す、前記（２）に記載の画像処理装置。
（４）
前記属性データは、関連付けられるオブジェクトに収容される物質の数量をさらに表す、前記（３）に記載の画像処理装置。
（５）
前記検出部は、前記第１のオブジェクトと前記第２のオブジェクトとの間の位置関係が第１の条件を満たすことを、前記イベントとして検出する、前記（１）〜（４）のいずれか１項に記載の画像処理装置。
（６）
前記第１の条件は、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離が所定の閾値を下回ることを含む、前記（５）に記載の画像処理装置。
（７）
前記第２のオブジェクトは、人物であり、
前記検出部は、前記第２のオブジェクトの前記第１のオブジェクトに対する所定のジェスチャを前記イベントとして検出する、
前記（１）〜（４）のいずれか１項に記載の画像処理装置。
（８）
前記第１のオブジェクト及び前記第２のオブジェクトは、人物により扱われる器具であり、
前記検出部は、前記第１のオブジェクト及び前記第２のオブジェクトに対する前記人物の所定のジェスチャを前記イベントとして検出する、
前記（１）〜（４）のいずれか１項に記載の画像処理装置。
（９）
前記属性制御部は、前記第１のオブジェクト及び前記第２のオブジェクトについて予め定義されるタイプが第２の条件を満たす場合に、前記第１のオブジェクトに関連付けられている前記属性データを前記第２のオブジェクトに関連付ける、前記（１）〜（８）のいずれか１項に記載の画像処理装置。
（１０）
前記第２の条件は、前記第１のオブジェクト及び前記第２のオブジェクトについて予め定義される前記タイプの少なくとも一方が物質を移送可能なオブジェクトを示す第１のタイプであることを含む、前記（９）に記載の画像処理装置。
（１１）
前記第２の条件は、前記第１のオブジェクトのタイプが前記第１のタイプであって、第２のオブジェクトのタイプが物質の移送先のオブジェクトを示す第２のタイプであること、をさらに含む、前記（１０）に記載の画像処理装置。
（１２）
前記第２の条件は、前記第２のオブジェクトのタイプが前記第１のタイプであって、第１のオブジェクトのタイプが物質の移送元のオブジェクトを示す第３のタイプであること、をさらに含む、前記（１０）に記載の画像処理装置。
（１３）
前記検出部は、前記第２のオブジェクトと第３のオブジェクトとの間の物理的作用に対応するさらなるイベントを検出し、
前記属性制御部は、前記第３のオブジェクトについて予め定義されるタイプが物質を計量可能なオブジェクトを示す第４のタイプである場合に、固定的に定義され又は前記入力画像から読み取られる物質の数量を前記属性データに付加する、
前記（９）〜（１２）のいずれか１項に記載の画像処理装置。
（１４）
前記属性制御部は、前記第１のオブジェクト及び前記第２のオブジェクトについて予め定義されるタイプが第３の条件を満たす場合に、第４のオブジェクトを新たに生成し、前記第１のオブジェクトに関連付けられている前記属性データを前記第４のオブジェクトに関連付ける、前記（９）〜（１３）のいずれか１項に記載の画像処理装置。
（１５）
前記属性制御部は、生成した前記第４のオブジェクトの画像特徴量を前記入力画像から抽出し、抽出した当該画像特徴量を前記第４のオブジェクトにさらに関連付ける、前記（１４）に記載の画像処理装置。
（１６）
前記属性制御部は、前記イベントの検出時刻に対応する時刻認証データ及び前記属性データを、前記第２のオブジェクトに関連付けて記憶媒体に記憶させる、前記（１）〜（１５）のいずれか１項に記載の画像処理装置。
（１７）
前記画像処理装置は、前記第１のオブジェクトに関連付けられている前記属性データを前記第２のオブジェクトに関連付けることについての承認をユーザから受け付けるユーザインタフェース部、をさらに備え、
前記属性制御部は、前記ユーザインタフェース部が前記承認を受け付けた場合にのみ、前記属性データを前記第２のオブジェクトに関連付ける、
前記（１）〜（１６）のいずれか１項に記載の画像処理装置。
（１８）
前記画像処理装置は、前記第２のオブジェクトを映した画像を表示する端末装置に前記第２のオブジェクトに関連付けられている前記属性データを配信して、前記端末装置に前記属性データを表示させるデータ配信部、をさらに備える、前記（１）〜（１７）のいずれか１項に記載の画像処理装置。
（１９）
前記識別部、前記検出部及び前記属性制御部のうち少なくとも１つが前記画像処理装置の代わりにクラウドコンピューティング環境上に存在する装置により実現される、前記（１）〜（１８）のいずれか１項に記載の画像処理装置。
（２０）
画像処理装置を制御するコンピュータを、
実空間に存在するオブジェクトを入力画像内で識別する識別部と、
前記識別部により識別される第１のオブジェクトと第２のオブジェクトとの間の物理的作用に対応するイベントを前記入力画像を用いて検出する検出部と、
前記イベントの検出に応じて、前記第１のオブジェクトに関連付けられている属性データを前記第２のオブジェクトに関連付ける属性制御部と、
として機能させるためのプログラム。
（２１）
実空間に存在するオブジェクトを入力画像内で識別することと、
識別された第１のオブジェクトと第２のオブジェクトとの間の物理的作用に対応するイベントを前記入力画像を用いて検出することと、
前記イベントの検出に応じて、前記第１のオブジェクトに関連付けられている属性データを前記第２のオブジェクトに関連付けることと、
を含む画像処理方法。
（２２）
実空間に存在するオブジェクトを映す入力画像を取得する画像取得部と、
第１のオブジェクトとの間の物理的作用に関与する、前記入力画像内で識別される第２のオブジェクトに関連付けられている属性データを取得するデータ取得部と、
前記データ取得部により取得される前記属性データを前記入力画像に重畳する表示制御部と、
を備え、
前記属性データは、前記物理的作用に対応するイベントの検出前に前記第１のオブジェクトに関連付けられており、前記イベントの検出に応じて前記第２のオブジェクトに新たに関連付けられるデータである、
端末装置。
（２３）
端末装置を制御するコンピュータを、
実空間に存在するオブジェクトを映す入力画像を取得する画像取得部と、
第１のオブジェクトとの間の物理的作用に関与する、前記入力画像内で識別される第２のオブジェクトに関連付けられている属性データを取得するデータ取得部と、
前記データ取得部により取得される前記属性データを前記入力画像に重畳する表示制御部と、
として機能させ、
前記属性データは、前記物理的作用に対応するイベントの検出前に前記第１のオブジェクトに関連付けられており、前記イベントの検出に応じて前記第２のオブジェクトに新たに関連付けられるデータである、
プログラム。
【符号の説明】
【０１８６】
１００，３００ 画像処理装置
１２０ 画像取得部
１３０ オブジェクト識別部
１４０ オブジェクトＤＢ
１４２ オブジェクトデータ
１４４ 属性制御テーブル
１５０ イベント検出部
１６０ 属性ＤＢ
１６２ 属性データ
１６４ 履歴データ
１７０ 属性制御部
１８０ データ配信部
１９０ ユーザインタフェース部
２００ 端末装置
２２０ 画像取得部
２３０ データ取得部
２４０ 表示制御部
２５０ ユーザインタフェース部
【技術分野】
【０００１】
本開示は、画像処理装置、プログラム、画像処理方法及び端末装置に関する。
【背景技術】
【０００２】
医療分野では、医薬の調剤又は患者への投薬などの医療行為において生じ得る過誤を防止するための多くの取組みが行われている。例えば、点滴注射の薬液の調剤に際して、医師又は看護師は、点滴バッグに注入した薬液の名称及び量を、マーカペンなどの筆記具を用いて当該点滴バッグに書き残す。下記特許文献１は、不適切な医療行為がなされることを防止するために、医療行為が行われる際に、行為者及び患者の識別子、使用される医療機器の識別子、並びに時刻を互いに関連付けるデータを、履歴として記録することを提案している。
【０００３】
作業行為の履歴の追跡は、医療分野のみならず、他の分野においても重要である。例えば、食品加工分野では、衛生管理、又は製品の品質の維持若しくは証明を目的として、加工プロセスの履歴データを記録し、事後的に履歴を追跡可能とする取組みが行われている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２８９０６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
履歴データを追跡するための既存の取組みの多くは、データ入力などの場面で人手を要する。しかし、人手を要する手法では、データの入力ミス又は故意の不正入力などのリスクが残される。また、目的とする行為に加えてデータ入力作業を行為者に課すことは、行為者にとっての負担となる。上記特許文献１に記載された仕組みによれば、医療機器と接続される特別な端末装置の導入によって、データ入力は自動化される。しかし、当該仕組みは特別な端末装置の存在を前提とするため、その応用範囲は限られる。
【０００６】
これに対し、作業行為を映した映像を履歴として記録する手法が考えられる。この場合、履歴を記録するために人手は不要である。しかし、単純に映像を記録するだけでは、外部から内容物を判別できない容器などを用いた行為の詳細を事後的に把握することが難しい。
【０００７】
従って、上述した分野に限らず一般的に、行為者に過度の負担を課すことなく行為の詳細を履歴としてより容易に管理することのできる仕組みが実現されることが望ましい。
【課題を解決するための手段】
【０００８】
本開示によれば、実空間に存在するオブジェクトを入力画像内で識別する識別部と、前記識別部により識別される第１のオブジェクトと第２のオブジェクトとの間の物理的作用に対応するイベントを前記入力画像を用いて検出する検出部と、前記イベントの検出に応じて、前記第１のオブジェクトに関連付けられている属性データを前記第２のオブジェクトに関連付ける属性制御部と、を備える画像処理装置が提供される。
【０００９】
また、本開示によれば、画像処理装置を制御するコンピュータを、実空間に存在するオブジェクトを入力画像内で識別する識別部と、前記識別部により識別される第１のオブジェクトと第２のオブジェクトとの間の物理的作用に対応するイベントを前記入力画像を用いて検出する検出部と、前記イベントの検出に応じて、前記第１のオブジェクトに関連付けられている属性データを前記第２のオブジェクトに関連付ける属性制御部と、として機能させるためのプログラムが提供される。
【００１０】
また、本開示によれば、実空間に存在するオブジェクトを入力画像内で識別することと、識別された第１のオブジェクトと第２のオブジェクトとの間の物理的作用に対応するイベントを前記入力画像を用いて検出することと、前記イベントの検出に応じて、前記第１のオブジェクトに関連付けられている属性データを前記第２のオブジェクトに関連付けることと、を含む画像処理方法が提供される。
【００１１】
また、本開示によれば、実空間に存在するオブジェクトを映す入力画像を取得する画像取得部と、第１のオブジェクトとの間の物理的作用に関与する、前記入力画像内で識別される第２のオブジェクトに関連付けられている属性データを取得するデータ取得部と、前記データ取得部により取得される前記属性データを前記入力画像に重畳する表示制御部と、を備え、前記属性データは、前記物理的作用に対応するイベントの検出前に前記第１のオブジェクトに関連付けられており、前記イベントの検出に応じて前記第２のオブジェクトに新たに関連付けられるデータである、端末装置が提供される。
【００１２】
また、本開示によれば、端末装置を制御するコンピュータを、実空間に存在するオブジェクトを映す入力画像を取得する画像取得部と、第１のオブジェクトとの間の物理的作用に関与する、前記入力画像内で識別される第２のオブジェクトに関連付けられている属性データを取得するデータ取得部と、前記データ取得部により取得される前記属性データを前記入力画像に重畳する表示制御部と、として機能させ、前記属性データは、前記物理的作用に対応するイベントの検出前に前記第１のオブジェクトに関連付けられており、前記イベントの検出に応じて前記第２のオブジェクトに新たに関連付けられるデータである、プログラムが提供される。
【発明の効果】
【００１３】
本開示に係る技術によれば、行為者に過度の負担を課すことなく、行為の詳細を履歴としてより容易に管理することができる。
【図面の簡単な説明】
【００１４】
【図１】一実施形態に係る画像処理システムの概要について説明するための説明図である。
【図２】一実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。
【図３】一実施形態に係る画像処理装置の論理的機能の構成の一例を示すブロック図である。
【図４】一実施形態における属性の制御の基本的な概念について説明するための説明図である。
【図５】一実施形態に係る端末装置のハードウェア構成の一例を示すブロック図である。
【図６】一実施形態に係る端末装置の論理的機能の構成の一例を示すブロック図である。
【図７】一実施形態において表示される出力画像の一例について説明するための説明図である。
【図８】第１の実施例におけるオブジェクトデータの一例について説明するための説明図である。
【図９】第１の実施例における属性制御テーブルの一例について説明するための説明図である。
【図１０Ａ】第１の実施例における属性データの状態遷移の一例について説明するための説明図の前半部である。
【図１０Ｂ】第１の実施例における属性データの状態遷移の一例について説明するための説明図の後半部である。
【図１１】第１の実施例における履歴データの一例について説明するための説明図である。
【図１２】第１の実施例において表示される出力画像の一例について説明するための説明図である。
【図１３】第１の実施例における属性制御処理の流れの一例を示すフローチャートである。
【図１４】第１の実施例における表示制御処理の流れの一例を示すフローチャートである。
【図１５】第２の実施例におけるオブジェクトデータの一例について説明するための説明図である。
【図１６】第２の実施例における属性制御テーブルの一例について説明するための説明図である。
【図１７Ａ】第２の実施例における属性データの状態遷移の一例について説明するための説明図の前半部である。
【図１７Ｂ】第２の実施例における属性データの状態遷移の一例について説明するための説明図の後半部である。
【図１８】第２の実施例において表示される出力画像の一例について説明するための説明図である。
【図１９】第２の実施例における属性制御処理の流れの一例を示すフローチャートである。
【図２０】第３の実施例におけるオブジェクトデータの一例について説明するための説明図である。
【図２１】第３の実施例における履歴データの一例について説明するための説明図である。
【図２２】第３の実施例における属性データの状態遷移の一例について説明するための説明図である。
【図２３】第３の実施例において表示される出力画像の一例について説明するための説明図である。
【図２４】第３の実施例における属性制御処理の流れの一例を示すフローチャートである。
【図２５】第４の実施例におけるオブジェクトデータの一例について説明するための説明図である。
【図２６】第４の実施例における属性制御テーブルの一例について説明するための説明図である。
【図２７Ａ】第４の実施例における属性データの状態遷移の一例について説明するための説明図の前半部である。
【図２７Ｂ】第４の実施例における属性データの状態遷移の一例について説明するための説明図の後半部である。
【図２８】第４の実施例において表示される出力画像の一例について説明するための説明図である。
【図２９】第４の実施例における属性制御処理の流れの一例を示すフローチャートである。
【図３０】一変形例に係る画像処理装置の論理的機能の構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１６】
また、以下の順序で説明を行う。
１．システムの概要
２．画像処理装置の構成例
２−１．ハードウェア構成
２−２．機能構成
３．端末装置の構成例
３−１．ハードウェア構成
３−２．機能構成
４．第１の実施例
５．第２の実施例
６．第３の実施例
７．第４の実施例
８．変形例
９．まとめ
【００１７】
＜１．システムの概要＞
図１は、一実施形態に係る画像処理システムの概要について説明するための説明図である。図１を参照すると、一例としての画像処理システム１が示されている。画像処理システム１は、画像処理装置１００及び端末装置２００を含む。
【００１８】
画像処理装置１００は、撮像部１０２を有する。撮像部１０２のレンズは、実空間における何らかの作業行為に関与するオブジェクトに向けられる。図１の例では、人物Ｕａが実空間に存在するオブジェクトＯｂｊ１及びＯｂｊ２の一方又は双方を対象とする行為を行っている。オブジェクトＯｂｊ１及びＯｂｊ２のみならず、人物Ｕａもまたオブジェクトの１つとして扱われてよい。撮像部１０２は、これらオブジェクトが関与する行為を撮像し、撮像画像（典型的には、動画を構成する各フレーム）を生成する。生成される撮像画像は、作業行為の履歴の管理を目的とする、画像処理装置１００により実行される画像処理への入力画像となる。
【００１９】
端末装置２００は、撮像部（図示せず）と表示部２１０とを有する。端末装置２００は、撮像部を用いて何らかのオブジェクトを撮像し、画像に映るオブジェクトに関連付けられているデータの配信を画像処理装置１００へ要求する。そして、端末装置２００は、画像処理装置１００から配信されるデータを表示部２１０に表示させる。画像処理装置１００から配信されるデータは、いずれかのオブジェクトについて行われた作業行為の履歴を事後的に把握することを可能とするデータである。作業行為の履歴は、例えば、オブジェクトに関連付けられる属性を通じて把握され、又はタイムスタンプを付与される履歴データそのものから把握され得る。
【００２０】
図１では、画像処理装置１００及び端末装置２００が物理的に異なる装置として構成される例を示している。しかしながら、画像処理装置１００及び端末装置２００は、一体の装置として構成されてもよい。画像処理装置１００及び端末装置２００は、それぞれ、例えば、デスクトップＰＣ、タブレットＰＣ、ノートブックＰＣ、スマートフォン若しくはＰＤＡ（Personal Digital Assistants）などの汎用的な装置であってもよく、又は履歴の管理／閲覧を目的とする専用の装置であってもよい。また、端末装置２００の画面は、ヘッドマウントディスプレイを用いて実現されてもよい。
【００２１】
＜２．画像処理装置の構成例＞
［２−１．ハードウェア構成］
図２は、一実施形態に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。図２を参照すると、画像処理装置１００は、撮像部１０２、入力部１０４、記憶部１０６、表示部１１０、通信部１１２、バス１１６及び制御部１１８を備える。
【００２２】
（１）撮像部
撮像部１０２は、画像を撮像するカメラモジュールである。撮像部１０２は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を用いて被写体を撮像し、撮像画像を生成する。撮像部１０２は、必ずしも画像処理装置１００の一部でなくてもよい。例えば、図１の例のように、画像処理装置１００と有線又は無線で接続される撮像装置が撮像部１０２として扱われてもよい。
【００２３】
（２）入力部
入力部１０４は、ユーザが画像処理装置１００を操作し又は画像処理装置１００へ情報を入力するために使用される入力デバイスである。入力部１０４は、例えば、表示部１１０の画面上へのユーザによるタッチを検出するタッチセンサを含んでもよい。その代わりに（又はそれに加えて）、入力部１０４は、マウス若しくはタッチパッドなどのポインティングデバイスを含んでもよい。さらに、入力部１０４は、キーボード、キーパッド、ボタン、スイッチ又はリモートコントローラなどのその他の種類の入力デバイスを含んでもよい。
【００２４】
（３）記憶部
記憶部１０６は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、画像処理装置１００による処理のためのプログラム及びデータを記憶する。記憶部１０６により記憶されるデータは、例えば、撮像部１０２により生成される撮像画像データ及び後に説明するデータベース内の様々なデータを含み得る。なお、本明細書で説明するプログラム及びデータの一部又は全部は、記憶部１０６により記憶されることなく、外部のデータソース（例えば、データサーバ、ネットワークストレージ又は外付けメモリなど）から取得されてもよい。
【００２５】
（４）表示部
表示部１１０は、ＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic light-Emitting Diode）又はＣＲＴ（Cathode Ray Tube）などにより構成される表示モジュールである。なお、表示部１１０もまた、必ずしも画像処理装置１００の一部でなくてもよい。例えば、画像処理装置１００と有線又は無線で接続される表示装置が表示部１１０として扱われてもよい。
【００２６】
（５）通信部
通信部１１２は、画像処理装置１００による他の装置（例えば、端末装置２００）との間の通信を仲介する通信インタフェースである。通信部１１２は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。
【００２７】
（７）バス
バス１１６は、撮像部１０２、入力部１０４、記憶部１０６、表示部１１０、通信部１１２及び制御部１１８を相互に接続する。
【００２８】
（８）制御部
制御部１１８は、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）などのプロセッサに相当する。制御部１１８は、記憶部１０６又は他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する画像処理装置１００の様々な機能を動作させる。
【００２９】
［２−２．機能構成］
図３は、図２に示した画像処理装置１００の記憶部１０６及び制御部１１８により実現される論理的機能の構成の一例を示すブロック図である。図３を参照すると、画像処理装置１００は、画像取得部１２０、オブジェクト識別部１３０、オブジェクトデータベース（ＤＢ）１４０、イベント検出部１５０、属性ＤＢ１６０、属性制御部１７０、データ配信部１８０及びユーザインタフェース部１９０を含む。
【００３０】
（１）画像取得部
画像取得部１２０は、撮像部１０２により生成される撮像画像を入力画像として取得する。入力画像には、医療行為、食品加工行為又はその他の種類の行為に関与するオブジェクトが映される。画像取得部１２０により取得される一連の入力画像は、典型的には動画を構成する。画像取得部１２０は、取得した入力画像を、オブジェクト識別部１３０へ順次出力する。
【００３１】
（２）オブジェクト識別部
オブジェクト識別部１３０は、実空間に存在するオブジェクトを入力画像内で識別する。オブジェクト識別部１３０は、例えば、入力画像から抽出される画像特徴量を各オブジェクトについて事前に抽出される画像特徴量と照合することにより、入力画像に映るオブジェクトを識別してもよい。また、オブジェクト識別部１３０は、各オブジェクトに貼付され、印刷され又は装着されるバーコード又は２次元コード（例えば、ＱＲコード（登録商標））などの識別情報を解釈することにより、入力画像に映るオブジェクトを識別してもよい。また、オブジェクト識別部１３０は、各オブジェクトの表面上の文字列又はラベルなどを読み取ることにより、入力画像に映るオブジェクトを識別してもよい。なお、後に説明する１つの実施例では、入力画像に映る人物もまたオブジェクトとして識別される。人物の識別は、例えば、事前に抽出される顔画像の特徴量を用いて行われ得る。本実施形態では、一例として、画像特徴量の照合によりオブジェクトが識別される例を主に説明する。
【００３２】
（３）オブジェクトＤＢ
オブジェクトＤＢ１４０は、履歴管理の対象となる行為に関与するオブジェクトについてのデータを記憶するデータベースである。オブジェクトＤＢ１４０により記憶されるデータは、オブジェクト識別部１３０によるオブジェクトの識別、イベント検出部１５０によるイベントの検出及び属性制御部１７０によるオブジェクトの属性の制御のために用いられ得る。本実施形態において、オブジェクトＤＢ１４０は、少なくとも各オブジェクトの既知の画像特徴量を含むオブジェクトデータ１４２を記憶する。さらに、オブジェクトＤＢ１４０は、属性の制御のパターンを定義する属性制御テーブル１４４を記憶し得る。これらデータの具体的な例について、後に例を挙げて説明する。
【００３３】
（４）イベント検出部
イベント検出部１５０は、オブジェクト識別部１３０により識別される複数のオブジェクトの間の物理的作用に対応するイベントを、入力画像を用いて検出する。本明細書において、オブジェクト間の「物理的」作用とは、作業行為に関与する複数のオブジェクト（物体及び人物の双方を含み得る）の間の実空間における何らかの作用をいう。例えば、２つのオブジェクトの接触又は接近は、これらオブジェクトの間の物理的作用に相当し得る。ある人物の何らかの物体を対象とする動作もまた、当該人物と当該物体の間の物理的作用に相当し得る。これら物理的作用に対応するイベントは、実空間内の上述した物理的作用に応じて実行すべき処理のトリガとなる。どのような物理的作用についてイベントを検出すべきかは、アプリケーションの用途に合わせて定義され得る。後に説明する４つの実施例では、次のような物理的作用についてのイベントが検出される。
第１の実施例）医療行為における薬液の移送
第２の実施例）調剤行為における薬品の調合
第３の実施例）患者による薬の服用
第４の実施例）食品加工行為における食材及び調味料の配合
なお、これらは説明のための例に過ぎず、他の行為におけるオブジェクト間の物理的作用についてイベントが検出されてもよい。
【００３４】
（５）属性ＤＢ
属性ＤＢ１６０は、各オブジェクトについて行われた行為の履歴を把握可能とするためのデータを記憶するデータベースである。属性ＤＢ１６０により記憶されるデータは、後に説明する属性制御部１７０により管理される。本実施形態において、属性ＤＢ１６０は、各オブジェクトに関連付けられる属性を示す属性データ１６２を記憶する。属性データ１６２は、一部のオブジェクトに予め関連付けられる初期の属性と、上述したイベントの検出に応じて他のオブジェクトに関連付けられる事後的な属性との双方を示し得る。かかる属性データ１６２を閲覧することにより、各オブジェクトについて行われた行為の履歴が把握され得る。さらに、属性ＤＢ１６０は、上述したイベントの都度の各オブジェクトの属性の変化を示す履歴データ１６４を記憶し得る。
【００３５】
（６）属性制御部
属性制御部１７０は、各オブジェクトに関連付けられる属性を制御する。例えば、本実施形態において、属性制御部１７０は、イベント検出部１５０による上述したイベントの検出に応じて、検出されたイベントに対応する物理的作用に関与した第１のオブジェクトに関連付けられている属性データを第２のオブジェクトに関連付ける。
【００３６】
図４は、本実施形態における属性の制御の基本的な概念について説明するための説明図である。図４を参照すると、物理的作用に関与する２つのオブジェクトＯｂｊ１及びＯｂｊ２が示されている。これら２つのオブジェクトは、典型的には、物質を収容可能なオブジェクトである。本明細書において、物質の収容とは、物質を内部に収納すること、物質を可搬な形で保持すること、及び物質を構成成分として有することなどの様々な形態を含むものとする。例えば、図４の上段において、オブジェクトＯｂｊ１は物質ＳＢ１を、オブジェクトＯｂｊ２は物質ＳＢ２をそれぞれ収容している。この場合、属性データ１６２において、オブジェクトＯｂｊ１に物質ＳＢ１の種類を示す属性値が、オブジェクトＯｂｊ２に物質ＳＢ２の種類を示す属性値がそれぞれ関連付けられる。そして、属性制御部１７０は、オブジェクトＯｂｊ１からオブジェクトＯｂｊ２への物理的作用に対応するイベントが検出されると、オブジェクトＯｂｊ１に関連付けられている属性値をオブジェクトＯｂｊ２に新たに関連付ける。いくつかの実施例において、このような属性値の移動の方向は、上述した属性制御テーブル１４４を参照することで属性制御部１７０により決定され得る。図４の下段において、物理的作用に対応するイベントの検出の結果、オブジェクトＯｂｊ２に物質ＳＢ１の種類を示す属性値が新たに関連付けられている。一方、オブジェクトＯｂｊ１から物質ＳＢ１の種類を示す属性値が削除されている。なお、各オブジェクトの属性データは、関連付けられるオブジェクトに収容される物質の種類のみならず、当該物質の数量をも表してよい。
【００３７】
（７）データ配信部
データ配信部１８０は、いずれかのオブジェクトを映した画像を表示する装置に当該オブジェクトに関連付けられている属性データを配信し、配信された属性データを当該装置の画面上に表示させる。例えば、データ配信部１８０は、図１に例示した端末装置２００から送信されるデータ要求を受け付ける。当該データ要求は、端末装置２００により撮像される画像又は当該画像から抽出される特徴量を含み得る。データ配信部１８０は、データ要求に含まれる画像又は画像特徴量をオブジェクト識別部１３０へ出力し、画像に映るオブジェクトを識別させる。なお、端末装置２００により撮像される画像に映るオブジェクトのオブジェクトＩＤ（識別子）がデータ要求に含まれる場合には、オブジェクト識別部１３０によるオブジェクトの識別は省略されてよい。次に、データ配信部１８０は、識別されたオブジェクトのオブジェクトＩＤに関連付けられている属性データを、属性ＤＢ１６０から取得する。そして、データ配信部１８０は、取得した属性データを端末装置２００へ配信する。データ配信部１８０は、識別されたオブジェクトの画像内の位置を示す位置データをさらに端末装置２００へ配信してもよい。
【００３８】
（８）ユーザインタフェース部
ユーザインタフェース部１９０は、アプリケーションの目的に合わせて、様々なユーザインタフェースをユーザに提供し得る。例えば、ユーザインタフェース部１９０は、オブジェクトデータ１４２、属性制御テーブル１４４、属性データ１６２又は履歴データ１６４をユーザが閲覧し又は編集するためのＵＩ画面を提供してもよい。また、ユーザインタフェース部１９０は、属性データの更新についてユーザからの承認を受け付けるための承認画面をユーザに提供してもよい。
【００３９】
＜３．端末装置の構成例＞
［３−１．ハードウェア構成］
図５は、一実施形態に係る端末装置２００のハードウェア構成の一例を示すブロック図である。図５を参照すると、端末装置２００は、撮像部２０２、入力部２０４、記憶部２０６、表示部２１０、通信部２１２、音声出力部２１４、バス２１６及び制御部２１８を備える。
【００４０】
（１）撮像部
撮像部２０２は、画像を撮像するカメラモジュールである。撮像部２０２は、ＣＣＤ又はＣＭＯＳなどの撮像素子を用いて被写体を撮像し、撮像画像を生成する。撮像部２０２は、必ずしも端末装置２００の一部でなくてもよい。例えば、端末装置２００と有線又は無線で接続される撮像装置が撮像部２０２として扱われてもよい。
【００４１】
（２）入力部
入力部２０４は、ユーザが端末装置２００を操作し又は端末装置２００へ情報を入力するために使用される入力デバイスである。入力部２０４は、例えば、表示部２１０の画面上へのユーザによるタッチを検出するタッチセンサを含んでもよい。その代わりに（又はそれに加えて）、入力部２０４は、マウス若しくはタッチパッドなどのポインティングデバイスを含んでもよい。さらに、入力部２０４は、キーボード、キーパッド、ボタン、スイッチ又はリモートコントローラなどのその他の種類の入力デバイスを含んでもよい。
【００４２】
（３）記憶部
記憶部２０６は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、端末装置２００による処理のためのプログラム及びデータを記憶する。記憶部２０６により記憶されるデータは、例えば、上述した画像処理装置１００から配信されるデータを含み得る。なお、本明細書で説明するプログラム及びデータの一部又は全部は、記憶部２０６により記憶されることなく、外部のデータソース（例えば、データサーバ、ネットワークストレージ又は外付けメモリなど）から取得されてもよい。
【００４３】
（４）表示部
表示部２１０は、ＬＣＤ、ＯＬＥＤ又はＣＲＴなどにより構成される表示モジュールである。なお、表示部２１０もまた、必ずしも端末装置２００の一部でなくてもよい。例えば、端末装置２００と有線又は無線で接続される表示装置が表示部２１０として扱われてもよい。
【００４４】
（５）通信部
通信部２１２は、端末装置２００による他の装置（例えば、画像処理装置１００）との間の通信を仲介する通信インタフェースである。通信部２１２は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。
【００４５】
（６）音声出力部
音声出力部２１４は、例えばスピーカにより構成される音声出力モジュールである。なお、音声出力部２１４もまた、必ずしも端末装置２００の一部でなくてもよい。例えば、端末装置２００と有線又は無線で接続される音声出力装置が音声出力部２１４として扱われてもよい。
【００４６】
（７）バス
バス２１６は、撮像部２０２、入力部２０４、記憶部２０６、表示部２１０、通信部２１２、音声出力部２１４及び制御部２１８を相互に接続する。
【００４７】
（８）制御部
制御部２１８は、ＣＰＵ又はＤＳＰなどのプロセッサに相当する。制御部２１８は、記憶部２０６又は他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する端末装置２００の様々な機能を動作させる。
【００４８】
［３−２．機能構成］
図６は、図５に示した端末装置２００の記憶部２０６及び制御部２１８により実現される論理的機能の構成の一例を示すブロック図である。図６を参照すると、端末装置２００は、画像取得部２２０、データ取得部２３０、表示制御部２４０及びユーザインタフェース部２５０を含む。
【００４９】
（１）画像取得部
画像取得部２２０は、撮像部２０２により生成される撮像画像を入力画像として取得する。入力画像には、実空間に存在する様々なオブジェクトが映される。画像取得部２２０は、取得した入力画像を、データ取得部２３０及び表示制御部２４０へ出力する。
【００５０】
（２）データ取得部
データ取得部２３０は、画像取得部２２０により取得される入力画像内で識別されるオブジェクトに関連付けられている属性データを取得する。例えば、データ取得部２３０は、入力画像又は入力画像の画像特徴量を含むデータ要求を画像処理装置１００へ送信する。データ取得部２３０は、入力画像に映るオブジェクトを識別し、識別したオブジェクトのオブジェクトＩＤをデータ要求に含めてもよい。そして、データ取得部２３０は、データ要求に応じて画像処理装置１００から配信される属性データを取得し得る。属性データに加えて、識別されたオブジェクトの画像内の位置を示す位置データが画像処理装置１００からさらに取得されてもよい。そして、データ取得部２３０は、取得した属性データ（及び位置データ）を表示制御部２４０へ出力する。
【００５１】
本実施形態においてデータ取得部２３０により取得される属性データは、第１のオブジェクトとの間の物理的作用に関与する第２のオブジェクトに関連付けられている属性データを含み得る。当該属性データは、物理的作用に対応するイベントの検出前に第１のオブジェクトに関連付けられており、当該イベントの検出に応じて第２のオブジェクトに新たに関連付けられるデータであってよい。即ち、データ取得部２３０により取得される属性データを閲覧することで、入力画像に映るオブジェクトを対象として行われた行為の詳細が把握され得る。なお、画像処理装置１００から取得される属性データは、タイムスタンプの付与された履歴データの形式で表現されていてもよい。
【００５２】
（３）表示制御部
表示制御部２４０は、端末装置２００における画像及びデータの表示を制御する。例えば、表示制御部２４０は、入力画像に映るオブジェクトに関連付けられている属性データがデータ取得部２３０により取得された場合に、取得された属性データを入力画像に重畳する。属性データは、関連付けられているオブジェクトの位置に依存することなく、オブジェクトＩＤ又はオブジェクトの名称と共に表示されてもよい。その代わりに、属性データは、関連付けられているオブジェクトの画像内の位置に重なるように、又は当該位置を指し示すように表示されてもよい。
【００５３】
図７は、本実施形態において表示される出力画像の一例について説明するための説明図である。図７の左には、端末装置２００により撮像され得る一例としての入力画像Ｉｍ００が示されている。入力画像Ｉｍ００には、オブジェクトＯｂｊ２が映っている。端末装置２００は、入力画像Ｉｍ００に重畳すべきデータを要求するデータ要求を画像処理装置１００へ送信し、画像処理装置１００から配信されるデータを受信する。図７の右には、端末装置２００により表示され得る一例としての出力画像Ｉｍ０１が示されている。出力画像Ｉｍ０１は、入力画像Ｉｍ００に仮想オブジェクトであるメッセージＭＳＧ１を重畳することにより生成された画像である。メッセージＭＳＧ１は、例えば図４の下段に示した属性データ１６２に基づいて生成され、入力画像Ｉｍ００に映るオブジェクトＯｂｊ２が物質ＳＢ１及びＳＢ２を収容していることを表す。端末装置２００のユーザは、出力画像Ｉｍ０１を閲覧することにより、例えばオブジェクトＯｂｊ２に物質ＳＢ１及びＳＢ２を加える行為が行われたことを把握することができる。なお、表示部２１０を介して表示制御部２４０によりメッセージＭＳＧ１が表示される代わりに、音声出力部２１４を介してメッセージＭＳＧ１を読み上げる音声が出力されてもよい。
【００５４】
（４）ユーザインタフェース部
ユーザインタフェース部２５０は、アプリケーションの目的に合わせて、様々なユーザインタフェースをユーザに提供し得る。例えば、ユーザインタフェース部２５０は、ユーザからデータ取得部２３０に属性データの取得を明示的に指示するためのＵＩ画面を提供してもよい。
【００５５】
ここまで、本開示に係る技術の一実施形態についての概念的な説明を行った。次節より説明する４つの実施例では、本開示に係る技術の具体的な利用場面をそれぞれ想定し、当該技術のさらなる詳細を説明する。
【００５６】
＜４．第１の実施例＞
【００５７】
第１の実施例では、履歴管理の対象として、医療行為における薬液の移送を例示する。従って、画像処理装置１００は、医師、看護師又は薬剤師などの人物が薬液を取り扱う際に用いる医療器具の間の物理的作用に対応するイベントを検出する。
【００５８】
（１）オブジェクトの例
図８は、第１の実施例におけるオブジェクトデータの一例について説明するための説明図である。図８を参照すると、オブジェクトＤＢ１４０により記憶される一例としてのオブジェクトデータ１４２ａが示されている。オブジェクトデータ１４２ａは、「オブジェクトＩＤ」、「名称」、「品番」、「タイプ」及び「特徴量」という５つのデータ項目を有する。
【００５９】
「オブジェクトＩＤ」は、各オブジェクトを一意に識別するための識別子である。「名称」は、各オブジェクトに付与される名称を示す。図８の例では、オブジェクトＯｂｊ１１に「バイアル」、オブジェクトＯｂｊ１２に「注射器」、オブジェクトＯｂｊ１３に「点滴バッグ」という名称がそれぞれ付与されている。「品番」は、同じ種類のオブジェクトを個々に区別するために付与される文字列を示す。
【００６０】
「タイプ」は、属性制御部１７０による属性の制御の際に参照される区分であり、複数のタイプの候補のうちの少なくとも１つが各オブジェクトについて定義される。本実施例では、次の３つのタイプの候補のうちのいずれかが各オブジェクトに割当てられる。
“ＳＯＵＲＣＥ”…物質の移送元のオブジェクトを示すタイプである
“ＴＲＡＮＳＰＯＲＴＥＲ”…物質を移送可能なオブジェクトを示すタイプである
“ＤＥＳＴＩＮＡＴＩＯＮ”…物質の移送先のオブジェクトを示すタイプである
図８の例では、オブジェクトＯｂｊ１１のタイプは“ＳＯＵＲＣＥ”、オブジェクトＯｂｊ１２のタイプは“ＴＲＡＮＳＰＯＲＴＥＲ”、オブジェクトＯｂｊ１３のタイプは“ＤＥＳＴＩＮＡＴＩＯＮ”である。
【００６１】
「特徴量」は、各オブジェクトについて既知の画像から抽出される特徴量である。オブジェクト識別部１３０は、入力画像から抽出される画像特徴量をオブジェクトデータ１４２ａのこれら特徴量と照合し、入力画像に映るオブジェクトを識別し得る。
【００６２】
（２）イベント
本実施例において、イベント検出部１５０は、オブジェクト識別部１３０により識別される医療器具の間の物理的作用に対応するイベントを検出する。例えば、図８に例示したオブジェクトが関与するイベントとして、次のようなイベントが挙げられる。
イベントＥｖ１１）バイアルから注射器への薬液の抽出
イベントＥｖ１２）注射器から点滴バッグへの薬液の注入
【００６３】
これらイベントは、例えば、２つのオブジェクトについて所定のイベント検出条件が満たされること条件として検出されてよい。所定のイベント検出条件とは、例えば、次のような条件のいずれかであってよい。
条件Ｃ１１）２つのオブジェクトの間の距離が閾値を下回る。
条件Ｃ１２）条件Ｃ１１が連続的に満たされている時間が閾値を上回る。
条件Ｃ１３）２つのオブジェクトを扱う人物の所定のジェスチャが認識される。
条件Ｃ１１における距離は、入力画像内の２次元的な距離であってもよく、又は公知の３次元構造認識技術に基づいて認識される実空間内の３次元的な距離であってもよい。条件Ｃ１１及びＣ１２における閾値は、オブジェクトに依存することなく共通的に定義されても、各オブジェクトについて個別に定義されてもよい。
【００６４】
上述したイベント検出条件に従って複数のオブジェクト間の物理的作用に対応するイベントが検出されると、イベント検出部１５０は、検出されたイベントを属性制御部１７０に通知する。
【００６５】
（３）属性の制御
本実施例において、属性制御部１７０は、検出されたイベントに関与するオブジェクトについて定義されているタイプが所定の属性制御条件を満たす場合に、それらオブジェクトの属性を更新する。属性制御条件は、上述した属性制御テーブルにおいて定義される。
【００６６】
図９は、第１の実施例における属性制御テーブルの一例について説明するための説明図である。図９を参照すると、オブジェクトＤＢ１４０により記憶される一例としての属性制御テーブル１４４ａが示されている。属性制御テーブル１４４ａは、行及び列の双方にオブジェクトの３つのタイプを配置したマトリックス形式で定義されている。各列は、イベントに関与する第１のオブジェクトのタイプに対応する。各行は、イベントに関与する第２のオブジェクトのタイプに対応する。
【００６７】
例えば、第１のオブジェクトのタイプが“ＳＯＵＲＣＥ”であって、第２のオブジェクトのタイプが“ＴＲＡＮＳＰＯＲＴＥＲ”である場合には、第１のオブジェクトに関連付けられている属性が第２のオブジェクトに追加される（即ち、新たに関連付けられる）。第１のオブジェクトの属性は更新されない。
【００６８】
また、第１のオブジェクトのタイプが“ＴＲＡＮＳＰＯＲＴＥＲ”であって、第２のオブジェクトのタイプが“ＤＥＳＴＩＮＡＴＩＯＮ”である場合には、第１のオブジェクトに関連付けられている属性が第２のオブジェクトに追加される。第１のオブジェクトの属性は削除される。
【００６９】
これら以外のタイプの組合せにおいては、第１及び第２のオブジェクトの属性は更新されない。
【００７０】
即ち、属性制御部１７０は、イベント検出部１５０によりイベントが検出されると、検出されたイベントに関与するオブジェクトを特定し、特定したオブジェクトのタイプの組合せに対応する属性の制御内容を、属性制御テーブル１４４ａを参照することにより決定する。そして、属性制御部１７０は、決定した制御内容に従って、属性ＤＢ１６０に記憶されている属性データ１６２を更新する。ここでの属性データ１６２の更新は、特定されたオブジェクトへの新たな属性の関連付け、及び特定されたオブジェクトの属性の削除を含み得る。また、属性制御部１７０は、検出されたイベントに対応するレコードを後に説明する履歴データに追加する。
【００７１】
（４）データ遷移
図１０Ａ及び図１０Ｂは、本実施例における例示的なシナリオに沿った属性データの状態遷移の一例について説明するための説明図である。これら図の左側には時系列で取得される４つの入力画像Ｉｍ１１〜Ｉｍ１４が順に示されており、右側には各時点の属性データ１６２ａの部分的な内容が示されている。
【００７２】
図１０Ａを参照すると、入力画像Ｉｍ１１には、バイアルＯｂｊ１１及び注射器Ｏｂｊ１２が映っている。属性データ１６２ａにおいて、バイアルＯｂｊ１１には、物質ＳＢ１１を示す属性値が関連付けられている。これは、バイアルＯｂｊ１１に物質ＳＢ１１が収容されていることを表す。一方、注射器Ｏｂｊ１２には、いずれの属性値も関連付けられていない。これは、注射器Ｏｂｊ１２に何も収容されていないことを表す。
【００７３】
次に、入力画像Ｉｍ１２において、バイアルＯｂｊ１１から距離閾値Ｄ１の範囲内に、注射器Ｏｂｊ１２が映っている。イベント検出部１５０は、例えば上述したイベント検出条件Ｃ１１又はＣ１２に従って、バイアルＯｂｊ１１と注射器Ｏｂｊ１２との間の薬液の抽出に対応するイベントを検出する。オブジェクトデータ１４２ａによれば、バイアルＯｂｊ１１のタイプは“ＳＯＵＲＣＥ”、注射器Ｏｂｊ１２のタイプは“ＴＲＡＮＳＰＯＲＴＥＲ”である。そこで、属性制御部１７０は、“ＳＯＵＲＣＥ”及び“ＴＲＡＮＳＰＯＲＴＥＲ”の組合せに対応する属性の制御内容を属性制御テーブル１４４ａを参照して決定し、バイアルＯｂｊ１１に関連付けられている属性値“ＳＢ１１”を注射器Ｏｂｊ１２に新たに関連付ける。その結果、属性データ１６２ａは、注射器Ｏｂｊ１２に物質ＳＢ１１が収容されていることを表す。
【００７４】
次に、図１０Ｂを参照すると、入力画像Ｉｍ１３には、注射器Ｏｂｊ１２及び点滴バッグＯｂｊ１３が映っている。属性データ１６２ａにおいて、点滴バッグＯｂｊ１３には、物質ＳＢ１２を示す属性値が関連付けられている。これは、図１０Ａ及び図１０Ｂに示したシナリオ以前の行為の結果であって、点滴バッグＯｂｊ１３に物質ＳＢ１２が収容されていることを表す。
【００７５】
次に、入力画像Ｉｍ１４において、注射器Ｏｂｊ１２から距離閾値Ｄ１の範囲内に、点滴バッグＯｂｊ１３が映っている。イベント検出部１５０は、例えば上述したイベント検出条件Ｃ１１又はＣ１２に従って、注射器Ｏｂｊ１２と点滴バッグＯｂｊ１３との間の薬液の注入に対応するイベントを検出する。オブジェクトデータ１４２ａによれば、注射器Ｏｂｊ１２のタイプは“ＴＲＡＮＳＰＯＲＴＥＲ”、点滴バッグＯｂｊ１３のタイプは“ＤＥＳＴＩＮＡＴＩＯＮ”である。そこで、属性制御部１７０は、“ＴＲＡＮＳＰＯＲＴＥＲ”及び“ＤＥＳＴＩＮＡＴＩＯＮ”の組合せに対応する属性の制御内容を属性制御テーブル１４４ａを参照して決定し、注射器Ｏｂｊ１２に関連付けられている属性値“ＳＢ１１”を点滴バッグＯｂｊ１３に新たに関連付ける。その結果、属性データ１６２ａは、点滴バッグＯｂｊ１３に物質ＳＢ１１及びＳＢ１２が収容されていることを表す。
【００７６】
図１１は、上述したシナリオの間に属性制御部１７０により生成される一例としての履歴データ１６４ａの内容を示している。図１１を参照すると、履歴データ１６４ａは、「オブジェクトＩＤ」、「属性（前）」、「属性（後）」及び「時刻」という４つのデータ項目を有する。「オブジェクトＩＤ」は、個々のレコードが示す履歴に関与したオブジェクトを識別する識別子である。「属性（前）」は、属性制御部１７０により更新される前の当該オブジェクトの属性値を示す。「属性（後）」は、属性制御部１７０により更新された後の当該オブジェクトの属性値を示す。「時刻」は、対応するイベントの検出時刻（又は属性の更新時刻であってもよい）を示す。属性制御部１７０は、履歴の信頼性を補強するために、これら時刻に対応する時刻認証データを外部の時刻認証サービスから取得し、取得した時刻認証データを図１１に示したような履歴に関連付けて記憶させてもよい。図１１の例では、時刻Ｔ１１において注射器Ｏｂｊ１２の属性が更新され、さらに時刻Ｔ１２において注射器Ｏｂｊ１２及び点滴バッグＯｂｊ１３の属性が更新されたことが、履歴データ１６４ａにより示されている。
【００７７】
（５）表示例
図１２は、本実施例において端末装置２００により表示される出力画像の一例について説明するための説明図である。図１２を参照すると、一例としての出力画像Ｉｍ１９が示されている。出力画像Ｉｍ１９には、バイアルＯｂｊ１１及び点滴バッグＯｂｊ１３が映っている。また、出力画像Ｉｍ１９には、バイアルＯｂｊ１１を指し示すメッセージＭＳＧ１１及び点滴バッグＯｂｊ１３を指し示すメッセージＭＳＧ１２が重畳されている。メッセージＭＳＧ１１は、バイアルＯｂｊ１１が物質ＳＢ１１を収容していることを表す。メッセージＭＳＧ１２は、点滴バッグＯｂｊ１３が物質ＳＢ１１及びＳＢ１２を収容していることを表す。端末装置２００のユーザは、例えば、このようなメッセージＭＳＧ１２を閲覧することにより、点滴バッグＯｂｊ１３に適切な薬液が注入されたかを容易に把握することができる。
【００７８】
（６）処理の流れ
（６−１）属性制御処理
図１３は、本実施例における画像処理装置１００による属性制御処理の流れの一例を示すフローチャートである。図１３に示した属性制御処理は、画像取得部１２０により順次取得される入力画像について繰り返される。
【００７９】
まず、画像取得部１２０は、撮像部１０２により生成される撮像画像を入力画像として取得する（ステップＳ１００）。そして、画像取得部１２０は、取得した入力画像をオブジェクト識別部１３０へ出力する。
【００８０】
次に、オブジェクト識別部１３０は、オブジェクトＤＢ１４０により記憶されている各オブジェクトの既知の特徴量を用いて、入力画像に映るオブジェクトを識別する（ステップＳ１０４）。
【００８１】
次に、イベント検出部１５０は、オブジェクト識別部１３０により識別されるオブジェクトについて上述したイベント検出条件が満たされているかを判定する（ステップＳ１０８）。ここで、イベント検出条件が満たされていない場合には、その後の処理はスキップされる（ステップＳ１１２）。イベント検出条件が満たされている場合には、イベント検出部１５０は、検出したイベントを属性制御部１７０に通知する。
【００８２】
属性制御部１７０は、イベント検出部１５０によりイベントが検出されると、属性制御テーブル１４４ａを用いて、検出されたイベントに関与するオブジェクトについての属性の制御内容を決定する（ステップＳ１１６）。そして、属性制御部１７０は、第１のオブジェクトから第２のオブジェクトへ属性値を移動することを決定した場合には（ステップＳ１２０）、第１のオブジェクトに関連付けられている属性値を第２のオブジェクトに関連付ける（ステップＳ１２４）。また、属性制御部１７０は、第１のオブジェクトの属性値を削除することを決定した場合には（ステップＳ１２８）、第１のオブジェクトに関連付けられている属性値を削除する（ステップＳ１３２）。
【００８３】
そして、属性制御部１７０は、更新前及び更新後の属性値を含む履歴データ１６４ａの新たなレコードを属性ＤＢ１６０に記憶させる（ステップＳ１４８）。
【００８４】
（６−２）表示制御処理
図１４は、本実施例における端末装置２００による表示制御処理の流れの一例を示すフローチャートである。図１４に示した表示制御処理は、端末装置２００の画像取得部２２０により順次取得される入力画像について繰り返されてもよく、又はスナップショットとして取得される１つの入力画像について単発的に実行されてもよい。
【００８５】
まず、画像取得部２２０は、撮像部２０２により生成される撮像画像を入力画像として取得する（ステップＳ１５０）。そして、画像取得部２２０は、取得した入力画像を、データ取得部２３０及び表示制御部２４０へ出力する。
【００８６】
次に、データ取得部２３０は、取得された入力画像内で識別されるオブジェクトに関連付けられている属性データを要求するデータ要求を、画像処理装置１００へ送信する（ステップＳ１５４）。そして、データ取得部２３０は、データ要求に対する応答を画像処理装置１００から受信する（ステップＳ１５８）。ここで、データ要求に対する応答として上述した属性データが受信された場合には、処理はステップＳ１７０へ進む。一方、属性データが受信されなかった場合には、表示制御部２４０により入力画像が表示される（ステップＳ１６６）。
【００８７】
ステップＳ１７０において、表示制御部２４０は、データ取得部２３０により取得された属性データを入力画像に重畳することにより、出力画像を生成する（ステップＳ１７０）。そして、表示制御部２４０は、表示部２１０に出力画像を表示させる（ステップＳ１６４）。
【００８８】
ここまで、図８〜図１４を用いて第１の実施例について説明した。本実施例によれば、ある医療器具から他の医療器具へ薬液が移送される状況において、医療器具に収容されている薬液の成分をオブジェクトの属性を通じて把握することが可能となる。
【００８９】
一般的に、一度薬液をある医療器具へ移すと、メモ書きなどが無ければ、行為者本人以外の人物がその医療器具に何が収容されているかを知ることは難しい。しかし、本実施例によれば、オブジェクトの属性データ又は属性の更新履歴を閲覧することで、行為者本人以外の人物であっても、医療器具に何が収容されているかを容易に把握することができる。
【００９０】
また、オブジェクトの属性の更新に際して医療行為の行為者にデータ入力などの作業は課されない。従って、行為者の過度な負担を原因として履歴が誤って記録されなかったり、不正なデータが入力されたりするリスクが防止される。
【００９１】
＜５．第２の実施例＞
第２の実施例では、履歴管理の対象として、調剤行為における薬品の調合を例示する。従って、画像処理装置１００は、医師、看護師又は薬剤師などの人物が薬品を取り扱う際に用いる調剤器具の間の物理的作用に対応するイベントを検出する。なお、説明の簡明さのために、本実施例において第１の実施例と重複する事項についての説明は省略する。
【００９２】
（１）オブジェクトの例
図１５は、第２の実施例におけるオブジェクトデータの一例について説明するための説明図である。図１５を参照すると、オブジェクトＤＢ１４０により記憶される一例としてのオブジェクトデータ１４２ｂが示されている。オブジェクトデータ１４２ｂは、第１の実施例に係るオブジェクトデータ１４２ａと同様、「オブジェクトＩＤ」、「名称」、「品番」、「タイプ」及び「特徴量」という５つのデータ項目を有する。
【００９３】
図１５の例では、オブジェクトＯｂｊ２１に「薬瓶」、オブジェクトＯｂｊ２２に「さじ」、オブジェクトＯｂｊ２３に「薬包紙」、オブジェクトＯｂｊ２４に「計量器」、オブジェクトＯｂｊ２５に「パッケージ」、という名称がそれぞれ付与されている。
【００９４】
本実施例において、各オブジェクトには次の５つのタイプの候補のうちのいずれかが割当てられる。
“ＳＯＵＲＣＥ”…物質の移送元のオブジェクトを示すタイプである
“ＴＲＡＮＳＰＯＲＴＥＲ１”…物質を移送可能なオブジェクトを示すタイプである
“ＴＲＡＮＳＰＯＲＴＥＲ２”…物質を移送可能なオブジェクトを示すタイプである
“ＳＣＡＬＥ”…物質を計量可能なオブジェクトを示すタイプである
“ＤＥＳＴＩＮＡＴＩＯＮ”…物質の移送先のオブジェクトを示すタイプである
図１５の例では、オブジェクトＯｂｊ２１のタイプは“ＳＯＵＲＣＥ”、オブジェクトＯｂｊ２２のタイプは“ＴＲＡＮＳＰＯＲＴＥＲ１”、オブジェクトＯｂｊ２３のタイプは“ＴＲＡＮＳＰＯＲＴＥＲ２”、オブジェクトＯｂｊ２４のタイプは“ＳＣＡＬＥ”、オブジェクトＯｂｊ２５のタイプは“ＤＥＳＴＩＮＡＴＩＯＮ”である。
【００９５】
（２）イベント
本実施例において、イベント検出部１５０は、オブジェクト識別部１３０により識別される調剤器具の間の物理的作用に対応するイベントを検出する。例えば、図１５に例示したオブジェクトが関与するイベントとして、次のようなイベントが挙げられる。
イベントＥｖ２１）薬瓶からさじへの薬品の取り出し
イベントＥｖ２２）さじから薬包紙への薬品の移し替え
イベントＥｖ２３）さじからパッケージへの薬品の移し入れ
イベントＥｖ２４）薬包紙からパッケージへの薬品の移し入れ
イベントＥｖ２５）薬包紙に収容される薬品の計量器による計量
【００９６】
これらイベントは、例えば、２つのオブジェクトについて所定のイベント検出条件が満たされること条件として検出されてよい。所定のイベント検出条件とは、例えば、次のような条件のいずれかであってよい。
条件Ｃ２１）２つのオブジェクトの間の距離が閾値を下回る。
条件Ｃ２２）一方のオブジェクトの上方に他方のオブジェクトが位置する。
条件Ｃ２３）条件Ｃ２１又はＣ２２が連続的に満たされている時間が閾値を上回る。
条件Ｃ２４）２つのオブジェクトを扱う人物の所定のジェスチャが認識される。
条件Ｃ２１における距離は、入力画像内の２次元的な距離であってもよく、又は公知の３次元構造認識技術に基づいて認識される実空間内の３次元的な距離であってもよい。条件Ｃ２１及びＣ２３における閾値は、オブジェクトに依存することなく共通的に定義されても、各オブジェクトについて個別に定義されてもよい。
【００９７】
（３）属性の制御
本実施例においても、属性制御部１７０は、検出されたイベントに関与するオブジェクトについて定義されているタイプが所定の属性制御条件を満たす場合に、それらオブジェクトの属性を更新する。属性制御条件は、属性制御テーブルにおいて定義される。
【００９８】
図１６は、第２の実施例における属性制御テーブルの一例について説明するための説明図である。図１６を参照すると、オブジェクトＤＢ１４０により記憶される一例としての属性制御テーブル１４４ｂが示されている。属性制御テーブル１４４ｂは、行及び列の双方にオブジェクトの５つのタイプを配置したマトリックス形式で定義されている。各列は、イベントに関与する第１のオブジェクトのタイプに対応する。各行は、イベントに関与する第２のオブジェクトのタイプに対応する。
【００９９】
例えば、第１のオブジェクトのタイプが“ＳＯＵＲＣＥ”であって、第２のオブジェクトのタイプが“ＴＲＡＮＳＰＯＲＴＥＲ１”又は“ＴＲＡＮＳＰＯＲＴＥＲ２”である場合には、第１のオブジェクトに関連付けられている属性が第２のオブジェクトに追加される（即ち、新たに関連付けられる）。第１のオブジェクトの属性は更新されない。
【０１００】
また、第１のオブジェクトのタイプが“ＴＲＡＮＳＰＯＲＴＥＲ１”であって、第２のオブジェクトのタイプが“ＴＲＡＮＳＰＯＲＴＥＲ２”又は“ＤＥＳＴＩＮＡＴＩＯＮ”である場合には、第１のオブジェクトに関連付けられている属性が第２のオブジェクトに追加される。第１のオブジェクトの属性は削除される。
【０１０１】
また、第１のオブジェクトのタイプが“ＴＲＡＮＳＰＯＲＴＥＲ２”であって、第２のオブジェクトのタイプが“ＤＥＳＴＩＮＡＴＩＯＮ”である場合には、第１のオブジェクトに関連付けられている属性が第２のオブジェクトに追加される。第１のオブジェクトの属性は削除される。
【０１０２】
また、第１のオブジェクトのタイプが“ＴＲＡＮＳＰＯＲＴＥＲ２”であって、第２のオブジェクトのタイプが“ＳＣＡＬＥ”である場合には、第２のオブジェクトに関連付けられている属性に物質の数量が付加される。即ち、属性制御部１７０は、例えば、タイプ“ＳＣＡＬＥ”を有する計量器による計量結果を（例えば、公知のＯＣＲ（Optical Character Recognition）技術を表示パネルに適用することにより）入力画像から読み取り、読み取った数量の値を第２のオブジェクトの属性に付加する。
【０１０３】
同様に、第１のオブジェクトのタイプが“ＳＣＡＬＥ”であって、第２のオブジェクトのタイプが“ＤＥＳＴＩＮＡＴＩＯＮ”である場合には、第１のオブジェクトに関連付けられている属性に物質の数量が付加される。
【０１０４】
これら以外のタイプの組合せにおいては、第１及び第２のオブジェクトの属性は更新されない。
【０１０５】
なお、例えば計量さじのような器具について、“ＴＲＡＮＳＰＯＲＴＥＲ１”及び“ＳＣＡＬＥ”という２つのタイプの双方が設定されてもよい。また、固定的な数量の計量のために用いられる器具については、動的に読み取られる値の代わりに、予め定義される固定的な数量の値が割当てられてよい。
【０１０６】
（４）データ遷移
図１７Ａ及び図１７Ｂは、本実施例における例示的なシナリオに沿った属性データの状態遷移の一例について説明するための説明図である。これら図の左側には時系列で取得される６つの入力画像Ｉｍ２１〜Ｉｍ２６が順に示されており、右側には各時点の属性データ１６２ｂの部分的な内容が示されている。
【０１０７】
図１７Ａを参照すると、入力画像Ｉｍ２１には、薬瓶Ｏｂｊ２１及びさじＯｂｊ２２が映っている。属性データ１６２ｂにおいて、薬瓶Ｏｂｊ２１には、物質ＳＢ２１を示す属性値が関連付けられている。これは、薬瓶Ｏｂｊ２１に物質ＳＢ２１が収容されていることを表す。一方、さじＯｂｊ２２には、いずれの属性値も関連付けられていない。これは、さじＯｂｊ２２に何も収容されていないことを表す。
【０１０８】
次に、入力画像Ｉｍ２２において、薬瓶Ｏｂｊ２１の上方に、さじＯｂｊ２２が映っている。イベント検出部１５０は、例えば上述したイベント検出条件Ｃ２２又はＣ２３に従って、薬瓶Ｏｂｊ２１とさじＯｂｊ２２との間の薬品の取り出しに対応するイベントを検出する。オブジェクトデータ１４２ｂによれば、薬瓶Ｏｂｊ２１のタイプは“ＳＯＵＲＣＥ”、さじＯｂｊ２２のタイプは“ＴＲＡＮＳＰＯＲＴＥＲ１”である。そこで、属性制御部１７０は、“ＳＯＵＲＣＥ”及び“ＴＲＡＮＳＰＯＲＴＥＲ１”の組合せに対応する属性の制御内容を属性制御テーブル１４４ｂを参照して決定し、薬瓶Ｏｂｊ２１に関連付けられている属性値“ＳＢ２１”をさじＯｂｊ２２に新たに関連付ける。その結果、属性データ１６２ｂは、さじＯｂｊ２２に物質ＳＢ２１が収容されていることを表す。
【０１０９】
次に、入力画像Ｉｍ２３には、さじＯｂｊ２２、薬包紙Ｏｂｊ２３及び計量器Ｏｂｊ２４が映っている。属性データ１６２ｂにおいて、さじＯｂｊ２２には、物質ＳＢ２１を示す属性値が関連付けられている。一方、薬包紙Ｏｂｊ２３には、いずれの属性値も関連付けられていない。
【０１１０】
次に、図１７Ｂを参照すると、入力画像Ｉｍ２４において、薬包紙Ｏｂｊ２３の上方に、さじＯｂｊ２２が映っている。イベント検出部１５０は、例えば上述したイベント検出条件Ｃ２２又はＣ２３に従って、さじＯｂｊ２２と薬包紙Ｏｂｊ２３との間の薬品の移し替えに対応するイベントを検出する。オブジェクトデータ１４２ｂによれば、さじＯｂｊ２２のタイプは“ＴＲＡＮＳＰＯＲＴＥＲ１”、薬包紙Ｏｂｊ２３のタイプは“ＴＲＡＮＳＰＯＲＴＥＲ２”である。そこで、属性制御部１７０は、“ＴＲＡＮＳＰＯＲＴＥＲ１”及び“ＴＲＡＮＳＰＯＲＴＥＲ２”の組合せに対応する属性の制御内容を属性制御テーブル１４４ｂを参照して決定し、さじＯｂｊ２２に関連付けられている属性値“ＳＢ２１”を薬包紙Ｏｂｊ２３に新たに関連付ける。その結果、属性データ１６２ｂは、薬包紙Ｏｂｊ２３に物質ＳＢ２１が収容されていることを表す。
【０１１１】
次に、入力画像Ｉｍ２５において、計量器Ｏｂｊ２４が薬包紙Ｏｂｊ２３に収容されている物質の数量を計量している様子が映っている。オブジェクトデータ１４２ｂによれば、薬包紙Ｏｂｊ２３のタイプは“ＴＲＡＮＳＰＯＲＴＥＲ２”、計量器Ｏｂｊ２４のタイプは“ＳＣＡＬＥ”である。そこで、属性制御部１７０は、計量器Ｏｂｊ２４により表示される数量の値を入力画像Ｉｍ２５から読み取り、読み取った値を薬包紙Ｏｂｊ２３の属性に付加する。図１７Ｂの例では、結果として、属性データ１６２ｂは、薬包紙Ｏｂｊ２３に物質ＳＢ２１が３．０ｇ収容されていることを表す。
【０１１２】
次に、入力画像Ｉｍ２６において、パッケージＯｂｊ２５の上方に、薬包紙Ｏｂｊ２３が映っている。イベント検出部１５０は、例えば上述したイベント検出条件Ｃ２２又はＣ２３に従って、薬包紙Ｏｂｊ２３からパッケージＯｂｊ２５への薬品の移し入れに対応するイベントを検出する。オブジェクトデータ１４２ｂによれば、薬包紙Ｏｂｊ２３のタイプは“ＴＲＡＮＳＰＯＲＴＥＲ２”、パッケージＯｂｊ２５のタイプは“ＤＥＳＴＩＮＡＴＩＯＮ”である。そこで、属性制御部１７０は、“ＴＲＡＮＳＰＯＲＴＥＲ２”及び“ＤＥＳＴＩＮＡＴＩＯＮ”の組合せに対応する属性の制御内容を属性制御テーブル１４４ｂを参照して決定し、薬包紙Ｏｂｊ２３に関連付けられている属性値“ＳＢ２１＿３．０ｇ”をパッケージＯｂｊ２５に新たに関連付ける。その結果、属性データ１６２ｂは、パッケージＯｂｊ２５に物質ＳＢ２１が３．０ｇ収容されていることを表す。
【０１１３】
（５）表示例
図１８は、本実施例において端末装置２００により表示される出力画像の一例について説明するための説明図である。図１８を参照すると、一例としての出力画像Ｉｍ２９が示されている。出力画像Ｉｍ２９には、パッケージＯｂｊ２５が映っている。また、出力画像Ｉｍ２９には、パッケージＯｂｊ２５を指し示すメッセージＭＳＧ２１が重畳されている。メッセージＭＳＧ２１は、パッケージＯｂｊ２５が物質ＳＢ２１を３．０ｇ収容していることを表す。端末装置２００のユーザは、例えば、このようなメッセージＭＳＧ２１を閲覧することにより、パッケージＯｂｊ２５に現在いずれの薬品がどれだけの数量収容されているかを容易に把握することができる。
【０１１４】
（６）処理の流れ
図１９は、本実施例における画像処理装置１００による属性制御処理の流れの一例を示すフローチャートである。図１９に示した属性制御処理は、画像取得部１２０により順次取得される入力画像について繰り返される。
【０１１５】
まず、画像取得部１２０は、撮像部１０２により生成される撮像画像を入力画像として取得する（ステップＳ２００）。そして、画像取得部１２０は、取得した入力画像をオブジェクト識別部１３０へ出力する。
【０１１６】
次に、オブジェクト識別部１３０は、オブジェクトＤＢ１４０により記憶されている各オブジェクトの既知の特徴量を用いて、入力画像に映るオブジェクトを識別する（ステップＳ２０４）。
【０１１７】
次に、イベント検出部１５０は、オブジェクト識別部１３０により識別されるオブジェクトについて上述したイベント検出条件が満たされているかを判定する（ステップＳ２０８）。ここで、イベント検出条件が満たされていない場合には、その後の処理はスキップされる（ステップＳ２１２）。イベント検出条件が満たされている場合には、イベント検出部１５０は、検出したイベントを属性制御部１７０に通知する。
【０１１８】
属性制御部１７０は、イベント検出部１５０によりイベントが検出されると、属性制御テーブル１４４ｂを用いて、検出されたイベントに関与するオブジェクトについての属性の制御内容を決定する（ステップＳ２１６）。そして、属性制御部１７０は、第１のオブジェクトから第２のオブジェクトへ属性値を移動することを決定した場合には（ステップＳ２２０）、第１のオブジェクトに関連付けられている属性値を第２のオブジェクトに関連付ける（ステップＳ２２４）。また、属性制御部１７０は、第１のオブジェクトの属性値を削除することを決定した場合には（ステップＳ２２８）、第１のオブジェクトに関連付けられている属性値を削除する（ステップＳ２３２）。
【０１１９】
また、属性制御部１７０は、いずれかのオブジェクトに数量を付加することを決定した場合には（ステップＳ２３６）、付加すべき物質の数量の値を取得し（ステップＳ２４０）、取得した数量の値を“ＳＣＡＬＥ”オブジェクトではない方のオブジェクトの属性に付加する（ステップＳ２４４）。
【０１２０】
そして、属性制御部１７０は、更新前及び更新後の属性値を含む履歴データ１６４の新たなレコードを属性ＤＢ１６０に記憶させる（ステップＳ２４８）。なお、いずれのオブジェクトの属性も更新されない場合には、ステップＳ２４８の処理はスキップされる。
【０１２１】
ここまで、図１５〜図１９を用いて第２の実施例について説明した。本実施例によれば、調剤器具を用いて薬品が調合される状況において、調剤器具に収容されている薬品の成分をオブジェクトの属性を通じて把握することが可能となる。また、オブジェクトに収容される物質の数量をもオブジェクトの属性に付加することができる。また、オブジェクトの属性データ又は属性の更新履歴を閲覧することで、行為者本人以外の人物であっても薬品の成分及びその数量を容易に把握することができる。オブジェクトの属性の更新に際しては、調剤行為の行為者にデータ入力などの作業は課されない。
【０１２２】
＜６．第３の実施例＞
第３の実施例では、履歴管理の対象として、患者による薬の服用を例示する。従って、画像処理装置１００は、患者と薬との間の物理的作用、即ち薬の服用行為に対応するイベントを検出する。なお、説明の簡明さのために、本実施例において先行するいずれかの実施例と重複する事項についての説明は省略する。
【０１２３】
（１）オブジェクトの例
図２０は、第３の実施例におけるオブジェクトデータの一例について説明するための説明図である。図２０を参照すると、オブジェクトＤＢ１４０により記憶される一例としてのオブジェクトデータ１４２ｃが示されている。オブジェクトデータ１４２ｃは、人物オブジェクトについての人物データと、処方薬オブジェクトについての処方薬データとを含む。
【０１２４】
人物データは、「オブジェクトＩＤ」、「名称」及び「特徴量」という３つのデータ項目を有する。「オブジェクトＩＤ」は、各人物オブジェクトを一意に識別するための識別子である。「名称」は、各人物の名前を示す。「特徴量」は、各人物の既知の顔画像から抽出される特徴量である。
【０１２５】
処方薬データは、「オブジェクトＩＤ」、「名称」、「患者ＩＤ」、「服用量」及び「特徴量」という５つのデータ項目を有する。「オブジェクトＩＤ」は、各処方薬オブジェクトを一意に識別するための識別子である。「名称」は、各処方薬の名称を示す。「患者ＩＤ」は、各処方薬を服用する人物のオブジェクトＩＤを示す。図２０の例では、オブジェクトＯｂｊ３５、即ち「Ｘ１錠」を服用する人物は、オブジェクトＯｂｊ３１、即ち「ＸＸさん」である。「服用量」は、各処方薬をいつどれだけ服用すべきかについての情報を示す。「特徴量」は、各処方薬の既知の画像から抽出される特徴量である。
【０１２６】
（２）イベント
本実施例において、イベント検出部１５０は、オブジェクト識別部１３０により識別される人物による処方薬の服用行為に対応するイベントを検出する。イベント検出部１５０は、例えば、公知のジェスチャ認識技術を用いて、人物による服用行為のジェスチャを検出してもよい。本実施例におけるイベント検出条件は、次のような条件となる。
条件Ｃ３１）人物オブジェクトが処方薬オブジェクトを服用するジェスチャが認識される。
【０１２７】
（３）属性の制御
属性制御部１７０は、イベント検出部１５０により服用行為に対応するイベントが検出されると、服用行為に関与する人物オブジェクト及び処方薬オブジェクトの属性を更新する。例えば、属性制御部１７０は、処方薬オブジェクトに含まれる物質の種類と１回当たりの服用量とを示す属性を人物オブジェクトに新たに関連付けてもよい。また、属性制御部１７０は、処方薬オブジェクトの属性から、１回当たりの服用量に相当する数量を削除してもよい。さらに、属性制御部１７０は、これらオブジェクトの属性を更新すると、更新の履歴を示すレコードを履歴データ１６４ｃに記憶させる。
【０１２８】
図２１は、本実施例において属性制御部１７０により生成される一例としての履歴データ１６４ｃの内容を示している。図２１を参照すると、履歴データ１６４ｃは、「オブジェクトＩＤ」、「属性」及び「時刻」という３つのデータ項目を有する。「オブジェクトＩＤ」は、処方薬を服用した人物の人物オブジェクトを識別する識別子である。「属性」は、属性制御部１７０により当該人物オブジェクトに新たに関連付けられた属性値を示す。「時刻」は、対応するイベントの検出時刻（又は属性の更新時刻であってもよい）を示す。属性制御部１７０は、履歴の信頼性を補強するために、これら時刻に対応する時刻認証データを外部の時刻認証サービスから取得し、取得した時刻認証データを図２１に示したような履歴に関連付けて記憶させてもよい。図２１の例では、時刻Ｔ３１、Ｔ３２及びＴ３３において、患者Ｏｂｊ３１が物質ＳＢ３１を２錠ずつ服用したことが、履歴データ１６４ｃにより示されている。
【０１２９】
さらに、属性制御部１７０は、服用行為に対応するイベントの検出に応じて、担当の医師、看護師又は患者の家族などが有する端末装置に通知メッセージを送信してもよい。また、属性制御部１７０は、患者が服用すべきでない薬を服用したことが検出された場合には、警報メッセージを送信し又は警報音を発してもよい。
【０１３０】
（４）データ遷移
図２２は、本実施例における例示的なシナリオに沿った属性データの状態遷移の一例について説明するための説明図である。これら図の左側には時系列で取得される３つの入力画像Ｉｍ３１〜Ｉｍ３３が順に示されており、右側には各時点の属性データ１６２ｃの部分的な内容が示されている。
【０１３１】
図２２を参照すると、入力画像Ｉｍ３１には、患者Ｏｂｊ３１及び処方薬Ｏｂｊ３５が映っている。属性データ１６２ｃにおいて、患者Ｏｂｊ３１には、いずれの属性値も関連付けられていない。一方、処方薬Ｏｂｊ３５には、物質ＳＢ３１の種類と数量３０錠とを示す属性値が関連付けられている。これは、処方薬Ｏｂｊ３５に物質ＳＢ３１が３０錠収容されていることを表す。
【０１３２】
次に、入力画像Ｉｍ３２において、処方薬Ｏｂｊ３５を患者Ｏｂｊ３１が服用する様子が映っている。イベント検出部１５０は、このような服用行為のジェスチャを認識することにより、当該服用行為に対応するイベントを検出する。すると、属性制御部１７０は、処方薬Ｏｂｊ３５に関連付けられている属性値“ＳＢ３１”を患者Ｏｂｊ３１に新たに関連付ける。また、属性制御部１７０は、１回当たりの服用量に相当する数量を患者Ｏｂｊ３１の属性に付加する。また、属性制御部１７０は、処方薬Ｏｂｊ３５の属性から１回当たりの服用量に相当する数量を削除する。その結果、属性データ１６２ｃは、患者Ｏｂｊ３１が物質ＳＢ３１を２錠服用したこと、及び処方薬Ｏｂｊ３５に物質ＳＢ３１が２８錠収容されていることを表す。
【０１３３】
その後、入力画像Ｉｍ３３には、患者Ｏｂｊ３１が映っている。属性データ１６２ｃは、引き続き患者Ｏｂｊ３１が物質ＳＢ３１を２錠服用したことを表している。なお、属性制御部１７０は、服用行為に対応するイベントの検出時刻から処方薬の効果の持続時間が経過した時点で、当該イベントが検出された際に患者オブジェクトに関連付けた属性を削除してもよい。
【０１３４】
（５）表示例
図２３は、本実施例において端末装置２００により表示される出力画像の一例について説明するための説明図である。図２３を参照すると、一例としての出力画像Ｉｍ３９が示されている。出力画像Ｉｍ３９には、患者Ｏｂｊ３１が映っている。また、出力画像Ｉｍ３９には、患者Ｏｂｊ３１を指し示すメッセージＭＳＧ３１が重畳されている。メッセージＭＳ３１は、患者Ｏｂｊ３１が２０１１年１１月１日１４時に“Ｘ１錠”を２錠服用したことを表す。端末装置２００のユーザは、例えば、このようなメッセージＭＳＧ３１を閲覧することにより、患者が適切な時刻に適切な処方薬を服用したかを容易に把握することができる。
【０１３５】
なお、画像処理装置１００のユーザインタフェース部１９０又は端末装置２００のユーザインタフェース部２５０は、患者のオブジェクトＩＤ又は名前をユーザ（例えば医師、看護師又は家族など）に指定させ、指定された患者に関連付けられている服用行為の履歴を当該ユーザに呈示するためのＵＩ画面を、ユーザに提供してもよい。
【０１３６】
（６）処理の流れ
図２４は、本実施例における画像処理装置１００による属性制御処理の流れの一例を示すフローチャートである。図２４に示した属性制御処理は、画像取得部１２０により順次取得される入力画像について繰り返される。
【０１３７】
まず、画像取得部１２０は、撮像部１０２により生成される撮像画像を入力画像として取得する（ステップＳ３００）。そして、画像取得部１２０は、取得した入力画像をオブジェクト識別部１３０へ出力する。
【０１３８】
次に、オブジェクト識別部１３０は、オブジェクトＤＢ１４０により記憶されている人物オブジェクト及び処方薬オブジェクトの既知の特徴量を用いて、入力画像に映るこれらオブジェクトを識別する（ステップＳ３０４）。
【０１３９】
次に、イベント検出部１５０は、オブジェクト識別部１３０により識別されるオブジェクトについて、ジェスチャ認識技術を用いてイベント検出条件が満たされているかを判定する（ステップＳ３０８）。ここで、イベント検出条件が満たされていない場合には、その後の処理はスキップされる（ステップＳ３１２）。イベント検出条件が満たされている場合には、イベント検出部１５０は、検出したイベントを属性制御部１７０に通知する。
【０１４０】
属性制御部１７０は、イベント検出部１５０によりイベントが検出されると、処方薬オブジェクトである第１のオブジェクトに関連付けられている属性値及び服用量を、人物オブジェクトである第２のオブジェクトに関連付ける（ステップＳ３２４）。また、属性制御部１７０は、第１のオブジェクトに関連付けられている属性の数量から、１回当たりの服用量を削除する（ステップＳ３３２）。そして、属性制御部１７０は、履歴データ１６４ｃの新たなレコードを属性ＤＢ１６０に記憶させる（ステップＳ３４８）。
【０１４１】
ここまで、図２０〜図２４を用いて第３の実施例について説明した。本実施例によれば、患者が処方薬を服用する状況において、患者がどの薬をいつ服用したかをオブジェクトの属性データ又は属性の更新履歴を通じて第３者が把握することが可能となる。オブジェクトの属性の更新に際しては、患者及び第３者にデータ入力などの作業は課されない。
【０１４２】
＜７．第４の実施例＞
第４の実施例では、履歴管理の対象として、食品加工行為における食材及び調味料の配合を例示する。従って、画像処理装置１００は、シェフ、レストランの従業員又は食品加工工場の従業員などの人物が食材及び調味料を取り扱う際の物理的作用に対応するイベントを検出する。なお、説明の簡明さのために、本実施例において先行するいずれかの実施例と重複する事項についての説明は省略する。
【０１４３】
（１）オブジェクトの例
図２５は、第４の実施例におけるオブジェクトデータの一例について説明するための説明図である。図２５を参照すると、オブジェクトＤＢ１４０により記憶される一例としてのオブジェクトデータ１４２ｄが示されている。オブジェクトデータ１４２ｄは、第１の実施例に係るオブジェクトデータ１４２ａと同様、「オブジェクトＩＤ」、「名称」、「品番」、「タイプ」及び「特徴量」という５つのデータ項目を有する。
【０１４４】
本実施例において、各オブジェクトには次の４つのタイプの候補のうちのいずれかが割当てられる。
“ＳＯＵＲＣＥ”…食材又は調味料の移送元のオブジェクトを示すタイプである。食材若しくは調味料の容器、又は食材そのものなどに相当し得る
“ＴＲＡＮＳＰＯＲＴＥＲ”…食材又は調味料を移送可能なオブジェクトを示すタイプである
“ＣＯＮＴＡＩＮＥＲ”…調理される食品を収容可能なオブジェクトを示すタイプである
“ＦＯＯＤ＿ＩＴＥＭ”…調理される食品のオブジェクトを示すタイプである
図２５の例では、オブジェクトＯｂｊ４１（ひき肉）及びオブジェクトＯｂｊ４２（コショウ瓶）のタイプは“ＳＯＵＲＣＥ”である。オブジェクトＯｂｊ４３（おたま）のタイプは“ＴＲＡＮＳＰＯＲＴＥＲ”である。オブジェクトＯｂｊ４４（ボウル）、オブジェクトＯｂｊ４５（フライパン）及びオブジェクトＯｂｊ４６（トレイ）のタイプは“ＣＯＮＴＡＩＮＥＲ”である。オブジェクトＯｂｊ５０（食品）のタイプは“ＦＯＯＤ＿ＩＴＥＭ”である。
【０１４５】
なお、“ＦＯＯＤ＿ＩＴＥＭ”オブジェクトを識別するための特徴量（例えば、オブジェクトデータ１４２ｄにおける特徴量ＦＤ５０）は、初期状態では与えられない。“ＦＯＯＤ＿ＩＴＥＭ”オブジェクトの特徴量は、後述するイベントの検出に応じて入力画像から抽出され得る。
【０１４６】
（２）イベント
本実施例において、イベント検出部１５０は、オブジェクト識別部１３０により識別されるオブジェクトの間の物理的作用に対応するイベントを検出する。例えば、図２５に例示したオブジェクトが関与するイベントとして、次のようなイベントが挙げられる。
イベントＥｖ４１）ボウルへのひき肉の投入
イベントＥｖ４２）コショウ瓶からボウルへのコショウの投入
イベントＥｖ４３）ボウルからフライパンへの食品の移し替え
イベントＥｖ４４）フライパンからトレイへの食品の移し替え
【０１４７】
これらイベントは、例えば、２つのオブジェクトについて所定のイベント検出条件が満たされること条件として検出されてよい。所定のイベント検出条件とは、例えば、次のような条件のいずれかであってよい。
条件Ｃ４１）一方のオブジェクトの上方に他方のオブジェクトが位置する。
条件Ｃ４２）条件Ｃ４１が連続的に満たされている時間が閾値を上回る。
条件Ｃ４３）２つのオブジェクトを扱う人物の所定のジェスチャが認識される。
条件Ｃ４２における閾値は、オブジェクトに依存することなく共通的に定義されても、各オブジェクトについて個別に定義されてもよい。
【０１４８】
（３）属性の制御
本実施例においても、属性制御部１７０は、検出されたイベントに関与するオブジェクトについて定義されているタイプが所定の属性制御条件を満たす場合に、それらオブジェクトの属性を更新する。属性制御条件は、属性制御テーブルにおいて定義される。
【０１４９】
図２６は、第４の実施例における属性制御テーブルの一例について説明するための説明図である。図２６を参照すると、オブジェクトＤＢ１４０により記憶される一例としての属性制御テーブル１４４ｄが示されている。属性制御テーブル１４４ｄは、行及び列の双方にオブジェクトの４つのタイプを配置したマトリックス形式で定義されている。各列は、イベントに関与する第１のオブジェクトのタイプに対応する。各行は、イベントに関与する第２のオブジェクトのタイプに対応する。
【０１５０】
例えば、第１のオブジェクトのタイプが“ＳＯＵＲＣＥ”であって、第２のオブジェクトのタイプが“ＴＲＡＮＳＰＯＲＴＥＲ”である場合には、第１のオブジェクトに関連付けられている属性が第２のオブジェクトに追加される（即ち、新たに関連付けられる）。第１のオブジェクトの属性は更新されない。
【０１５１】
第１のオブジェクトのタイプが“ＳＯＵＲＣＥ”であって、第２のオブジェクトのタイプが“ＣＯＮＴＡＩＮＥＲ”である場合には、第２のオブジェクトに収容されている第３のオブジェクトが存在するかが判定され、存在しない場合には当該第３のオブジェクトが生成される。ここで生成される第３のオブジェクトは、“ＦＯＯＤ＿ＩＴＥＭ”オブジェクトである。そして、第１のオブジェクトに関連付けられている属性が第３のオブジェクトに追加される。さらに、第３のオブジェクトの新たな特徴量が入力画像から抽出される。第１のオブジェクトの属性は更新されない。
【０１５２】
また、第１のオブジェクトのタイプが“ＳＯＵＲＣＥ”であって、第２のオブジェクトのタイプが“ＦＯＯＤ＿ＩＴＥＭ”である場合には、第１のオブジェクトに関連付けられている属性が第２のオブジェクトに追加される。さらに、第３のオブジェクトの新たな特徴量が入力画像から抽出される。第１のオブジェクトの属性は更新されない。
【０１５３】
また、第１のオブジェクトのタイプが“ＴＲＡＮＳＰＯＲＴＥＲ”であって、第２のオブジェクトのタイプが“ＣＯＮＴＡＩＮＥＲ”である場合には、第２のオブジェクトに収容されている第３のオブジェクトが存在するかが判定され、存在しない場合には当該第３のオブジェクトが生成される。ここで生成される第３のオブジェクトは、“ＦＯＯＤ＿ＩＴＥＭ”オブジェクトである。そして、第１のオブジェクトに関連付けられている属性が第３のオブジェクトに追加される。さらに、第３のオブジェクトの新たな特徴量が入力画像から抽出される。第１のオブジェクトの属性は削除される。
【０１５４】
また、第１のオブジェクトのタイプが“ＴＲＡＮＳＰＯＲＴＥＲ”であって、第２のオブジェクトのタイプが“ＦＯＯＤ＿ＩＴＥＭ”である場合には、第１のオブジェクトに関連付けられている属性が第２のオブジェクトに追加される。さらに、第２のオブジェクトの新たな特徴量が入力画像から抽出される。第１のオブジェクトの属性は削除される。
【０１５５】
また、第１のオブジェクトのタイプが“ＣＯＮＴＡＩＮＥＲ”であって、第２のオブジェクトのタイプも“ＣＯＮＴＡＩＮＥＲ”である場合には、第１のオブジェクトに関連付けられている属性が第２のオブジェクトに追加される。さらに、第２のオブジェクトの新たな特徴量が入力画像から抽出される。第１のオブジェクトの属性は削除される。
【０１５６】
また、第１のオブジェクトのタイプが“ＣＯＮＴＡＩＮＥＲ”であって、第２のオブジェクトのタイプが“ＦＯＯＤ＿ＩＴＥＭ”である場合には、第１のオブジェクトに関連付けられている属性が第２のオブジェクトに追加される。さらに、第２のオブジェクトの新たな特徴量が入力画像から抽出される。第１のオブジェクトの属性は削除される。
【０１５７】
これら以外のタイプの組合せにおいては、第１及び第２のオブジェクトの属性は更新されない。
【０１５８】
なお、“ＦＯＯＤ＿ＩＴＥＭ”オブジェクトの特徴量は、“ＦＯＯＤ＿ＩＴＥＭ”オブジェクトを収容する“ＣＯＮＴＡＩＮＥＲ”オブジェクトの画像領域から既知の“ＣＯＮＴＡＩＮＥＲ”オブジェクトが映っている部分を除くことにより決定される差分領域から抽出されてよい。属性制御部１７０は、“ＦＯＯＤ＿ＩＴＥＭ”オブジェクトが関与するイベントが検出された場合において、当該オブジェクトの外観に大きな変化が見られないときは、当該オブジェクトの特徴量を抽出せず又は更新しなくてよい。また、本実施例においても、第２の実施例において説明したような、物質を計量可能なオブジェクトを示す“ＳＣＡＬＥ”タイプがさらに使用されてもよい。
【０１５９】
（４）データ遷移
図２７Ａ及び図２７Ｂは、本実施例における例示的なシナリオに沿った属性データの状態遷移の一例について説明するための説明図である。これら図の左側には時系列で取得される５つの入力画像Ｉｍ４１〜Ｉｍ４５が順に示されており、右側には各時点の属性データ１６２ｄの部分的な内容が示されている。
【０１６０】
図２７Ａを参照すると、入力画像Ｉｍ４１には、ひき肉Ｏｂｊ４１及びボウルＯｂｊ４４が映っている。属性データ１６２ｄにおいて、ひき肉Ｏｂｊ４１には、物質ＳＢ４１及び物質ＳＢ４３を示す属性値が関連付けられている。これは、ひき肉Ｏｂｊ４１が構成成分として物質ＳＢ４１及びＳＢ４３を有することを表す。一方、ボウルＯｂｊ４４には、いずれの属性値も関連付けられていない。これは、ボウルＯｂｊ４４に何も収容されていないことを表す。
【０１６１】
次に、入力画像Ｉｍ４２において、ボウルＯｂｊ４４の上方に、ひき肉Ｏｂｊ４１が映っている。イベント検出部１５０は、例えば上述したイベント検出条件Ｃ４１〜Ｃ４３のいずれかに従って、ボウルＯｂｊ４４へのひき肉Ｏｂｊ４１の投入に対応するイベントを検出する。オブジェクトデータ１４２ｄによれば、ひき肉Ｏｂｊ４１のタイプは“ＳＯＵＲＣＥ”、ボウルＯｂｊ４４のタイプは“ＣＯＮＴＡＩＮＥＲ”である。そこで、属性制御部１７０は、属性制御テーブル１４４ｄにより示される制御内容に従って、“ＦＯＯＤ＿ＩＴＥＭ”オブジェクトである食品Ｏｂｊ５０を新たに生成し、ひき肉Ｏｂｊ４１に関連付けられている属性値“ＳＢ４１”及び“ＳＢ４３”を食品Ｏｂｊ５０に関連付ける。ボウルＯｂｊ４４には、食品Ｏｂｊ５０を示す属性値が関連付けられる。さらに、属性制御部１７０は、食品Ｏｂｊ５０の特徴量ＦＤ５０を入力画像Ｉｍ４２から抽出し、抽出した特徴量ＦＤ５０をオブジェクトＤＢ１４０に記憶させる。
【０１６２】
次に、入力画像Ｉｍ４３には、コショウ瓶Ｏｂｊ４２、ボウルＯｂｊ４４及び食品Ｏｂｊ５０が映っている。イベント検出部１５０は、例えば上述したイベント検出条件Ｃ４１〜Ｃ４３のいずれかに従って、ボウルＯｂｊ４４内の食品Ｏｂｊ５０へのコショウの投入に対応するイベントを検出する。ここで、食品Ｏｂｊ５０タイプは“ＦＯＯＤ＿ＩＴＥＭ”、コショウ瓶Ｏｂｊ４２のタイプは“ＳＯＵＲＣＥ”である。そこで、属性制御部１７０は、属性制御テーブル１４４ｄにより示される制御内容に従って、コショウ瓶Ｏｂｊ４２に関連付けられている属性値“ＳＢ４２”を食品Ｏｂｊ５０に新たに関連付ける。属性データ１６２ｄにおいて、コショウ瓶Ｏｂｊ４２には、物質ＳＢ４２（コショウ）を示す属性値が関連付けられている。ボウルＯｂｊ４４には、食品Ｏｂｊ５０を示す属性値が関連付けられている。食品Ｏｂｊ５０には、物質ＳＢ４１、ＳＢ４２及びＳＢ４３を示す属性値が関連付けられている。
【０１６３】
次に、図２７Ｂを参照すると、入力画像Ｉｍ４４において、フライパンＯｂｊ４５に食品Ｏｂｊ５０が収容されている様子が映っている。属性データ１６２ｄは、フライパンＯｂｊ４５に食品Ｏｂｊ５０が収容されていること、及び食品Ｏｂｊ５０が物質ＳＢ４１、ＳＢ４２及びＳＢ４３を構成成分として有することを表す。
【０１６４】
さらに、フライパンＯｂｊ４５での調理を経た後、入力画像Ｉｍ４５において、フライパンＯｂｊ４５の近傍にトレイＯｂｊ４６が映っている。イベント検出部１５０は、フライパンＯｂｊ４５からトレイＯｂｊ４６への食品Ｏｂｊ５０の移し替えに対応するイベントを検出する。ここで、フライパンＯｂｊ４５及びトレイＯｂｊ４６のタイプは共に“ＣＯＮＴＡＩＮＥＲ”である。そこで、属性制御部１７０は、属性制御テーブル１４４ｄにより示される制御内容に従って、フライパンＯｂｊ４５に関連付けられている属性値“Ｏｂｊ５０”をトレイＯｂｊ４６に新たに関連付ける。その結果、属性データ１６２ｄは、トレイＯｂｊ４６に食品Ｏｂｊ５０が収容されていることを表す。さらに、属性制御部１７０は、食品Ｏｂｊ５０の特徴量ＦＤ５０を新たに入力画像Ｉｍ４２から抽出し、抽出した特徴量ＦＤ５０をオブジェクトＤＢ１４０に記憶させる。ここで記憶される特徴量ＦＤ５０は、フライパンＯｂｊ４５を用いて調理された食品Ｏｂｊ５０の外観の特徴を表現する。
【０１６５】
（５）表示例
図２８は、本実施例において端末装置２００により表示される出力画像の一例について説明するための説明図である。図２８を参照すると、一例としての出力画像Ｉｍ４９が示されている。出力画像Ｉｍ４９には、トレイＯｂｊ４６及び食品Ｏｂｊ５０が映っている。また、出力画像Ｉｍ４９には、食品Ｏｂｊ５０を指し示すメッセージＭＳＧ４１が重畳されている。メッセージＭＳＧ４１は、食品Ｏｂｊ５０が物質ＳＢ４１、ＳＢ４３及びＳＢ４２にそれぞれ相当し得る牛肉、豚肉及びコショウを含有していることを表す。端末装置２００のユーザは、例えば、このようなメッセージＭＳＧ４１を閲覧することにより、食品Ｏｂｊ５０にどのような成分が含まれているかを容易に把握することができる。
【０１６６】
（６）処理の流れ
図２９は、本実施例における画像処理装置１００による属性制御処理の流れの一例を示すフローチャートである。図２９に示した属性制御処理は、画像取得部１２０により順次取得される入力画像について繰り返される。
【０１６７】
まず、画像取得部１２０は、撮像部１０２により生成される撮像画像を入力画像として取得する（ステップＳ４００）。そして、画像取得部１２０は、取得した入力画像をオブジェクト識別部１３０へ出力する。
【０１６８】
次に、オブジェクト識別部１３０は、オブジェクトＤＢ１４０により記憶されている各オブジェクトの既知の特徴量を用いて、入力画像に映るオブジェクトを識別する（ステップＳ４０４）。
【０１６９】
次に、イベント検出部１５０は、オブジェクト識別部１３０により識別されるオブジェクトについて上述したイベント検出条件が満たされているかを判定する（ステップＳ４０８）。ここで、イベント検出条件が満たされていない場合には、その後の処理はスキップされる（ステップＳ４１２）。イベント検出条件が満たされている場合には、イベント検出部１５０は、検出したイベントを属性制御部１７０に通知する。
【０１７０】
属性制御部１７０は、イベント検出部１５０によりイベントが検出されると、属性制御テーブル１４４ｄを用いて、検出されたイベントに関与するオブジェクトについての属性の制御内容を決定する（ステップＳ４１６）。そして、属性制御部１７０は、第１のオブジェクトから第２のオブジェクトへ属性値を移動することを決定した場合には（ステップＳ４２０）、第１のオブジェクトに関連付けられている属性値を第２のオブジェクトに関連付ける（ステップＳ４２４）。また、属性制御部１７０は、第１のオブジェクトの属性値を削除することを決定した場合には（ステップＳ４２８）、第１のオブジェクトに関連付けられている属性値を削除する（ステップＳ４３２）。
【０１７１】
また、属性制御部１７０は、新たな“ＦＯＯＤ＿ＩＴＥＭ”オブジェクトを生成することを決定した場合には（ステップＳ４３６）、“ＦＯＯＤ＿ＩＴＥＭ”オブジェクトを生成する（ステップＳ４３８）。ここで生成される“ＦＯＯＤ＿ＩＴＥＭ”オブジェクトには、第１のオブジェクトに関連付けられている属性値が関連付けられる。
【０１７２】
また、属性制御部１７０は、“ＦＯＯＤ＿ＩＴＥＭ”オブジェクトの特徴量を更新することを決定した場合には（ステップＳ４４０）、上述した抽出対象領域から画像特徴量を抽出し（ステップＳ４４２）、抽出した画像特徴量で“ＦＯＯＤ＿ＩＴＥＭ”オブジェクトの特徴量を更新する（ステップＳ４４４）。
【０１７３】
そして、属性制御部１７０は、履歴データ１６４の新たなレコードを属性ＤＢ１６０に記憶させる（ステップＳ４４８）。なお、いずれのオブジェクトの属性も更新されない場合には、ステップＳ４４８の処理はスキップされる。
【０１７４】
ここまで、図２５〜図２９を用いて第４の実施例について説明した。本実施例によれば、調理器具を用いて食品が加工される状況において、食品に含有されている成分をオブジェクトの属性を通じて把握することが可能となる。消費者は、カメラを有する端末装置を食品にかざすことで加工された食品の成分を容易に把握できるため、より安心して食品を購入し又は食することができる。
【０１７５】
＜８．変形例＞
上述した実施形態では、画像処理装置１００及び端末装置２００が物理的に異なる装置として構成される例について主に説明した。しかしながら、画像処理装置１００及び端末装置２００は、図３０に例示する画像処理装置３００のように、一体の装置として構成されてもよい。
【０１７６】
図３０は、一変形例に係る画像処理装置３００の論理的機能の構成の一例を示すブロック図である。図３０を参照すると、画像処理装置３００は、画像取得部１２０、オブジェクト識別部１３０、オブジェクトＤＢ１４０、イベント検出部１５０、属性ＤＢ１６０、属性制御部１７０、表示制御部２４０及びユーザインタフェース部１９０、２５０を含む。画像処理装置３００の各処理ブロックの機能は、上で説明した同じ符号の付された処理ブロックの機能と原則として同様である。画像処理装置３００の表示制御部２４０は、入力画像に映るオブジェクトに関連付けられている属性データを属性ＤＢ１６０から取得し、取得した属性データを入力画像に重畳する。
【０１７７】
＜９．まとめ＞
ここまで、本開示に係る技術の一実施形態及びその４つの実施例について詳細に説明した。本開示に係る技術によれば、実空間に存在するオブジェクトが入力画像内で識別され、識別されたオブジェクト間の物理的作用に対応するイベントの検出に応じて、第１のオブジェクトに関連付けられている属性データが第２のオブジェクトに関連付けられる。従って、これらオブジェクト間の物理的作用を生じさせる様々な作業行為の履歴を、オブジェクトの属性という形式で管理することが可能となる。その際、属性データの更新は画像認識技術を用いて自動的に行われるため、行為者に負担が課されることがない。
【０１７８】
上記実施形態によれば、上記オブジェクトは物質を収容可能なオブジェクトであってよく、上記属性データは関連付けられるオブジェクトに収容される物質の種類を示し得る。かかる構成によれば、収容される物質を外部から視認できないオブジェクトについて行われた行為の詳細を事後的に把握することが可能となる。
【０１７９】
また、上記実施形態によれば、オブジェクト間の物理的作用に対応するイベントは、当該オブジェクトの間の位置関係が所定の条件を満たす場合に検出されてよい。オブジェクト間の位置関係についての条件の代わりに、オブジェクトに対する人物のジェスチャの認識についての条件が採用されてもよい。これらの構成によれば、入力画像以外の情報を要することなく、上述した履歴管理の仕組みを実現することができる。即ち、事前に用意されるデータベースを除いてアプリケーションの目的に特化した入力情報が必要とされないため、医師、看護師、薬剤師、患者の家族、シェフ又は工場の従業員など様々な人物が有し得る汎用的な装置を用いて、履歴を容易に蓄積し又は蓄積された履歴を閲覧することが可能となる。
【０１８０】
また、上記実施形態によれば、属性の制御内容は、検出されるイベントに関与するオブジェクトについて定義されるタイプに応じて決定され得る。かかる構成によれば、作業行為の様々なパターンをタイプの組合せを通じて区別し、そのパターンごとに異なる属性の制御を実現することができる。よって、履歴管理の対象となる作業行為の様々なバリエーションに、上述した履歴管理の仕組みを柔軟に適用することが可能となる。
【０１８１】
履歴の正確性がより重要視される場面では、属性の更新についての承認をユーザから受け付けるユーザインタフェースが提供されてもよい。この場合には、行為者に課される負担の僅かな増加によって、管理される履歴の正確性を担保することができる。また、記憶される履歴データに時刻認証データを付加することで、作業行為の時刻をも証明可能とし、履歴の信頼性及び追跡可能性をより高めることができる。
【０１８２】
なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵなどのプロセッサにより実行される。
【０１８３】
また、各装置の論理的機能の一部は、当該装置上に実装される代わりに、クラウドコンピューティング環境内に存在する装置上に実装されてもよい。その場合には、論理的機能の間でやり取りされる情報が、図２に例示した通信部１１２又は図５に例示した通信部２１２を介して装置間で送信され又は受信され得る。
【０１８４】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１８５】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
実空間に存在するオブジェクトを入力画像内で識別する識別部と、
前記識別部により識別される第１のオブジェクトと第２のオブジェクトとの間の物理的作用に対応するイベントを前記入力画像を用いて検出する検出部と、
前記イベントの検出に応じて、前記第１のオブジェクトに関連付けられている属性データを前記第２のオブジェクトに関連付ける属性制御部と、
を備える画像処理装置。
（２）
前記第１のオブジェクト及び前記第２のオブジェクトは、物質を収容可能なオブジェクトである、前記（１）に記載の画像処理装置。
（３）
前記属性データは、関連付けられるオブジェクトに収容される物質の少なくとも種類を示す、前記（２）に記載の画像処理装置。
（４）
前記属性データは、関連付けられるオブジェクトに収容される物質の数量をさらに表す、前記（３）に記載の画像処理装置。
（５）
前記検出部は、前記第１のオブジェクトと前記第２のオブジェクトとの間の位置関係が第１の条件を満たすことを、前記イベントとして検出する、前記（１）〜（４）のいずれか１項に記載の画像処理装置。
（６）
前記第１の条件は、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離が所定の閾値を下回ることを含む、前記（５）に記載の画像処理装置。
（７）
前記第２のオブジェクトは、人物であり、
前記検出部は、前記第２のオブジェクトの前記第１のオブジェクトに対する所定のジェスチャを前記イベントとして検出する、
前記（１）〜（４）のいずれか１項に記載の画像処理装置。
（８）
前記第１のオブジェクト及び前記第２のオブジェクトは、人物により扱われる器具であり、
前記検出部は、前記第１のオブジェクト及び前記第２のオブジェクトに対する前記人物の所定のジェスチャを前記イベントとして検出する、
前記（１）〜（４）のいずれか１項に記載の画像処理装置。
（９）
前記属性制御部は、前記第１のオブジェクト及び前記第２のオブジェクトについて予め定義されるタイプが第２の条件を満たす場合に、前記第１のオブジェクトに関連付けられている前記属性データを前記第２のオブジェクトに関連付ける、前記（１）〜（８）のいずれか１項に記載の画像処理装置。
（１０）
前記第２の条件は、前記第１のオブジェクト及び前記第２のオブジェクトについて予め定義される前記タイプの少なくとも一方が物質を移送可能なオブジェクトを示す第１のタイプであることを含む、前記（９）に記載の画像処理装置。
（１１）
前記第２の条件は、前記第１のオブジェクトのタイプが前記第１のタイプであって、第２のオブジェクトのタイプが物質の移送先のオブジェクトを示す第２のタイプであること、をさらに含む、前記（１０）に記載の画像処理装置。
（１２）
前記第２の条件は、前記第２のオブジェクトのタイプが前記第１のタイプであって、第１のオブジェクトのタイプが物質の移送元のオブジェクトを示す第３のタイプであること、をさらに含む、前記（１０）に記載の画像処理装置。
（１３）
前記検出部は、前記第２のオブジェクトと第３のオブジェクトとの間の物理的作用に対応するさらなるイベントを検出し、
前記属性制御部は、前記第３のオブジェクトについて予め定義されるタイプが物質を計量可能なオブジェクトを示す第４のタイプである場合に、固定的に定義され又は前記入力画像から読み取られる物質の数量を前記属性データに付加する、
前記（９）〜（１２）のいずれか１項に記載の画像処理装置。
（１４）
前記属性制御部は、前記第１のオブジェクト及び前記第２のオブジェクトについて予め定義されるタイプが第３の条件を満たす場合に、第４のオブジェクトを新たに生成し、前記第１のオブジェクトに関連付けられている前記属性データを前記第４のオブジェクトに関連付ける、前記（９）〜（１３）のいずれか１項に記載の画像処理装置。
（１５）
前記属性制御部は、生成した前記第４のオブジェクトの画像特徴量を前記入力画像から抽出し、抽出した当該画像特徴量を前記第４のオブジェクトにさらに関連付ける、前記（１４）に記載の画像処理装置。
（１６）
前記属性制御部は、前記イベントの検出時刻に対応する時刻認証データ及び前記属性データを、前記第２のオブジェクトに関連付けて記憶媒体に記憶させる、前記（１）〜（１５）のいずれか１項に記載の画像処理装置。
（１７）
前記画像処理装置は、前記第１のオブジェクトに関連付けられている前記属性データを前記第２のオブジェクトに関連付けることについての承認をユーザから受け付けるユーザインタフェース部、をさらに備え、
前記属性制御部は、前記ユーザインタフェース部が前記承認を受け付けた場合にのみ、前記属性データを前記第２のオブジェクトに関連付ける、
前記（１）〜（１６）のいずれか１項に記載の画像処理装置。
（１８）
前記画像処理装置は、前記第２のオブジェクトを映した画像を表示する端末装置に前記第２のオブジェクトに関連付けられている前記属性データを配信して、前記端末装置に前記属性データを表示させるデータ配信部、をさらに備える、前記（１）〜（１７）のいずれか１項に記載の画像処理装置。
（１９）
前記識別部、前記検出部及び前記属性制御部のうち少なくとも１つが前記画像処理装置の代わりにクラウドコンピューティング環境上に存在する装置により実現される、前記（１）〜（１８）のいずれか１項に記載の画像処理装置。
（２０）
画像処理装置を制御するコンピュータを、
実空間に存在するオブジェクトを入力画像内で識別する識別部と、
前記識別部により識別される第１のオブジェクトと第２のオブジェクトとの間の物理的作用に対応するイベントを前記入力画像を用いて検出する検出部と、
前記イベントの検出に応じて、前記第１のオブジェクトに関連付けられている属性データを前記第２のオブジェクトに関連付ける属性制御部と、
として機能させるためのプログラム。
（２１）
実空間に存在するオブジェクトを入力画像内で識別することと、
識別された第１のオブジェクトと第２のオブジェクトとの間の物理的作用に対応するイベントを前記入力画像を用いて検出することと、
前記イベントの検出に応じて、前記第１のオブジェクトに関連付けられている属性データを前記第２のオブジェクトに関連付けることと、
を含む画像処理方法。
（２２）
実空間に存在するオブジェクトを映す入力画像を取得する画像取得部と、
第１のオブジェクトとの間の物理的作用に関与する、前記入力画像内で識別される第２のオブジェクトに関連付けられている属性データを取得するデータ取得部と、
前記データ取得部により取得される前記属性データを前記入力画像に重畳する表示制御部と、
を備え、
前記属性データは、前記物理的作用に対応するイベントの検出前に前記第１のオブジェクトに関連付けられており、前記イベントの検出に応じて前記第２のオブジェクトに新たに関連付けられるデータである、
端末装置。
（２３）
端末装置を制御するコンピュータを、
実空間に存在するオブジェクトを映す入力画像を取得する画像取得部と、
第１のオブジェクトとの間の物理的作用に関与する、前記入力画像内で識別される第２のオブジェクトに関連付けられている属性データを取得するデータ取得部と、
前記データ取得部により取得される前記属性データを前記入力画像に重畳する表示制御部と、
として機能させ、
前記属性データは、前記物理的作用に対応するイベントの検出前に前記第１のオブジェクトに関連付けられており、前記イベントの検出に応じて前記第２のオブジェクトに新たに関連付けられるデータである、
プログラム。
【符号の説明】
【０１８６】
１００，３００ 画像処理装置
１２０ 画像取得部
１３０ オブジェクト識別部
１４０ オブジェクトＤＢ
１４２ オブジェクトデータ
１４４ 属性制御テーブル
１５０ イベント検出部
１６０ 属性ＤＢ
１６２ 属性データ
１６４ 履歴データ
１７０ 属性制御部
１８０ データ配信部
１９０ ユーザインタフェース部
２００ 端末装置
２２０ 画像取得部
２３０ データ取得部
２４０ 表示制御部
２５０ ユーザインタフェース部
【特許請求の範囲】
【請求項１】
実空間に存在するオブジェクトを入力画像内で識別する識別部と、
前記識別部により識別される第１のオブジェクトと第２のオブジェクトとの間の物理的作用に対応するイベントを前記入力画像を用いて検出する検出部と、
前記イベントの検出に応じて、前記第１のオブジェクトに関連付けられている属性データを前記第２のオブジェクトに関連付ける属性制御部と、
を備える画像処理装置。
【請求項２】
前記第１のオブジェクト及び前記第２のオブジェクトは、物質を収容可能なオブジェクトである、請求項１に記載の画像処理装置。
【請求項３】
前記属性データは、関連付けられるオブジェクトに収容される物質の少なくとも種類を示す、請求項２に記載の画像処理装置。
【請求項４】
前記属性データは、関連付けられるオブジェクトに収容される物質の数量をさらに表す、請求項３に記載の画像処理装置。
【請求項５】
前記検出部は、前記第１のオブジェクトと前記第２のオブジェクトとの間の位置関係が第１の条件を満たすことを、前記イベントとして検出する、請求項１に記載の画像処理装置。
【請求項６】
前記第１の条件は、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離が所定の閾値を下回ることを含む、請求項５に記載の画像処理装置。
【請求項７】
前記第２のオブジェクトは、人物であり、
前記検出部は、前記第２のオブジェクトの前記第１のオブジェクトに対する所定のジェスチャを前記イベントとして検出する、
請求項１に記載の画像処理装置。
【請求項８】
前記第１のオブジェクト及び前記第２のオブジェクトは、人物により扱われる器具であり、
前記検出部は、前記第１のオブジェクト及び前記第２のオブジェクトに対する前記人物の所定のジェスチャを前記イベントとして検出する、
請求項１に記載の画像処理装置。
【請求項９】
前記属性制御部は、前記第１のオブジェクト及び前記第２のオブジェクトについて予め定義されるタイプが第２の条件を満たす場合に、前記第１のオブジェクトに関連付けられている前記属性データを前記第２のオブジェクトに関連付ける、請求項１に記載の画像処理装置。
【請求項１０】
前記第２の条件は、前記第１のオブジェクト及び前記第２のオブジェクトについて予め定義される前記タイプの少なくとも一方が物質を移送可能なオブジェクトを示す第１のタイプであることを含む、請求項９に記載の画像処理装置。
【請求項１１】
前記第２の条件は、前記第１のオブジェクトのタイプが前記第１のタイプであって、第２のオブジェクトのタイプが物質の移送先のオブジェクトを示す第２のタイプであること、をさらに含む、請求項１０に記載の画像処理装置。
【請求項１２】
前記第２の条件は、前記第２のオブジェクトのタイプが前記第１のタイプであって、第１のオブジェクトのタイプが物質の移送元のオブジェクトを示す第３のタイプであること、をさらに含む、請求項１０に記載の画像処理装置。
【請求項１３】
前記検出部は、前記第２のオブジェクトと第３のオブジェクトとの間の物理的作用に対応するさらなるイベントを検出し、
前記属性制御部は、前記第３のオブジェクトについて予め定義されるタイプが物質を計量可能なオブジェクトを示す第４のタイプである場合に、固定的に定義され又は前記入力画像から読み取られる物質の数量を前記属性データに付加する、
請求項９に記載の画像処理装置。
【請求項１４】
前記属性制御部は、前記第１のオブジェクト及び前記第２のオブジェクトについて予め定義されるタイプが第３の条件を満たす場合に、第４のオブジェクトを新たに生成し、前記第１のオブジェクトに関連付けられている前記属性データを前記第４のオブジェクトに関連付ける、請求項９に記載の画像処理装置。
【請求項１５】
前記属性制御部は、生成した前記第４のオブジェクトの画像特徴量を前記入力画像から抽出し、抽出した当該画像特徴量を前記第４のオブジェクトにさらに関連付ける、請求項１４に記載の画像処理装置。
【請求項１６】
前記属性制御部は、前記イベントの検出時刻に対応する時刻認証データ及び前記属性データを、前記第２のオブジェクトに関連付けて記憶媒体に記憶させる、請求項１に記載の画像処理装置。
【請求項１７】
前記画像処理装置は、前記第１のオブジェクトに関連付けられている前記属性データを前記第２のオブジェクトに関連付けることについての承認をユーザから受け付けるユーザインタフェース部、をさらに備え、
前記属性制御部は、前記ユーザインタフェース部が前記承認を受け付けた場合にのみ、前記属性データを前記第２のオブジェクトに関連付ける、
請求項１に記載の画像処理装置。
【請求項１８】
前記画像処理装置は、前記第２のオブジェクトを映した画像を表示する端末装置に前記第２のオブジェクトに関連付けられている前記属性データを配信して、前記端末装置に前記属性データを表示させるデータ配信部、をさらに備える、請求項１に記載の画像処理装置。
【請求項１９】
前記識別部、前記検出部及び前記属性制御部のうち少なくとも１つが前記画像処理装置の代わりにクラウドコンピューティング環境上に存在する装置により実現される、請求項１に記載の画像処理装置。
【請求項２０】
画像処理装置を制御するコンピュータを、
実空間に存在するオブジェクトを入力画像内で識別する識別部と、
前記識別部により識別される第１のオブジェクトと第２のオブジェクトとの間の物理的作用に対応するイベントを前記入力画像を用いて検出する検出部と、
前記イベントの検出に応じて、前記第１のオブジェクトに関連付けられている属性データを前記第２のオブジェクトに関連付ける属性制御部と、
として機能させるためのプログラム。
【請求項２１】
実空間に存在するオブジェクトを入力画像内で識別することと、
識別された第１のオブジェクトと第２のオブジェクトとの間の物理的作用に対応するイベントを前記入力画像を用いて検出することと、
前記イベントの検出に応じて、前記第１のオブジェクトに関連付けられている属性データを前記第２のオブジェクトに関連付けることと、
を含む画像処理方法。
【請求項２２】
実空間に存在するオブジェクトを映す入力画像を取得する画像取得部と、
第１のオブジェクトとの間の物理的作用に関与する、前記入力画像内で識別される第２のオブジェクトに関連付けられている属性データを取得するデータ取得部と、
前記データ取得部により取得される前記属性データを前記入力画像に重畳する表示制御部と、
を備え、
前記属性データは、前記物理的作用に対応するイベントの検出前に前記第１のオブジェクトに関連付けられており、前記イベントの検出に応じて前記第２のオブジェクトに新たに関連付けられるデータである、
端末装置。
【請求項２３】
端末装置を制御するコンピュータを、
実空間に存在するオブジェクトを映す入力画像を取得する画像取得部と、
第１のオブジェクトとの間の物理的作用に関与する、前記入力画像内で識別される第２のオブジェクトに関連付けられている属性データを取得するデータ取得部と、
前記データ取得部により取得される前記属性データを前記入力画像に重畳する表示制御部と、
として機能させ、
前記属性データは、前記物理的作用に対応するイベントの検出前に前記第１のオブジェクトに関連付けられており、前記イベントの検出に応じて前記第２のオブジェクトに新たに関連付けられるデータである、
プログラム。
【請求項１】
実空間に存在するオブジェクトを入力画像内で識別する識別部と、
前記識別部により識別される第１のオブジェクトと第２のオブジェクトとの間の物理的作用に対応するイベントを前記入力画像を用いて検出する検出部と、
前記イベントの検出に応じて、前記第１のオブジェクトに関連付けられている属性データを前記第２のオブジェクトに関連付ける属性制御部と、
を備える画像処理装置。
【請求項２】
前記第１のオブジェクト及び前記第２のオブジェクトは、物質を収容可能なオブジェクトである、請求項１に記載の画像処理装置。
【請求項３】
前記属性データは、関連付けられるオブジェクトに収容される物質の少なくとも種類を示す、請求項２に記載の画像処理装置。
【請求項４】
前記属性データは、関連付けられるオブジェクトに収容される物質の数量をさらに表す、請求項３に記載の画像処理装置。
【請求項５】
前記検出部は、前記第１のオブジェクトと前記第２のオブジェクトとの間の位置関係が第１の条件を満たすことを、前記イベントとして検出する、請求項１に記載の画像処理装置。
【請求項６】
前記第１の条件は、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離が所定の閾値を下回ることを含む、請求項５に記載の画像処理装置。
【請求項７】
前記第２のオブジェクトは、人物であり、
前記検出部は、前記第２のオブジェクトの前記第１のオブジェクトに対する所定のジェスチャを前記イベントとして検出する、
請求項１に記載の画像処理装置。
【請求項８】
前記第１のオブジェクト及び前記第２のオブジェクトは、人物により扱われる器具であり、
前記検出部は、前記第１のオブジェクト及び前記第２のオブジェクトに対する前記人物の所定のジェスチャを前記イベントとして検出する、
請求項１に記載の画像処理装置。
【請求項９】
前記属性制御部は、前記第１のオブジェクト及び前記第２のオブジェクトについて予め定義されるタイプが第２の条件を満たす場合に、前記第１のオブジェクトに関連付けられている前記属性データを前記第２のオブジェクトに関連付ける、請求項１に記載の画像処理装置。
【請求項１０】
前記第２の条件は、前記第１のオブジェクト及び前記第２のオブジェクトについて予め定義される前記タイプの少なくとも一方が物質を移送可能なオブジェクトを示す第１のタイプであることを含む、請求項９に記載の画像処理装置。
【請求項１１】
前記第２の条件は、前記第１のオブジェクトのタイプが前記第１のタイプであって、第２のオブジェクトのタイプが物質の移送先のオブジェクトを示す第２のタイプであること、をさらに含む、請求項１０に記載の画像処理装置。
【請求項１２】
前記第２の条件は、前記第２のオブジェクトのタイプが前記第１のタイプであって、第１のオブジェクトのタイプが物質の移送元のオブジェクトを示す第３のタイプであること、をさらに含む、請求項１０に記載の画像処理装置。
【請求項１３】
前記検出部は、前記第２のオブジェクトと第３のオブジェクトとの間の物理的作用に対応するさらなるイベントを検出し、
前記属性制御部は、前記第３のオブジェクトについて予め定義されるタイプが物質を計量可能なオブジェクトを示す第４のタイプである場合に、固定的に定義され又は前記入力画像から読み取られる物質の数量を前記属性データに付加する、
請求項９に記載の画像処理装置。
【請求項１４】
前記属性制御部は、前記第１のオブジェクト及び前記第２のオブジェクトについて予め定義されるタイプが第３の条件を満たす場合に、第４のオブジェクトを新たに生成し、前記第１のオブジェクトに関連付けられている前記属性データを前記第４のオブジェクトに関連付ける、請求項９に記載の画像処理装置。
【請求項１５】
前記属性制御部は、生成した前記第４のオブジェクトの画像特徴量を前記入力画像から抽出し、抽出した当該画像特徴量を前記第４のオブジェクトにさらに関連付ける、請求項１４に記載の画像処理装置。
【請求項１６】
前記属性制御部は、前記イベントの検出時刻に対応する時刻認証データ及び前記属性データを、前記第２のオブジェクトに関連付けて記憶媒体に記憶させる、請求項１に記載の画像処理装置。
【請求項１７】
前記画像処理装置は、前記第１のオブジェクトに関連付けられている前記属性データを前記第２のオブジェクトに関連付けることについての承認をユーザから受け付けるユーザインタフェース部、をさらに備え、
前記属性制御部は、前記ユーザインタフェース部が前記承認を受け付けた場合にのみ、前記属性データを前記第２のオブジェクトに関連付ける、
請求項１に記載の画像処理装置。
【請求項１８】
前記画像処理装置は、前記第２のオブジェクトを映した画像を表示する端末装置に前記第２のオブジェクトに関連付けられている前記属性データを配信して、前記端末装置に前記属性データを表示させるデータ配信部、をさらに備える、請求項１に記載の画像処理装置。
【請求項１９】
前記識別部、前記検出部及び前記属性制御部のうち少なくとも１つが前記画像処理装置の代わりにクラウドコンピューティング環境上に存在する装置により実現される、請求項１に記載の画像処理装置。
【請求項２０】
画像処理装置を制御するコンピュータを、
実空間に存在するオブジェクトを入力画像内で識別する識別部と、
前記識別部により識別される第１のオブジェクトと第２のオブジェクトとの間の物理的作用に対応するイベントを前記入力画像を用いて検出する検出部と、
前記イベントの検出に応じて、前記第１のオブジェクトに関連付けられている属性データを前記第２のオブジェクトに関連付ける属性制御部と、
として機能させるためのプログラム。
【請求項２１】
実空間に存在するオブジェクトを入力画像内で識別することと、
識別された第１のオブジェクトと第２のオブジェクトとの間の物理的作用に対応するイベントを前記入力画像を用いて検出することと、
前記イベントの検出に応じて、前記第１のオブジェクトに関連付けられている属性データを前記第２のオブジェクトに関連付けることと、
を含む画像処理方法。
【請求項２２】
実空間に存在するオブジェクトを映す入力画像を取得する画像取得部と、
第１のオブジェクトとの間の物理的作用に関与する、前記入力画像内で識別される第２のオブジェクトに関連付けられている属性データを取得するデータ取得部と、
前記データ取得部により取得される前記属性データを前記入力画像に重畳する表示制御部と、
を備え、
前記属性データは、前記物理的作用に対応するイベントの検出前に前記第１のオブジェクトに関連付けられており、前記イベントの検出に応じて前記第２のオブジェクトに新たに関連付けられるデータである、
端末装置。
【請求項２３】
端末装置を制御するコンピュータを、
実空間に存在するオブジェクトを映す入力画像を取得する画像取得部と、
第１のオブジェクトとの間の物理的作用に関与する、前記入力画像内で識別される第２のオブジェクトに関連付けられている属性データを取得するデータ取得部と、
前記データ取得部により取得される前記属性データを前記入力画像に重畳する表示制御部と、
として機能させ、
前記属性データは、前記物理的作用に対応するイベントの検出前に前記第１のオブジェクトに関連付けられており、前記イベントの検出に応じて前記第２のオブジェクトに新たに関連付けられるデータである、
プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７Ａ】
【図１７Ｂ】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７Ａ】
【図２７Ｂ】
【図２８】
【図２９】
【図３０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７Ａ】
【図１７Ｂ】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７Ａ】
【図２７Ｂ】
【図２８】
【図２９】
【図３０】
【公開番号】特開２０１３−１１４３１５（Ｐ２０１３−１１４３１５Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２５７５６１（Ｐ２０１１−２５７５６１）
【出願日】平成２３年１１月２５日（２０１１．１１．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月２５日（２０１１．１１．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]