メモ情報管理システム、メモ情報処理装置及びプログラム
【課題】対象領域内の一部を撮影した撮影画像に対して入力されたメモ情報について、そのメモ情報の入力対象である注目範囲を特定して記録できるようにする。
【解決手段】空間モデル記憶部１２０には、対象領域に配置された各目印物体の位置及び画像特徴を示す目印情報１２４が記録される。調査者は、携帯型のメモ端末２００により対象領域内での人々の作業風景を撮影し、撮影した画像に対応づけてメモ情報を入力する。フィールドワーク記録管理部１３０は、撮影画像とメモ情報のペアをメモ端末２００から受け取り、その撮影画像と各目印物体の画像特徴を照合することにより、撮影画像に含まれる目印物体を特定し、撮影画像内の目印物体の配置関係から、その撮影画像を撮影した際に調査者が注目していた範囲の三次元的な位置を特定する。特定した位置をメモ情報と対応づけてフィールドワーク記録記憶部１４０に記憶する。
【解決手段】空間モデル記憶部１２０には、対象領域に配置された各目印物体の位置及び画像特徴を示す目印情報１２４が記録される。調査者は、携帯型のメモ端末２００により対象領域内での人々の作業風景を撮影し、撮影した画像に対応づけてメモ情報を入力する。フィールドワーク記録管理部１３０は、撮影画像とメモ情報のペアをメモ端末２００から受け取り、その撮影画像と各目印物体の画像特徴を照合することにより、撮影画像に含まれる目印物体を特定し、撮影画像内の目印物体の配置関係から、その撮影画像を撮影した際に調査者が注目していた範囲の三次元的な位置を特定する。特定した位置をメモ情報と対応づけてフィールドワーク記録記憶部１４０に記憶する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、メモ情報管理システム、メモ情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
現場の状況を調査するフィールドワーク調査では、ビデオカメラや静止画カメラ、音声レコーダーなどといった様々な記録装置を用いて現場の状況を記録し、記録された動画、画像、音声などを用いて分析を行っている。
【０００３】
特許文献１には、入力操作に応じて処理された結果が表示される入出力装置において、表示画面及び操作キーを平面上に投影する投影手段と、平面上に投影された表示画面又は操作キーに対して操作者が行う入力操作を撮影する撮像手段と、撮像手段が撮影した画像を解析して、操作者が行った入力操作を識別する画像識別手段と、識別した入力操作に応じた処理を行い、投影手段を制御して表示画面の表示に処理結果を反映させる処理手段とを設けることが開示されている。
【０００４】
特許文献２に開示されるモデルデータベースは、対象物の三次元ワイヤフレーム情報を記憶しており、移動体抽出部は、ＣＣＤカメラによる映像ソースからブロックマッチング法により移動体領域を抽出する。空間量子化部は、移動体領域の二次元画像とテクスチャマッピングにより生成した推定画像との間の比較計算を行いながら、移動対象物の三次元位置姿勢を推定する。テクスチャマッピング部は、対象物メモリ中のワイヤフレーム情報を基準にし、かつ空間量子化部から出力される位置姿勢情報を用いて、対象物のワイヤフレームへのテクスチャマッピングを実行し、画像推定部は、斯様なテクスチャマッピングを元にして対象物の仮想実画像を生成する。
【０００５】
特許文献３には、バーチャル環境に関するモデリング及び対話のために設けられた装置が開示される。当該環境のイメージ、及びその内部におけるユーザーの存在についての表示は、メモリからのデータに基づいてＣＰＵによって生成され、立体的なディスプレイによってユーザーに提供される。ユーザーは、単一の制御ボタンを有するハンドヘルド・ユニットを装備される。ボタンが押されていないとき、制御装置のユーザーの運動は、モデリングされるアイコン（バーチャル・ハンドのような）によって前記バーチャル環境内において複製され、対話を可能にする。ボタンが作動されているとき、制御装置のユーザーの運動は、その代わりに、ナビゲーション指令に変換され、バーチャル環境におけるユーザーの存在の位置をシフトさせる。
【０００６】
非特許文献１に開示されたＤＯＴＳシステムは、研究目的で実際のオフィス環境に設置された、屋内型、リアルタイム、マルチカメラの監視システムである。多人数の人を追跡する効果的アプローチを組み込み、個々のカメラから得られる結果をマルチカメラの軌跡として一体化している。ＤＯＴＳのユーザインタフェースは、簡単に参照することでユーザーが重要なイベントに注目できるようにしている。また、同一ユーザインタフェースの中の異なる表現により、より簡単なナビゲーションが出来る空間情報も提供される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０００−２９８５４４号公報
【特許文献２】特開平０８−１１４４１６号公報
【特許文献３】特表平１１−５１３１５７号公報
【非特許文献】
【０００８】
【非特許文献１】Andreas Girgensohn他９名、” DOTS: support for effective video surveillance”、[online]、2007年、International Multimedia Conference、 Proceedings of the 15th international conference on Multimedia、 [平成２１年１０月８日検索]、インターネット＜http://portal.acm.org/citation.cfm?doid=1291233.1291332＞
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、対象領域内の一部を撮影した撮影画像に対して入力されたメモ情報について、そのメモ情報の入力対象である注目範囲を特定して記録できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
請求項１に係る発明は、対象領域内の各目印物体の位置情報及び認識用特徴情報を記憶する目印情報記憶手段と、前記対象領域の少なくとも一部を撮影することにより得られた撮影画像を表示する撮影画像表示手段と、メモ情報の入力を受け付けて前記撮影画像表示手段に表示された撮影画像と関連づける入力受付手段と、前記入力受付手段で受け付けたメモ情報に関連づけられた撮影画像と前記目印情報記憶手段に記憶された各目印物体の認識用特徴情報との照合により、当該撮影画像に含まれる１以上の目印物体の画像を特定し、特定した各目印物体の画像の前記撮影画像中での位置と前記目印情報記憶手段に記憶された当該各目印物体の位置情報とに基づき、当該メモ情報に対応する前記対象領域内の注目範囲を特定する注目範囲特定手段と、前記入力受付手段で受け付けたメモ情報を、前記注目範囲特定手段が特定した当該メモ情報に対応する注目範囲を示す注目範囲情報と対応づけて記憶するメモ情報記憶手段と、を備えるメモ情報管理システムである。
【００１１】
請求項２に係る発明は、前記対象領域の三次元形状モデル情報を記憶するモデル記憶手段と、前記モデル記憶手段に記憶された前記対象領域の三次元形状モデル情報に基づき、前記対象領域の二次元画像を生成する領域画像生成手段と、前記領域画像生成手段が生成した二次元画像内に前記メモ情報記憶手段に記憶されたメモ情報に関連づけられた注目範囲が含まれる場合に、当該二次元画像内の当該注目範囲に対応づけて当該メモ情報を出力するメモ情報出力手段と、を備える請求項１に記載のメモ情報管理システムである。
【００１２】
請求項３に係る発明は、前記対象領域の少なくとも一部を撮影することにより前記撮影画像表示手段に表示するための撮影画像を生成するとともに、当該撮影画像中での焦点位置の情報を当該撮影画像と対応づけて出力する撮影手段、を更に備え、前記注目範囲特定手段は、前記メモ情報に関連づけられた撮影画像に対応づけて前記撮影手段から出力された焦点位置を加味して、当該メモ情報に対応する前記注目範囲を特定する、ことを特徴とする請求項１に記載のメモ情報管理システムである。
【００１３】
請求項４に係る発明は、前記対象領域の動画を撮影する動画撮影手段と、前記動画撮影手段が撮影した動画の動画データを記憶する動画記憶手段と、前記動画記憶手段が記憶している動画データに基づき前記対象領域の動画を再生する動画再生手段と、前記領域画像生成手段が生成した前記対象領域の二次元画像と、前記動画再生手段が再生した動画と、を対応づけて表示する動画表示手段と、を更に備え、前記撮影画像表示手段は、前記動画撮影手段が撮影した動画を前記撮影画像として表示し、前記入力受付手段は、前記メモ情報の入力を受け付けた時点で前記撮影画像表示手段が表示していた撮影画像の前記動画データ内での時点を求め、前記メモ情報記憶手段は、前記メモ情報に関連づけられた前記撮影画像の前記動画データ内での時点を、当該メモ情報に対応づけて記憶し、前記メモ情報出力手段は、前記動画表示手段に表示されている画像の前記動画データ内での時点に対応する時点のメモ情報を出力する、ことを特徴とする請求項１に記載のメモ情報管理システムである。
【００１４】
請求項５に係る発明は、対象領域内の各目印物体の位置情報及び認識用特徴情報を記憶する目印情報記憶手段と、メモ入力装置からメモ情報と撮影画像の組を受信する受信手段と、前記受信手段が受信した撮影画像と前記目印情報記憶手段に記憶された各目印物体の認識用特徴情報との照合により、当該撮影画像に含まれる１以上の目印物体の画像を特定し、特定した各目印物体の画像の前記撮影画像中での位置と前記目印情報記憶手段に記憶された当該各目印物体の位置情報とに基づき、当該撮影画像と共に受信したメモ情報に対応する前記対象領域内の注目範囲を特定する注目範囲特定手段と、前記メモ情報を、前記注目範囲特定手段が特定した当該メモ情報に対応する注目範囲を示す注目範囲情報と対応づけて記憶するメモ情報記憶手段と、を備えるメモ情報処理装置である。
【００１５】
請求項６に係る発明は、コンピュータを、対象領域内の各目印物体の位置情報及び認識用特徴情報を記憶する目印情報記憶手段、メモ入力装置からメモ情報と撮影画像の組を受信する受信手段、前記受信手段が受信した撮影画像と前記目印情報記憶手段に記憶された各目印物体の認識用特徴情報との照合により、当該撮影画像に含まれる１以上の目印物体の画像を特定し、特定した各目印物体の画像の前記撮影画像中での位置と前記目印情報記憶手段に記憶された当該各目印物体の位置情報とに基づき、当該撮影画像と共に受信したメモ情報に対応する前記対象領域内の注目範囲を特定する注目範囲特定手段、前記メモ情報を、前記注目範囲特定手段が特定した当該メモ情報に対応する注目範囲を示す注目範囲情報と対応づけて記憶するメモ情報記憶手段、として機能させるためのプログラムである。
【発明の効果】
【００１６】
請求項１，５又は６に係る発明によれば、対象領域内の一部を撮影した撮影画像に対して入力されたメモ情報について、そのメモ情報の入力対象である注目範囲を特定して記録できる。
【００１７】
請求項２に係る発明によれば、メモ情報を、対象領域の三次元モデルの画像内における注目範囲に対応づけて出力することができる。
【００１８】
請求項３に係る発明によれば、メモ情報に対応する注目範囲を、焦点位置の情報を用いない場合によりも高精度に特定することができる。
【００１９】
請求項４に係る発明によれば、対象領域を撮影した動画の再生と同期してメモ情報を出力することができる。
【図面の簡単な説明】
【００２０】
【図１】実施形態のシステム構成の一例を示す図である。
【図２】対象領域に対する定置カメラの配置例を示す図である。
【図３】空間モデル管理部の機能構成の一例を示す図である。
【図４】対象領域内から抽出された目印物体の位置を例示する図である。
【図５】目印情報のデータ構造の一例を示す図である。
【図６】フィールドワーク記録管理部の機能構成の一例を示す図である。
【図７】撮影画像内に含まれる目印物体の例を示す図である。
【図８】メモレコードのデータ構造の一例を示す図である。
【図９】表示編集処理部の機能構成の一例を示す図である。
【図１０】表示画面の例を示す図である。
【図１１】変形例のシステム構成の一例を示す図である。
【図１２】対象領域に対する位置センサの配置例を示す図である。
【図１３】個々の対象の位置変化データのデータ構造の一例を示す図である。
【発明を実施するための形態】
【００２１】
図１を参照して、実施形態のシステムの例を説明する。
【００２２】
図１に例示したシステムは、フィールドワーク支援装置１００、メモ端末２００、複数の定置カメラ２５０を備えている。
【００２３】
このシステムは、例えば、顧客組織の業務改善コンサルタント業務などにおけるフィールドワークを支援するために用いられる。例えば、このようなフィールドワークでは、調査者（例えばコンサルタント）が顧客組織の業務現場に入り、業務現場（例えばオフィス）で実際に行われている業務の進め方を実地に調べる。以下では、調査の対象となる現場の物理的な領域（部屋など）のことを、対象領域と呼ぶ。
【００２４】
このシステムでは、調査者がメモ端末２００を携帯して対象領域を自由な視点から撮影し、撮影した画像に対するメモ情報を調査者が入力する。メモ情報は、例えば、調査者がその画像を撮影しているときに感じた現場の印象や思いついた業務改善案などの情報であり、アノテーション（注釈情報）とも呼ばれる。このようなメモ情報の記録のために、メモ端末２００は、カメラ２１０、表示画面２２０、入力装置２３０及びメモ入力処理部２４０を備える。
【００２５】
カメラ２１０は、撮影した画像のデータを生成し、出力することが可能なデジタルカメラである。カメラ２１０は、静止画カメラであっても、動画カメラであってもよい。表示画面２２０は、例えばカメラ２１０が現在撮影している画像を表示する。入力装置２３０は、調査者がメモ情報の入力のために用いる装置であり、例えばキーボードやキーパッドなどであり、この場合、入力されるメモ情報はテキストデータとなる。また、入力装置２３０は、表示画面２２０上に表示されるソフトウエアキーボードなどであってもよい。また、入力装置２３０は、音声を入力するマイクであってもよく、この場合メモ情報は音声データとなる。調査者は、表示画面２２０に表示されている、カメラ２１０が現在撮影中の画像を見ながら、その画像に写された現場の状況に対するメモ情報を入力装置２３０から入力する。
【００２６】
メモ入力処理部２４０は、入力装置２３０から入力されたメモ情報を、そのメモ情報の対象となった撮影画像、すなわちメモ情報が入力されていたときに表示画面２２０に表示されている、カメラ２１０が撮影中の画像、に対応づける処理を行う。この対応づけ処理では、例えば、撮影画像の静止画像データとメモ情報とを対応づけてメモ端末２００内の記憶装置に保存したり、或いは、撮影画像の静止画像データとメモ情報とを対応づけてフィールドワーク支援装置１００に無線ＬＡＮなどの通信回線経由で送信したりする。撮影画像の静止画像データとメモ情報とを対応づけてメモ端末２００内の記憶装置に保存した場合、それら記憶したデータは、メモ端末２００をフィールドワーク支援装置１００に接続した際に、メモ端末２００からフィールドワーク支援装置１００に転送される。
【００２７】
また、カメラ２１０が動画を撮影するものである場合、入力されたメモ情報の撮影画像への対応づけは、例えば、その動画全体の時間幅の中での、そのメモ情報の入力時点を表す情報を記録することにより行ってもよい。メモ情報の入力時点の情報が記録されていれば、動画データの中からその時点の画像を取り出すことで、そのメモ情報の入力対処となった撮影画像を再現できる。
【００２８】
メモ端末２００は、例えばカメラ付き携帯電話機にメモ入力処理部２４０の処理を行うプログラムをインストールしたものであってもよい。また、ネットブック等の携帯型のコンピュータにデジタルカメラを有線又は無線で接続したものをメモ端末２００として用いてもよい。
【００２９】
調査者は対象領域内を移動しながら、メモ端末２００で、注目すべき箇所を撮影し、メモ情報を入力する。したがって、メモ情報の入力対象となった撮影画像は、対象領域の一部分を捉えたものであることが多い。フィールドワーク後の分析作業の際、メモ情報を、その情報の入力対象であった撮影画像と共に提示することは有益であるが、それだけでは対象領域内のどの場所でそのメモ情報の対象となった出来事が起こったのかが分かりにくい場合がある。
【００３０】
そこで、この実施形態では、メモ情報が、対象領域全体の中のどの場所（での出来事）に対して入力されたのかを表示する。このために、フィールドワーク支援装置１００は、対象領域の三次元モデル等の情報を記憶した空間モデル記憶部１２０を備え、その対象領域の三次元モデル内のどの領域に対してメモ情報が入力されたのかを解析し、表示する。
【００３１】
空間モデル記憶部１２０は、レイアウト情報１２２と目印情報１２４を記憶している。レイアウト情報１２２は、対象領域の三次元モデルを表す情報であり、例えば対象領域内の各物体（例えば机、ホワイトボード、複写機など）の三次元的な位置や形状などの情報を含んでいる。目印情報１２４は、対象領域内での目印となる各物体（目印物体と呼ぶ）の特徴を表す情報である。目印情報は、メモ端末２００が撮影した撮影画像から、メモ情報の対象となった場所（以下、「注目範囲」と呼ぶ）を特定するのに用いられる。
【００３２】
空間モデル管理部１１０は、空間モデル記憶部１２０の記憶情報を管理する。特に空間モデル管理部１１０は、対象領域内に配置された複数の定置カメラ２５０が撮影した画像と、レイアウト情報１２２とを用いて、目印情報１２４を生成する。
【００３３】
定置カメラ２５０は対象領域３００内に固定配置されるカメラである。図２に例示するように、各定置カメラ２５０は、例えば対象領域３００のほぼすべての物体が複数の定置カメラ２５０の視野（撮影範囲）に収められるように、それぞれ適切な場所に配置される。１つの物体を、位置の異なる２以上のカメラで撮影することにより、周知のステレオ法によりその物体の三次元的な位置や形状を求めることができる。定置カメラ２５０は、チルトやパンなどといった視線方向を変える機能や、ズーム機能などを備えていてもよい。各定置カメラ２５０が撮影した画像のデータは、空間モデル管理部１１０に、有線又は無線により送信される。また、定置カメラ２５０は、チルト、パン、ズームの機能を備える場合、撮影した画像のデータを、その画像を撮影したときのチルト角、パン角、ズーム倍率などの情報とともに空間モデル管理部１１０に送信する。或いは、空間モデル管理部１１０が定置カメラ２５０にチルト角、パン角、ズーム倍率を指示し、定置カメラ２５０がその指示に従ってチルト、パン、ズームの制御を行って撮影するようにしてもよい。
【００３４】
空間モデル管理部１１０は、各定置カメラ２５０が配置された位置や視野（視線方向や視野角など）の情報を有している。定置カメラ２５０の視野はチルト、パン、ズームなどにより変化し得るが、空間モデル管理部１１０は、チルト角等の情報から定置カメラ２５０の視野を特定可能である。空間モデル管理部１１０は、各定置カメラ２５０から送られてきた画像に基づき、対象領域内の目印物体を抽出する。
【００３５】
図３に、空間モデル管理部１１０の詳細な機能構成の例を示す。この例では、空間モデル管理部１１０は、データ受信部１１２、目印情報登録部１１４、及び画像特徴抽出部１１６を備える。
【００３６】
データ受信部１１２は、各定置カメラ２５０から、撮影された画像のデータや視野の情報を受信する。目印情報登録部１１４は、それら定置カメラ２５０からの情報を画像特徴抽出部１１６に渡し、対象領域３００内にある各目印物体を抽出させ、それら各目印物体の特徴を求めさせる。ここで、抽出する目印物体は、例えば柱、壁、机、複合機（プリンタ、スキャナ、コピー機等の機能を併せ持つ装置）等の事務機器、ホワイトボードなどといった、比較的大きな物体とする。
【００３７】
抽出のために、画像特徴抽出部１１６は、各定置カメラ２５０の配置位置及び視野の情報と、各定置カメラ２５０から送られてきた画像と、に基づき、公知のステレオ法及び三次元オブジェクト認識のための演算処理を実行する。ここで画像特徴抽出部１１６は、各定置カメラ２５０から送られてきた画像に対してそれぞれ輪郭抽出を行い、抽出された輪郭画像に対してステレオ法及び三次元オブジェクト認識の演算処理を行うようにしてもよい。例えば、画像特徴抽出部１１６は、この結果求められたいくつかの三次元物体のうち、あらかじめ定めたサイズ以上のサイズを持つ物体を目印物体として抽出すればよい。また、抽出の条件として、サイズ以外に、形状についての条件（例えば直方体に近いなど）を課してもよい。
【００３８】
また、画像特徴抽出部１１６は、ステレオ法やオブジェクト認識のために、対象領域３００の三次元モデルであるレイアウト情報１２２を参照してもよい。例えば、各定置カメラ２５０の画像に対するステレオ法による三次元形状認識結果と、レイアウト情報１２２に含まれている各三次元オブジェクトの位置や形状とを比較して、画像から求められたオブジェクトがレイアウト情報１２２中のどのオブジェクトに対応するかを求めるなどである。このような処理により、各目印物体の三次元的な位置及び形状を示す情報が求められる。
【００３９】
また、画像特徴抽出部１１６は、抽出した各目印物体について、その特徴を表す目印物体特徴情報を求める。例えば、当該目印物体の三次元形状（例えば輪郭情報や各頂点の配置関係の情報など）自体も目印物体特徴情報の一種である。また、目印物体の三次元形状についての定量的な性質、例えば幅と奥行きと高さの比や、各面の平行度なども、目印物体特徴情報の一例である。また、目印物体の表面（面が複数ある場合は各面）の色やテクスチャ、空間周波数なども目印物体特徴情報の一例である。目印物体特徴情報は、後述するフィールドワーク記録管理部１３０による、メモ端末２００の撮影画像中からの目印物体の認識のための基礎情報として用いられる。この認識処理は、公知のオブジェクト認識処理により行うことができる。画像特徴抽出部１１６は、上に例示したものも含む公知の三次元オブジェクト特徴のうち、フィールドワーク記録管理部１３０が実行するオブジェクト認識処理で用いられるものを目印物体特徴情報として求めればよい。このような目印物体特徴情報は、公知の方法で求めることができるので、これ以上の説明は省略する。
【００４０】
以上は、画像特徴抽出部１１６が目印物体を自動抽出する例であったが、別の例として、レイアウト情報１２２に含まれる各三次元オブジェクトの中から、ユーザーがあらかじめ目印物体を指定しておいてもよい。この場合、目印物体の位置や形状は既知である。画像特徴抽出部１１６は、それら各目印物体の位置や形状と、各定置カメラ２５０の画像とを突き合わせることで、それら各画像のどの部分がどの目的物体に対応するかを判定し、各目印物体の目印物体特徴情報を生成すればよい。
【００４１】
また、形状や表面の模様が既知の目印物体（例えば球体や立方体などといった既知形状の目印部分を有する置物）を対象領域３００内に複数配置し、各定置カメラ２５０の画像からそれら既知の目印物体を抽出してその位置や特徴情報を求めてもよい。
【００４２】
図４に示す例では、対象領域３００の中から、Ａ〜Ｆの６つの目印物体が抽出されている。
【００４３】
目印情報登録部１１４は、画像特徴抽出部１１６が抽出した各目印物体の三次元的な位置や目印物体特徴情報を、空間モデル記憶部１２０の目印情報１２４に登録する。目印情報１２４は、図５に例示するように、目印物体ごとに、その目印物体の対象領域３００内での三次元的な位置１２５の情報と目印物体特徴情報１２６とを含んでいる。
【００４４】
また、別の例として、各目印物体の各面の色やテクスチャなどの画像特徴を、レイアウト情報１２２におけるそれら各目印物体の三次元モデルに対応づける（貼り付ける）などして、目印物体の画像特徴を目印物体の三次元モデル自体に統合してもよい。
【００４５】
なお、空間モデル管理部１１０は、各定置カメラ２５０の撮影した画像を合成することで、三次元自由視点画像（視点や視線方向を自由に変えられる画像）を生成し、空間モデル記憶部１２０に記憶してもよい。これには、例えば金出武雄による「アイビジョン」の技術を用いればよい。
【００４６】
以上のようにして目印情報１２４が完成すると、この目印情報１２４を用いてフィールドワークでのメモ情報の対象となった注目範囲の特定を行うことができる。すなわち、調査者が前述したメモ端末２００にて現場を撮影しながらメモ情報を入力すると、メモ情報とそのメモ情報の入力対象となった撮影画像とがフィールドワーク記録管理部１３０に入力される。フィールドワーク記録管理部１３０は、その撮影画像に含まれる目印物体を、目印情報１２４を参照して特定し、それら目印物体の撮影画像中での位置から、メモ情報の対象となった注目領域を特定する。
【００４７】
フィールドワーク記録管理部１３０の詳細構成の一例を図６に例示する。この例では、フィールドワーク記録管理部１３０は、データ受信部１３２、照合処理部１３４及び画像特徴抽出部１３６を備える。データ受信部１３２は、メモ端末２００から、メモ情報とそのメモ情報の対象となった撮影画像との情報を受信する。なお、メモ端末２００は、その撮影画像を撮影した時点を示す時刻情報（メモ時刻と呼ぶ）をメモ情報及び撮影画像と共にフィールドワーク記録管理部１３０に送ってもよい。メモ時刻は、年月日時分などといった通常の時刻でもよいし、メモ端末２００が撮影した動画データ中でのその撮影画像の位置（撮影時点）を表すものであってもよい。また、メモ時刻として、厳密な時刻の代わりに、ある長さの時間を記録できるようにしてもよい。この時間の幅は、あらかじめ定めておいてもよいし、調査者がメモ情報を入力した際などに指定してもよい。また、例えばメモ情報の入力開始から終了までの時間を、メモ時刻の情報として記録してもよい。
【００４８】
また、メモ端末２００が動画を撮影する場合、データ受信部１３２は、メモ端末２００から動画データを受信する。受信した動画データは、フィールドワーク記録記憶部１４０に動画データ１４２として記録される。
【００４９】
照合処理部１３４は、メモ情報と対応づけて受信した撮影画像と、目印情報１２４内の各目印物体特徴情報１２６とを照合することで、撮影画像に含まれる目印物体を特定する。このとき、照合処理部１３４は、撮影画像を画像特徴抽出部１３６に渡し、撮影画像内に含まれる各オブジェクトの特徴（例えば輪郭又は頂点など）を抽出させ、その特徴を加味して撮影画像内のオブジェクトと目印情報１２４内の目印物体特徴情報１２６との照合を行ってもよい。なお、空間モデル管理部１１０の画像特徴抽出部１１６の一部の機能を、この画像特徴抽出部１３６として利用してもよい。照合に当たっては、例えば、撮影画像上でのオブジェクトの形状やテクスチャなどといった特徴を、空間モデル記憶部１２０に記憶された各目印物体の目印物体特徴情報１２６とを比較することで、目印物体に該当する画像オブジェクトを検出する。なお、この照合処理は、公知の三次元オブジェクト認識処理（例えば特開２００９−９３６１１号公報で言及された技術）を用いればよいので、これ以上の説明は省略する。
【００５０】
また照合処理部１３４は、上述のようにして撮影画像内に含まれる各目印物体の画像を特定すると、撮影画像中でのそれら各目印物体の位置に基づき、その撮影画像に対応するメモ情報の入力対象である注目範囲を特定する。一つの例では、各目印物体の撮影画像中での位置と、レイアウト情報１２２におけるそれら各目印物体の三次元位置との比較により、その撮影画像上での目印物体の配置が得られるための撮影位置（三次元位置）を特定する。そして、その撮影位置から撮影画像の中心に向かう三次元方向を求め、その方向に沿って撮影位置からカメラ２１０の焦点深さだけ進んだ位置を、注目範囲の中心位置とし、その中心位置に対して所定の範囲（例えばその中心位置を中心点とする所定半径の球体）を注目範囲として特定すればよい。焦点深さの情報は、メモ端末２００から撮影画像と対応づけて送ればよい。これは、調査者は注目する範囲を視野の中心において撮影する可能性が高いとの前提に基づく処理である。
【００５１】
また、別の例として、メモ端末２００のカメラ２１０が、公知の人物認識処理により画像中の人物を認識し、認識した人物に自動的に焦点合わせを行う機能を持つ場合には、次のような処理も可能である。すなわち、この処理では、カメラ２１０から認識した人物の撮影画像中での位置や焦点深さの情報（これらを合わせて焦点位置情報と呼ぶ）をフィールドワーク記録管理部１３０に送る。フィールドワーク記録管理部１３０の照合処理部１３４は、撮影画像中の各目印物体の位置から特定した撮影位置から、焦点位置情報が示す人物の位置の方向に焦点深さだけ進んだ位置を注目範囲の中心位置とし、その中心位置を基準に注目範囲を特定する。業務分析のフィールドワークの場合、注目の対象となるのが人物である場合が多いので、このように注目範囲も人物を中心に定めることが考えられる。
【００５２】
例えば、図７に例示する撮影画像４００中には、目印物体Ａ（ホワイトボード）とＥ（複合機）が写っており、それら物体ＡとＥがそのような位置関係で写る撮影位置はカメラ２１０の光学系のパラメータと対象領域のレイアウト情報１２２から特定される。また、図７の例では、カメラ２１０が画像中から認識した人物の領域のうち、調査者がフォーカス対象として選択した領域が枠４１０により表示されている。この枠４１０の撮影画像４００中での位置、及びそのフォーカス対象に焦点合わせしたときの焦点深さの情報が、カメラ２１０からフィールドワーク記録管理部１３０に提供される。
【００５３】
照合処理部１３４は、このように求めた注目範囲情報を、撮影画像に対応するメモ情報と対応づけて、フィールドワーク記録記憶部１４０に登録する。すなわち、各メモ情報について、図８に例示するようなメモレコードを作成し、フィールドワーク記録管理部１３０に登録する。図８の例では、メモレコードは、メモ情報１４７と、そのメモ情報１４７が入力されたメモ時刻１４５（前述）、及びそのメモ情報１４７に対応する撮影画像から求めた注目範囲情報１４６を含む。注目範囲情報１４６は、例えば対象領域内での注目範囲の三次元的な位置及び形状を示す情報である。１つの例では、注目範囲情報１４６は、注目範囲の中心の三次元位置の情報であってもよい。また、図示は省略したが、メモ情報１４７を入力した入力者（この場合は調査者）を特定する情報をメモレコードに含めてもよい。
【００５４】
以上のようにして、メモ端末２００に入力された各メモ情報が、フィールドワーク記録管理部１３０により当該メモ情報の入力対象である三次元的な注目範囲に対応づけて保存される（メモレコード群１４４）。
【００５５】
表示編集処理部１６０は、フィールドワーク記録記憶部１４０に記憶されたメモレコード群１４４や動画データ１４２を、視聴者（例えばフィールドワーク記録を分析する人又は人々）に提示する。特に表示編集処理部１６０（図１参照）は、そのメモレコード群１４４を参照して、各メモ情報の注目範囲を三次元的に表示する機能を備える。表示編集処理部１６０の詳細な機能構成の例を図９に示す。
【００５６】
図９の例では、表示編集処理部１６０は、モデル画像生成部１６２、動画再生部１６４、メモ情報出力部１６６、表示画面情報生成部１６８を備える。
【００５７】
モデル画像生成部１６２は、空間モデル記憶部１２０に記憶されているレイアウト情報１２２を参照して、対象領域３００を自由な視点から見た場合の二次元画像（以下「モデル画像」と呼ぶ）を生成する。視聴者がポインティングデバイス等の入力装置１７２を操作して視点の位置や視線方向などのパラメータを指定すると、モデル画像生成部１６２は、指定された視点等に従ってレイアウト情報１２２の三次元モデルをレンダリングし、モデル画像を生成する。視点等のパラメータは、モデル画像の表示中でも変更できるようにしてもよい。また、モデル画像生成部１６２は、目印物体などのオブジェクトにテクスチャ等の画像特徴が対応づけられている場合は、その画像特徴もレンダリングするようにしてもよい。
【００５８】
動画再生部１６４は、フィールドワーク記録記憶部１４０に記憶された動画データ１４２を再生する。
【００５９】
メモ情報出力部１６６は、メモレコード群１４４に含まれる各メモ情報を、モデル画像中の当該メモ情報の注目範囲と対応づけて出力する。
【００６０】
表示画面情報生成部１６８は、モデル画像生成部１６２、動画再生部１６４、メモ情報出力部１６６が生成した画像をまとめた表示画面情報を生成する。生成された表示画面情報は、表示装置１７０に表示される。表示装置１７０及びこれに対応する入力装置１７２は、フィールドワーク支援装置１００のハードウエア基盤であるコンピュータに直接接続されたものであってもよいし、フィールドワーク支援装置１００に対してインターネット等のネットワークを介して接続された他のコンピュータ装置であってもよい。
【００６１】
図１０に、表示装置１７０に表示される表示画面５００の一例を模式的に示す。この例では、表示画面５００は、モデル画面表示ウインドウ５１０と動画表示ウインドウ５５０とを含む。
【００６２】
モデル画像表示ウインドウ５１０にはモデル画像生成部１６２が生成したモデル画像５１２が表示され、動画表示ウインドウ５５０には動画再生部１６４が再生した動画が表示される。
【００６３】
また、モデル画像表示ウインドウ５１０に表示されるモデル画像５１２には、各メモ情報に対応する注目範囲５１４ａ、５１４ｂ、５１４ｃが表示される。このような表示のために、メモ情報出力部１６６は、各メモ情報の注目範囲の三次元位置や範囲（例えば形状）の情報をモデル画像生成部１６２に渡す。モデル画像生成部１６２は、それらメモ情報の注目範囲をレイアウト情報１２２の三次元モデルに重畳し、指定された視点等のパラメータにしたがってレンダリングする。これにより、モデル画像生成部１６２がレンダリングする範囲内に注目範囲が含まれていると、その注目範囲がレンダリング結果のモデル画像に表示されることになる。
【００６４】
また、モデル画像表示ウインドウ５１０には、メモ表示欄５２０が含まれる。メモ表示欄５２０には、各メモ情報５２２ａ、５２２ｂ、５２２ｃが表示される。表示されるメモ情報５２２ａ等は、当該メモ情報のテキストである。個々のメモ情報５２２ａ等の表示範囲が限られている場合は、その範囲に当該メモ情報の冒頭部分を表示し、その範囲に対してクリック操作などのあらかじめ定めた操作を行うと、当該メモ情報全体を表示するウインドウが開くなどの操作系としてもよい。各メモ情報５２２ａ等は、当該メモ情報の入力された時刻（メモ時刻）の順に並べられる。この例では、メモ表示欄５２０に複数のメモ情報を縦に並べる構成なので、各メモ情報５２０ａは、時系列順に上から下へと配列されている。
【００６５】
メモ情報出力部１６６は、このようなメモ情報５２２ａ等の画像を生成し、表示画面情報生成部１６８に供給する。
【００６６】
メモ表示欄５２０上の各メモ情報５２２ａ等とモデル画像５１２内の各注目範囲５１４ａ等との対応づけには、様々な方法を用いることができる。例えば、対応するメモ情報５２２ａと注目範囲５１４ａ等とを同じ表示形態（例えば同じ色や同じ模様）で表示する方法がある。
【００６７】
また、メモ表示欄５２０内のメモ情報５２２ａ等のいずれかをクリック操作などの操作で選択すると、それに対応するモデル画像５１２内の注目範囲５１４ａ等を強調表示する方法で対応関係を表してもよい。もちろん、この逆に注目範囲を選択するとそれに対応するメモ情報を強調表示するようにしてもよい。
【００６８】
また、モデル画像５１２を、動画表示ウインドウ５５０内に表示される動画と時間的に同期させる方法もある。この方法では、動画の表示時点があるメモ情報のメモ時刻に一致すると（或いはメモ時刻が示す時間幅内にある間）、メモ表示欄５２０内のそのメモ情報と、そのメモ情報に対応するモデル画像５１２内の注目範囲とを強調表示する。図１０の例はこのような動機表示の例であり、メモ情報５２２ｂとこれに対応する注目範囲５１４ｂとが強調表示されている。
【００６９】
なお、モデル画像５１２は対象領域３００の全域をカバーしているとは限らないので、メモレコード群１４４に含まれるすべてのメモ情報の注目範囲がモデル画像５１２内に表示されるとは限らない。一方、メモ表示欄５２０には、モデル画像５１２の視野に含まれない注目範囲に対応するメモ情報も表示してもよい。また、この代わりにモデル画像５１２のカバーする視野の三次元範囲に含まれる注目範囲を持つメモ情報のみを表示してもよい。
【００７０】
メモ情報の数がメモ表示欄５２０内に一覧表示できる数より多い場合は、メモ表示欄５２０をスクロール可能とし、メモ情報群のうちメモ表示欄５２０内に表示する時系列範囲をスクロール操作により選択できるようにしてもよい。また、現在の動画再生位置の時刻の近傍の時刻に入力されたメモ情報がメモ表示欄５２０内に表示されるように制御してもよい。この場合、動画の表示が進むに連れて、メモ表示欄５２０内に表示されるメモ情報の範囲が変化する。
【００７１】
また、図１０の例では、モデル画像表示ウインドウ５１０内に時刻表示のためのスライダーバー５３０が表示されている。スライダーバー５３０の全長が、動画データ１４２全体の時間幅を表す。視聴者が、このスライダーバー５３０上で表示時間帯５３２を指定できるようにしてもよい。この場合、メモ情報出力部１６６は、指定された表示時間帯５３２にメモ時刻が含まれるメモ情報をメモ表示欄５２０内に表示するとともに、それら表示されるメモ情報に対応する注目範囲をモデル画像５１２内に表示させる。また、動画再生部１６４は、指定された表示時間帯５３２の始点から動画データ１４２の再生を開始する。動画の再生位置（再生時点）を示す再生位置インジケータ５３４が、動画の再生が進むにつれてスライダーバー５３０上を左から右へと移動する。再生位置インジケータ５３４をポインティングデバイスなどによりスライダーバー５３０上で移動させることで、動画データの再生位置を視聴者が指定できるようにしてもよい。
【００７２】
また、スライダーバー５３０上に、各メモ情報のメモ時刻を示す線（メモ時刻インジケータ５４０）を表示してもよい。
【００７３】
また、メモ表示欄５２０内のメモ情報５２２ａ等又はモデル画像５１２内の注目範囲５１４ａ等のいずれかをクリック操作などにより選択すると、動画データ１４２の再生位置を、選択されたメモ情報又は注目範囲に対応するメモ時刻へと変更してもよい。
【００７４】
以上では、テキストのメモ情報を表示する場合を例示したが、メモ情報が音声情報である場合、例えばモデル画像５１２上の注目範囲５１４ａ等を視聴者が選択すると、選択された注目範囲に対応するメモ情報をメモ情報出力部１６６が音声出力するようにしてもよい。また、動画データ１４２の再生位置がメモ時刻に達すると、そのメモ時刻に対応するメモ情報の音声を再生するようにしてもよい。
【００７５】
また、表示編集処理部１６０は、上述の表示画面上で、視聴者からの編集操作を受け付ける。例えば、視聴者が入力装置１７２を操作して既存のメモ情報を選択し、それに対してコメントを入力すると、表示編集処理部１６０は、そのコメントがメモ情報に対応づけてフィールドワーク記録記憶部１４０に登録する。また、視聴者が、モデル画像５１２上で新たな注目範囲を範囲指定し、その注目範囲に対応するメモ情報を入力できるようにしてもよい。この場合のメモ時刻は、動画表示ウインドウ５５０に表示されている動画の再生位置とすればよい。表示編集処理部１６０は、このように新たに入力されたメモ情報のメモレコードを作成し、フィールドワーク記録記憶部１４０に登録する。なお、その新たなメモ情報を入力した入力者を特定する情報を、そのメモ情報に対応づけて登録してもよい。
【００７６】
なお、以上の例において、定置カメラ２５０として、レーザーレンジファインダ等の三次元距離計測装置を用いてもよい。この例では、１台の三次元距離計測装置が、上述の実施形態における２台の定置カメラの組と同じ働きをする。死角をなくすため、三次元距離計測装置は異なる複数の箇所に配置する。
【００７７】
次に、変形例を説明する。この変形例では、図１１に示すように対象領域内に位置センサ２６０を設ける。この位置センサ２６０により、例えばメモ端末２００の位置を検出する。例えば、図１２に例示するように、位置センサ２６０として無線ＬＡＮの基地局を対象領域３００内の複数の位置に配置する。この例では、メモ端末２００と各基地局（位置センサ２６０）との間の通信に要する時間に基づき、三角測量の原理でメモ端末２００の位置が特定される。
【００７８】
また、別の例では、ＲＦＩＤ（無線タグ）システムを利用して位置検知を行ってもよい。この場合、位置センサ２６０としてＲＦＩＤリーダを対象領域３００内の複数の位置に配置し、各ＲＦＩＤリーダが対象（例えばメモ端末２００）に装着されたＲＦＩＤタグと通信し、タグとそれら各リーダとの間の通信に要した時間から、三角測量の原理で対象の位置を特定する。
【００７９】
また、このような無線を利用したタグの代わりに、視覚的なタグ（例えば特定の模様を持つ物体）をメモ端末２００に装着し、光学的な位置センサ（例えばレーザーレンジファインダ）によりその視覚的なタグの位置を検出してもよい。
【００８０】
メモ端末２００にメモ情報が入力された時点（メモ時刻）でのメモ端末２００の位置を検知し、メモ情報と対応づけてフィールドワーク記録管理部１３０に提供してもよい。これにより、フィールドワーク記録管理部１３０は、メモ情報に対応する注目範囲を特定する際に、メモ端末２００の位置の情報を撮影位置とする。そして、この既知の撮影位置を基準に、メモ情報に対応する撮影画像と各目印物体の特徴情報とを照合する。上述の実施形態では、撮影画像と目印物体との照合において、撮影位置自体が未知であったが、この例では撮影位置が既知となるため、照合の処理のための計算負荷が上記実施形態の場合よりも小さくなる。
【００８１】
このようにメモ端末２００の位置を検知するだけでなく、フィールドワーク現場にいる人々（すなわち調査者から見た観察対象者）にタグを持たせ、フィールドワーク期間（動画撮影期間）中の各人の位置変化を記録してもよい。各人には、それぞれ異なる識別情報（タグＩＤと呼ぶ）を持つタグを携帯させる。この場合、フィールドワーク支援装置１００は、複数の位置センサ２６０により各人（各タグＩＤ）の時々刻々に位置を検出し、図１３に例示するように時系列位置データ１５４としてタグＩＤ１５２に対応づけてフィールドワーク記録記憶部１４０に記憶する。時系列位置データ１５４には、例えば、時刻毎に、その時刻における当該タグＩＤのタグの位置が記録されている。このような各タグＩＤに対応する時系列位置データ１５４の集まりが、図１１には位置変化データ１５０として示されている。
【００８２】
表示編集処理部１６０は、この位置変化データ１５０を参照して、動画表示ウインドウ５５０に表示されている動画に同期して、モデル画像表示ウインドウ５１０内のモデル画像５１２内に各人の位置を表示してもよい。例えば、対象領域の三次元モデル内の各人の位置に、人間の形状を模した三次元モデルを配置し、これをモデル画像生成部１６２がレンダリングしてもよい。この場合、モデル画像５１２内に表示される各人のモデルの位置が、動画の再生位置が進むに連れて、時系列位置データ１５４に従って変化する。これにより、各メモ情報の対象となった注目範囲と、対象領域３００内の人の位置とが同じモデル画像５１２内に表示されることとなる。
【００８３】
また、空間モデル管理部１１０が、この位置検知の仕組みを用いて各目印物体の位置を検知し、目印物体の位置情報１２５（図５参照）として記録するようにしてもよい。
【００８４】
以上に例示したフィールドワーク支援装置１００及びメモ端末２００は、例えば、汎用のコンピュータに上述の各機能モジュールの処理を表すプログラムを実行させることにより実現される。ここで、コンピュータは、例えば、ハードウエアとして、ＣＰＵ等のマイクロプロセッサ、ランダムアクセスメモリ（ＲＡＭ）およびリードオンリメモリ（ＲＯＭ）等のメモリ（一次記憶）、ＨＤＤ（ハードディスクドライブ）を制御するＨＤＤコントローラ、各種Ｉ／Ｏ（入出力）インタフェース、ローカル・エリア・ネットワークなどのネットワークとの接続のための制御を行うネットワークインタフェース等が、たとえばバスを介して接続された回路構成を有する。また、そのバスに対し、例えばＩ／Ｏインタフェース経由で、ＣＤやＤＶＤなどの可搬型ディスク記録媒体に対する読み取り及び／又は書き込みのためのディスクドライブ、フラッシュメモリなどの各種規格の可搬型の不揮発性記録媒体に対する読み取り及び／又は書き込みのためのメモリリーダライタ、などが接続されてもよい。上に例示した各機能モジュールの処理内容が記述されたプログラムがＣＤやＤＶＤ等の記録媒体を経由して、又はネットワーク等の通信手段経由で、ハードディスクドライブ等の固定記憶装置に保存され、コンピュータにインストールされる。固定記憶装置に記憶されたプログラムがＲＡＭに読み出されＣＰＵ等のマイクロプロセッサにより実行されることにより、上に例示した機能モジュール群が実現される。なお、それら機能モジュール群のうちの一部又は全部を、専用ＬＳＩ(Large Scale Integration)、ＡＳＩＣ（Application Specific Integrated Circuit、特定用途向け集積回路）又はＦＰＧＡ（Field Programmable Gate Array）等のハードウエア回路として構成してもよい。
【００８５】
また、空間モデル管理部１１０、フィールドワーク記録管理部１３０、表示編集処理部１６０などといった各機能モジュールを、それぞれ別のコンピュータ上に実装してもよい。
【符号の説明】
【００８６】
１００ フィールドワーク支援装置、１１０ 空間モデル管理部、１２０ 空間モデル記憶部、１２２ レイアウト情報、１２４ 目印情報、１３０ フィールドワーク記録管理部、１４０ フィールドワーク記録記憶部、１４２ 動画データ、１４４ メモレコード群、１６０ 表示編集処理部。
【技術分野】
【０００１】
本発明は、メモ情報管理システム、メモ情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
現場の状況を調査するフィールドワーク調査では、ビデオカメラや静止画カメラ、音声レコーダーなどといった様々な記録装置を用いて現場の状況を記録し、記録された動画、画像、音声などを用いて分析を行っている。
【０００３】
特許文献１には、入力操作に応じて処理された結果が表示される入出力装置において、表示画面及び操作キーを平面上に投影する投影手段と、平面上に投影された表示画面又は操作キーに対して操作者が行う入力操作を撮影する撮像手段と、撮像手段が撮影した画像を解析して、操作者が行った入力操作を識別する画像識別手段と、識別した入力操作に応じた処理を行い、投影手段を制御して表示画面の表示に処理結果を反映させる処理手段とを設けることが開示されている。
【０００４】
特許文献２に開示されるモデルデータベースは、対象物の三次元ワイヤフレーム情報を記憶しており、移動体抽出部は、ＣＣＤカメラによる映像ソースからブロックマッチング法により移動体領域を抽出する。空間量子化部は、移動体領域の二次元画像とテクスチャマッピングにより生成した推定画像との間の比較計算を行いながら、移動対象物の三次元位置姿勢を推定する。テクスチャマッピング部は、対象物メモリ中のワイヤフレーム情報を基準にし、かつ空間量子化部から出力される位置姿勢情報を用いて、対象物のワイヤフレームへのテクスチャマッピングを実行し、画像推定部は、斯様なテクスチャマッピングを元にして対象物の仮想実画像を生成する。
【０００５】
特許文献３には、バーチャル環境に関するモデリング及び対話のために設けられた装置が開示される。当該環境のイメージ、及びその内部におけるユーザーの存在についての表示は、メモリからのデータに基づいてＣＰＵによって生成され、立体的なディスプレイによってユーザーに提供される。ユーザーは、単一の制御ボタンを有するハンドヘルド・ユニットを装備される。ボタンが押されていないとき、制御装置のユーザーの運動は、モデリングされるアイコン（バーチャル・ハンドのような）によって前記バーチャル環境内において複製され、対話を可能にする。ボタンが作動されているとき、制御装置のユーザーの運動は、その代わりに、ナビゲーション指令に変換され、バーチャル環境におけるユーザーの存在の位置をシフトさせる。
【０００６】
非特許文献１に開示されたＤＯＴＳシステムは、研究目的で実際のオフィス環境に設置された、屋内型、リアルタイム、マルチカメラの監視システムである。多人数の人を追跡する効果的アプローチを組み込み、個々のカメラから得られる結果をマルチカメラの軌跡として一体化している。ＤＯＴＳのユーザインタフェースは、簡単に参照することでユーザーが重要なイベントに注目できるようにしている。また、同一ユーザインタフェースの中の異なる表現により、より簡単なナビゲーションが出来る空間情報も提供される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０００−２９８５４４号公報
【特許文献２】特開平０８−１１４４１６号公報
【特許文献３】特表平１１−５１３１５７号公報
【非特許文献】
【０００８】
【非特許文献１】Andreas Girgensohn他９名、” DOTS: support for effective video surveillance”、[online]、2007年、International Multimedia Conference、 Proceedings of the 15th international conference on Multimedia、 [平成２１年１０月８日検索]、インターネット＜http://portal.acm.org/citation.cfm?doid=1291233.1291332＞
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、対象領域内の一部を撮影した撮影画像に対して入力されたメモ情報について、そのメモ情報の入力対象である注目範囲を特定して記録できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
請求項１に係る発明は、対象領域内の各目印物体の位置情報及び認識用特徴情報を記憶する目印情報記憶手段と、前記対象領域の少なくとも一部を撮影することにより得られた撮影画像を表示する撮影画像表示手段と、メモ情報の入力を受け付けて前記撮影画像表示手段に表示された撮影画像と関連づける入力受付手段と、前記入力受付手段で受け付けたメモ情報に関連づけられた撮影画像と前記目印情報記憶手段に記憶された各目印物体の認識用特徴情報との照合により、当該撮影画像に含まれる１以上の目印物体の画像を特定し、特定した各目印物体の画像の前記撮影画像中での位置と前記目印情報記憶手段に記憶された当該各目印物体の位置情報とに基づき、当該メモ情報に対応する前記対象領域内の注目範囲を特定する注目範囲特定手段と、前記入力受付手段で受け付けたメモ情報を、前記注目範囲特定手段が特定した当該メモ情報に対応する注目範囲を示す注目範囲情報と対応づけて記憶するメモ情報記憶手段と、を備えるメモ情報管理システムである。
【００１１】
請求項２に係る発明は、前記対象領域の三次元形状モデル情報を記憶するモデル記憶手段と、前記モデル記憶手段に記憶された前記対象領域の三次元形状モデル情報に基づき、前記対象領域の二次元画像を生成する領域画像生成手段と、前記領域画像生成手段が生成した二次元画像内に前記メモ情報記憶手段に記憶されたメモ情報に関連づけられた注目範囲が含まれる場合に、当該二次元画像内の当該注目範囲に対応づけて当該メモ情報を出力するメモ情報出力手段と、を備える請求項１に記載のメモ情報管理システムである。
【００１２】
請求項３に係る発明は、前記対象領域の少なくとも一部を撮影することにより前記撮影画像表示手段に表示するための撮影画像を生成するとともに、当該撮影画像中での焦点位置の情報を当該撮影画像と対応づけて出力する撮影手段、を更に備え、前記注目範囲特定手段は、前記メモ情報に関連づけられた撮影画像に対応づけて前記撮影手段から出力された焦点位置を加味して、当該メモ情報に対応する前記注目範囲を特定する、ことを特徴とする請求項１に記載のメモ情報管理システムである。
【００１３】
請求項４に係る発明は、前記対象領域の動画を撮影する動画撮影手段と、前記動画撮影手段が撮影した動画の動画データを記憶する動画記憶手段と、前記動画記憶手段が記憶している動画データに基づき前記対象領域の動画を再生する動画再生手段と、前記領域画像生成手段が生成した前記対象領域の二次元画像と、前記動画再生手段が再生した動画と、を対応づけて表示する動画表示手段と、を更に備え、前記撮影画像表示手段は、前記動画撮影手段が撮影した動画を前記撮影画像として表示し、前記入力受付手段は、前記メモ情報の入力を受け付けた時点で前記撮影画像表示手段が表示していた撮影画像の前記動画データ内での時点を求め、前記メモ情報記憶手段は、前記メモ情報に関連づけられた前記撮影画像の前記動画データ内での時点を、当該メモ情報に対応づけて記憶し、前記メモ情報出力手段は、前記動画表示手段に表示されている画像の前記動画データ内での時点に対応する時点のメモ情報を出力する、ことを特徴とする請求項１に記載のメモ情報管理システムである。
【００１４】
請求項５に係る発明は、対象領域内の各目印物体の位置情報及び認識用特徴情報を記憶する目印情報記憶手段と、メモ入力装置からメモ情報と撮影画像の組を受信する受信手段と、前記受信手段が受信した撮影画像と前記目印情報記憶手段に記憶された各目印物体の認識用特徴情報との照合により、当該撮影画像に含まれる１以上の目印物体の画像を特定し、特定した各目印物体の画像の前記撮影画像中での位置と前記目印情報記憶手段に記憶された当該各目印物体の位置情報とに基づき、当該撮影画像と共に受信したメモ情報に対応する前記対象領域内の注目範囲を特定する注目範囲特定手段と、前記メモ情報を、前記注目範囲特定手段が特定した当該メモ情報に対応する注目範囲を示す注目範囲情報と対応づけて記憶するメモ情報記憶手段と、を備えるメモ情報処理装置である。
【００１５】
請求項６に係る発明は、コンピュータを、対象領域内の各目印物体の位置情報及び認識用特徴情報を記憶する目印情報記憶手段、メモ入力装置からメモ情報と撮影画像の組を受信する受信手段、前記受信手段が受信した撮影画像と前記目印情報記憶手段に記憶された各目印物体の認識用特徴情報との照合により、当該撮影画像に含まれる１以上の目印物体の画像を特定し、特定した各目印物体の画像の前記撮影画像中での位置と前記目印情報記憶手段に記憶された当該各目印物体の位置情報とに基づき、当該撮影画像と共に受信したメモ情報に対応する前記対象領域内の注目範囲を特定する注目範囲特定手段、前記メモ情報を、前記注目範囲特定手段が特定した当該メモ情報に対応する注目範囲を示す注目範囲情報と対応づけて記憶するメモ情報記憶手段、として機能させるためのプログラムである。
【発明の効果】
【００１６】
請求項１，５又は６に係る発明によれば、対象領域内の一部を撮影した撮影画像に対して入力されたメモ情報について、そのメモ情報の入力対象である注目範囲を特定して記録できる。
【００１７】
請求項２に係る発明によれば、メモ情報を、対象領域の三次元モデルの画像内における注目範囲に対応づけて出力することができる。
【００１８】
請求項３に係る発明によれば、メモ情報に対応する注目範囲を、焦点位置の情報を用いない場合によりも高精度に特定することができる。
【００１９】
請求項４に係る発明によれば、対象領域を撮影した動画の再生と同期してメモ情報を出力することができる。
【図面の簡単な説明】
【００２０】
【図１】実施形態のシステム構成の一例を示す図である。
【図２】対象領域に対する定置カメラの配置例を示す図である。
【図３】空間モデル管理部の機能構成の一例を示す図である。
【図４】対象領域内から抽出された目印物体の位置を例示する図である。
【図５】目印情報のデータ構造の一例を示す図である。
【図６】フィールドワーク記録管理部の機能構成の一例を示す図である。
【図７】撮影画像内に含まれる目印物体の例を示す図である。
【図８】メモレコードのデータ構造の一例を示す図である。
【図９】表示編集処理部の機能構成の一例を示す図である。
【図１０】表示画面の例を示す図である。
【図１１】変形例のシステム構成の一例を示す図である。
【図１２】対象領域に対する位置センサの配置例を示す図である。
【図１３】個々の対象の位置変化データのデータ構造の一例を示す図である。
【発明を実施するための形態】
【００２１】
図１を参照して、実施形態のシステムの例を説明する。
【００２２】
図１に例示したシステムは、フィールドワーク支援装置１００、メモ端末２００、複数の定置カメラ２５０を備えている。
【００２３】
このシステムは、例えば、顧客組織の業務改善コンサルタント業務などにおけるフィールドワークを支援するために用いられる。例えば、このようなフィールドワークでは、調査者（例えばコンサルタント）が顧客組織の業務現場に入り、業務現場（例えばオフィス）で実際に行われている業務の進め方を実地に調べる。以下では、調査の対象となる現場の物理的な領域（部屋など）のことを、対象領域と呼ぶ。
【００２４】
このシステムでは、調査者がメモ端末２００を携帯して対象領域を自由な視点から撮影し、撮影した画像に対するメモ情報を調査者が入力する。メモ情報は、例えば、調査者がその画像を撮影しているときに感じた現場の印象や思いついた業務改善案などの情報であり、アノテーション（注釈情報）とも呼ばれる。このようなメモ情報の記録のために、メモ端末２００は、カメラ２１０、表示画面２２０、入力装置２３０及びメモ入力処理部２４０を備える。
【００２５】
カメラ２１０は、撮影した画像のデータを生成し、出力することが可能なデジタルカメラである。カメラ２１０は、静止画カメラであっても、動画カメラであってもよい。表示画面２２０は、例えばカメラ２１０が現在撮影している画像を表示する。入力装置２３０は、調査者がメモ情報の入力のために用いる装置であり、例えばキーボードやキーパッドなどであり、この場合、入力されるメモ情報はテキストデータとなる。また、入力装置２３０は、表示画面２２０上に表示されるソフトウエアキーボードなどであってもよい。また、入力装置２３０は、音声を入力するマイクであってもよく、この場合メモ情報は音声データとなる。調査者は、表示画面２２０に表示されている、カメラ２１０が現在撮影中の画像を見ながら、その画像に写された現場の状況に対するメモ情報を入力装置２３０から入力する。
【００２６】
メモ入力処理部２４０は、入力装置２３０から入力されたメモ情報を、そのメモ情報の対象となった撮影画像、すなわちメモ情報が入力されていたときに表示画面２２０に表示されている、カメラ２１０が撮影中の画像、に対応づける処理を行う。この対応づけ処理では、例えば、撮影画像の静止画像データとメモ情報とを対応づけてメモ端末２００内の記憶装置に保存したり、或いは、撮影画像の静止画像データとメモ情報とを対応づけてフィールドワーク支援装置１００に無線ＬＡＮなどの通信回線経由で送信したりする。撮影画像の静止画像データとメモ情報とを対応づけてメモ端末２００内の記憶装置に保存した場合、それら記憶したデータは、メモ端末２００をフィールドワーク支援装置１００に接続した際に、メモ端末２００からフィールドワーク支援装置１００に転送される。
【００２７】
また、カメラ２１０が動画を撮影するものである場合、入力されたメモ情報の撮影画像への対応づけは、例えば、その動画全体の時間幅の中での、そのメモ情報の入力時点を表す情報を記録することにより行ってもよい。メモ情報の入力時点の情報が記録されていれば、動画データの中からその時点の画像を取り出すことで、そのメモ情報の入力対処となった撮影画像を再現できる。
【００２８】
メモ端末２００は、例えばカメラ付き携帯電話機にメモ入力処理部２４０の処理を行うプログラムをインストールしたものであってもよい。また、ネットブック等の携帯型のコンピュータにデジタルカメラを有線又は無線で接続したものをメモ端末２００として用いてもよい。
【００２９】
調査者は対象領域内を移動しながら、メモ端末２００で、注目すべき箇所を撮影し、メモ情報を入力する。したがって、メモ情報の入力対象となった撮影画像は、対象領域の一部分を捉えたものであることが多い。フィールドワーク後の分析作業の際、メモ情報を、その情報の入力対象であった撮影画像と共に提示することは有益であるが、それだけでは対象領域内のどの場所でそのメモ情報の対象となった出来事が起こったのかが分かりにくい場合がある。
【００３０】
そこで、この実施形態では、メモ情報が、対象領域全体の中のどの場所（での出来事）に対して入力されたのかを表示する。このために、フィールドワーク支援装置１００は、対象領域の三次元モデル等の情報を記憶した空間モデル記憶部１２０を備え、その対象領域の三次元モデル内のどの領域に対してメモ情報が入力されたのかを解析し、表示する。
【００３１】
空間モデル記憶部１２０は、レイアウト情報１２２と目印情報１２４を記憶している。レイアウト情報１２２は、対象領域の三次元モデルを表す情報であり、例えば対象領域内の各物体（例えば机、ホワイトボード、複写機など）の三次元的な位置や形状などの情報を含んでいる。目印情報１２４は、対象領域内での目印となる各物体（目印物体と呼ぶ）の特徴を表す情報である。目印情報は、メモ端末２００が撮影した撮影画像から、メモ情報の対象となった場所（以下、「注目範囲」と呼ぶ）を特定するのに用いられる。
【００３２】
空間モデル管理部１１０は、空間モデル記憶部１２０の記憶情報を管理する。特に空間モデル管理部１１０は、対象領域内に配置された複数の定置カメラ２５０が撮影した画像と、レイアウト情報１２２とを用いて、目印情報１２４を生成する。
【００３３】
定置カメラ２５０は対象領域３００内に固定配置されるカメラである。図２に例示するように、各定置カメラ２５０は、例えば対象領域３００のほぼすべての物体が複数の定置カメラ２５０の視野（撮影範囲）に収められるように、それぞれ適切な場所に配置される。１つの物体を、位置の異なる２以上のカメラで撮影することにより、周知のステレオ法によりその物体の三次元的な位置や形状を求めることができる。定置カメラ２５０は、チルトやパンなどといった視線方向を変える機能や、ズーム機能などを備えていてもよい。各定置カメラ２５０が撮影した画像のデータは、空間モデル管理部１１０に、有線又は無線により送信される。また、定置カメラ２５０は、チルト、パン、ズームの機能を備える場合、撮影した画像のデータを、その画像を撮影したときのチルト角、パン角、ズーム倍率などの情報とともに空間モデル管理部１１０に送信する。或いは、空間モデル管理部１１０が定置カメラ２５０にチルト角、パン角、ズーム倍率を指示し、定置カメラ２５０がその指示に従ってチルト、パン、ズームの制御を行って撮影するようにしてもよい。
【００３４】
空間モデル管理部１１０は、各定置カメラ２５０が配置された位置や視野（視線方向や視野角など）の情報を有している。定置カメラ２５０の視野はチルト、パン、ズームなどにより変化し得るが、空間モデル管理部１１０は、チルト角等の情報から定置カメラ２５０の視野を特定可能である。空間モデル管理部１１０は、各定置カメラ２５０から送られてきた画像に基づき、対象領域内の目印物体を抽出する。
【００３５】
図３に、空間モデル管理部１１０の詳細な機能構成の例を示す。この例では、空間モデル管理部１１０は、データ受信部１１２、目印情報登録部１１４、及び画像特徴抽出部１１６を備える。
【００３６】
データ受信部１１２は、各定置カメラ２５０から、撮影された画像のデータや視野の情報を受信する。目印情報登録部１１４は、それら定置カメラ２５０からの情報を画像特徴抽出部１１６に渡し、対象領域３００内にある各目印物体を抽出させ、それら各目印物体の特徴を求めさせる。ここで、抽出する目印物体は、例えば柱、壁、机、複合機（プリンタ、スキャナ、コピー機等の機能を併せ持つ装置）等の事務機器、ホワイトボードなどといった、比較的大きな物体とする。
【００３７】
抽出のために、画像特徴抽出部１１６は、各定置カメラ２５０の配置位置及び視野の情報と、各定置カメラ２５０から送られてきた画像と、に基づき、公知のステレオ法及び三次元オブジェクト認識のための演算処理を実行する。ここで画像特徴抽出部１１６は、各定置カメラ２５０から送られてきた画像に対してそれぞれ輪郭抽出を行い、抽出された輪郭画像に対してステレオ法及び三次元オブジェクト認識の演算処理を行うようにしてもよい。例えば、画像特徴抽出部１１６は、この結果求められたいくつかの三次元物体のうち、あらかじめ定めたサイズ以上のサイズを持つ物体を目印物体として抽出すればよい。また、抽出の条件として、サイズ以外に、形状についての条件（例えば直方体に近いなど）を課してもよい。
【００３８】
また、画像特徴抽出部１１６は、ステレオ法やオブジェクト認識のために、対象領域３００の三次元モデルであるレイアウト情報１２２を参照してもよい。例えば、各定置カメラ２５０の画像に対するステレオ法による三次元形状認識結果と、レイアウト情報１２２に含まれている各三次元オブジェクトの位置や形状とを比較して、画像から求められたオブジェクトがレイアウト情報１２２中のどのオブジェクトに対応するかを求めるなどである。このような処理により、各目印物体の三次元的な位置及び形状を示す情報が求められる。
【００３９】
また、画像特徴抽出部１１６は、抽出した各目印物体について、その特徴を表す目印物体特徴情報を求める。例えば、当該目印物体の三次元形状（例えば輪郭情報や各頂点の配置関係の情報など）自体も目印物体特徴情報の一種である。また、目印物体の三次元形状についての定量的な性質、例えば幅と奥行きと高さの比や、各面の平行度なども、目印物体特徴情報の一例である。また、目印物体の表面（面が複数ある場合は各面）の色やテクスチャ、空間周波数なども目印物体特徴情報の一例である。目印物体特徴情報は、後述するフィールドワーク記録管理部１３０による、メモ端末２００の撮影画像中からの目印物体の認識のための基礎情報として用いられる。この認識処理は、公知のオブジェクト認識処理により行うことができる。画像特徴抽出部１１６は、上に例示したものも含む公知の三次元オブジェクト特徴のうち、フィールドワーク記録管理部１３０が実行するオブジェクト認識処理で用いられるものを目印物体特徴情報として求めればよい。このような目印物体特徴情報は、公知の方法で求めることができるので、これ以上の説明は省略する。
【００４０】
以上は、画像特徴抽出部１１６が目印物体を自動抽出する例であったが、別の例として、レイアウト情報１２２に含まれる各三次元オブジェクトの中から、ユーザーがあらかじめ目印物体を指定しておいてもよい。この場合、目印物体の位置や形状は既知である。画像特徴抽出部１１６は、それら各目印物体の位置や形状と、各定置カメラ２５０の画像とを突き合わせることで、それら各画像のどの部分がどの目的物体に対応するかを判定し、各目印物体の目印物体特徴情報を生成すればよい。
【００４１】
また、形状や表面の模様が既知の目印物体（例えば球体や立方体などといった既知形状の目印部分を有する置物）を対象領域３００内に複数配置し、各定置カメラ２５０の画像からそれら既知の目印物体を抽出してその位置や特徴情報を求めてもよい。
【００４２】
図４に示す例では、対象領域３００の中から、Ａ〜Ｆの６つの目印物体が抽出されている。
【００４３】
目印情報登録部１１４は、画像特徴抽出部１１６が抽出した各目印物体の三次元的な位置や目印物体特徴情報を、空間モデル記憶部１２０の目印情報１２４に登録する。目印情報１２４は、図５に例示するように、目印物体ごとに、その目印物体の対象領域３００内での三次元的な位置１２５の情報と目印物体特徴情報１２６とを含んでいる。
【００４４】
また、別の例として、各目印物体の各面の色やテクスチャなどの画像特徴を、レイアウト情報１２２におけるそれら各目印物体の三次元モデルに対応づける（貼り付ける）などして、目印物体の画像特徴を目印物体の三次元モデル自体に統合してもよい。
【００４５】
なお、空間モデル管理部１１０は、各定置カメラ２５０の撮影した画像を合成することで、三次元自由視点画像（視点や視線方向を自由に変えられる画像）を生成し、空間モデル記憶部１２０に記憶してもよい。これには、例えば金出武雄による「アイビジョン」の技術を用いればよい。
【００４６】
以上のようにして目印情報１２４が完成すると、この目印情報１２４を用いてフィールドワークでのメモ情報の対象となった注目範囲の特定を行うことができる。すなわち、調査者が前述したメモ端末２００にて現場を撮影しながらメモ情報を入力すると、メモ情報とそのメモ情報の入力対象となった撮影画像とがフィールドワーク記録管理部１３０に入力される。フィールドワーク記録管理部１３０は、その撮影画像に含まれる目印物体を、目印情報１２４を参照して特定し、それら目印物体の撮影画像中での位置から、メモ情報の対象となった注目領域を特定する。
【００４７】
フィールドワーク記録管理部１３０の詳細構成の一例を図６に例示する。この例では、フィールドワーク記録管理部１３０は、データ受信部１３２、照合処理部１３４及び画像特徴抽出部１３６を備える。データ受信部１３２は、メモ端末２００から、メモ情報とそのメモ情報の対象となった撮影画像との情報を受信する。なお、メモ端末２００は、その撮影画像を撮影した時点を示す時刻情報（メモ時刻と呼ぶ）をメモ情報及び撮影画像と共にフィールドワーク記録管理部１３０に送ってもよい。メモ時刻は、年月日時分などといった通常の時刻でもよいし、メモ端末２００が撮影した動画データ中でのその撮影画像の位置（撮影時点）を表すものであってもよい。また、メモ時刻として、厳密な時刻の代わりに、ある長さの時間を記録できるようにしてもよい。この時間の幅は、あらかじめ定めておいてもよいし、調査者がメモ情報を入力した際などに指定してもよい。また、例えばメモ情報の入力開始から終了までの時間を、メモ時刻の情報として記録してもよい。
【００４８】
また、メモ端末２００が動画を撮影する場合、データ受信部１３２は、メモ端末２００から動画データを受信する。受信した動画データは、フィールドワーク記録記憶部１４０に動画データ１４２として記録される。
【００４９】
照合処理部１３４は、メモ情報と対応づけて受信した撮影画像と、目印情報１２４内の各目印物体特徴情報１２６とを照合することで、撮影画像に含まれる目印物体を特定する。このとき、照合処理部１３４は、撮影画像を画像特徴抽出部１３６に渡し、撮影画像内に含まれる各オブジェクトの特徴（例えば輪郭又は頂点など）を抽出させ、その特徴を加味して撮影画像内のオブジェクトと目印情報１２４内の目印物体特徴情報１２６との照合を行ってもよい。なお、空間モデル管理部１１０の画像特徴抽出部１１６の一部の機能を、この画像特徴抽出部１３６として利用してもよい。照合に当たっては、例えば、撮影画像上でのオブジェクトの形状やテクスチャなどといった特徴を、空間モデル記憶部１２０に記憶された各目印物体の目印物体特徴情報１２６とを比較することで、目印物体に該当する画像オブジェクトを検出する。なお、この照合処理は、公知の三次元オブジェクト認識処理（例えば特開２００９−９３６１１号公報で言及された技術）を用いればよいので、これ以上の説明は省略する。
【００５０】
また照合処理部１３４は、上述のようにして撮影画像内に含まれる各目印物体の画像を特定すると、撮影画像中でのそれら各目印物体の位置に基づき、その撮影画像に対応するメモ情報の入力対象である注目範囲を特定する。一つの例では、各目印物体の撮影画像中での位置と、レイアウト情報１２２におけるそれら各目印物体の三次元位置との比較により、その撮影画像上での目印物体の配置が得られるための撮影位置（三次元位置）を特定する。そして、その撮影位置から撮影画像の中心に向かう三次元方向を求め、その方向に沿って撮影位置からカメラ２１０の焦点深さだけ進んだ位置を、注目範囲の中心位置とし、その中心位置に対して所定の範囲（例えばその中心位置を中心点とする所定半径の球体）を注目範囲として特定すればよい。焦点深さの情報は、メモ端末２００から撮影画像と対応づけて送ればよい。これは、調査者は注目する範囲を視野の中心において撮影する可能性が高いとの前提に基づく処理である。
【００５１】
また、別の例として、メモ端末２００のカメラ２１０が、公知の人物認識処理により画像中の人物を認識し、認識した人物に自動的に焦点合わせを行う機能を持つ場合には、次のような処理も可能である。すなわち、この処理では、カメラ２１０から認識した人物の撮影画像中での位置や焦点深さの情報（これらを合わせて焦点位置情報と呼ぶ）をフィールドワーク記録管理部１３０に送る。フィールドワーク記録管理部１３０の照合処理部１３４は、撮影画像中の各目印物体の位置から特定した撮影位置から、焦点位置情報が示す人物の位置の方向に焦点深さだけ進んだ位置を注目範囲の中心位置とし、その中心位置を基準に注目範囲を特定する。業務分析のフィールドワークの場合、注目の対象となるのが人物である場合が多いので、このように注目範囲も人物を中心に定めることが考えられる。
【００５２】
例えば、図７に例示する撮影画像４００中には、目印物体Ａ（ホワイトボード）とＥ（複合機）が写っており、それら物体ＡとＥがそのような位置関係で写る撮影位置はカメラ２１０の光学系のパラメータと対象領域のレイアウト情報１２２から特定される。また、図７の例では、カメラ２１０が画像中から認識した人物の領域のうち、調査者がフォーカス対象として選択した領域が枠４１０により表示されている。この枠４１０の撮影画像４００中での位置、及びそのフォーカス対象に焦点合わせしたときの焦点深さの情報が、カメラ２１０からフィールドワーク記録管理部１３０に提供される。
【００５３】
照合処理部１３４は、このように求めた注目範囲情報を、撮影画像に対応するメモ情報と対応づけて、フィールドワーク記録記憶部１４０に登録する。すなわち、各メモ情報について、図８に例示するようなメモレコードを作成し、フィールドワーク記録管理部１３０に登録する。図８の例では、メモレコードは、メモ情報１４７と、そのメモ情報１４７が入力されたメモ時刻１４５（前述）、及びそのメモ情報１４７に対応する撮影画像から求めた注目範囲情報１４６を含む。注目範囲情報１４６は、例えば対象領域内での注目範囲の三次元的な位置及び形状を示す情報である。１つの例では、注目範囲情報１４６は、注目範囲の中心の三次元位置の情報であってもよい。また、図示は省略したが、メモ情報１４７を入力した入力者（この場合は調査者）を特定する情報をメモレコードに含めてもよい。
【００５４】
以上のようにして、メモ端末２００に入力された各メモ情報が、フィールドワーク記録管理部１３０により当該メモ情報の入力対象である三次元的な注目範囲に対応づけて保存される（メモレコード群１４４）。
【００５５】
表示編集処理部１６０は、フィールドワーク記録記憶部１４０に記憶されたメモレコード群１４４や動画データ１４２を、視聴者（例えばフィールドワーク記録を分析する人又は人々）に提示する。特に表示編集処理部１６０（図１参照）は、そのメモレコード群１４４を参照して、各メモ情報の注目範囲を三次元的に表示する機能を備える。表示編集処理部１６０の詳細な機能構成の例を図９に示す。
【００５６】
図９の例では、表示編集処理部１６０は、モデル画像生成部１６２、動画再生部１６４、メモ情報出力部１６６、表示画面情報生成部１６８を備える。
【００５７】
モデル画像生成部１６２は、空間モデル記憶部１２０に記憶されているレイアウト情報１２２を参照して、対象領域３００を自由な視点から見た場合の二次元画像（以下「モデル画像」と呼ぶ）を生成する。視聴者がポインティングデバイス等の入力装置１７２を操作して視点の位置や視線方向などのパラメータを指定すると、モデル画像生成部１６２は、指定された視点等に従ってレイアウト情報１２２の三次元モデルをレンダリングし、モデル画像を生成する。視点等のパラメータは、モデル画像の表示中でも変更できるようにしてもよい。また、モデル画像生成部１６２は、目印物体などのオブジェクトにテクスチャ等の画像特徴が対応づけられている場合は、その画像特徴もレンダリングするようにしてもよい。
【００５８】
動画再生部１６４は、フィールドワーク記録記憶部１４０に記憶された動画データ１４２を再生する。
【００５９】
メモ情報出力部１６６は、メモレコード群１４４に含まれる各メモ情報を、モデル画像中の当該メモ情報の注目範囲と対応づけて出力する。
【００６０】
表示画面情報生成部１６８は、モデル画像生成部１６２、動画再生部１６４、メモ情報出力部１６６が生成した画像をまとめた表示画面情報を生成する。生成された表示画面情報は、表示装置１７０に表示される。表示装置１７０及びこれに対応する入力装置１７２は、フィールドワーク支援装置１００のハードウエア基盤であるコンピュータに直接接続されたものであってもよいし、フィールドワーク支援装置１００に対してインターネット等のネットワークを介して接続された他のコンピュータ装置であってもよい。
【００６１】
図１０に、表示装置１７０に表示される表示画面５００の一例を模式的に示す。この例では、表示画面５００は、モデル画面表示ウインドウ５１０と動画表示ウインドウ５５０とを含む。
【００６２】
モデル画像表示ウインドウ５１０にはモデル画像生成部１６２が生成したモデル画像５１２が表示され、動画表示ウインドウ５５０には動画再生部１６４が再生した動画が表示される。
【００６３】
また、モデル画像表示ウインドウ５１０に表示されるモデル画像５１２には、各メモ情報に対応する注目範囲５１４ａ、５１４ｂ、５１４ｃが表示される。このような表示のために、メモ情報出力部１６６は、各メモ情報の注目範囲の三次元位置や範囲（例えば形状）の情報をモデル画像生成部１６２に渡す。モデル画像生成部１６２は、それらメモ情報の注目範囲をレイアウト情報１２２の三次元モデルに重畳し、指定された視点等のパラメータにしたがってレンダリングする。これにより、モデル画像生成部１６２がレンダリングする範囲内に注目範囲が含まれていると、その注目範囲がレンダリング結果のモデル画像に表示されることになる。
【００６４】
また、モデル画像表示ウインドウ５１０には、メモ表示欄５２０が含まれる。メモ表示欄５２０には、各メモ情報５２２ａ、５２２ｂ、５２２ｃが表示される。表示されるメモ情報５２２ａ等は、当該メモ情報のテキストである。個々のメモ情報５２２ａ等の表示範囲が限られている場合は、その範囲に当該メモ情報の冒頭部分を表示し、その範囲に対してクリック操作などのあらかじめ定めた操作を行うと、当該メモ情報全体を表示するウインドウが開くなどの操作系としてもよい。各メモ情報５２２ａ等は、当該メモ情報の入力された時刻（メモ時刻）の順に並べられる。この例では、メモ表示欄５２０に複数のメモ情報を縦に並べる構成なので、各メモ情報５２０ａは、時系列順に上から下へと配列されている。
【００６５】
メモ情報出力部１６６は、このようなメモ情報５２２ａ等の画像を生成し、表示画面情報生成部１６８に供給する。
【００６６】
メモ表示欄５２０上の各メモ情報５２２ａ等とモデル画像５１２内の各注目範囲５１４ａ等との対応づけには、様々な方法を用いることができる。例えば、対応するメモ情報５２２ａと注目範囲５１４ａ等とを同じ表示形態（例えば同じ色や同じ模様）で表示する方法がある。
【００６７】
また、メモ表示欄５２０内のメモ情報５２２ａ等のいずれかをクリック操作などの操作で選択すると、それに対応するモデル画像５１２内の注目範囲５１４ａ等を強調表示する方法で対応関係を表してもよい。もちろん、この逆に注目範囲を選択するとそれに対応するメモ情報を強調表示するようにしてもよい。
【００６８】
また、モデル画像５１２を、動画表示ウインドウ５５０内に表示される動画と時間的に同期させる方法もある。この方法では、動画の表示時点があるメモ情報のメモ時刻に一致すると（或いはメモ時刻が示す時間幅内にある間）、メモ表示欄５２０内のそのメモ情報と、そのメモ情報に対応するモデル画像５１２内の注目範囲とを強調表示する。図１０の例はこのような動機表示の例であり、メモ情報５２２ｂとこれに対応する注目範囲５１４ｂとが強調表示されている。
【００６９】
なお、モデル画像５１２は対象領域３００の全域をカバーしているとは限らないので、メモレコード群１４４に含まれるすべてのメモ情報の注目範囲がモデル画像５１２内に表示されるとは限らない。一方、メモ表示欄５２０には、モデル画像５１２の視野に含まれない注目範囲に対応するメモ情報も表示してもよい。また、この代わりにモデル画像５１２のカバーする視野の三次元範囲に含まれる注目範囲を持つメモ情報のみを表示してもよい。
【００７０】
メモ情報の数がメモ表示欄５２０内に一覧表示できる数より多い場合は、メモ表示欄５２０をスクロール可能とし、メモ情報群のうちメモ表示欄５２０内に表示する時系列範囲をスクロール操作により選択できるようにしてもよい。また、現在の動画再生位置の時刻の近傍の時刻に入力されたメモ情報がメモ表示欄５２０内に表示されるように制御してもよい。この場合、動画の表示が進むに連れて、メモ表示欄５２０内に表示されるメモ情報の範囲が変化する。
【００７１】
また、図１０の例では、モデル画像表示ウインドウ５１０内に時刻表示のためのスライダーバー５３０が表示されている。スライダーバー５３０の全長が、動画データ１４２全体の時間幅を表す。視聴者が、このスライダーバー５３０上で表示時間帯５３２を指定できるようにしてもよい。この場合、メモ情報出力部１６６は、指定された表示時間帯５３２にメモ時刻が含まれるメモ情報をメモ表示欄５２０内に表示するとともに、それら表示されるメモ情報に対応する注目範囲をモデル画像５１２内に表示させる。また、動画再生部１６４は、指定された表示時間帯５３２の始点から動画データ１４２の再生を開始する。動画の再生位置（再生時点）を示す再生位置インジケータ５３４が、動画の再生が進むにつれてスライダーバー５３０上を左から右へと移動する。再生位置インジケータ５３４をポインティングデバイスなどによりスライダーバー５３０上で移動させることで、動画データの再生位置を視聴者が指定できるようにしてもよい。
【００７２】
また、スライダーバー５３０上に、各メモ情報のメモ時刻を示す線（メモ時刻インジケータ５４０）を表示してもよい。
【００７３】
また、メモ表示欄５２０内のメモ情報５２２ａ等又はモデル画像５１２内の注目範囲５１４ａ等のいずれかをクリック操作などにより選択すると、動画データ１４２の再生位置を、選択されたメモ情報又は注目範囲に対応するメモ時刻へと変更してもよい。
【００７４】
以上では、テキストのメモ情報を表示する場合を例示したが、メモ情報が音声情報である場合、例えばモデル画像５１２上の注目範囲５１４ａ等を視聴者が選択すると、選択された注目範囲に対応するメモ情報をメモ情報出力部１６６が音声出力するようにしてもよい。また、動画データ１４２の再生位置がメモ時刻に達すると、そのメモ時刻に対応するメモ情報の音声を再生するようにしてもよい。
【００７５】
また、表示編集処理部１６０は、上述の表示画面上で、視聴者からの編集操作を受け付ける。例えば、視聴者が入力装置１７２を操作して既存のメモ情報を選択し、それに対してコメントを入力すると、表示編集処理部１６０は、そのコメントがメモ情報に対応づけてフィールドワーク記録記憶部１４０に登録する。また、視聴者が、モデル画像５１２上で新たな注目範囲を範囲指定し、その注目範囲に対応するメモ情報を入力できるようにしてもよい。この場合のメモ時刻は、動画表示ウインドウ５５０に表示されている動画の再生位置とすればよい。表示編集処理部１６０は、このように新たに入力されたメモ情報のメモレコードを作成し、フィールドワーク記録記憶部１４０に登録する。なお、その新たなメモ情報を入力した入力者を特定する情報を、そのメモ情報に対応づけて登録してもよい。
【００７６】
なお、以上の例において、定置カメラ２５０として、レーザーレンジファインダ等の三次元距離計測装置を用いてもよい。この例では、１台の三次元距離計測装置が、上述の実施形態における２台の定置カメラの組と同じ働きをする。死角をなくすため、三次元距離計測装置は異なる複数の箇所に配置する。
【００７７】
次に、変形例を説明する。この変形例では、図１１に示すように対象領域内に位置センサ２６０を設ける。この位置センサ２６０により、例えばメモ端末２００の位置を検出する。例えば、図１２に例示するように、位置センサ２６０として無線ＬＡＮの基地局を対象領域３００内の複数の位置に配置する。この例では、メモ端末２００と各基地局（位置センサ２６０）との間の通信に要する時間に基づき、三角測量の原理でメモ端末２００の位置が特定される。
【００７８】
また、別の例では、ＲＦＩＤ（無線タグ）システムを利用して位置検知を行ってもよい。この場合、位置センサ２６０としてＲＦＩＤリーダを対象領域３００内の複数の位置に配置し、各ＲＦＩＤリーダが対象（例えばメモ端末２００）に装着されたＲＦＩＤタグと通信し、タグとそれら各リーダとの間の通信に要した時間から、三角測量の原理で対象の位置を特定する。
【００７９】
また、このような無線を利用したタグの代わりに、視覚的なタグ（例えば特定の模様を持つ物体）をメモ端末２００に装着し、光学的な位置センサ（例えばレーザーレンジファインダ）によりその視覚的なタグの位置を検出してもよい。
【００８０】
メモ端末２００にメモ情報が入力された時点（メモ時刻）でのメモ端末２００の位置を検知し、メモ情報と対応づけてフィールドワーク記録管理部１３０に提供してもよい。これにより、フィールドワーク記録管理部１３０は、メモ情報に対応する注目範囲を特定する際に、メモ端末２００の位置の情報を撮影位置とする。そして、この既知の撮影位置を基準に、メモ情報に対応する撮影画像と各目印物体の特徴情報とを照合する。上述の実施形態では、撮影画像と目印物体との照合において、撮影位置自体が未知であったが、この例では撮影位置が既知となるため、照合の処理のための計算負荷が上記実施形態の場合よりも小さくなる。
【００８１】
このようにメモ端末２００の位置を検知するだけでなく、フィールドワーク現場にいる人々（すなわち調査者から見た観察対象者）にタグを持たせ、フィールドワーク期間（動画撮影期間）中の各人の位置変化を記録してもよい。各人には、それぞれ異なる識別情報（タグＩＤと呼ぶ）を持つタグを携帯させる。この場合、フィールドワーク支援装置１００は、複数の位置センサ２６０により各人（各タグＩＤ）の時々刻々に位置を検出し、図１３に例示するように時系列位置データ１５４としてタグＩＤ１５２に対応づけてフィールドワーク記録記憶部１４０に記憶する。時系列位置データ１５４には、例えば、時刻毎に、その時刻における当該タグＩＤのタグの位置が記録されている。このような各タグＩＤに対応する時系列位置データ１５４の集まりが、図１１には位置変化データ１５０として示されている。
【００８２】
表示編集処理部１６０は、この位置変化データ１５０を参照して、動画表示ウインドウ５５０に表示されている動画に同期して、モデル画像表示ウインドウ５１０内のモデル画像５１２内に各人の位置を表示してもよい。例えば、対象領域の三次元モデル内の各人の位置に、人間の形状を模した三次元モデルを配置し、これをモデル画像生成部１６２がレンダリングしてもよい。この場合、モデル画像５１２内に表示される各人のモデルの位置が、動画の再生位置が進むに連れて、時系列位置データ１５４に従って変化する。これにより、各メモ情報の対象となった注目範囲と、対象領域３００内の人の位置とが同じモデル画像５１２内に表示されることとなる。
【００８３】
また、空間モデル管理部１１０が、この位置検知の仕組みを用いて各目印物体の位置を検知し、目印物体の位置情報１２５（図５参照）として記録するようにしてもよい。
【００８４】
以上に例示したフィールドワーク支援装置１００及びメモ端末２００は、例えば、汎用のコンピュータに上述の各機能モジュールの処理を表すプログラムを実行させることにより実現される。ここで、コンピュータは、例えば、ハードウエアとして、ＣＰＵ等のマイクロプロセッサ、ランダムアクセスメモリ（ＲＡＭ）およびリードオンリメモリ（ＲＯＭ）等のメモリ（一次記憶）、ＨＤＤ（ハードディスクドライブ）を制御するＨＤＤコントローラ、各種Ｉ／Ｏ（入出力）インタフェース、ローカル・エリア・ネットワークなどのネットワークとの接続のための制御を行うネットワークインタフェース等が、たとえばバスを介して接続された回路構成を有する。また、そのバスに対し、例えばＩ／Ｏインタフェース経由で、ＣＤやＤＶＤなどの可搬型ディスク記録媒体に対する読み取り及び／又は書き込みのためのディスクドライブ、フラッシュメモリなどの各種規格の可搬型の不揮発性記録媒体に対する読み取り及び／又は書き込みのためのメモリリーダライタ、などが接続されてもよい。上に例示した各機能モジュールの処理内容が記述されたプログラムがＣＤやＤＶＤ等の記録媒体を経由して、又はネットワーク等の通信手段経由で、ハードディスクドライブ等の固定記憶装置に保存され、コンピュータにインストールされる。固定記憶装置に記憶されたプログラムがＲＡＭに読み出されＣＰＵ等のマイクロプロセッサにより実行されることにより、上に例示した機能モジュール群が実現される。なお、それら機能モジュール群のうちの一部又は全部を、専用ＬＳＩ(Large Scale Integration)、ＡＳＩＣ（Application Specific Integrated Circuit、特定用途向け集積回路）又はＦＰＧＡ（Field Programmable Gate Array）等のハードウエア回路として構成してもよい。
【００８５】
また、空間モデル管理部１１０、フィールドワーク記録管理部１３０、表示編集処理部１６０などといった各機能モジュールを、それぞれ別のコンピュータ上に実装してもよい。
【符号の説明】
【００８６】
１００ フィールドワーク支援装置、１１０ 空間モデル管理部、１２０ 空間モデル記憶部、１２２ レイアウト情報、１２４ 目印情報、１３０ フィールドワーク記録管理部、１４０ フィールドワーク記録記憶部、１４２ 動画データ、１４４ メモレコード群、１６０ 表示編集処理部。
【特許請求の範囲】
【請求項１】
対象領域内の各目印物体の位置情報及び認識用特徴情報を記憶する目印情報記憶手段と、
前記対象領域の少なくとも一部を撮影することにより得られた撮影画像を表示する撮影画像表示手段と、
メモ情報の入力を受け付けて前記撮影画像表示手段に表示された撮影画像と関連づける入力受付手段と、
前記入力受付手段で受け付けたメモ情報に関連づけられた撮影画像と前記目印情報記憶手段に記憶された各目印物体の認識用特徴情報との照合により、当該撮影画像に含まれる１以上の目印物体の画像を特定し、特定した各目印物体の画像の前記撮影画像中での位置と前記目印情報記憶手段に記憶された当該各目印物体の位置情報とに基づき、当該メモ情報に対応する前記対象領域内の注目範囲を特定する注目範囲特定手段と、
前記入力受付手段で受け付けたメモ情報を、前記注目範囲特定手段が特定した当該メモ情報に対応する注目範囲を示す注目範囲情報と対応づけて記憶するメモ情報記憶手段と、
を備えるメモ情報管理システム。
【請求項２】
前記対象領域の三次元形状モデル情報を記憶するモデル記憶手段と、
前記モデル記憶手段に記憶された前記対象領域の三次元形状モデル情報に基づき、前記対象領域の二次元画像を生成する領域画像生成手段と、
前記領域画像生成手段が生成した二次元画像内に前記メモ情報記憶手段に記憶されたメモ情報に関連づけられた注目範囲が含まれる場合に、当該二次元画像内の当該注目範囲に対応づけて当該メモ情報を出力するメモ情報出力手段と、
を備える請求項１に記載のメモ情報管理システム。
【請求項３】
前記対象領域の少なくとも一部を撮影することにより前記撮影画像表示手段に表示するための撮影画像を生成するとともに、当該撮影画像中での焦点位置の情報を当該撮影画像と対応づけて出力する撮影手段、を更に備え、
前記注目範囲特定手段は、前記メモ情報に関連づけられた撮影画像に対応づけて前記撮影手段から出力された焦点位置を加味して、当該メモ情報に対応する前記注目範囲を特定する、
ことを特徴とする請求項１に記載のメモ情報管理システム。
【請求項４】
前記対象領域の動画を撮影する動画撮影手段と、
前記動画撮影手段が撮影した動画の動画データを記憶する動画記憶手段と、
前記動画記憶手段が記憶している動画データに基づき前記対象領域の動画を再生する動画再生手段と、
前記領域画像生成手段が生成した前記対象領域の二次元画像と、前記動画再生手段が再生した動画と、を対応づけて表示する動画表示手段と、
を更に備え、
前記撮影画像表示手段は、前記動画撮影手段が撮影した動画を前記撮影画像として表示し、
前記入力受付手段は、前記メモ情報の入力を受け付けた時点で前記撮影画像表示手段が表示していた撮影画像の前記動画データ内での時点を求め、
前記メモ情報記憶手段は、前記メモ情報に関連づけられた前記撮影画像の前記動画データ内での時点を、当該メモ情報に対応づけて記憶し、
前記メモ情報出力手段は、前記動画表示手段に表示されている画像の前記動画データ内での時点に対応する時点のメモ情報を出力する、
ことを特徴とする請求項１に記載のメモ情報管理システム。
【請求項５】
対象領域内の各目印物体の位置情報及び認識用特徴情報を記憶する目印情報記憶手段と、
メモ入力装置からメモ情報と撮影画像の組を受信する受信手段と、
前記受信手段が受信した撮影画像と前記目印情報記憶手段に記憶された各目印物体の認識用特徴情報との照合により、当該撮影画像に含まれる１以上の目印物体の画像を特定し、特定した各目印物体の画像の前記撮影画像中での位置と前記目印情報記憶手段に記憶された当該各目印物体の位置情報とに基づき、当該撮影画像と共に受信したメモ情報に対応する前記対象領域内の注目範囲を特定する注目範囲特定手段と、
前記メモ情報を、前記注目範囲特定手段が特定した当該メモ情報に対応する注目範囲を示す注目範囲情報と対応づけて記憶するメモ情報記憶手段と、
を備えるメモ情報処理装置。
【請求項６】
コンピュータを、
対象領域内の各目印物体の位置情報及び認識用特徴情報を記憶する目印情報記憶手段、
メモ入力装置からメモ情報と撮影画像の組を受信する受信手段、
前記受信手段が受信した撮影画像と前記目印情報記憶手段に記憶された各目印物体の認識用特徴情報との照合により、当該撮影画像に含まれる１以上の目印物体の画像を特定し、特定した各目印物体の画像の前記撮影画像中での位置と前記目印情報記憶手段に記憶された当該各目印物体の位置情報とに基づき、当該撮影画像と共に受信したメモ情報に対応する前記対象領域内の注目範囲を特定する注目範囲特定手段、
前記メモ情報を、前記注目範囲特定手段が特定した当該メモ情報に対応する注目範囲を示す注目範囲情報と対応づけて記憶するメモ情報記憶手段、
として機能させるためのプログラム。
【請求項１】
対象領域内の各目印物体の位置情報及び認識用特徴情報を記憶する目印情報記憶手段と、
前記対象領域の少なくとも一部を撮影することにより得られた撮影画像を表示する撮影画像表示手段と、
メモ情報の入力を受け付けて前記撮影画像表示手段に表示された撮影画像と関連づける入力受付手段と、
前記入力受付手段で受け付けたメモ情報に関連づけられた撮影画像と前記目印情報記憶手段に記憶された各目印物体の認識用特徴情報との照合により、当該撮影画像に含まれる１以上の目印物体の画像を特定し、特定した各目印物体の画像の前記撮影画像中での位置と前記目印情報記憶手段に記憶された当該各目印物体の位置情報とに基づき、当該メモ情報に対応する前記対象領域内の注目範囲を特定する注目範囲特定手段と、
前記入力受付手段で受け付けたメモ情報を、前記注目範囲特定手段が特定した当該メモ情報に対応する注目範囲を示す注目範囲情報と対応づけて記憶するメモ情報記憶手段と、
を備えるメモ情報管理システム。
【請求項２】
前記対象領域の三次元形状モデル情報を記憶するモデル記憶手段と、
前記モデル記憶手段に記憶された前記対象領域の三次元形状モデル情報に基づき、前記対象領域の二次元画像を生成する領域画像生成手段と、
前記領域画像生成手段が生成した二次元画像内に前記メモ情報記憶手段に記憶されたメモ情報に関連づけられた注目範囲が含まれる場合に、当該二次元画像内の当該注目範囲に対応づけて当該メモ情報を出力するメモ情報出力手段と、
を備える請求項１に記載のメモ情報管理システム。
【請求項３】
前記対象領域の少なくとも一部を撮影することにより前記撮影画像表示手段に表示するための撮影画像を生成するとともに、当該撮影画像中での焦点位置の情報を当該撮影画像と対応づけて出力する撮影手段、を更に備え、
前記注目範囲特定手段は、前記メモ情報に関連づけられた撮影画像に対応づけて前記撮影手段から出力された焦点位置を加味して、当該メモ情報に対応する前記注目範囲を特定する、
ことを特徴とする請求項１に記載のメモ情報管理システム。
【請求項４】
前記対象領域の動画を撮影する動画撮影手段と、
前記動画撮影手段が撮影した動画の動画データを記憶する動画記憶手段と、
前記動画記憶手段が記憶している動画データに基づき前記対象領域の動画を再生する動画再生手段と、
前記領域画像生成手段が生成した前記対象領域の二次元画像と、前記動画再生手段が再生した動画と、を対応づけて表示する動画表示手段と、
を更に備え、
前記撮影画像表示手段は、前記動画撮影手段が撮影した動画を前記撮影画像として表示し、
前記入力受付手段は、前記メモ情報の入力を受け付けた時点で前記撮影画像表示手段が表示していた撮影画像の前記動画データ内での時点を求め、
前記メモ情報記憶手段は、前記メモ情報に関連づけられた前記撮影画像の前記動画データ内での時点を、当該メモ情報に対応づけて記憶し、
前記メモ情報出力手段は、前記動画表示手段に表示されている画像の前記動画データ内での時点に対応する時点のメモ情報を出力する、
ことを特徴とする請求項１に記載のメモ情報管理システム。
【請求項５】
対象領域内の各目印物体の位置情報及び認識用特徴情報を記憶する目印情報記憶手段と、
メモ入力装置からメモ情報と撮影画像の組を受信する受信手段と、
前記受信手段が受信した撮影画像と前記目印情報記憶手段に記憶された各目印物体の認識用特徴情報との照合により、当該撮影画像に含まれる１以上の目印物体の画像を特定し、特定した各目印物体の画像の前記撮影画像中での位置と前記目印情報記憶手段に記憶された当該各目印物体の位置情報とに基づき、当該撮影画像と共に受信したメモ情報に対応する前記対象領域内の注目範囲を特定する注目範囲特定手段と、
前記メモ情報を、前記注目範囲特定手段が特定した当該メモ情報に対応する注目範囲を示す注目範囲情報と対応づけて記憶するメモ情報記憶手段と、
を備えるメモ情報処理装置。
【請求項６】
コンピュータを、
対象領域内の各目印物体の位置情報及び認識用特徴情報を記憶する目印情報記憶手段、
メモ入力装置からメモ情報と撮影画像の組を受信する受信手段、
前記受信手段が受信した撮影画像と前記目印情報記憶手段に記憶された各目印物体の認識用特徴情報との照合により、当該撮影画像に含まれる１以上の目印物体の画像を特定し、特定した各目印物体の画像の前記撮影画像中での位置と前記目印情報記憶手段に記憶された当該各目印物体の位置情報とに基づき、当該撮影画像と共に受信したメモ情報に対応する前記対象領域内の注目範囲を特定する注目範囲特定手段、
前記メモ情報を、前記注目範囲特定手段が特定した当該メモ情報に対応する注目範囲を示す注目範囲情報と対応づけて記憶するメモ情報記憶手段、
として機能させるためのプログラム。
【図１】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図２】
【図４】
【図１２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図２】
【図４】
【図１２】
【公開番号】特開２０１１−１０８０８６（Ｐ２０１１−１０８０８６Ａ）
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願番号】特願２００９−２６３８６７（Ｐ２００９−２６３８６７）
【出願日】平成２１年１１月１９日（２００９．１１．１９）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願日】平成２１年１１月１９日（２００９．１１．１９）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]