画像記録システムおよび画像記録方法
【課題】人等がオブジェクト等に対して行うアクションを自動的にタイミングよく画像記録できるシステムを提供する。
【解決手段】画像記録システム10は、RFIDタグ14が付いている各種オブジェクト12と、オブジェクト12を取り扱う人16とを撮影し、撮影により得られた画像を記録する。システム10は、オブジェクト12に設けた、オブジェクト12を識別するためのRFIDタグ14と、人16に装着した、RFIDタグ14を識別して認識する無線機能及びRFIDリーダ機能を有する装着装置18と、装着装置18がRFIDタグ14を認識したときに、オブジェクト12と人16とを撮影する複数個の無線コントロール機能付カメラ20と、カメラ20が撮影した画像および、装着装置18が認識したRFIDタグ14を示す情報を記録する記憶データベース24とを含む。
【解決手段】画像記録システム10は、RFIDタグ14が付いている各種オブジェクト12と、オブジェクト12を取り扱う人16とを撮影し、撮影により得られた画像を記録する。システム10は、オブジェクト12に設けた、オブジェクト12を識別するためのRFIDタグ14と、人16に装着した、RFIDタグ14を識別して認識する無線機能及びRFIDリーダ機能を有する装着装置18と、装着装置18がRFIDタグ14を認識したときに、オブジェクト12と人16とを撮影する複数個の無線コントロール機能付カメラ20と、カメラ20が撮影した画像および、装着装置18が認識したRFIDタグ14を示す情報を記録する記憶データベース24とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人もしくは物体（オブジェクト）が、他の人もしくは物体に対して、もしくはそれ自体に対して行う作用（アクション）を記録する画像記録システムおよび画像記録方法に関するものである。
【背景技術】
【０００２】
人もしくはオブジェクトが、他の人もしくはオブジェクトに対して、もしくはそれ自体に対して行うアクションを記録する装置として、たとえばビデオカメラがある。また人の手足や関節、オブジェクトに発光装置をつけ、人のアクションやオブジェクトの動きを認職する装置として、モーションキャプチャシステムが製品として市販されている。モーションキャプチャシステムを用いて、身体動作を記録する例が特許文献１に開示されている。
【０００３】
さらにハンディ型RFID(Radio Frequency Identification)リーダを人が持ち歩いて、識別コードなどの情報を読み込むたびに無線でセンタに、認識した情報を送信するようなシステムもある。ここで、RFIDとは、電波を利用した認証(認識)技術の総称であり、電波による非接触通信と、ICチップを利用した認証の組み合わせがRFIDでは多い。RFIDでは、タグやラベル状に加工されたアンテナ付ICチップを人もしくはオブジェクトに装着し、そこに記憶された情報をRFIDリーダと呼ばれる装置で読み取ることで、物体認識や個人認証などを行う。RFIDで用いられるRFIDタグは、物体の識別に利用される微小な無線ICチップであり、自身の識別コードなどの情報が記録されており、電波を使って管理システムと情報を送受信する能力をもつ。RFIDで用いられるRFIDタグは、ICチップを使用する場合は、「無線IC」、「ICタグ」、「RFタグ」などと呼ばれる。
【０００４】
【特許文献１】特開２００４−２３０４７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ビデオカメラでアクションを撮影する場合、撮影した画像は、画像のみ、または時間情報付画像であり、だれがどこで何をしていたかは、画像を見ながら人が解釈する必要がある。人が能動的に自分の動作をリアルタイムに声で説明し、ビデオカメラに記録する方法もある。しかし、人の習性上、100%遂行できるものではない。
【０００６】
またモーションキャプチャシステムでは、手足やオブジェクトの正確な動きを、時間とともにその変化量を認識できる。しかし、それは軌跡の記録であり、人やオブジェクトのアクションを認識することはできない。またハンディ型RFIDリーダでは、RFIDタグを認識するのみであり、アクションを行っている手足やオブジェクト、またはアクションの対象を画像として記録することはできない。
【０００７】
本発明はこのような課題に鑑み、人等がオブジェクト等に対して行うアクションを自動的にタイミングよく画像記録できるシステムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は上述の課題を解決するために、対象と、この対象に作用を及ぼす作用体とを撮影し、撮影により得られた画像を記録する画像記録システムにおいて、対象に設けた、対象を識別するための対象識別手段と、作用体に設けた、対象識別手段を認識することにより対象を識別して認識する対象認識手段と、対象認識手段が対象識別手段を認識したときに、対象と作用体とを撮影する画像撮影手段と、画像撮影手段が撮影した画像と、対象認識手段が認識した対象を示す情報とを記録する画像記録手段とを含むことを特徴とする。
【０００９】
これにより、個々の装置が連携して、人等がオブジェクト等に対して行ったアクションを逐次、画像とともに記憶することができる。アクションが行われたタイミングを認識する装置である対象認識手段と、１カ所もしくは複数カ所に設置された画像撮影手段、たとえばカメラが自立的に連携し、人等のオブジェクト等に対するアクションとその画像を記録することができる。これは、人がオブジェクトに対して行ったアクションを、画像とともに、画像に対するインデックスまたはメタ情報(瞬間ごとの解説情報)として記録することができるといってもよい。
【００１０】
さらに、人等の位置を測定することにより人等の位置を追跡しながら記録することもできる。対象認識手段がオブジェクトを、たとえばRFIDタグにより認識した時点で、カメラによりその瞬間のオブジェクトを撮影してカメラ内に一時保存し、並行して人等の測位を行い、測位された位置を撮影できるカメラを決定して、そのカメラから画像を取得することができる。
【００１１】
すなわち、システムは、作用体の位置を測定する位置測定手段と、測定結果に基づいて、作用体を撮影できる画像撮影手段を決定する決定手段とを含むことができる。この決定に基づいて、有効な画像を決定したり、選択したりすることや、画像記録手段が、決定された画像撮影手段が撮影した画像のみを記録することや、決定された画像撮影手段のみに、撮影した画像を画像記録手段に送信させることができる。
【００１２】
また、その記録を順に参照することや、あらかじめ指定したアクションの順番と、実際に行われたアクションの順番とを照らし合わせて、実際に行われたアクションの順番に間違いがあるかどうかを機械的に発見することができる。たとえば、記憶データベースに対して、手順についてパターンマッチング等を行い、記憶されている手順または画像を検索する。
【００１３】
従来は、ビデオカメラで撮影した画像の場合、瞬間ごとの画像と所定の画像との類似性、画像の並び順等を人が比較して、判断を行うが、本発明では機械が、人のオブジェクトに対するアクションを自動的にタイミングよく認知して記録し、さらに必要に応じて検索手段を有する場合は、過去のアクションの順番を機械が検索したり、照らし合わせたりすることができる。
【発明の効果】
【００１４】
本発明によれば、人等がオブジェクト等に対して行うアクションを自動的にタイミングよく画像記録できるシステムを提供できる。
【発明を実施するための最良の形態】
【００１５】
次に添付図面を参照して本発明による画像記録システムの実施例を詳細に説明する。図１を参照すると、本発明による画像記録システム10は、RFIDタグ14が付いている各種オブジェクト12と、オブジェクト12を取り扱う人16とを撮影し、撮影により得られた画像を記録するものである。システム10は、オブジェクト12に設けた、オブジェクト12を識別するためのRFIDタグ14と、人16に装着した、RFIDタグ14を識別して認識する無線機能およびRFIDリーダ機能を有する装着装置18と、装着装置18がRFIDタグ14を認識したときに、オブジェクト12と人16とを撮影する複数個の無線コントロール機能付カメラ20(以下、カメラと呼ぶ)と、カメラ20が撮影した画像および、装着装置18が認識したRFIDタグ14を示す情報を記録する記憶データベース(以下、記憶DBと呼ぶ)24とを含む。
【００１６】
画像記録システム10は、さらに装着装置18と無線通信を行うアクセスポイントAP1〜AP9と、アクセスポイントAP1〜AP9により構成される無線ネットワーク(以下、無線NWと呼ぶ)とサーバ22をつなぐゲートウェイGWと、アクセスポイントAP1〜AP9により受信した装着装置18からの電波を管理するサーバ22を含む。記憶DB 24はサーバ22に接続される。
【００１７】
RFIDタグ14は、図示しないアナログ無線回路と、信号処理回路と、記憶回路を有する。アクセスポイントAP1〜AP9およびカメラ20は、図示しないアナログ無線回路と、信号処理回路と、記憶回路と、電波強度測定回路とを有する。
【００１８】
オブジェクト12としては、資料12a、部品12b、工具12c等がある。資料12a、部品12b、工具12cのそれぞれに、RFIDタグ14a〜14cが取り付けられており、RFIDタグ14a〜14cは、資料12aの１枚１枚、および部品12bや工具12cの１個１個を他と区別するための識別情報を記憶回路に有する。
【００１９】
無線NWは、本実施例では、いわゆるメッシュ型ネットワークである。メッシュ型ネットワークでは、各アクセスポイントAP1〜AP9同士が通信を行い、かつ各アクセスポイントAP1〜AP9がデータを次々と中継し、装着装置18またはカメラ20から最終的にサーバ22へとデータを中継する機能を有する。さらに、各アクセスポイントAP1〜AP9同士が通信を行い、サーバ22から最終的にカメラ20へとデータを中継する機能も有する。
【００２０】
本実施例ではアクセスポイントAP5，AP9が、ゲートウェイGWを介してサーバ22に接続される。メッシュ型ネットワークの一例は、インターネットである。なお、無線NWはスター型無線NWでも良い。スター型無線NWでは、ゲートウェイGWを中心とし、ゲートウェイGWを介して各アクセスポイントを相互に接続する。
【００２１】
無線NWにおいては、アクセスポイントAP1〜AP9の位置を変更すると、自動的に無線NWを構築し直し、孤立する(他のアクセスポイントと一切通信できない状況になる)アクセスポイントがなくなる機能を持つものとする。
【００２２】
アクセスポイントAP1〜AP9およびサーバ22は、人16の位置を測定する位置測定手段も構成する。サーバ22は、測定結果に基づいて、人16を撮影できるカメラ20を決定する。人16の位置の測定は、たとえば次のように行われる。装着装置18がRFIDタグ14を認識して、その識別情報を電波に乗せてアクセスポイントAP1〜AP9に向けて出力したときに、当該電波を３個以上のアクセスポイントAP1〜AP9が受信するように、アクセスポイントAP1〜AP9を配置しておく。アクセスポイントAP1〜AP9は、受信した電波の強度を測定し、サーバ22に強度を送信する。サーバ22は、その情報から３辺測量の原理により、人16の位置を決定する。
【００２３】
サーバ22は、決定された人16の位置に基づいて、人16を撮影できるカメラ20を決定する。そのために、各カメラ20が撮影可能な領域を示すデータを記憶DB 24にあらかじめ記憶しておく。記憶DB 24は、決定されたカメラ20が撮影した画像のみを記録する。記憶DB 24には、この画像に対応させて、装着装置18およびRFIDタグ14を識別するための識別情報が記録される。装着装置18と人16、およびRFIDタグ14とオブジェクト12とはそれぞれ対応しているため、結果として人16およびオブジェクト12を識別するための識別情報が記録される。
【００２４】
装着装置18、カメラ20、アクセスポイントAP、オブジェクト12は任意の数を扱える。アクセスポイントAPとアクセスポイントAPとの間、アクセスポイントAPと装着装置18との間、アクセスポイントAPとカメラ20との間、アクセスポイントAPとゲートウェイGWとの間の通信は無線通信とする。しかし、これらの通信を有線通信としてもよい。
【００２５】
装着装置18は、図示しないアナログ無線回路と、信号処理回路と、記憶回路を有し、RFIDタグ14の識別情報を読み出す機能、およびアクセスポイントAPとの間で送受信を行う機能を持つ。装着装置18は、読み出したRFIDタグ14の識別情報を、装着装置18の近くにあるアクセスポイントAPに向けて送信する。装着装置18は通常、手のひらにつける。用途によっては体、足に装着しても良い。装着装置18が、RFIDタグ14を認識できる距離、すなわち装着装置18とRFIDタグ14との間の無線通信可能距離は本実施例では、人16から遠くにあるオブジェクト12を認識することは好ましくないため、０〜２cm程度が好ましい。
【００２６】
記憶DB 24およびサーバ22の構成を、図２を参照して説明する。図２は記憶DB 24およびサーバ22の構成を示す。記憶DB 24には、カメラ20が撮影した画像を表す画像データが格納されている画像ファイル26と、この画像を撮影した時の情報を表すレコード28が、順次記録されている。１つのレコード28は、１つの画像ファイル26に対応しており、１つのレコード28は、複数のフィールド28a〜28eから構成されている。それぞれのフィールドは、装着装置18が認識したRFIDタグ14の識別情報である認識RFID 28a、認識した日時28b、認識した装着装置18の識別情報である装着装置ID 28c、撮影したカメラの識別情報であるカメラID 28d、対応する画像ファイルを示す画像ファイル名28eである。
【００２７】
図２には、レコード28の一例として、認識RFID 28aが「00231」、日時28bが「2005012021010」、装着装置ID 28cが「231」、カメラID 28dが「c512」、画像ファイル名28eが「00231.jpg」であるものを示す。これらは、装着装置18が認識したRFIDタグ14の識別情報が「00231」、認識した日時28bが「2005年１月20日２時10分10秒」、装着装置18の識別情報が「231」、撮影したカメラの識別情報が「c512」、画像ファイル名28eが「00231.jpg」であることを示す。
【００２８】
記憶DB 24には、さらにカメラ位置情報テーブル34を含む。カメラ位置情報テーブル34には、カメラID 36と、そのカメラ20の撮影範囲38とが対応させて記憶されている。これらの情報は、システム10を起動させる前に、ユーザがカメラ20を固定設置したときに、サーバ22経由で記憶DB 24に登録する。撮影範囲38は、たとえば、撮影可能範囲をしめす２次元座標値である。カメラ位置情報テーブル34は、後述するようにサーバ22に画像を送信させるカメラ20を決定するために使われる。
【００２９】
サーバ22は、既述の機能に加えて、画像を検索するための検索条件を入力する図示しない入力手段と、検索条件に従って、画像を検索する検索手段と、検索結果を出力する図示しない出力手段を含む。入力手段は、たとえばキーボードである。入力手段は、データ通信回線からのデータを送受信する通信手段でもよい。検索手段は、検索条件に従って、記憶DB 24から画像を検索するためのプログラムである画像抽出モジュール30および手順解析モジュール32からなる。出力手段はたとえば、検索結果を表示するモニタ、または検索結果をデータ通信回線を介して出力する通信手段である。
【００３０】
記憶抽出モジュール30は外部からの、たとえば通信回線22aを介した記憶DB 24に記憶されている画像データの検索(記憶問い合わせ)に対して、検索条件に合致する画像および識別情報を、信号線22bを介して記憶DB 24から選択する。選択した画像および識別情報を、通信回線22aを介して問い合わせ元に送り、問い合わせ元では、たとえば画面に表示して、記憶を再生する。記憶抽出モジュール30は、本実施例では、検索条件として時間範囲を指定されて、指定された時間範囲内の画像および識別情報を出力する。なお、画像および識別情報のうち、一方のみを選択および出力してもよい。
【００３１】
たとえば、装着装置18の識別情報が「231」である人16の12時から１時の間の行動(どのオブジェクトを手で握ったか等)を知りたいときは、記憶抽出モジュール30に対して、装着装置18の識別情報として「231」を指定し、時間範囲として12時から１時を指定する。記憶抽出モジュール30は、この条件に合う画像を記憶DB 24から抽出する。表示される画像は例えば、「231」の人が12時3分に部品Aを触り、12時5分にスパナを握り、12時8分に部品Bを握っている画像である。
【００３２】
手順解析モジュール32は、外部からの、たとえば通信回線22cを介した記憶DB 24に記憶されている画像データの検索要求に対して、検索条件に合致する画像を、記憶抽出モジュール30を介して記憶DB 24から選択する。選択した画像を、通信回線22cを介してイベントとして問い合わせ元に送り、問い合わせ元では、たとえば画面に表示する。手順解析モジュール32に入力される検索条件は、時間範囲の指定と、行動パターンである。手順解析モジュール32は、このような検索条件に合致する画像を検索する。すなわちパターンマッチングにより画像を検索する。たとえば、「12時3分に部品Aを触り、12時5分にスパナを握り、12時8分に部品Bを触る」という行動パターンを検索したいときは、検索条件として、「12時3分に部品A、12時5分にスパナ、12時8分に部品B」を入力する。このとき、手順解析モジュール32は、記憶抽出モジュール30に対して、「12時3分から12時8分の画像」を選択させ、選択された画像から、さらに「12時3分に部品Aを認識、12時5分にスパナを認識、12時8分に部品Bを認識」した画像を選択する。
【００３３】
また手順解析モジュール32に、事前に手順(例えば12時3分に部品A、12時5分にスパナ、12時8分に部品B)を登録しておいて、記憶が追加されるごとにパターンマッチングを行い、合致したものがあると、イベントとして出力させることもできる。パターンマッチングのための手順は、用途ごとに異なるので、手順解析モジュール32には複数の手順を登録しておくことができる。
【００３４】
次に、本実施例の動作を説明する。システム10を起動する前に、カメラ20に関する登録を行う。すなわち、カメラ20を固定設置したのち、そのカメラIDとともにそのカメラ20の撮影範囲をサーバ22に登録する。この情報は記憶DB 24のカメラ位置情報テーブル34に格納され、撮影できるカメラ20を決定するために使われる。また装着装置18からの電波の強度が、ある値以上のときカメラ撮影が行われるように、撮影開始の条件となる閾値をカメラ20に登録する。これは、カメラ20の近傍でオブジェクト12が認識されたときにのみ、撮影を行うためである。閾値はサーバ22からの指示により無線NW経由で変更することもできる。
【００３５】
本システム10では、装着装置18がRFIDタグ14を認識したときに発信する電波を使って装着装置18の位置を決定する。測位の方法はどのようなものでもよいが、たとえば次のような方法がある。装着装置18から発信する電波に、装着装置18の識別情報を含めておき、電波を複数のアクセスポイントAPで受信し、電波の強度と識別情報を無線NW経由でサーバ22に集める。その集められた情報を使い、サーバ22が三辺測量を行い、装着装置18の位置を決定する。多くのアクセスポイントAPから電波の強度と識別情報が得られたときは、三辺測量で得られた装着装置18の複数の推定位置の平均値を求めて、位置の測定精度を高める。
【００３６】
本システム10では、装着装置18、アクセスポイントAP、ゲートウェイGW、サーバ22、カメラ20がそれぞれ独立に存在し、かつ、それらが連携しあって動作する。まず画像の蓄積方法について説明した後、それぞれの個別の動作を示す。
【００３７】
装着装置18が、RFIDタグ14を有するオブジェト12を認識した時点で、そのRFIDタグ14の識別情報を装着装置18はアクセスポイントAPに対して送信する。装着装置18が発信する電波には、認識RFID 28a、日時28b、装着装置ID 28cに関する情報が含まれる。
【００３８】
カメラ20は常に、電波が発信されるかどうかを監視しており、装着装置18が発信した電波(後述する「無線１))の強度が、ある値以上のときカメラ撮影が行われる。カメラ20は、撮影により得られた画像データを、カメラ20内に記録しておく。
【００３９】
装着装置18からの無線１は、また複数のアクセスポイントAPで受け取られ、電波に含まれる認識RFID 28a、日時28b、装着装置ID 28cに関する情報が無線NW経由でサーバ22に送られる。複数のアクセスポイントAPの各々は、受信した電波の強度に関する情報もサーバ22に送る。
【００４０】
サーバ22では複数のアクセスポイントAP経由で入手した情報のうち、電波強度と装着装置ID 28cに関する情報により、装着装置18の測位を既述のように行う。サーバ22は、測位後、その装着装置18の位置を撮影可能なカメラ20を、カメラ位置情報テーブル34により選択する。サーバ22は、選択されたカメラ20に対して、当該カメラ20がすでに撮影して記憶している画像を無線NW経由でサーバ22に転送するように、無線NW経由でカメラ20に対して命令を出す。サーバ22は、このようにしてカメラ20から画像データを入手し、認識RFID 28a、日時28b、装着装置ID 28c、カメラID 28d、画像ファイル名28eとともに、記憶DB 24に既述のように記憶させる。これにより、画像データが、人16のオブジェクト12に対するアクションとともに保存されることになる。
【００４１】
ここで、アクションとは、触る、握る等の操作を意味するが、認識RFID 28aと装着装置ID 28cとを組み合わせて記憶することが、アクションの記録と解される。なお、認識RFID 28aに応じて、具体的に、触る、握る等の操作データを記憶DB 24に記録することとしてもよい。そのためには、認識RFID 28aと、触る、握る等の操作との対応を示すテーブルを、あらかじめ記憶DB 24に記憶させておけばよい。
【００４２】
本実施例では、カメラ20はデジタルスチルカメラであるが、無線NWが広帯域伝送が可能であるときは、カメラ20はビデオカメラでもよい。その場合、１つの操作を構成する連続した複数の映像により１つのアクションが表現されていると考えられるため、これらの映像に対応させて、人16のオブジェクト14に対するアクションを識別する情報をインデックスとして記憶する。
【００４３】
次に、本システム10の各構成要素の動作について説明する。最初に装着装置18の動作について説明する。図３は装着装置18の動作フローを示す。装着装置18は、前回と異なる新たなRFIDタグ14を認識すると(ステップS31でYESの場合)、そのRFIDタグ14の識別情報（認識RFID 28a）をアクセスポイントAPに向けて送信する(ステップS32)。以下、この送信により送られる電波を無線１と呼ぶ。送信後、ステップS31に戻る。前回と同じRFIDタグ14を認識した場合は(ステップS31でNOの場合)、送信しないで、ステップS31に戻る。
【００４４】
装着装置18からの無線１を受信するアクセスポイントAPの動作を図４により説明する。図４はアクセスポイントAPの動作フローを示す。アクセスポイントAPは通常、装着装置18、カメラ20、サーバ22からの電波の受信待ち状態で待機している。なおサーバ22からの電波とは、ゲートウェイGW経由の電波を意味する。装着装置18、カメラ20、サーバ22のいずれかからの電波を受信することで処理が起動する。本実施例では、アクセスポイントAPは、装着装置18およびカメラ20からの電波は、他のアクセスポイントAPを介さずに、直接、装着装置18およびカメラ20から受信するものとする。一方、カメラ20への電波は、直接、または他のアクセスポイントAPを介して、カメラ20へ送られる。サーバ22からアクセスポイントAPへの電波またはアクセスポイントAPからサーバ22への電波は、他のアクセスポイントAPを介することもあるし、ゲートウェイGWから直接送受信することもある。転送すべき方向に関する情報は、受信した電波に付加されている。
【００４５】
電波を受信すると、最初に、その電波が、サーバ22からゲートウェイGWおよびアクセスポイントAPを経由してカメラ20へ送られる撮影の指示(以下では指示１(詳細は後述する)と呼ぶ)を含むものであるかどうかを判断する(ステップS41)。指示１である場合(ステップS41でYESの場合)、カメラ20にその指示１を直接、または無線NWにより間接に転送する(ステップS42)。その後、ステップS41に戻る。
【００４６】
指示１を含むものでない場合(ステップS41でNOの場合)は、装着装置18からの電波１またはカメラ20からの電波であるかどうかを判断する(ステップS43)。装着装置18からの電波１またはカメラ20からの電波である場合(ステップS43でYESの場合)、受信した情報を、他のアクセスポイントAPとゲートウェイGWを経由して、またはゲートウェイGWのみを経由してサーバ22に送信する(ステップS44)。装着装置18からの電波１またはカメラ20からの電波でない場合(ステップS43でNOの場合)、ステップS41に戻る。
【００４７】
アクセスポイントAPからの電波を受信するゲートウェイGWは、サーバ22と無線NWの間をつなぐ役目をする。ゲートウェイGWは常に、無線信号または有線信号を受信待ちしている状態である。無線信号または有線信号が届くたびにそれに付加されている情報のすべてをアクセスポイントAPからサーバ22ヘ、もしくはサーバ22からアクセスポイントAPヘ転送する。いずれの方向に転送するかどうかは、次のように決められる。サーバ22からの有線による情報は、無線によりアクセスポイントAPヘ転送する。無線で受信した情報は、転送方向に関する情報が電波に付加されているため、その情報により、アクセスポイントAPへ転送するか、サーバ22へ転送するかを決める。
【００４８】
次に、カメラ20の動作を図５により説明する。図５はカメラ20の動作フローを示す。カメラ20は通常、装着装置18、サーバ22からの電波の受信待ち状態で待機している。装着装置18からの電波とは、装着装置18が、アクセスポイントAPを経由してサーバ22に送る電波を傍受することにより受信するものである。サーバ22からの電波はゲートウェイGWおよびアクセスポイントAPを経由して受信する。装着装置18、サーバ22のいずれかからの電波を受信することで、カメラ20の処理が起動する。
【００４９】
カメラ20は電波を受信すると、最初に、その電波が、装着装置18からの電波であり、かつその電波の強度が閾値以上であるかどうかを判断する(ステップS51)。電波が、装着装置18からの電波であり、かつその電波の強度が閾値以上である場合(ステップS51でYESの場合)、カメラ20は、自動的に撮影動作を行い、受信した電波に含まれている装着装置18の識別情報とともに画像データを一時、保存する(ステップS52)。その後、ステップS53に進む。ステップS51でNOの場合は、撮影を行わずに、ステップS53に進む。
【００５０】
ステップS53ではカメラ20は、受信した電波が、後述する指示１であるかどうかを判断する(ステップS53)。指示１である場合(ステップS53でYESの場合)、カメラ20は、指示１に対応する画像をサーバ22に転送する(ステップS54)。その後、ステップS51に戻る。
【００５１】
指示１には、サーバ22に画像データを転送すべきカメラ20の識別情報と、時刻の指定が含まれており、カメラ20は、指示１が自身に向けられたものであるかどうかを判断することができる。また、指定された時刻に一番近い時刻に撮影された画像データを、指示１に対応する画像データであることを示すデータとともにサーバ22に送る。カメラ20は、撮影してから、ある時間以上過ぎた画像については、記録していた画像を削除する。不要な画像データにより、カメラ20内の記憶装置が一杯になり、必要なデータを蓄積できなくなることを防止するためである。
【００５２】
次に、サーバ22の動作を図６により説明する。図６はサーバ22の動作フローを示す。最初に、カメラ20から、指示１に対する情報(回答)を受けたかどうかを判断する(ステップS61)。回答を受信した場合(ステップS61でYESの場合)、指示１に対応したレコードに回答を格納する(ステップS62)。回答には、画像データ、撮影時刻および撮影したカメラの識別情報が含まれる。その後、指示１が処理されたという記録を行った後、ステップS61に戻る。
【００５３】
回答を受信しない場合(ステップS61でNOの場合)、アクセスポイントAPから、RFIDタグ14を認識したという情報を受信したかどうかを判断する(ステップS63)。受信した場合(ステップS63でYESの場合)、RFIDタグ14の識別情報(ID)と、どのアクセスポイントAPから来たかを示すアクセスポイントAPの識別情報を認識後、記憶DB 24に記録する(ステップS64)。ステップS63でNOの場合、ステップS66に進む。
【００５４】
ステップS64に続いて、そのRFIDタグ14の識別情報が、複数のアクセスポイントAPのうち、最初のアクセスポイントAPが認識した識別情報であるかどうかを判断する(ステップS65)。最初のアクセスポイントAPが認識した識別情報である場合(ステップS65でYESの場合)、ステップS61に進み、受信状態に戻る。初めてでない場合(ステップS65でNOの場合)、最初にその識別情報を受信してからどれくらい時間が経過しているか、および同一のRFIDタグ14の識別情報を、装着装置18から直接、受信したアクセスポイントAPの数が３個以上であるかどうかを判断する(ステップS66)。所定の時間が経過しており、装着装置18から直接、受信したアクセスポイントAPの数が３個以上である場合(ステップS66でYESの場合)は、既述のように測位のための計算を行う(ステップS66)。ステップS66でNOの場合、ステップS61に進み、受信状態に戻る。このような判断を行う理由は、装着装置18の発信した電波１が３つ以上、かつ、できるだけ多くのアクセスポイントAPを経由してサーバ22に集まってくるのを待ち、測位計算の精度を向上させるためである。
【００５５】
測位計算後、計算で求めた位置を撮影可能なカメラ20の識別情報を決定する(ステップS68)。そのカメラ20に対して撮影指示(これを指示１と呼ぶ)を、ゲートウェイGWに向けて送信する(ステップS69)。その後、ステップS61に進み、受信状態に戻る。
【００５６】
次に、このようにして記憶された画像データを利用するときの動作を、図７により説明する。図７は、記憶抽出モジュール30および手順解析モジュール32の動作フローを示す。記憶抽出モジュール30および手順解析モジュールを使うと、記憶のパターンマッチングを行うことができる。まずパターンの順番を登録する。パターンは記憶DB 24に格納されている情報のフィールドの値(認識RFIDタグ14、日時等)を使って表現する。このパターンの順番、その他の検索条件を指定する。この検索条件のうち、時間範囲に関する条件を用いて、記憶抽出モジュール30は画像データを検索する(ステップS71)。検索された画像データに対して手順解析モジュール32はパターンマッチングを行う(ステップS72)。記憶抽出モジュール30は、パターンマッチングの結果を出力する(ステップS73)。
【００５７】
このパターンマッチングは用途によってさまざまに行われるため、それに応じて手順解析モジュールも複数存在する。その一例を次にあげる。「部品Ａに触れた後、工具を握ること」と、条件を設定したときに、もし記憶DBに、部品Ａに触れた後に、別の部品Ｂに触れたというデータがあり、その直後に工具を握ったというデータがあった場合は、マッチングしたと解釈しない手順解析モジュールもあれば、部品Ａに触れた後に、工具を握ることには変わらないのでマッチングしたと解釈する手順解析モジコールもある。
【００５８】
本実施例によれば、次の効果が得られる。従来技術のように、ビデオカメラを使って人の行動を撮影した場合、その映像にメタ情報(瞬間毎の解説情報)はない。その動画の内容は、見る人によって解釈が異なってしまうという問題がある。本実施例では画像記録システムが、人のオブジェクトに対して行うアクションをリアルタイムに能動的にメタ情報として記録する。さらに画像も自動的に付加するので、正確にライフログとして記憶できる。
【００５９】
またこれらの情報が記憶DBに手順として記録されているので、ある人が他人の記憶を検索する用途に利用できる。さらに機械が特定のアクションの順番を探すような用途にも利用できる。これらについて次に詳細を説明する。
【００６０】
本発明を、機械の組立工程でのポカミス防止に適用した例を図８により説明する。図８は、作業者が工場で作業をしている場合に、本発明を適用した例を示す。人の特性上、ポカミスは必ず起きるものである。それを防止するために一日中、人が監視していることはできない。また組立工程をビデオカメラで撮影しても、いつミスを犯したかは、インデックスがあるわけでもないので、ミスが起こったときの画像を探すことは人でも機械でも困難である。
【００６１】
本実施例では、人のアクション、例えば部品１を持った、工具２を持った、部品２を持った等が画像記録システムにより自動的に認識され、画像とともに記録されるため、工具２を持ったと認識した時点で、部品２の標準的な作業画面42を人16の手前のモニタ40に表示してやれば、次の作業を間違えることを予防することができる。図８では、標準的な作業画面42は、ステップ1, 2, 3の３画面からなる。
【００６２】
また標準的な作業を手順として登録しておけば、もしその手順にそって装着装置18からの送信がなければ、手順に間違いがあるとして人の手前のワーニングランプ44を点灯することも可能である。さらには組み立て完成後のチェックで問題が見つかった場合には、監督者がそのミスがあった製品の組み立て風景を記憶DB 24から険索して、手順の一覧を画像で表示でき、それを見ることで、どの時点で誤りが混入したかを簡単に探し出すことができる。また、間違いが起こりやすい工程を見つけることもできる。
【００６３】
本発明を、オフィスでの資産や資料といったオブジェクトの検索に適用した例を図９により説明する。図９は、オフィスにおいて、人16が資産や資料を取り扱うときに、本発明を適用した例を示す。オフィスにおいて、人16が、RFIDタグ14を有する資料12を手に持った段階で、人16に装着された装着装置18が資料12を認識する。カメラ20がそのときに人16と資料12とを撮影する。認識したということと、撮影された画像データはアクセスポイントAP1〜AP3を介して、図示しない記憶DB 24に格納される。認識したということは、人16が資料12を見たとサーバで解釈され、人16が資料12を見た時刻、人16、資料12という情報が対になって画像データとともに記憶DB 24に格納される。またパソコン等を引越しで移動したり、管理担当者が変わって、場所が移動した時に、移動したというアクションが記憶DBに格納される。具体的には、管理担当者に装着された装着装置がパソコン等を認識し、そのときにカメラが撮影する。
【００６４】
その後、例えばある日に、ある資料がみつからない時には、記憶DBに対して最後にその資料を触ったのは誰であるかと質問するだけで回答が得られる。回答を見て、すなわち画像もしくはレコードから、該当する人に直接アクセスして、該当する人の頭の中にある記憶を思い出してもらうような利用法がある。同様に資産管理においても、ある装置がなくなった時に、同様に最後にアクセスした人を探しだすことができる。本実施例によれば、物を探すことが容易になる。
【図面の簡単な説明】
【００６５】
【図１】本発明の一実施例に係わる画像記録システムの構成を示す説明図である。
【図２】本発明の一実施例に係わるサーバおよび記憶データベースの構成を示す説明図である。
【図３】装着装置の動作を示すフローチャートである。
【図４】アクセスポイントの動作を示すフローチャートである。
【図５】カメラの動作を示すフローチャートである。
【図６】サーバの動作を示すフローチャートである。
【図７】記憶抽出モジュールおよび手順解析モジュールの動作を示すフローチャートである。
【図８】本発明を、機械の組立工程でのポカミス防止に適用した例を示す説明図である。
【図９】本発明を、オフィスでのオブジェクトの検索に適用した例を示す説明図である。
【符号の説明】
【００６６】
10 画像記録システム
12 オブジェクト
14 RFIDタグ
16 人
18 装着装置
20 カメラ
22 サーバ
24 記憶データベース
AP1〜AP9 アクセスポイント
GW ゲートウェイ
【技術分野】
【０００１】
本発明は、人もしくは物体（オブジェクト）が、他の人もしくは物体に対して、もしくはそれ自体に対して行う作用（アクション）を記録する画像記録システムおよび画像記録方法に関するものである。
【背景技術】
【０００２】
人もしくはオブジェクトが、他の人もしくはオブジェクトに対して、もしくはそれ自体に対して行うアクションを記録する装置として、たとえばビデオカメラがある。また人の手足や関節、オブジェクトに発光装置をつけ、人のアクションやオブジェクトの動きを認職する装置として、モーションキャプチャシステムが製品として市販されている。モーションキャプチャシステムを用いて、身体動作を記録する例が特許文献１に開示されている。
【０００３】
さらにハンディ型RFID(Radio Frequency Identification)リーダを人が持ち歩いて、識別コードなどの情報を読み込むたびに無線でセンタに、認識した情報を送信するようなシステムもある。ここで、RFIDとは、電波を利用した認証(認識)技術の総称であり、電波による非接触通信と、ICチップを利用した認証の組み合わせがRFIDでは多い。RFIDでは、タグやラベル状に加工されたアンテナ付ICチップを人もしくはオブジェクトに装着し、そこに記憶された情報をRFIDリーダと呼ばれる装置で読み取ることで、物体認識や個人認証などを行う。RFIDで用いられるRFIDタグは、物体の識別に利用される微小な無線ICチップであり、自身の識別コードなどの情報が記録されており、電波を使って管理システムと情報を送受信する能力をもつ。RFIDで用いられるRFIDタグは、ICチップを使用する場合は、「無線IC」、「ICタグ」、「RFタグ」などと呼ばれる。
【０００４】
【特許文献１】特開２００４−２３０４７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ビデオカメラでアクションを撮影する場合、撮影した画像は、画像のみ、または時間情報付画像であり、だれがどこで何をしていたかは、画像を見ながら人が解釈する必要がある。人が能動的に自分の動作をリアルタイムに声で説明し、ビデオカメラに記録する方法もある。しかし、人の習性上、100%遂行できるものではない。
【０００６】
またモーションキャプチャシステムでは、手足やオブジェクトの正確な動きを、時間とともにその変化量を認識できる。しかし、それは軌跡の記録であり、人やオブジェクトのアクションを認識することはできない。またハンディ型RFIDリーダでは、RFIDタグを認識するのみであり、アクションを行っている手足やオブジェクト、またはアクションの対象を画像として記録することはできない。
【０００７】
本発明はこのような課題に鑑み、人等がオブジェクト等に対して行うアクションを自動的にタイミングよく画像記録できるシステムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は上述の課題を解決するために、対象と、この対象に作用を及ぼす作用体とを撮影し、撮影により得られた画像を記録する画像記録システムにおいて、対象に設けた、対象を識別するための対象識別手段と、作用体に設けた、対象識別手段を認識することにより対象を識別して認識する対象認識手段と、対象認識手段が対象識別手段を認識したときに、対象と作用体とを撮影する画像撮影手段と、画像撮影手段が撮影した画像と、対象認識手段が認識した対象を示す情報とを記録する画像記録手段とを含むことを特徴とする。
【０００９】
これにより、個々の装置が連携して、人等がオブジェクト等に対して行ったアクションを逐次、画像とともに記憶することができる。アクションが行われたタイミングを認識する装置である対象認識手段と、１カ所もしくは複数カ所に設置された画像撮影手段、たとえばカメラが自立的に連携し、人等のオブジェクト等に対するアクションとその画像を記録することができる。これは、人がオブジェクトに対して行ったアクションを、画像とともに、画像に対するインデックスまたはメタ情報(瞬間ごとの解説情報)として記録することができるといってもよい。
【００１０】
さらに、人等の位置を測定することにより人等の位置を追跡しながら記録することもできる。対象認識手段がオブジェクトを、たとえばRFIDタグにより認識した時点で、カメラによりその瞬間のオブジェクトを撮影してカメラ内に一時保存し、並行して人等の測位を行い、測位された位置を撮影できるカメラを決定して、そのカメラから画像を取得することができる。
【００１１】
すなわち、システムは、作用体の位置を測定する位置測定手段と、測定結果に基づいて、作用体を撮影できる画像撮影手段を決定する決定手段とを含むことができる。この決定に基づいて、有効な画像を決定したり、選択したりすることや、画像記録手段が、決定された画像撮影手段が撮影した画像のみを記録することや、決定された画像撮影手段のみに、撮影した画像を画像記録手段に送信させることができる。
【００１２】
また、その記録を順に参照することや、あらかじめ指定したアクションの順番と、実際に行われたアクションの順番とを照らし合わせて、実際に行われたアクションの順番に間違いがあるかどうかを機械的に発見することができる。たとえば、記憶データベースに対して、手順についてパターンマッチング等を行い、記憶されている手順または画像を検索する。
【００１３】
従来は、ビデオカメラで撮影した画像の場合、瞬間ごとの画像と所定の画像との類似性、画像の並び順等を人が比較して、判断を行うが、本発明では機械が、人のオブジェクトに対するアクションを自動的にタイミングよく認知して記録し、さらに必要に応じて検索手段を有する場合は、過去のアクションの順番を機械が検索したり、照らし合わせたりすることができる。
【発明の効果】
【００１４】
本発明によれば、人等がオブジェクト等に対して行うアクションを自動的にタイミングよく画像記録できるシステムを提供できる。
【発明を実施するための最良の形態】
【００１５】
次に添付図面を参照して本発明による画像記録システムの実施例を詳細に説明する。図１を参照すると、本発明による画像記録システム10は、RFIDタグ14が付いている各種オブジェクト12と、オブジェクト12を取り扱う人16とを撮影し、撮影により得られた画像を記録するものである。システム10は、オブジェクト12に設けた、オブジェクト12を識別するためのRFIDタグ14と、人16に装着した、RFIDタグ14を識別して認識する無線機能およびRFIDリーダ機能を有する装着装置18と、装着装置18がRFIDタグ14を認識したときに、オブジェクト12と人16とを撮影する複数個の無線コントロール機能付カメラ20(以下、カメラと呼ぶ)と、カメラ20が撮影した画像および、装着装置18が認識したRFIDタグ14を示す情報を記録する記憶データベース(以下、記憶DBと呼ぶ)24とを含む。
【００１６】
画像記録システム10は、さらに装着装置18と無線通信を行うアクセスポイントAP1〜AP9と、アクセスポイントAP1〜AP9により構成される無線ネットワーク(以下、無線NWと呼ぶ)とサーバ22をつなぐゲートウェイGWと、アクセスポイントAP1〜AP9により受信した装着装置18からの電波を管理するサーバ22を含む。記憶DB 24はサーバ22に接続される。
【００１７】
RFIDタグ14は、図示しないアナログ無線回路と、信号処理回路と、記憶回路を有する。アクセスポイントAP1〜AP9およびカメラ20は、図示しないアナログ無線回路と、信号処理回路と、記憶回路と、電波強度測定回路とを有する。
【００１８】
オブジェクト12としては、資料12a、部品12b、工具12c等がある。資料12a、部品12b、工具12cのそれぞれに、RFIDタグ14a〜14cが取り付けられており、RFIDタグ14a〜14cは、資料12aの１枚１枚、および部品12bや工具12cの１個１個を他と区別するための識別情報を記憶回路に有する。
【００１９】
無線NWは、本実施例では、いわゆるメッシュ型ネットワークである。メッシュ型ネットワークでは、各アクセスポイントAP1〜AP9同士が通信を行い、かつ各アクセスポイントAP1〜AP9がデータを次々と中継し、装着装置18またはカメラ20から最終的にサーバ22へとデータを中継する機能を有する。さらに、各アクセスポイントAP1〜AP9同士が通信を行い、サーバ22から最終的にカメラ20へとデータを中継する機能も有する。
【００２０】
本実施例ではアクセスポイントAP5，AP9が、ゲートウェイGWを介してサーバ22に接続される。メッシュ型ネットワークの一例は、インターネットである。なお、無線NWはスター型無線NWでも良い。スター型無線NWでは、ゲートウェイGWを中心とし、ゲートウェイGWを介して各アクセスポイントを相互に接続する。
【００２１】
無線NWにおいては、アクセスポイントAP1〜AP9の位置を変更すると、自動的に無線NWを構築し直し、孤立する(他のアクセスポイントと一切通信できない状況になる)アクセスポイントがなくなる機能を持つものとする。
【００２２】
アクセスポイントAP1〜AP9およびサーバ22は、人16の位置を測定する位置測定手段も構成する。サーバ22は、測定結果に基づいて、人16を撮影できるカメラ20を決定する。人16の位置の測定は、たとえば次のように行われる。装着装置18がRFIDタグ14を認識して、その識別情報を電波に乗せてアクセスポイントAP1〜AP9に向けて出力したときに、当該電波を３個以上のアクセスポイントAP1〜AP9が受信するように、アクセスポイントAP1〜AP9を配置しておく。アクセスポイントAP1〜AP9は、受信した電波の強度を測定し、サーバ22に強度を送信する。サーバ22は、その情報から３辺測量の原理により、人16の位置を決定する。
【００２３】
サーバ22は、決定された人16の位置に基づいて、人16を撮影できるカメラ20を決定する。そのために、各カメラ20が撮影可能な領域を示すデータを記憶DB 24にあらかじめ記憶しておく。記憶DB 24は、決定されたカメラ20が撮影した画像のみを記録する。記憶DB 24には、この画像に対応させて、装着装置18およびRFIDタグ14を識別するための識別情報が記録される。装着装置18と人16、およびRFIDタグ14とオブジェクト12とはそれぞれ対応しているため、結果として人16およびオブジェクト12を識別するための識別情報が記録される。
【００２４】
装着装置18、カメラ20、アクセスポイントAP、オブジェクト12は任意の数を扱える。アクセスポイントAPとアクセスポイントAPとの間、アクセスポイントAPと装着装置18との間、アクセスポイントAPとカメラ20との間、アクセスポイントAPとゲートウェイGWとの間の通信は無線通信とする。しかし、これらの通信を有線通信としてもよい。
【００２５】
装着装置18は、図示しないアナログ無線回路と、信号処理回路と、記憶回路を有し、RFIDタグ14の識別情報を読み出す機能、およびアクセスポイントAPとの間で送受信を行う機能を持つ。装着装置18は、読み出したRFIDタグ14の識別情報を、装着装置18の近くにあるアクセスポイントAPに向けて送信する。装着装置18は通常、手のひらにつける。用途によっては体、足に装着しても良い。装着装置18が、RFIDタグ14を認識できる距離、すなわち装着装置18とRFIDタグ14との間の無線通信可能距離は本実施例では、人16から遠くにあるオブジェクト12を認識することは好ましくないため、０〜２cm程度が好ましい。
【００２６】
記憶DB 24およびサーバ22の構成を、図２を参照して説明する。図２は記憶DB 24およびサーバ22の構成を示す。記憶DB 24には、カメラ20が撮影した画像を表す画像データが格納されている画像ファイル26と、この画像を撮影した時の情報を表すレコード28が、順次記録されている。１つのレコード28は、１つの画像ファイル26に対応しており、１つのレコード28は、複数のフィールド28a〜28eから構成されている。それぞれのフィールドは、装着装置18が認識したRFIDタグ14の識別情報である認識RFID 28a、認識した日時28b、認識した装着装置18の識別情報である装着装置ID 28c、撮影したカメラの識別情報であるカメラID 28d、対応する画像ファイルを示す画像ファイル名28eである。
【００２７】
図２には、レコード28の一例として、認識RFID 28aが「00231」、日時28bが「2005012021010」、装着装置ID 28cが「231」、カメラID 28dが「c512」、画像ファイル名28eが「00231.jpg」であるものを示す。これらは、装着装置18が認識したRFIDタグ14の識別情報が「00231」、認識した日時28bが「2005年１月20日２時10分10秒」、装着装置18の識別情報が「231」、撮影したカメラの識別情報が「c512」、画像ファイル名28eが「00231.jpg」であることを示す。
【００２８】
記憶DB 24には、さらにカメラ位置情報テーブル34を含む。カメラ位置情報テーブル34には、カメラID 36と、そのカメラ20の撮影範囲38とが対応させて記憶されている。これらの情報は、システム10を起動させる前に、ユーザがカメラ20を固定設置したときに、サーバ22経由で記憶DB 24に登録する。撮影範囲38は、たとえば、撮影可能範囲をしめす２次元座標値である。カメラ位置情報テーブル34は、後述するようにサーバ22に画像を送信させるカメラ20を決定するために使われる。
【００２９】
サーバ22は、既述の機能に加えて、画像を検索するための検索条件を入力する図示しない入力手段と、検索条件に従って、画像を検索する検索手段と、検索結果を出力する図示しない出力手段を含む。入力手段は、たとえばキーボードである。入力手段は、データ通信回線からのデータを送受信する通信手段でもよい。検索手段は、検索条件に従って、記憶DB 24から画像を検索するためのプログラムである画像抽出モジュール30および手順解析モジュール32からなる。出力手段はたとえば、検索結果を表示するモニタ、または検索結果をデータ通信回線を介して出力する通信手段である。
【００３０】
記憶抽出モジュール30は外部からの、たとえば通信回線22aを介した記憶DB 24に記憶されている画像データの検索(記憶問い合わせ)に対して、検索条件に合致する画像および識別情報を、信号線22bを介して記憶DB 24から選択する。選択した画像および識別情報を、通信回線22aを介して問い合わせ元に送り、問い合わせ元では、たとえば画面に表示して、記憶を再生する。記憶抽出モジュール30は、本実施例では、検索条件として時間範囲を指定されて、指定された時間範囲内の画像および識別情報を出力する。なお、画像および識別情報のうち、一方のみを選択および出力してもよい。
【００３１】
たとえば、装着装置18の識別情報が「231」である人16の12時から１時の間の行動(どのオブジェクトを手で握ったか等)を知りたいときは、記憶抽出モジュール30に対して、装着装置18の識別情報として「231」を指定し、時間範囲として12時から１時を指定する。記憶抽出モジュール30は、この条件に合う画像を記憶DB 24から抽出する。表示される画像は例えば、「231」の人が12時3分に部品Aを触り、12時5分にスパナを握り、12時8分に部品Bを握っている画像である。
【００３２】
手順解析モジュール32は、外部からの、たとえば通信回線22cを介した記憶DB 24に記憶されている画像データの検索要求に対して、検索条件に合致する画像を、記憶抽出モジュール30を介して記憶DB 24から選択する。選択した画像を、通信回線22cを介してイベントとして問い合わせ元に送り、問い合わせ元では、たとえば画面に表示する。手順解析モジュール32に入力される検索条件は、時間範囲の指定と、行動パターンである。手順解析モジュール32は、このような検索条件に合致する画像を検索する。すなわちパターンマッチングにより画像を検索する。たとえば、「12時3分に部品Aを触り、12時5分にスパナを握り、12時8分に部品Bを触る」という行動パターンを検索したいときは、検索条件として、「12時3分に部品A、12時5分にスパナ、12時8分に部品B」を入力する。このとき、手順解析モジュール32は、記憶抽出モジュール30に対して、「12時3分から12時8分の画像」を選択させ、選択された画像から、さらに「12時3分に部品Aを認識、12時5分にスパナを認識、12時8分に部品Bを認識」した画像を選択する。
【００３３】
また手順解析モジュール32に、事前に手順(例えば12時3分に部品A、12時5分にスパナ、12時8分に部品B)を登録しておいて、記憶が追加されるごとにパターンマッチングを行い、合致したものがあると、イベントとして出力させることもできる。パターンマッチングのための手順は、用途ごとに異なるので、手順解析モジュール32には複数の手順を登録しておくことができる。
【００３４】
次に、本実施例の動作を説明する。システム10を起動する前に、カメラ20に関する登録を行う。すなわち、カメラ20を固定設置したのち、そのカメラIDとともにそのカメラ20の撮影範囲をサーバ22に登録する。この情報は記憶DB 24のカメラ位置情報テーブル34に格納され、撮影できるカメラ20を決定するために使われる。また装着装置18からの電波の強度が、ある値以上のときカメラ撮影が行われるように、撮影開始の条件となる閾値をカメラ20に登録する。これは、カメラ20の近傍でオブジェクト12が認識されたときにのみ、撮影を行うためである。閾値はサーバ22からの指示により無線NW経由で変更することもできる。
【００３５】
本システム10では、装着装置18がRFIDタグ14を認識したときに発信する電波を使って装着装置18の位置を決定する。測位の方法はどのようなものでもよいが、たとえば次のような方法がある。装着装置18から発信する電波に、装着装置18の識別情報を含めておき、電波を複数のアクセスポイントAPで受信し、電波の強度と識別情報を無線NW経由でサーバ22に集める。その集められた情報を使い、サーバ22が三辺測量を行い、装着装置18の位置を決定する。多くのアクセスポイントAPから電波の強度と識別情報が得られたときは、三辺測量で得られた装着装置18の複数の推定位置の平均値を求めて、位置の測定精度を高める。
【００３６】
本システム10では、装着装置18、アクセスポイントAP、ゲートウェイGW、サーバ22、カメラ20がそれぞれ独立に存在し、かつ、それらが連携しあって動作する。まず画像の蓄積方法について説明した後、それぞれの個別の動作を示す。
【００３７】
装着装置18が、RFIDタグ14を有するオブジェト12を認識した時点で、そのRFIDタグ14の識別情報を装着装置18はアクセスポイントAPに対して送信する。装着装置18が発信する電波には、認識RFID 28a、日時28b、装着装置ID 28cに関する情報が含まれる。
【００３８】
カメラ20は常に、電波が発信されるかどうかを監視しており、装着装置18が発信した電波(後述する「無線１))の強度が、ある値以上のときカメラ撮影が行われる。カメラ20は、撮影により得られた画像データを、カメラ20内に記録しておく。
【００３９】
装着装置18からの無線１は、また複数のアクセスポイントAPで受け取られ、電波に含まれる認識RFID 28a、日時28b、装着装置ID 28cに関する情報が無線NW経由でサーバ22に送られる。複数のアクセスポイントAPの各々は、受信した電波の強度に関する情報もサーバ22に送る。
【００４０】
サーバ22では複数のアクセスポイントAP経由で入手した情報のうち、電波強度と装着装置ID 28cに関する情報により、装着装置18の測位を既述のように行う。サーバ22は、測位後、その装着装置18の位置を撮影可能なカメラ20を、カメラ位置情報テーブル34により選択する。サーバ22は、選択されたカメラ20に対して、当該カメラ20がすでに撮影して記憶している画像を無線NW経由でサーバ22に転送するように、無線NW経由でカメラ20に対して命令を出す。サーバ22は、このようにしてカメラ20から画像データを入手し、認識RFID 28a、日時28b、装着装置ID 28c、カメラID 28d、画像ファイル名28eとともに、記憶DB 24に既述のように記憶させる。これにより、画像データが、人16のオブジェクト12に対するアクションとともに保存されることになる。
【００４１】
ここで、アクションとは、触る、握る等の操作を意味するが、認識RFID 28aと装着装置ID 28cとを組み合わせて記憶することが、アクションの記録と解される。なお、認識RFID 28aに応じて、具体的に、触る、握る等の操作データを記憶DB 24に記録することとしてもよい。そのためには、認識RFID 28aと、触る、握る等の操作との対応を示すテーブルを、あらかじめ記憶DB 24に記憶させておけばよい。
【００４２】
本実施例では、カメラ20はデジタルスチルカメラであるが、無線NWが広帯域伝送が可能であるときは、カメラ20はビデオカメラでもよい。その場合、１つの操作を構成する連続した複数の映像により１つのアクションが表現されていると考えられるため、これらの映像に対応させて、人16のオブジェクト14に対するアクションを識別する情報をインデックスとして記憶する。
【００４３】
次に、本システム10の各構成要素の動作について説明する。最初に装着装置18の動作について説明する。図３は装着装置18の動作フローを示す。装着装置18は、前回と異なる新たなRFIDタグ14を認識すると(ステップS31でYESの場合)、そのRFIDタグ14の識別情報（認識RFID 28a）をアクセスポイントAPに向けて送信する(ステップS32)。以下、この送信により送られる電波を無線１と呼ぶ。送信後、ステップS31に戻る。前回と同じRFIDタグ14を認識した場合は(ステップS31でNOの場合)、送信しないで、ステップS31に戻る。
【００４４】
装着装置18からの無線１を受信するアクセスポイントAPの動作を図４により説明する。図４はアクセスポイントAPの動作フローを示す。アクセスポイントAPは通常、装着装置18、カメラ20、サーバ22からの電波の受信待ち状態で待機している。なおサーバ22からの電波とは、ゲートウェイGW経由の電波を意味する。装着装置18、カメラ20、サーバ22のいずれかからの電波を受信することで処理が起動する。本実施例では、アクセスポイントAPは、装着装置18およびカメラ20からの電波は、他のアクセスポイントAPを介さずに、直接、装着装置18およびカメラ20から受信するものとする。一方、カメラ20への電波は、直接、または他のアクセスポイントAPを介して、カメラ20へ送られる。サーバ22からアクセスポイントAPへの電波またはアクセスポイントAPからサーバ22への電波は、他のアクセスポイントAPを介することもあるし、ゲートウェイGWから直接送受信することもある。転送すべき方向に関する情報は、受信した電波に付加されている。
【００４５】
電波を受信すると、最初に、その電波が、サーバ22からゲートウェイGWおよびアクセスポイントAPを経由してカメラ20へ送られる撮影の指示(以下では指示１(詳細は後述する)と呼ぶ)を含むものであるかどうかを判断する(ステップS41)。指示１である場合(ステップS41でYESの場合)、カメラ20にその指示１を直接、または無線NWにより間接に転送する(ステップS42)。その後、ステップS41に戻る。
【００４６】
指示１を含むものでない場合(ステップS41でNOの場合)は、装着装置18からの電波１またはカメラ20からの電波であるかどうかを判断する(ステップS43)。装着装置18からの電波１またはカメラ20からの電波である場合(ステップS43でYESの場合)、受信した情報を、他のアクセスポイントAPとゲートウェイGWを経由して、またはゲートウェイGWのみを経由してサーバ22に送信する(ステップS44)。装着装置18からの電波１またはカメラ20からの電波でない場合(ステップS43でNOの場合)、ステップS41に戻る。
【００４７】
アクセスポイントAPからの電波を受信するゲートウェイGWは、サーバ22と無線NWの間をつなぐ役目をする。ゲートウェイGWは常に、無線信号または有線信号を受信待ちしている状態である。無線信号または有線信号が届くたびにそれに付加されている情報のすべてをアクセスポイントAPからサーバ22ヘ、もしくはサーバ22からアクセスポイントAPヘ転送する。いずれの方向に転送するかどうかは、次のように決められる。サーバ22からの有線による情報は、無線によりアクセスポイントAPヘ転送する。無線で受信した情報は、転送方向に関する情報が電波に付加されているため、その情報により、アクセスポイントAPへ転送するか、サーバ22へ転送するかを決める。
【００４８】
次に、カメラ20の動作を図５により説明する。図５はカメラ20の動作フローを示す。カメラ20は通常、装着装置18、サーバ22からの電波の受信待ち状態で待機している。装着装置18からの電波とは、装着装置18が、アクセスポイントAPを経由してサーバ22に送る電波を傍受することにより受信するものである。サーバ22からの電波はゲートウェイGWおよびアクセスポイントAPを経由して受信する。装着装置18、サーバ22のいずれかからの電波を受信することで、カメラ20の処理が起動する。
【００４９】
カメラ20は電波を受信すると、最初に、その電波が、装着装置18からの電波であり、かつその電波の強度が閾値以上であるかどうかを判断する(ステップS51)。電波が、装着装置18からの電波であり、かつその電波の強度が閾値以上である場合(ステップS51でYESの場合)、カメラ20は、自動的に撮影動作を行い、受信した電波に含まれている装着装置18の識別情報とともに画像データを一時、保存する(ステップS52)。その後、ステップS53に進む。ステップS51でNOの場合は、撮影を行わずに、ステップS53に進む。
【００５０】
ステップS53ではカメラ20は、受信した電波が、後述する指示１であるかどうかを判断する(ステップS53)。指示１である場合(ステップS53でYESの場合)、カメラ20は、指示１に対応する画像をサーバ22に転送する(ステップS54)。その後、ステップS51に戻る。
【００５１】
指示１には、サーバ22に画像データを転送すべきカメラ20の識別情報と、時刻の指定が含まれており、カメラ20は、指示１が自身に向けられたものであるかどうかを判断することができる。また、指定された時刻に一番近い時刻に撮影された画像データを、指示１に対応する画像データであることを示すデータとともにサーバ22に送る。カメラ20は、撮影してから、ある時間以上過ぎた画像については、記録していた画像を削除する。不要な画像データにより、カメラ20内の記憶装置が一杯になり、必要なデータを蓄積できなくなることを防止するためである。
【００５２】
次に、サーバ22の動作を図６により説明する。図６はサーバ22の動作フローを示す。最初に、カメラ20から、指示１に対する情報(回答)を受けたかどうかを判断する(ステップS61)。回答を受信した場合(ステップS61でYESの場合)、指示１に対応したレコードに回答を格納する(ステップS62)。回答には、画像データ、撮影時刻および撮影したカメラの識別情報が含まれる。その後、指示１が処理されたという記録を行った後、ステップS61に戻る。
【００５３】
回答を受信しない場合(ステップS61でNOの場合)、アクセスポイントAPから、RFIDタグ14を認識したという情報を受信したかどうかを判断する(ステップS63)。受信した場合(ステップS63でYESの場合)、RFIDタグ14の識別情報(ID)と、どのアクセスポイントAPから来たかを示すアクセスポイントAPの識別情報を認識後、記憶DB 24に記録する(ステップS64)。ステップS63でNOの場合、ステップS66に進む。
【００５４】
ステップS64に続いて、そのRFIDタグ14の識別情報が、複数のアクセスポイントAPのうち、最初のアクセスポイントAPが認識した識別情報であるかどうかを判断する(ステップS65)。最初のアクセスポイントAPが認識した識別情報である場合(ステップS65でYESの場合)、ステップS61に進み、受信状態に戻る。初めてでない場合(ステップS65でNOの場合)、最初にその識別情報を受信してからどれくらい時間が経過しているか、および同一のRFIDタグ14の識別情報を、装着装置18から直接、受信したアクセスポイントAPの数が３個以上であるかどうかを判断する(ステップS66)。所定の時間が経過しており、装着装置18から直接、受信したアクセスポイントAPの数が３個以上である場合(ステップS66でYESの場合)は、既述のように測位のための計算を行う(ステップS66)。ステップS66でNOの場合、ステップS61に進み、受信状態に戻る。このような判断を行う理由は、装着装置18の発信した電波１が３つ以上、かつ、できるだけ多くのアクセスポイントAPを経由してサーバ22に集まってくるのを待ち、測位計算の精度を向上させるためである。
【００５５】
測位計算後、計算で求めた位置を撮影可能なカメラ20の識別情報を決定する(ステップS68)。そのカメラ20に対して撮影指示(これを指示１と呼ぶ)を、ゲートウェイGWに向けて送信する(ステップS69)。その後、ステップS61に進み、受信状態に戻る。
【００５６】
次に、このようにして記憶された画像データを利用するときの動作を、図７により説明する。図７は、記憶抽出モジュール30および手順解析モジュール32の動作フローを示す。記憶抽出モジュール30および手順解析モジュールを使うと、記憶のパターンマッチングを行うことができる。まずパターンの順番を登録する。パターンは記憶DB 24に格納されている情報のフィールドの値(認識RFIDタグ14、日時等)を使って表現する。このパターンの順番、その他の検索条件を指定する。この検索条件のうち、時間範囲に関する条件を用いて、記憶抽出モジュール30は画像データを検索する(ステップS71)。検索された画像データに対して手順解析モジュール32はパターンマッチングを行う(ステップS72)。記憶抽出モジュール30は、パターンマッチングの結果を出力する(ステップS73)。
【００５７】
このパターンマッチングは用途によってさまざまに行われるため、それに応じて手順解析モジュールも複数存在する。その一例を次にあげる。「部品Ａに触れた後、工具を握ること」と、条件を設定したときに、もし記憶DBに、部品Ａに触れた後に、別の部品Ｂに触れたというデータがあり、その直後に工具を握ったというデータがあった場合は、マッチングしたと解釈しない手順解析モジュールもあれば、部品Ａに触れた後に、工具を握ることには変わらないのでマッチングしたと解釈する手順解析モジコールもある。
【００５８】
本実施例によれば、次の効果が得られる。従来技術のように、ビデオカメラを使って人の行動を撮影した場合、その映像にメタ情報(瞬間毎の解説情報)はない。その動画の内容は、見る人によって解釈が異なってしまうという問題がある。本実施例では画像記録システムが、人のオブジェクトに対して行うアクションをリアルタイムに能動的にメタ情報として記録する。さらに画像も自動的に付加するので、正確にライフログとして記憶できる。
【００５９】
またこれらの情報が記憶DBに手順として記録されているので、ある人が他人の記憶を検索する用途に利用できる。さらに機械が特定のアクションの順番を探すような用途にも利用できる。これらについて次に詳細を説明する。
【００６０】
本発明を、機械の組立工程でのポカミス防止に適用した例を図８により説明する。図８は、作業者が工場で作業をしている場合に、本発明を適用した例を示す。人の特性上、ポカミスは必ず起きるものである。それを防止するために一日中、人が監視していることはできない。また組立工程をビデオカメラで撮影しても、いつミスを犯したかは、インデックスがあるわけでもないので、ミスが起こったときの画像を探すことは人でも機械でも困難である。
【００６１】
本実施例では、人のアクション、例えば部品１を持った、工具２を持った、部品２を持った等が画像記録システムにより自動的に認識され、画像とともに記録されるため、工具２を持ったと認識した時点で、部品２の標準的な作業画面42を人16の手前のモニタ40に表示してやれば、次の作業を間違えることを予防することができる。図８では、標準的な作業画面42は、ステップ1, 2, 3の３画面からなる。
【００６２】
また標準的な作業を手順として登録しておけば、もしその手順にそって装着装置18からの送信がなければ、手順に間違いがあるとして人の手前のワーニングランプ44を点灯することも可能である。さらには組み立て完成後のチェックで問題が見つかった場合には、監督者がそのミスがあった製品の組み立て風景を記憶DB 24から険索して、手順の一覧を画像で表示でき、それを見ることで、どの時点で誤りが混入したかを簡単に探し出すことができる。また、間違いが起こりやすい工程を見つけることもできる。
【００６３】
本発明を、オフィスでの資産や資料といったオブジェクトの検索に適用した例を図９により説明する。図９は、オフィスにおいて、人16が資産や資料を取り扱うときに、本発明を適用した例を示す。オフィスにおいて、人16が、RFIDタグ14を有する資料12を手に持った段階で、人16に装着された装着装置18が資料12を認識する。カメラ20がそのときに人16と資料12とを撮影する。認識したということと、撮影された画像データはアクセスポイントAP1〜AP3を介して、図示しない記憶DB 24に格納される。認識したということは、人16が資料12を見たとサーバで解釈され、人16が資料12を見た時刻、人16、資料12という情報が対になって画像データとともに記憶DB 24に格納される。またパソコン等を引越しで移動したり、管理担当者が変わって、場所が移動した時に、移動したというアクションが記憶DBに格納される。具体的には、管理担当者に装着された装着装置がパソコン等を認識し、そのときにカメラが撮影する。
【００６４】
その後、例えばある日に、ある資料がみつからない時には、記憶DBに対して最後にその資料を触ったのは誰であるかと質問するだけで回答が得られる。回答を見て、すなわち画像もしくはレコードから、該当する人に直接アクセスして、該当する人の頭の中にある記憶を思い出してもらうような利用法がある。同様に資産管理においても、ある装置がなくなった時に、同様に最後にアクセスした人を探しだすことができる。本実施例によれば、物を探すことが容易になる。
【図面の簡単な説明】
【００６５】
【図１】本発明の一実施例に係わる画像記録システムの構成を示す説明図である。
【図２】本発明の一実施例に係わるサーバおよび記憶データベースの構成を示す説明図である。
【図３】装着装置の動作を示すフローチャートである。
【図４】アクセスポイントの動作を示すフローチャートである。
【図５】カメラの動作を示すフローチャートである。
【図６】サーバの動作を示すフローチャートである。
【図７】記憶抽出モジュールおよび手順解析モジュールの動作を示すフローチャートである。
【図８】本発明を、機械の組立工程でのポカミス防止に適用した例を示す説明図である。
【図９】本発明を、オフィスでのオブジェクトの検索に適用した例を示す説明図である。
【符号の説明】
【００６６】
10 画像記録システム
12 オブジェクト
14 RFIDタグ
16 人
18 装着装置
20 カメラ
22 サーバ
24 記憶データベース
AP1〜AP9 アクセスポイント
GW ゲートウェイ
【特許請求の範囲】
【請求項１】
対象と、該対象に作用を及ぼす作用体とを撮影し、該撮影により得られた画像を記録する画像記録システムにおいて、該システムは、
前記対象に設けた、該対象を識別するための対象識別手段と、
前記作用体に設けた、該対象識別手段を認識することにより該対象を識別して認識する対象認識手段と、
該対象認識手段が該対象識別手段を認識したときに、前記対象と前記作用体とを撮影する画像撮影手段と、
該画像撮影手段が撮影した画像と、前記対象認識手段が認識した対象を示す情報とを記録する画像記録手段とを含むことを特徴とする画像記録システム。
【請求項２】
請求項１に記載の画像記録システムにおいて、
前記画像撮影手段を複数設け、
該システムは、前記作用体の位置を測定する位置測定手段と、該測定結果に基づいて、該作用体を撮影できる前記画像撮影手段を決定する決定手段とを含むことを特徴とする画像記録システム。
【請求項３】
請求項２に記載の画像記録システムにおいて、前記画像記録手段は、前記決定された画像撮影手段が撮影した画像を記録することを特徴とする画像記録システム。
【請求項４】
請求項１から３までのいずれかに記載の画像記録システムにおいて、該システムは、前記画像記録手段に記録された前記情報を検索するための検索条件を入力する入力手段と、該検索条件に従って、該情報を検索する検索手段とを含むことを特徴とする画像記録システム。
【請求項５】
請求項１から４までのいずれかに記載の画像記録システムにおいて、前記対象識別手段は、前記対象を識別するための情報が記録されたRFID(Radio Frequency Identification)タグであり、前記対象認識手段は、該RFIDタグから該情報を読み出すRFIDリーダであることを特徴とする画像記録システム。
【請求項６】
対象と、該対象に作用を及ぼす作用体とを撮影し、該撮影により得られた画像を記録する画像記録方法において、該方法は、
前記対象に設けた、該対象を識別するための対象識別手段を認識することにより対象を識別して認識する工程と、
該対象識別手段を認識したときに、前記対象と前記作用体とを画像撮影手段により撮影する工程と、
該画像撮影手段が撮影した画像と、前記認識された対象を示す情報とを記録する工程とを含むことを特徴とする画像記録方法。
【請求項７】
請求項６に記載の画像記録方法において、該方法は、
前記画像撮影手段を複数設ける工程と、前記作用体の位置を測定する工程と、該測定結果に基づいて、該作用体を撮影できる前記画像撮影手段を決定する工程とを含むことを特徴とする画像記録方法。
【請求項８】
請求項６または７に記載の画像記録方法において、該方法は、前記記録する工程において記録された前記情報を検索するための検索条件を入力する工程と、該検索条件に従って、該情報を検索する工程とを含むことを特徴とする画像記録方法。
【請求項１】
対象と、該対象に作用を及ぼす作用体とを撮影し、該撮影により得られた画像を記録する画像記録システムにおいて、該システムは、
前記対象に設けた、該対象を識別するための対象識別手段と、
前記作用体に設けた、該対象識別手段を認識することにより該対象を識別して認識する対象認識手段と、
該対象認識手段が該対象識別手段を認識したときに、前記対象と前記作用体とを撮影する画像撮影手段と、
該画像撮影手段が撮影した画像と、前記対象認識手段が認識した対象を示す情報とを記録する画像記録手段とを含むことを特徴とする画像記録システム。
【請求項２】
請求項１に記載の画像記録システムにおいて、
前記画像撮影手段を複数設け、
該システムは、前記作用体の位置を測定する位置測定手段と、該測定結果に基づいて、該作用体を撮影できる前記画像撮影手段を決定する決定手段とを含むことを特徴とする画像記録システム。
【請求項３】
請求項２に記載の画像記録システムにおいて、前記画像記録手段は、前記決定された画像撮影手段が撮影した画像を記録することを特徴とする画像記録システム。
【請求項４】
請求項１から３までのいずれかに記載の画像記録システムにおいて、該システムは、前記画像記録手段に記録された前記情報を検索するための検索条件を入力する入力手段と、該検索条件に従って、該情報を検索する検索手段とを含むことを特徴とする画像記録システム。
【請求項５】
請求項１から４までのいずれかに記載の画像記録システムにおいて、前記対象識別手段は、前記対象を識別するための情報が記録されたRFID(Radio Frequency Identification)タグであり、前記対象認識手段は、該RFIDタグから該情報を読み出すRFIDリーダであることを特徴とする画像記録システム。
【請求項６】
対象と、該対象に作用を及ぼす作用体とを撮影し、該撮影により得られた画像を記録する画像記録方法において、該方法は、
前記対象に設けた、該対象を識別するための対象識別手段を認識することにより対象を識別して認識する工程と、
該対象識別手段を認識したときに、前記対象と前記作用体とを画像撮影手段により撮影する工程と、
該画像撮影手段が撮影した画像と、前記認識された対象を示す情報とを記録する工程とを含むことを特徴とする画像記録方法。
【請求項７】
請求項６に記載の画像記録方法において、該方法は、
前記画像撮影手段を複数設ける工程と、前記作用体の位置を測定する工程と、該測定結果に基づいて、該作用体を撮影できる前記画像撮影手段を決定する工程とを含むことを特徴とする画像記録方法。
【請求項８】
請求項６または７に記載の画像記録方法において、該方法は、前記記録する工程において記録された前記情報を検索するための検索条件を入力する工程と、該検索条件に従って、該情報を検索する工程とを含むことを特徴とする画像記録方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００７−７４６５７（Ｐ２００７−７４６５７Ａ）
【公開日】平成１９年３月２２日（２００７．３．２２）
【国際特許分類】
【出願番号】特願２００５−２６２３２１（Ｐ２００５−２６２３２１）
【出願日】平成１７年９月９日（２００５．９．９）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
【公開日】平成１９年３月２２日（２００７．３．２２）
【国際特許分類】
【出願日】平成１７年９月９日（２００５．９．９）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
[ Back to top ]