説明

カード情報管理装置、情報管理方法、情報管理プログラム

【課題】実空間にあるカードの位置やカード上の記載情報を変動に追従して記憶する。
【解決手段】撮影したカードの画像データに基づきカードのボード上における位置を示す位置情報およびカードの記載情報であるカード情報を取得するカード検出モジュール102と、カードそれぞれに対応した固有IDとカード情報を対応付けて記憶するデータ蓄積モジュール105と、ボード上におけるカードの配置状態および記載情報における変動があった場合にカード情報の更新を行う入出力モジュール107を備えた。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、手書き媒体に係る情報を管理するカード情報管理装置に関し、特に、自己内に記憶した手書き媒体に係る情報と実空間上にある手書き媒体の情報との同期を行うカード情報管理装置に関する。
【背景技術】
【0002】
プロジェクトの進捗状況を話し合う会議などの場面で、プロジェクトの参加メンバがプロジェクトの進捗状況や個々のメンバが持っているアイディアを付箋やカードに書込み、これら付箋やカードをボード上に配置し、これにより、メンバがリアルタイムに進捗状況やアイディアを共有しブレーンストーミングを行う手法が知られている。
【0003】
具体的には、図3に示すように、参加メンバがそれぞれ何枚かのカードにプロジェクトの進捗状況などを書き込み、プロジェクト参加メンバ全員が目視できるような場所に掲示する。
【0004】
また、プロジェクトの経過に沿って、N枚のカードの掲示位置を変える。更に、プロジェクトの経過に伴って、当初のN枚のカードのうちのいくつかのカードは撤去されたり、当初のN枚のカード以外のカードを新たに追加掲示されたりして掲示する。
【0005】
尚、図3に示した例では、カードの撤去、追加はないが、ある時刻tからある時刻t’への時間の経過に伴い、N枚のカードの位置が変わり、プロジェクトの状況に変化があったことを示している。
【0006】
このように、カードの移動、撤去、追加をプロジェクトの進行、話し合いの内容に伴って行うことにより、プロジェクトの参加メンバ全員が、プロジェクトの進捗状況を正確に把握することが可能となり、更には、プロジェクトに関わる計画やアイディアの変遷などを目視で把握することが可能となる。
【0007】
尚、上述のN枚のカードは、プロジェクトに参加するメンバ全員が目視により、N枚のそれぞれのカードの判別、ならびに、カードの内容の把握が可能である。これにより、カード判別用のIDを付与する必要もなく、プロジェクトに参加するメンバは、それぞれのカードに記載された情報を読み取ることで状況を把握することが可能となる。
【0008】
一方、上述のように、時刻tからt’への時間に推移に伴う状況の変化を保存しておくことや、定期的に、進捗状況を保管する必要もある。例えば、定期的に全カードが映るようにカメラで撮影し、画像を蓄積してそれぞれのカードの位置情報やカード情報を保管する方法がある。
【0009】
ところで、カードの位置情報やカード情報の利用価値が増大させるため配置されたカードの位置情報やカードの記載情報をコンピュータに記憶し、これらの情報を編集あるいは分析可能な形で管理するシステムが利用されている。これにより、例えば、日報、週報へ作成や、プロジェクト分析などを容易に行うことが可能になる。
【0010】
図5は、カードの位置情報やカード情報をコンピュータに登録しておく際の登録情報の一例であって、カードのID、カード位置情報、そしてカード情報で構成される。
また、図4に示すように、それぞれのカードに対するカード画像データそのものを登録情報としてもよいが、図5の場合には、カードの画像データではなく、カードに書かれた情報をテキスト化したものである。テキスト化にあたっては、通常、オペレータが介在し、カードに記載の情報を読み取って、コンピュータに入力する。
ここでは、それぞれのカードの掲示位置情報についてもオペレータが入力するものとする。
【0011】
ここで、この作業を実行するための装置(コンピュータ装置)の構成例を図6に示す。この構成例では、カードデータを入力する、あるいは登録状況を出力する入出力モジュール204、カード位置情報やカード情報を登録する登録モジュール201、カード位置情報やカード情報を記憶するデータ蓄積モジュール202、登録済みのカード情報を検索、編集するための検索モジュール203、これらのモジュールの動作を制御する制御モジュール205を有する。
【0012】
ここで、実空間のカードの位置情報やカード情報(カードに記載された情報)の変化を、コンピュータ装置に入力し、コンピュータ装置内のプロジェクト管理情報を実空間のカードの位置情報やカード情報の変化に応じて更新することを、実空間のカード情報とコンピュータ内のプロジェクト管理情報とを同期すると呼ぶ。
【0013】
実空間のカードとコンピュータに入力された情報との関連づけには、IDコードを使用する。このIDコードは、実空間の各カードに対応した固有な情報として生成され、そのIDコードと関連づけて、各カードの位置情報および記載情報からなるカード情報がコンピュータ内で記憶管理される。尚、IDコードは、データの入力順に対応した単純な通し番号であってもよい。
【0014】
これに対する関連技術として、人手によるカード情報を同期する作業を自動化するために、カード自身にコンピュータが読み取れるコードを印字しておく手法が開示されている(特許文献1、2)。また、カードのIDコードとして、カード上に予め印字されたバーコードを利用する、また、カード上に記載された文字をOCRで読み取りこれを利用する手法が開示されている(特許文献3)。
【先行技術文献】
【特許文献】
【0015】
【特許文献1】特開2009−109114公報
【特許文献2】特開2002−351603公報
【特許文献3】特開平11−120279公報
【発明の概要】
【発明が解決しようとする課題】
【0016】
しかしながら、上記特許文献1、2に開示された関連技術の内容では、実空間で移動、削除、追加されているカードの自動判別ができないため、図6で例示するように、プロジェクト管理をしているカード情報をコンピュータに入力して管理する際に、実時間で同期が取ることができないという不都合があり、また、データを入力する人がカードの位置変化や消滅(削除)、新規貼付などを認識している必要があり、見逃しなどの人的ミスが生じる不都合がある。
【0017】
また、上記特許文献3の関連技術では、例えば、図11のようなバーコードや、図12のようなOCRで読み取れる文字などがあった場合、カードの特定が可能となる反面、それぞれのカードに対して、ユニークなコードを予め印字する必要があるため、コードが印字された特定のカードしか利用できないという不都合がある。
【0018】
更に、上記特許文献3の関連技術では、カードとしてポストイットなどの付箋を使う場合、各付箋に予めコードを印刷しておく必要があるため、利用可能な付箋やカードなどが限定されてしまう。また、コードの印字のための領域を確保する必要があり、結果的に、自由に記入できるカード上の領域が制約されてしまう不都合がある。
【0019】
また、上記特許文献3では、例えばコードが印字済みの複数のカードデッキを使う場合、カードのコードが重複してしまう場合が生じ得る。この場合には、同期時にどちらか一方の情報が他方に書き換えられてしまい、その結果、管理対象であるカード情報が失われてしまうといった不都合がある。
【0020】
[発明の目的]
本発明は、上記関連技術の有する不都合を改善し、実空間に配置されたカードの位置およびその記載情報を含むカード情報をカードの配置変化や記載内容の変動に応じて追跡管理するカード情報管理装置、情報管理方法、および情報管理プログラムを提供することを、その目的とする。
【課題を解決するための手段】
【0021】
上記目的を達成するために、本発明に係るカード情報管理装置は、ボード上に配置されたカードを撮影し前記カードの画像データを生成する撮像部と、前記画像データに基づき前記カードを検出すると共に、当該カードの前記ボード上における位置を示す位置情報と前記カードの記載内容である記載情報を取得するカード検出部と、前記記載情報に基づき前記カードそれぞれに対応した固有IDを生成する固有ID生成部と、前記カードの位置情報、記載情報、および固有IDを対応付けてカード特定情報として記憶する特定情報管理部とを備え、前記特定情報管理部は、前記撮像部から取得した異なる画像データそれぞれにおける前記カードを前記カード特定情報に基づき特定すると共に、前記ボード上におけるカードの配置状態および前記カードの記載情報に係る変動をカード状態変動として検知するカード状態変動検知手段と、前記変動が検知された場合に前記カードの位置情報および記載情報を取得すると共にこれに基づき前記カード特定情報の更新を行う管理情報更新手段とを備えたことを特徴としている。
【0022】
また、本発明にかかる情報管理方法は、ボード上に配置されたカードに係る情報を示すカード特定情報を取得するカード情報管理装置にあって、前記カードの状態に応じて前記カード特定情報を管理する情報管理方法であって、ボード上に配置されたカードを撮影し前記カードの画像データを生成し、前記画像データに基づき前記カードの前記ボード上における位置を示す位置情報と前記カードの記載内容である記載情報を取得し、前記記載情報に基づき前記カードそれぞれに対応した固有IDを生成し、前記カードの位置情報、記載情報、および固有IDを対応付けてカード特定情報として記憶し、前記撮像部から取得した異なる画像データに基づき前記ボード上におけるカードの配置状態および前記カードの記載情報に係る変動をカード状態変動として検知し、前記変動が検知された場合に前記カードの位置情報および記載情報を取得すると共にこれに基づき前記カード特定情報の更新を行う構成とし、これらの各動作手順を前記カード情報管理装置が実行することを特徴としている。
【0023】
又、本発明にかかる情報管理プログラムは、ボード上に配置されたカードに係る情報を示すカード特定情報を取得するカード情報管理装置にあって、前記カードの状態に応じて前記カード特定情報を管理するための情報管理プログラムであって、ボード上に配置されたカードを撮影し前記カードの画像データを生成する撮像機能と、前記画像データに基づき前記カードの前記ボード上における位置を示す位置情報と前記カードの記載内容である記載情報を取得するカード検出機能と、前記記載情報に基づき前記カードそれぞれに対応した固有IDを生成する固有ID生成機能と、前記カードの位置情報、記載情報、および固有IDを対応付けてカード特定情報として記憶する特定情報管理機能と、前記撮像部から取得した異なる画像データに基づき前記ボード上におけるカードの配置状態および前記カードの記載情報に係る変動をカード状態変動として検知するカード状態変動検知機能と、前記変動が検知された場合に前記カードの位置情報および記載情報を取得すると共にこれに基づき前記カード特定情報の更新を行う管理情報更新機能と、を前記カード情報管理装置のコンピュータに実現させることを特徴としている。
【発明の効果】
【0024】
本発明は、以上のように構成され機能するので、これによると、撮影したカードの画像データに基づきカードのボード上における位置を示す位置情報およびカードの記載情報であるカード情報を取得する手段と、カードそれぞれに対応した固有IDとカード情報を対応付けて記憶する手段と、ボード上におけるカードの配置状態および記載情報における変動があった場合にカード情報の更新を行う手段を備えた構成とすることにより、実空間に配置されたカードの位置およびその記載情報を記載改変、配置変化に応じて追跡管理し得るカード情報管理装置、情報管理方法、および情報管理プログラムを提供することができる。
【図面の簡単な説明】
【0025】
【図1】本実施形態に係るカード情報管理装置の一実施形態を示すブロック図である。
【図2】図1に開示したカード情報管理装置で登録されるカードに係る情報を含むテーブル情報の一例を示す説明図である。
【図3】図1に開示したカード情報管理装置における撮影対象であるカードの時刻tおよびt’それぞれの実空間における所在位置関係を示す説明図である。
【図4】図1に開示したカード情報管理装置における各カードに対応した登録内容の一例を示す説明図である。
【図5】図1に開示したカード情報管理装置におけるカードに係る情報の登録内容であるテーブル情報の一例を示す説明図である。
【図6】関連技術としてのカード情報管理装置の位置実施形態を示す概略ブロック図である。
【図7】本実施形態にかかるカード情報管理装置における全体的な動作処理ステップを示すフローチャートである。
【図8】本実施形態にかかるカード情報管理装置におけるカード情報の登録処理の動作ステップを示すフローチャートである。
【図9】本実施形態にかかるカード情報管理装置におけるカード情報の更新処理の動作ステップを示すフローチャートである。
【図10】本実施形態にかかるカード情報管理装置の一実施形態を示すブロック図である。
【図11】本実施形態にかかるカード情報管理装置における撮影対象であるカードの記載内容の一例を示す説明図である。
【図12】本実施形態にかかるカード情報管理装置の撮影対象であるカード上に記載された文字情報一例を示す説明図である。
【図13】本実施形態にかかるカード情報管理装置の撮影対象であるカード上の記載内容である手書き文字の一例を示す説明図である。
【発明を実施するための形態】
【0026】
[実施形態1]
次に、本発明の実施形態1について、その基本的構成内容を説明する。
【0027】
本実施形態1としてのカード情報管理装置1は、図1に示すように、ボード上に配置された異なる複数カードの配置を撮影し画像データ(カード画像)を生成する撮像モジュール101と、撮像モジュール101で生成された画像データからカードを検出すると共に、各カードそれぞれの位置を特定し、更に、各カードに記載(記入)された画像データとして抽出するカード検出モジュール102と、カード検出モジュール102で検出された各カードの画像データに基づきカードそれぞれに対応した固有のIDを生成するカードID生成モジュール103と、カード検出モジュール102で検出した各カードの画像データから文字認識によりカード文字情報を検出し、該カード文字情報をカードID生成モジュールで生成した該カード固有のID、カード検出モジュールで検出された該カードの位置情報、およびカードの画像データ併せて登録する登録モジュール104と、各カードに対しカード固有のID、カードの位置情報、カードの記載情報をひとまとめにして記録するデータ蓄積モジュール105を備えた構成を有する。
【0028】
また、カード情報管理装置1は、データ蓄積モジュール105に格納されたカードに係る情報の書き出し及び読み出しを行う入出力モジュール107と、上記動作モジュールそれぞれの動作制御を行う制御モジュール108を備えている。
【0029】
尚、上記カード情報管理装置1は、マウス、キーボードなどの入力部、CPU(処理部)、HDDなどの記憶部、ディスプレイなどの出力部を有し、プログラム制御によりデジタルデータの処理を行う一般的なコンピュータであって、上記撮影モジュール101として、ボード上に配置されたカード(実空間に配置されたカード)を撮影してカラーのデジタル画像データを生成するカラーカメラを備えているものとする。
【0030】
撮像モジュール101は、撮像したカードの画像データ(カード画像)をカード検出モジュール102に対して転送する。
【0031】
カード検出モジュール102は、現時点におけるボード上のカードの配置状態を示す現場カード画像を取得する。
また、カード検出モジュール102は、カード画像に基づき、カード画像中のカードが新規プロジェクトに係るものであるか、すでに開始している、つまり、カード情報管理装置100内に記憶されたカード情報に係るプロジェクトのものであるかを判別する。
【0032】
新規プロジェクトである場合、カード検出モジュール102は、検出されたカードは全て新しいカード(新規カード)として判別される。
新規プロジェクトの場合には、カード検出モジュール102で検出されたカードの画像に基づきデータ蓄積モジュール内105に蓄積したデータを検索した場合、どのIDとも一致しないこととなる。
【0033】
更に、カード検出モジュール102が既存のプロジェクトと判定した場合には、ボード上に配置された全カードが入れ替わった場合を除いて、少なくとも1個のカードのIDが検索ヒットする。
【0034】
また、カード検出モジュール102は、カード画像中のカードに入れ替えられたカードが含まれるか否か、また、検出されたカードのうちの何れのカードが入れ替えられたか、を判定する。
【0035】
また、カード検出モジュール102は、ボード上に配置された全てのカードが入れ替えられたと判定した場合には、検出されたカード情報は新規プロジェクトであると判断する。
【0036】
カードID生成モジュール103は、上述のように、前記カード検出モジュール102で検出した複数のカードのそれぞれの画像から、それぞれのカードに固有なID(IDコード)を生成する。
【0037】
カードID生成モジュール103は、カード検出モジュール102で検出されたカード情報は新規プロジェクトであると判断された場合に、各カードに対応したIDを新たに生成する。
また、カードID生成モジュール103は、カラー撮影可能なカラーカメラを利用している場合にはカード画像中におけるカードの色情報が検知可能であるため、カードの色情報をコード化し、カードIDを生成するものとする。
【0038】
以上の構成により、撮像モジュール101でカードを撮像し画像データに変換し、カード検出モジュール102で個々のカード画像を生成し、カード画像中のカードにIDが予め記載されていない(つまり、IDが検知できない)場合には、カードID生成モジュール103がカードIDを生成することが可能となる。
【0039】
登録モジュール104は、前記カード検出モジュール102で検出したそれぞれのカードの画像から文字認識によりカードに記載された情報(記載情報)を取得し、この記載情報を、カード固有のID情報、カードの位置情報、およびカードの画像とを対応付けて登録する登録処理機能を備えている。これにより、登録モジュール104は検出された各カードをデータ蓄積モジュール105に対して新規登録処理を行う。
【0040】
図2に、上記登録処理機能により登録される情報の一例を示す。ここでは、登録モジュール104は、1枚のカードに対応して、カードの位置情報、カードの画像データ、画像データから抽出した特徴を示すカード記載情報(カード情報)、修正フラグ、作成更新日時を関連付け登録する。
【0041】
登録モジュール104は、生成されたカードIDに基づきカード画像から各カードを特定し、そのカードのID、およびカードの位置情報を登録する。
登録モジュール104は、カードに記載された文字画像を、OCRを用いて文字コードに変換し、これをカード記載情報として、カードID、および位置情報に関連付けて記憶する。
【0042】
尚、登録モジュール104のOCRがカード情報を完全に読み取れない場合には、入出力モジュール107がカード情報の修正または追加を行う。
この修正を行った場合には、カードの移動時に再度OCR結果の修正を行わないように、修正したことを示す修正フラグを設定する(無修正の0(ゼロ)から1に変更する)。各カードの登録作業が終了した時点で、その登録終了日時をその他の情報と共に記録しておくものとする。
【0043】
また、登録モジュール104は、データ蓄積モジュール105内にカード画像内のカードと同一のIDが見つからない場合には、カード1枚分の情報(図2)をデータ蓄積モジュール105に新規登録する。
【0044】
また、登録モジュール104は、検出された個々のカードの位置情報として、カードの外接枠に相当する長方形の位置情報を用いる。また、カード外枠の長方形における対角線のうちの一方の対角線の始点と終点のXY座標を登録する。
【0045】
登録モジュール104は、個々のカードを判別する情報としてID情報を用いる。ID情報としては、カード上に、図11に示すように、可読なコードが印刷されていてもよい。このコードは、通常の可視光カメラで読み取れるものであってもよい。また、蛍光インクなどで印刷してあってもよい。蛍光インクを使う場合には、撮像モジュールに紫外線を照射するサブモジュールを追加する。
【0046】
また、図12に示すように、個々のカードに対してユニークな文字、図形を印刷しておいてもよい。これらの文字、図形はOCRで読み取れるので、その読み取り結果をIDとすればよい。図12に例示したカードの場合も、蛍光インクの利用が可能である。
【0047】
ID情報としては、前述のように、予めカードに記載しておく手法のほかに、図13に示すように、個々のカードに対して、対応する画像データからユニークな数量(数値)を生成し、それをIDと利用してもよい。
【0048】
具体的には、カメラとカードが正対している場合には、文献、「D.G.Lowe,Objectrecognition from local scale−invariant features,Proc. of IEEE Int. conf. on Computer Vision(ICCV)(1999).」が利用可能である。
【0049】
また、カードとカメラを正対させることが困難である場合、例えば、ボード上に配置されたカードを斜めからしか撮影できない場合には、文献「秋山, 西脇, 射影不変量とホモグラフィー行列を用いた文字列画像検索方式の 提案, 第9回情報科学技術フォーラム(FIT2010), H−011 (2010).」による手法により、各カードの特徴を抽出することが可能である。
尚、上記手法を用いる場合には、それぞれのカードに対してカード画像の特徴がユニークな数量(数値)として得られるので、登録モジュール104がカード情報の登録時にその数値をカードの画像データと共に登録する。
【0050】
登録モジュール104は、各カードに記載されたカード情報については、OCRを用いて文字情報を読み取り、カード記載情報として登録する。
【0051】
データ蓄積モジュール105は、検出されたカードそれぞれに対応して、カード固有のID、カードの位置情報、カードの記載情報等を関連付けテーブル情報として記憶する。
【0052】
検索モジュール106は、各カードにおける位置の移動、削除、他のカードの追加などの有無を検出するカード情報検出機能を有する。
【0053】
検索モジュール106は、予め設定されたカードIDをクエリとして、データ蓄積モジュール105に同一のIDがあるかを検索する。
【0054】
また、新規カードの登録作業が終了したことが検知された場合に、検索モジュール106は、その修了日時をその他のカード情報とともに記録し、また、既存カードで削除されたものがあるか否かを検索する。
【0055】
また、検索モジュール106は、データ蓄積モジュール105に蓄積されたカードIDでヒットしなかったものはカードが削除されたことになるので、ヒットしなかったカードのIDとこのカードに係るデータ(カード位置情報、カード記載情報など)を蓄積モジュール105から削除する。
【0056】
既存カードの削除が検出されなかった場合に、検索モジュール106は、既存カードの移動の有無を検出する。ここで、既存カードの移動は、同一IDが蓄積モジュール105中に検索され、その位置情報が現在のカードの位置と異なる場合がこれにあたる。
また、既存カードの移動が検出された場合に、検索モジュール106は、蓄積モジュール105中の同一IDのカードの位置情報を現在のカードの情報に更新する。併せて、更新日時情報を書き換える。
【0057】
入出力モジュール107は、データ蓄積モジュール105の内容を編集する蓄積情報編集機能を備えている。
【0058】
また、入出力モジュール107は、OCRがカード情報を完全に読み取れない場合に、カード情報の修正または追加を行ってもよい。修正を行った場合には、カードの移動時に再度OCR結果の修正を行わないように、修正したことを判別する修正フラグを無修正の0(ゼロ)から1に変更する。
【0059】
更に、入出力モジュール107は、カード検出モジュール102が検出されたカードは既存プロジェクトのものであると判定した場合には、データ蓄積モジュール105内に格納されたカードに係る情報(カードID、カードの位置情報、およびカード情報(記載情報))について更新処理を行う。
【0060】
尚、検索モジュール106が既存カードの移動、削除、新規貼付を検知した場合には、実空間に配置されたカードに対する移動、削除、新規貼付といったカードに対する動作に人が関わる。
【0061】
このため、撮像モジュールは、一定時間毎にカード画像を撮影し、その画像から人の有無を検出し、これに基づき登録モジュール104の登録処理、検索モジュール106の更新処理機能を制御モジュール108が起動するようにしてもよい。
【0062】
具体的には、撮影された画像内で、人やカードを移動する人の手が検知され、また、画面内から人(または人の手)が検知されなくなったときに、カードの移動を検出し、これに基づき制御モジュール108が、登録処理、更新処理を起動するようにしてもよい。
尚、画像内に現れた人や人の手を検出する手法については、一般に利用されている画像認識の手法を利用するものとする。
【0063】
以上のように、本実施形態であるカード情報管理装置1は、撮影画像から得られた実空間のカードの位置情報およびカード情報(記載情報)とデータ蓄積モジュール105内のプロジェクト管理情報との同期を、カードへのID印刷(印字)等を行うことなく、自動的に行うことができる。
【0064】
これにより、同じコードのカードの重複利用で一方のカードの情報が他方のカードの情報に書き換えられてしまうといったことが発生するのを有効に軽減する可能となる。
【0065】
また、カード情報管理装置1は、プロジェクト管理情報をカードの撮影画像から生成することができるため、これにより、カードの識別処理が自動化され、更には、実空間におけるカードの位置移動、削除、新規作成が検出され、これに基づき予め格納されたカードに係る情報をリアルタイムに同期更新することが可能となる。
【0066】
[実施形態1の動作説明]
次に、上記実施形態の動作について、その概略を説明する。
ボード上に配置されたカードを撮影モジュール101が撮影してカードの画像データを生成し(画像生成工程)、登録モジュール104が、この画像データに基づきカードのボード上における位置を示す位置情報、カードの記載内容である記載情報を取得する(カード情報取得工程)。
【0067】
次いで、カードID生成モジュール103が、記載情報に基づき前記カードそれぞれに対応した固有IDを生成し、登録モジュール104が、カードの位置情報、記載情報、および固有IDを対応付けてカード特定情報としてデータ蓄積モジュール105に登録する(情報登録工程)。
【0068】
また、検索モジュール106が、撮像モジュール101から取得した異なる画像データに基づきボード上におけるカードの配置状態および前記カードの記載情報に係る変動をカード状態変動として検知し(カード状態検出工程)、カード状態の変動が検知された場合に、入出力モジュール107が、データ蓄積モジュール105からカードの位置情報および記載情報を取得すると共にこれに基づきカード特定情報の更新を行う(カード情報更新工程)。
【0069】
ここで、上記画像生成工程、カード情報取得工程、情報登録工程、カード状態検出工程、およびカード情報更新工程については、その実行内容をプログラム化し、コンピュータに実行させるように構成してもよい。
【0070】
また、本プログラムは、非一時的な記憶媒体、例えば、DVD、CD、フラッシュメモリなどに記録されてもよい。その場合、本プログラムは、記録媒体からコンピュータによって読み出され、実行される。
【0071】
次に、本実施形態であるカード情報管理装置100の全体的な動作内容について、図7のフローチャートに基づき具体的に説明する。
【0072】
ここでは、例えば、プロジェクトについての会議が行われており、そのプロジェクト内容について、会議参加者がその進捗状況やアイディアなどをカードに記載し、会議内容を参加者がカードの位置関係により共有できるように、カードが人為的にボード上に貼付されているものとする。
【0073】
まず、撮像モジュール101が、撮像したカードの画像データ(カード画像)をカード検出モジュール102に対して転送する(スタート)。これにより、カード検出モジュール102は、現時点におけるボード上のカードの配置状態を示す現場カード画像を取得する(ステップS100)。
次に、カード検出モジュール102は、カード画像に基づき、カード画像中のカードが新規プロジェクトに係るものであるか、すでに開始している、つまり、カード情報管理装置100内に記憶されたカード情報に係るプロジェクトのものであるかを判別する(ステップS200)。
【0074】
尚、プロジェクトとは、複数のカードを用いた業務管理のことを示す。ここで、新規プロジェクトである場合、カード検出モジュール102は、検出されたカードは全て新しいカード(新規カード)として判別される。つまり、新規プロジェクトの場合には、カード検出モジュール102で検出されたカードの画像に基づきデータ蓄積モジュール内105に蓄積したデータを検索した場合、どのIDとも一致しないこととなる。
【0075】
一方、カード検出モジュール102が既存のプロジェクトと判定した場合には、ボード上に配置された全カードが入れ替わった場合を除いて、少なくとも1個のカードのIDが検索ヒットする。
ここでは、カード検出モジュール102は、カード画像中のカードに入れ替えられたカードが含まれるか否か、また、検出されたカードのうちの何れのカードが入れ替えられたか、を判定する。
【0076】
このため、カード検出モジュール102は、全てのカードが入れ替えられたと判定した場合には、検出されたカード情報は新規プロジェクトであると判断する(YES:ステップS200)。
このとき、カードID生成モジュール103は、各カードに対応したIDを新たに生成し、登録モジュール104が検出された各カードをデータ蓄積モジュール105に対して新規登録処理を行う(ステップS300)。
【0077】
一方、カード検出モジュール102が検出されたカードは既存プロジェクトのものであると判定した場合には、データ蓄積モジュール105内に格納されたカードに係る情報(カードID、カードの位置情報、およびカード情報(記載情報))について更新処理を行う(S400)。
【0078】
ここで、本実施形態で利用するカードにおける記載情報が記載された面とその裏面(つまり、カードがボードに貼付される面)とは異なる色としてもよい。
この場合、撮像モジュール101におけるカメラとしてカラー撮影可能なカメラ(カラーカメラ)を利用することにより、カード検出モジュール102は、カードの表および裏面における色の相違に基づき画像中における各カードを容易に、且つ確実に検出することが可能になる。
【0079】
さらにカードのサイズを予め設定されたサイズ(以下「既知サイズ」という)を利用することにより、各カードのサイズが異なる場合でも、画像内における配置されたカードを適切に検出することが可能となるものとする。
【0080】
次に、上記登録処理(ステップS300)の動作内容について、図8に基づき説明する。
本実施形態では、カードにID情報が記載されていない場合でも、カードID生成モジュール103が、カード画像から各カードに固有の情報を取得すると共に、この固有の情報を数値化して管理する(これに基づきカードIDを生成する)。このため、カードの入れ替えのみならず、移動、削除、追加等を検出することが可能となる。
【0081】
登録モジュール104は、生成されたカードIDに基づきカード画像から各カードを特定し、そのカードのID、およびカードの位置情報を登録する(ステップS301)。
次いで、登録モジュール104は、カードに記載された文字画像を、OCRを用いて文字コードに変換し、これをカード記載情報として、カードID、および位置情報に関連付けて記憶する(ステップS302:具体的にはテーブル情報における同一行の情報として記憶する)。
【0082】
尚、登録モジュール104のOCRがカード情報を完全に読み取れない場合には、入出力モジュール101を介して、カード情報の修正または追加を行ってもよい。
この修正を行った場合には、カードの移動時に再度OCR結果の修正を行わないように、修正したことを示す修正フラグを設定する(無修正の0(ゼロ)から1に変更する)。各カードの登録作業が終了した時点で、その登録終了日時をその他の情報と共に記録しておくものとする。
【0083】
また、カラー撮影可能なカラーカメラを利用している場合にはカード画像中におけるカードの色情報が検知可能であるため、カードID生成モジュール103は、カードの色情報をコード化し、カードIDを生成するものとする。
コード化の手法としては、カメラから得たRGB情報をそのまま利用してもよいし、予め作成した代表色のどれに近いかを判別する設定であってもよい。
【0084】
この場合、例えば、R、G、B各色の値を要素とする3次元のベクトルを設定し、カードから得た3次元のベクトルと代表色の3次元ベクトルとの間の距離を計算し、距離の一番近い代表色に決定するものとする。
【0085】
また、カラーカメラを利用している場合、カードに対する記載文字の記入色も検知可能であるため、前述のカード色の場合と同様に、記載文字の色情報に基づきカードIDを生成してもよい。
【0086】
更に、OCR結果に対して、予め登録した筆記者の名前やイニシャルなどが含まれる場合には、それをカードIDとして利用してもよい。
尚、イニシャルに基づくIDだけでは、同一のカードとして認識されるものが複数含まれてしまう場合があるので、この場合、カード画像から抽出した固有の情報を数値化したものを併用する。
【0087】
次に、図7の更新処理(ステップS400)について、その動作内容の詳細を図9のフローチャートに基づき具体的に説明する。
ここで、カード画像中で特定したカードが既存のプロジェクトに属する場合、この更新処理は、カードの移動、消滅、追加のいずれかが検知された場合に実行される。
【0088】
ここでは、まず、カードの登録時と同様に、撮像モジュール101でカードを撮像し画像データに変換し、カード検出モジュール102で個々のカード画像を生成する。
カード画像中のカードにIDが予め記載されていない(IDが検知できない)場合には、カードID生成モジュール103がカードIDを生成する。
【0089】
尚、図11、図12にように用いるカードにIDが予め記載されている場合には、記載されたIDを用いるものとする。ここで、記載されたIDがコードである場合はデーコードを行い、文字であればOCRを行う。
【0090】
ここでは、検索モジュール106が、予め設定されたカードIDをクエリとして、データ蓄積モジュール105に同一のIDがあるかを検索する(ステップS401)。
同一のIDが検索(抽出)されない場合には(Yes:ステップS401)、登録モジュール104が、カード1枚分の情報(図2)をデータ蓄積モジュール105に新規登録する(ステップS402)。
【0091】
次に、各カードに記載されたカード情報については、登録モジュール104が、OCRを用いて文字情報を読み取り、カード記載情報として登録する(ステップS403)。
ここで、OCRがカード情報を完全に読み取れない場合には、入出力モジュール101を介して、カード情報の修正または追加を行ってもよい。修正を行った場合には、カードの移動時に再度OCR結果の修正を行わないように、修正したことを判別する修正フラグを無修正の0(ゼロ)から1に変更する。
【0092】
また、新規カードの登録作業が終了したことが検知された場合(No:ステップS401)、検索モジュール106は、その修了日時をその他のカード情報とともに記録し、また、既存カードで削除されたものがあるか否かを検索する(ステップS404)。
【0093】
ここで、データ蓄積モジュール105に蓄積されたカードIDでヒットしなかったものはカードが削除されたことになるので、検索モジュール106は、ヒットしなかったカードのIDとこのカードに係るデータ(カード位置情報、カード記載情報など)を蓄積モジュール105から削除する(ステップS405)。
【0094】
次いで、既存カードの削除が検出されなかった場合に(No:ステップS404)、検索モジュール106は、既存カードの移動の有無を検出する(ステップS406)。
既存カードの移動は、同一IDが蓄積モジュール105中に検索され、その位置情報が現在のカードの位置と異なる場合がこれにあたる。
既存カードの移動が検出された場合には(Yes:ステップS406)、検索モジュール106は、蓄積モジュール105中の同一IDのカードの位置情報を現在のカードの情報に更新する。併せて、更新日時情報を書き換える(ステップS407)。
【0095】
以上のように、本実施形態1では、実空間に存在するカードに係る情報を記憶し、カードの移動、記載内容の変更などに追従して更新することにより、人手を介することなく、実空間のカードの状態をコンピュータ内に記憶したカードに係る情報へと同期させることが可能となる。
【0096】
また、本実施形態1では、検出した各カードの識別することが可能であることから、実空間のカードの移動、削除、新規作成に対して、カードごとにリアルタイムに追従して管理することができる。
【0097】
また、実空間上に配置されたそれぞれのカードに、各カードの識別用に設定されたコード(識別用コード)などを印字することなく、それぞれのカードを同定することができるので、カード全面を記載領域として利用することができる。
【0098】
[実施形態2]
次に、本発明の実施形態2としてのカード情報管理装置について、図10のブロック図に基づき説明する。
このカード情報管理装置2の内部構成は、上記カード情報管理装置1と同様の内部構成を備えているが、データ蓄積モジュール105の情報を遠隔地への送信用に取得する入出力モジュール107と、取得された情報を予め設定された受信モジュール110に対して送信モジュール109を備えた点が実施形態1の場合と相違する。
尚、受信モジュール110では、送信モジュール109から送り込まれた情報を表示モジュール111に対して出力表示する。
【0099】
ここで、送信モジュール109および受信モジュール110間におけるデータ送信の手法は有線または無線の何れかを利用してインターネットや専用回線を介して行われるものとする。また、受信モジュール110、表示モジュール111が、カードが実際に存在する地点の近傍であれば、ローカルネットワークを利用する設定でもよい。
【0100】
これにより、ボード上に配置されたカードが実際に存在する場所(部屋)から離れた場所であっても、プロジェクトの最新情報、進捗状況、つまりカードの配置位置の移動過程や最新のカード情報などを把握することが可能になる。
【0101】
ここで、図10において、受信モジュール110、表示モジュール111は一個ずつであるが、それぞれが複数備えた構成であってもよい。これにより、より多くの場所でカードの最新情報の把握が可能になる。
【0102】
また、登録処理、更新処理の起動のタイミングについては、登録モジュール104の登録処理機能、および検索モジュール106の更新処理機能が一定時間毎に起動されるものとする。
ここで、データ蓄積モジュール105内に格納されたカードに係る情報と、実空間に配置されたカードとの同期の実時間性を確保しようとすると、起動間隔を短くせざるを得ない。つまりは、起動間隔を短くすればそれだけ、システムの負荷が増大するので、撮像モジュールが一定時間毎にカード画像を撮影し、前回撮影した画像との差分が大きく検出された場合に、起動する設定としてもよい。
【0103】
尚、上記画像差分は、撮影画像の画素毎に濃淡差を累積していき、一定の閾値を越えたら場合には、登録処理または更新処理が起動される設定であるものとする。
【0104】
また、カラーカメラを使用する際には、RGB値をグレースケールに変換する。R,G,Bそれぞれの値の単純平均や加重平均法が知られているが、通常、一定値より大きな差分を検出されるので、何れの手法を用いる設定であってもよいものとする。
【0105】
以上のように、本実施形態2では、実施形態1と同様に、実空間に存在するカードに係る情報を記憶し、カードの移動、記載内容の変更などに追従して更新することにより、人手を介することなく、実空間のカードの状態をコンピュータ内に記憶したカードに係る情報へと同期させることができ、さらには、ボード上に配置されたカードが存在する場所から離れた場所であっても、プロジェクトの最新情報、進捗状況、つまりカードの配置位置の移動過程や最新のカード情報などを把握することが可能になる。これにより、遠隔会議などに利用することが可能となる。
【0106】
上述の実施形態については、その新規な技術的内容の要点をまとめると、以下のようになる。
尚、上記実施形態の一部または全部は、新規な技術として以下のようにまとめられるが、本発明は必ずしもこれに限定されるものではない。
【0107】
(付記1)
ボード上に配置されたカードを撮影し前記カードの画像データを生成する撮像部と、
前記画像データに基づき前記カードを検出すると共に、当該カードの前記ボード上における位置を示す位置情報と前記カードの記載内容である記載情報を取得するカード検出部と、
前記記載情報に基づき前記カードそれぞれに対応した固有IDを生成する固有ID生成部と、
前記カードの位置情報、記載情報、および固有IDを対応付けてカード特定情報として記憶する特定情報管理部とを備え、
前記特定情報管理部は、
前記撮像部から取得した異なる画像データそれぞれにおける前記カードを前記カード特定情報に基づき特定すると共に、前記ボード上におけるカードの配置状態および前記カードの記載情報に係る変動をカード状態変動として検知するカード状態変動検知手段と、
前記変動が検知された場合に前記カードの位置情報および記載情報を取得すると共にこれに基づき前記カード特定情報の更新を行う管理情報更新手段と、
を備えたことを特徴とするカード情報管理装置。
【0108】
(付記2)
付記1に記載のカード情報管理装置において、
前記カード状態変動検知手段は、一定時間毎に取得した前記画像データの蓄積を命令し、異なる画像データそれぞれにおける対応画素の濃度差を算出すると共に、当該濃度差が一定値以上である場合に前記カード状態変動として検知することを特徴としたカード情報管理装置。
【0109】
(付記3)
付記1に記載のカード情報管理装置において、
前記カード状態変動検知手段は、前記画像データ中の人物検出を行うと共に、前記画像データ中で検出された人物が当該画像データ中から検出されなくなった場合に、前記カード状態変動として検知する人物検出機能を備えたことを特徴とするカード情報管理装置。
【0110】
(付記4)
付記1に記載のカード情報管理装置において、
前記固有ID生成部は、前記カードまたは当該カード記載情報に含まれる記入色に対応した固有数値を前記固有IDとして生成するカード色固有情報生成機能を備えたことを特徴とするカード情報管理装置。
【0111】
(付記5)
付記1に記載のカード情報管理装置において、
前記固有ID生成部は、前記カードの記載情報とともに、カードの筆記者を示すサイン情報に対応した固有数値を前記固有IDとして生成する固有サイン情報生成機能を備えたことを特徴とするカード情報管理装置。
【0112】
(付記6)
付記1に記載のカード情報管理装置において、
前記固有ID生成部は、前記記載情報として文字情報が含まれる場合にこの文字情報を文字コード化し、当該文字コードに対応する固有数値を前記固有IDとして生成する固有サイン情報生成機能を備えたことを特徴とするカード情報管理装置。
【0113】
(付記7)
付記1に記載のカード情報管理装置において、
前記特定情報管理部は、前記記載情報として文字情報が含まれている場合にこの文字情報を文字コード化すると共に当該文字コードの修正を行う文字コード修正機能と、
前記修正された文字コードに対応したフラグ情報を前記カード特定情報に付与する修正フラグ付与機能を備えたことを特徴とするカード情報管理装置。
【0114】
(付記8)
ボード上に配置されたカードに係る情報を示すカード特定情報を取得するカード情報管理装置にあって、前記カードの状態に応じて前記カード特定情報を管理する情報管理方法であって、
ボード上に配置されたカードを撮影し前記カードの画像データを生成し、
前記画像データに基づき前記カードの前記ボード上における位置を示す位置情報と前記カードの記載内容である記載情報を取得し、
前記記載情報に基づき前記カードそれぞれに対応した固有IDを生成し、
前記カードの位置情報、記載情報、および固有IDを対応付けてカード特定情報として記憶し、
前記撮像部から取得した異なる画像データに基づき前記ボード上におけるカードの配置状態および前記カードの記載情報に係る変動をカード状態変動として検知し、
前記変動が検知された場合に前記カードの位置情報および記載情報を取得すると共にこれに基づき前記カード特定情報の更新を行う構成とし、これらの各動作手順を前記カード情報管理装置が実行することを特徴とした情報管理方法。
【0115】
(付記9)
ボード上に配置されたカードに係る情報を示すカード特定情報を取得するカード情報管理装置にあって、前記カードの状態に応じて前記カード特定情報を管理するための情報管理プログラムであって、
ボード上に配置されたカードを撮影し前記カードの画像データを生成する撮像機能と、
前記画像データに基づき前記カードの前記ボード上における位置を示す位置情報と前記カードの記載内容である記載情報を取得するカード検出機能と、
前記記載情報に基づき前記カードそれぞれに対応した固有IDを生成する固有ID生成機能と、
前記カードの位置情報、記載情報、および固有IDを対応付けてカード特定情報として記憶する特定情報管理機能と、
前記撮像部から取得した異なる画像データに基づき前記ボード上におけるカードの配置状態および前記カードの記載情報に係る変動をカード状態変動として検知するカード状態変動検知機能と、
前記変動が検知された場合に前記カードの位置情報および記載情報を取得すると共にこれに基づき前記カード特定情報の更新を行う管理情報更新機能と、
を前記カード情報管理装置のコンピュータに実現させることを特徴とした情報管理プログラム。
【産業上の利用可能性】
【0116】
本発明は、カードを用いたプロジェクト管理やブレーンストーミングなどのグループウェアに対して有効に適用することができる。
【符号の説明】
【0117】
1 カード情報管理装置
101 撮像モジュール
102 カード検出モジュール
103 カードID生成モジュール
104 登録モジュール
105 データ蓄積モジュール
106 検索モジュール
107 入出力モジュール
108 制御モジュール

【特許請求の範囲】
【請求項1】
ボード上に配置されたカードを撮影し前記カードの画像データを生成する撮像部と、
前記画像データに基づき前記カードを検出すると共に、当該カードの前記ボード上における位置を示す位置情報と前記カードの記載内容である記載情報を取得するカード検出部と、
前記記載情報に基づき前記カードそれぞれに対応した固有IDを生成する固有ID生成部と、
前記カードの位置情報、記載情報、および固有IDを対応付けてカード特定情報として記憶する特定情報管理部とを備え、
前記特定情報管理部は、
前記撮像部から取得した異なる画像データそれぞれにおける前記カードを前記カード特定情報に基づき特定すると共に、前記ボード上におけるカードの配置状態および前記カードの記載情報に係る変動をカード状態変動として検知するカード状態変動検知手段と、
前記変動が検知された場合に前記カードの位置情報および記載情報を取得すると共にこれに基づき前記カード特定情報の更新を行う管理情報更新手段と、
を備えたことを特徴とするカード情報管理装置。
【請求項2】
請求項1に記載のカード情報管理装置において、
前記カード状態変動検知手段は、一定時間毎に取得した前記画像データの蓄積を命令し、異なる画像データそれぞれにおける対応画素の濃度差を算出すると共に、当該濃度差が一定値以上である場合に前記カード状態変動として検知することを特徴としたカード情報管理装置。
【請求項3】
請求項1に記載のカード情報管理装置において、
前記カード状態変動検知手段は、前記画像データ中の人物検出を行うと共に、前記画像データ中で検出された人物が当該画像データ中から検出されなくなった場合に、前記カード状態変動として検知する人物検出機能を備えたことを特徴とするカード情報管理装置。
【請求項4】
請求項1に記載のカード情報管理装置において、
前記固有ID生成部は、前記カードまたは当該カード記載情報に含まれる記入色に対応した固有数値を前記固有IDとして生成するカード色固有情報生成機能を備えたことを特徴とするカード情報管理装置。
【請求項5】
請求項1に記載のカード情報管理装置において、
前記固有ID生成部は、前記カードの記載情報とともに、カードの筆記者を示すサイン情報に対応した固有数値を前記固有IDとして生成する固有サイン情報生成機能を備えたことを特徴とするカード情報管理装置。
【請求項6】
請求項1に記載のカード情報管理装置において、
前記固有ID生成部は、前記記載情報として文字情報が含まれる場合にこの文字情報を文字コード化し、当該文字コードに対応する固有数値を前記固有IDとして生成する固有サイン情報生成機能を備えたことを特徴とするカード情報管理装置。
【請求項7】
請求項1に記載のカード情報管理装置において、
前記特定情報管理部は、前記記載情報として文字情報が含まれている場合にこの文字情報を文字コード化すると共に当該文字コードの修正を行う文字コード修正機能と、
前記修正された文字コードに対応したフラグ情報を前記カード特定情報に付与する修正フラグ付与機能を備えたことを特徴とするカード情報管理装置。
【請求項8】
ボード上に配置されたカードに係る情報を示すカード特定情報を取得するカード情報管理装置にあって、前記カードの状態に応じて前記カード特定情報を管理する情報管理方法であって、
ボード上に配置されたカードを撮影し前記カードの画像データを生成し、
前記画像データに基づき前記カードの前記ボード上における位置を示す位置情報と前記カードの記載内容である記載情報を取得し、
前記記載情報に基づき前記カードそれぞれに対応した固有IDを生成し、
前記カードの位置情報、記載情報、および固有IDを対応付けてカード特定情報として記憶し、
前記撮像部から取得した異なる画像データに基づき前記ボード上におけるカードの配置状態および前記カードの記載情報に係る変動をカード状態変動として検知し、
前記変動が検知された場合に前記カードの位置情報および記載情報を取得すると共にこれに基づき前記カード特定情報の更新を行う構成とし、これらの各動作手順を前記カード情報管理装置が実行することを特徴とした情報管理方法。
【請求項9】
ボード上に配置されたカードに係る情報を示すカード特定情報を取得するカード情報管理装置にあって、前記カードの状態に応じて前記カード特定情報を管理するための情報管理プログラムであって、
ボード上に配置されたカードを撮影し前記カードの画像データを生成する撮像機能と、
前記画像データに基づき前記カードの前記ボード上における位置を示す位置情報と前記カードの記載内容である記載情報を取得するカード検出機能と、
前記記載情報に基づき前記カードそれぞれに対応した固有IDを生成する固有ID生成機能と、
前記カードの位置情報、記載情報、および固有IDを対応付けてカード特定情報として記憶する特定情報管理機能と、
前記撮像部から取得した異なる画像データに基づき前記ボード上におけるカードの配置状態および前記カードの記載情報に係る変動をカード状態変動として検知するカード状態変動検知機能と、
前記変動が検知された場合に前記カードの位置情報および記載情報を取得すると共にこれに基づき前記カード特定情報の更新を行う管理情報更新機能と、
を前記カード情報管理装置のコンピュータに実現させることを特徴とした情報管理プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate


【公開番号】特開2012−248063(P2012−248063A)
【公開日】平成24年12月13日(2012.12.13)
【国際特許分類】
【出願番号】特願2011−120313(P2011−120313)
【出願日】平成23年5月30日(2011.5.30)
【出願人】(000004237)日本電気株式会社 (19,353)
【Fターム(参考)】