画像表示方法、共有ボードシステム
【課題】共有ボードシステムにおいて、遮蔽物に遮蔽された書き込み内容を視認できないという不便を解消する。
【解決手段】本発明の共有ボードシステムは、基準フレームと現フレームとを合成し、当該合成にて得られた画像を表示する工程を含む、この工程では、上記合成にて得られる画像における一部領域において上記基準フレームの上記一部領域に示される内容が視認可能な程度に示されるように、上記合成を行う。
【解決手段】本発明の共有ボードシステムは、基準フレームと現フレームとを合成し、当該合成にて得られた画像を表示する工程を含む、この工程では、上記合成にて得られる画像における一部領域において上記基準フレームの上記一部領域に示される内容が視認可能な程度に示されるように、上記合成を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、一般的な共有（協働）ボードシステムに関し、特に、遮蔽物の検出に基づいて画像を更新してシェア（共有）する方法およびシステムとに関するものである。
【背景技術】
【０００２】
フリップチャート、ホワイトボード、黒板及び他の物理的な書き込みボード（共有ボード）は、共同使用者の間でクリエイティブなインタラクションを促進するために使用されることがある。共有ボード（共同書き込み面）として言及されたこれらボードの情報を、クリエイティブなインタラクションを妨害せずに撮影し、撮影された情報が、同じ場所に位置しない使用者の間で、途切れなく自然に共有されることを可能にし、続いてアクセスされ再実行されるインタラクションの記録を引き起こす、装置、方法、システムが望まれている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−４３４５８号公報（公開日：平成１３年２月１６日）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
共有ボードを備えるシステムでは、共有ボードの前に遮蔽物が出現すると、書き込み内容の一部が遮蔽された状態で共有ボードの撮像画像が各共同作業者の表示装置へ送信されることになり、一部の共同作業者は、遮蔽された書き込み内容を視認できず不便であるという問題が生じていた。
【０００５】
本発明は、以上の問題に鑑みてなされたものであり、共有ボードを備えるシステムにおいて、遮蔽物に遮蔽された書き込み内容を視認できないという不便を解消することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明は、共有ボードを撮像して、当該撮像により得られた画像を処理して表示する画像表示方法であって、上記撮像にて得られた画像の現フレームと、上記撮像にて得られた画像の以前のフレームである基準フレームとに基づいて、基準フレームの一部領域には存在しないが現フレームにおける上記一部領域に存在する遮蔽物の位置を示す遮蔽物マスクを生成する第１工程と、上記共有ボードの状態を示す活性度を決定する第２工程と、上記活性度が上記共有ボードの書き込み内容の変化を示している場合、上記基準フレームと上記現フレームとを合成し、当該合成にて得られた画像を表示する第３工程とを含み、上記第３工程では、上記合成にて得られる画像における上記一部領域において上記基準フレームの上記一部領域に示される内容が視認可能な程度に示されるように、上記合成を行うことを特徴とする。
【０００７】
また、本発明は、共有ボードと、上記共有ボードを撮像した撮像画像を取得する撮像装置と、上記撮像画像を処理して処理後の画像を表示装置に供給する処理部とを備え、上記処理部は、上記撮像画像の現フレームと、上記撮像画像の以前のフレームである基準フレームとに基づき、上記基準フレームの一部領域には存在しないが現フレームにおける上記一部領域に存在する遮蔽物の位置を示す遮蔽物マスクを生成するマスク生成部と、上記共有ボードの状態を示す活性度を決定する活性度決定部と、上記活性度が上記共有ボードの書き込み内容の変化を示している場合、上記基準フレームと上記現フレームとを合成し、当該合成にて得られた画像を上記表示装置に供給する合成部とを備え、上記合成部は、上記合成にて得られる画像における上記一部領域において上記基準フレームの上記一部領域に示される内容が視認可能な程度に示されるように、上記合成を行うことを特徴とする。
【０００８】
本発明の方法または構成によれば、共有ボードに書き込まれている内容を撮像して、複数の表示装置に送信しているようなシステムにおいて、共有ボードの前に遮蔽物が出現して書き込み内容の一部が遮蔽された状態で撮像されはじめたとしても、以前のフレームから遮蔽されている内容を抽出して、現時点にて表示される画像に当該内容を反映させることができる。これにより、共有ボードの各利用者によって、遮蔽された書き込み内容を視認できないという不便を解消できるという効果を奏する。
【０００９】
また、本発明の共有ボードシステムにおいて、上記活性度決定部は、上記遮蔽物マスクにて特定される遮蔽物について、時間経過に伴う変化を追跡する遮蔽物追跡部であり、上記マスク生成部は一定期間毎に上記遮蔽物マスクを生成し、上記遮蔽物追跡部は、一定期間毎に得られる遮蔽物マスクに対してフィルタ処理を実行するフィルタ処理実行部と、上記一定時間毎に得られる各遮蔽物マスクに基づいて、上記遮蔽物の動きの方向と、上記遮蔽物の動きの大きさとを見積もる見積部と、上記遮蔽物の動きの方向と大きさとに基づいて上記活性度を決定する決定部とを備えてもよい。
【００１０】
また、本発明の共有ボードシステムは、上記処理部における処理よりも前段の処理として、撮像画像に対して遠近歪みを除く補正を施す画像整形部を備えてもよい。さらに、本発明の共有ボードシステムは、上記処理部における処理よりも前段の処理として、上記撮像画像に対してデモザイク処理を施すデモザイク処理部を備えてもよい。
【００１１】
また、本発明の共有ボードシステムは、上記合成にて得られる画像をエンハンスする画像エンハンス部を備えてもよい。
【００１２】
また、本発明の共有ボードシステムにおいて、上記合成部は、上記合成にて得られる画像に、上記遮蔽物を半透明体として反映させるようになっていてもよい。また、本発明の共有ボードシステムにおいて、上記合成部は、上記合成にて得られる画像に、上記遮蔽物を輪郭のみ反映させるようになっていてもよい。
【発明の効果】
【００１３】
本発明によれば、共有ボードの各利用者によって、遮蔽された書き込み内容を視認できないという不便を解消できるという効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】本発明のいくつかの実施形態に係る共有ボードシステムであり、共有ボード（共同書き込み面）と、撮影システムと、演算システムと、撮影システムおよび演算システムと結ぶ通信リンクとを備えたシステムを示す図である。
【図２】（ａ）は、共有ボードを撮影したカメラの視界の画像を示した写真である。（ｂ）は、共有ボードに関係するカメラのオフ軸配置によって導入された遠近歪み除去後の、共有ボードの外観を示す修正画像の写真である。
【図３】本発明の実施形態に係る共有ボードの画像であり、遮蔽物によって部分的に遮蔽されている共有ボードの画像を示す図である。
【図４】本発明の実施形態に係る共有ボードの画像であり、あるシーンの遮蔽物が半透明体として映し出された図であり、これにより画像において以前の内容（遮蔽物に覆われた書き込み内容）が可視化される。
【図５】本発明のいくつかの実施形態に係る共有ボードの画像であり、あるシーンの遮蔽物が輪郭（輪郭のみのシルエット）として映し出された図であり、これにより画像において以前の内容（遮蔽物に覆われた書き込み内容）が可視化される。
【図６】本発明のいくつかの実施形態に係るものであり、仮想透明撮像制御部を備えた共有ボードシステムを示す図である。
【図７】本発明のいくつかの実施形態に係るものであり、仮想透明撮像制御部を示す図である。
【図８】本発明のいくつかの実施形態に係るものであり、遮蔽物追跡部の形態を示すチャートである。
【図９】本発明のいくつかの実施形態に係るものであり、マーク履歴メモリ更新部を示す図である。
【図１０】差分画像に関する典型的なブロックの集合を示す図である。
【図１１】遮蔽の検知および非遮蔽の検知手法を示すフローチャートである。
【図１２】セグメンテーションマップ（遮蔽物マスク）に基づいて、遮蔽物の大きさ、動きの変化を求める際の注目ブロックと探索範囲とを説明するための図である。
【図１３】セグメンテーションマップ（遮蔽物マスク）に基づいて、遮蔽物の大きさ、動きの変化を求める際に算出される距離ｒを説明するための図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、図を参照して説明する。全般に渡って同じ部材には同じ番号を付す。上記で列挙した図は、明細書の細部の一部である。
【００１６】
ここで概して記載され且つ図示される本発明の構成要素は、アレンジでき、幅広く種々な異なる構造に設計できるということを、容易に理解できる。つまり、以下に記述する実施形態は、本発明の具体的な一例に過ぎず、本発明はこれらによって何ら制限されるものではない。
【００１７】
本発明の実施形態の構成要素は、ハードウェア、ファームウェア及び／またはソフトウェアで実現してもよい。ここで開示される典型的な実施形態は、これらの種類のうち１つのみを記述しているが、当業者であれば、本発明から逸脱しない範囲において、これらの種類のうち全ての構成要素を達成できることは、理解できる。
【００１８】
フリップチャート、白板、黒板及び他の物理的な書き込みボードは、共同使用者の間のクリエイティブなインタラクションを促進するために使用される。クリエイティブなインタラクションを妨害せずに、共有ボードとして言及されたこれらボード上の情報を撮影し、撮影された情報が、同じ場所にいない使用者の間で、途切れなく自然に共有されることを可能にし、続いてアクセスされ再び行われるインタラクションを記録できる、方法とシステムが望まれている。
【００１９】
本発明のいくつかの実施形態は、共有ボード（書き込まれた共有ボード）の画像を形成する方法を含む。ここで述べる実施形態のように前記方法は演算装置にて実行されるようになっていてもよい。本発明の実施形態は、共有ボート上の情報を撮影し、共有し、記録するための方法とシステムを含む。共有ボートとして、例えば、フリップチャート、白板、黒板及び他の物理的な書き込みボードが挙げられる。
【００２０】
本発明のいくつかの実施形態は、図１に示される共有ボードシステム１００を含む。同図に示すように、共有ボードシステム１００は、共有ボード（協働ボード）１０４を撮影可能なように当該共有ボード１０４に向くように設置される撮像装置１０２を含む。撮像装置１０２は、ビデオカメラあるいは他の画像撮影システムであってもよい。本発明の実施形態では、撮像装置１０２によって、カラーの画像データが撮影されてもよい。本発明の他の実施形態では、撮像装置１０２によって、白黒画像が撮影されてもよい。撮像装置１０２は、ホスト演算システム１０６に通信可能に繋がっている。ホスト演算システム１０６は、単一の演算装置（コンピュータ）であってもよいし、複数の演算装置を含む構成であってもよい。本発明の実施形態において、ホスト演算システム１０６が複数の演算装置を含む場合、複数の演算装置は、同じ場所に設置されていてもよいし、装置毎に異なる場所に設置されていてもよい。
【００２１】
撮像装置１０２とホスト演算システム１０６とは、図１に示すように、有線あるいは無線の通信リンク１０８にて接続されている。
【００２２】
本発明のいくつかの実施形態では、撮像装置１０２は、共同使用者の視界において共有ボードが遮られる事が最小限となるように、共有ボード１０４に対してレンズの光軸が垂直にならないような地点（オフアクシスビューポイント）に設置される。
【００２３】
撮像装置１０２は共有ボード１０４の画像の画像データを得ることできる。本発明の実施形態では、画像データは、一部が撮像装置１０２のプロセッサによって処理され、一部がホスト演算システム１０６によって処理されてもよい。他の実施形態では、画像データは、全部がホスト演算システム１０６によって処理されてもよい。
【００２４】
本発明の実施形態では、撮像装置１０２にて得られた未加工データ（センサから出力されたデータ）は、デモザイク処理（de-mosaic)が施され、描画処理（レンダリング）に用いられる。デモザイク処理は、カメラのフィルタ配列によって得られる互いに不一致の複数サンプルから、互いに一致する三色の出力データを再現する処理である。本発明の実施形態は、撮像装置１０２にバイエルフィルタ配列を備える構成であってもよく、また、バイエルフィルタ配列から得られた色データに対してデモザイク処理を施す公知の方法およびシステムを含んでもよい。撮像装置１０２のセンサ配列が非バイエルフィルタ配列である場合、公知の他のデモザイク処理を実行する方法及びシステムが用いられてもよい。
【００２５】
本発明の実施形態では、共有ボードシステム１００は、描画処理された画像（画像データ）において、撮像装置１０２と共有ボード１０４との相対的な位置関係により生じる遠近感歪みを除去する画像整形部を含んでいてもよい。図２（ａ）は、典型的なカメラの視界の画像２００を示し、図２（ｂ）は、画像２００に対応しており、遠近感歪みを除去するための幾何学的変形を行った後の画像２０２を示す図である。
【００２６】
共有ボードを用いて共同会議を行う共同使用者が共有ボードの内容（書き込み内容）を変更するとき、その共同使用者が共有ボードの内容（書き込み内容）を変更している間のうちの一部期間または全期間において、その共同使用者が共有ボードの一部を視界から遮蔽することがある。この期間、前記の共同使用者のことを、遮蔽物、行為者、筆記者（書いている人）といってもよい。共同会議の期間中、遮蔽物による共有ボードの閉塞を効果的且つ最小限に抑制することは、共有ボード撮像システムにとって望ましい。例えば、図３は、”Abcdefghij”を示す４つの文字列３０４〜３０７が示されている共有ボード３０２の画像３００を示す図である。この画像３００の共有ボード３０２においては、共有ボード３０２の内容を変更できる共同使用者（遮蔽物３０８）によって３つの文字列３０５〜３０７が部分的に遮蔽されている。したがって、その間、もしくは、その間の一部において、共有ボード３０２の一部が共同使用者（別の共同使用者）にとって見えなくなるかもしれない。
【００２７】
本発明の実施形態によれば、共有ボードの領域が遮蔽物に遮蔽されている間、当該領域の内容は以前に映し出された時から現在まで維持されているとみなされ、当該領域の内容が映し出される（表示される）。これにより、前記の領域の内容は共同使用者にとって容易に見え且つ容易に理解できる。本発明の実施形態によれば、遮蔽物を、少なくとも半透明体（at least partially, transparent）として映し出せ（表示でき）、前に映し出した前記領域の内容を可視化できる。なお、半透明とは、透き通った状態という意味であり、透明の程度が半分（例えば透過率５０％）に限定される意味ではない。図４は、”Abcdefghij”を示す４つの文字列４０４〜４０７が示されている共有ボード４０２の画像４００を示す図である。画像４００の３つの文字列４０５〜４０７は、共有ボード４０２の内容を変更できる共同使用者（遮蔽物４０８）によって部分的に遮蔽されている。図４の画像４００において、現在まで維持されている内容（遮蔽物に隠されている可能性のある書き込み）が可視化されるように、遮蔽物は半透明領域４０８として映し出される。本発明の他の実施形態では、現在まで維持されている内容（遮蔽物に隠されている書き込み）が可視化されるように、遮蔽物を輪郭として映し出すことが可能である（輪郭のみ映し出す）。当該他の実施形態については図５から理解できる。図５は、”Abcdefghij”を示す４つの文字列５０４〜５０７が示されている共有ボード５０２の画像５００を示す図である。この画像５００において、３つの文字列５０５〜５０７は、共有ボード５０２の内容を変更できる共同使用者（遮蔽物５０８）によって部分的に遮蔽されている。本発明の実施形態によれば、遮蔽物は、現在持続している内容が可視化されるように輪郭（輪郭線のみ）として画像化される。
【００２８】
本発明の実施形態は、共有ボート上の情報を撮影し、共有し、記録するための方法とシステムを含み、遮蔽物によって遮蔽されている期間中において、現時点まで維持されている内容（共有ボートに書き込まれており、ある視界においては遮蔽物に遮蔽されている内容）を共同使用者が視認できるようにするものである。共有ボードとしては、例えば、フリップチャート、白板、黒板、用紙、他の物理的な書き込みボードのいずれであってもよい。
【００２９】
本発明の実施形態は図６より理解できる。図６に示すように、共有ボードシステム６００は、仮想透過撮像制御部（ＶＴ撮像制御部）６０２を備える。ＶＴ撮像制御部６０２は、撮像装置６０４と通信可能に接続され、撮像装置６０４によって供給される映像ストリームの分析および処理を行う。撮像装置６０４は、共有ボード６０６に向くことが可能であり（共有ボード６０６をカメラ視界に含ませて共有ボード６０６を撮像できる）、この共有ボード６０６に関する映像ストリーム（共有ボード６０６を示す映像）を供給する。撮像装置６０４とＶＴ撮像制御部６０２とは、図６の符号６０３に示すように、有線あるいは無線の通信リンク若しくはネットワークリンクによって接続されている。ＶＴ撮像制御部６０２は、他のシステム要素への放送媒体ストリームを制御して描画処理を行うために、映像ストリームを分析および処理するようになっている。例えば、ＶＴ撮像制御部６０２は、共同会議における共有ボードの書き込み内容の記録を保存する格納部（アーカイブ）６０８に通信可能に繋がっている。ＶＴ撮像制御部６０２と格納部６０８とは、図６の符号６０７に示すように、有線あるいは無線の通信リンク若しくはネットワークリンクによって接続されている。また、ＶＴ撮像制御部６０２は、ローカルディスプレイ６１０に加えて、リモートディスプレイ６１２、６１４、６１６と通信可能に繋がっている。ローカルディスプレイ６１０とＶＴ撮像制御部６０２とは、図６の符号６０９に示すように、有線あるいは無線の通信リンク若しくはネットワークリンクによって接続されていている。リモートディスプレイ６１２、６１４、６１６とＶＴ撮像制御部６０２とは、図６の符号６１１、６１３、６１５に示すように、有線あるいは無線の通信リンク若しくはネットワークリンクによって接続されている。以上の各ディスプレイは、テレビジョン、パソコン等のモニター、または消費者通信装置の表示部であってもよい（例えば、携帯電話、プロジェクター表示システム、他の表示装置、表示システムのいずれか）。また、撮像装置６０４は、例えば、ビデオカメラまたは他の画像撮影システムを備えていてもよい。ここで述べる実施形態に示されるように、ＶＴ撮像制御部６０２は演算装置もしくは演算システム（コンピュータ）にて実行されるものであってもよい。
【００３０】
ＶＴ撮像制御部６０２は共有ボード６０６の画像を生成する。また、ＶＴ撮像制御部６０２は、共同会議の程度・規模に応じて、ディスプレイ、格納部、他の画像処理部や格納部に対して、生成した画像を送る。
【００３１】
本発明の実施形態において、図７に示すように、ＶＴ撮像制御部６０２は、共有ボードを示す現画像フレーム（現フレームとも称す）７０４を受信する現フレーム受信部７０２を備える。本発明の実施形態において、ＶＴ撮像制御部６０２は、共有ボードに向いている撮像装置から直接的に現フレーム７０４を受信する。本発明の他の実施形態において、ＶＴ撮像制御部６０２は、撮像装置にて得られたデータ（センサから出力された未加工データ）に対して前処理を行うプリプロセッサ（不図示）から現フレームを受信するようになっていてもよい。前記の前処理としては、例えば、デモザイク処理、画像矯正処理、処理領域抽出処理（領域分離処理）、他の前処理が挙げられる。デモザイク処理は、カメラのフィルタ配列によって得られた不一致の複数サンプルから、一致する三色の出力データを再現する処理であってもよい。本発明の実施形態は、撮像装置１０２にバイエルフィルタ配列を備える構成であってもよく、また、バイエルフィルタ配列から得られた色データに対してデモザイク処理を施す公知の方法およびシステムを含んでもよい。撮像装置１０２のセンサ配列が非バイエルフィルタ配列である場合、公知の他のデモザイク処理を実行する方法及びシステムが用いられてもよい。さらに、本発明の実施形態は、撮像装置と共有ボードとの相対的な位置関係により生じる遠近感歪みを画像データから除去する画像整形部を含んでいてもよい。現フレーム受信部７０２は、前景オブジェクト分離部７０６、マーク履歴メモリ更新部７０８、仮想透明描画部７１０に対して、受信した現フレーム７０３を送ることにより、前景オブジェクト分離部７０６、マーク履歴メモリ更新部７０８、仮想透明描画部７１０において現フレーム７０３を利用可能にする。
【００３２】
前景オブジェクト分離部７０６は、受信した現フレーム７０３を処理して、セグメンテーションマップ７０７を生成する（前景オブジェクト分離処理）。なお、セグメンテーションマップ７０７とは、受信した現フレーム７０３に示される画像に関して、共有ボードに書き込まれた内容もしくは前景オブジェクト（遮蔽物）を示すラベルを領域毎（ブロック毎）に付したデータ（ラベル画像）であり、前景マスク（遮蔽物マスク）と称すこともできる。つまり、セグメンテーションマップとは、前景オブジェクトを示す箇所（ブロック）と、それ以外の箇所とを識別したデータである。当業者であれば、前記の前景オブジェクト分離処理を多数の周知技術によって実現可能である。例えば、フレームバイフレームによる動作推定技術、クロマキー分離技術、学習型書き込み面カラーモデリング技術（learned writing surface color-modeling based techniques)、アクティブ濃度センシング技術（active depth sensing）、他の分離処理が挙げられる。本発明の実施形態において、検出した部屋の明かりに伴って変化する適用的色背景モデルは前記の前景オブジェクション分離処理に用いることができる。セグメンテーションマップ７０７は、前景オブジェクト分離部７０６から遮蔽物追跡部７１２へ送られることで、遮蔽物追跡部７１２にて利用可能にされる。
【００３３】
セグメンテーションマップの生成手法を以下にて詳細に述べる。セグメンテーションマップ７０７は、米国特許出願12/636,533にて述べられている方法にて作成される。まず、前景オブジェクト分離部７０６は、現フレームよりも前のフレーム（ここでは前回フレーム）を基準フレームとして定め、下記の式（１）を用いて、画素毎に基準フレームと現フレームとの輝度値の差を求める。
fdiff= Lkey - Lcurr （１）
ここで、fdiff、Lkey、Lcurrは、輝度値の差、基準フレームの輝度成分、現フレームの輝度成分を表している。
つぎに、下記の式（２）を用いて２値遮蔽候補マスクを作成する。式（２）において、mdiffはマスクの値を示し、(i,j)は画素位置を示し、Toccはfdiffと比較される閾値である。つまり、２値遮蔽候補マスクは、画素毎にfdifを２値化して得られるマスクである。
【００３４】
【数１】
【００３５】
つぎに、２値遮蔽候補マスクを互いにオーバーラップしない複数のブロックに分割し、ブロック毎に、fdiffがToccを超える画素の数をブロック密度としてカウントする。つぎに、ブロック毎に、ブロック密度がTbden（ブロック密度閾値）を超えるか否かを判定する。
そして、ブロック密度がブロック密度閾値を超えるブロックを「変更ブロック」としてラベル付けする。
さらに、連続している「変更ブロック」の群（グループ）を遮蔽候補として検出する。つぎに、画像の境界に接触していない、連続している「変更ブロック」の群を遮蔽候補から除外する。また、画像の境界に接触しているが遮蔽物体としての大きさが十分ではない、連続している「変更ブロック」の群も遮蔽候補から除外する。前記の各除外の後、当該遮蔽候補に属する各画素を「１」として、それ以外の各画素を「０」としたマスクをセグメンテーションマップとする。
【００３６】
遮蔽物追跡部７１２は、セグメンテーションマップ７０７にて識別された前景オブジェクトの経時的変化（時間経過（over time）に伴う状態変化）を追跡し、共有ボードが遮蔽されたか否かを決定する。また、遮蔽物追跡部７１２は、シーンの活性度を決定し、前景オブジェクトのエラーを補正する。本発明の実施形態において、遮蔽物追跡部７１２は、前景の動きの軌跡と大きさとを見積もり、且つ、前記の見積もりの値を用いて、分離エラーに起因したジッタと、共有ボードに書き込みをしている筆記者（共同作業者）の動き（ジッタよりも体系的な動き）とを区別する。
【００３７】
本発明の実施形態において、図７および図８に示すように、遮蔽物追跡部７１２は、一定時間毎に、前景オブジェクト分離部７０６からセグメンテーションマップ７０７を受信する（Ｓ８００）。つまり、前景オブジェクト分離部７０６は一定時間毎にセグメンテーションマップ７０７を作成する。遮蔽物追跡部７１２は、前景領域においてノイズを除去するために、セグメンテーションマップ７０７にて特定された前景領域に対してフィルタ処理（component filtering）を実行する（Ｓ８０２）。本発明の実施形態において、十分に大きくなく且つ画像フレームの境界に隣接していない成分（要素,オブジェクト）については、非前景成分として再ラベリングされる。なお、本発明の実施形態において、セグメンテーションマップ７０７の作成手法（要素に対するラベル付け）は、米国特許出願12/636,533にて述べられている方法およびシステムに基づいて実行可能である。米国特許出願12/636,533は、その題名が「共有ボードに書き込み内容に対して意味付けするシステムおよび方法」であって、出願日が2009年12月11日である。また、前述した米国特許出願12/636,533は、ここでは、その全体を参照することによって援用される。本発明の実施形態において、画像フレームのサイズの２０％未満のサイズの成分（十分に大きくない成分）については、前景領域から除外され、ノイズ成分とみなされてもよい。
なお、セグメンテーションマップ７０７の作成手法に関する、米国特許出願12/636,533にて述べられている方法は、後述の[具体例]にて述べる。
【００３８】
Ｓ８０２のフィルタ処理の実行後、フィルタ処理後のセグメントマスク（遮蔽物マスクとみなしてもよい）の状況（状態）の経時的変化を保存（記録）する（Ｓ８０４）。具体的には、一定時間毎に得られる各セグメントマスクに基づいて、セグメントマスクの状況の経時的変化を示す遮蔽物動作履歴（または動作履歴画像）が作成・記録されることになる。具体的に、遮蔽物動作履歴は遮蔽物の動作の軌跡を示した情報である。本発明の実施形態において、遮蔽物マスクの状況の経時的変化を示す動作履歴画像（浮動小数点式の画像）の更新に、OpenCVのモーションテンプレート手法を用いることができる。保存された遮蔽物動作履歴を用いる動き差分評価部によって、包括的な動きの方向（global motion direction）が見積もられる（Ｓ８０６）。さらに、動き差分評価部は、シーン（場面）における変化量を算出する（Ｓ８０８）。本発明の実施形態において、前記の変化量は、包括的な動きのベクトルの大きさである。前景要素毎に領域の統計データが算出される（Ｓ８１０）。本発明の実施形態において、領域の統計データは、色差の統計量、または、成分（オブジェクト）の大きさの統計量であってもよい。遮蔽物追跡部は、包括的な動きの方向と大きさとシーンの変化量と領域の統計データとに基づいて、前景オブジェクトによって共有ボードが遮蔽されているか否かを決定し、且つ、シーンの活性度が静的（static）および動的（active）のいずれであるかを決定する（Ｓ８１２）。本発明の実施形態において、オブジェクトの軌跡は、複数の遮蔽物の状態のうちのいずれの状態であるかを識別するために用いられる。例えば、”静止状態”、”出状態”、”入状態”、”書込状態”のいずれかに識別される。”静止状態”とは、遮蔽オブジェクト（遮蔽物を示すオブジェクト）がほぼ移動していない状態である。”出状態”とは、遮蔽オブジェクトの動きの軌跡がシーンから退出する方向を示している状態である。”入状態”とは、遮蔽オブジェクトの動きの軌跡がシーンへ入る方向を示している状態である。”書込状態”とは、遮蔽オブジェクト（例えば人の手）が上下方向に対する揺れと左右方向に対する僅かな移動を伴いつつもほぼ静止している状態であり、ボードに対してラテン文字を記入しているような状況を示す。さらに、本発明の実施形態は、前記の”書込状態”とは異なる”描画状態”を備えていてもよい。前記の”描画状態”は、”書込状態”と比較して、遮蔽オブジェクトの動きの軌跡が大きく、不規則な動きの軌跡がより多い状態である。遮蔽物追跡部７１２の出力は、マーク履歴メモリ更新部７０８、仮想透明描画部７１０、撮像制御部７１６にて利用可能とされてもよい。
【００３９】
本発明の実施形態において、図７および図９に示されるように、マーク履歴メモリ更新部７０８は、共有ボードに書き込まれている内容の記録の格納（保存）および更新を行い、現時点において観測できない以前の内容の描画処理を行うことを可能にする。マーク履歴メモリは、仮想透過描画処理およびストリーム処理を制御するためのものである。
【００４０】
マーク履歴メモリ更新部７０８は、図９に示すように、エッジ検出部９０４、エッジ選択部９０６、マーク履歴メモリ９０８に対する更新処理を選択的にトリガーする更新制御部９０２を備える。更新制御部９０２は、不活性（非活動）の期間の不必要な処理を避けるために用いられ、且つ、マーク履歴メモリの更新方法の決定に用いられる。更新制御部９０２は、遮蔽物追跡部７１２から、活性度を示す活性度情報９１０と、遮蔽物制御情報９１２とを受信する。また、更新制御部９０２は、シーンの状態を決定してもよい（例えば、シーンが静的状態か、活性状態か、若しくは不活性状態かを決定する）。また、更新制御部９０２は、同様に、シーンの状態遷移を検出してもよい（例えば、活性状態から不活性状態への遷移、不活性状態から活性状態への遷移、遮蔽状態から非遮蔽状態への遷移、非遮蔽状態から遮蔽状態への遷移、他の状態遷移）。本発明の実施形態において、シーンの状態の決定、および、シーンの状態遷移の検出は、米国特許出願12/636,533にて述べられている方法およびシステムに基づいて実行される。米国特許出願12/636,533は、その題名が「共有ボードに書き込み内容に対して意味付けするシステムおよび方法」であって、出願日が2009年12月11日である。また、前述した米国特許出願12/636,533は、ここでは、その全体を参照することによって援用される。更新制御部９０２は、シーンの状態もしくは状態遷移に基づいて、内部処理と後続処理とを制御する。本発明の実施形態において、シーンが活性状態であること、若しくは、活性状態から静的状態への遷移を更新制御部９０２が決定した場合、エッジ検出部９０４に制御信号が送られる。
【００４１】
エッジ検出部９０４は、更新制御部９０２から制御信号を受け取るとエッジ検出処理を実行する。エッジ検出部９０４は、エッジマップ（エッジマスクと称してもよい）９０５を作成する。本発明の実施形態において、エッジ検出処理は定期的（所定時間毎）に実行される（例えば、活性状態の間のＮフレーム毎またはＴ秒毎）。好ましくは、エッジマップは０．５秒毎に作成される。
【００４２】
本発明の実施形態において、エッジ検出部９０４は、ソーベル演算子（差分演算子）による処理、および、２値化処理を行う。この２値化処理では、画像に依存するシーンの統計データに基づいて設定された閾値が用いられる。背景画素の値の差分の変化量は、概ね、ガウス型（ガウス分布）に従ったものとなり、表面マークが存在すると外れ値が生じることがある。ガウスモデルは、まず分布からの外れ値を除外し、次に残りの値からモデルのパラメータを見積もることによって算出される。２値化処理の閾値は、見積もられた平均からの偏差の倍数として設定される。２値化処理は、ソーベル演算子の演算結果に適用されてもよい。別の実施形態では他の差分演算子が用いられてもよい。
【００４３】
エッジ選択部９０６は、遮蔽オブジェクトに起因して生じるエッジを排除するために、前景マスク７０７とエッジマップ９０５と融合させる処理を行う。
【００４４】
マーク履歴メモリ９０８は、現在可視化されているエッジの状態を、前のエッジの状態に重ねる処理を行う。共有ボードから内容（書き込む内容）が追加または除去される時、これら変化（追加・除去）を反映させるためにマーク履歴メモリが更新され、変化の程度および種類を示すためにコンテント制御情報９２０が他のモジュールに引き渡される。本発明の一実施形態において、マーク履歴メモリ９０８は、前回のメモリとエッジ選択部９０６の結果との論理演算（ＯＲ演算）によって更新される。マーク履歴メモリ９０８は、消去され無効化されたエッジの情報が満たされる。マーク履歴メモリ９０８において、無効情報を減少させるために、本発明の実施形態においては、不活性期間中に、無効情報を減少させる措置が実行される。本発明の他の実施形態において、マーク履歴メモリ９０８に記憶されている情報は、システムに確認された後、時期の制限が対応付けられる。本発明の実施形態において、前景オブジェクトによって遮蔽されていない領域は定期的に検証される必要がある一方、遮蔽されている領域は、遮蔽物がなくなる後まで、以前からのマークを維持しており、遮蔽物がなくなった後に検証が実行される。本発明の実施形態において、マークの位置はデフォルト値にリセットされる。つぎに、以後のフレームにおいて非遮蔽位置がマークを含まなかった場合、マーク履歴メモリが当該位置においてマークを記録しなくなるまで当該値を減少させる。これら実施形態において、マーク履歴メモリ９０８からマークを消去する前に、いくつかの承認状態の要求によってノイズ検出が可能になる。
【００４５】
描画制御情報９１８、受信した現フレーム７０３、以前の結果を示す前結果情報（以前のフレームである基準フレーム）７１５、遮蔽物制御情報７１３、および、コンテント制御情報９２０は、仮想透明描画部７１０にて利用可能にされる。仮想透明描画部７１０は、受信した現フレーム７０３を、前回結果（前フレーム）に合成する（融合または重ね合わせる）。本発明の実施形態において、仮想透明描画部７１０は、遮蔽物（前景オブジェクト）が透明物若しくは半透明物として描画され、共有ボードを示す画像を作成する。そして、現フレームにおける遮蔽部分は、前回結果画像（前回のフレーム）の対応箇所（前記遮蔽部分に対応する箇所）に基づいて描画が行われる。また、本発明の実施形態において、仮想透明描画部７１０は、遮蔽物（前景オブジェクト）が輪郭（輪郭線のみ）として描画され、共有ボードを示す画像を作成する。そして、現フレームにおける遮蔽部分は、前回結果画像（前回のフレーム）の対応箇所（前記遮蔽部分に対応する箇所）に基づいて描画が行われる。新たな内容（書き込み）の追加がない期間、若しくは、現在の内容（書き込み）が共有ボードから除かれない期間である不活性の期間中、現フレームと前フレーム（１以上の前フレーム）とから得られる情報の合成が不要であるため、仮想透明描画部７１０は活性でない。活性の期間中、仮想透明描画部７１０は、以前の結果若しくは現フレームから画素を選択するためのブレンドマスク（合成マスク）を用いる。ブレンドマスクは、前景オブジェルトマスクおよびマスク履歴メモリの値に基づいて、割り出される。ブレンドマスクは、遮蔽されていないマーカーの位置の場合は現フレームから選択される画素位置の値を示し、遮蔽されている領域若しくはマークされていない位置の場合は前結果から選択される画素位置の値が示されるように形成される。本発明の実施形態において、現フレームと前回結果とは、アルファブレンド手法（アルファ合成）を用いて合成される。本発明の実施形態において、前結果は、新たなフレームからのパラメータへとゆっくりと変化する。本発明の実施形態において、ブレンド強度（合成強度）は、位置の確度値に応じて調整される。位置に関する確度値は、エッジ位置がマークを含んでいる確度、または、その位置が前景オブジェクトとして誤ってラベリングされる確度を反映した値である。仮想透明描画部７１０は、合成画像７１１を前結果メモリ７１４へ書き込む。
【００４６】
本発明の他の実施形態において、描画化された画像７１１は、画像処理方法およびシステムを用いて画質改善（エンハンス）される。本発明の実施形態において、共有ボードの照明の変化量（variation）は規格化され、照明のカラーバランスは補正されている。本発明の実施形態では、共有ボードの画像のマークの可読性を高める鮮鋭化フィルタが備えられる。本発明の実施形態において、仮想透明描画部７１０は、画質改善（エンハンスメント）機能を備えてもよい。本発明の他の実施形態（不図示）において、仮想透明描画部の結果は画質改善部にて利用可能になっていてもよい。画質改善部は、画質改善された結果画像を前結果メモリにて利用可能にするためのものである。
【００４７】
撮像制御部７１６は、仮想透明処理の結果を他のシステムへ送信（broadcast）し、経路指定するための論理制御を行うようになっていてもよい。ストリーム制御情報７１７は、新たな情報が表示装置にて利用可能であることを示すために、共有ボードの表示システムへ送信される。ストリーム制御情報７１７は、共有ボードの内容（書き込み内容）の記録の大きな変化を保存するために、システムの格モジュールへ送信される。あるいは、対象となる領域（regions-of-interest）、関係者、識別情報、意味付けされた情報、他の共同会議の情報を示すために、ストリーム制御情報７１７によって、共同会議に関するメタデータを引き渡すようになっていてもよい。本発明の実施形態において、メタデータは、米国特許出願12/636,533にて述べられている方法およびシステムに基づいて識別される。米国特許出願12/636,533は、その題名が「共有ボードに書き込み内容に対して意味付けするシステムおよび方法」であって、出願日が2009年12月11日である。また、前述した米国特許出願12/636,533は、ここでは、その全体を参照することによって援用される。
【００４８】
[具体例]
セグメンテーションマップ７０７の作成、成分に対するラベリング、前記の再ラベリングについては米国特許出願12/636,533にて述べられている方法を用いることができる。以下では当該方法について述べる。
【００４９】
遮蔽物の検知は、現フレームと、遮蔽されていないことが知られている基準フレームとの比較を含んでもよい。基準フレームは、共有ボードシステムが初めて起動され、遮蔽／非遮蔽イベントの組み合わせが発生した後に、続いて更新されるときに、初期化されてもよい。
【００５０】
典型的な実施形態では、キー画像として参照もされる基準フレームの輝度成分と、現フレームの輝度成分との差（差分）は、次の式（１）によって決定されてもよい。
【００５１】
fdiff= Lkey - Lcurr （１）
ここで、fdiff、Lkey、Lcurrは、輝度値の差、基準フレームの輝度成分、現フレームの輝度成分を表している。いくつかの実施形態では、輝度成分は、次の式（３）により、ＲＧＢ（赤緑青）画像に対して算出されてもよい。
【００５２】
L(・) = 0.375R(・) + 0.5G(・) + 0.125B(・) （３）
ここで、L(・)、0.375R(・)、0.5G(・)、0.125B(・)は、それぞれ、画像の、輝度成分、赤成分、緑成分、青成分を表している。他の実施形態では、輝度成分は、次の式（４）により、ＲＧＢ画像に対して算出されてもよい。
【００５３】
L(・) = 0.3R(・) + 0.6G(・) + 0.1B(・) （４）
例えば、白板あるいはフリップチャートといった明るい背景色の共有ボードについては、遮蔽する物体は、ボード表面より暗く見えることがある。より暗い背景色の共有ボードの場合、遮蔽する物体は、ボード表面より明るく見えることがある。共有ボードの背景色はシステムの初期化で決定されてもよい。後述の典型的な実施形態では、明るい色の背景を有する共有ボードについて記述する。これは単なる例であり、発明を制限するものではない。
【００５４】
明るい色の背景の共有ボードを含む典型的な実施形態では、マイナスの値fdiffのピクセルは、現行画像が基準画像よりも明るく見える場所による場合もあり、また、これらのピクセルは遮蔽の検知においては、無視してもよい。さらに、差の信号であるfdiffは、画像システム中のノイズ、光の様々な状態、及び他の要素に起因する、見せ掛けのコンテンツを含んでいる場合がある。ピクセルの位置における、差の信号であるfdiffの大きさは、その位置における変化の有意性として表せる。従って、fdiffの小さなプラスの値は、遮蔽の検知の段階における更なる処理のために除去されてもよい。いくつかの実施形態では、fdiffのピクセル値は、ピクセルの位置が遮蔽候補に関するかを決定するために、Toccで表される差分閾値と比較されてもよい。位置の２値のマスクは次の式（２）によって形成さてもよい。
【００５５】
【数１】
【００５６】
ここでmdiffは、マスクを表し、(i,j)は、ピクセル位置を表す。
【００５７】
マスクmdiffはオーバーラップしないブロックに分割される。そして、差分閾値Toccを越える、各ブロックにおけるピクセルの数が、数えられる。Tbdenで表されるブロック密度閾値を越えるブロックがカウントされると、次に、そのブロックは、「変更された」ブロックとしておそらくマークされる。画像の境界に接する連続した「変更された」ブロックラベルは、共有ボードと遮蔽する物体（遮蔽物体）として、まとめてラベルされる。画像の境界に接しない「変更された」ブロックは、ノイズあるいはコンテンツの変更を表わしており、これら「変更された」ブロックは無視される。遮蔽物体のサイズ（大きさ）がTobjsizeで表されるサイズ閾値を越える場合、遮蔽されていることを示す事象（遮蔽イベント）が検知される。
【００５８】
図１０は、差分画像に関する典型的なブロック９０の集合を示している。白いブロックは、「変更された」ブロックとしてブロックをマークするための、差分閾値を越える十分な数のマスク・ピクセルが、無いブロックを表わす。白くないピクセルの４つのグループ９２、９４、９６、９８は、それぞれ「変更された」ブロックを示す。最も暗い色のグループ９４は、このグループの連続するブロックが画像の境界に接していないので、遮蔽物体としては考慮されない。ハッチングされたブロック９６，９８は、遮蔽物体の候補として考慮されるが、これらのサイズがサイズ閾値未満であるので、遮蔽イベントを引き起こさない。灰色のグループ９２は、そのサイズ及び画像の境界への接していることに基づいて、遮蔽物体として考慮され、遮蔽イベントを引き起こす。これらは例示である。
【００５９】
本発明の典型的な実施形態では、例えば、ブロックのサイズは８０×８０ピクセルであってもよい。
【００６０】
８ビットの輝度値を含む本発明の典型的な実施形態では、差分閾値Toccは１５であってもよい。
【００６１】
本発明の典型的な実施形態では、ブロック密度閾値Tbdenはブロック中のピクセル数の５０％であってもよい。これらの実施形態では、ブロック中のピクセルの少なくとも５０％が差分閾値Toccを越える場合、ブロックは「変更された」ブロックとしてラベルされる。
【００６２】
本発明の典型的な実施形態では、遮蔽物体が少なくとも３０のブロックから成る場合、遮蔽イベントが発生してもよい。
【００６３】
その後の画像が、十分なサイズで画像の境界に接して置かれる遮蔽物体を含んでいる限り、遮蔽イベントは検知され維持される。これらのその後の画像は、内容変更のための保存や分析がされなくてもよい。検知された遮蔽イベントがないために一旦その後の画像を受信すると、画像は新しい内容を検知するための分析がなされる。
【００６４】
本発明のいくつかの実施形態では、非遮蔽の検知は、非遮蔽イベントと共に、遮蔽の検知と同じプロセスを含んでもよい。非遮蔽イベントは、遮蔽物体が検出されないとき、あるいは、遮蔽イベントを引き起こす十分な大きさの遮蔽物体がないとき、引き起こされる。
【００６５】
本発明の実施形態に関する遮蔽の検知及び非遮蔽の検知の典型的な例は、図１１を用いて説明することができる。これらの典型的な実施形態では、まず、キー（鍵）画像（基準フレーム）の輝度Lkeyを受信する（Ｓ１００）。そして、現行画像（現フレーム）の輝度Lcurrを受信する（Ｓ１０２）。そして、輝度の差分fdiffを、以下の式（１）で算出する（Ｓ１０４）。
【００６６】
fdiff= Lkey - Lcurr （１）
２値遮蔽候補マスクmdiffを、以下の式（２）で形成する（Ｓ１０６）。
【００６７】
【数１】
【００６８】
そして、２値遮蔽候補マスクから遮蔽候補ブロックを検出する（Ｓ１０８）。具体的には、２値遮蔽候補マスクを、互いにオーバーラップしない複数のブロックに分割する。各ブロックは複数画素からなる。そして、差分閾値Toccを越えるピクセル数がブロック密度閾値Tbdenを超えるブロックを遮蔽候補ブロック（「変更されたブロック」）として検出してラベリングする（マークする）。さらに、連続する遮蔽候補ブロックを検知する（Ｓ１１０）。画像の境界に接しない連続する遮蔽候補ブロック（「変更されたブロック」）を、遮蔽候補から除去する（Ｓ１１２）。つまり、画像の境界に接しない連続する、変更されたブロックを、遮蔽候補ブロックとして扱わなくなる。また、画像に接しているが遮蔽物体としての大きさが十分ではない遮蔽候補ブロックを、遮蔽候補から除去する（Ｓ１１４）。つまり、画像の境界に接しているが遮蔽物体としての大きさが十分ではない遮蔽候補ブロックを、遮蔽候補ブロックとして扱わなくなる。
【００６９】
Ｓ１１２の位置及びＳ１１４サイズに基づく除去の後、遮蔽候補ブロックが残っておらず（Ｓ１１７）、そして、非遮蔽の検知が実行されると（Ｓ１１９）、非遮蔽イベントが発せられる（Ｓ１２０）。Ｓ１１２の位置及びＳ１１４サイズに基づく除去の後、遮蔽候補ブロックが残っており（Ｓ１２１）、そして、遮蔽の検知が実行されると（Ｓ１２３）、遮蔽イベントが発せられる（Ｓ１２４）。そうでなければ、現行の非遮蔽／遮蔽の状態が、維持される。
【００７０】
そして、遮蔽候補ブロックが残っている場合、遮蔽候補ブロックを遮蔽物として扱い、遮蔽候補ブロックの画素を「１」、それ以外の位置を「０」で示したセグメンテーションマップ７０７が作成されることになる。これに対し、遮蔽候補ブロックが残っていない場合、全ての画素を「０」としたセグメンテーションマップ７０７が作成される。
【００７１】
[遮蔽物追跡部について]
以下では、遮蔽物追跡部７１２における遮蔽物の動きの方向と遮蔽物の動きの大きさを見積もる方法をより詳細に説明する。
【００７２】
本実施例の遮蔽物追跡部７１２は、下記の動きベクトル算出処理と活性度判定処理とを行うようになっている。
【００７３】
（動きベクトル算出処理）
遮蔽物追跡部７１２は、現フレームｆｎ（現在の撮像画像）から得られたセグメンテーションマップ（遮蔽物マスク）を、８０×８０画素のブロックに分割し、分割されたブロック毎に、ブロックマッチングを行うことにより動きベクトルを求めるようになっている。ブロックのサイズは上記に限定されるものではなく、遮蔽物を適切に検出できるサイズであればどのようなサイズであっても構わない。
【００７４】
以下、前記のブロックマッチングについて説明する。まず、遮蔽物追跡部７１２は、図１２に示すように、現フレームｆｎのセグメンテーションマップにおいて、分割された各ブロックのうちの一つのブロックを注目ブロックとする。
【００７５】
つぎに、遮蔽物追跡部７１２は、前フレームｆｎー１（現フレームｆｎが撮影される一定期間前に撮影され、現フレームｆｎの一つ前のフレーム）において注目ブロックよりも広い範囲を探索範囲として設定する（図１２参照）。なお、前フレームｆｎ−１の全エリアを探索範囲としてもよいし、処理時間短縮のために、探索範囲を、前フレームｆｎ−１の全エリアの一部に制限してもよい（図１２参照）。
【００７６】
そして、遮蔽物追跡部７１２は、探索範囲内において注目ブロック（８０×８０画素）をＸ方向（水平方向）およびＹ方向（垂直方向）に移動させながら、注目ブロックと同じ特性を持っている比較対象ブロックの有無を探索する探索処理を行う。
つまり、この探索処理では、前フレームｆｎー１において、現フレームｆｎの注目ブロックの画像部分と同じ画像部分のある位置を探索するようになっている。具体的に、遮蔽物追跡部７１２は、探索範囲において比較対照ブロックを移動させる度に、現フレームｆｎにおける注目ブロックに対応する箇所の各画素の濃度値と前フレームｆｎー１における比較対象ブロックに対応する箇所の各画素の濃度値（画素値）との差分の合計ｖを求める。この合計ｖは、下記の式（６）によって求めることができる。なお、濃度値としては、例えば、赤色濃度値と青色濃度値と緑色濃度値との平均値または加重平均値が挙げられる。あるいは、濃度値の代わりに上記した輝度（輝度成分）を用いても良い。
【００７７】
【数２】
【００７８】
式（６）において、ｆｎ（ｉ，ｊ）は、注目ブロックの座標（ｉ，ｊ）に位置する画素の濃度値である。ｆｎー１（ｉ＋ｄｘ，ｊ＋ｄｙ）は、比較対象ブロックにおいて、前記注目ブロックの座標（ｉ，ｊ）に対応する座標（ｉ＋ｄｘ，ｊ＋ｄｙ）の画素の濃度値である。
【００７９】
遮蔽物追跡部７１２は、探索範囲内の全ての比較対象ブロックの各々について合計ｖを求め、求めた合計ｖの中の最小値を濃度パラメータとする。さらに、遮蔽物追跡部７１２は、当該最小値の算出に用いられた注目ブロックの画素の座標（ｉ，ｊ）と比較対象ブロックの画素の座標（ｉ＋ｄｘ，ｊ＋ｄｙ）との距離ｒ（図１３参照）を求め、求めた距離を距離パラメータとする。但し、この場合、現フレームを基準にして方向を求めているので、求めた方向のマイナス方向を動きの方向とする。
【００８０】
このようにして、遮蔽物追跡部７１２は、一つの注目ブロックについて、濃度パラメータ（遮蔽物の動きの大きさ）および距離パラメータ（遮蔽物の動きの方向）を求め、求めた濃度パラメータと距離パラメータとのセットを動きベクトルとしている。そして、活性度出力部は、現フレームｆｎに設定される注目ブロック毎に前記の動きベクトルを求めるようになっている。以上では、現フレームに注目ブロックを設定して動きベクトルを求めているが、前フレームに注目ブロックを設定し動きベクトルを求めるようにしても良い。
【００８１】
（活性度判定処理）
共有ボード１０４が遮蔽物により遮蔽された際、一つ前の時間に取り込まれた映像（前フレーム）には同じ対象物（遮蔽物）が存在しないため、前記の濃度パラメータは大きな値になる（最大値は１６３２０００（１画素の最大輝度差２５５×画素数６４００））。これに対し、一定時間の経過後において、遮蔽物が同じ位置に存在する場合、前記濃度パラメータはほぼゼロになる。あるいは、遮蔽物に動きがある場合、前記濃度パラメータは遮蔽物の動きに応じた値となる。遮蔽物の動きが大きければ大きな値となり、小さければ小さい値となる。
【００８２】
つまり、注目ブロック毎に、濃度パラメータに対して複数の閾値を設定して閾値処理を行うとともに、遮蔽物（或いは遮蔽候補）の画素数に関する下記の条件に基づいて、遮蔽物の状態（共有ボードの状態）を下記の（１１）〜（１５）のように識別する。
（１１）濃度パラメータが閾値Ａ以上であり、「遮蔽物を表す画素数が小さな値（ゼロに近い値）から大きな値に変化する」という条件Ａを充たす注目ブロックの割合が閾値Ｎ以上のとき、入状態と判定する。
（１２）濃度パラメータが閾値Ｂ未満であり、「遮蔽物を表す画素数が注目ブロックと当該注目ブロックに対応する比較対象ブロックとで共に大きな値である」という条件Ｂを充たす注目ブロックの割合が閾値Ｎ以上のとき、書込状態と判定する。
（１３）濃度パラメータが閾値Ｂ以上であって閾値Ａ未満であり、前記条件Ｂを充たす注目ブロックの割合が閾値Ｎ以上のとき、描画状態と判定する。
（１４）濃度パラメータが閾値Ａ以上であって、「遮蔽物を表す画素数が大きな値から小さな値（ゼロに近い値）に変化する」という条件Ｃを充たす注目ブロックの割合が閾値Ｎ以上のとき、出状態と判定する。
（１５）濃度パラメータが閾値Ｂ未満であって、「遮蔽物を表す画素数が注目ブロックと当該注目ブロックに対応する比較対象ブロックとで共に小さな値である」という条件Ｄを充たす注目ブロックの割合が閾値Ｎ未満のとき、静止状態と判定する。
【００８３】
なお、注目ブロックにおける遮蔽物（或いは遮蔽候補）の画素数は、現フレームｆｎのセグメンテーションマップの注目ブロックの位置を参照すればカウント可能であり、比較対象ブロックにおける遮蔽物の画素数は、前フレームｆｎ−１のセグメンテーションマップの比較対象ブロックの位置を参照すればカウント可能である。
【００８４】
また、以上の条件Ａ〜条件Ｄの各々では、遮蔽物を表す画素数に対して閾値Ｄ１および閾値Ｄ２（閾値Ｄ１＞閾値Ｄ２）を設定し、閾値Ｄ１以上の値を示す場合に「大きな値」と判定し、閾値Ｄ２未満の場合に「小さな値」と判定するようになっていてもよい。また、閾値Ｄ１は条件毎で異なる値に設定してもよいし同じ値であってもよく、閾値Ｄ２についても条件毎で異なる値に設定してもよいし同じ値であってもよい。また、注目ブロックの遮蔽物画素数と当該注目ブロックに対応する比較対象ブロックの遮蔽物画素数との差分を求め、当該差分を閾値処理するようになっていてもよい。
【００８５】
また、以上の（１１）〜（１５）において、「割合」とは、現フレームに設定される全ての注目ブロック数に対する割合を意味する。また、以上の（１１）〜（１５）では、各条件を満たす注目ブロックの割合と閾値とを対比しているが、各条件を満たす注目ブロックの数と閾値とを対比して判定を行うようになっていてもよい。
【００８６】
なお、閾値Ａ、閾値Ｂ、閾値Ｄ１、閾値Ｄ２、閾値Ｎは、システム設計者による事前試験（共有ボード１０４を遮蔽して共有ボード１０４に書き込みや描画を行うことで各閾値を求める試験）によって好ましい値に設定され、設定された各閾値がＶＴ撮像制御部に記憶されるようになっている。なお、閾値Ａは、極めて高い値であって前記の最大値（１６３２０００）よりも低い値に設定され、閾値Ｂは、閾値Ａよりも極めて低い値である。また、閾値Ｎは、共有ボード１０４が遮蔽された場合、遮蔽物があると判定されるような値に設定すれば良い。遮蔽されているか否かをブロックの数で判断する場合、遮蔽物の大きさとブロックの大きさとに基づいて設定すれば良い。
【００８７】
そして、遮蔽物追跡部７１２は、前記（１１）を満たす間、”入状態”を示す活性度を出力し、前記（１２）を満たす間、”書込状態”を示す活性度を出力し、前記（１３）を満たす間、”描画状態”を示す活性度を出力し、前記（１４）を満たす間、”出状態”を示す活性度を出力し、前記（１５）を満たす間、”静止状態”を示す活性度を出力する。
【００８８】
なお、”静止状態”とは、共有ボード１０４の書き込み内容に変化が無い状態を指し、”書込状態”、”描画状態”とは、共有ボードの書き込み内容が変化した状態を指す。
【００８９】
さらに、前記の活性度が”静止状態”の間、撮像制御部７１６は、撮像装置６０４にて得られ且つ仮想透明描画部７１０の合成処理を経ていないストリームを各ディスプレイ６１０、６１２、６１４、６１６に出力し、各ディスプレイ６１０、６１２、６１４、６１６は当該ストリームに基づく画像を表示するようになっている。
【００９０】
これに対し、撮像制御部７１６は、前記の活性度が”入状態”、”書込状態”、”描画状態”あるいは”出状態”になると、前記のストリームを出力せずに、仮想透明描画部７１０にて合成処理された合成画像を各ディスプレイ６１０、６１２、６１４、６１６に出力し、各ディスプレイ６１０、６１２、６１４、６１６は当該合成画像を表示するようになっている。
【００９１】
仮想透明描画部７１０は、前景オブジェクト分離部７０６にて生成されたセグメンテーションマップ７０７を参照して、現フレームにおいて遮蔽物が示されている遮蔽物領域（画素）を特定する。なお、セグメンテーションマップ７０７は、現フレームの一部領域に存在するが前フレーム（基準フレーム）の前記一部領域に存在しない遮蔽物の位置を示すマップである。
【００９２】
そして、仮想透明描画部７１０は、前フレームと現フレームとを合成した合成画像を作成する。具体的に、仮想透明描画部７１０は、遮蔽物領域については、前フレームの内容が示される程度に遮蔽物が透過するようにアルファブレンド処理によって合成を行う。また、仮想透明描画部７１０は、遮蔽物領域以外の領域については、前フレームの画素を合成画像に適用するようになっている。これにより、図４のように半透明化した遮蔽物の示された画像を表示できる。
【００９３】
また、仮想透明描画部７１０は、現フレームの遮蔽物領域の輪郭線（エッジ）を抽出し、この輪郭線を前フレームにおける前記遮蔽物領域に上書合成するようになっていてもよい。これにより、図５のように遮蔽物の輪郭部のみを示した合成画像を表示できる。
【００９４】
また、エッジ検出部９０４におけるエッジ検出の手法は周知のエッジ検出手法が用いられてもよい。例えば、濃度勾配が閾値以上の部分をエッジ部分と判定するような手法が用いられてもよい。
【００９５】
また、図４または図５に示すように、本実施形態の合成処理にて得られる画像においては、前記遮蔽物を、輪郭（エッジ）を含めた透明物若しくは半透明物として描画することにより、遮蔽物の位置を明示している形態であるが、このような形態に限定されるものではない。例えば、エッジが除去されている透過物またはシルエットとして遮蔽物を表示する形態、あるいは、遮蔽物を完全に除去する形態であってもよい。そして、エッジが除去されている透過物またはシルエットとして遮蔽物を表示する形態の場合、図５に示すエッジ選択部９０５においてエッジ除去処理が行われる。
【００９６】
[実施形態の統括]
以上示した実施形態の画像形成方法は、コンピュータに実行させる方法であり、共有ボードを示す画像を形成する方法であって、現時点よりも以前のフレームである前結果画像を現フレームに合成することによって上記画像を形成する合成工程を含んでおり、上記現フレームに遮蔽部分が示されている場合、上記形成工程にて形成される画像において上記遮蔽部分は、上記前結果画像の上記遮蔽部分に対応する部分に基づいて描画されることを特徴とする。
【００９７】
また、以上の画像形成方法は、上記現フレームの上記遮蔽部分を決定する決定工程を含んでもよい。さらに、上記決定工程は、遮蔽物を追跡する追跡工程を含んでもよい。また、上記遮蔽物は、上記共有ボードを示す前記画像において、半透明体として映し出されるようになっていてもよい。さらに、上記遮蔽物は、上記共有ボードを示す前記画像において、輪郭のみが映し出されるようになっていてもよい。また、上記追跡工程は、セグメンテーションマップ（セグメンテーションマスク）を受信する工程と、上記セグメンテーションマップに対してフィルタ処理を実行する工程と、上記フィルタ処理後の上記セグメンテーションマップを記録し、これによりフィルタ処理後のセグメンテーションマップの時間経過に伴う状態変化を生成する工程と、上記状態変化に基づいて、包括的な、上記遮蔽物の動きの方向を見積もる工程と、上記動きの方向の大きさを決定する工程とを含んでもよい。また、以上の画像形成方法は、上記共有ボードの活性度を決定する工程を含み、上記活性度が上記共有ボードに書き込まれている内容の変化を示す時のみ、上記合成工程を実行するようになっていてもよい。また、上記現フレームは、撮像にて得られたフレームに前処理を施して得られたものであってもよい。さらに、上記画像形成方法は、上記撮像されたフレームに遠近歪みを除く補正を施し、上記撮像されたフレームにおいて上記共有ボードに対応する対象領域をクロップすることにより、上記現フレームを形成するようになっていてもよい。また、上記共有ボードは、フリップチャート、白板、黒板、用紙からなる群より選ばれるいずれかであってもよい。
【００９８】
以上示した実施形態の共有ボードシステムは、共有ボードと、上記共有ボードを撮像した撮像画像を取得する撮像装置と、上記共有ボードを示す合成画像を形成する仮想透明撮像制御部とを備え、上記合成画像は、上記撮像画像に対応する現フレームと、以前のフレームである前結果画像とを合成したものであり、上記現フレームに遮蔽部分が示されている場合、上記合成画像において上記遮蔽部分は、上記前結果画像の上記遮蔽部分に対応する部分に基づいて描画されることを特徴とする。
【００９９】
また、以上の共有ボードシステムにおいて、上記共有ボードは、フリップチャート、白板、黒板、用紙からなる群より選ばれるいずれかのボードであることが好ましい。また、上記共有ボードシステムは、上記撮像画像に遠近歪みを除く補正を施して上記現フレームを形成する画像整形部を備えていてもよい。また、上記共有ボードシステムは、上記撮像画像にデモザイク処理を施して上記現フレームを形成するデモザイク処理部を備えてもよい。また、上記共有ボードシステムは、上記現フレームにおける遮蔽物を識別する前景オブジェクト分離部と、上記遮蔽物を追跡する遮蔽物追跡部とを備えてもよい。また、上記遮蔽物は、上記合成画像において、半透明体として映し出されてもよい。また、上記遮蔽物は、上記合成画像において、輪郭のみが映し出されてもよい。また、上記遮蔽物追跡部は、セグメンテーションマスクを受信するグメンテーションマスク受信部と、上記セグメンテーションマスクに対してフィルタ処理を実行するフィルタ処理実行部と、上記フィルタ処理後の上記セグメンテーションマスクを記録し、これによりフィルタ処理後のセグメンテーションマップの時間経過に伴う状態変化を生成する情報生成部と、上記状態変化に基づいて、包括的な、上記遮蔽物の動きの方向を見積もる動き見積部と、上記動きの方向の大きさを決定する決定部とを備えてもよい。また、上記仮想透明撮像制御部は、活性度が上記共有ボードに書き込まれている内容の変化を示す時のみ、上記合成画像を形成するようになっていてもよい。さらに、上記共有ボードシステムは、上記共有ボードを示す上記合成画像をエンハンスする画像エンハンス部を備えるようになっていてもよい。
【０１００】
なお、本発明の実施形態は、共有ボードに示される情報を記録、共有、撮影する方法およびシステムを含む。
【０１０１】
本発明の第１の特徴に応じて、本発明の実施形態は、以前のフレームである前結果画像にて維持されており、現時点まで継続している共有ボードの内容（書き込み内容）を、遮蔽物による遮蔽の期間中にて可視化する方法およびシステムを備える。
【０１０２】
本発明の第２の特徴に応じて、本発明の実施形態において、遮蔽物は半透明物として映し出され、且つ、現フレームにおける遮蔽位置は、上記前結果画像における上記遮蔽位置に対応する位置に基づいて描画される。
【０１０３】
本発明の第３の特徴に応じて、本発明の実施形態において、遮蔽物は輪郭のみが映し出され、且つ、現フレームにおける遮蔽位置は、上記前結果画像における上記遮蔽位置に対応する位置に基づいて描画される。
【０１０４】
上記説明に用い開示された図の中のチャート及びダイアグラムは、実行の特定の順序を示しているが、実行の順序が図に示されたものとは異なってもよい。例えば、工程ブロックの実行の順序が、開示された順序から、変更されてもよい。また、さらなる例として、図における連続した２以上の工程ブロックが、同時にあるいは、一部が同時に、実行されてもよい。また、ここに開示された様々な論理的機能を遂行するための、ソフトウェア、ハードウェア及び／またはファームウェアを構成することは、当業者であれば理解できる。
【０１０５】
本発明のいくつかの実施形態は、実行命令を格納している、及び／または、上記された特徴を実行するコンピュータをプログラムするために使用される、コンピュータ読取可能な記憶手段及び／または媒体である、コンピュータ・プログラム製品を含んでもよい。
【０１０６】
以上の明細書にて採用した用語および表現は、あくまで発明の実施形態を説明するためのものであり、発明の範囲を制限するものではない。そのような表現を用いたとしても、図示または記載されている特徴物、その特徴物の均等物、その特徴物の一部は発明の範囲から除外されない。発明の範囲は、以下に示すクレームによってのみ定められ、制限される。
【０１０７】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【０１０８】
１００ 共有ボードシステム
１０２ 撮像装置
１０４ 共有ボード
６００ 共有ボードシステム
６０２ ＶＴ撮像制御部（処理部）
６０４ 撮像装置
６０６ 共有ボード
６０８ 格納部
７０２ 現フレーム受信部
７０６ 前景オブジェクト分離部（マスク生成部）
７０８ マーク履歴メモリ更新部
７１０ 仮想透明描画部（合成部）
７１２ 遮蔽物追跡部（活性度決定部）
７１６ 撮像制御部
９０２ 更新制御部
９０４ エッジ検出部
９０６ エッジ選択部
９０８ マーク履歴メモリ
【技術分野】
【０００１】
本発明の実施形態は、一般的な共有（協働）ボードシステムに関し、特に、遮蔽物の検出に基づいて画像を更新してシェア（共有）する方法およびシステムとに関するものである。
【背景技術】
【０００２】
フリップチャート、ホワイトボード、黒板及び他の物理的な書き込みボード（共有ボード）は、共同使用者の間でクリエイティブなインタラクションを促進するために使用されることがある。共有ボード（共同書き込み面）として言及されたこれらボードの情報を、クリエイティブなインタラクションを妨害せずに撮影し、撮影された情報が、同じ場所に位置しない使用者の間で、途切れなく自然に共有されることを可能にし、続いてアクセスされ再実行されるインタラクションの記録を引き起こす、装置、方法、システムが望まれている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−４３４５８号公報（公開日：平成１３年２月１６日）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
共有ボードを備えるシステムでは、共有ボードの前に遮蔽物が出現すると、書き込み内容の一部が遮蔽された状態で共有ボードの撮像画像が各共同作業者の表示装置へ送信されることになり、一部の共同作業者は、遮蔽された書き込み内容を視認できず不便であるという問題が生じていた。
【０００５】
本発明は、以上の問題に鑑みてなされたものであり、共有ボードを備えるシステムにおいて、遮蔽物に遮蔽された書き込み内容を視認できないという不便を解消することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明は、共有ボードを撮像して、当該撮像により得られた画像を処理して表示する画像表示方法であって、上記撮像にて得られた画像の現フレームと、上記撮像にて得られた画像の以前のフレームである基準フレームとに基づいて、基準フレームの一部領域には存在しないが現フレームにおける上記一部領域に存在する遮蔽物の位置を示す遮蔽物マスクを生成する第１工程と、上記共有ボードの状態を示す活性度を決定する第２工程と、上記活性度が上記共有ボードの書き込み内容の変化を示している場合、上記基準フレームと上記現フレームとを合成し、当該合成にて得られた画像を表示する第３工程とを含み、上記第３工程では、上記合成にて得られる画像における上記一部領域において上記基準フレームの上記一部領域に示される内容が視認可能な程度に示されるように、上記合成を行うことを特徴とする。
【０００７】
また、本発明は、共有ボードと、上記共有ボードを撮像した撮像画像を取得する撮像装置と、上記撮像画像を処理して処理後の画像を表示装置に供給する処理部とを備え、上記処理部は、上記撮像画像の現フレームと、上記撮像画像の以前のフレームである基準フレームとに基づき、上記基準フレームの一部領域には存在しないが現フレームにおける上記一部領域に存在する遮蔽物の位置を示す遮蔽物マスクを生成するマスク生成部と、上記共有ボードの状態を示す活性度を決定する活性度決定部と、上記活性度が上記共有ボードの書き込み内容の変化を示している場合、上記基準フレームと上記現フレームとを合成し、当該合成にて得られた画像を上記表示装置に供給する合成部とを備え、上記合成部は、上記合成にて得られる画像における上記一部領域において上記基準フレームの上記一部領域に示される内容が視認可能な程度に示されるように、上記合成を行うことを特徴とする。
【０００８】
本発明の方法または構成によれば、共有ボードに書き込まれている内容を撮像して、複数の表示装置に送信しているようなシステムにおいて、共有ボードの前に遮蔽物が出現して書き込み内容の一部が遮蔽された状態で撮像されはじめたとしても、以前のフレームから遮蔽されている内容を抽出して、現時点にて表示される画像に当該内容を反映させることができる。これにより、共有ボードの各利用者によって、遮蔽された書き込み内容を視認できないという不便を解消できるという効果を奏する。
【０００９】
また、本発明の共有ボードシステムにおいて、上記活性度決定部は、上記遮蔽物マスクにて特定される遮蔽物について、時間経過に伴う変化を追跡する遮蔽物追跡部であり、上記マスク生成部は一定期間毎に上記遮蔽物マスクを生成し、上記遮蔽物追跡部は、一定期間毎に得られる遮蔽物マスクに対してフィルタ処理を実行するフィルタ処理実行部と、上記一定時間毎に得られる各遮蔽物マスクに基づいて、上記遮蔽物の動きの方向と、上記遮蔽物の動きの大きさとを見積もる見積部と、上記遮蔽物の動きの方向と大きさとに基づいて上記活性度を決定する決定部とを備えてもよい。
【００１０】
また、本発明の共有ボードシステムは、上記処理部における処理よりも前段の処理として、撮像画像に対して遠近歪みを除く補正を施す画像整形部を備えてもよい。さらに、本発明の共有ボードシステムは、上記処理部における処理よりも前段の処理として、上記撮像画像に対してデモザイク処理を施すデモザイク処理部を備えてもよい。
【００１１】
また、本発明の共有ボードシステムは、上記合成にて得られる画像をエンハンスする画像エンハンス部を備えてもよい。
【００１２】
また、本発明の共有ボードシステムにおいて、上記合成部は、上記合成にて得られる画像に、上記遮蔽物を半透明体として反映させるようになっていてもよい。また、本発明の共有ボードシステムにおいて、上記合成部は、上記合成にて得られる画像に、上記遮蔽物を輪郭のみ反映させるようになっていてもよい。
【発明の効果】
【００１３】
本発明によれば、共有ボードの各利用者によって、遮蔽された書き込み内容を視認できないという不便を解消できるという効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】本発明のいくつかの実施形態に係る共有ボードシステムであり、共有ボード（共同書き込み面）と、撮影システムと、演算システムと、撮影システムおよび演算システムと結ぶ通信リンクとを備えたシステムを示す図である。
【図２】（ａ）は、共有ボードを撮影したカメラの視界の画像を示した写真である。（ｂ）は、共有ボードに関係するカメラのオフ軸配置によって導入された遠近歪み除去後の、共有ボードの外観を示す修正画像の写真である。
【図３】本発明の実施形態に係る共有ボードの画像であり、遮蔽物によって部分的に遮蔽されている共有ボードの画像を示す図である。
【図４】本発明の実施形態に係る共有ボードの画像であり、あるシーンの遮蔽物が半透明体として映し出された図であり、これにより画像において以前の内容（遮蔽物に覆われた書き込み内容）が可視化される。
【図５】本発明のいくつかの実施形態に係る共有ボードの画像であり、あるシーンの遮蔽物が輪郭（輪郭のみのシルエット）として映し出された図であり、これにより画像において以前の内容（遮蔽物に覆われた書き込み内容）が可視化される。
【図６】本発明のいくつかの実施形態に係るものであり、仮想透明撮像制御部を備えた共有ボードシステムを示す図である。
【図７】本発明のいくつかの実施形態に係るものであり、仮想透明撮像制御部を示す図である。
【図８】本発明のいくつかの実施形態に係るものであり、遮蔽物追跡部の形態を示すチャートである。
【図９】本発明のいくつかの実施形態に係るものであり、マーク履歴メモリ更新部を示す図である。
【図１０】差分画像に関する典型的なブロックの集合を示す図である。
【図１１】遮蔽の検知および非遮蔽の検知手法を示すフローチャートである。
【図１２】セグメンテーションマップ（遮蔽物マスク）に基づいて、遮蔽物の大きさ、動きの変化を求める際の注目ブロックと探索範囲とを説明するための図である。
【図１３】セグメンテーションマップ（遮蔽物マスク）に基づいて、遮蔽物の大きさ、動きの変化を求める際に算出される距離ｒを説明するための図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、図を参照して説明する。全般に渡って同じ部材には同じ番号を付す。上記で列挙した図は、明細書の細部の一部である。
【００１６】
ここで概して記載され且つ図示される本発明の構成要素は、アレンジでき、幅広く種々な異なる構造に設計できるということを、容易に理解できる。つまり、以下に記述する実施形態は、本発明の具体的な一例に過ぎず、本発明はこれらによって何ら制限されるものではない。
【００１７】
本発明の実施形態の構成要素は、ハードウェア、ファームウェア及び／またはソフトウェアで実現してもよい。ここで開示される典型的な実施形態は、これらの種類のうち１つのみを記述しているが、当業者であれば、本発明から逸脱しない範囲において、これらの種類のうち全ての構成要素を達成できることは、理解できる。
【００１８】
フリップチャート、白板、黒板及び他の物理的な書き込みボードは、共同使用者の間のクリエイティブなインタラクションを促進するために使用される。クリエイティブなインタラクションを妨害せずに、共有ボードとして言及されたこれらボード上の情報を撮影し、撮影された情報が、同じ場所にいない使用者の間で、途切れなく自然に共有されることを可能にし、続いてアクセスされ再び行われるインタラクションを記録できる、方法とシステムが望まれている。
【００１９】
本発明のいくつかの実施形態は、共有ボード（書き込まれた共有ボード）の画像を形成する方法を含む。ここで述べる実施形態のように前記方法は演算装置にて実行されるようになっていてもよい。本発明の実施形態は、共有ボート上の情報を撮影し、共有し、記録するための方法とシステムを含む。共有ボートとして、例えば、フリップチャート、白板、黒板及び他の物理的な書き込みボードが挙げられる。
【００２０】
本発明のいくつかの実施形態は、図１に示される共有ボードシステム１００を含む。同図に示すように、共有ボードシステム１００は、共有ボード（協働ボード）１０４を撮影可能なように当該共有ボード１０４に向くように設置される撮像装置１０２を含む。撮像装置１０２は、ビデオカメラあるいは他の画像撮影システムであってもよい。本発明の実施形態では、撮像装置１０２によって、カラーの画像データが撮影されてもよい。本発明の他の実施形態では、撮像装置１０２によって、白黒画像が撮影されてもよい。撮像装置１０２は、ホスト演算システム１０６に通信可能に繋がっている。ホスト演算システム１０６は、単一の演算装置（コンピュータ）であってもよいし、複数の演算装置を含む構成であってもよい。本発明の実施形態において、ホスト演算システム１０６が複数の演算装置を含む場合、複数の演算装置は、同じ場所に設置されていてもよいし、装置毎に異なる場所に設置されていてもよい。
【００２１】
撮像装置１０２とホスト演算システム１０６とは、図１に示すように、有線あるいは無線の通信リンク１０８にて接続されている。
【００２２】
本発明のいくつかの実施形態では、撮像装置１０２は、共同使用者の視界において共有ボードが遮られる事が最小限となるように、共有ボード１０４に対してレンズの光軸が垂直にならないような地点（オフアクシスビューポイント）に設置される。
【００２３】
撮像装置１０２は共有ボード１０４の画像の画像データを得ることできる。本発明の実施形態では、画像データは、一部が撮像装置１０２のプロセッサによって処理され、一部がホスト演算システム１０６によって処理されてもよい。他の実施形態では、画像データは、全部がホスト演算システム１０６によって処理されてもよい。
【００２４】
本発明の実施形態では、撮像装置１０２にて得られた未加工データ（センサから出力されたデータ）は、デモザイク処理（de-mosaic)が施され、描画処理（レンダリング）に用いられる。デモザイク処理は、カメラのフィルタ配列によって得られる互いに不一致の複数サンプルから、互いに一致する三色の出力データを再現する処理である。本発明の実施形態は、撮像装置１０２にバイエルフィルタ配列を備える構成であってもよく、また、バイエルフィルタ配列から得られた色データに対してデモザイク処理を施す公知の方法およびシステムを含んでもよい。撮像装置１０２のセンサ配列が非バイエルフィルタ配列である場合、公知の他のデモザイク処理を実行する方法及びシステムが用いられてもよい。
【００２５】
本発明の実施形態では、共有ボードシステム１００は、描画処理された画像（画像データ）において、撮像装置１０２と共有ボード１０４との相対的な位置関係により生じる遠近感歪みを除去する画像整形部を含んでいてもよい。図２（ａ）は、典型的なカメラの視界の画像２００を示し、図２（ｂ）は、画像２００に対応しており、遠近感歪みを除去するための幾何学的変形を行った後の画像２０２を示す図である。
【００２６】
共有ボードを用いて共同会議を行う共同使用者が共有ボードの内容（書き込み内容）を変更するとき、その共同使用者が共有ボードの内容（書き込み内容）を変更している間のうちの一部期間または全期間において、その共同使用者が共有ボードの一部を視界から遮蔽することがある。この期間、前記の共同使用者のことを、遮蔽物、行為者、筆記者（書いている人）といってもよい。共同会議の期間中、遮蔽物による共有ボードの閉塞を効果的且つ最小限に抑制することは、共有ボード撮像システムにとって望ましい。例えば、図３は、”Abcdefghij”を示す４つの文字列３０４〜３０７が示されている共有ボード３０２の画像３００を示す図である。この画像３００の共有ボード３０２においては、共有ボード３０２の内容を変更できる共同使用者（遮蔽物３０８）によって３つの文字列３０５〜３０７が部分的に遮蔽されている。したがって、その間、もしくは、その間の一部において、共有ボード３０２の一部が共同使用者（別の共同使用者）にとって見えなくなるかもしれない。
【００２７】
本発明の実施形態によれば、共有ボードの領域が遮蔽物に遮蔽されている間、当該領域の内容は以前に映し出された時から現在まで維持されているとみなされ、当該領域の内容が映し出される（表示される）。これにより、前記の領域の内容は共同使用者にとって容易に見え且つ容易に理解できる。本発明の実施形態によれば、遮蔽物を、少なくとも半透明体（at least partially, transparent）として映し出せ（表示でき）、前に映し出した前記領域の内容を可視化できる。なお、半透明とは、透き通った状態という意味であり、透明の程度が半分（例えば透過率５０％）に限定される意味ではない。図４は、”Abcdefghij”を示す４つの文字列４０４〜４０７が示されている共有ボード４０２の画像４００を示す図である。画像４００の３つの文字列４０５〜４０７は、共有ボード４０２の内容を変更できる共同使用者（遮蔽物４０８）によって部分的に遮蔽されている。図４の画像４００において、現在まで維持されている内容（遮蔽物に隠されている可能性のある書き込み）が可視化されるように、遮蔽物は半透明領域４０８として映し出される。本発明の他の実施形態では、現在まで維持されている内容（遮蔽物に隠されている書き込み）が可視化されるように、遮蔽物を輪郭として映し出すことが可能である（輪郭のみ映し出す）。当該他の実施形態については図５から理解できる。図５は、”Abcdefghij”を示す４つの文字列５０４〜５０７が示されている共有ボード５０２の画像５００を示す図である。この画像５００において、３つの文字列５０５〜５０７は、共有ボード５０２の内容を変更できる共同使用者（遮蔽物５０８）によって部分的に遮蔽されている。本発明の実施形態によれば、遮蔽物は、現在持続している内容が可視化されるように輪郭（輪郭線のみ）として画像化される。
【００２８】
本発明の実施形態は、共有ボート上の情報を撮影し、共有し、記録するための方法とシステムを含み、遮蔽物によって遮蔽されている期間中において、現時点まで維持されている内容（共有ボートに書き込まれており、ある視界においては遮蔽物に遮蔽されている内容）を共同使用者が視認できるようにするものである。共有ボードとしては、例えば、フリップチャート、白板、黒板、用紙、他の物理的な書き込みボードのいずれであってもよい。
【００２９】
本発明の実施形態は図６より理解できる。図６に示すように、共有ボードシステム６００は、仮想透過撮像制御部（ＶＴ撮像制御部）６０２を備える。ＶＴ撮像制御部６０２は、撮像装置６０４と通信可能に接続され、撮像装置６０４によって供給される映像ストリームの分析および処理を行う。撮像装置６０４は、共有ボード６０６に向くことが可能であり（共有ボード６０６をカメラ視界に含ませて共有ボード６０６を撮像できる）、この共有ボード６０６に関する映像ストリーム（共有ボード６０６を示す映像）を供給する。撮像装置６０４とＶＴ撮像制御部６０２とは、図６の符号６０３に示すように、有線あるいは無線の通信リンク若しくはネットワークリンクによって接続されている。ＶＴ撮像制御部６０２は、他のシステム要素への放送媒体ストリームを制御して描画処理を行うために、映像ストリームを分析および処理するようになっている。例えば、ＶＴ撮像制御部６０２は、共同会議における共有ボードの書き込み内容の記録を保存する格納部（アーカイブ）６０８に通信可能に繋がっている。ＶＴ撮像制御部６０２と格納部６０８とは、図６の符号６０７に示すように、有線あるいは無線の通信リンク若しくはネットワークリンクによって接続されている。また、ＶＴ撮像制御部６０２は、ローカルディスプレイ６１０に加えて、リモートディスプレイ６１２、６１４、６１６と通信可能に繋がっている。ローカルディスプレイ６１０とＶＴ撮像制御部６０２とは、図６の符号６０９に示すように、有線あるいは無線の通信リンク若しくはネットワークリンクによって接続されていている。リモートディスプレイ６１２、６１４、６１６とＶＴ撮像制御部６０２とは、図６の符号６１１、６１３、６１５に示すように、有線あるいは無線の通信リンク若しくはネットワークリンクによって接続されている。以上の各ディスプレイは、テレビジョン、パソコン等のモニター、または消費者通信装置の表示部であってもよい（例えば、携帯電話、プロジェクター表示システム、他の表示装置、表示システムのいずれか）。また、撮像装置６０４は、例えば、ビデオカメラまたは他の画像撮影システムを備えていてもよい。ここで述べる実施形態に示されるように、ＶＴ撮像制御部６０２は演算装置もしくは演算システム（コンピュータ）にて実行されるものであってもよい。
【００３０】
ＶＴ撮像制御部６０２は共有ボード６０６の画像を生成する。また、ＶＴ撮像制御部６０２は、共同会議の程度・規模に応じて、ディスプレイ、格納部、他の画像処理部や格納部に対して、生成した画像を送る。
【００３１】
本発明の実施形態において、図７に示すように、ＶＴ撮像制御部６０２は、共有ボードを示す現画像フレーム（現フレームとも称す）７０４を受信する現フレーム受信部７０２を備える。本発明の実施形態において、ＶＴ撮像制御部６０２は、共有ボードに向いている撮像装置から直接的に現フレーム７０４を受信する。本発明の他の実施形態において、ＶＴ撮像制御部６０２は、撮像装置にて得られたデータ（センサから出力された未加工データ）に対して前処理を行うプリプロセッサ（不図示）から現フレームを受信するようになっていてもよい。前記の前処理としては、例えば、デモザイク処理、画像矯正処理、処理領域抽出処理（領域分離処理）、他の前処理が挙げられる。デモザイク処理は、カメラのフィルタ配列によって得られた不一致の複数サンプルから、一致する三色の出力データを再現する処理であってもよい。本発明の実施形態は、撮像装置１０２にバイエルフィルタ配列を備える構成であってもよく、また、バイエルフィルタ配列から得られた色データに対してデモザイク処理を施す公知の方法およびシステムを含んでもよい。撮像装置１０２のセンサ配列が非バイエルフィルタ配列である場合、公知の他のデモザイク処理を実行する方法及びシステムが用いられてもよい。さらに、本発明の実施形態は、撮像装置と共有ボードとの相対的な位置関係により生じる遠近感歪みを画像データから除去する画像整形部を含んでいてもよい。現フレーム受信部７０２は、前景オブジェクト分離部７０６、マーク履歴メモリ更新部７０８、仮想透明描画部７１０に対して、受信した現フレーム７０３を送ることにより、前景オブジェクト分離部７０６、マーク履歴メモリ更新部７０８、仮想透明描画部７１０において現フレーム７０３を利用可能にする。
【００３２】
前景オブジェクト分離部７０６は、受信した現フレーム７０３を処理して、セグメンテーションマップ７０７を生成する（前景オブジェクト分離処理）。なお、セグメンテーションマップ７０７とは、受信した現フレーム７０３に示される画像に関して、共有ボードに書き込まれた内容もしくは前景オブジェクト（遮蔽物）を示すラベルを領域毎（ブロック毎）に付したデータ（ラベル画像）であり、前景マスク（遮蔽物マスク）と称すこともできる。つまり、セグメンテーションマップとは、前景オブジェクトを示す箇所（ブロック）と、それ以外の箇所とを識別したデータである。当業者であれば、前記の前景オブジェクト分離処理を多数の周知技術によって実現可能である。例えば、フレームバイフレームによる動作推定技術、クロマキー分離技術、学習型書き込み面カラーモデリング技術（learned writing surface color-modeling based techniques)、アクティブ濃度センシング技術（active depth sensing）、他の分離処理が挙げられる。本発明の実施形態において、検出した部屋の明かりに伴って変化する適用的色背景モデルは前記の前景オブジェクション分離処理に用いることができる。セグメンテーションマップ７０７は、前景オブジェクト分離部７０６から遮蔽物追跡部７１２へ送られることで、遮蔽物追跡部７１２にて利用可能にされる。
【００３３】
セグメンテーションマップの生成手法を以下にて詳細に述べる。セグメンテーションマップ７０７は、米国特許出願12/636,533にて述べられている方法にて作成される。まず、前景オブジェクト分離部７０６は、現フレームよりも前のフレーム（ここでは前回フレーム）を基準フレームとして定め、下記の式（１）を用いて、画素毎に基準フレームと現フレームとの輝度値の差を求める。
fdiff= Lkey - Lcurr （１）
ここで、fdiff、Lkey、Lcurrは、輝度値の差、基準フレームの輝度成分、現フレームの輝度成分を表している。
つぎに、下記の式（２）を用いて２値遮蔽候補マスクを作成する。式（２）において、mdiffはマスクの値を示し、(i,j)は画素位置を示し、Toccはfdiffと比較される閾値である。つまり、２値遮蔽候補マスクは、画素毎にfdifを２値化して得られるマスクである。
【００３４】
【数１】
【００３５】
つぎに、２値遮蔽候補マスクを互いにオーバーラップしない複数のブロックに分割し、ブロック毎に、fdiffがToccを超える画素の数をブロック密度としてカウントする。つぎに、ブロック毎に、ブロック密度がTbden（ブロック密度閾値）を超えるか否かを判定する。
そして、ブロック密度がブロック密度閾値を超えるブロックを「変更ブロック」としてラベル付けする。
さらに、連続している「変更ブロック」の群（グループ）を遮蔽候補として検出する。つぎに、画像の境界に接触していない、連続している「変更ブロック」の群を遮蔽候補から除外する。また、画像の境界に接触しているが遮蔽物体としての大きさが十分ではない、連続している「変更ブロック」の群も遮蔽候補から除外する。前記の各除外の後、当該遮蔽候補に属する各画素を「１」として、それ以外の各画素を「０」としたマスクをセグメンテーションマップとする。
【００３６】
遮蔽物追跡部７１２は、セグメンテーションマップ７０７にて識別された前景オブジェクトの経時的変化（時間経過（over time）に伴う状態変化）を追跡し、共有ボードが遮蔽されたか否かを決定する。また、遮蔽物追跡部７１２は、シーンの活性度を決定し、前景オブジェクトのエラーを補正する。本発明の実施形態において、遮蔽物追跡部７１２は、前景の動きの軌跡と大きさとを見積もり、且つ、前記の見積もりの値を用いて、分離エラーに起因したジッタと、共有ボードに書き込みをしている筆記者（共同作業者）の動き（ジッタよりも体系的な動き）とを区別する。
【００３７】
本発明の実施形態において、図７および図８に示すように、遮蔽物追跡部７１２は、一定時間毎に、前景オブジェクト分離部７０６からセグメンテーションマップ７０７を受信する（Ｓ８００）。つまり、前景オブジェクト分離部７０６は一定時間毎にセグメンテーションマップ７０７を作成する。遮蔽物追跡部７１２は、前景領域においてノイズを除去するために、セグメンテーションマップ７０７にて特定された前景領域に対してフィルタ処理（component filtering）を実行する（Ｓ８０２）。本発明の実施形態において、十分に大きくなく且つ画像フレームの境界に隣接していない成分（要素,オブジェクト）については、非前景成分として再ラベリングされる。なお、本発明の実施形態において、セグメンテーションマップ７０７の作成手法（要素に対するラベル付け）は、米国特許出願12/636,533にて述べられている方法およびシステムに基づいて実行可能である。米国特許出願12/636,533は、その題名が「共有ボードに書き込み内容に対して意味付けするシステムおよび方法」であって、出願日が2009年12月11日である。また、前述した米国特許出願12/636,533は、ここでは、その全体を参照することによって援用される。本発明の実施形態において、画像フレームのサイズの２０％未満のサイズの成分（十分に大きくない成分）については、前景領域から除外され、ノイズ成分とみなされてもよい。
なお、セグメンテーションマップ７０７の作成手法に関する、米国特許出願12/636,533にて述べられている方法は、後述の[具体例]にて述べる。
【００３８】
Ｓ８０２のフィルタ処理の実行後、フィルタ処理後のセグメントマスク（遮蔽物マスクとみなしてもよい）の状況（状態）の経時的変化を保存（記録）する（Ｓ８０４）。具体的には、一定時間毎に得られる各セグメントマスクに基づいて、セグメントマスクの状況の経時的変化を示す遮蔽物動作履歴（または動作履歴画像）が作成・記録されることになる。具体的に、遮蔽物動作履歴は遮蔽物の動作の軌跡を示した情報である。本発明の実施形態において、遮蔽物マスクの状況の経時的変化を示す動作履歴画像（浮動小数点式の画像）の更新に、OpenCVのモーションテンプレート手法を用いることができる。保存された遮蔽物動作履歴を用いる動き差分評価部によって、包括的な動きの方向（global motion direction）が見積もられる（Ｓ８０６）。さらに、動き差分評価部は、シーン（場面）における変化量を算出する（Ｓ８０８）。本発明の実施形態において、前記の変化量は、包括的な動きのベクトルの大きさである。前景要素毎に領域の統計データが算出される（Ｓ８１０）。本発明の実施形態において、領域の統計データは、色差の統計量、または、成分（オブジェクト）の大きさの統計量であってもよい。遮蔽物追跡部は、包括的な動きの方向と大きさとシーンの変化量と領域の統計データとに基づいて、前景オブジェクトによって共有ボードが遮蔽されているか否かを決定し、且つ、シーンの活性度が静的（static）および動的（active）のいずれであるかを決定する（Ｓ８１２）。本発明の実施形態において、オブジェクトの軌跡は、複数の遮蔽物の状態のうちのいずれの状態であるかを識別するために用いられる。例えば、”静止状態”、”出状態”、”入状態”、”書込状態”のいずれかに識別される。”静止状態”とは、遮蔽オブジェクト（遮蔽物を示すオブジェクト）がほぼ移動していない状態である。”出状態”とは、遮蔽オブジェクトの動きの軌跡がシーンから退出する方向を示している状態である。”入状態”とは、遮蔽オブジェクトの動きの軌跡がシーンへ入る方向を示している状態である。”書込状態”とは、遮蔽オブジェクト（例えば人の手）が上下方向に対する揺れと左右方向に対する僅かな移動を伴いつつもほぼ静止している状態であり、ボードに対してラテン文字を記入しているような状況を示す。さらに、本発明の実施形態は、前記の”書込状態”とは異なる”描画状態”を備えていてもよい。前記の”描画状態”は、”書込状態”と比較して、遮蔽オブジェクトの動きの軌跡が大きく、不規則な動きの軌跡がより多い状態である。遮蔽物追跡部７１２の出力は、マーク履歴メモリ更新部７０８、仮想透明描画部７１０、撮像制御部７１６にて利用可能とされてもよい。
【００３９】
本発明の実施形態において、図７および図９に示されるように、マーク履歴メモリ更新部７０８は、共有ボードに書き込まれている内容の記録の格納（保存）および更新を行い、現時点において観測できない以前の内容の描画処理を行うことを可能にする。マーク履歴メモリは、仮想透過描画処理およびストリーム処理を制御するためのものである。
【００４０】
マーク履歴メモリ更新部７０８は、図９に示すように、エッジ検出部９０４、エッジ選択部９０６、マーク履歴メモリ９０８に対する更新処理を選択的にトリガーする更新制御部９０２を備える。更新制御部９０２は、不活性（非活動）の期間の不必要な処理を避けるために用いられ、且つ、マーク履歴メモリの更新方法の決定に用いられる。更新制御部９０２は、遮蔽物追跡部７１２から、活性度を示す活性度情報９１０と、遮蔽物制御情報９１２とを受信する。また、更新制御部９０２は、シーンの状態を決定してもよい（例えば、シーンが静的状態か、活性状態か、若しくは不活性状態かを決定する）。また、更新制御部９０２は、同様に、シーンの状態遷移を検出してもよい（例えば、活性状態から不活性状態への遷移、不活性状態から活性状態への遷移、遮蔽状態から非遮蔽状態への遷移、非遮蔽状態から遮蔽状態への遷移、他の状態遷移）。本発明の実施形態において、シーンの状態の決定、および、シーンの状態遷移の検出は、米国特許出願12/636,533にて述べられている方法およびシステムに基づいて実行される。米国特許出願12/636,533は、その題名が「共有ボードに書き込み内容に対して意味付けするシステムおよび方法」であって、出願日が2009年12月11日である。また、前述した米国特許出願12/636,533は、ここでは、その全体を参照することによって援用される。更新制御部９０２は、シーンの状態もしくは状態遷移に基づいて、内部処理と後続処理とを制御する。本発明の実施形態において、シーンが活性状態であること、若しくは、活性状態から静的状態への遷移を更新制御部９０２が決定した場合、エッジ検出部９０４に制御信号が送られる。
【００４１】
エッジ検出部９０４は、更新制御部９０２から制御信号を受け取るとエッジ検出処理を実行する。エッジ検出部９０４は、エッジマップ（エッジマスクと称してもよい）９０５を作成する。本発明の実施形態において、エッジ検出処理は定期的（所定時間毎）に実行される（例えば、活性状態の間のＮフレーム毎またはＴ秒毎）。好ましくは、エッジマップは０．５秒毎に作成される。
【００４２】
本発明の実施形態において、エッジ検出部９０４は、ソーベル演算子（差分演算子）による処理、および、２値化処理を行う。この２値化処理では、画像に依存するシーンの統計データに基づいて設定された閾値が用いられる。背景画素の値の差分の変化量は、概ね、ガウス型（ガウス分布）に従ったものとなり、表面マークが存在すると外れ値が生じることがある。ガウスモデルは、まず分布からの外れ値を除外し、次に残りの値からモデルのパラメータを見積もることによって算出される。２値化処理の閾値は、見積もられた平均からの偏差の倍数として設定される。２値化処理は、ソーベル演算子の演算結果に適用されてもよい。別の実施形態では他の差分演算子が用いられてもよい。
【００４３】
エッジ選択部９０６は、遮蔽オブジェクトに起因して生じるエッジを排除するために、前景マスク７０７とエッジマップ９０５と融合させる処理を行う。
【００４４】
マーク履歴メモリ９０８は、現在可視化されているエッジの状態を、前のエッジの状態に重ねる処理を行う。共有ボードから内容（書き込む内容）が追加または除去される時、これら変化（追加・除去）を反映させるためにマーク履歴メモリが更新され、変化の程度および種類を示すためにコンテント制御情報９２０が他のモジュールに引き渡される。本発明の一実施形態において、マーク履歴メモリ９０８は、前回のメモリとエッジ選択部９０６の結果との論理演算（ＯＲ演算）によって更新される。マーク履歴メモリ９０８は、消去され無効化されたエッジの情報が満たされる。マーク履歴メモリ９０８において、無効情報を減少させるために、本発明の実施形態においては、不活性期間中に、無効情報を減少させる措置が実行される。本発明の他の実施形態において、マーク履歴メモリ９０８に記憶されている情報は、システムに確認された後、時期の制限が対応付けられる。本発明の実施形態において、前景オブジェクトによって遮蔽されていない領域は定期的に検証される必要がある一方、遮蔽されている領域は、遮蔽物がなくなる後まで、以前からのマークを維持しており、遮蔽物がなくなった後に検証が実行される。本発明の実施形態において、マークの位置はデフォルト値にリセットされる。つぎに、以後のフレームにおいて非遮蔽位置がマークを含まなかった場合、マーク履歴メモリが当該位置においてマークを記録しなくなるまで当該値を減少させる。これら実施形態において、マーク履歴メモリ９０８からマークを消去する前に、いくつかの承認状態の要求によってノイズ検出が可能になる。
【００４５】
描画制御情報９１８、受信した現フレーム７０３、以前の結果を示す前結果情報（以前のフレームである基準フレーム）７１５、遮蔽物制御情報７１３、および、コンテント制御情報９２０は、仮想透明描画部７１０にて利用可能にされる。仮想透明描画部７１０は、受信した現フレーム７０３を、前回結果（前フレーム）に合成する（融合または重ね合わせる）。本発明の実施形態において、仮想透明描画部７１０は、遮蔽物（前景オブジェクト）が透明物若しくは半透明物として描画され、共有ボードを示す画像を作成する。そして、現フレームにおける遮蔽部分は、前回結果画像（前回のフレーム）の対応箇所（前記遮蔽部分に対応する箇所）に基づいて描画が行われる。また、本発明の実施形態において、仮想透明描画部７１０は、遮蔽物（前景オブジェクト）が輪郭（輪郭線のみ）として描画され、共有ボードを示す画像を作成する。そして、現フレームにおける遮蔽部分は、前回結果画像（前回のフレーム）の対応箇所（前記遮蔽部分に対応する箇所）に基づいて描画が行われる。新たな内容（書き込み）の追加がない期間、若しくは、現在の内容（書き込み）が共有ボードから除かれない期間である不活性の期間中、現フレームと前フレーム（１以上の前フレーム）とから得られる情報の合成が不要であるため、仮想透明描画部７１０は活性でない。活性の期間中、仮想透明描画部７１０は、以前の結果若しくは現フレームから画素を選択するためのブレンドマスク（合成マスク）を用いる。ブレンドマスクは、前景オブジェルトマスクおよびマスク履歴メモリの値に基づいて、割り出される。ブレンドマスクは、遮蔽されていないマーカーの位置の場合は現フレームから選択される画素位置の値を示し、遮蔽されている領域若しくはマークされていない位置の場合は前結果から選択される画素位置の値が示されるように形成される。本発明の実施形態において、現フレームと前回結果とは、アルファブレンド手法（アルファ合成）を用いて合成される。本発明の実施形態において、前結果は、新たなフレームからのパラメータへとゆっくりと変化する。本発明の実施形態において、ブレンド強度（合成強度）は、位置の確度値に応じて調整される。位置に関する確度値は、エッジ位置がマークを含んでいる確度、または、その位置が前景オブジェクトとして誤ってラベリングされる確度を反映した値である。仮想透明描画部７１０は、合成画像７１１を前結果メモリ７１４へ書き込む。
【００４６】
本発明の他の実施形態において、描画化された画像７１１は、画像処理方法およびシステムを用いて画質改善（エンハンス）される。本発明の実施形態において、共有ボードの照明の変化量（variation）は規格化され、照明のカラーバランスは補正されている。本発明の実施形態では、共有ボードの画像のマークの可読性を高める鮮鋭化フィルタが備えられる。本発明の実施形態において、仮想透明描画部７１０は、画質改善（エンハンスメント）機能を備えてもよい。本発明の他の実施形態（不図示）において、仮想透明描画部の結果は画質改善部にて利用可能になっていてもよい。画質改善部は、画質改善された結果画像を前結果メモリにて利用可能にするためのものである。
【００４７】
撮像制御部７１６は、仮想透明処理の結果を他のシステムへ送信（broadcast）し、経路指定するための論理制御を行うようになっていてもよい。ストリーム制御情報７１７は、新たな情報が表示装置にて利用可能であることを示すために、共有ボードの表示システムへ送信される。ストリーム制御情報７１７は、共有ボードの内容（書き込み内容）の記録の大きな変化を保存するために、システムの格モジュールへ送信される。あるいは、対象となる領域（regions-of-interest）、関係者、識別情報、意味付けされた情報、他の共同会議の情報を示すために、ストリーム制御情報７１７によって、共同会議に関するメタデータを引き渡すようになっていてもよい。本発明の実施形態において、メタデータは、米国特許出願12/636,533にて述べられている方法およびシステムに基づいて識別される。米国特許出願12/636,533は、その題名が「共有ボードに書き込み内容に対して意味付けするシステムおよび方法」であって、出願日が2009年12月11日である。また、前述した米国特許出願12/636,533は、ここでは、その全体を参照することによって援用される。
【００４８】
[具体例]
セグメンテーションマップ７０７の作成、成分に対するラベリング、前記の再ラベリングについては米国特許出願12/636,533にて述べられている方法を用いることができる。以下では当該方法について述べる。
【００４９】
遮蔽物の検知は、現フレームと、遮蔽されていないことが知られている基準フレームとの比較を含んでもよい。基準フレームは、共有ボードシステムが初めて起動され、遮蔽／非遮蔽イベントの組み合わせが発生した後に、続いて更新されるときに、初期化されてもよい。
【００５０】
典型的な実施形態では、キー画像として参照もされる基準フレームの輝度成分と、現フレームの輝度成分との差（差分）は、次の式（１）によって決定されてもよい。
【００５１】
fdiff= Lkey - Lcurr （１）
ここで、fdiff、Lkey、Lcurrは、輝度値の差、基準フレームの輝度成分、現フレームの輝度成分を表している。いくつかの実施形態では、輝度成分は、次の式（３）により、ＲＧＢ（赤緑青）画像に対して算出されてもよい。
【００５２】
L(・) = 0.375R(・) + 0.5G(・) + 0.125B(・) （３）
ここで、L(・)、0.375R(・)、0.5G(・)、0.125B(・)は、それぞれ、画像の、輝度成分、赤成分、緑成分、青成分を表している。他の実施形態では、輝度成分は、次の式（４）により、ＲＧＢ画像に対して算出されてもよい。
【００５３】
L(・) = 0.3R(・) + 0.6G(・) + 0.1B(・) （４）
例えば、白板あるいはフリップチャートといった明るい背景色の共有ボードについては、遮蔽する物体は、ボード表面より暗く見えることがある。より暗い背景色の共有ボードの場合、遮蔽する物体は、ボード表面より明るく見えることがある。共有ボードの背景色はシステムの初期化で決定されてもよい。後述の典型的な実施形態では、明るい色の背景を有する共有ボードについて記述する。これは単なる例であり、発明を制限するものではない。
【００５４】
明るい色の背景の共有ボードを含む典型的な実施形態では、マイナスの値fdiffのピクセルは、現行画像が基準画像よりも明るく見える場所による場合もあり、また、これらのピクセルは遮蔽の検知においては、無視してもよい。さらに、差の信号であるfdiffは、画像システム中のノイズ、光の様々な状態、及び他の要素に起因する、見せ掛けのコンテンツを含んでいる場合がある。ピクセルの位置における、差の信号であるfdiffの大きさは、その位置における変化の有意性として表せる。従って、fdiffの小さなプラスの値は、遮蔽の検知の段階における更なる処理のために除去されてもよい。いくつかの実施形態では、fdiffのピクセル値は、ピクセルの位置が遮蔽候補に関するかを決定するために、Toccで表される差分閾値と比較されてもよい。位置の２値のマスクは次の式（２）によって形成さてもよい。
【００５５】
【数１】
【００５６】
ここでmdiffは、マスクを表し、(i,j)は、ピクセル位置を表す。
【００５７】
マスクmdiffはオーバーラップしないブロックに分割される。そして、差分閾値Toccを越える、各ブロックにおけるピクセルの数が、数えられる。Tbdenで表されるブロック密度閾値を越えるブロックがカウントされると、次に、そのブロックは、「変更された」ブロックとしておそらくマークされる。画像の境界に接する連続した「変更された」ブロックラベルは、共有ボードと遮蔽する物体（遮蔽物体）として、まとめてラベルされる。画像の境界に接しない「変更された」ブロックは、ノイズあるいはコンテンツの変更を表わしており、これら「変更された」ブロックは無視される。遮蔽物体のサイズ（大きさ）がTobjsizeで表されるサイズ閾値を越える場合、遮蔽されていることを示す事象（遮蔽イベント）が検知される。
【００５８】
図１０は、差分画像に関する典型的なブロック９０の集合を示している。白いブロックは、「変更された」ブロックとしてブロックをマークするための、差分閾値を越える十分な数のマスク・ピクセルが、無いブロックを表わす。白くないピクセルの４つのグループ９２、９４、９６、９８は、それぞれ「変更された」ブロックを示す。最も暗い色のグループ９４は、このグループの連続するブロックが画像の境界に接していないので、遮蔽物体としては考慮されない。ハッチングされたブロック９６，９８は、遮蔽物体の候補として考慮されるが、これらのサイズがサイズ閾値未満であるので、遮蔽イベントを引き起こさない。灰色のグループ９２は、そのサイズ及び画像の境界への接していることに基づいて、遮蔽物体として考慮され、遮蔽イベントを引き起こす。これらは例示である。
【００５９】
本発明の典型的な実施形態では、例えば、ブロックのサイズは８０×８０ピクセルであってもよい。
【００６０】
８ビットの輝度値を含む本発明の典型的な実施形態では、差分閾値Toccは１５であってもよい。
【００６１】
本発明の典型的な実施形態では、ブロック密度閾値Tbdenはブロック中のピクセル数の５０％であってもよい。これらの実施形態では、ブロック中のピクセルの少なくとも５０％が差分閾値Toccを越える場合、ブロックは「変更された」ブロックとしてラベルされる。
【００６２】
本発明の典型的な実施形態では、遮蔽物体が少なくとも３０のブロックから成る場合、遮蔽イベントが発生してもよい。
【００６３】
その後の画像が、十分なサイズで画像の境界に接して置かれる遮蔽物体を含んでいる限り、遮蔽イベントは検知され維持される。これらのその後の画像は、内容変更のための保存や分析がされなくてもよい。検知された遮蔽イベントがないために一旦その後の画像を受信すると、画像は新しい内容を検知するための分析がなされる。
【００６４】
本発明のいくつかの実施形態では、非遮蔽の検知は、非遮蔽イベントと共に、遮蔽の検知と同じプロセスを含んでもよい。非遮蔽イベントは、遮蔽物体が検出されないとき、あるいは、遮蔽イベントを引き起こす十分な大きさの遮蔽物体がないとき、引き起こされる。
【００６５】
本発明の実施形態に関する遮蔽の検知及び非遮蔽の検知の典型的な例は、図１１を用いて説明することができる。これらの典型的な実施形態では、まず、キー（鍵）画像（基準フレーム）の輝度Lkeyを受信する（Ｓ１００）。そして、現行画像（現フレーム）の輝度Lcurrを受信する（Ｓ１０２）。そして、輝度の差分fdiffを、以下の式（１）で算出する（Ｓ１０４）。
【００６６】
fdiff= Lkey - Lcurr （１）
２値遮蔽候補マスクmdiffを、以下の式（２）で形成する（Ｓ１０６）。
【００６７】
【数１】
【００６８】
そして、２値遮蔽候補マスクから遮蔽候補ブロックを検出する（Ｓ１０８）。具体的には、２値遮蔽候補マスクを、互いにオーバーラップしない複数のブロックに分割する。各ブロックは複数画素からなる。そして、差分閾値Toccを越えるピクセル数がブロック密度閾値Tbdenを超えるブロックを遮蔽候補ブロック（「変更されたブロック」）として検出してラベリングする（マークする）。さらに、連続する遮蔽候補ブロックを検知する（Ｓ１１０）。画像の境界に接しない連続する遮蔽候補ブロック（「変更されたブロック」）を、遮蔽候補から除去する（Ｓ１１２）。つまり、画像の境界に接しない連続する、変更されたブロックを、遮蔽候補ブロックとして扱わなくなる。また、画像に接しているが遮蔽物体としての大きさが十分ではない遮蔽候補ブロックを、遮蔽候補から除去する（Ｓ１１４）。つまり、画像の境界に接しているが遮蔽物体としての大きさが十分ではない遮蔽候補ブロックを、遮蔽候補ブロックとして扱わなくなる。
【００６９】
Ｓ１１２の位置及びＳ１１４サイズに基づく除去の後、遮蔽候補ブロックが残っておらず（Ｓ１１７）、そして、非遮蔽の検知が実行されると（Ｓ１１９）、非遮蔽イベントが発せられる（Ｓ１２０）。Ｓ１１２の位置及びＳ１１４サイズに基づく除去の後、遮蔽候補ブロックが残っており（Ｓ１２１）、そして、遮蔽の検知が実行されると（Ｓ１２３）、遮蔽イベントが発せられる（Ｓ１２４）。そうでなければ、現行の非遮蔽／遮蔽の状態が、維持される。
【００７０】
そして、遮蔽候補ブロックが残っている場合、遮蔽候補ブロックを遮蔽物として扱い、遮蔽候補ブロックの画素を「１」、それ以外の位置を「０」で示したセグメンテーションマップ７０７が作成されることになる。これに対し、遮蔽候補ブロックが残っていない場合、全ての画素を「０」としたセグメンテーションマップ７０７が作成される。
【００７１】
[遮蔽物追跡部について]
以下では、遮蔽物追跡部７１２における遮蔽物の動きの方向と遮蔽物の動きの大きさを見積もる方法をより詳細に説明する。
【００７２】
本実施例の遮蔽物追跡部７１２は、下記の動きベクトル算出処理と活性度判定処理とを行うようになっている。
【００７３】
（動きベクトル算出処理）
遮蔽物追跡部７１２は、現フレームｆｎ（現在の撮像画像）から得られたセグメンテーションマップ（遮蔽物マスク）を、８０×８０画素のブロックに分割し、分割されたブロック毎に、ブロックマッチングを行うことにより動きベクトルを求めるようになっている。ブロックのサイズは上記に限定されるものではなく、遮蔽物を適切に検出できるサイズであればどのようなサイズであっても構わない。
【００７４】
以下、前記のブロックマッチングについて説明する。まず、遮蔽物追跡部７１２は、図１２に示すように、現フレームｆｎのセグメンテーションマップにおいて、分割された各ブロックのうちの一つのブロックを注目ブロックとする。
【００７５】
つぎに、遮蔽物追跡部７１２は、前フレームｆｎー１（現フレームｆｎが撮影される一定期間前に撮影され、現フレームｆｎの一つ前のフレーム）において注目ブロックよりも広い範囲を探索範囲として設定する（図１２参照）。なお、前フレームｆｎ−１の全エリアを探索範囲としてもよいし、処理時間短縮のために、探索範囲を、前フレームｆｎ−１の全エリアの一部に制限してもよい（図１２参照）。
【００７６】
そして、遮蔽物追跡部７１２は、探索範囲内において注目ブロック（８０×８０画素）をＸ方向（水平方向）およびＹ方向（垂直方向）に移動させながら、注目ブロックと同じ特性を持っている比較対象ブロックの有無を探索する探索処理を行う。
つまり、この探索処理では、前フレームｆｎー１において、現フレームｆｎの注目ブロックの画像部分と同じ画像部分のある位置を探索するようになっている。具体的に、遮蔽物追跡部７１２は、探索範囲において比較対照ブロックを移動させる度に、現フレームｆｎにおける注目ブロックに対応する箇所の各画素の濃度値と前フレームｆｎー１における比較対象ブロックに対応する箇所の各画素の濃度値（画素値）との差分の合計ｖを求める。この合計ｖは、下記の式（６）によって求めることができる。なお、濃度値としては、例えば、赤色濃度値と青色濃度値と緑色濃度値との平均値または加重平均値が挙げられる。あるいは、濃度値の代わりに上記した輝度（輝度成分）を用いても良い。
【００７７】
【数２】
【００７８】
式（６）において、ｆｎ（ｉ，ｊ）は、注目ブロックの座標（ｉ，ｊ）に位置する画素の濃度値である。ｆｎー１（ｉ＋ｄｘ，ｊ＋ｄｙ）は、比較対象ブロックにおいて、前記注目ブロックの座標（ｉ，ｊ）に対応する座標（ｉ＋ｄｘ，ｊ＋ｄｙ）の画素の濃度値である。
【００７９】
遮蔽物追跡部７１２は、探索範囲内の全ての比較対象ブロックの各々について合計ｖを求め、求めた合計ｖの中の最小値を濃度パラメータとする。さらに、遮蔽物追跡部７１２は、当該最小値の算出に用いられた注目ブロックの画素の座標（ｉ，ｊ）と比較対象ブロックの画素の座標（ｉ＋ｄｘ，ｊ＋ｄｙ）との距離ｒ（図１３参照）を求め、求めた距離を距離パラメータとする。但し、この場合、現フレームを基準にして方向を求めているので、求めた方向のマイナス方向を動きの方向とする。
【００８０】
このようにして、遮蔽物追跡部７１２は、一つの注目ブロックについて、濃度パラメータ（遮蔽物の動きの大きさ）および距離パラメータ（遮蔽物の動きの方向）を求め、求めた濃度パラメータと距離パラメータとのセットを動きベクトルとしている。そして、活性度出力部は、現フレームｆｎに設定される注目ブロック毎に前記の動きベクトルを求めるようになっている。以上では、現フレームに注目ブロックを設定して動きベクトルを求めているが、前フレームに注目ブロックを設定し動きベクトルを求めるようにしても良い。
【００８１】
（活性度判定処理）
共有ボード１０４が遮蔽物により遮蔽された際、一つ前の時間に取り込まれた映像（前フレーム）には同じ対象物（遮蔽物）が存在しないため、前記の濃度パラメータは大きな値になる（最大値は１６３２０００（１画素の最大輝度差２５５×画素数６４００））。これに対し、一定時間の経過後において、遮蔽物が同じ位置に存在する場合、前記濃度パラメータはほぼゼロになる。あるいは、遮蔽物に動きがある場合、前記濃度パラメータは遮蔽物の動きに応じた値となる。遮蔽物の動きが大きければ大きな値となり、小さければ小さい値となる。
【００８２】
つまり、注目ブロック毎に、濃度パラメータに対して複数の閾値を設定して閾値処理を行うとともに、遮蔽物（或いは遮蔽候補）の画素数に関する下記の条件に基づいて、遮蔽物の状態（共有ボードの状態）を下記の（１１）〜（１５）のように識別する。
（１１）濃度パラメータが閾値Ａ以上であり、「遮蔽物を表す画素数が小さな値（ゼロに近い値）から大きな値に変化する」という条件Ａを充たす注目ブロックの割合が閾値Ｎ以上のとき、入状態と判定する。
（１２）濃度パラメータが閾値Ｂ未満であり、「遮蔽物を表す画素数が注目ブロックと当該注目ブロックに対応する比較対象ブロックとで共に大きな値である」という条件Ｂを充たす注目ブロックの割合が閾値Ｎ以上のとき、書込状態と判定する。
（１３）濃度パラメータが閾値Ｂ以上であって閾値Ａ未満であり、前記条件Ｂを充たす注目ブロックの割合が閾値Ｎ以上のとき、描画状態と判定する。
（１４）濃度パラメータが閾値Ａ以上であって、「遮蔽物を表す画素数が大きな値から小さな値（ゼロに近い値）に変化する」という条件Ｃを充たす注目ブロックの割合が閾値Ｎ以上のとき、出状態と判定する。
（１５）濃度パラメータが閾値Ｂ未満であって、「遮蔽物を表す画素数が注目ブロックと当該注目ブロックに対応する比較対象ブロックとで共に小さな値である」という条件Ｄを充たす注目ブロックの割合が閾値Ｎ未満のとき、静止状態と判定する。
【００８３】
なお、注目ブロックにおける遮蔽物（或いは遮蔽候補）の画素数は、現フレームｆｎのセグメンテーションマップの注目ブロックの位置を参照すればカウント可能であり、比較対象ブロックにおける遮蔽物の画素数は、前フレームｆｎ−１のセグメンテーションマップの比較対象ブロックの位置を参照すればカウント可能である。
【００８４】
また、以上の条件Ａ〜条件Ｄの各々では、遮蔽物を表す画素数に対して閾値Ｄ１および閾値Ｄ２（閾値Ｄ１＞閾値Ｄ２）を設定し、閾値Ｄ１以上の値を示す場合に「大きな値」と判定し、閾値Ｄ２未満の場合に「小さな値」と判定するようになっていてもよい。また、閾値Ｄ１は条件毎で異なる値に設定してもよいし同じ値であってもよく、閾値Ｄ２についても条件毎で異なる値に設定してもよいし同じ値であってもよい。また、注目ブロックの遮蔽物画素数と当該注目ブロックに対応する比較対象ブロックの遮蔽物画素数との差分を求め、当該差分を閾値処理するようになっていてもよい。
【００８５】
また、以上の（１１）〜（１５）において、「割合」とは、現フレームに設定される全ての注目ブロック数に対する割合を意味する。また、以上の（１１）〜（１５）では、各条件を満たす注目ブロックの割合と閾値とを対比しているが、各条件を満たす注目ブロックの数と閾値とを対比して判定を行うようになっていてもよい。
【００８６】
なお、閾値Ａ、閾値Ｂ、閾値Ｄ１、閾値Ｄ２、閾値Ｎは、システム設計者による事前試験（共有ボード１０４を遮蔽して共有ボード１０４に書き込みや描画を行うことで各閾値を求める試験）によって好ましい値に設定され、設定された各閾値がＶＴ撮像制御部に記憶されるようになっている。なお、閾値Ａは、極めて高い値であって前記の最大値（１６３２０００）よりも低い値に設定され、閾値Ｂは、閾値Ａよりも極めて低い値である。また、閾値Ｎは、共有ボード１０４が遮蔽された場合、遮蔽物があると判定されるような値に設定すれば良い。遮蔽されているか否かをブロックの数で判断する場合、遮蔽物の大きさとブロックの大きさとに基づいて設定すれば良い。
【００８７】
そして、遮蔽物追跡部７１２は、前記（１１）を満たす間、”入状態”を示す活性度を出力し、前記（１２）を満たす間、”書込状態”を示す活性度を出力し、前記（１３）を満たす間、”描画状態”を示す活性度を出力し、前記（１４）を満たす間、”出状態”を示す活性度を出力し、前記（１５）を満たす間、”静止状態”を示す活性度を出力する。
【００８８】
なお、”静止状態”とは、共有ボード１０４の書き込み内容に変化が無い状態を指し、”書込状態”、”描画状態”とは、共有ボードの書き込み内容が変化した状態を指す。
【００８９】
さらに、前記の活性度が”静止状態”の間、撮像制御部７１６は、撮像装置６０４にて得られ且つ仮想透明描画部７１０の合成処理を経ていないストリームを各ディスプレイ６１０、６１２、６１４、６１６に出力し、各ディスプレイ６１０、６１２、６１４、６１６は当該ストリームに基づく画像を表示するようになっている。
【００９０】
これに対し、撮像制御部７１６は、前記の活性度が”入状態”、”書込状態”、”描画状態”あるいは”出状態”になると、前記のストリームを出力せずに、仮想透明描画部７１０にて合成処理された合成画像を各ディスプレイ６１０、６１２、６１４、６１６に出力し、各ディスプレイ６１０、６１２、６１４、６１６は当該合成画像を表示するようになっている。
【００９１】
仮想透明描画部７１０は、前景オブジェクト分離部７０６にて生成されたセグメンテーションマップ７０７を参照して、現フレームにおいて遮蔽物が示されている遮蔽物領域（画素）を特定する。なお、セグメンテーションマップ７０７は、現フレームの一部領域に存在するが前フレーム（基準フレーム）の前記一部領域に存在しない遮蔽物の位置を示すマップである。
【００９２】
そして、仮想透明描画部７１０は、前フレームと現フレームとを合成した合成画像を作成する。具体的に、仮想透明描画部７１０は、遮蔽物領域については、前フレームの内容が示される程度に遮蔽物が透過するようにアルファブレンド処理によって合成を行う。また、仮想透明描画部７１０は、遮蔽物領域以外の領域については、前フレームの画素を合成画像に適用するようになっている。これにより、図４のように半透明化した遮蔽物の示された画像を表示できる。
【００９３】
また、仮想透明描画部７１０は、現フレームの遮蔽物領域の輪郭線（エッジ）を抽出し、この輪郭線を前フレームにおける前記遮蔽物領域に上書合成するようになっていてもよい。これにより、図５のように遮蔽物の輪郭部のみを示した合成画像を表示できる。
【００９４】
また、エッジ検出部９０４におけるエッジ検出の手法は周知のエッジ検出手法が用いられてもよい。例えば、濃度勾配が閾値以上の部分をエッジ部分と判定するような手法が用いられてもよい。
【００９５】
また、図４または図５に示すように、本実施形態の合成処理にて得られる画像においては、前記遮蔽物を、輪郭（エッジ）を含めた透明物若しくは半透明物として描画することにより、遮蔽物の位置を明示している形態であるが、このような形態に限定されるものではない。例えば、エッジが除去されている透過物またはシルエットとして遮蔽物を表示する形態、あるいは、遮蔽物を完全に除去する形態であってもよい。そして、エッジが除去されている透過物またはシルエットとして遮蔽物を表示する形態の場合、図５に示すエッジ選択部９０５においてエッジ除去処理が行われる。
【００９６】
[実施形態の統括]
以上示した実施形態の画像形成方法は、コンピュータに実行させる方法であり、共有ボードを示す画像を形成する方法であって、現時点よりも以前のフレームである前結果画像を現フレームに合成することによって上記画像を形成する合成工程を含んでおり、上記現フレームに遮蔽部分が示されている場合、上記形成工程にて形成される画像において上記遮蔽部分は、上記前結果画像の上記遮蔽部分に対応する部分に基づいて描画されることを特徴とする。
【００９７】
また、以上の画像形成方法は、上記現フレームの上記遮蔽部分を決定する決定工程を含んでもよい。さらに、上記決定工程は、遮蔽物を追跡する追跡工程を含んでもよい。また、上記遮蔽物は、上記共有ボードを示す前記画像において、半透明体として映し出されるようになっていてもよい。さらに、上記遮蔽物は、上記共有ボードを示す前記画像において、輪郭のみが映し出されるようになっていてもよい。また、上記追跡工程は、セグメンテーションマップ（セグメンテーションマスク）を受信する工程と、上記セグメンテーションマップに対してフィルタ処理を実行する工程と、上記フィルタ処理後の上記セグメンテーションマップを記録し、これによりフィルタ処理後のセグメンテーションマップの時間経過に伴う状態変化を生成する工程と、上記状態変化に基づいて、包括的な、上記遮蔽物の動きの方向を見積もる工程と、上記動きの方向の大きさを決定する工程とを含んでもよい。また、以上の画像形成方法は、上記共有ボードの活性度を決定する工程を含み、上記活性度が上記共有ボードに書き込まれている内容の変化を示す時のみ、上記合成工程を実行するようになっていてもよい。また、上記現フレームは、撮像にて得られたフレームに前処理を施して得られたものであってもよい。さらに、上記画像形成方法は、上記撮像されたフレームに遠近歪みを除く補正を施し、上記撮像されたフレームにおいて上記共有ボードに対応する対象領域をクロップすることにより、上記現フレームを形成するようになっていてもよい。また、上記共有ボードは、フリップチャート、白板、黒板、用紙からなる群より選ばれるいずれかであってもよい。
【００９８】
以上示した実施形態の共有ボードシステムは、共有ボードと、上記共有ボードを撮像した撮像画像を取得する撮像装置と、上記共有ボードを示す合成画像を形成する仮想透明撮像制御部とを備え、上記合成画像は、上記撮像画像に対応する現フレームと、以前のフレームである前結果画像とを合成したものであり、上記現フレームに遮蔽部分が示されている場合、上記合成画像において上記遮蔽部分は、上記前結果画像の上記遮蔽部分に対応する部分に基づいて描画されることを特徴とする。
【００９９】
また、以上の共有ボードシステムにおいて、上記共有ボードは、フリップチャート、白板、黒板、用紙からなる群より選ばれるいずれかのボードであることが好ましい。また、上記共有ボードシステムは、上記撮像画像に遠近歪みを除く補正を施して上記現フレームを形成する画像整形部を備えていてもよい。また、上記共有ボードシステムは、上記撮像画像にデモザイク処理を施して上記現フレームを形成するデモザイク処理部を備えてもよい。また、上記共有ボードシステムは、上記現フレームにおける遮蔽物を識別する前景オブジェクト分離部と、上記遮蔽物を追跡する遮蔽物追跡部とを備えてもよい。また、上記遮蔽物は、上記合成画像において、半透明体として映し出されてもよい。また、上記遮蔽物は、上記合成画像において、輪郭のみが映し出されてもよい。また、上記遮蔽物追跡部は、セグメンテーションマスクを受信するグメンテーションマスク受信部と、上記セグメンテーションマスクに対してフィルタ処理を実行するフィルタ処理実行部と、上記フィルタ処理後の上記セグメンテーションマスクを記録し、これによりフィルタ処理後のセグメンテーションマップの時間経過に伴う状態変化を生成する情報生成部と、上記状態変化に基づいて、包括的な、上記遮蔽物の動きの方向を見積もる動き見積部と、上記動きの方向の大きさを決定する決定部とを備えてもよい。また、上記仮想透明撮像制御部は、活性度が上記共有ボードに書き込まれている内容の変化を示す時のみ、上記合成画像を形成するようになっていてもよい。さらに、上記共有ボードシステムは、上記共有ボードを示す上記合成画像をエンハンスする画像エンハンス部を備えるようになっていてもよい。
【０１００】
なお、本発明の実施形態は、共有ボードに示される情報を記録、共有、撮影する方法およびシステムを含む。
【０１０１】
本発明の第１の特徴に応じて、本発明の実施形態は、以前のフレームである前結果画像にて維持されており、現時点まで継続している共有ボードの内容（書き込み内容）を、遮蔽物による遮蔽の期間中にて可視化する方法およびシステムを備える。
【０１０２】
本発明の第２の特徴に応じて、本発明の実施形態において、遮蔽物は半透明物として映し出され、且つ、現フレームにおける遮蔽位置は、上記前結果画像における上記遮蔽位置に対応する位置に基づいて描画される。
【０１０３】
本発明の第３の特徴に応じて、本発明の実施形態において、遮蔽物は輪郭のみが映し出され、且つ、現フレームにおける遮蔽位置は、上記前結果画像における上記遮蔽位置に対応する位置に基づいて描画される。
【０１０４】
上記説明に用い開示された図の中のチャート及びダイアグラムは、実行の特定の順序を示しているが、実行の順序が図に示されたものとは異なってもよい。例えば、工程ブロックの実行の順序が、開示された順序から、変更されてもよい。また、さらなる例として、図における連続した２以上の工程ブロックが、同時にあるいは、一部が同時に、実行されてもよい。また、ここに開示された様々な論理的機能を遂行するための、ソフトウェア、ハードウェア及び／またはファームウェアを構成することは、当業者であれば理解できる。
【０１０５】
本発明のいくつかの実施形態は、実行命令を格納している、及び／または、上記された特徴を実行するコンピュータをプログラムするために使用される、コンピュータ読取可能な記憶手段及び／または媒体である、コンピュータ・プログラム製品を含んでもよい。
【０１０６】
以上の明細書にて採用した用語および表現は、あくまで発明の実施形態を説明するためのものであり、発明の範囲を制限するものではない。そのような表現を用いたとしても、図示または記載されている特徴物、その特徴物の均等物、その特徴物の一部は発明の範囲から除外されない。発明の範囲は、以下に示すクレームによってのみ定められ、制限される。
【０１０７】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【０１０８】
１００ 共有ボードシステム
１０２ 撮像装置
１０４ 共有ボード
６００ 共有ボードシステム
６０２ ＶＴ撮像制御部（処理部）
６０４ 撮像装置
６０６ 共有ボード
６０８ 格納部
７０２ 現フレーム受信部
７０６ 前景オブジェクト分離部（マスク生成部）
７０８ マーク履歴メモリ更新部
７１０ 仮想透明描画部（合成部）
７１２ 遮蔽物追跡部（活性度決定部）
７１６ 撮像制御部
９０２ 更新制御部
９０４ エッジ検出部
９０６ エッジ選択部
９０８ マーク履歴メモリ
【特許請求の範囲】
【請求項１】
共有ボードを撮像して、当該撮像により得られた画像を処理して表示する画像表示方法であって、
上記撮像にて得られた画像の現フレームと、上記撮像にて得られた画像の以前のフレームである基準フレームとに基づいて、基準フレームの一部領域には存在しないが現フレームにおける上記一部領域に存在する遮蔽物の位置を示す遮蔽物マスクを生成する第１工程と、
上記共有ボードの状態を示す活性度を決定する第２工程と、
上記活性度が上記共有ボードの書き込み内容の変化を示している場合、上記基準フレームと上記現フレームとを合成し、当該合成にて得られた画像を表示する第３工程とを含み、
上記第３工程では、上記合成にて得られる画像における上記一部領域において上記基準フレームの上記一部領域に示される内容が視認可能な程度に示されるように、上記合成を行うことを特徴とする画像表示方法。
【請求項２】
共有ボードと、
上記共有ボードを撮像した撮像画像を取得する撮像装置と、
上記撮像画像を処理して処理後の画像を表示装置に供給する処理部とを備え、
上記処理部は、
上記撮像画像の現フレームと、上記撮像画像の以前のフレームである基準フレームとに基づき、上記基準フレームの一部領域には存在しないが現フレームにおける上記一部領域に存在する遮蔽物の位置を示す遮蔽物マスクを生成するマスク生成部と、
上記共有ボードの状態を示す活性度を決定する活性度決定部と、
上記活性度が上記共有ボードの書き込み内容の変化を示している場合、上記基準フレームと上記現フレームとを合成し、当該合成にて得られた画像を上記表示装置に供給する合成部とを備え、
上記合成部は、上記合成にて得られる画像における上記一部領域において上記基準フレームの上記一部領域に示される内容が視認可能な程度に示されるように、上記合成を行うことを特徴とする共有ボードシステム。
【請求項３】
上記活性度決定部は、上記遮蔽物マスクにて特定される遮蔽物について、時間経過に伴う変化を追跡する遮蔽物追跡部であり、
上記マスク生成部は一定期間毎に上記遮蔽物マスクを生成し、
上記遮蔽物追跡部は、
一定期間毎に得られる遮蔽物マスクに対してフィルタ処理を実行するフィルタ処理実行部と、
上記一定時間毎に得られる各遮蔽物マスクに基づいて、上記遮蔽物の大きさと、上記遮蔽物の動きの変化とを見積もる見積部と、
上記遮蔽物の大きさと遮蔽物の動きの変化とに基づいて上記活性度を決定する決定部とを備えることを特徴とする請求項２に記載の共有ボードシステム。
【請求項４】
上記撮像画像に対して遠近歪みを除く補正を施す画像整形部を備えることを特徴とする請求項２または３に記載の共有ボードシステム。
【請求項５】
上記撮像画像に対してデモザイク処理を施すデモザイク処理部を備えることを特徴とする請求項２から４のいずれか１項に記載の共有ボードシステム。
【請求項６】
上記合成にて得られる画像をエンハンスする画像エンハンス部を備えることを特徴とする請求項２から５のいずれか１項に記載の共有ボードシステム。
【請求項７】
上記合成部は、上記合成にて得られる画像に、上記遮蔽物を半透明体として反映させることを特徴とする請求項２から６のいずれか１項に記載の共有ボードシステム。
【請求項８】
上記合成部は、上記合成にて得られる画像に、上記遮蔽物を輪郭のみ反映させることを特徴とする請求項２から６のいずれか１項に記載の共有ボードシステム。
【請求項１】
共有ボードを撮像して、当該撮像により得られた画像を処理して表示する画像表示方法であって、
上記撮像にて得られた画像の現フレームと、上記撮像にて得られた画像の以前のフレームである基準フレームとに基づいて、基準フレームの一部領域には存在しないが現フレームにおける上記一部領域に存在する遮蔽物の位置を示す遮蔽物マスクを生成する第１工程と、
上記共有ボードの状態を示す活性度を決定する第２工程と、
上記活性度が上記共有ボードの書き込み内容の変化を示している場合、上記基準フレームと上記現フレームとを合成し、当該合成にて得られた画像を表示する第３工程とを含み、
上記第３工程では、上記合成にて得られる画像における上記一部領域において上記基準フレームの上記一部領域に示される内容が視認可能な程度に示されるように、上記合成を行うことを特徴とする画像表示方法。
【請求項２】
共有ボードと、
上記共有ボードを撮像した撮像画像を取得する撮像装置と、
上記撮像画像を処理して処理後の画像を表示装置に供給する処理部とを備え、
上記処理部は、
上記撮像画像の現フレームと、上記撮像画像の以前のフレームである基準フレームとに基づき、上記基準フレームの一部領域には存在しないが現フレームにおける上記一部領域に存在する遮蔽物の位置を示す遮蔽物マスクを生成するマスク生成部と、
上記共有ボードの状態を示す活性度を決定する活性度決定部と、
上記活性度が上記共有ボードの書き込み内容の変化を示している場合、上記基準フレームと上記現フレームとを合成し、当該合成にて得られた画像を上記表示装置に供給する合成部とを備え、
上記合成部は、上記合成にて得られる画像における上記一部領域において上記基準フレームの上記一部領域に示される内容が視認可能な程度に示されるように、上記合成を行うことを特徴とする共有ボードシステム。
【請求項３】
上記活性度決定部は、上記遮蔽物マスクにて特定される遮蔽物について、時間経過に伴う変化を追跡する遮蔽物追跡部であり、
上記マスク生成部は一定期間毎に上記遮蔽物マスクを生成し、
上記遮蔽物追跡部は、
一定期間毎に得られる遮蔽物マスクに対してフィルタ処理を実行するフィルタ処理実行部と、
上記一定時間毎に得られる各遮蔽物マスクに基づいて、上記遮蔽物の大きさと、上記遮蔽物の動きの変化とを見積もる見積部と、
上記遮蔽物の大きさと遮蔽物の動きの変化とに基づいて上記活性度を決定する決定部とを備えることを特徴とする請求項２に記載の共有ボードシステム。
【請求項４】
上記撮像画像に対して遠近歪みを除く補正を施す画像整形部を備えることを特徴とする請求項２または３に記載の共有ボードシステム。
【請求項５】
上記撮像画像に対してデモザイク処理を施すデモザイク処理部を備えることを特徴とする請求項２から４のいずれか１項に記載の共有ボードシステム。
【請求項６】
上記合成にて得られる画像をエンハンスする画像エンハンス部を備えることを特徴とする請求項２から５のいずれか１項に記載の共有ボードシステム。
【請求項７】
上記合成部は、上記合成にて得られる画像に、上記遮蔽物を半透明体として反映させることを特徴とする請求項２から６のいずれか１項に記載の共有ボードシステム。
【請求項８】
上記合成部は、上記合成にて得られる画像に、上記遮蔽物を輪郭のみ反映させることを特徴とする請求項２から６のいずれか１項に記載の共有ボードシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−６４２１４（Ｐ２０１２−６４２１４Ａ）
【公開日】平成２４年３月２９日（２０１２．３．２９）
【国際特許分類】
【出願番号】特願２０１１−２０１７１３（Ｐ２０１１−２０１７１３）
【出願日】平成２３年９月１５日（２０１１．９．１５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２４年３月２９日（２０１２．３．２９）
【国際特許分類】
【出願日】平成２３年９月１５日（２０１１．９．１５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]