画像処理方法、画像処理装置、およびプログラム
【課題】画像データ群に含まれる画像データを表示する際に、当該画像データに関係する書き込み情報を表示すること。
【解決手段】第１画像データ群と第２画像データ群とを比較し、第１追加オブジェクトを抽出する。第１追加オブジェクトが抽出された画像データである対象画像データの投影の前に投影された画像データの第２追加オブジェクトを取得する。第１追加オブジェクトと第２追加オブジェクトの比較の結果し、第１追加オブジェクトに含まれるオブジェクトが新規オブジェクトか否かを判断する。新規オブジェクトの場合は、対象画像データに表示されるように第１追加オブジェクトを追加する。
【解決手段】第１画像データ群と第２画像データ群とを比較し、第１追加オブジェクトを抽出する。第１追加オブジェクトが抽出された画像データである対象画像データの投影の前に投影された画像データの第２追加オブジェクトを取得する。第１追加オブジェクトと第２追加オブジェクトの比較の結果し、第１追加オブジェクトに含まれるオブジェクトが新規オブジェクトか否かを判断する。新規オブジェクトの場合は、対象画像データに表示されるように第１追加オブジェクトを追加する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理方法、画像処理装置およびプログラムに関するものである。
【背景技術】
【０００２】
近年、デジタルカメラは、その高性能化によって、用途が広がり、オフィスユースとしては会議記録の取り込みなどに利用されるようになった。特許文献１には、ホワイトボードに書かれた会議記録をビデオカメラで取り込み、撮影画像からホワイトボードに書き込まれた内容を分離して電子データとして記憶する技術が開示されている。
【０００３】
また、特許文献２に開示されている技術は、プロジェクター投影された文書画像に対して書き込みを行ったスクリーンを撮影した画像と、プロジェクター投影画像を白画像にしてスクリーンを撮影することにより得た手書き画像とをリンクさせて記憶する。これによって、スクリーンに書き込まれた情報と文書画像とをリンクして記憶することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２５３０６７号公報
【特許文献２】特開２００８−１５２７６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の技術では、プロジェクターでスクリーン上に投影した画像に対して書き込みが行われた画像を撮影した場合、撮影画像のすべての記入物が撮影画像の元画像に対する記入情報であると認識され処理していた。
【０００６】
しかしながら、プロジェクターで投影している画像と、スクリーン上の記入情報は媒体が異なる。そのため、投影画像が切り替わったにも関わらず、スクリーン上の記入情報は切り替わる前の投影画像に対する記入情報が残っているなどの、投影画像とスクリーン上の記入物の不一致と言う現象が少なからず発生していた。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、第１画像データ群と、前記第１画像データ群を構成する画像データのそれぞれを順次スクリーンに投影した画像に対して書き込みがなされた画像を撮影した画像データ群である第２画像データ群とを比較する手段と、前記比較結果に基づいて、前記書き込みの情報を第１追加オブジェクトとして抽出する手段と、前記第２画像データ群のうち、前記第１追加オブジェクトが抽出された画像が投影される前に投影された画像から抽出された第２追加オブジェクトを取得する手段と、前記第１追加オブジェクトと前記第２追加オブジェクトとを比較して、前記第１追加オブジェクトに含まれるオブジェクトが新規オブジェクトか同一オブジェクトかを判断する手段と、前記判断された新規オブジェクト及び同一オブジェクトのそれぞれの格納先を決定する手段と、前記決定した格納先に前記取得した新規オブジェクト及び同一オブジェクトをそれぞれ格納する手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、画像データ群に含まれる画像データを表示する際に、当該画像データに関係する書き込み情報を表示することが可能な画像処理装置、画像処理方法、およびプログラムを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】実施例１のシステム構成を示す図である。
【図２】実施例１の画像データの状態遷移を示す図である。
【図３】実施例１の処理を示すフローチャートである。
【図４】実施例１の画像比較処理を示す図である。
【図５】前画像データにおける追加オブジェクトを示す図である。
【図６】追加オブジェクト比較処理を示すフローチャートである。
【図７】追加オブジェクトの位置、サイズの比較処理を示す図である。
【図８】追加オブジェクトの密度の比較処理を示す図である。
【図９】追加オブジェクトの密度分布の比較処理を示す図である。
【図１０】追加オブジェクトの格納処理を示す図である。
【図１１】追加オブジェクトの表示切り替え処理を示す図である。
【図１２】実施例２の同一オブジェクト追加先判定の処理を示すフローチャートである。
【図１３】実施例２の追加オブジェクト判定結果を示す図である。
【図１４】実施例２のオブジェクト影響度の説明図である。
【図１５】実施例２での出力結果を示す図である。
【図１６】実施例３の新規オブジェクト追加先判定の処理を示すフローチャートである。
【発明を実施するための形態】
【００１０】
［実施例１］
図１は本発明の実施例１を実施するための画像処理装置に係るシステム構成例である。符号１０１はプログラムを実行し、システムの各構成を制御するＣＰＵを示す。符号１０２は本実施形態において処理対象となる画像データやプログラム等を記憶する記憶装置を示す。符号１０３は本実施形態において処理対象となる画像データを入力する入力装置を示す。入力装置１０３としては、デジタルカメラやデータの入力端子などが含まれる。符号１０４は本実施形態において処理された画像を外部に出力するための出力装置を示す。出力装置としては、プロジェクタやデータの出力端子などが含まれる。符号１０５はＲＯＭ（Read Only Memory）を示す。符号１０６はＲＡＭ（Random Access Memory）を示す。記憶装置１０２やＲＯＭ１０５等に記憶されたプログラムなどはＲＡＭ１０６に展開されて、ＣＰＵ１０１で実行される。
【００１１】
ハードディスクなどで実装された記憶装置１０２には複数の画像データからなる第１画像データ群が記憶されている。ＣＰＵ１０１は、記憶装置１０２に記憶された第１画像データ群に含まれる出力対象の画像を切り替えながら、当該出力対象画像をプロジェクターなどの画像出力装置１０４によって順次スクリーンなどに出力する。
【００１２】
スクリーン上に投影された対象画像は、投影されたスクリーン上に直接書き込まれた書き込み情報とともにデジタルカメラなどの画像入力装置１０３で読み取られる。読み取られた画像データに、ＣＰＵ１０１による前記プログラムの実行などにより前記書き込み情報が追加され、当該画像データを含む複数の画像データは第２画像データ群として、記憶装置に再び記憶される。
【００１３】
図２は本発明の実施例１の会議における画像情報の状態遷移を表した図である。
第１画像データ群に含まれる対象画像データ１（２０１）は、プロジェクターなどの画像出力装置１０４により投影画像１１（２０２）としてスクリーン上に投影される。
【００１４】
投影画像１１（２０２）が投影されているスクリーン上に書込み情報１の書込みが行われ、投影画像１２（２０３）が作成される。
【００１５】
投影画像１２（２０３）が投影されている画像を会議記録としてデジタルカメラなどの画像入力装置１０３で撮影して、画像データ１をスクリーン上に投影した画像１１（２０２）と、書込み情報１を合わせて撮影した撮影画像データ１（２０４）を作成する。
【００１６】
次に、投影画像の切り替えを行う。画像出力装置１０４による投影画像を画像データ１（２０１）から画像データ２（２０５）に切り替えて、投影画像２１（２０６）をスクリーン上に投影する。
【００１７】
投影画像２１（２０６）が投影されているスクリーン上に書込み情報２の書込みが行われ、投影画像２２（２０７）が作成される。
【００１８】
投影画像２２（２０７）が投影されている画像を会議記録として画像入力装置１０３で撮影して、画像データ２をスクリーン上に投影した画像２１（２０６）と、書込み情報１および書込み情報２を合わせて撮影した撮影画像データ２（２０８）を作成する。
【００１９】
撮影画像データ１（２０４）及び撮影画像データ２（２０８）を含む画像データ群は、第２画像データ群として記憶装置１０２に記憶される。
【００２０】
図３は本発明の実施例の処理フローチャートである。図３を参照して、本実施形態に係るシステムが図２に示した処理を行った場合の処理の詳細について説明する。
【００２１】
Ｓ３０１において、システムは、入力データとしてスクリーン上に投影した元となった対象画像データと撮影画像データを入力する。ここでは、図２における対象画像データ２（２０５）と現在撮影した撮影画像データ２（２０８）を本実施形態の入力画像データとした場合について説明する。
【００２２】
Ｓ３０２において、ＣＰＵ１０１は、第１画像データ群と第２画像データ群とを比較してその差を抽出する。すなわち、入力画像データである第１画像データ群に含まれる対象画像データと第２画像データ群に含まれる撮影画像データとが比較され、差分画像が抽出される。
【００２３】
図４は、入力画像データの比較処理の概念図である。
【００２４】
４−Ａの画像データは電子データであるのに対して、４−Ｂは撮影画像データである。そのため、４−Ｂの撮影画像データには、ユーザーに書き込まれた情報４−Ｂ３，４−Ｂ４のほかに、４−Ｂ１に示すように、スクリーン上にあるノイズや撮影時などに発生するノイズが存在する。また、元画像データは電子データであるために４−Ｄに示すように線などのエッジが明瞭であるのに対して、撮影画像データでは４−Ｅのように滲みやボケなどによりエッジがぼやけてしまう。
【００２５】
したがって、画像の差分を抽出した場合は、４−Ｃの差分画像に示すように、４−Ｃ１のようなノイズによる差分や、４−Ｃ２のような線のにじみやぼけによる差分が抽出される。書き込み情報に対する差分画像抽出方法は特開２００７−４１８３２などにより、実現されている。
【００２６】
Ｓ３０３では、ＣＰＵ１０１は、差分画像から書き込み情報を追加オブジェクト（第１追加オブジェクト）として抽出する。ここで、第１追加オブジェクトは１つ又は複数のオブジェクトからなる。画像データに書き込みがされていない場合は、追加オブジェクトは抽出されない。後述する第２追加オブジェクトについても同様である。
【００２７】
Ｓ３０２で行う画像比較ではノイズやにじみなどの小さな差分まで取得するため、追加オブジェクトの抽出処理では、本実施形態では対象画像データの周囲に発生する差分や差分データの大きさが閾値以下である場合に無視する処理（ノイズ除去処理）を行う。これによって、４−Ｃの差分画像から、４−Ｆに示すように、現在の対象画像データに対する書き込みによる差分である追加オブジェクトを取得することができる。
【００２８】
Ｓ３０４では、ＣＰＵ１０１は、現在処理した画像の前に処理を行った画像（すなわち、処理対象の画像が投影される前に投影された画像）から抽出された追加オブジェクト（第２追加オブジェクト）を取得する。すなわち、前処理画像の対象画像データ（２０１）と撮影画像データ（２０４）との画像比較においても、Ｓ３０２〜Ｓ３０３と同様に画像の比較および追加オブジェクトの抽出処理を行って、図５に示すような差分の追加オブジェクトを抽出する。
【００２９】
Ｓ３０５では、ＣＰＵ１０１は、Ｓ３０３及びＳ３０４で取得された追加オブジェクトの比較を行う。
【００３０】
図６は追加オブジェクト比較処理のフローチャートである。本フローチャートを用いて追加オブジェクト比較処理の詳細を説明する。
【００３１】
Ｓ６０１では追加オブジェクトが多値画像であった場合には、追加オブジェクトを黒、背景を白とする２値化処理を行う。
【００３２】
Ｓ６０２では追加オブジェクトの外接矩形を取得する。外接矩形は位置とサイズで表現する。オブジェクトの画素が存在するＸ座標の最小値（Ｘｍｉｎ）、およびＹ座標の最小値（Ｙｍｉｎ）、Ｘ座標の最大値（Ｘｍａｘ）、Ｙ座標の最大値（Ｙｍａｘ）を取得する。さらに、オブジェクトの左上の座標値（Ｘｍｉｎ、Ｙｍｉｎ）、オブジェクトの画素幅（Ｘｍａｘ−Ｘｍｉｎ＋１）、オブジェクトの画素高さ（Ｙｍａｘ−Ｙｍｉｎ＋１）で外接矩形を表現する。
【００３３】
Ｓ６０３では追加オブジェクトの位置を比較する。画像の左上（画像原点）から、外接矩形の左上の位置（Ｘ、Ｙ）を比較する。
【００３４】
図７の撮影画像データ１から抽出した追加オブジェクトデータ（７−Ａ）の追加オブジェクト（Ａ１）と現画像の追加オブジェクトデータ（７−Ｂ）の追加オブジェクト（Ｂ１）の比較を行う。
【００３５】
まず、追加オブジェクト（Ａ１）と追加オブジェクト（Ｂ１）の位置の差分を取得する。それぞれの位置の差分 Ｘ（７−Ａ１）−Ｘ（７−Ｂ１）、Ｙ（７−Ａ１）−Ｙ（７−Ｂ１）を計算し、それぞれの閾値Ｘ（Ｔ）、Ｙ（Ｔ）以上であるならば不一致と判定する。Ｘ（Ｔ）＞｜Ｘ（７−Ａ１）−Ｘ（７−Ｂ１）｜、Ｙ（Ｔ）＜｜Ｙ（７−Ａ１）−Ｙ（７−Ｂ１）となるため、追加オブジェクト（Ａ１）と追加オブジェクト（Ｂ１）は異なるオブジェクトであると判定する。
【００３６】
次に追加オブジェクト（Ａ１）と追加オブジェクト（Ｂ２）の位置の差分を取得する。Ｘ（７−Ａ１）−Ｘ（７−Ｂ２）、Ｙ（７−Ａ１）−Ｙ（７−Ｂ２）を計算し、それぞれの閾値Ｘ（Ｔ）、Ｙ（Ｔ）以上であるならば不一致と判定する。この例では、Ｘ（Ｔ）＞｜Ｘ（７−Ａ１）−Ｘ（７−Ｂ２）｜、Ｙ（Ｔ）＜｜Ｙ（７−Ａ１）−Ｙ（７−Ｂ２）となり、位置情報は一致していると判定して、同じオブジェクトの可能性があると判定してＳ６０３を行う。
【００３７】
Ｓ６０４では、Ｓ６０３で一致していると判定されたオブジェクトについてオブジェクトのサイズを比較する。外接矩形のサイズとして幅（Ｗ）と高さ（Ｈ）を比較してそれぞれの閾値Ｗ（Ｔ）、Ｈ（Ｔ）以下であれば同じオブジェクトの可能性があるとし、閾値以上であれば異なるオブジェクトであると判定する。追加オブジェクト（Ａ１）と追加オブジェクト（Ｂ２）は画像サイズのサイズ差を計算し、Ｗ（Ｔ）＞｜Ｗ（７−Ａ１）−Ｗ（７−Ｂ２）｜、Ｈ（Ｔ）＜｜Ｈ（７−Ａ１）−Ｈ（７−Ｂ２）となり同じオブジェクトの可能性があるとしてＳ６０５を行う。
【００３８】
Ｓ６０５では、画素密度を比較する。第８図のように画素密度（Ｄ）＝追加オブジェクトの画素数（Ｏｂｊ（Ｐ））／外接矩形の画素数（Ｒ（Ｐ））で計算する。画素密度を比較して閾値Ｄ（Ｔ）以下であればで同じオブジェクトの可能性があるとし、閾値以上であれば異なるオブジェクトであると判定する。追加オブジェクトの画素密度をそれぞれ計算する。計算結果は、Ｄ（Ｔ）＜｜Ｄ（Ａ１）−Ｄ（Ｂ１）となり同じオブジェクトの可能性があるとしてＳ６０５を行う。これによって、（８−Ａ）の追加オブジェクトＡ１と（８−Ｂ）の追加オブジェクトＢ２は同一である可能性が高いが、位置、サイズが一致すると判定された（８−Ｃ）の追加オブジェクトを異なるデータであると識別することができる。
【００３９】
Ｓ６０６では、画素密度の分布を比較する。第９図に示すように画像を細かい領域に分割し、それぞれの領域における画素密度の差が閾値以下であるかどうかの判定を行いう。画素密度の分布を比較することによって、（９−Ａ）と（９−Ｂ）は同一であると判定される（９−Ｃ）とは異なるオブジェクトであると判定することができる。
【００４０】
以上、Ｓ６０１〜Ｓ６０６までの処理で、追加オブジェクトＡ１は追加オブジェクトＢ２と同じオブジェクト（同一オブジェクト）であると判定することができる。また、追加オブジェクトＢ１に対する同じオブジェクトは前の撮影画像データには存在しないことがわかり、追加オブジェクトＢ１は現在の撮影画像において新規に出現したオブジェクト（新規オブジェクト）であると判定することができる。すなわち、Ｓ６０１〜Ｓ６０６の処理によれば、第１追加オブジェクトに含まれるオブジェクトが新規オブジェクトであるか同一オブジェクトであるかを判断することができる。
【００４１】
また、本実施例では同一判定の精度を上げるために、連結画素のストローク長やループ数などを同一オブジェクトの判定方法に用いることが可能である。
【００４２】
Ｓ３０６では、追加オブジェクトの比較結果によって、現在の撮影画像データで新しく書き込まれた新規オブジェクトか、前の撮影画像データから存在する同一オブジェクトであるか判定する。
【００４３】
Ｓ３０６のオブジェクト比較処理において、同一オブジェクトと判定された追加オブジェクトに対して、Ｓ３０８の同一オブジェクト追加先（格納先）決定処理を行う。図７に示した例では、追加オブジェクトＡ１と同一オブジェクトであると判定された追加オブジェクトＢ２に対して、Ｓ３０８の同一オブジェクト追加先決定処理が行われる。
【００４４】
また、新規オブジェクトと判定された追加オブジェクトに対して、Ｓ３０７の新規オブジェクト追加先決定処理を行う。図７に示した例では、新規オブジェクトと判定された追加オブジェクトＢ１に対して、Ｓ３０７の新規オブジェクト追加先決定処理が行われる。
【００４５】
Ｓ３０７では、新規オブジェクト追加先決定処理を行う。新規オブジェクトは、現在処理している対象画像データ２に対する書き込みである（すなわち、対象画像データ２が追加先画像データである）と判断され、対象画像データ２の表示レイヤーに対して追加するように決定される。
【００４６】
このように新規オブジェクトを表示レイヤーに追加するように決定する事によって、後述するように、対象画像データ２に表示されるように新規オブジェクトを追加することができる。また、新規オブジェクトを対象画像データ２に追加することによって、他の画像データに対して後に行われるオブジェクトの比較処理（Ｓ３０５）にて、当該新規オブジェクトを第２追加オブジェクトとして用いることができる。
【００４７】
Ｓ３０８では、同一オブジェクト追加先決定処理を行う。同一オブジェクトは、前回の撮影画像でも存在したオブジェクトであり、記入情報の消し忘れである可能性が高い。したがって、同一オブジェクトは、現在処理している画像データ２に対する書き込みではないと判定され、対象画像データ２の非表示レイヤーに対して追加されると決定される。
【００４８】
このように同一オブジェクトを非表示レイヤーに追加するように決定する事によって、後述するように、対象画像データ２に表示されないように同一オブジェクトを追加することができる。
【００４９】
Ｓ３０９では、追加オブジェクトの格納（追加）処理を行う。
図１０を参照して、追加オブジェクトの格納方法について説明する。
格納先となる対象画像データ（１０−Ａ）はオブジェクトデータを表示する層（表示レイヤー）とオブジェクトデータを表示しない層（非表示レイヤー）を持ち、最終的に層構造（レイヤー構造）を重ねることによって、表示データを生成する。
【００５０】
前の処理において、オブジェクトを表示データとして追加すると決定した新規オブジェクトに関しては１０−Ｂに示すように、表示レイヤーに追加する。オブジェクトを非表示データとして追加すると決定した同一オブジェクトに関しては１０−Ｃに示すように、非表示レイヤーに追加する。
【００５１】
１０−Ａの対象画像データに対して、表示レイヤー、非表示レイヤーを重ねた形で、１０−Ｄの出力結果を得ることができる。
【００５２】
出力した画像データは図１１に示したように、表示するレイヤーの切り替えを行うことによって、オブジェクトの表示、非表示をレイヤー毎に切り替えることが可能である。
【００５３】
画像を表示する装置に備えるユーザーインターフェイスからの指示によって、本実施形態における最適表示である１１−Ａと全オブジェクト表示（撮影時の追加オブジェクトをすべて表示）である１１−Ｂとを簡単に切り替えることが可能である。
【００５４】
以上のように本実施例によれば、画像データ群に含まれる画像データを表示する際に、当該画像データに関係する書き込み情報のみを表示することが可能となる。すなわち、ある画像データが投影された画像に対して書き込まれた情報のみを当該画像データとともに表示することが可能となる。
【００５５】
［実施例２］
実施例２では、同一オブジェクトの追加先決定処理に関して、実施例１とは異なる方法について説明する。
【００５６】
図３に示した処理について、本実施例ではＳ３０６の同一オブジェクトの判定処理までは実施例１と同様の処理が行われるため、説明は省略する。
【００５７】
図１２は実施例２の処理を表す同一オブジェクト追加先決定処理のフローチャートである。図１２のフローチャートを用いて実施例２を説明する。
【００５８】
図１３にはＳ３０６までの処理によって得られる結果が示されている。前撮影画像データ１３−Ａから得られた追加オブジェクトと、現撮影画像データ１３−Ｂから得られた追加オブジェクトとを比較して、同一オブジェクト１、同一オブジェクト２、及び新規オブジェクト１をそれぞれ取得する。
【００５９】
Ｓ１２０１では、前対象画像データに含まれるコンテンツに対する同一オブジェクトの影響度を計算する。ここで、前対象画像データとは、以前投影された画像データのことである。コンテンツとは対象画像データに予め含まれている図、表、文字、写真などのオブジェクトであり、背景以外の対象画像データのオブジェクトのことである。影響度とは、同一オブジェクトが対象画像データの表示に対して与える影響の度合いのことである。
【００６０】
図１４はオブジェクトとコンテンツの位置関係を示した図である。同一オブジェクト１とコンテンツ１４Ａの影響度を計算する。影響度はコンテンツとオブジェクトの外接矩形との間の距離に比例する。すなわち、影響度は、コンテンツとオブジェクトとの間の距離に応じて計算される。所定の閾値Ｄ（Ｔ）以上の距離が離れている場合、影響度は小さいと判定される。閾値Ｄは、任意の値が予め設定される。
【００６１】
本実施例ではＤ（Ｔ）＝０として、コンテンツと外接矩形が接触している場合に影響度が大きいと判定し、離れている場合は影響度が小さいと判定する。影響度の判定方法については、比較するコンテンツの大きさやオブジェクトの大きさによって動的に変更しても構わない。コンテンツ１４Ａと同一オブジェクト１の外接矩形の距離はＤ１であり、Ｄ１＞０となり影響度が小さいと判定する。コンテンツ１４Ａと同一オブジェクト２の外接矩形の距離はＤ２であり、Ｄ２＞０となり影響度が小さいと判定する。
【００６２】
Ｓ１２０２では、現在の処理対象の画像データ（現対象画像データ）のコンテンツと同一オブジェクトとの影響度を計算する。コンテンツ１４Ｂと同一オブジェクト１の外接矩形の距離はＤ３であり、Ｄ３＞０となり影響度が小さいと判定する。コンテンツ１４Ａと同一オブジェクト２の外接矩形の距離はＤ４であり、コンテンツとオブジェクトが重なっているためＤ４＜０となり影響度が大きいと判定する。
【００６３】
Ｓ１２０３では影響度により追加先を決定する。同一オブジェクト１は、前対象画像データ、現対象画像データともに影響度が小さいので、継続して追加しても影響が小さいオブジェクトであると決定する。一方、同一オブジェクト２は、現対象画像データに対する影響度が大きいために、継続して追加すると影響が大きいオブジェクトであると決定する。
【００６４】
Ｓ１２０４では、決定結果をもとにオブジェクトを追加するか否かの判定を行い、影響度の小さい同一オブジェクト１は表示されるように現対象画像データに追加すると判定される。すなわち、所定の閾値より影響度が小さい場合、現対象画像データに表示されるように同一オブジェクト１を追加すると判定する。また、影響度の大きい同一オブジェクト２は追加できない（または、非表示として追加する）と判定する。
【００６５】
図１５は、実施例２における追加オブジェクトの格納結果を示している。上記判定を行った後、図３のＳ３０９の画像データ格納処理によって、１５−Ａの対象画像データに対して、追加可能と判定された同一オブジェクト１は現対象画像データの表示レイヤー（１５−Ｂ）へ格納する。追加不可と判定された同一オブジェクト２は現対象画像データに追加されない（または、非表示レイヤー（１５−Ｃ）に格納される）。出力結果として１５―Ｄに示す出力結果を出力する。
【００６６】
なお、本実施例では、前対象画像データ及び現対象画像データのコンテンツに対する同一オブジェクトの影響度を計算し、当該影響度に応じて現対象画像データへの同一オブジェクトの追加（格納）方法を判定しているが、この方法に限定されない。現対象画像データのコンテンツに対する同一オブジェクトの影響度のみを計算し、現対象画像データへの同一オブジェクトの追加方法を判定してもよい。
【００６７】
以上のように本実施例によれば、画像データ群に含まれる画像データを表示する際に、当該画像データのコンテンツに対して影響度の小さい同一オブジェクトを当該画像データに表示されるように追加することができる。また、影響度の大きい同一オブジェクトを当該画像データに非表示となるように追加することができる。
【００６８】
［実施例３］
実施例３では、新規オブジェクトオブジェクトの追加先決定処理に関して、実施例１とは異なる方法について説明する。
【００６９】
図３に示した処理について、本実施例ではＳ３０６の同一オブジェクトの判定処理までは実施例１と同様の処理であるので、説明は省略する。
【００７０】
図１６は実施例３の処理を表す新規オブジェクト追加先決定処理のフローチャートである。図１６のフローチャートを用いて実施例３を説明する。
【００７１】
Ｓ１６０１では入力されたオブジェクト（新規オブジェクト）の種別判定の処理を行う。本実施例では入力オブジェクトが文字であるか非文字であるかを判別する。オブジェクトの種別判別は、オブジェクトの連結画素を取り出して、一つ一つの連結画素の大きさがある程度そろっていることと、画素が規則正しく並んでいるなどで判別する。また、ＯＣＲを実行してある程度の閾値で認識できたら文字オブジェクトと判別する。入力オブジェクトが文字であるか非文字であるかの判別は、この方法に限定されず、任意の方法によって行われる。
【００７２】
Ｓ１６０２において、非文字オブジェクトの現対象画像データとの関連度を計算する。関連度は対象となる新規オブジェクトが初めて出現したスライドが最も高いと考えられる。しかしながら、非文字オブジェクトの特徴として、スクリーンに投影されているコンテンツを修飾する用途が多いと考えられる。そのため、非文字オブジェクトは、コンテンツとの重なりが大きいほど関連度が高く、コンテンツとの距離が離れるにしたがって関連度が低くなる傾向がある。
【００７３】
非文字オブジェクトの関連度は以下の数式で計算する。
オブジェクトの面積（Ａ）
オブジェクトとコンテンツの重なり面積（Ａ１）
オブジェクトとコンテンツの距離（Ｄ）
関連度（Ｒ）＝Ａ１／Ａ （距離Ｄ≦０の場合（接触から重なり））
関連度（Ｒ）＝−Ｄ （距離Ｄ＞０の場合）
【００７４】
Ｓ１６０３において、文字オブジェクトの現対象画像データとの関連度を計算する。文字オブジェクトは非文字オブジェクトとは逆に、スクリーンに投影されているコンテンツと独立して記入されることが多い。これは文字オブジェクト自体がコンテンツと重なることによって読めなくなるためである。したがって、文字オブジェクトの関連度はコンテンツとの距離が離れるにしたがって、関連度が低くなり、コンテンツとの重なりが大きくなるほど関連度が低くなる。
【００７５】
文字オブジェクトの関連度は以下の数式で計算する。
オブジェクトの面積（Ａ）
オブジェクトとコンテンツの重なり面積（Ａ１）
オブジェクトとコンテンツの距離（Ｄ）
関連度（Ｒ）＝１−（Ａ１／Ａ） （距離Ｄ≦０の場合（接触から重なり））
関連度（Ｒ）＝１／Ｄ （距離Ｄ＞０の場合）
【００７６】
なお、Ｓ１６０２及びＳ１６０３の処理で用いられる上記計算式は単なる例示であり、関連度は、新規オブジェクトと現対象画像データに含まれるコンテンツとの間の距離及び重なり面積に応じて定まるように計算されればよい。また、非文字オブジェクトの場合、関連度は、コンテンツとの重なりが大きいほど高く、コンテンツとの距離が離れるにしたがって低くなるように計算されればよい。さらに、文字オブジェクトの場合は、関連度は、コンテンツとの距離が離れるにしたがって低くなり、コンテンツとの重なりが大きくなるほど低くなるように計算されればよい。
【００７７】
新規オブジェクトと前対象画像データとの関連度についても、同様の方法により計算される。
【００７８】
Ｓ１６０４は追加先対象画像データ決定処理である。Ｓ１６０２あるいはＳ１６０３で計算した関連度を元に、追加先画像データを決定する。
【００７９】
ここでは、（前対象画像データの関連度）＞（現対象画像データの関連度）である場合は、文字オブジェクトを前対象画像データの表示レイヤーに追加し、現対象画像データの非表示レイヤーに追加する。（前対象画像データの関連度）≦（現対象画像データの関連度）である場合は、文字オブジェクトを現対象画像データの表示レイヤーに追加する。
【００８０】
すなわち、本実施例では、現対象画像データの関連度が前対象画像データの関連度以上の場合、文字オブジェクトを現対象画像データに表示されるように追加する。しかしながら、この方法に限定されず、現対象画像データの関連度が所定の閾値より大きいか否かにより、文字オブジェクトを現対象画像データに表示されるように追加するか否かが決定されても良い。
【００８１】
以上のように本実施例によれば、画像データ群に含まれる画像データを表示する際に、当該画像データに対して関連度の大きい新規オブジェクトは、当該画像データとともに表示され、関連度の小さい新規オブジェクトは、非表示となるようにすることができる。
【００８２】
（その他の実施形態）
本発明は、複数の機器（例えばコンピュータ、インターフェース機器、リーダ、プリンタなど）から構成されるシステムに適用することも、１つの機器からなる装置（複合機、プリンタ、ファクシミリ装置など）に適用することも可能である。
【００８３】
前述した実施形態の機能を実現するように前述した実施形態の構成を動作させるプログラムを記憶媒体に記憶させ、該記憶媒体に記憶されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も上述の実施形態の範疇に含まれる。即ちコンピュータ読み取り可能な記憶媒体も実施例の範囲に含まれる。また、前述のコンピュータプログラムが記憶された記憶媒体はもちろんそのコンピュータプログラム自体も上述の実施形態に含まれる。
【００８４】
かかる記憶媒体としてはたとえばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ―ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。
【００８５】
また前述の記憶媒体に記憶されたプログラム単体で処理を実行しているものに限らず、他のソフトウエア、拡張ボードの機能と共同して、ＯＳ上で動作し前述の実施形態の動作を実行するものも前述した実施形態の範疇に含まれる。
【符号の説明】
【００８６】
１０１ ＣＰＵ
１０２ 記憶装置
１０３ 入力デバイス
１０４ 出力デバイス
１０５ ＲＯＭ
１０６ ＲＡＭ
【技術分野】
【０００１】
本発明は画像処理方法、画像処理装置およびプログラムに関するものである。
【背景技術】
【０００２】
近年、デジタルカメラは、その高性能化によって、用途が広がり、オフィスユースとしては会議記録の取り込みなどに利用されるようになった。特許文献１には、ホワイトボードに書かれた会議記録をビデオカメラで取り込み、撮影画像からホワイトボードに書き込まれた内容を分離して電子データとして記憶する技術が開示されている。
【０００３】
また、特許文献２に開示されている技術は、プロジェクター投影された文書画像に対して書き込みを行ったスクリーンを撮影した画像と、プロジェクター投影画像を白画像にしてスクリーンを撮影することにより得た手書き画像とをリンクさせて記憶する。これによって、スクリーンに書き込まれた情報と文書画像とをリンクして記憶することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２５３０６７号公報
【特許文献２】特開２００８−１５２７６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の技術では、プロジェクターでスクリーン上に投影した画像に対して書き込みが行われた画像を撮影した場合、撮影画像のすべての記入物が撮影画像の元画像に対する記入情報であると認識され処理していた。
【０００６】
しかしながら、プロジェクターで投影している画像と、スクリーン上の記入情報は媒体が異なる。そのため、投影画像が切り替わったにも関わらず、スクリーン上の記入情報は切り替わる前の投影画像に対する記入情報が残っているなどの、投影画像とスクリーン上の記入物の不一致と言う現象が少なからず発生していた。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、第１画像データ群と、前記第１画像データ群を構成する画像データのそれぞれを順次スクリーンに投影した画像に対して書き込みがなされた画像を撮影した画像データ群である第２画像データ群とを比較する手段と、前記比較結果に基づいて、前記書き込みの情報を第１追加オブジェクトとして抽出する手段と、前記第２画像データ群のうち、前記第１追加オブジェクトが抽出された画像が投影される前に投影された画像から抽出された第２追加オブジェクトを取得する手段と、前記第１追加オブジェクトと前記第２追加オブジェクトとを比較して、前記第１追加オブジェクトに含まれるオブジェクトが新規オブジェクトか同一オブジェクトかを判断する手段と、前記判断された新規オブジェクト及び同一オブジェクトのそれぞれの格納先を決定する手段と、前記決定した格納先に前記取得した新規オブジェクト及び同一オブジェクトをそれぞれ格納する手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、画像データ群に含まれる画像データを表示する際に、当該画像データに関係する書き込み情報を表示することが可能な画像処理装置、画像処理方法、およびプログラムを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】実施例１のシステム構成を示す図である。
【図２】実施例１の画像データの状態遷移を示す図である。
【図３】実施例１の処理を示すフローチャートである。
【図４】実施例１の画像比較処理を示す図である。
【図５】前画像データにおける追加オブジェクトを示す図である。
【図６】追加オブジェクト比較処理を示すフローチャートである。
【図７】追加オブジェクトの位置、サイズの比較処理を示す図である。
【図８】追加オブジェクトの密度の比較処理を示す図である。
【図９】追加オブジェクトの密度分布の比較処理を示す図である。
【図１０】追加オブジェクトの格納処理を示す図である。
【図１１】追加オブジェクトの表示切り替え処理を示す図である。
【図１２】実施例２の同一オブジェクト追加先判定の処理を示すフローチャートである。
【図１３】実施例２の追加オブジェクト判定結果を示す図である。
【図１４】実施例２のオブジェクト影響度の説明図である。
【図１５】実施例２での出力結果を示す図である。
【図１６】実施例３の新規オブジェクト追加先判定の処理を示すフローチャートである。
【発明を実施するための形態】
【００１０】
［実施例１］
図１は本発明の実施例１を実施するための画像処理装置に係るシステム構成例である。符号１０１はプログラムを実行し、システムの各構成を制御するＣＰＵを示す。符号１０２は本実施形態において処理対象となる画像データやプログラム等を記憶する記憶装置を示す。符号１０３は本実施形態において処理対象となる画像データを入力する入力装置を示す。入力装置１０３としては、デジタルカメラやデータの入力端子などが含まれる。符号１０４は本実施形態において処理された画像を外部に出力するための出力装置を示す。出力装置としては、プロジェクタやデータの出力端子などが含まれる。符号１０５はＲＯＭ（Read Only Memory）を示す。符号１０６はＲＡＭ（Random Access Memory）を示す。記憶装置１０２やＲＯＭ１０５等に記憶されたプログラムなどはＲＡＭ１０６に展開されて、ＣＰＵ１０１で実行される。
【００１１】
ハードディスクなどで実装された記憶装置１０２には複数の画像データからなる第１画像データ群が記憶されている。ＣＰＵ１０１は、記憶装置１０２に記憶された第１画像データ群に含まれる出力対象の画像を切り替えながら、当該出力対象画像をプロジェクターなどの画像出力装置１０４によって順次スクリーンなどに出力する。
【００１２】
スクリーン上に投影された対象画像は、投影されたスクリーン上に直接書き込まれた書き込み情報とともにデジタルカメラなどの画像入力装置１０３で読み取られる。読み取られた画像データに、ＣＰＵ１０１による前記プログラムの実行などにより前記書き込み情報が追加され、当該画像データを含む複数の画像データは第２画像データ群として、記憶装置に再び記憶される。
【００１３】
図２は本発明の実施例１の会議における画像情報の状態遷移を表した図である。
第１画像データ群に含まれる対象画像データ１（２０１）は、プロジェクターなどの画像出力装置１０４により投影画像１１（２０２）としてスクリーン上に投影される。
【００１４】
投影画像１１（２０２）が投影されているスクリーン上に書込み情報１の書込みが行われ、投影画像１２（２０３）が作成される。
【００１５】
投影画像１２（２０３）が投影されている画像を会議記録としてデジタルカメラなどの画像入力装置１０３で撮影して、画像データ１をスクリーン上に投影した画像１１（２０２）と、書込み情報１を合わせて撮影した撮影画像データ１（２０４）を作成する。
【００１６】
次に、投影画像の切り替えを行う。画像出力装置１０４による投影画像を画像データ１（２０１）から画像データ２（２０５）に切り替えて、投影画像２１（２０６）をスクリーン上に投影する。
【００１７】
投影画像２１（２０６）が投影されているスクリーン上に書込み情報２の書込みが行われ、投影画像２２（２０７）が作成される。
【００１８】
投影画像２２（２０７）が投影されている画像を会議記録として画像入力装置１０３で撮影して、画像データ２をスクリーン上に投影した画像２１（２０６）と、書込み情報１および書込み情報２を合わせて撮影した撮影画像データ２（２０８）を作成する。
【００１９】
撮影画像データ１（２０４）及び撮影画像データ２（２０８）を含む画像データ群は、第２画像データ群として記憶装置１０２に記憶される。
【００２０】
図３は本発明の実施例の処理フローチャートである。図３を参照して、本実施形態に係るシステムが図２に示した処理を行った場合の処理の詳細について説明する。
【００２１】
Ｓ３０１において、システムは、入力データとしてスクリーン上に投影した元となった対象画像データと撮影画像データを入力する。ここでは、図２における対象画像データ２（２０５）と現在撮影した撮影画像データ２（２０８）を本実施形態の入力画像データとした場合について説明する。
【００２２】
Ｓ３０２において、ＣＰＵ１０１は、第１画像データ群と第２画像データ群とを比較してその差を抽出する。すなわち、入力画像データである第１画像データ群に含まれる対象画像データと第２画像データ群に含まれる撮影画像データとが比較され、差分画像が抽出される。
【００２３】
図４は、入力画像データの比較処理の概念図である。
【００２４】
４−Ａの画像データは電子データであるのに対して、４−Ｂは撮影画像データである。そのため、４−Ｂの撮影画像データには、ユーザーに書き込まれた情報４−Ｂ３，４−Ｂ４のほかに、４−Ｂ１に示すように、スクリーン上にあるノイズや撮影時などに発生するノイズが存在する。また、元画像データは電子データであるために４−Ｄに示すように線などのエッジが明瞭であるのに対して、撮影画像データでは４−Ｅのように滲みやボケなどによりエッジがぼやけてしまう。
【００２５】
したがって、画像の差分を抽出した場合は、４−Ｃの差分画像に示すように、４−Ｃ１のようなノイズによる差分や、４−Ｃ２のような線のにじみやぼけによる差分が抽出される。書き込み情報に対する差分画像抽出方法は特開２００７−４１８３２などにより、実現されている。
【００２６】
Ｓ３０３では、ＣＰＵ１０１は、差分画像から書き込み情報を追加オブジェクト（第１追加オブジェクト）として抽出する。ここで、第１追加オブジェクトは１つ又は複数のオブジェクトからなる。画像データに書き込みがされていない場合は、追加オブジェクトは抽出されない。後述する第２追加オブジェクトについても同様である。
【００２７】
Ｓ３０２で行う画像比較ではノイズやにじみなどの小さな差分まで取得するため、追加オブジェクトの抽出処理では、本実施形態では対象画像データの周囲に発生する差分や差分データの大きさが閾値以下である場合に無視する処理（ノイズ除去処理）を行う。これによって、４−Ｃの差分画像から、４−Ｆに示すように、現在の対象画像データに対する書き込みによる差分である追加オブジェクトを取得することができる。
【００２８】
Ｓ３０４では、ＣＰＵ１０１は、現在処理した画像の前に処理を行った画像（すなわち、処理対象の画像が投影される前に投影された画像）から抽出された追加オブジェクト（第２追加オブジェクト）を取得する。すなわち、前処理画像の対象画像データ（２０１）と撮影画像データ（２０４）との画像比較においても、Ｓ３０２〜Ｓ３０３と同様に画像の比較および追加オブジェクトの抽出処理を行って、図５に示すような差分の追加オブジェクトを抽出する。
【００２９】
Ｓ３０５では、ＣＰＵ１０１は、Ｓ３０３及びＳ３０４で取得された追加オブジェクトの比較を行う。
【００３０】
図６は追加オブジェクト比較処理のフローチャートである。本フローチャートを用いて追加オブジェクト比較処理の詳細を説明する。
【００３１】
Ｓ６０１では追加オブジェクトが多値画像であった場合には、追加オブジェクトを黒、背景を白とする２値化処理を行う。
【００３２】
Ｓ６０２では追加オブジェクトの外接矩形を取得する。外接矩形は位置とサイズで表現する。オブジェクトの画素が存在するＸ座標の最小値（Ｘｍｉｎ）、およびＹ座標の最小値（Ｙｍｉｎ）、Ｘ座標の最大値（Ｘｍａｘ）、Ｙ座標の最大値（Ｙｍａｘ）を取得する。さらに、オブジェクトの左上の座標値（Ｘｍｉｎ、Ｙｍｉｎ）、オブジェクトの画素幅（Ｘｍａｘ−Ｘｍｉｎ＋１）、オブジェクトの画素高さ（Ｙｍａｘ−Ｙｍｉｎ＋１）で外接矩形を表現する。
【００３３】
Ｓ６０３では追加オブジェクトの位置を比較する。画像の左上（画像原点）から、外接矩形の左上の位置（Ｘ、Ｙ）を比較する。
【００３４】
図７の撮影画像データ１から抽出した追加オブジェクトデータ（７−Ａ）の追加オブジェクト（Ａ１）と現画像の追加オブジェクトデータ（７−Ｂ）の追加オブジェクト（Ｂ１）の比較を行う。
【００３５】
まず、追加オブジェクト（Ａ１）と追加オブジェクト（Ｂ１）の位置の差分を取得する。それぞれの位置の差分 Ｘ（７−Ａ１）−Ｘ（７−Ｂ１）、Ｙ（７−Ａ１）−Ｙ（７−Ｂ１）を計算し、それぞれの閾値Ｘ（Ｔ）、Ｙ（Ｔ）以上であるならば不一致と判定する。Ｘ（Ｔ）＞｜Ｘ（７−Ａ１）−Ｘ（７−Ｂ１）｜、Ｙ（Ｔ）＜｜Ｙ（７−Ａ１）−Ｙ（７−Ｂ１）となるため、追加オブジェクト（Ａ１）と追加オブジェクト（Ｂ１）は異なるオブジェクトであると判定する。
【００３６】
次に追加オブジェクト（Ａ１）と追加オブジェクト（Ｂ２）の位置の差分を取得する。Ｘ（７−Ａ１）−Ｘ（７−Ｂ２）、Ｙ（７−Ａ１）−Ｙ（７−Ｂ２）を計算し、それぞれの閾値Ｘ（Ｔ）、Ｙ（Ｔ）以上であるならば不一致と判定する。この例では、Ｘ（Ｔ）＞｜Ｘ（７−Ａ１）−Ｘ（７−Ｂ２）｜、Ｙ（Ｔ）＜｜Ｙ（７−Ａ１）−Ｙ（７−Ｂ２）となり、位置情報は一致していると判定して、同じオブジェクトの可能性があると判定してＳ６０３を行う。
【００３７】
Ｓ６０４では、Ｓ６０３で一致していると判定されたオブジェクトについてオブジェクトのサイズを比較する。外接矩形のサイズとして幅（Ｗ）と高さ（Ｈ）を比較してそれぞれの閾値Ｗ（Ｔ）、Ｈ（Ｔ）以下であれば同じオブジェクトの可能性があるとし、閾値以上であれば異なるオブジェクトであると判定する。追加オブジェクト（Ａ１）と追加オブジェクト（Ｂ２）は画像サイズのサイズ差を計算し、Ｗ（Ｔ）＞｜Ｗ（７−Ａ１）−Ｗ（７−Ｂ２）｜、Ｈ（Ｔ）＜｜Ｈ（７−Ａ１）−Ｈ（７−Ｂ２）となり同じオブジェクトの可能性があるとしてＳ６０５を行う。
【００３８】
Ｓ６０５では、画素密度を比較する。第８図のように画素密度（Ｄ）＝追加オブジェクトの画素数（Ｏｂｊ（Ｐ））／外接矩形の画素数（Ｒ（Ｐ））で計算する。画素密度を比較して閾値Ｄ（Ｔ）以下であればで同じオブジェクトの可能性があるとし、閾値以上であれば異なるオブジェクトであると判定する。追加オブジェクトの画素密度をそれぞれ計算する。計算結果は、Ｄ（Ｔ）＜｜Ｄ（Ａ１）−Ｄ（Ｂ１）となり同じオブジェクトの可能性があるとしてＳ６０５を行う。これによって、（８−Ａ）の追加オブジェクトＡ１と（８−Ｂ）の追加オブジェクトＢ２は同一である可能性が高いが、位置、サイズが一致すると判定された（８−Ｃ）の追加オブジェクトを異なるデータであると識別することができる。
【００３９】
Ｓ６０６では、画素密度の分布を比較する。第９図に示すように画像を細かい領域に分割し、それぞれの領域における画素密度の差が閾値以下であるかどうかの判定を行いう。画素密度の分布を比較することによって、（９−Ａ）と（９−Ｂ）は同一であると判定される（９−Ｃ）とは異なるオブジェクトであると判定することができる。
【００４０】
以上、Ｓ６０１〜Ｓ６０６までの処理で、追加オブジェクトＡ１は追加オブジェクトＢ２と同じオブジェクト（同一オブジェクト）であると判定することができる。また、追加オブジェクトＢ１に対する同じオブジェクトは前の撮影画像データには存在しないことがわかり、追加オブジェクトＢ１は現在の撮影画像において新規に出現したオブジェクト（新規オブジェクト）であると判定することができる。すなわち、Ｓ６０１〜Ｓ６０６の処理によれば、第１追加オブジェクトに含まれるオブジェクトが新規オブジェクトであるか同一オブジェクトであるかを判断することができる。
【００４１】
また、本実施例では同一判定の精度を上げるために、連結画素のストローク長やループ数などを同一オブジェクトの判定方法に用いることが可能である。
【００４２】
Ｓ３０６では、追加オブジェクトの比較結果によって、現在の撮影画像データで新しく書き込まれた新規オブジェクトか、前の撮影画像データから存在する同一オブジェクトであるか判定する。
【００４３】
Ｓ３０６のオブジェクト比較処理において、同一オブジェクトと判定された追加オブジェクトに対して、Ｓ３０８の同一オブジェクト追加先（格納先）決定処理を行う。図７に示した例では、追加オブジェクトＡ１と同一オブジェクトであると判定された追加オブジェクトＢ２に対して、Ｓ３０８の同一オブジェクト追加先決定処理が行われる。
【００４４】
また、新規オブジェクトと判定された追加オブジェクトに対して、Ｓ３０７の新規オブジェクト追加先決定処理を行う。図７に示した例では、新規オブジェクトと判定された追加オブジェクトＢ１に対して、Ｓ３０７の新規オブジェクト追加先決定処理が行われる。
【００４５】
Ｓ３０７では、新規オブジェクト追加先決定処理を行う。新規オブジェクトは、現在処理している対象画像データ２に対する書き込みである（すなわち、対象画像データ２が追加先画像データである）と判断され、対象画像データ２の表示レイヤーに対して追加するように決定される。
【００４６】
このように新規オブジェクトを表示レイヤーに追加するように決定する事によって、後述するように、対象画像データ２に表示されるように新規オブジェクトを追加することができる。また、新規オブジェクトを対象画像データ２に追加することによって、他の画像データに対して後に行われるオブジェクトの比較処理（Ｓ３０５）にて、当該新規オブジェクトを第２追加オブジェクトとして用いることができる。
【００４７】
Ｓ３０８では、同一オブジェクト追加先決定処理を行う。同一オブジェクトは、前回の撮影画像でも存在したオブジェクトであり、記入情報の消し忘れである可能性が高い。したがって、同一オブジェクトは、現在処理している画像データ２に対する書き込みではないと判定され、対象画像データ２の非表示レイヤーに対して追加されると決定される。
【００４８】
このように同一オブジェクトを非表示レイヤーに追加するように決定する事によって、後述するように、対象画像データ２に表示されないように同一オブジェクトを追加することができる。
【００４９】
Ｓ３０９では、追加オブジェクトの格納（追加）処理を行う。
図１０を参照して、追加オブジェクトの格納方法について説明する。
格納先となる対象画像データ（１０−Ａ）はオブジェクトデータを表示する層（表示レイヤー）とオブジェクトデータを表示しない層（非表示レイヤー）を持ち、最終的に層構造（レイヤー構造）を重ねることによって、表示データを生成する。
【００５０】
前の処理において、オブジェクトを表示データとして追加すると決定した新規オブジェクトに関しては１０−Ｂに示すように、表示レイヤーに追加する。オブジェクトを非表示データとして追加すると決定した同一オブジェクトに関しては１０−Ｃに示すように、非表示レイヤーに追加する。
【００５１】
１０−Ａの対象画像データに対して、表示レイヤー、非表示レイヤーを重ねた形で、１０−Ｄの出力結果を得ることができる。
【００５２】
出力した画像データは図１１に示したように、表示するレイヤーの切り替えを行うことによって、オブジェクトの表示、非表示をレイヤー毎に切り替えることが可能である。
【００５３】
画像を表示する装置に備えるユーザーインターフェイスからの指示によって、本実施形態における最適表示である１１−Ａと全オブジェクト表示（撮影時の追加オブジェクトをすべて表示）である１１−Ｂとを簡単に切り替えることが可能である。
【００５４】
以上のように本実施例によれば、画像データ群に含まれる画像データを表示する際に、当該画像データに関係する書き込み情報のみを表示することが可能となる。すなわち、ある画像データが投影された画像に対して書き込まれた情報のみを当該画像データとともに表示することが可能となる。
【００５５】
［実施例２］
実施例２では、同一オブジェクトの追加先決定処理に関して、実施例１とは異なる方法について説明する。
【００５６】
図３に示した処理について、本実施例ではＳ３０６の同一オブジェクトの判定処理までは実施例１と同様の処理が行われるため、説明は省略する。
【００５７】
図１２は実施例２の処理を表す同一オブジェクト追加先決定処理のフローチャートである。図１２のフローチャートを用いて実施例２を説明する。
【００５８】
図１３にはＳ３０６までの処理によって得られる結果が示されている。前撮影画像データ１３−Ａから得られた追加オブジェクトと、現撮影画像データ１３−Ｂから得られた追加オブジェクトとを比較して、同一オブジェクト１、同一オブジェクト２、及び新規オブジェクト１をそれぞれ取得する。
【００５９】
Ｓ１２０１では、前対象画像データに含まれるコンテンツに対する同一オブジェクトの影響度を計算する。ここで、前対象画像データとは、以前投影された画像データのことである。コンテンツとは対象画像データに予め含まれている図、表、文字、写真などのオブジェクトであり、背景以外の対象画像データのオブジェクトのことである。影響度とは、同一オブジェクトが対象画像データの表示に対して与える影響の度合いのことである。
【００６０】
図１４はオブジェクトとコンテンツの位置関係を示した図である。同一オブジェクト１とコンテンツ１４Ａの影響度を計算する。影響度はコンテンツとオブジェクトの外接矩形との間の距離に比例する。すなわち、影響度は、コンテンツとオブジェクトとの間の距離に応じて計算される。所定の閾値Ｄ（Ｔ）以上の距離が離れている場合、影響度は小さいと判定される。閾値Ｄは、任意の値が予め設定される。
【００６１】
本実施例ではＤ（Ｔ）＝０として、コンテンツと外接矩形が接触している場合に影響度が大きいと判定し、離れている場合は影響度が小さいと判定する。影響度の判定方法については、比較するコンテンツの大きさやオブジェクトの大きさによって動的に変更しても構わない。コンテンツ１４Ａと同一オブジェクト１の外接矩形の距離はＤ１であり、Ｄ１＞０となり影響度が小さいと判定する。コンテンツ１４Ａと同一オブジェクト２の外接矩形の距離はＤ２であり、Ｄ２＞０となり影響度が小さいと判定する。
【００６２】
Ｓ１２０２では、現在の処理対象の画像データ（現対象画像データ）のコンテンツと同一オブジェクトとの影響度を計算する。コンテンツ１４Ｂと同一オブジェクト１の外接矩形の距離はＤ３であり、Ｄ３＞０となり影響度が小さいと判定する。コンテンツ１４Ａと同一オブジェクト２の外接矩形の距離はＤ４であり、コンテンツとオブジェクトが重なっているためＤ４＜０となり影響度が大きいと判定する。
【００６３】
Ｓ１２０３では影響度により追加先を決定する。同一オブジェクト１は、前対象画像データ、現対象画像データともに影響度が小さいので、継続して追加しても影響が小さいオブジェクトであると決定する。一方、同一オブジェクト２は、現対象画像データに対する影響度が大きいために、継続して追加すると影響が大きいオブジェクトであると決定する。
【００６４】
Ｓ１２０４では、決定結果をもとにオブジェクトを追加するか否かの判定を行い、影響度の小さい同一オブジェクト１は表示されるように現対象画像データに追加すると判定される。すなわち、所定の閾値より影響度が小さい場合、現対象画像データに表示されるように同一オブジェクト１を追加すると判定する。また、影響度の大きい同一オブジェクト２は追加できない（または、非表示として追加する）と判定する。
【００６５】
図１５は、実施例２における追加オブジェクトの格納結果を示している。上記判定を行った後、図３のＳ３０９の画像データ格納処理によって、１５−Ａの対象画像データに対して、追加可能と判定された同一オブジェクト１は現対象画像データの表示レイヤー（１５−Ｂ）へ格納する。追加不可と判定された同一オブジェクト２は現対象画像データに追加されない（または、非表示レイヤー（１５−Ｃ）に格納される）。出力結果として１５―Ｄに示す出力結果を出力する。
【００６６】
なお、本実施例では、前対象画像データ及び現対象画像データのコンテンツに対する同一オブジェクトの影響度を計算し、当該影響度に応じて現対象画像データへの同一オブジェクトの追加（格納）方法を判定しているが、この方法に限定されない。現対象画像データのコンテンツに対する同一オブジェクトの影響度のみを計算し、現対象画像データへの同一オブジェクトの追加方法を判定してもよい。
【００６７】
以上のように本実施例によれば、画像データ群に含まれる画像データを表示する際に、当該画像データのコンテンツに対して影響度の小さい同一オブジェクトを当該画像データに表示されるように追加することができる。また、影響度の大きい同一オブジェクトを当該画像データに非表示となるように追加することができる。
【００６８】
［実施例３］
実施例３では、新規オブジェクトオブジェクトの追加先決定処理に関して、実施例１とは異なる方法について説明する。
【００６９】
図３に示した処理について、本実施例ではＳ３０６の同一オブジェクトの判定処理までは実施例１と同様の処理であるので、説明は省略する。
【００７０】
図１６は実施例３の処理を表す新規オブジェクト追加先決定処理のフローチャートである。図１６のフローチャートを用いて実施例３を説明する。
【００７１】
Ｓ１６０１では入力されたオブジェクト（新規オブジェクト）の種別判定の処理を行う。本実施例では入力オブジェクトが文字であるか非文字であるかを判別する。オブジェクトの種別判別は、オブジェクトの連結画素を取り出して、一つ一つの連結画素の大きさがある程度そろっていることと、画素が規則正しく並んでいるなどで判別する。また、ＯＣＲを実行してある程度の閾値で認識できたら文字オブジェクトと判別する。入力オブジェクトが文字であるか非文字であるかの判別は、この方法に限定されず、任意の方法によって行われる。
【００７２】
Ｓ１６０２において、非文字オブジェクトの現対象画像データとの関連度を計算する。関連度は対象となる新規オブジェクトが初めて出現したスライドが最も高いと考えられる。しかしながら、非文字オブジェクトの特徴として、スクリーンに投影されているコンテンツを修飾する用途が多いと考えられる。そのため、非文字オブジェクトは、コンテンツとの重なりが大きいほど関連度が高く、コンテンツとの距離が離れるにしたがって関連度が低くなる傾向がある。
【００７３】
非文字オブジェクトの関連度は以下の数式で計算する。
オブジェクトの面積（Ａ）
オブジェクトとコンテンツの重なり面積（Ａ１）
オブジェクトとコンテンツの距離（Ｄ）
関連度（Ｒ）＝Ａ１／Ａ （距離Ｄ≦０の場合（接触から重なり））
関連度（Ｒ）＝−Ｄ （距離Ｄ＞０の場合）
【００７４】
Ｓ１６０３において、文字オブジェクトの現対象画像データとの関連度を計算する。文字オブジェクトは非文字オブジェクトとは逆に、スクリーンに投影されているコンテンツと独立して記入されることが多い。これは文字オブジェクト自体がコンテンツと重なることによって読めなくなるためである。したがって、文字オブジェクトの関連度はコンテンツとの距離が離れるにしたがって、関連度が低くなり、コンテンツとの重なりが大きくなるほど関連度が低くなる。
【００７５】
文字オブジェクトの関連度は以下の数式で計算する。
オブジェクトの面積（Ａ）
オブジェクトとコンテンツの重なり面積（Ａ１）
オブジェクトとコンテンツの距離（Ｄ）
関連度（Ｒ）＝１−（Ａ１／Ａ） （距離Ｄ≦０の場合（接触から重なり））
関連度（Ｒ）＝１／Ｄ （距離Ｄ＞０の場合）
【００７６】
なお、Ｓ１６０２及びＳ１６０３の処理で用いられる上記計算式は単なる例示であり、関連度は、新規オブジェクトと現対象画像データに含まれるコンテンツとの間の距離及び重なり面積に応じて定まるように計算されればよい。また、非文字オブジェクトの場合、関連度は、コンテンツとの重なりが大きいほど高く、コンテンツとの距離が離れるにしたがって低くなるように計算されればよい。さらに、文字オブジェクトの場合は、関連度は、コンテンツとの距離が離れるにしたがって低くなり、コンテンツとの重なりが大きくなるほど低くなるように計算されればよい。
【００７７】
新規オブジェクトと前対象画像データとの関連度についても、同様の方法により計算される。
【００７８】
Ｓ１６０４は追加先対象画像データ決定処理である。Ｓ１６０２あるいはＳ１６０３で計算した関連度を元に、追加先画像データを決定する。
【００７９】
ここでは、（前対象画像データの関連度）＞（現対象画像データの関連度）である場合は、文字オブジェクトを前対象画像データの表示レイヤーに追加し、現対象画像データの非表示レイヤーに追加する。（前対象画像データの関連度）≦（現対象画像データの関連度）である場合は、文字オブジェクトを現対象画像データの表示レイヤーに追加する。
【００８０】
すなわち、本実施例では、現対象画像データの関連度が前対象画像データの関連度以上の場合、文字オブジェクトを現対象画像データに表示されるように追加する。しかしながら、この方法に限定されず、現対象画像データの関連度が所定の閾値より大きいか否かにより、文字オブジェクトを現対象画像データに表示されるように追加するか否かが決定されても良い。
【００８１】
以上のように本実施例によれば、画像データ群に含まれる画像データを表示する際に、当該画像データに対して関連度の大きい新規オブジェクトは、当該画像データとともに表示され、関連度の小さい新規オブジェクトは、非表示となるようにすることができる。
【００８２】
（その他の実施形態）
本発明は、複数の機器（例えばコンピュータ、インターフェース機器、リーダ、プリンタなど）から構成されるシステムに適用することも、１つの機器からなる装置（複合機、プリンタ、ファクシミリ装置など）に適用することも可能である。
【００８３】
前述した実施形態の機能を実現するように前述した実施形態の構成を動作させるプログラムを記憶媒体に記憶させ、該記憶媒体に記憶されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も上述の実施形態の範疇に含まれる。即ちコンピュータ読み取り可能な記憶媒体も実施例の範囲に含まれる。また、前述のコンピュータプログラムが記憶された記憶媒体はもちろんそのコンピュータプログラム自体も上述の実施形態に含まれる。
【００８４】
かかる記憶媒体としてはたとえばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ―ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。
【００８５】
また前述の記憶媒体に記憶されたプログラム単体で処理を実行しているものに限らず、他のソフトウエア、拡張ボードの機能と共同して、ＯＳ上で動作し前述の実施形態の動作を実行するものも前述した実施形態の範疇に含まれる。
【符号の説明】
【００８６】
１０１ ＣＰＵ
１０２ 記憶装置
１０３ 入力デバイス
１０４ 出力デバイス
１０５ ＲＯＭ
１０６ ＲＡＭ
【特許請求の範囲】
【請求項１】
第１画像データ群と、前記第１画像データ群を構成する画像データのそれぞれを順次スクリーンに投影した画像に対して書き込みがなされた画像を撮影した画像データ群である第２画像データ群とを比較する手段と、
前記比較結果に基づいて、前記書き込みの情報を第１追加オブジェクトとして抽出する手段と、
前記第２画像データ群のうち、前記第１追加オブジェクトが抽出された画像が投影される前に投影された画像から抽出された第２追加オブジェクトを取得する手段と、
前記第１追加オブジェクトと前記第２追加オブジェクトとを比較して、前記第１追加オブジェクトに含まれるオブジェクトが新規オブジェクトか同一オブジェクトかを判断する手段と、
前記判断された新規オブジェクト及び同一オブジェクトのそれぞれの格納先を決定する手段と、
前記決定した格納先に前記取得した新規オブジェクト及び同一オブジェクトをそれぞれ格納する手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１追加オブジェクトに含まれるオブジェクトが新規オブジェクトか同一オブジェクトかを判断する手段は、各追加オブジェクトの少なくとも位置及びサイズを比較して判断をすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記新規オブジェクト及び同一オブジェクトの格納先を決定する手段は、新規オブジェクトを前記第１画像データ群に係る画像データの表示レイヤーに格納し、同一オブジェクトを前記第１画像データ群に係る画像の非表示レイヤーに格納するように決定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
第１画像データ群と、前記第１画像データ群を構成する画像データのそれぞれを順次スクリーンに投影した画像に対して書き込みがなされた画像を撮影した画像データ群である第２画像データ群とを比較する手段と、
前記比較結果に基づいて、前記書き込みの情報を第１追加オブジェクトとして抽出する手段と、
前記第２画像データ群のうち、前記第１追加オブジェクトが抽出された画像が投影される前に投影された画像から抽出された第２追加オブジェクトを取得する手段と、
前記第１追加オブジェクトと前記第２追加オブジェクトとを比較して、前記第１追加オブジェクトに含まれるオブジェクトが同一オブジェクトかを判断する手段と、
前記第１画像データ群に係る画像データに予め含まれているコンテンツに対する、前記同一オブジェクトと判断されたオブジェクトの影響度を、当該コンテンツ及び当該オブジェクトとの間の距離に応じて計算する手段と、
前記計算された影響度が所定の閾値より小さい場合、前記第１画像データ群に係る画像データに表示されるように前記同一オブジェクトを格納する手段と
を備えることを特徴とする画像処理装置。
【請求項５】
第１画像データ群と、前記第１画像データ群を構成する画像データのそれぞれを順次スクリーンに投影した画像に対して書き込みがなされた画像を撮影した画像データ群である第２画像データ群とを比較する手段と、
前記比較結果に基づいて、前記書き込みの情報を第１追加オブジェクトとして抽出する手段と、
前記第２画像データ群のうち、前記第１追加オブジェクトが抽出された画像データである現対象画像データが投影される前に投影された画像である前対象画像データから抽出された第２追加オブジェクトを取得する手段と、
前記第１追加オブジェクトと前記第２追加オブジェクトとを比較して、前記第１追加オブジェクトに含まれるオブジェクトが新規オブジェクトかを判断する手段と、
前記新規オブジェクトと判断されたオブジェクトと前記現対象画像データとの関連度を、前記新規オブジェクトと前記現対象画像データに含まれるコンテンツとの間の距離及び重なり面積に応じて計算する手段と、
前記新規オブジェクトと判断されたオブジェクトと前記前対象画像データとの関連度を、前記新規オブジェクトと前記前対象画像データに含まれるコンテンツとの間の距離及び重なり面積に応じて計算する手段と、
前記計算された前記現対象画像データとの関連度が前記前対象画像データとの関連度以上であるとき、前記現対象画像データに表示されるように前記新規オブジェクトを格納する手段と
を備えることを特徴とする画像処理装置。
【請求項６】
前記現対象画像データとの関連度及び前記前対象画像データとの関連度を計算する手段は、前記新規オブジェクトが非文字オブジェクトの場合、コンテンツとの重なりが大きいほど高く、コンテンツとの距離が離れるにしたがって低くなるように関連度を計算することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記現対象画像データとの関連度及び前記前対象画像データとの関連度を計算する手段は、前記新規オブジェクトが文字オブジェクトの場合、コンテンツとの距離が離れるにしたがって低くなり、コンテンツとの重なりが大きくなるほど低くなるように計算することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
第１画像データ群と、前記第１画像データ群を構成する画像データのそれぞれを順次スクリーンに投影した画像に対して書き込みがなされた画像を撮影した画像データ群である第２画像データ群とを比較するステップと、
前記比較結果に基づいて、前記書き込みの情報を第１追加オブジェクトとして抽出するステップと、
前記第２画像データ群のうち、前記第１追加オブジェクトが抽出された画像が投影される前に投影された画像から抽出された第２追加オブジェクトを取得するステップと、
前記第１追加オブジェクトと前記第２追加オブジェクトとを比較して、前記第１追加オブジェクトに含まれるオブジェクトが新規オブジェクトか同一オブジェクトかを判断するステップと、
前記判断された新規オブジェクト及び同一オブジェクトのそれぞれの格納先を決定するステップと、
前記決定した格納先に前記取得した新規オブジェクト及び同一オブジェクトをそれぞれ格納するステップと
を備えることを特徴とする画像処理方法。
【請求項９】
第１画像データ群と、前記第１画像データ群を構成する画像データのそれぞれを順次スクリーンに投影した画像に対して書き込みがなされた画像を撮影した画像データ群である第２画像データ群とを比較するステップと、
前記比較結果に基づいて、前記書き込みの情報を第１追加オブジェクトとして抽出するステップと、
前記第２画像データ群のうち、前記第１追加オブジェクトが抽出された画像が投影される前に投影された画像から抽出された第２追加オブジェクトを取得するステップと、
前記第１追加オブジェクトと前記第２追加オブジェクトとを比較して、前記第１追加オブジェクトに含まれるオブジェクトが同一オブジェクトかを判断するステップと、
前記第１画像データ群に係る画像データに予め含まれているコンテンツに対する、前記同一オブジェクトと判断されたオブジェクトの影響度を、当該コンテンツ及び当該オブジェクトとの間の距離に応じて計算するステップと、
前記計算された影響度が所定の閾値より小さい場合、前記第１画像データ群に係る画像データに表示されるように前記同一オブジェクトを格納するステップと
を備えることを特徴とする画像処理方法。
【請求項１０】
第１画像データ群と、前記第１画像データ群を構成する画像データのそれぞれを順次スクリーンに投影した画像に対して書き込みがなされた画像を撮影した画像データ群である第２画像データ群とを比較するステップと、
前記比較結果に基づいて、前記書き込みの情報を第１追加オブジェクトとして抽出するステップと、
前記第２画像データ群のうち、前記第１追加オブジェクトが抽出された画像データである現対象画像データが投影される前に投影された画像である前対象画像データから抽出された第２追加オブジェクトを取得するステップと、
前記第１追加オブジェクトと前記第２追加オブジェクトとを比較して、前記第１追加オブジェクトに含まれるオブジェクトが新規オブジェクトかを判断するステップと、
前記新規オブジェクトと判断されたオブジェクトと前記現対象画像データとの関連度を、前記新規オブジェクトと前記現対象画像データに含まれるコンテンツとの間の距離及び重なり面積に応じて計算するステップと、
前記新規オブジェクトと判断されたオブジェクトと前記前対象画像データとの関連度を、前記新規オブジェクトと前記前対象画像データに含まれるコンテンツとの間の距離及び重なり面積に応じて計算するステップと、
前記計算された前記現対象画像データとの関連度が前記前対象画像データとの関連度以上であるとき、前記現対象画像データに表示されるように前記新規オブジェクトを格納するステップと
を備えることを特徴とする画像処理方法。
【請求項１１】
コンピュータに、
第１画像データ群と、前記第１画像データ群を構成する画像データのそれぞれを順次スクリーンに投影した画像に対して書き込みがなされた画像を撮影した画像データ群である第２画像データ群とを比較するステップと、
前記比較結果に基づいて、前記書き込みの情報を第１追加オブジェクトとして抽出するステップと、
前記第２画像データ群のうち、前記第１追加オブジェクトが抽出された画像が投影される前に投影された画像から抽出された第２追加オブジェクトを取得するステップと、
前記第１追加オブジェクトと前記第２追加オブジェクトとを比較して、前記第１追加オブジェクトに含まれるオブジェクトが新規オブジェクトか同一オブジェクトかを判断するステップと、
前記判断された新規オブジェクト及び同一オブジェクトのそれぞれの格納先を決定するステップと、
前記決定した格納先に前記取得した新規オブジェクト及び同一オブジェクトをそれぞれ格納するステップと
を実行させるためのプログラム。
【請求項１２】
コンピュータに、
第１画像データ群と、前記第１画像データ群を構成する画像データのそれぞれを順次スクリーンに投影した画像に対して書き込みがなされた画像を撮影した画像データ群である第２画像データ群とを比較するステップと、
前記比較結果に基づいて、前記書き込みの情報を第１追加オブジェクトとして抽出するステップと、
前記第２画像データ群のうち、前記第１追加オブジェクトが抽出された画像が投影される前に投影された画像から抽出された第２追加オブジェクトを取得するステップと、
前記第１追加オブジェクトと前記第２追加オブジェクトとを比較して、前記第１追加オブジェクトに含まれるオブジェクトが同一オブジェクトかを判断するステップと、
前記第１画像データ群に係る画像データに予め含まれているコンテンツに対する、前記同一オブジェクトと判断されたオブジェクトの影響度を、当該コンテンツ及び当該オブジェクトとの間の距離に応じて計算するステップと、
前記計算された影響度が所定の閾値より小さい場合、前記第１画像データ群に係る画像データに表示されるように前記同一オブジェクトを格納するステップと
を実行させるためのプログラム。
【請求項１３】
コンピュータに、
第１画像データ群と、前記第１画像データ群を構成する画像データのそれぞれを順次スクリーンに投影した画像に対して書き込みがなされた画像を撮影した画像データ群である第２画像データ群とを比較するステップと、
前記比較結果に基づいて、前記書き込みの情報を第１追加オブジェクトとして抽出するステップと、
前記第２画像データ群のうち、前記第１追加オブジェクトが抽出された画像データである現対象画像データが投影される前に投影された画像である前対象画像データから抽出された第２追加オブジェクトを取得するステップと、
前記第１追加オブジェクトと前記第２追加オブジェクトとを比較して、前記第１追加オブジェクトに含まれるオブジェクトが新規オブジェクトかを判断するステップと、
前記新規オブジェクトと判断されたオブジェクトと前記現対象画像データとの関連度を、前記新規オブジェクトと前記現対象画像データに含まれるコンテンツとの間の距離及び重なり面積に応じて計算するステップと、
前記新規オブジェクトと判断されたオブジェクトと前記前対象画像データとの関連度を、前記新規オブジェクトと前記前対象画像データに含まれるコンテンツとの間の距離及び重なり面積に応じて計算するステップと、
前記計算された前記現対象画像データとの関連度が前記前対象画像データとの関連度以上であるとき、前記現対象画像データに表示されるように前記新規オブジェクトを格納するステップと
を実行させるためのプログラム。
【請求項１】
第１画像データ群と、前記第１画像データ群を構成する画像データのそれぞれを順次スクリーンに投影した画像に対して書き込みがなされた画像を撮影した画像データ群である第２画像データ群とを比較する手段と、
前記比較結果に基づいて、前記書き込みの情報を第１追加オブジェクトとして抽出する手段と、
前記第２画像データ群のうち、前記第１追加オブジェクトが抽出された画像が投影される前に投影された画像から抽出された第２追加オブジェクトを取得する手段と、
前記第１追加オブジェクトと前記第２追加オブジェクトとを比較して、前記第１追加オブジェクトに含まれるオブジェクトが新規オブジェクトか同一オブジェクトかを判断する手段と、
前記判断された新規オブジェクト及び同一オブジェクトのそれぞれの格納先を決定する手段と、
前記決定した格納先に前記取得した新規オブジェクト及び同一オブジェクトをそれぞれ格納する手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１追加オブジェクトに含まれるオブジェクトが新規オブジェクトか同一オブジェクトかを判断する手段は、各追加オブジェクトの少なくとも位置及びサイズを比較して判断をすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記新規オブジェクト及び同一オブジェクトの格納先を決定する手段は、新規オブジェクトを前記第１画像データ群に係る画像データの表示レイヤーに格納し、同一オブジェクトを前記第１画像データ群に係る画像の非表示レイヤーに格納するように決定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
第１画像データ群と、前記第１画像データ群を構成する画像データのそれぞれを順次スクリーンに投影した画像に対して書き込みがなされた画像を撮影した画像データ群である第２画像データ群とを比較する手段と、
前記比較結果に基づいて、前記書き込みの情報を第１追加オブジェクトとして抽出する手段と、
前記第２画像データ群のうち、前記第１追加オブジェクトが抽出された画像が投影される前に投影された画像から抽出された第２追加オブジェクトを取得する手段と、
前記第１追加オブジェクトと前記第２追加オブジェクトとを比較して、前記第１追加オブジェクトに含まれるオブジェクトが同一オブジェクトかを判断する手段と、
前記第１画像データ群に係る画像データに予め含まれているコンテンツに対する、前記同一オブジェクトと判断されたオブジェクトの影響度を、当該コンテンツ及び当該オブジェクトとの間の距離に応じて計算する手段と、
前記計算された影響度が所定の閾値より小さい場合、前記第１画像データ群に係る画像データに表示されるように前記同一オブジェクトを格納する手段と
を備えることを特徴とする画像処理装置。
【請求項５】
第１画像データ群と、前記第１画像データ群を構成する画像データのそれぞれを順次スクリーンに投影した画像に対して書き込みがなされた画像を撮影した画像データ群である第２画像データ群とを比較する手段と、
前記比較結果に基づいて、前記書き込みの情報を第１追加オブジェクトとして抽出する手段と、
前記第２画像データ群のうち、前記第１追加オブジェクトが抽出された画像データである現対象画像データが投影される前に投影された画像である前対象画像データから抽出された第２追加オブジェクトを取得する手段と、
前記第１追加オブジェクトと前記第２追加オブジェクトとを比較して、前記第１追加オブジェクトに含まれるオブジェクトが新規オブジェクトかを判断する手段と、
前記新規オブジェクトと判断されたオブジェクトと前記現対象画像データとの関連度を、前記新規オブジェクトと前記現対象画像データに含まれるコンテンツとの間の距離及び重なり面積に応じて計算する手段と、
前記新規オブジェクトと判断されたオブジェクトと前記前対象画像データとの関連度を、前記新規オブジェクトと前記前対象画像データに含まれるコンテンツとの間の距離及び重なり面積に応じて計算する手段と、
前記計算された前記現対象画像データとの関連度が前記前対象画像データとの関連度以上であるとき、前記現対象画像データに表示されるように前記新規オブジェクトを格納する手段と
を備えることを特徴とする画像処理装置。
【請求項６】
前記現対象画像データとの関連度及び前記前対象画像データとの関連度を計算する手段は、前記新規オブジェクトが非文字オブジェクトの場合、コンテンツとの重なりが大きいほど高く、コンテンツとの距離が離れるにしたがって低くなるように関連度を計算することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記現対象画像データとの関連度及び前記前対象画像データとの関連度を計算する手段は、前記新規オブジェクトが文字オブジェクトの場合、コンテンツとの距離が離れるにしたがって低くなり、コンテンツとの重なりが大きくなるほど低くなるように計算することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
第１画像データ群と、前記第１画像データ群を構成する画像データのそれぞれを順次スクリーンに投影した画像に対して書き込みがなされた画像を撮影した画像データ群である第２画像データ群とを比較するステップと、
前記比較結果に基づいて、前記書き込みの情報を第１追加オブジェクトとして抽出するステップと、
前記第２画像データ群のうち、前記第１追加オブジェクトが抽出された画像が投影される前に投影された画像から抽出された第２追加オブジェクトを取得するステップと、
前記第１追加オブジェクトと前記第２追加オブジェクトとを比較して、前記第１追加オブジェクトに含まれるオブジェクトが新規オブジェクトか同一オブジェクトかを判断するステップと、
前記判断された新規オブジェクト及び同一オブジェクトのそれぞれの格納先を決定するステップと、
前記決定した格納先に前記取得した新規オブジェクト及び同一オブジェクトをそれぞれ格納するステップと
を備えることを特徴とする画像処理方法。
【請求項９】
第１画像データ群と、前記第１画像データ群を構成する画像データのそれぞれを順次スクリーンに投影した画像に対して書き込みがなされた画像を撮影した画像データ群である第２画像データ群とを比較するステップと、
前記比較結果に基づいて、前記書き込みの情報を第１追加オブジェクトとして抽出するステップと、
前記第２画像データ群のうち、前記第１追加オブジェクトが抽出された画像が投影される前に投影された画像から抽出された第２追加オブジェクトを取得するステップと、
前記第１追加オブジェクトと前記第２追加オブジェクトとを比較して、前記第１追加オブジェクトに含まれるオブジェクトが同一オブジェクトかを判断するステップと、
前記第１画像データ群に係る画像データに予め含まれているコンテンツに対する、前記同一オブジェクトと判断されたオブジェクトの影響度を、当該コンテンツ及び当該オブジェクトとの間の距離に応じて計算するステップと、
前記計算された影響度が所定の閾値より小さい場合、前記第１画像データ群に係る画像データに表示されるように前記同一オブジェクトを格納するステップと
を備えることを特徴とする画像処理方法。
【請求項１０】
第１画像データ群と、前記第１画像データ群を構成する画像データのそれぞれを順次スクリーンに投影した画像に対して書き込みがなされた画像を撮影した画像データ群である第２画像データ群とを比較するステップと、
前記比較結果に基づいて、前記書き込みの情報を第１追加オブジェクトとして抽出するステップと、
前記第２画像データ群のうち、前記第１追加オブジェクトが抽出された画像データである現対象画像データが投影される前に投影された画像である前対象画像データから抽出された第２追加オブジェクトを取得するステップと、
前記第１追加オブジェクトと前記第２追加オブジェクトとを比較して、前記第１追加オブジェクトに含まれるオブジェクトが新規オブジェクトかを判断するステップと、
前記新規オブジェクトと判断されたオブジェクトと前記現対象画像データとの関連度を、前記新規オブジェクトと前記現対象画像データに含まれるコンテンツとの間の距離及び重なり面積に応じて計算するステップと、
前記新規オブジェクトと判断されたオブジェクトと前記前対象画像データとの関連度を、前記新規オブジェクトと前記前対象画像データに含まれるコンテンツとの間の距離及び重なり面積に応じて計算するステップと、
前記計算された前記現対象画像データとの関連度が前記前対象画像データとの関連度以上であるとき、前記現対象画像データに表示されるように前記新規オブジェクトを格納するステップと
を備えることを特徴とする画像処理方法。
【請求項１１】
コンピュータに、
第１画像データ群と、前記第１画像データ群を構成する画像データのそれぞれを順次スクリーンに投影した画像に対して書き込みがなされた画像を撮影した画像データ群である第２画像データ群とを比較するステップと、
前記比較結果に基づいて、前記書き込みの情報を第１追加オブジェクトとして抽出するステップと、
前記第２画像データ群のうち、前記第１追加オブジェクトが抽出された画像が投影される前に投影された画像から抽出された第２追加オブジェクトを取得するステップと、
前記第１追加オブジェクトと前記第２追加オブジェクトとを比較して、前記第１追加オブジェクトに含まれるオブジェクトが新規オブジェクトか同一オブジェクトかを判断するステップと、
前記判断された新規オブジェクト及び同一オブジェクトのそれぞれの格納先を決定するステップと、
前記決定した格納先に前記取得した新規オブジェクト及び同一オブジェクトをそれぞれ格納するステップと
を実行させるためのプログラム。
【請求項１２】
コンピュータに、
第１画像データ群と、前記第１画像データ群を構成する画像データのそれぞれを順次スクリーンに投影した画像に対して書き込みがなされた画像を撮影した画像データ群である第２画像データ群とを比較するステップと、
前記比較結果に基づいて、前記書き込みの情報を第１追加オブジェクトとして抽出するステップと、
前記第２画像データ群のうち、前記第１追加オブジェクトが抽出された画像が投影される前に投影された画像から抽出された第２追加オブジェクトを取得するステップと、
前記第１追加オブジェクトと前記第２追加オブジェクトとを比較して、前記第１追加オブジェクトに含まれるオブジェクトが同一オブジェクトかを判断するステップと、
前記第１画像データ群に係る画像データに予め含まれているコンテンツに対する、前記同一オブジェクトと判断されたオブジェクトの影響度を、当該コンテンツ及び当該オブジェクトとの間の距離に応じて計算するステップと、
前記計算された影響度が所定の閾値より小さい場合、前記第１画像データ群に係る画像データに表示されるように前記同一オブジェクトを格納するステップと
を実行させるためのプログラム。
【請求項１３】
コンピュータに、
第１画像データ群と、前記第１画像データ群を構成する画像データのそれぞれを順次スクリーンに投影した画像に対して書き込みがなされた画像を撮影した画像データ群である第２画像データ群とを比較するステップと、
前記比較結果に基づいて、前記書き込みの情報を第１追加オブジェクトとして抽出するステップと、
前記第２画像データ群のうち、前記第１追加オブジェクトが抽出された画像データである現対象画像データが投影される前に投影された画像である前対象画像データから抽出された第２追加オブジェクトを取得するステップと、
前記第１追加オブジェクトと前記第２追加オブジェクトとを比較して、前記第１追加オブジェクトに含まれるオブジェクトが新規オブジェクトかを判断するステップと、
前記新規オブジェクトと判断されたオブジェクトと前記現対象画像データとの関連度を、前記新規オブジェクトと前記現対象画像データに含まれるコンテンツとの間の距離及び重なり面積に応じて計算するステップと、
前記新規オブジェクトと判断されたオブジェクトと前記前対象画像データとの関連度を、前記新規オブジェクトと前記前対象画像データに含まれるコンテンツとの間の距離及び重なり面積に応じて計算するステップと、
前記計算された前記現対象画像データとの関連度が前記前対象画像データとの関連度以上であるとき、前記現対象画像データに表示されるように前記新規オブジェクトを格納するステップと
を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１１−１４１５９９（Ｐ２０１１−１４１５９９Ａ）
【公開日】平成２３年７月２１日（２０１１．７．２１）
【国際特許分類】
【出願番号】特願２０１０−４９０（Ｐ２０１０−４９０）
【出願日】平成２２年１月５日（２０１０．１．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年７月２１日（２０１１．７．２１）
【国際特許分類】
【出願日】平成２２年１月５日（２０１０．１．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]