画像処理装置および画像処理方法
【課題】プロジェクタの投影画像と、投影面に手書きで追記された画像とを合成し、再生時に、合成画像の追記順に再生できるようにする。
【解決手段】画像処理装置は、供給された撮影画像信号からホワイトボード上に投影された投影画像のフレーム枠領域を検出すると共に、フレーム枠領域に対する動体の出入りの有無を判定する。動体の出入りがある場合、その前後のフレーム枠領域の画像の差異を検出し、差異領域の画像を取得して元画像と合成して合成画像を生成する。この処理を、プロジェクタにより投影される元画像が、次の画像に変更されるまで繰り返して実行し、順次、差異画像と元画像とを合成した合成画像を生成する。投影画像が次の画像に切り替えられた時点で、直前の元画像に対して合成画像を追記順に関連付ける。そして、元画像に対して追記順に関連付けられた合成画像を、元画像の次ページからの画像として挿入する。
【解決手段】画像処理装置は、供給された撮影画像信号からホワイトボード上に投影された投影画像のフレーム枠領域を検出すると共に、フレーム枠領域に対する動体の出入りの有無を判定する。動体の出入りがある場合、その前後のフレーム枠領域の画像の差異を検出し、差異領域の画像を取得して元画像と合成して合成画像を生成する。この処理を、プロジェクタにより投影される元画像が、次の画像に変更されるまで繰り返して実行し、順次、差異画像と元画像とを合成した合成画像を生成する。投影画像が次の画像に切り替えられた時点で、直前の元画像に対して合成画像を追記順に関連付ける。そして、元画像に対して追記順に関連付けられた合成画像を、元画像の次ページからの画像として挿入する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プロジェクタから投影された画像に対する画像処理に用いて好適な画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来より、会議室などにおいて、プロジェクタによって画像をホワイトボードに投影して会議を行うことが行われている。この場合、投影先がホワイトボードということで、投影されたプロジェクタの元画像に対して、手書きによる情報をホワイトボード上に追記することも可能であり、会議内容に柔軟に対応でき、会議形態としては非常に有効である。
【０００３】
例えば、プロジェクタで画像が投影されたホワイトボード（図１２の（ａ））に対して、図１２（ｂ）に示されるように、手書きにより画像を追記する。その結果、図１２（ｃ）示されるように、追記された画像と投影された画像とがホワイトボード上に共に表示される。
【０００４】
また、特許文献１には、元画像に対する手書きによる一時的な情報の追記に留まらず、元画像と追記された画像とを関連付けて登録し、それらを画像合成することでメールなどでやり取りできるようにした技術が開示されている。この特許文献１の技術によれば、プロジェクタによってホワイトボードに表示されたオリジナル原稿データと、このオリジナル原稿データに対応して書き込まれた追記データとを合成した画像データを取得することが安価な構成により実現できる。
【０００５】
具体的には、プロジェクタによるオリジナル原稿データの画像の投影を一時停止し、且つプロジェクタによりオリジナル原稿データを識別する識別情報の画像がホワイトボードに投影された状態で、識別情報の画像を含む追記データの画像を撮影する。そして、撮影した画像から識別情報付きの追記データの画像を取得し、取得した識別情報付きの追記データの画像に含まれる識別情報の画像に基づき、オリジナル原稿の画像と追記データの画像とを合成するようにしている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、ホワイトボードに対してプロジェクタにより投影された画像に対して、手書きにより追記された画像が複数個所あり、且つその複数個所の追記画像に時間的な順序が必要である場合が起こり得る。その場合、追記画像を追記の順序通りに順を追って表示しないと、全体としての意味が分かり難いことが考えられる。
【０００７】
しかしながら、従来の技術では、複数個所ある全ての追記データを纏めて一度に合成するため、合成後の画像だけを見ても追記データの時間的な順序が分からないという問題点があった。そのため、従来の技術では、合成後のプロジェクタ表示内容が非常に分かり難いものとなってしまっていた。
【０００８】
また、従来技術によれば、追記データを撮影するために、プロジェクタの投影画像を一時停止する必要があり、手間がかかるという問題点があった。
【０００９】
本発明は、上記に鑑みてなされたもので、プロジェクタにより投影された画像と、画像の投影面に手書きで追記された画像とを合成し、合成画像の再生時に、追記画像を追記順に再生できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するために、本発明は、元画像を被投影体に投影したフレーム枠領域を撮影手段で撮影した撮影画像を取得する画像取得手段と、元画像を取得する元画像取得手段と、画像取得手段で取得された撮影画像からフレーム枠領域を検出する領域検出手段と、画像取得手段で取得された撮影画像から動体を検出する動体検出手段と、動体検出手段で検出された動体が領域検出手段で検出されたフレーム枠領域内に入る第１のタイミングと、動体がフレーム枠領域から出る第２のタイミングとを検知する検知手段と、画像取得手段が取得した撮影画像のうち、第１のタイミングに応じた第１の撮影画像と、第２のタイミングの第２の撮影画像とを抽出し、第１の撮影画像と第２の撮影画像との差異を検出する差異検出手段と、第２の撮影画像から差異検出手段で検出された差異を含む領域を抽出し、元画像取得手段で取得された元画像に対して差異を含む領域の画像を合成した合成画像を生成する合成手段と、合成手段で生成された合成画像を、元画像取得手段で取得された元画像に対する新たなページの画像として、差異検出手段により差異が検出される毎に、順次、元画像に対して関連付けるページ追加手段とを有することを特徴とする。
【００１１】
また、本発明は、画像取得手段が、元画像を被投影体に投影したフレーム枠領域を撮影手段で撮影した撮影画像を取得する画像取得ステップと、元画像取得手段が、元画像を取得する元画像取得ステップと、領域検出手段が、画像取得ステップにより取得された撮影画像からフレーム枠領域を検出する領域検出ステップと、動体検出手段が、画像取得ステップにより取得された撮影画像から動体を検出する動体検出ステップと、検知手段が、動体検出ステップにより検出された動体が領域検出ステップにより検出されたフレーム枠領域内に入る第１のタイミングと、動体がフレーム枠領域から出る第２のタイミングとを検知する検知ステップと、差異検出手段が、画像取得ステップにより取得した撮影画像のうち、第１のタイミングに応じた第１の撮影画像と、第２のタイミングの第２の撮影画像とを抽出し、第１の撮影画像と第２の撮影画像との差異を検出する差異検出ステップと、合成手段が、第２の撮影画像から差異検出ステップにより検出された差異を含む領域を抽出し、元画像取得ステップにより取得された元画像に対して差異を含む領域の画像を合成した合成画像を生成する合成ステップと、ページ追加手段が、合成ステップにより生成された合成画像を、元画像取得ステップにより取得された元画像に対する新たなページの画像として、差異検出ステップにより差異が検出される毎に、順次、元画像に対して関連付けるページ追加ステップとを有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、プロジェクタにより投影された画像と、画像の投影面に手書きで追記された画像とを合成し、合成画像の再生時に、追記画像を追記順に再生できるという効果を奏する。
【図面の簡単な説明】
【００１３】
【図１】図１は、本発明の実施形態による画像処理装置の一例の構成を示すブロック図である。
【図２】図２は、ホワイトボードに投影画像が投影された様子の例を示す図である。
【図３】図３は、フレーム枠検知処理の画像データのフローを示すブロック図である。
【図４】図４は、動体のフレームイン／フレームアウトの検知処理の画像データのフローを示すブロック図である。
【図５】図５は、動体検知部においてデータ量削減を行うための一例の構成を示すブロック図である。
【図６】図６は、動体のフレームイン／フレームアウトの検知処理について説明するための略線図である。
【図７】図７は、動体のフレームイン／フレームアウトの画像データのキャプチャおよび比較の画像データのフローを示すブロック図である。
【図８】図８は、画像合成の際の画像データのフローを示すブロック図である。
【図９】図９は、ページ挿入の際の画像データのフローを示すブロック図である。
【図１０】図１０は、本発明の実施形態による処理の流れを説明するための略線図である。
【図１１】図１１は、本発明の実施形態による処理を示す一例のフローチャートである。
【図１２】投影されたプロジェクタの元画像に対して手書きによる情報をホワイトボード上に追記することを説明するための略線図である。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照して、本発明に係る画像処理装置および画像処理方法の一実施形態を詳細に説明する。本発明の実施形態では、プロジェクタにより画像が投影されたホワイトボードに手書きされた複数の追記画像を、その追記順に検知し、投影された元画像に対して、追記の順番に複数の追記画像を関連付ける。複数の追記画像を、追記の順序で元画像に対して合成表示することができ、極めて分かり易いプレゼンテーション画像を生成できる。
【００１５】
（実施形態の概略の構成）
図１は、本実施形態による画像処理装置１５０の一例の構成を示す。また、図１には、本実施形態による画像処理装置１５０の使用形態も、併せて示されている。概略的には、パーソナルコンピュータ（ＰＣ）１３０が元画像を表示させるための元画像信号を出力し、プロジェクタ１１０に供給する。プロジェクタ１１０は、ＰＣ１３０から供給された元画像信号に基づく画像を、被投影体であるホワイトボード１２０に投影する。このホワイトボード１２０に投影された画像が、例えはビデオカメラからなる撮影装置１４０により撮影され、撮影画像信号が画像処理装置１５０に供給される。
【００１６】
画像処理装置１５０は、供給された撮影画像信号からホワイトボード１２０上に投影された投影画像のフレーム枠領域を検出すると共に、検出されたフレーム枠領域に対して、人間の手などの動体が出入りしたか否かを判定する。動体の出入りがあったと判定したら、動体の出入りがあった前後のフレーム枠領域の画像の差異を検出する。差異を検出した場合、元画像に対する画像の追記があったと判定し、差異領域の画像を取得して元画像と合成して合成画像を生成する。
【００１７】
画像処理装置１５０は、この処理を、プロジェクタ１１０により投影される元画像が、次の元画像に変更されるまで繰り返して実行し、順次、差異画像と元画像とを合成した合成画像を生成する。画像処理装置１５０は、プロジェクタ１１０により投影される画像が次の元画像に切り替えられた時点で、合成画像を直前の元画像に対して追記画像の追記順に関連付ける。
【００１８】
そして、元画像に対して追記画像の追記順に関連付けられた合成画像を、当該元画像のデータに対して、当該元画像の次ページからの画像として挿入する。元画像のデータを再生する際に、当該元画像データに関連付けられた合成画像を、追記順に再生する事ができる。
【００１９】
（ＰＣ）
図１を用いて、より詳細に説明する。ＰＣ１３０は、ＨＤＤ（ハードディスクドライブ）１３１、インターフェイス（Ｉ／Ｆ）１３２および１３３、ＣＰＵ１３５、ならびに、メモリ１３６などがバスにより互いに通信可能に接続される。ＣＰＵ１３５は、例えばＨＤＤ１３１に予め格納されるプログラムに従い、メモリをワークメモリに用いてこのＰＣ１３０の動作を制御する。
【００２０】
また、ＨＤＤ１３１は、ＣＰＵ１３５が動作するためのプログラムが格納されると共に、ホワイトボード１２０に投影するための元画像の画像データが格納される。元画像データは、例えば所定のデータフォーマットで以て、ページ単位で元画像を管理することができるようになっている。ＣＰＵ１３５は、所定の画像表示プログラムに従い、ＨＤＤ１３１からこの元画像データを読み出して、元画像を表示するための表示制御信号を生成し、出力する。また、当該画像表示プログラムは、図示されない入力デバイスに対するユーザ操作などにより、元画像データに含まれる複数ページの元画像による表示制御信号を、順次生成し出力することができるようになっている。
【００２１】
Ｉ／Ｆ１３２は、例えばグラフィクスインターフェイスであって、ＣＰＵ１３５で生成された表示制御信号を、表示デバイスで表示可能な表示信号に変換して出力する。また、Ｉ／Ｆ１３３は、画像処理装置１５０との間でデータなどの授受を行うインターフェイスである。Ｉ／Ｆ１３３としては、ＵＳＢ(Universal Serial Bus)によるインターフェイス、有線または無線ＬＡＮ(Local Area Network)接続のインターフェイスなどを用いる事ができる。
【００２２】
なお、ＨＤＤ１３１に格納された元画像データは、画像処理装置１５０などの外部装置からＩ／Ｆ１３３を介してアクセスし、加工することが可能となっている。また、元画像データは、ＨＤＤ１３１に格納されているのに限らず、例えばＣＤ(Compact Disk)やＤＶＤ(Digital Versatile Disk)、ＦＤ（フレキシブルディスク）、脱着可能な不揮発性の半導体メモリなどに格納しておき、図示されないドライブ装置を用いてＣＰＵ１３１が読み出すようにしてもよい。さらに、元画像データを、ＬＡＮなどのネットワークを介して取得してもよい。
【００２３】
（プロジェクタ）
プロジェクタ１１０は、光学変換部１１１、画像変換部１１２、信号検知部１１３、ＡＤＣ（ＡＤコンバータ）１１４およびＩ／Ｆ１１５を有する。例えばＰＣ１３０といった外部の映像出力装置から、表示信号をビデオインターフェイスであるＩ／Ｆ部１１５で受信し、受信した表示信号をＡＤＣ部１１４によりデジタルビデオ信号に変換する。なお、Ｉ／Ｆ１１５がデジタルビデオ信号に対応し、ＰＣ１３０から出力される表示信号がデジタル形式の信号であれば、ＡＤＣ１１４を省略することができる。信号検知部１１３は、ＡＤＣ１１４から出力されたデジタルビデオ信号による画像の画像サイズを検知する。
【００２４】
画像変換部１１２は、信号検知部１１３による画像サイズの検知結果に基づき、このデジタルビデオ信号による画像を画像を外部に投影するために、指定のサイズにサイズ変換する。また、画像変換部１１２は、画像の色再現領域が各装置で異なるため、入力されたデジタルビデオ信号による画像の色領域と投影される画像の色領域とが同等になるように色変換を行う機能を有する。これにより、画像の色再現領域の機器間での差を吸収する。
【００２５】
画像変換部１１２により最適に画像変換されたデジタルビデオ信号は、光学変換部１１１により２次元の光学的な映像信号に変換され、被投影体である外部のホワイトボード１２０に投影される。このとき、映像信号による映像がホワイトボード１２０に投影された場合の矩形の投影領域を、フレーム枠領域とする。
【００２６】
（画像処理装置）
画像処理装置１５０は、Ｉ／Ｆ１５１、ＡＤＣ１５２、信号検知部１５３、画像変換部１５４、動体検知部１５５、フレーム枠検知部１５６、動体タイミング検知部１５７、画像キャプチャ部１５８、第１蓄積部１５９、差異検知部１６０、画像合成部１６１、画像変換部１６２、第２蓄積部１６３、ページ挿入部１６４および外部Ｉ／Ｆ１６５を有する。
【００２７】
画像処理装置１５０は、撮影装置１４０で撮影された撮影画像信号をビデオインターフェイスであるＩ／Ｆ１５１で受信し、ＡＤＣ１５２によりアナログビデオ信号からデジタルビデオ信号に変換する。なお、Ｉ／Ｆ１５１がデジタルビデオ信号に対応しており、撮影装置１４０から出力される撮影画像信号がデジタル形式の信号であれば、ＡＤＣ１５２は省略することができる。信号検知部１５３は、当該デジタルビデオ信号による画像の画像サイズを検知する。画像変換部１５４は、画像サイズの検知結果に基づいて、デジタルビデオ信号による画像の画像サイズを画像処理装置１５０内部で処理し易いサイズにサイズ変換する。
【００２８】
このようにして撮影装置１４０から入力されたデジタルビデオ信号は、次の工程（１）〜（５）の順で処理される。以下、この工程（１）〜（５）の順に従い説明する。
（１）フレーム枠の検知
（２）動体のフレームイン／フレームアウトの検知
（３）動体のフレームイン／フレームアウト時の画像キャプチャおよび画像比較
（４）画像合成
（５）ページ挿入
【００２９】
（１）フレーム枠検知
画像キャプチャ部１５８は、画像変換部１５４から出力されたデジタルビデオ信号から１フレーム毎に画像データをキャプチャする。キャプチャされた画像データは、第１蓄積部１５９に格納される。第１蓄積部１５９は、例えば半導体メモリからなる。第１蓄積部１５９をハードディスクドライブにより構成してもよい。フレーム枠検知部１５６は、第１の蓄積部１５９に格納されているキャプチャ画像データから、ホワイトボード１２０に投影された投影画像のフレーム枠を検知する。フレーム枠の検知は、例えば次のようにして行う。
【００３０】
ホワイトボード１２０に投影された投影画像を撮影装置１４０で撮影た撮影画像信号がＩ／Ｆ１５１から入力されＡＤＣ１５２でデジタルビデオ信号に変換され、信号検知部１５３および画像変換部１５４で所定の処理を施されて画像キャプチャ部１５８に供給される。画像キャプチャ部１５８は、供給されたデジタルビデオ信号から１フレーム分の画像データをキャプチャし、キャプチャ画像データを第１の蓄積部１５９に一時的に格納する。次に、フレーム枠検知部１５６が第１の蓄積部１５９に格納されたキャプチャ画像データにアクセスし、ホワイトボード１２０に投影された投影画像の枠の位置および大きさを検知する。
【００３１】
図２は、ホワイトボード１２０に投影画像１２１が投影された様子の例を示す。図２は、薄暗くした環境の中でホワイトボード１２０に画像を投影した例である。領域１２２は、撮影装置１４０による撮影範囲であり、１フレーム分の撮影画像全体を示す。この場合、図２に示すように、投影画像１２１が、撮影画像１２１の領域以外の周囲１２３よりも明るくなる。撮影画像内における投影画像１２１周辺の明度差を読み取り、画像データの４辺端部から投影画像１２１の領域の枠を検知する。
【００３２】
図２のグラフに示すように、明度に対するスレッショルドレベルＴｈを予め設定し、スレッショルドレベルＴｈよりも明度が高い領域の周囲をフレーム枠とし、フレーム枠で囲まれた領域をフレーム枠領域とする。このフレーム枠領域が投影画像１２１の領域と一致することになる。なお、ここでのフレーム枠およびフレーム枠領域は、ビデオ信号の１フレームとは異なる意味で用いている。
【００３３】
図３は、フレーム枠検知処理の画像データのフローを示している。先ず、経路Ａで、撮影装置１４０で撮影され、デジタル化された画像データが画像キャプチャ部１５８でキャプチャされ、第１蓄積部１５９に格納される。次に、経路Ｂで、フレーム枠検知部１５６が第１の蓄積部１５９にアクセスし、経路Ａにて格納したキャプチャ画像データを読み出し、フレーム枠の検知を行う。
【００３４】
（２）動体のフレームイン／フレームアウトの検知
動体検知部１５５は、撮影装置１４０で撮影された撮影画像に基づく画像データから動体を検知する。ここでいう動体は、時間的に連続した一連の画像データにおいて、位置が逐次的に変化している画像をいう。動体検知部１５５は、画像データに動体が含まれるか否か、動体が含まれる場合、その動体の画像内での位置を検知する。動体タイミング検知部１５７は、フレーム枠検知部１５６で検知されたフレーム枠の位置情報と、動体検知部１５５で検知された動体の位置情報から、動体がフレーム枠へ入ってきた（フレームイン）タイミングと、フレーム枠から出て行く（フレームアウト）タイミングとを検知する。
【００３５】
図４は、動体のフレームイン／フレームアウトの検知処理の画像データのフローを示す。経路Ｃにより、フレーム枠検知部１５６で検知したフレーム枠情報を動体タイミング検知部１５７に通知する。また、経路Ｄにより、動体検知部１５５が、画像変換部１５４から供給される画像データに対して動体の検知処理を施し、動体の検知結果を動体タイミング検知部１５７に入力するフローチャートである。動体タイミング検知部１５７は、経路Ｃおよび経路Ｄからそれぞれ入力されたフレーム枠情報および動体の検知結果とに基づき、動体のフレームインおよびフレームアウトのタイミングを検知する。
【００３６】
動体検知部１５５は、動体の先端がフレーム枠に対して外側にあるか内側にあるかを判定する必要があり、その場合の検知速度もある程度必要となる。そこで、読み込んだ画像データのデータ量を、必要な検知が可能な範囲で小さくする。
【００３７】
図５は、動体検知部１５５においてデータ量削減を行うための一例の構成を示す。この例では、解像度変換と２値化とを行っている。先ず、動体検知部１５５に入力された画像データは、解像度変換部１５５ａにより、例えば単純間引き処理により解像度変換され、より低い解像度の画像データに変換される。例えば、画素クロックを２回に１回有効とすることで、画像データ容量は半分にすることができる。次に、２値化部１５４ｂにより、多値データである画像データをあるスレッショルドレベルにより２値データの画像データに変換する。これにより、画像データのデータ量を削減することができる。本実施形態の場合、精度は余り必要としないので。速度優先で処理することができる。
【００３８】
図６を用いて、動体のフレームイン／フレームアウトの検知処理について説明する。この場合の動体は、ペンを持った人の手の画像３００である。図６（ａ）は、この画像３００が投影画像１２１のフレーム枠に対して外側にある状態を示す。図６（ｂ）は、図６（ａ）の状態から画像３００が図中で左に移動して、投影画像１２１のフレーム枠の内側に入ってきた瞬間の状態を示す。これら図６（ａ）の画像と、図６（ｂ）の画像とをＸＯＲ（エクスクルーシブＯＲ）処理した画像の例を図６（ｃ）に示す。この処理は、上述したように解像度変換（縮小）および２値化した画像データに対して実行するので、比較的高速に処理が完了する。図６（ｃ）に示されるように、図６（ａ）の画像と図６（ｂ）の画像とをＸＯＲ処理することで動体以外の画像部分は消去され、動作している動体の先端部が有効な画像データ３０１として残っていることを示している。
【００３９】
動体タイミング検知部１５７は、常に現在のフレームの画像データと、１フレーム前の画像データとのＸＯＲ比較を行い、動体がフレーム枠内に入ってきた瞬間を検知する。
【００４０】
また、この場合の、検知された動体は、例えばレーザーポインタの光であったり、ＰＣ画面を映し出している場合にはマウスカーソルであることも有り得る。これらの動体は、基本的にある点を指し示すだけの機能であり、画像を追記するものではないと考えられる。そこで、本実施形態では、このような点を指し示すための動体は、無効な動体であると判定するようにしている。
【００４１】
より具体的に説明する。動体検知部１５５に対し、検知された動体の縦横のサイズを検出する動体サイズ検出部（図示しない）を設ける。すなわち、動体サイズ検出部は、ＸＯＲ処理で明確になった動体の縦横のサイズを例えば画素単位で取得する。動体検知部１５５は、検知した動体のサイズを動体サイズ検出部で検出し、予め設定されたサイズ以上の動体を有効な動体とし、当該設定されたサイズよりも小さい動体は無効な動体とすることで、より効率的な処理を行うことができる。
【００４２】
さらに、動体検知部１５５に対し、有効な動体がフレームインしてからフレームアウトするまでの時間を測定する時間測定部を設ける。動体サイズ検出部で有効な動体が検知されると、時間測定部でこの時間を測定し、測定された時間が予め設定した時間より短い場合、この動体が無効な動体であると最終的に判定する。動体がフレームインしてからフレームアウトするまでの時間が短い場合とは、例えば、ホワイトボード１２０に投影される画像を用いて説明を行う演者の手がフレーム枠を掠めて通るといった場合が考えられる。この場合、ホワイトボード１２０に画像を追記するほど時間が無いと考える事ができ、この動体が無効な動体であると判定する。これにより、さらに、より効率的な処理を行うことができる。
【００４３】
（３）フレームイン／フレームアウト時の画像キャプチャおよび画像比較
画像キャプチャ部１５８は、画像変換部１５４から供給された画像データをフレーム毎にキャプチャし、順次、第１蓄積部１５９に格納する。一方、動体タイミング検知部１５７によって、画像変換部１５４から供給された画像データに基づき動体のフレームインのタイミングが検知され、そのタイミングが画像キャプチャ部１５８に通知される。同様に、動体タイミング検知部１５７によって、動体がフレームアウトするタイミングが検知され、そのタイミングが画像キャプチャ部１５８に通知される。画像キャプチャ部１５８は、動体タイミング検知部１５７から通知された動体のフレームイン、フレームアウトのタイミングを示す情報を、キャプチャした画像データに関連付ける。
【００４４】
差異検知部１６０は、第１蓄積部１５９に格納されたフレームインのタイミングの画像データと、フレームアウトのタイミングの画像データとを比較し、その差異画像と差異領域とを検出する。これにより、動体が投影画像１２１のフレーム枠の内側に入ってきてから投影画像１２１のフレーム枠の外に出ていくまでの間にホワイトボード１２０に追記された画像を検出し、切り出すことができる。
【００４５】
もし、ここで両者の画像に差異が無ければ、フレームインおよびフレームアウトの間にホワイトボード１２０に追記された画像が無いと判定する。一方、両者の画像に差異があった場合、その差異画像がホワイトボード１２０に追記された画像であると判定する。この追記された画像に基づき、その追記された画像が含まれる差異領域の画像データを、後述する画像合成に用いる差異画像データとして、第１蓄積部１５９に格納しておく。このとき、当該差異画像データに対して、差異領域の位置およびサイズを示す情報を、差異画像データと関連付けて格納する。
【００４６】
図７は、動体のフレームイン／フレームアウトの画像データのキャプチャおよび比較の画像データのフローを示す。経路Ｅで、動体のフレームイン／フレームアウトの画像データが画像キャプチャ部１５８にキャプチャされ、第１蓄積部１５９に格納される。そして、差異検知部１６０は、経路Ｆで第１蓄積部１５９から動体のフレームイン／フレームアウトの画像データを読み出して比較し、その差異画像データを第１蓄積部１５９に格納する。
【００４７】
このとき、１フレーム分の画像データを一時的に記憶する記憶部をさらに設け、動体がフレームインする直前（１フレーム前）のタイミングでキャプチャした画像データを当該記憶部から読み出して、フレームインのタイミングの画像データとして用いることで、比較に用いるフレームインのタイミングの画像データに動体自体が含まれず、無駄な処理が省ける。
【００４８】
（４）画像合成
外部Ｉ／Ｆ１６５は、プロジェクタ１１０により投影されている元画像の画像データが格納されている記憶装置と通信を行うことができるインターフェイスである。この例では、外部Ｉ／Ｆ１６５は、ＰＣ１３０と通信を行い、ＰＣ１３０のＨＤＤ１３１に格納されている元画像データにアクセスすることができるようになっている。外部Ｉ／Ｆ１６５を介して読み込まれた元画像データは、第２蓄積部１６３に格納される。
【００４９】
第２蓄積部１６３は、例えば半導体メモリからなる。第２蓄積部１６３をハードディスクドライブにより構成してもよい。また、上述した第１蓄積部１５９とこの第２蓄積部１６３とを、同一の記憶媒体の異なる領域としてもよい。
【００５０】
画像変倍部１６２は、差異検知部１６０で検知され第１蓄積部１５９に格納された差異画像の画像サイズを、外部Ｉ／Ｆ１６５を介して第２蓄積部１６３に格納された元画像データの画像サイズに対して比率的に適合させるように変更する。例えば、画像変換部１６２は、元画像データの画像サイズと、フレーム枠検知部１５６で検知されたフレーム枠のサイズとの比率を求め、差異検知部１６０で検知され第１蓄積部１５９に格納された差異画像のサイズを、この比率に基づき元画像データの画像サイズに適合するように変更する。このとき、画像変倍部１６２は、さらに差異画像のフレーム枠に対する位置を、この比率から算出する。
【００５１】
画像合成部１６１は、外部Ｉ／Ｆ１６５を介してＰＣ１３０から読み込んだ元画像データと、差異検知部１６０で検知され第１の蓄積部１５９に格納された差異画像データとを画像合成する。上述したように、差異画像データは、画像変倍部１６２によって元画像データの画像サイズと適合するよう画像サイズを変更されている。画像合成部１６１は、この差異画像データを、画像変倍部１６２で算出された位置に基づき、元画像データに対して合成する。
【００５２】
図８は、画像合成の際の画像データのフローを示す。画像合成部１６１は、経路Ｇで、外部Ｉ／Ｆ１６５を介して、ＰＣ１３０のＨＤＤ１３１から元画像データを読み出して第２蓄積部１６３に格納する。また、画像合成部１６１は、経路Ｈで、第１蓄積部１５９に蓄積された差異画像データを読み出す。読み出された差異画像データは、画像変倍部１６２で画像サイズの変更および位置算出がなされ、画像合成部１６１に供給される。画像合成部１６１は、第２蓄積部１６３に格納された元画像データと画像変倍部１６２から供給された差異画像データとを合成する。合成画像データは、ページ挿入部１６４に供給される。
【００５３】
（５）ページ挿入
図９は、ページ挿入の際の画像データのフローを示す。ページ挿入部１６４は、図９の画像データのフローに経路Ｉとして示されるように、元画像データが記憶されている記憶装置、この例ではＰＣ１３０のＨＤＤ１３１にアクセスし、画像合成部１６１によって元画像データと差異画像データとが合成された合成画像データによる合成画像を、元画像データによる元画像のページと、その次のページの間にページ挿入する。例えば、ページ挿入部１６４は、予め仕様として決められている元画像データのファイルフォーマットの構造を解析し、挿入すべきページに対して、合成画像をイメージ画像として挿入する。
【００５４】
制御方法としては、画像処理装置１５０自体が編集権限を与えられた上で、ＰＣ１３０のＨＤＤ１３１にアクセスし、ファイルを加工する方法が考えられる。これに限らず、元画像データが格納されるＰＣ１３０に対し、予め外部からのコマンドを受けてファイルを編集することが可能なアプリケーションを搭載しておき、そのアプリケーションとのコマンド、データのやり取りでファイルを加工することも考えられる。
【００５５】
また、ＰＣ１３０が画像表示を行うためのファイルには、多くの種類のフォーマットが存在する。例えば、特定のファイルフォーマットに対して合成画像データをフォーマット変換できるファイル変換部を画像処理装置１５０にさらに備え、当該ファイル変換部で、合成画像データに対して、元画像データのファイルに合わせたフォーマット変換を実施することも考えられる。これにより、合成画像によるページを、違和感を抑制してファイルに挿入することができる。
【００５６】
上述したような処理によって、プロジェクタ１１０により元画像が投影されたホワイトボード１２０上に追記された追記画像による画像データが、自動的に順次、元画像データのファイルに、当該元画像のページの次ページおよびそれ以降のページとして、ページ挿入される。
【００５７】
図１０を用いて、上述した本実施形態による処理の流れを説明する。図１０（ａ）〜図１０（ｌ）の順に時間の経過を示し、ホワイトボードに画像を追記しようとする人の手が動体３１０であるものとする。図１０（ａ）では、動体３１０の先端部分３２０がフレーム枠領域に懸かり、動体３１０がフレームインする瞬間を捉えている。そして、図１０（ｂ）に示されるように動体３１０によってホワイトボードに画像が追記され、図１０（ｃ）の時点で、動体３１０の先端部分３２１がフレーム枠領域から離れ、動体３１０がフレームアウトしている。このホワイトボードに投影されている投影画像と、動体３１０によって追記された追記画像とがキャプチャされ、上述したような処理によって、結果として図１０（ｃ）で示されたフレーム枠領域内の画像が、図１０（ａ）の元画像のページの直後に新たなページとして挿入される。
【００５８】
続けて、図１０（ｄ）の時点で動体３１０のフレームインが検知され、図１０（ｅ）に示されるように画像が追記され、図１０（ｆ）の時点で動体３１０のフレームアウトが検知される。このホワイトボードに投影されている投影画像と追記画像とがキャプチャされ、結果的に、図１０（ｆ）で示されたフレーム枠領域の画像が、上述した図１０（ｃ）の画像によるページの直後に新たなページとして挿入される。
【００５９】
以降、図１０（ｇ）の時点で動体３１０のフレームインが検知され、図１０（ｈ）に示されるように画像が追記され、図１０（ｉ）の時点で動体３１０がフレームアウトされ、追記画像とホワイトボードの投影画像とがキャプチャされ、図１０（ｉ）で示されたフレーム枠領域の画像が、上述した図１０（ｆ）の画像によるページの直後に新たなページとして挿入される。さらに、図１０（ｊ）の時点で動体３１０のフレームインが検知され、図１０（ｋ）に示されるように画像が追記され、図１０（ｌ）の時点で動体３１０がフレームアウトされ、追記画像とホワイトボードの投影画像とがキャプチャされ、図１０（ｌ）で示されたフレーム枠領域の画像が、上述した図１０（ｉ）の画像によるページの直後に新たなページとして挿入される。
【００６０】
最終的に、図１０（ａ）に示す元画像のページに対し、図１０（ｃ）のフレーム枠領域の画像によるページ、図１０（ｆ）のフレーム枠領域の画像によるページ、図１０（ｉ）のフレーム枠領域の画像によるページ、図１０（ｌ）のフレーム枠領域の画像によるページが順に挿入される。
【００６１】
この一連の繰り返し処理により、プロジェクタ１１０による投影画像に対してホワイトボード上に手書きで追記された複数の追記画像をその追記順に検知し、元画像データに対して追記順に複数の追記画像データを関連付けて、関連付け後、複数の追記画像データをその追記順で元原稿データに合成表示することができる。このため、非常に分かり易いプレゼンテーション画像を生成できる。
【００６２】
図１１は、本実施形態による処理を示す一例のフローチャートである。このフローチャートによる処理は、画像処理装置１５０で実行されるものである。先ず、ステップＳ１６０１で、画像合成を行うページ数Ｎを初期化してゼロクリアする。ステップＳ１６０２で、ホワイトボード１２０に投影された投影画像を撮影装置１４０で撮影した撮影画像信号から、１フレーム分の画像データが取得される。次のステップＳ１６０３で、取得された画像データに含まれる動体が検知される。次のステップＳ１６０４で、ステップＳ１６０３の処理により、画像データに有効な動体が含まれているか否かが判定される。若し、有効な動体が含まれていないと判定されたら、処理をステップＳ１６０２に戻し、次の１フレームについて処理を開始する。
【００６３】
一方、ステップＳ１６０４で、画像データに有効な動体が含まれていると判定したら、処理はステップＳ１６０５に移行される。ステップＳ１６０５では、画像データに含まれる動体の状態が判定される。若し、動体が動作中であると判定されたら、処理はステップＳ１６０２に戻され、次の１フレームについて処理を開始する。なお、動作中とは、フレームインした動体がフレームアウトしていない状態を指す。
【００６４】
ステップＳ１６０５で、動体がフレームインした瞬間であると判定されたら、処理がステップＳ１６０６に移行され、フレームイン直前のフレームの画像Ａの画像データを第１蓄積部１５９に格納し、処理をステップＳ１６０１に戻す。フレームイン直前の画像Ａを格納するのは、動体自体の画像が含まれない画像データを保持するためである。
【００６５】
ステップＳ１６０５で、動体がフレームアウトした瞬間であると判定されたら、処理がステップＳ１６０７に移行され、フレームアウト直後の画像Ｂの画像データを第１蓄積部１５９に格納する。そして、次のステップＳ１６０８で、第１蓄積部１５９に格納された画像Ａおよび画像Ｂの画像データが比較される。そして、次のステップＳ１６０９で、比較の結果、画像Ａおよび画像Ｂに差異があるか否かが判定される。若し、画像Ａおよび画像Ｂに差異が無いと判定されたら、処理がステップＳ１６０２に戻され、次のフレームに対する処理が開始される。
【００６６】
一方、ステップＳ１６０９で画像Ａおよび画像Ｂに差異があると判定されたら、処理がステップＳ１６１０に移行され、ページ数Ｎに１が加算された値が新たなページ数Ｎとされる。そして、次のステップＳ１６１１で、画像Ａおよび画像Ｂの差異部分が抽出され、差異領域の画像データが差異画像データとして第１蓄積部１５９に格納される。また、次のステップＳ１６１２で、差異領域の元画像データに対する位置およびサイズが求められ、差異画像データと関連付けて第１蓄積部１５９に格納される。このステップＳ１６１２の処理までで、１の静止画像（元画像）に対して、ホワイトボード１２０に追記された追記画像を関連付けて第１蓄積部１５９に格納している状態となる。
【００６７】
次のステップＳ１６１３で、現在ホワイトボード１２０に投影している元画像を継続して投影するのか、当該元画像の次ページの画像の投影に切り替えるかを判定する。例えば、ＰＣ１３０から画像処理装置１５０に対して、Ｉ／Ｆ１３３および外部Ｉ／Ｆ１６５を介して投影画像を切り替える旨を通知してもよいし、画像処理装置１５０に対するユーザ操作により手動で投影画像の切り替えを設定してもよい。また、撮影装置１４０で撮影した撮影画像信号に基づき投影画像の切り替えを判定する事も可能である。
【００６８】
若し、次ページの画像が用意されているが、投影画像を切り替えずに現在投影されている元画像を継続して投影すると判定されたら、処理がステップＳ１６０２に戻され、次のフレームに対する処理が開始される。この繰り返しにより、１つの投影画像に対し、差異画像と判定された追記画像データが動体のフレームアウト毎に第１蓄積部１５９に順次格納されていくことになる。この追記画像データの数が、ステップＳ１６１０でカウントアップされたページ数Ｎの値となる。
【００６９】
一方、ステップＳ１６１３で、投影画像を次ページの画像に切り替えると判定されたら、処理が１６１４に移行される。ステップＳ１６１４では、第１蓄積部１５９に格納された差異画像のページ数Ｎ分の差異画像データを、ステップＳ１６０６で第１蓄積部１５９に格納された画像Ａに順次合成していく。
【００７０】
具体的には、先ず画像Ａに、ページ数Ｎ＝１の時点の差異画像を合成して合成画像ａを生成し、この合成画像ａの合成画像データを第１蓄積部１５９に格納する。次に、合成画像ａにページ数Ｎ＝２の時点の差異画像を合成して合成画像ｂを生成し、第１蓄積部１５９に格納する。同様に、次に、合成画像ｂにページ数Ｎ＝３の時点の差異画像を合成し合成画像ｃとして第１蓄積部１５９に格納する。以上の処理を、ページ数Ｎが示す最大ページ数まで実行する。これにより、合成画像がＮページ分、第１蓄積部１５９に格納されることになる。これらＮページ分の合成画像は、合成順序を保持したまま、画像Ａの子画像として、当該画像Ａに対して関連付けられる。
【００７１】
処理はステップＳ１６１５に移行され、プロジェクタ１１０による一連の画像の投影が終了したか否かが判定される。例えば、ＰＣ１３０から画像処理装置１５０に対して、Ｉ／Ｆ１３３および外部Ｉ／Ｆ１６５を介して画像投影が終了した旨を通知してもよいし、画像処理装置１５０に対するユーザ操作により手動で画像投影の終了を設定してもよい。また、撮影装置１４０で撮影した撮影画像信号に基づき画像投影の終了を判定する事も可能である。若し、画像投影が継続され、次の画像が投影されると判定されたら、処理がステップＳ１６０２に戻され、当該次の画像を元画像として、以降の処理が繰り返される。
【００７２】
若し、画像投影が終了したと判定されたら、処理はステップＳ１６１６に移行される。ステップＳ１６１６では、投影画像の元画像のファイルを、外部Ｉ／Ｆ１６５およびＩ／Ｆ１３３を介して読み込んで、次のステップＳ１６１７で、読み込んだファイル内の画像Ａのページとその次の頁との間に、第１蓄積部１５９に格納されているＮページ分の合成画像を合成順に挿入する。最後にステップＳ１６１７で挿入したファイルをステップＳ１６１８で元画像ファイルに書き戻す。
【００７３】
この図１１に示す処理により、プロジェクタ１１０でホワイトボード１２０に投影した投影画像に対して手書きで追記された追記画像が複数個所あり、且つ当該複数個所の追記画像に時間的な順序が必要な場合であっても、複数個所ある追記画像を追記順序通りに再生表示させることができる。したがって、ユーザにとって極めて分りやすいプレゼンテーション画像を生成することが可能となる。
【００７４】
なお、上述では、画像処理装置１５０が独立した機器であるように説明したが、これはこの例に限定されない。例えば、画像処理装置１５０を、プロジェクタ１１０に含まれる構成とすることができる。この場合、画像処理装置１５０の各部をハードウェアで構成してもよいし、画像処理装置１５０の各機能をプロジェクタ１１０が有する図示されないＣＰＵ上で動作するプログラムによって実現してもよい。これに限らず、画像処理装置１５０の機能を、ＰＣ１３０のＣＰＵ１３５上で動作するプログラムで実現することも可能である。
【００７５】
画像処理装置１５０の機能をプログラムで実現する場合、当該プログラムは、ＣＤ(Compact Disk)やＤＶＤ(Digital Versatile Disk)、ＦＤ（フレキシブルディスク）、脱着可能な不揮発性の半導体メモリといった記憶媒体に記憶して提供することができる。これに限らず、当該プログラムをネットワークを介して提供するようにしてもよい提供されたプログラムは、装置内のＨＤＤといった記憶媒体に所定にインストールされる。また、装置内のＲＯＭ(Read Only Memory)に予め記憶するようにもできる。
【００７６】
当該プログラムは、ＣＰＵにより実行されると、インストール先から読み出されてＲＡＭ(Random Access Memory)などの主記憶装置上に展開され、画像処理装置１５０の各部がモジュールとして主記憶装置上に生成されるようになっている。
【符号の説明】
【００７７】
１１０ プロジェクタ
１２０ ホワイトボード
１３０ ＰＣ
１４０ 撮影装置
１５０ 画像処理装置
１５５ 動体検知部
１５６ フレーム枠検知部
１５７ 動体タイミング検知部
１５８ 画像キャプチャ部
１５９ 第１蓄積部
１６０ 差異検知部
１６１ 画像合成部
１６２ 画像変倍部
１６３ 第２蓄積部
１６４ ページ挿入部
【先行技術文献】
【特許文献】
【００７８】
【特許文献１】特開２００６−１０８８１３号公報
【技術分野】
【０００１】
本発明は、プロジェクタから投影された画像に対する画像処理に用いて好適な画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来より、会議室などにおいて、プロジェクタによって画像をホワイトボードに投影して会議を行うことが行われている。この場合、投影先がホワイトボードということで、投影されたプロジェクタの元画像に対して、手書きによる情報をホワイトボード上に追記することも可能であり、会議内容に柔軟に対応でき、会議形態としては非常に有効である。
【０００３】
例えば、プロジェクタで画像が投影されたホワイトボード（図１２の（ａ））に対して、図１２（ｂ）に示されるように、手書きにより画像を追記する。その結果、図１２（ｃ）示されるように、追記された画像と投影された画像とがホワイトボード上に共に表示される。
【０００４】
また、特許文献１には、元画像に対する手書きによる一時的な情報の追記に留まらず、元画像と追記された画像とを関連付けて登録し、それらを画像合成することでメールなどでやり取りできるようにした技術が開示されている。この特許文献１の技術によれば、プロジェクタによってホワイトボードに表示されたオリジナル原稿データと、このオリジナル原稿データに対応して書き込まれた追記データとを合成した画像データを取得することが安価な構成により実現できる。
【０００５】
具体的には、プロジェクタによるオリジナル原稿データの画像の投影を一時停止し、且つプロジェクタによりオリジナル原稿データを識別する識別情報の画像がホワイトボードに投影された状態で、識別情報の画像を含む追記データの画像を撮影する。そして、撮影した画像から識別情報付きの追記データの画像を取得し、取得した識別情報付きの追記データの画像に含まれる識別情報の画像に基づき、オリジナル原稿の画像と追記データの画像とを合成するようにしている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、ホワイトボードに対してプロジェクタにより投影された画像に対して、手書きにより追記された画像が複数個所あり、且つその複数個所の追記画像に時間的な順序が必要である場合が起こり得る。その場合、追記画像を追記の順序通りに順を追って表示しないと、全体としての意味が分かり難いことが考えられる。
【０００７】
しかしながら、従来の技術では、複数個所ある全ての追記データを纏めて一度に合成するため、合成後の画像だけを見ても追記データの時間的な順序が分からないという問題点があった。そのため、従来の技術では、合成後のプロジェクタ表示内容が非常に分かり難いものとなってしまっていた。
【０００８】
また、従来技術によれば、追記データを撮影するために、プロジェクタの投影画像を一時停止する必要があり、手間がかかるという問題点があった。
【０００９】
本発明は、上記に鑑みてなされたもので、プロジェクタにより投影された画像と、画像の投影面に手書きで追記された画像とを合成し、合成画像の再生時に、追記画像を追記順に再生できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するために、本発明は、元画像を被投影体に投影したフレーム枠領域を撮影手段で撮影した撮影画像を取得する画像取得手段と、元画像を取得する元画像取得手段と、画像取得手段で取得された撮影画像からフレーム枠領域を検出する領域検出手段と、画像取得手段で取得された撮影画像から動体を検出する動体検出手段と、動体検出手段で検出された動体が領域検出手段で検出されたフレーム枠領域内に入る第１のタイミングと、動体がフレーム枠領域から出る第２のタイミングとを検知する検知手段と、画像取得手段が取得した撮影画像のうち、第１のタイミングに応じた第１の撮影画像と、第２のタイミングの第２の撮影画像とを抽出し、第１の撮影画像と第２の撮影画像との差異を検出する差異検出手段と、第２の撮影画像から差異検出手段で検出された差異を含む領域を抽出し、元画像取得手段で取得された元画像に対して差異を含む領域の画像を合成した合成画像を生成する合成手段と、合成手段で生成された合成画像を、元画像取得手段で取得された元画像に対する新たなページの画像として、差異検出手段により差異が検出される毎に、順次、元画像に対して関連付けるページ追加手段とを有することを特徴とする。
【００１１】
また、本発明は、画像取得手段が、元画像を被投影体に投影したフレーム枠領域を撮影手段で撮影した撮影画像を取得する画像取得ステップと、元画像取得手段が、元画像を取得する元画像取得ステップと、領域検出手段が、画像取得ステップにより取得された撮影画像からフレーム枠領域を検出する領域検出ステップと、動体検出手段が、画像取得ステップにより取得された撮影画像から動体を検出する動体検出ステップと、検知手段が、動体検出ステップにより検出された動体が領域検出ステップにより検出されたフレーム枠領域内に入る第１のタイミングと、動体がフレーム枠領域から出る第２のタイミングとを検知する検知ステップと、差異検出手段が、画像取得ステップにより取得した撮影画像のうち、第１のタイミングに応じた第１の撮影画像と、第２のタイミングの第２の撮影画像とを抽出し、第１の撮影画像と第２の撮影画像との差異を検出する差異検出ステップと、合成手段が、第２の撮影画像から差異検出ステップにより検出された差異を含む領域を抽出し、元画像取得ステップにより取得された元画像に対して差異を含む領域の画像を合成した合成画像を生成する合成ステップと、ページ追加手段が、合成ステップにより生成された合成画像を、元画像取得ステップにより取得された元画像に対する新たなページの画像として、差異検出ステップにより差異が検出される毎に、順次、元画像に対して関連付けるページ追加ステップとを有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、プロジェクタにより投影された画像と、画像の投影面に手書きで追記された画像とを合成し、合成画像の再生時に、追記画像を追記順に再生できるという効果を奏する。
【図面の簡単な説明】
【００１３】
【図１】図１は、本発明の実施形態による画像処理装置の一例の構成を示すブロック図である。
【図２】図２は、ホワイトボードに投影画像が投影された様子の例を示す図である。
【図３】図３は、フレーム枠検知処理の画像データのフローを示すブロック図である。
【図４】図４は、動体のフレームイン／フレームアウトの検知処理の画像データのフローを示すブロック図である。
【図５】図５は、動体検知部においてデータ量削減を行うための一例の構成を示すブロック図である。
【図６】図６は、動体のフレームイン／フレームアウトの検知処理について説明するための略線図である。
【図７】図７は、動体のフレームイン／フレームアウトの画像データのキャプチャおよび比較の画像データのフローを示すブロック図である。
【図８】図８は、画像合成の際の画像データのフローを示すブロック図である。
【図９】図９は、ページ挿入の際の画像データのフローを示すブロック図である。
【図１０】図１０は、本発明の実施形態による処理の流れを説明するための略線図である。
【図１１】図１１は、本発明の実施形態による処理を示す一例のフローチャートである。
【図１２】投影されたプロジェクタの元画像に対して手書きによる情報をホワイトボード上に追記することを説明するための略線図である。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照して、本発明に係る画像処理装置および画像処理方法の一実施形態を詳細に説明する。本発明の実施形態では、プロジェクタにより画像が投影されたホワイトボードに手書きされた複数の追記画像を、その追記順に検知し、投影された元画像に対して、追記の順番に複数の追記画像を関連付ける。複数の追記画像を、追記の順序で元画像に対して合成表示することができ、極めて分かり易いプレゼンテーション画像を生成できる。
【００１５】
（実施形態の概略の構成）
図１は、本実施形態による画像処理装置１５０の一例の構成を示す。また、図１には、本実施形態による画像処理装置１５０の使用形態も、併せて示されている。概略的には、パーソナルコンピュータ（ＰＣ）１３０が元画像を表示させるための元画像信号を出力し、プロジェクタ１１０に供給する。プロジェクタ１１０は、ＰＣ１３０から供給された元画像信号に基づく画像を、被投影体であるホワイトボード１２０に投影する。このホワイトボード１２０に投影された画像が、例えはビデオカメラからなる撮影装置１４０により撮影され、撮影画像信号が画像処理装置１５０に供給される。
【００１６】
画像処理装置１５０は、供給された撮影画像信号からホワイトボード１２０上に投影された投影画像のフレーム枠領域を検出すると共に、検出されたフレーム枠領域に対して、人間の手などの動体が出入りしたか否かを判定する。動体の出入りがあったと判定したら、動体の出入りがあった前後のフレーム枠領域の画像の差異を検出する。差異を検出した場合、元画像に対する画像の追記があったと判定し、差異領域の画像を取得して元画像と合成して合成画像を生成する。
【００１７】
画像処理装置１５０は、この処理を、プロジェクタ１１０により投影される元画像が、次の元画像に変更されるまで繰り返して実行し、順次、差異画像と元画像とを合成した合成画像を生成する。画像処理装置１５０は、プロジェクタ１１０により投影される画像が次の元画像に切り替えられた時点で、合成画像を直前の元画像に対して追記画像の追記順に関連付ける。
【００１８】
そして、元画像に対して追記画像の追記順に関連付けられた合成画像を、当該元画像のデータに対して、当該元画像の次ページからの画像として挿入する。元画像のデータを再生する際に、当該元画像データに関連付けられた合成画像を、追記順に再生する事ができる。
【００１９】
（ＰＣ）
図１を用いて、より詳細に説明する。ＰＣ１３０は、ＨＤＤ（ハードディスクドライブ）１３１、インターフェイス（Ｉ／Ｆ）１３２および１３３、ＣＰＵ１３５、ならびに、メモリ１３６などがバスにより互いに通信可能に接続される。ＣＰＵ１３５は、例えばＨＤＤ１３１に予め格納されるプログラムに従い、メモリをワークメモリに用いてこのＰＣ１３０の動作を制御する。
【００２０】
また、ＨＤＤ１３１は、ＣＰＵ１３５が動作するためのプログラムが格納されると共に、ホワイトボード１２０に投影するための元画像の画像データが格納される。元画像データは、例えば所定のデータフォーマットで以て、ページ単位で元画像を管理することができるようになっている。ＣＰＵ１３５は、所定の画像表示プログラムに従い、ＨＤＤ１３１からこの元画像データを読み出して、元画像を表示するための表示制御信号を生成し、出力する。また、当該画像表示プログラムは、図示されない入力デバイスに対するユーザ操作などにより、元画像データに含まれる複数ページの元画像による表示制御信号を、順次生成し出力することができるようになっている。
【００２１】
Ｉ／Ｆ１３２は、例えばグラフィクスインターフェイスであって、ＣＰＵ１３５で生成された表示制御信号を、表示デバイスで表示可能な表示信号に変換して出力する。また、Ｉ／Ｆ１３３は、画像処理装置１５０との間でデータなどの授受を行うインターフェイスである。Ｉ／Ｆ１３３としては、ＵＳＢ(Universal Serial Bus)によるインターフェイス、有線または無線ＬＡＮ(Local Area Network)接続のインターフェイスなどを用いる事ができる。
【００２２】
なお、ＨＤＤ１３１に格納された元画像データは、画像処理装置１５０などの外部装置からＩ／Ｆ１３３を介してアクセスし、加工することが可能となっている。また、元画像データは、ＨＤＤ１３１に格納されているのに限らず、例えばＣＤ(Compact Disk)やＤＶＤ(Digital Versatile Disk)、ＦＤ（フレキシブルディスク）、脱着可能な不揮発性の半導体メモリなどに格納しておき、図示されないドライブ装置を用いてＣＰＵ１３１が読み出すようにしてもよい。さらに、元画像データを、ＬＡＮなどのネットワークを介して取得してもよい。
【００２３】
（プロジェクタ）
プロジェクタ１１０は、光学変換部１１１、画像変換部１１２、信号検知部１１３、ＡＤＣ（ＡＤコンバータ）１１４およびＩ／Ｆ１１５を有する。例えばＰＣ１３０といった外部の映像出力装置から、表示信号をビデオインターフェイスであるＩ／Ｆ部１１５で受信し、受信した表示信号をＡＤＣ部１１４によりデジタルビデオ信号に変換する。なお、Ｉ／Ｆ１１５がデジタルビデオ信号に対応し、ＰＣ１３０から出力される表示信号がデジタル形式の信号であれば、ＡＤＣ１１４を省略することができる。信号検知部１１３は、ＡＤＣ１１４から出力されたデジタルビデオ信号による画像の画像サイズを検知する。
【００２４】
画像変換部１１２は、信号検知部１１３による画像サイズの検知結果に基づき、このデジタルビデオ信号による画像を画像を外部に投影するために、指定のサイズにサイズ変換する。また、画像変換部１１２は、画像の色再現領域が各装置で異なるため、入力されたデジタルビデオ信号による画像の色領域と投影される画像の色領域とが同等になるように色変換を行う機能を有する。これにより、画像の色再現領域の機器間での差を吸収する。
【００２５】
画像変換部１１２により最適に画像変換されたデジタルビデオ信号は、光学変換部１１１により２次元の光学的な映像信号に変換され、被投影体である外部のホワイトボード１２０に投影される。このとき、映像信号による映像がホワイトボード１２０に投影された場合の矩形の投影領域を、フレーム枠領域とする。
【００２６】
（画像処理装置）
画像処理装置１５０は、Ｉ／Ｆ１５１、ＡＤＣ１５２、信号検知部１５３、画像変換部１５４、動体検知部１５５、フレーム枠検知部１５６、動体タイミング検知部１５７、画像キャプチャ部１５８、第１蓄積部１５９、差異検知部１６０、画像合成部１６１、画像変換部１６２、第２蓄積部１６３、ページ挿入部１６４および外部Ｉ／Ｆ１６５を有する。
【００２７】
画像処理装置１５０は、撮影装置１４０で撮影された撮影画像信号をビデオインターフェイスであるＩ／Ｆ１５１で受信し、ＡＤＣ１５２によりアナログビデオ信号からデジタルビデオ信号に変換する。なお、Ｉ／Ｆ１５１がデジタルビデオ信号に対応しており、撮影装置１４０から出力される撮影画像信号がデジタル形式の信号であれば、ＡＤＣ１５２は省略することができる。信号検知部１５３は、当該デジタルビデオ信号による画像の画像サイズを検知する。画像変換部１５４は、画像サイズの検知結果に基づいて、デジタルビデオ信号による画像の画像サイズを画像処理装置１５０内部で処理し易いサイズにサイズ変換する。
【００２８】
このようにして撮影装置１４０から入力されたデジタルビデオ信号は、次の工程（１）〜（５）の順で処理される。以下、この工程（１）〜（５）の順に従い説明する。
（１）フレーム枠の検知
（２）動体のフレームイン／フレームアウトの検知
（３）動体のフレームイン／フレームアウト時の画像キャプチャおよび画像比較
（４）画像合成
（５）ページ挿入
【００２９】
（１）フレーム枠検知
画像キャプチャ部１５８は、画像変換部１５４から出力されたデジタルビデオ信号から１フレーム毎に画像データをキャプチャする。キャプチャされた画像データは、第１蓄積部１５９に格納される。第１蓄積部１５９は、例えば半導体メモリからなる。第１蓄積部１５９をハードディスクドライブにより構成してもよい。フレーム枠検知部１５６は、第１の蓄積部１５９に格納されているキャプチャ画像データから、ホワイトボード１２０に投影された投影画像のフレーム枠を検知する。フレーム枠の検知は、例えば次のようにして行う。
【００３０】
ホワイトボード１２０に投影された投影画像を撮影装置１４０で撮影た撮影画像信号がＩ／Ｆ１５１から入力されＡＤＣ１５２でデジタルビデオ信号に変換され、信号検知部１５３および画像変換部１５４で所定の処理を施されて画像キャプチャ部１５８に供給される。画像キャプチャ部１５８は、供給されたデジタルビデオ信号から１フレーム分の画像データをキャプチャし、キャプチャ画像データを第１の蓄積部１５９に一時的に格納する。次に、フレーム枠検知部１５６が第１の蓄積部１５９に格納されたキャプチャ画像データにアクセスし、ホワイトボード１２０に投影された投影画像の枠の位置および大きさを検知する。
【００３１】
図２は、ホワイトボード１２０に投影画像１２１が投影された様子の例を示す。図２は、薄暗くした環境の中でホワイトボード１２０に画像を投影した例である。領域１２２は、撮影装置１４０による撮影範囲であり、１フレーム分の撮影画像全体を示す。この場合、図２に示すように、投影画像１２１が、撮影画像１２１の領域以外の周囲１２３よりも明るくなる。撮影画像内における投影画像１２１周辺の明度差を読み取り、画像データの４辺端部から投影画像１２１の領域の枠を検知する。
【００３２】
図２のグラフに示すように、明度に対するスレッショルドレベルＴｈを予め設定し、スレッショルドレベルＴｈよりも明度が高い領域の周囲をフレーム枠とし、フレーム枠で囲まれた領域をフレーム枠領域とする。このフレーム枠領域が投影画像１２１の領域と一致することになる。なお、ここでのフレーム枠およびフレーム枠領域は、ビデオ信号の１フレームとは異なる意味で用いている。
【００３３】
図３は、フレーム枠検知処理の画像データのフローを示している。先ず、経路Ａで、撮影装置１４０で撮影され、デジタル化された画像データが画像キャプチャ部１５８でキャプチャされ、第１蓄積部１５９に格納される。次に、経路Ｂで、フレーム枠検知部１５６が第１の蓄積部１５９にアクセスし、経路Ａにて格納したキャプチャ画像データを読み出し、フレーム枠の検知を行う。
【００３４】
（２）動体のフレームイン／フレームアウトの検知
動体検知部１５５は、撮影装置１４０で撮影された撮影画像に基づく画像データから動体を検知する。ここでいう動体は、時間的に連続した一連の画像データにおいて、位置が逐次的に変化している画像をいう。動体検知部１５５は、画像データに動体が含まれるか否か、動体が含まれる場合、その動体の画像内での位置を検知する。動体タイミング検知部１５７は、フレーム枠検知部１５６で検知されたフレーム枠の位置情報と、動体検知部１５５で検知された動体の位置情報から、動体がフレーム枠へ入ってきた（フレームイン）タイミングと、フレーム枠から出て行く（フレームアウト）タイミングとを検知する。
【００３５】
図４は、動体のフレームイン／フレームアウトの検知処理の画像データのフローを示す。経路Ｃにより、フレーム枠検知部１５６で検知したフレーム枠情報を動体タイミング検知部１５７に通知する。また、経路Ｄにより、動体検知部１５５が、画像変換部１５４から供給される画像データに対して動体の検知処理を施し、動体の検知結果を動体タイミング検知部１５７に入力するフローチャートである。動体タイミング検知部１５７は、経路Ｃおよび経路Ｄからそれぞれ入力されたフレーム枠情報および動体の検知結果とに基づき、動体のフレームインおよびフレームアウトのタイミングを検知する。
【００３６】
動体検知部１５５は、動体の先端がフレーム枠に対して外側にあるか内側にあるかを判定する必要があり、その場合の検知速度もある程度必要となる。そこで、読み込んだ画像データのデータ量を、必要な検知が可能な範囲で小さくする。
【００３７】
図５は、動体検知部１５５においてデータ量削減を行うための一例の構成を示す。この例では、解像度変換と２値化とを行っている。先ず、動体検知部１５５に入力された画像データは、解像度変換部１５５ａにより、例えば単純間引き処理により解像度変換され、より低い解像度の画像データに変換される。例えば、画素クロックを２回に１回有効とすることで、画像データ容量は半分にすることができる。次に、２値化部１５４ｂにより、多値データである画像データをあるスレッショルドレベルにより２値データの画像データに変換する。これにより、画像データのデータ量を削減することができる。本実施形態の場合、精度は余り必要としないので。速度優先で処理することができる。
【００３８】
図６を用いて、動体のフレームイン／フレームアウトの検知処理について説明する。この場合の動体は、ペンを持った人の手の画像３００である。図６（ａ）は、この画像３００が投影画像１２１のフレーム枠に対して外側にある状態を示す。図６（ｂ）は、図６（ａ）の状態から画像３００が図中で左に移動して、投影画像１２１のフレーム枠の内側に入ってきた瞬間の状態を示す。これら図６（ａ）の画像と、図６（ｂ）の画像とをＸＯＲ（エクスクルーシブＯＲ）処理した画像の例を図６（ｃ）に示す。この処理は、上述したように解像度変換（縮小）および２値化した画像データに対して実行するので、比較的高速に処理が完了する。図６（ｃ）に示されるように、図６（ａ）の画像と図６（ｂ）の画像とをＸＯＲ処理することで動体以外の画像部分は消去され、動作している動体の先端部が有効な画像データ３０１として残っていることを示している。
【００３９】
動体タイミング検知部１５７は、常に現在のフレームの画像データと、１フレーム前の画像データとのＸＯＲ比較を行い、動体がフレーム枠内に入ってきた瞬間を検知する。
【００４０】
また、この場合の、検知された動体は、例えばレーザーポインタの光であったり、ＰＣ画面を映し出している場合にはマウスカーソルであることも有り得る。これらの動体は、基本的にある点を指し示すだけの機能であり、画像を追記するものではないと考えられる。そこで、本実施形態では、このような点を指し示すための動体は、無効な動体であると判定するようにしている。
【００４１】
より具体的に説明する。動体検知部１５５に対し、検知された動体の縦横のサイズを検出する動体サイズ検出部（図示しない）を設ける。すなわち、動体サイズ検出部は、ＸＯＲ処理で明確になった動体の縦横のサイズを例えば画素単位で取得する。動体検知部１５５は、検知した動体のサイズを動体サイズ検出部で検出し、予め設定されたサイズ以上の動体を有効な動体とし、当該設定されたサイズよりも小さい動体は無効な動体とすることで、より効率的な処理を行うことができる。
【００４２】
さらに、動体検知部１５５に対し、有効な動体がフレームインしてからフレームアウトするまでの時間を測定する時間測定部を設ける。動体サイズ検出部で有効な動体が検知されると、時間測定部でこの時間を測定し、測定された時間が予め設定した時間より短い場合、この動体が無効な動体であると最終的に判定する。動体がフレームインしてからフレームアウトするまでの時間が短い場合とは、例えば、ホワイトボード１２０に投影される画像を用いて説明を行う演者の手がフレーム枠を掠めて通るといった場合が考えられる。この場合、ホワイトボード１２０に画像を追記するほど時間が無いと考える事ができ、この動体が無効な動体であると判定する。これにより、さらに、より効率的な処理を行うことができる。
【００４３】
（３）フレームイン／フレームアウト時の画像キャプチャおよび画像比較
画像キャプチャ部１５８は、画像変換部１５４から供給された画像データをフレーム毎にキャプチャし、順次、第１蓄積部１５９に格納する。一方、動体タイミング検知部１５７によって、画像変換部１５４から供給された画像データに基づき動体のフレームインのタイミングが検知され、そのタイミングが画像キャプチャ部１５８に通知される。同様に、動体タイミング検知部１５７によって、動体がフレームアウトするタイミングが検知され、そのタイミングが画像キャプチャ部１５８に通知される。画像キャプチャ部１５８は、動体タイミング検知部１５７から通知された動体のフレームイン、フレームアウトのタイミングを示す情報を、キャプチャした画像データに関連付ける。
【００４４】
差異検知部１６０は、第１蓄積部１５９に格納されたフレームインのタイミングの画像データと、フレームアウトのタイミングの画像データとを比較し、その差異画像と差異領域とを検出する。これにより、動体が投影画像１２１のフレーム枠の内側に入ってきてから投影画像１２１のフレーム枠の外に出ていくまでの間にホワイトボード１２０に追記された画像を検出し、切り出すことができる。
【００４５】
もし、ここで両者の画像に差異が無ければ、フレームインおよびフレームアウトの間にホワイトボード１２０に追記された画像が無いと判定する。一方、両者の画像に差異があった場合、その差異画像がホワイトボード１２０に追記された画像であると判定する。この追記された画像に基づき、その追記された画像が含まれる差異領域の画像データを、後述する画像合成に用いる差異画像データとして、第１蓄積部１５９に格納しておく。このとき、当該差異画像データに対して、差異領域の位置およびサイズを示す情報を、差異画像データと関連付けて格納する。
【００４６】
図７は、動体のフレームイン／フレームアウトの画像データのキャプチャおよび比較の画像データのフローを示す。経路Ｅで、動体のフレームイン／フレームアウトの画像データが画像キャプチャ部１５８にキャプチャされ、第１蓄積部１５９に格納される。そして、差異検知部１６０は、経路Ｆで第１蓄積部１５９から動体のフレームイン／フレームアウトの画像データを読み出して比較し、その差異画像データを第１蓄積部１５９に格納する。
【００４７】
このとき、１フレーム分の画像データを一時的に記憶する記憶部をさらに設け、動体がフレームインする直前（１フレーム前）のタイミングでキャプチャした画像データを当該記憶部から読み出して、フレームインのタイミングの画像データとして用いることで、比較に用いるフレームインのタイミングの画像データに動体自体が含まれず、無駄な処理が省ける。
【００４８】
（４）画像合成
外部Ｉ／Ｆ１６５は、プロジェクタ１１０により投影されている元画像の画像データが格納されている記憶装置と通信を行うことができるインターフェイスである。この例では、外部Ｉ／Ｆ１６５は、ＰＣ１３０と通信を行い、ＰＣ１３０のＨＤＤ１３１に格納されている元画像データにアクセスすることができるようになっている。外部Ｉ／Ｆ１６５を介して読み込まれた元画像データは、第２蓄積部１６３に格納される。
【００４９】
第２蓄積部１６３は、例えば半導体メモリからなる。第２蓄積部１６３をハードディスクドライブにより構成してもよい。また、上述した第１蓄積部１５９とこの第２蓄積部１６３とを、同一の記憶媒体の異なる領域としてもよい。
【００５０】
画像変倍部１６２は、差異検知部１６０で検知され第１蓄積部１５９に格納された差異画像の画像サイズを、外部Ｉ／Ｆ１６５を介して第２蓄積部１６３に格納された元画像データの画像サイズに対して比率的に適合させるように変更する。例えば、画像変換部１６２は、元画像データの画像サイズと、フレーム枠検知部１５６で検知されたフレーム枠のサイズとの比率を求め、差異検知部１６０で検知され第１蓄積部１５９に格納された差異画像のサイズを、この比率に基づき元画像データの画像サイズに適合するように変更する。このとき、画像変倍部１６２は、さらに差異画像のフレーム枠に対する位置を、この比率から算出する。
【００５１】
画像合成部１６１は、外部Ｉ／Ｆ１６５を介してＰＣ１３０から読み込んだ元画像データと、差異検知部１６０で検知され第１の蓄積部１５９に格納された差異画像データとを画像合成する。上述したように、差異画像データは、画像変倍部１６２によって元画像データの画像サイズと適合するよう画像サイズを変更されている。画像合成部１６１は、この差異画像データを、画像変倍部１６２で算出された位置に基づき、元画像データに対して合成する。
【００５２】
図８は、画像合成の際の画像データのフローを示す。画像合成部１６１は、経路Ｇで、外部Ｉ／Ｆ１６５を介して、ＰＣ１３０のＨＤＤ１３１から元画像データを読み出して第２蓄積部１６３に格納する。また、画像合成部１６１は、経路Ｈで、第１蓄積部１５９に蓄積された差異画像データを読み出す。読み出された差異画像データは、画像変倍部１６２で画像サイズの変更および位置算出がなされ、画像合成部１６１に供給される。画像合成部１６１は、第２蓄積部１６３に格納された元画像データと画像変倍部１６２から供給された差異画像データとを合成する。合成画像データは、ページ挿入部１６４に供給される。
【００５３】
（５）ページ挿入
図９は、ページ挿入の際の画像データのフローを示す。ページ挿入部１６４は、図９の画像データのフローに経路Ｉとして示されるように、元画像データが記憶されている記憶装置、この例ではＰＣ１３０のＨＤＤ１３１にアクセスし、画像合成部１６１によって元画像データと差異画像データとが合成された合成画像データによる合成画像を、元画像データによる元画像のページと、その次のページの間にページ挿入する。例えば、ページ挿入部１６４は、予め仕様として決められている元画像データのファイルフォーマットの構造を解析し、挿入すべきページに対して、合成画像をイメージ画像として挿入する。
【００５４】
制御方法としては、画像処理装置１５０自体が編集権限を与えられた上で、ＰＣ１３０のＨＤＤ１３１にアクセスし、ファイルを加工する方法が考えられる。これに限らず、元画像データが格納されるＰＣ１３０に対し、予め外部からのコマンドを受けてファイルを編集することが可能なアプリケーションを搭載しておき、そのアプリケーションとのコマンド、データのやり取りでファイルを加工することも考えられる。
【００５５】
また、ＰＣ１３０が画像表示を行うためのファイルには、多くの種類のフォーマットが存在する。例えば、特定のファイルフォーマットに対して合成画像データをフォーマット変換できるファイル変換部を画像処理装置１５０にさらに備え、当該ファイル変換部で、合成画像データに対して、元画像データのファイルに合わせたフォーマット変換を実施することも考えられる。これにより、合成画像によるページを、違和感を抑制してファイルに挿入することができる。
【００５６】
上述したような処理によって、プロジェクタ１１０により元画像が投影されたホワイトボード１２０上に追記された追記画像による画像データが、自動的に順次、元画像データのファイルに、当該元画像のページの次ページおよびそれ以降のページとして、ページ挿入される。
【００５７】
図１０を用いて、上述した本実施形態による処理の流れを説明する。図１０（ａ）〜図１０（ｌ）の順に時間の経過を示し、ホワイトボードに画像を追記しようとする人の手が動体３１０であるものとする。図１０（ａ）では、動体３１０の先端部分３２０がフレーム枠領域に懸かり、動体３１０がフレームインする瞬間を捉えている。そして、図１０（ｂ）に示されるように動体３１０によってホワイトボードに画像が追記され、図１０（ｃ）の時点で、動体３１０の先端部分３２１がフレーム枠領域から離れ、動体３１０がフレームアウトしている。このホワイトボードに投影されている投影画像と、動体３１０によって追記された追記画像とがキャプチャされ、上述したような処理によって、結果として図１０（ｃ）で示されたフレーム枠領域内の画像が、図１０（ａ）の元画像のページの直後に新たなページとして挿入される。
【００５８】
続けて、図１０（ｄ）の時点で動体３１０のフレームインが検知され、図１０（ｅ）に示されるように画像が追記され、図１０（ｆ）の時点で動体３１０のフレームアウトが検知される。このホワイトボードに投影されている投影画像と追記画像とがキャプチャされ、結果的に、図１０（ｆ）で示されたフレーム枠領域の画像が、上述した図１０（ｃ）の画像によるページの直後に新たなページとして挿入される。
【００５９】
以降、図１０（ｇ）の時点で動体３１０のフレームインが検知され、図１０（ｈ）に示されるように画像が追記され、図１０（ｉ）の時点で動体３１０がフレームアウトされ、追記画像とホワイトボードの投影画像とがキャプチャされ、図１０（ｉ）で示されたフレーム枠領域の画像が、上述した図１０（ｆ）の画像によるページの直後に新たなページとして挿入される。さらに、図１０（ｊ）の時点で動体３１０のフレームインが検知され、図１０（ｋ）に示されるように画像が追記され、図１０（ｌ）の時点で動体３１０がフレームアウトされ、追記画像とホワイトボードの投影画像とがキャプチャされ、図１０（ｌ）で示されたフレーム枠領域の画像が、上述した図１０（ｉ）の画像によるページの直後に新たなページとして挿入される。
【００６０】
最終的に、図１０（ａ）に示す元画像のページに対し、図１０（ｃ）のフレーム枠領域の画像によるページ、図１０（ｆ）のフレーム枠領域の画像によるページ、図１０（ｉ）のフレーム枠領域の画像によるページ、図１０（ｌ）のフレーム枠領域の画像によるページが順に挿入される。
【００６１】
この一連の繰り返し処理により、プロジェクタ１１０による投影画像に対してホワイトボード上に手書きで追記された複数の追記画像をその追記順に検知し、元画像データに対して追記順に複数の追記画像データを関連付けて、関連付け後、複数の追記画像データをその追記順で元原稿データに合成表示することができる。このため、非常に分かり易いプレゼンテーション画像を生成できる。
【００６２】
図１１は、本実施形態による処理を示す一例のフローチャートである。このフローチャートによる処理は、画像処理装置１５０で実行されるものである。先ず、ステップＳ１６０１で、画像合成を行うページ数Ｎを初期化してゼロクリアする。ステップＳ１６０２で、ホワイトボード１２０に投影された投影画像を撮影装置１４０で撮影した撮影画像信号から、１フレーム分の画像データが取得される。次のステップＳ１６０３で、取得された画像データに含まれる動体が検知される。次のステップＳ１６０４で、ステップＳ１６０３の処理により、画像データに有効な動体が含まれているか否かが判定される。若し、有効な動体が含まれていないと判定されたら、処理をステップＳ１６０２に戻し、次の１フレームについて処理を開始する。
【００６３】
一方、ステップＳ１６０４で、画像データに有効な動体が含まれていると判定したら、処理はステップＳ１６０５に移行される。ステップＳ１６０５では、画像データに含まれる動体の状態が判定される。若し、動体が動作中であると判定されたら、処理はステップＳ１６０２に戻され、次の１フレームについて処理を開始する。なお、動作中とは、フレームインした動体がフレームアウトしていない状態を指す。
【００６４】
ステップＳ１６０５で、動体がフレームインした瞬間であると判定されたら、処理がステップＳ１６０６に移行され、フレームイン直前のフレームの画像Ａの画像データを第１蓄積部１５９に格納し、処理をステップＳ１６０１に戻す。フレームイン直前の画像Ａを格納するのは、動体自体の画像が含まれない画像データを保持するためである。
【００６５】
ステップＳ１６０５で、動体がフレームアウトした瞬間であると判定されたら、処理がステップＳ１６０７に移行され、フレームアウト直後の画像Ｂの画像データを第１蓄積部１５９に格納する。そして、次のステップＳ１６０８で、第１蓄積部１５９に格納された画像Ａおよび画像Ｂの画像データが比較される。そして、次のステップＳ１６０９で、比較の結果、画像Ａおよび画像Ｂに差異があるか否かが判定される。若し、画像Ａおよび画像Ｂに差異が無いと判定されたら、処理がステップＳ１６０２に戻され、次のフレームに対する処理が開始される。
【００６６】
一方、ステップＳ１６０９で画像Ａおよび画像Ｂに差異があると判定されたら、処理がステップＳ１６１０に移行され、ページ数Ｎに１が加算された値が新たなページ数Ｎとされる。そして、次のステップＳ１６１１で、画像Ａおよび画像Ｂの差異部分が抽出され、差異領域の画像データが差異画像データとして第１蓄積部１５９に格納される。また、次のステップＳ１６１２で、差異領域の元画像データに対する位置およびサイズが求められ、差異画像データと関連付けて第１蓄積部１５９に格納される。このステップＳ１６１２の処理までで、１の静止画像（元画像）に対して、ホワイトボード１２０に追記された追記画像を関連付けて第１蓄積部１５９に格納している状態となる。
【００６７】
次のステップＳ１６１３で、現在ホワイトボード１２０に投影している元画像を継続して投影するのか、当該元画像の次ページの画像の投影に切り替えるかを判定する。例えば、ＰＣ１３０から画像処理装置１５０に対して、Ｉ／Ｆ１３３および外部Ｉ／Ｆ１６５を介して投影画像を切り替える旨を通知してもよいし、画像処理装置１５０に対するユーザ操作により手動で投影画像の切り替えを設定してもよい。また、撮影装置１４０で撮影した撮影画像信号に基づき投影画像の切り替えを判定する事も可能である。
【００６８】
若し、次ページの画像が用意されているが、投影画像を切り替えずに現在投影されている元画像を継続して投影すると判定されたら、処理がステップＳ１６０２に戻され、次のフレームに対する処理が開始される。この繰り返しにより、１つの投影画像に対し、差異画像と判定された追記画像データが動体のフレームアウト毎に第１蓄積部１５９に順次格納されていくことになる。この追記画像データの数が、ステップＳ１６１０でカウントアップされたページ数Ｎの値となる。
【００６９】
一方、ステップＳ１６１３で、投影画像を次ページの画像に切り替えると判定されたら、処理が１６１４に移行される。ステップＳ１６１４では、第１蓄積部１５９に格納された差異画像のページ数Ｎ分の差異画像データを、ステップＳ１６０６で第１蓄積部１５９に格納された画像Ａに順次合成していく。
【００７０】
具体的には、先ず画像Ａに、ページ数Ｎ＝１の時点の差異画像を合成して合成画像ａを生成し、この合成画像ａの合成画像データを第１蓄積部１５９に格納する。次に、合成画像ａにページ数Ｎ＝２の時点の差異画像を合成して合成画像ｂを生成し、第１蓄積部１５９に格納する。同様に、次に、合成画像ｂにページ数Ｎ＝３の時点の差異画像を合成し合成画像ｃとして第１蓄積部１５９に格納する。以上の処理を、ページ数Ｎが示す最大ページ数まで実行する。これにより、合成画像がＮページ分、第１蓄積部１５９に格納されることになる。これらＮページ分の合成画像は、合成順序を保持したまま、画像Ａの子画像として、当該画像Ａに対して関連付けられる。
【００７１】
処理はステップＳ１６１５に移行され、プロジェクタ１１０による一連の画像の投影が終了したか否かが判定される。例えば、ＰＣ１３０から画像処理装置１５０に対して、Ｉ／Ｆ１３３および外部Ｉ／Ｆ１６５を介して画像投影が終了した旨を通知してもよいし、画像処理装置１５０に対するユーザ操作により手動で画像投影の終了を設定してもよい。また、撮影装置１４０で撮影した撮影画像信号に基づき画像投影の終了を判定する事も可能である。若し、画像投影が継続され、次の画像が投影されると判定されたら、処理がステップＳ１６０２に戻され、当該次の画像を元画像として、以降の処理が繰り返される。
【００７２】
若し、画像投影が終了したと判定されたら、処理はステップＳ１６１６に移行される。ステップＳ１６１６では、投影画像の元画像のファイルを、外部Ｉ／Ｆ１６５およびＩ／Ｆ１３３を介して読み込んで、次のステップＳ１６１７で、読み込んだファイル内の画像Ａのページとその次の頁との間に、第１蓄積部１５９に格納されているＮページ分の合成画像を合成順に挿入する。最後にステップＳ１６１７で挿入したファイルをステップＳ１６１８で元画像ファイルに書き戻す。
【００７３】
この図１１に示す処理により、プロジェクタ１１０でホワイトボード１２０に投影した投影画像に対して手書きで追記された追記画像が複数個所あり、且つ当該複数個所の追記画像に時間的な順序が必要な場合であっても、複数個所ある追記画像を追記順序通りに再生表示させることができる。したがって、ユーザにとって極めて分りやすいプレゼンテーション画像を生成することが可能となる。
【００７４】
なお、上述では、画像処理装置１５０が独立した機器であるように説明したが、これはこの例に限定されない。例えば、画像処理装置１５０を、プロジェクタ１１０に含まれる構成とすることができる。この場合、画像処理装置１５０の各部をハードウェアで構成してもよいし、画像処理装置１５０の各機能をプロジェクタ１１０が有する図示されないＣＰＵ上で動作するプログラムによって実現してもよい。これに限らず、画像処理装置１５０の機能を、ＰＣ１３０のＣＰＵ１３５上で動作するプログラムで実現することも可能である。
【００７５】
画像処理装置１５０の機能をプログラムで実現する場合、当該プログラムは、ＣＤ(Compact Disk)やＤＶＤ(Digital Versatile Disk)、ＦＤ（フレキシブルディスク）、脱着可能な不揮発性の半導体メモリといった記憶媒体に記憶して提供することができる。これに限らず、当該プログラムをネットワークを介して提供するようにしてもよい提供されたプログラムは、装置内のＨＤＤといった記憶媒体に所定にインストールされる。また、装置内のＲＯＭ(Read Only Memory)に予め記憶するようにもできる。
【００７６】
当該プログラムは、ＣＰＵにより実行されると、インストール先から読み出されてＲＡＭ(Random Access Memory)などの主記憶装置上に展開され、画像処理装置１５０の各部がモジュールとして主記憶装置上に生成されるようになっている。
【符号の説明】
【００７７】
１１０ プロジェクタ
１２０ ホワイトボード
１３０ ＰＣ
１４０ 撮影装置
１５０ 画像処理装置
１５５ 動体検知部
１５６ フレーム枠検知部
１５７ 動体タイミング検知部
１５８ 画像キャプチャ部
１５９ 第１蓄積部
１６０ 差異検知部
１６１ 画像合成部
１６２ 画像変倍部
１６３ 第２蓄積部
１６４ ページ挿入部
【先行技術文献】
【特許文献】
【００７８】
【特許文献１】特開２００６−１０８８１３号公報
【特許請求の範囲】
【請求項１】
元画像を被投影体に投影したフレーム枠領域を撮影手段で撮影した撮影画像を取得する画像取得手段と、
前記元画像を取得する元画像取得手段と、
前記画像取得手段で取得された前記撮影画像から前記フレーム枠領域を検出する領域検出手段と、
前記画像取得手段で取得された前記撮影画像から動体を検出する動体検出手段と、
前記動体検出手段で検出された前記動体が前記領域検出手段で検出された前記フレーム枠領域内に入る第１のタイミングと、該動体が該フレーム枠領域から出る第２のタイミングとを検知する検知手段と、
前記画像取得手段が取得した前記撮影画像のうち、前記第１のタイミングに応じた第１の撮影画像と、前記第２のタイミングの第２の撮影画像とを抽出し、該第１の撮影画像と該第２の撮影画像との差異を検出する差異検出手段と、
前記第２の撮影画像から前記差異検出手段で検出された前記差異を含む領域を抽出し、前記元画像取得手段で取得された前記元画像に対して該差異を含む領域の画像を合成した合成画像を生成する合成手段と、
前記合成手段で生成された前記合成画像を、前記元画像取得手段で取得された前記元画像に対する新たなページの画像として、前記差異検出手段により前記差異が検出される毎に、順次、該元画像に対して関連付けるページ追加手段と
を有する
ことを特徴とする画像処理装置。
【請求項２】
前記動体検出手段は、
検出された前記動体のサイズを取得し、取得された該サイズが予め定められたサイズを超えている場合に、該動体が有効であると判定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検知手段は、
前記第１のタイミングと前記第２のタイミングとの間の時間を計測し、計測された該時間が予め定められた時間を超えている場合に、前記動体が有効であると判定する
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
少なくとも１フレーム分の前記撮影画像を記憶する記憶手段をさらに有し、
前記差異検出手段は、
前記記憶手段に記憶された前記第１のタイミングの直前のフレームの撮影画像を用いて、前記差異を検出する
ことを特徴とする請求項１乃至請求項３の何れか１項に記載の画像処理装置。
【請求項５】
前記元画像取得手段で取得された前記元画像のサイズと、前記領域検出手段で検出された前記フレーム枠領域のサイズとの比率を求め、前記差異を含む領域の画像のサイズを該比率に基づき変更する変更手段をさらに有し、
前記合成手段は、
前記変更手段でサイズを変更された前記差異を含む領域の画像を前記元画像に対して合成する
ことを特徴とする請求項１乃至請求項４の何れか１項に記載の画像処理装置。
【請求項６】
前記元画像が格納されるファイルを加工して、前記ページ追加手段で前記元画像に対して関連付けられた前記新たなページの画像を、前記ファイルに格納される前記元画像に対して時系列順に挿入する加工手段をさらに有する
ことを特徴とする請求項１乃至請求項５の何れか１項に記載の画像処理装置。
【請求項７】
画像取得手段が、元画像を被投影体に投影したフレーム枠領域を撮影手段で撮影した撮影画像を取得する画像取得ステップと、
元画像取得手段が、前記元画像を取得する元画像取得ステップと、
領域検出手段が、前記画像取得ステップにより取得された前記撮影画像から前記フレーム枠領域を検出する領域検出ステップと、
動体検出手段が、前記画像取得ステップにより取得された前記撮影画像から動体を検出する動体検出ステップと、
検知手段が、前記動体検出ステップにより検出された前記動体が前記領域検出ステップにより検出された前記フレーム枠領域内に入る第１のタイミングと、該動体が該フレーム枠領域から出る第２のタイミングとを検知する検知ステップと、
差異検出手段が、前記画像取得ステップにより取得した前記撮影画像のうち、前記第１のタイミングに応じた第１の撮影画像と、前記第２のタイミングの第２の撮影画像とを抽出し、該第１の撮影画像と該第２の撮影画像との差異を検出する差異検出ステップと、
合成手段が、前記第２の撮影画像から前記差異検出ステップにより検出された前記差異を含む領域を抽出し、前記元画像取得ステップにより取得された前記元画像に対して該差異を含む領域の画像を合成した合成画像を生成する合成ステップと、
ページ追加手段が、前記合成ステップにより生成された前記合成画像を、前記元画像取得ステップにより取得された前記元画像に対する新たなページの画像として、前記差異検出ステップにより前記差異が検出される毎に、順次、該元画像に対して関連付けるページ追加ステップと
を有する
ことを特徴とする画像処理方法。
【請求項１】
元画像を被投影体に投影したフレーム枠領域を撮影手段で撮影した撮影画像を取得する画像取得手段と、
前記元画像を取得する元画像取得手段と、
前記画像取得手段で取得された前記撮影画像から前記フレーム枠領域を検出する領域検出手段と、
前記画像取得手段で取得された前記撮影画像から動体を検出する動体検出手段と、
前記動体検出手段で検出された前記動体が前記領域検出手段で検出された前記フレーム枠領域内に入る第１のタイミングと、該動体が該フレーム枠領域から出る第２のタイミングとを検知する検知手段と、
前記画像取得手段が取得した前記撮影画像のうち、前記第１のタイミングに応じた第１の撮影画像と、前記第２のタイミングの第２の撮影画像とを抽出し、該第１の撮影画像と該第２の撮影画像との差異を検出する差異検出手段と、
前記第２の撮影画像から前記差異検出手段で検出された前記差異を含む領域を抽出し、前記元画像取得手段で取得された前記元画像に対して該差異を含む領域の画像を合成した合成画像を生成する合成手段と、
前記合成手段で生成された前記合成画像を、前記元画像取得手段で取得された前記元画像に対する新たなページの画像として、前記差異検出手段により前記差異が検出される毎に、順次、該元画像に対して関連付けるページ追加手段と
を有する
ことを特徴とする画像処理装置。
【請求項２】
前記動体検出手段は、
検出された前記動体のサイズを取得し、取得された該サイズが予め定められたサイズを超えている場合に、該動体が有効であると判定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検知手段は、
前記第１のタイミングと前記第２のタイミングとの間の時間を計測し、計測された該時間が予め定められた時間を超えている場合に、前記動体が有効であると判定する
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
少なくとも１フレーム分の前記撮影画像を記憶する記憶手段をさらに有し、
前記差異検出手段は、
前記記憶手段に記憶された前記第１のタイミングの直前のフレームの撮影画像を用いて、前記差異を検出する
ことを特徴とする請求項１乃至請求項３の何れか１項に記載の画像処理装置。
【請求項５】
前記元画像取得手段で取得された前記元画像のサイズと、前記領域検出手段で検出された前記フレーム枠領域のサイズとの比率を求め、前記差異を含む領域の画像のサイズを該比率に基づき変更する変更手段をさらに有し、
前記合成手段は、
前記変更手段でサイズを変更された前記差異を含む領域の画像を前記元画像に対して合成する
ことを特徴とする請求項１乃至請求項４の何れか１項に記載の画像処理装置。
【請求項６】
前記元画像が格納されるファイルを加工して、前記ページ追加手段で前記元画像に対して関連付けられた前記新たなページの画像を、前記ファイルに格納される前記元画像に対して時系列順に挿入する加工手段をさらに有する
ことを特徴とする請求項１乃至請求項５の何れか１項に記載の画像処理装置。
【請求項７】
画像取得手段が、元画像を被投影体に投影したフレーム枠領域を撮影手段で撮影した撮影画像を取得する画像取得ステップと、
元画像取得手段が、前記元画像を取得する元画像取得ステップと、
領域検出手段が、前記画像取得ステップにより取得された前記撮影画像から前記フレーム枠領域を検出する領域検出ステップと、
動体検出手段が、前記画像取得ステップにより取得された前記撮影画像から動体を検出する動体検出ステップと、
検知手段が、前記動体検出ステップにより検出された前記動体が前記領域検出ステップにより検出された前記フレーム枠領域内に入る第１のタイミングと、該動体が該フレーム枠領域から出る第２のタイミングとを検知する検知ステップと、
差異検出手段が、前記画像取得ステップにより取得した前記撮影画像のうち、前記第１のタイミングに応じた第１の撮影画像と、前記第２のタイミングの第２の撮影画像とを抽出し、該第１の撮影画像と該第２の撮影画像との差異を検出する差異検出ステップと、
合成手段が、前記第２の撮影画像から前記差異検出ステップにより検出された前記差異を含む領域を抽出し、前記元画像取得ステップにより取得された前記元画像に対して該差異を含む領域の画像を合成した合成画像を生成する合成ステップと、
ページ追加手段が、前記合成ステップにより生成された前記合成画像を、前記元画像取得ステップにより取得された前記元画像に対する新たなページの画像として、前記差異検出ステップにより前記差異が検出される毎に、順次、該元画像に対して関連付けるページ追加ステップと
を有する
ことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−１９９６７６（Ｐ２０１２−１９９６７６Ａ）
【公開日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願番号】特願２０１１−６１４３２（Ｐ２０１１−６１４３２）
【出願日】平成２３年３月１８日（２０１１．３．１８）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願日】平成２３年３月１８日（２０１１．３．１８）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]