画像処理装置、画像処理方法及びプログラム
【課題】会議の円滑な進行を支援することのできる画像処理装置、画像処理方法及びプログラムの提供を目的とする。
【解決手段】画像データを保存する保存手段と、前記保存手段に保存されている画像データを投影する投影手段と、画像データを撮影し、前記保存手段に保存する撮影手段と、前記撮影手段が前記投影手段による投影面を撮影するときに該投影手段による投影を無効化する無効化手段と、前記投影手段によって投影された画像データと前記撮影手段によって撮影された画像データとを合成し、合成された画像データを前記保存手段に保存する合成手段とを有することにより上記課題を解決する。
【解決手段】画像データを保存する保存手段と、前記保存手段に保存されている画像データを投影する投影手段と、画像データを撮影し、前記保存手段に保存する撮影手段と、前記撮影手段が前記投影手段による投影面を撮影するときに該投影手段による投影を無効化する無効化手段と、前記投影手段によって投影された画像データと前記撮影手段によって撮影された画像データとを合成し、合成された画像データを前記保存手段に保存する合成手段とを有することにより上記課題を解決する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
会議やミーティング等において、議事内容を記録するためにホワイトボードが利用されることは多々ある。ホワイトボードに議事内容を書き込むことで、会議の参加メンバの各々は、自分でメモをとらなくても会議中におけるこれまでの議事内容を把握することができ、会議を円滑に進めることができる。また、近年では、書き込まれた内容を印刷可能なホワイトボードも市販されている。斯かるホワイトボードによれば、ホワイトボードに書き込まれた内容をノート等に書き取る必要はない。
【０００３】
ところで、オフィスにおけるホワイトボードは共用されるため、会議が終了したら、次に利用する人のために書き込まれた内容を消しておくことが一般的に要求される。また、情報漏洩の防止の観点からも書き込まれた内容が放置されたままであるのは好ましくない。
【特許文献１】特開２００４−２３３５８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、会議が途中で終了してしまった場合、会議終了時にホワイトボードに書き込まれた内容が消されてしまっては、次回にその続きを議論する際に非常に不便であるという問題がある。例えば、前回書き込まれた内容を再度ホワイトボードに書き直したり、ホワイトボードより印刷された前回の議事内容を参照したりして議論を進めなければならない。
【０００５】
本発明は、上記の点に鑑みてなされたものであって、会議の円滑な進行を支援することのできる画像処理装置、画像処理方法及びプログラムの提供を目的とする。
【課題を解決するための手段】
【０００６】
そこで上記課題を解決するため、本発明は、画像データを保存する保存手段と、前記保存手段に保存されている画像データを投影する投影手段と、画像データを撮影し、前記保存手段に保存する撮影手段と、前記撮影手段が前記投影手段による投影面を撮影するときに該投影手段による投影を無効化する無効化手段と、前記投影手段によって投影された画像データと前記撮影手段によって撮影された画像データとを合成し、合成された画像データを前記保存手段に保存する合成手段とを有することを特徴とする。
【０００７】
このような画層処理装置では、会議の円滑な進行を支援することができる。
【発明の効果】
【０００８】
本発明によれば、会議の円滑な進行を支援することのできる画像処理装置、画像処理方法及びプログラムを提供することができる。
【発明を実施するための最良の形態】
【０００９】
以下、図面に基づいて本発明の実施の形態を説明する。図１は、本発明の実施の形態における画像処理装置のハードウェア構成例を示す図である。図１において、画像処理装置１０は、入力部１１、プロジェクタ１２、切替部１３、デジタルカメラ１４、及びコントローラ１５等を備える。
【００１０】
入力部１１は、ユーザからの指示を受け付けるためのハードウェアであり、例えばボタン、液晶パネル等によって構成される。プロジェクタ１２は、ホワイトボード等の投影面に画像データを拡大して投影する。デジタルカメラ１４は、プロジェクタ１２の投影面を撮影し、画像データとして出力する。切替部１３は、プロジェクタ１２による投影面に対する画像データの投影と、デジタルカメラ１４による当該投影面の撮影とが排他的に行われるようにするためのハードウェアである。コントローラ１５は、プログラムにしたがって、プロジェクタ１２、切替部１３、及びデジタルカメラ１４等を制御するためのハードウェアであり、ＣＰＵ１５１、ＲＡＭ１５２、ＨＤＤ（Hard Disk Drive）１５３、及びＲＯＭ１５４等より構成される。
【００１１】
ＲＯＭ１５４には、プログラムが記録されている。但し、プログラムはＨＤＤ１５３に記録されていてもよい。ＲＡＭ１５２には、プログラムが実行される際にＲＯＭ１５４より当該プログラムがロードされる。ＣＰＵ１５１は、ＲＡＭ１５２にロードされたプログラムに従って、各種の処理を実行する。ＨＤＤ１５３は、プロジェクタ１２が投影する画像データや、デジタルカメラ１４によって撮影された画像データを保存する。
【００１２】
図２は、本発明の実施の形態における画像処理装置の機能構成例を示す図である。図２において、画像処理装置１０は、プロジェクタ制御部１０１、切替制御部１０２、デジカメ制御部１０３、画像管理部１０４、及び画像処理部１０５等より構成される。プロジェクタ制御部１０１、切替制御部１０２、デジカメ制御部１０３は、それぞれプロジェクタ１２、切替部１３、又はデジタルカメラ１４の動作を制御する。画像管理部１０４は、プロジェクタ１２が投影する画像データや、デジタルカメラ１４によって撮影される画像データを管理する。画像処理部１０５は、デジタルカメラ１４によって撮影される画像データに対して補正処理等の画像処理を実行する。
【００１３】
図３、図４、及び図５は、第一の実施の形態の概要を説明するための図である。第一の実施の形態では、会議が複数回にわたる場合に、前回（又は過去の）の会議においてホワイトボードに書き込まれた内容が、画像処理装置１０によって有効利用される例について説明する。
【００１４】
図３は、初回の会議の様子を示す。（Ａ）に示されるように、会議の進行に応じてホワイトボード２０に議事内容の書き込みａがなされる。この際、プロジェクタ１２及びデジタルカメラ１４の双方は無効状態とされる。無効状態とは、動作が停止している状態、又は動作はしていても切替部１３によってその機能が発揮されない（有効とならない）状態をいう。
【００１５】
続いて、（Ｂ）に示されるように、画像処理装置１０のデジタルカメラ１４によってホワイトボード２０が撮影され、その画像データ（以下「画像データＡ」という。）が画像処理装置１０に保存される。なお、（Ｂ）においてもプロジェクタ１２は無効状態とされる。このように、初回の会議では、ホワイトボード２０に書き込まれた内容が画像データＡとして画像処理装置１０に取り込まれる。
【００１６】
図４は、二回目の会議の様子を示す。二回目の会議では、まず、（Ｃ）に示されるように、画像処理装置１０のプロジェクタ１２によって、前回の記事内容が記録された画像データＡがホワイトボード２０に投影される。画像データＡがホワイトボード２０に投影されることで、前回の会議の際にホワイトボード２０に書き込まれた内容（書き込みａ）がホワイトボード２０に再現される。なお、この際、デジタルカメラ１４は無効状態とされる。
【００１７】
続いて、（Ｄ）に示されるように、画像データＡが投影されているホワイトボード２０に対して、会議の進行に応じて新たな書き込みｂがなされる。この際、デジタルカメラ１４は、無効状態とされる。
【００１８】
続いて、（Ｅ）に示されるように、プロジェクタ１２が無効状態とされ、デジタルカメラ１４によってホワイトボード２０が撮影される。撮影された画像データ（以下「画像データＢ」という。）は画像処理装置１０に保存される。ここで、プロジェクタ１２が無効状態とされた状態（すなわち、画像データＡが投影されていない状態）においてホワイトボード２０の撮影が行われるため、画像データＢには、書き込みｂのみが記録される。
【００１９】
続いて、画像処理装置１０において、図５に示されるような処理が実行される。すなわち、一回目の会議における書き込みａが記録された画像データＡと、二回目の会議における書き込みｂが記録された画像データＢとが合成され、画像データＣが生成される。画像データＣは、二回目の会議において、ホワイトボード２０に表示されていた内容が記録された画像データとなる。なお、三回目以降については、新たに生成された画像データ（ここでは、画像データＣ）をホワイトボード２０への投影対象とし、二回目における会議の際と同様の動作を画像処理装置１０に実行させればよい。
【００２０】
このように、第一の実施の形態における画像処理装置１０によれば、ホワイトボード２０に書き込まれた内容がデジタルカメラ１４によって撮影され画像データとして保存される。保存された画像データは、次回の会議の際にプロジェクタ１２によってホワイトボード２０に投影される。したがって、前回の会議の際にホワイトボード２０に書き込まれた内容を、次回の会議の際にホワイトボード２０上に容易に再現することができる。
【００２１】
また、二回目以降の会議の際では、新たに書き込まれた内容のみが画像データとして撮影され、前回の画像データとの合成によって、今回のホワイトボード２０に表示されていた内容を示す画像データが生成される。したがって、投影された映像をそのまま撮影する場合に比べ、前回までの書き込み内容をより鮮明に画像データに記録することができる。
【００２２】
以下、上記の内容を実現するための画像処理装置１０の処理について説明する。図６は、第一の実施の形態における最初の会議のときの画像処理装置の処理手順を説明するためのフローチャートである。すなわち、図６のフローチャートは図３に対応する。
【００２３】
まず、デジカメ制御部１０３は、入力部１１を介したユーザからの入力に応じ、デジタルカメラ１４の撮影範囲を調整する（Ｓ１０１）。すなわち、デジタルカメラ１４の撮影範囲にホワイトボード２０が適切に収まるようにするための処理である。この際、切替制御部１０２は、切替部１３を制御して少なくともデジタルカメラ１４は有効とする。
【００２４】
会議の進行に応じてホワイトボード２０に書き込みが行われ、入力部１１を介して撮影指示が入力されると、デジカメ制御部１０３は、デジタルカメラ１４を制御してホワイトボード２０を撮影し、撮影された情報を画像データとして出力する（Ｓ１０２）。この際、切替制御部１０２は、切替部１３を制御してデジタルカメラ１４のみを有効とする。
【００２５】
続いて、画像処理部１０５は、デジカメ制御部１０３より出力された画像データに対して補正処理を実行する（Ｓ１０３）。この補正処理は、主に、デジタルカメラ１４が、ホワイトボード２０に正対していない場合の画像の歪みを補正するための処理である。続いて、画像管理部１０４は、必要に応じて補正された画像データをファイルとしてＨＤＤ１５３に保存する（Ｓ１０４）。なお、ステップＳ１０２以降は、必要に応じて繰り返される（Ｓ１０５）。例えば、ホワイトボード２０複数枚分の書き込みが行われるような場合である。
【００２６】
図７は、第一の実施の形態における二回目以降の会議のときの画像処理装置の処理手順を説明するためのフローチャートである。すなわち、図７のフローチャートは図４に対応する。
【００２７】
まず、ステップＳ１０１と同様に、デジカメ制御部１０３は、入力部１１を介したユーザからの入力に応じ、デジタルカメラ１４の撮影範囲を調整する（Ｓ１１１）。続いて、プロジェクタ制御部１０１は、画像管理部１０４を介して前回保存された画像データ（画像データＡ）をＲＡＭ１５２内に読み込み、当該画像データのホワイトボード２０への投影をプロジェクタ２０に実行させる（Ｓ１１２）。これによって、前回までの書き込み内容がホワイトボード２０に再現される。この際、切替制御部１０２は、切替部１３を制御してプロジェクタ１２のみを有効とする。
【００２８】
会議の進行に応じて前回までの書き込み内容が投影されているホワイトボード２０に対して新たな書き込みが行われる。その後、入力部１１を介して撮影指示が入力されると、デジカメ制御部１０３は、デジタルカメラ１４を制御してホワイトボード２０を撮影し、撮影された情報を画像データ（画像データＢ）として出力する（Ｓ１１３）。この際、切替制御部１０２は、切替部１３を制御してデジタルカメラ１４のみを有効とする。続いて、画像処理部１０５は、デジカメ制御部１０３より出力された画像データＢに対してステップＳ１０３と同様の補正処理を実行する（Ｓ１１４）。続いて、画像処理部１０５は、画像データＡと画像データＢとを合成し、新たな画像データ（画像データＣ）を生成する（Ｓ１１５）。続いて、画像管理部１０４は、合成により生成された画像データＣをファイルとしてＨＤＤ１５３に保存する（Ｓ１１６）。なお、ステップＳ１０２以降は、必要に応じて繰り返される（Ｓ１１７）。
【００２９】
続いて、ステップＳ１０１及びステップＳ１１１における撮影範囲の調整処理の一例について説明する。図８は、撮影範囲の調整処理の一例を説明するためのフローチャートである。
【００３０】
まず、デジカメ制御部１０３は、デジタルカメラ１４より入力される画像におけるホワイトボード領域を構成する頂点の点の中で、現在のデジタルカメラ１４の撮影範囲に最も近い頂点（以下「基準点」という。）を検出する（Ｓ１０１１）。
【００３１】
図９は、デジタルカメラより入力される画像におけるデジタルカメラの撮影範囲とホワイトボード領域とを説明するための図である。図９において、４つの頂点Ｐ１、Ｐ２、Ｐ３、及びＰ４によって形成される四角形（長方形）は、デジタルカメラ１４の撮影範囲１４Ａを示す。また、４つの頂点ｐ１、ｐ２、ｐ３、及びｐ４によって形成される四角形は、ホワイトボード領域２０Ａを示す。なお、図中において、ホワイトボード領域２０Ａが長方形でないのは、デジタルカメラ１４がホワイトボード２０に対して正対していない場合を考慮しているためである。
【００３２】
図９（Ａ）に示されるような画像が入力されている場合に、デジカメ制御部１０３は、ホワイトボード領域２０Ａの各頂点と、撮影範囲１４Ａの各辺との距離（ｌ１１、ｌ１２、ｌ２１、ｌ２２、ｌ３１、ｌ３２、ｌ４１、ｌ４２）を求め、それらの距離の中で最も小さい距離に係るホワイトボード領域２０Ａの頂点を、基準点として検出する。図９（Ａ）において、ｌ４１が最も小さいとすると、頂点ｐ４が基準点として検出される。なお、撮影範囲１４Ａの頂点Ｐ１を原点とすれば（以下においても、Ｐ１を原点として説明する。）ｌ４１の値は、ｙ４−ｙ０である。また、撮影範囲１４Ａを構成する４辺の中で、基準点に最も近接する辺を以下「近接辺」という。図９（Ａ）の例では、頂点Ｐ１とＰ２とを結ぶ辺（辺Ｐ１−Ｐ４）が近接辺に相当する。
【００３３】
続いて、デジカメ制御部１０３は、デジタルカメラ１４のズーム倍率を算出する（Ｓ１０１２）。ここでは、ホワイトボード領域２０Ａを拡大した場合、基準点が、近接辺に接する際の倍率をズーム倍率とする。このようにズーム倍率を規定する場合、図９（Ａ）において、ズーム倍率は、（ｙｓ−ｙ０）／（ｙｓ−ｙ４）として求められる。ここでｙｓは、辺Ｐ３−Ｐ４の中点である。
【００３４】
続いて、デジカメ制御部１０３は、算出されたズーム倍率に基づいて、デジタルカメラ１４の撮影範囲１４Ａを変更（ズーム）する（Ｓ１０１３）。図９（Ｂ）にズーム後の撮影範囲１４Ａが示されている。図９（Ｂ）では、基準点ｐ４が近接辺に接するようにホワイトボード領域２０Ａが拡大されている。すなわち、ホワイトボード領域２０Ａが、撮影範囲１４Ａをはみ出さない範囲で拡大されている。
【００３５】
なお、図９では、初期状態においてホワイトボード領域２０Ａが撮影範囲１４Ａに収まっている場合を例としたが、初期状態においてホワイトボード領域２０Ａが撮影範囲Ａよりはみ出している場合は、ホワイトボード領域２０Ａが撮影範囲Ａに収まるように縮小すればよい。すなわち、初期状態において、ホワイトボード領域２０Ａの各頂点と、撮影範囲１４Ａの各辺との距離の中で、最も大きい距離に係る頂点及び辺を基準点又は近接辺とし、当該基準点が当該近接辺に接するように縮小率を算出すればよい。
【００３６】
続いて、ステップＳ１０３及びＳ１１４における、デジタルカメラ１４がホワイトボード２０に正対していない場合の画像データの補正処理について説明する。図１０は、画像データの補正処理を説明するためのフローチャートである。また、図１１は、画像データの補正処理を説明するための模式図である。
【００３７】
まず、画像処理部１０５は、ホワイトボード２０が撮影された画像データにおいて、ホワイトボード２０の各頂点の位置を検出する（Ｓ１０３１）。図１１（Ａ）では、画像データＡにおいて、ホワイトボード２０の画像（ホワイトボード２０'）の頂点ｐ１、ｐ２、ｐ３、ｐ４が検出された例が示されている。画像データＡの各頂点及びホワイトボード２０'の各頂点の座標値は、例えば、画像データＡの頂点Ｐ１からの相対値とすればよい。
【００３８】
続いて、画像処理部１０５は、画像データＡの各頂点の座標値と、ホワイトボード２０'の各頂点の座標値とに基づいてマトリクス変換を行い、ホワイトボード２０'の歪みを補正する（Ｓ１０３２）。これによって、ホワイトボード２０'の歪みは、図１１（Ｂ）に示されるように補正される。
【００３９】
続いて、ステップＳ１１５における画像データの合成処理について説明する。図１２は、画像データの合成処理を説明するためのフローチャートである。
【００４０】
まず、画像処理部１０５は、前回の画像データ（画像データＡ）を画像管理部１０４を介してＨＤＤ１５３より取得する（Ｓ１１５１）。続いて、画像処理部１０５は、デジカメ制御部１０３より出力され、補正処理が施された追記部分の画像データ（画像データＢ）を取得する（Ｓ１１５２）。続いて、画像処理部１０５、画像データＡに対し画像データＢを上書きで合成する（Ｓ１１５３）。すなわち、画像データＢの画素値を優先させて、各画素について論理和を求める。
【００４１】
次に、第二の実施の形態について説明する。第二の実施の形態では、作業スケジュールの立案等、あらかじめ決まったフォーマットでホワイトボード２０への書き込みを行う場合の画像処理装置２０の利用形態について説明する。
【００４２】
図１３及び図１４は、第二の実施の形態の概要を説明するための図である。予め決まったフォーマットで書き込みを行う場合、まず、（Ａ）に示されるように、画像処理装置１０のプロジェクタ１２によって、当該フォーマットが記録されたが画像データＦがホワイトボード２０に投影される。画像データＦがホワイトボード２０に投影されることで、フォーマットｆ（ここでは、作業スケジュール表）がホワイトボード２０に投影される。この際、デジタルカメラ１４は無効状態とされる。なお、画像データＦは、予めＨＤＤ１５３に保存されている。
【００４３】
続いて、（Ｂ）に示されるように、会議の進行に応じて画像データＦが投影されているホワイトボード２０に対して書き込みｇがなされる。この際、デジタルカメラ１４は、無効状態とされる。
【００４４】
続いて、（Ｃ）に示されるように、プロジェクタ１２が無効状態とされ、デジタルカメラ１４によってホワイトボード２０が撮影される。撮影された画像データ（以下「画像データＧ」という。）は画像処理装置１０に保存される。ここで、プロジェクタ１２が無効状態とされた状態（すなわち、画像データＦが投影されていない状態）においてホワイトボード２０の撮影が行われるため、画像データＧには書き込みｇのみが記録される。
【００４５】
続いて、画像処理装置１０において、図１４に示されるような処理が実行される。すなわち、フォーマットｆが記録された画像データＦと、フォーマットｆに対する書き込みｇが記録された画像データＧとが合成され、画像データＨが生成される。したがって、画像データＨには、フォーマットｆと書き込みｇとが記録される。
【００４６】
このように、第二の実施の形態における画像処理装置１０によれば、書き込まれた内容のみが画像データとして撮影され、フォーマットが記録されていた画像データとの合成によって、ホワイトボード２０に表示されていた内容を示す画像データが生成される。したがって、投影された映像をそのまま撮影する場合に比べ、フォーマットをより鮮明に画像データに記録することができる。
【００４７】
なお、第二の実施の形態における画像処理装置１０の処理手順は、図７に示されるものと同様である。但し、第二の実施の形態では、前回までの画像データＡの代わりに、フォーマットが記録された画像データＦが用いられる。
【００４８】
次に、切替部１３について説明する。以降において説明する事項は、上記における第一及び第二の実施の形態に対して共通の事項である。
【００４９】
図１５は、切替部の第一の形態を説明するための図である。図１５の画像処理装置１０には、レンズ１６、ＣＣＤイメージセンサ１４１、切替部１３、液晶パネル１２１、及び光源１２２が示されている。レンズ１６は、プロジェクタ１２によって画像を投影すると共に、デジタルカメラ１４によって画像を撮影するために用いられるレンズである。すなわち、図１５の形態では、プロジェクタ１２及びデジタルカメラ１４によってレンズ１６が共用される。ＣＣＤイメージセンサ１４１は、デジタルカメラ１４のＣＣＤイメージセンサである。液晶パネル１２１及び光源１２２は、プロジェクタ１２の液晶パネル、光源である。
【００５０】
切替部１３は、ミラー部１３１及び軸部１３２より構成されている。ミラー部１３１は、軸部１３を境として両面ミラー１３１ａ及びハーフミラー１３１ｂより構成され、軸部１３を中心に回転可能なように設置されている。
【００５１】
また、図１５のホワイトボード２０において、ａは、プロジェクタ１２によって投影されている画像（以下「投影画像ａ」という。）を示し、ｂは、ホワイトボード２０への書き込み（以下「書き込みｂ」という。）を示す。
【００５２】
図１５（Ａ）は、プロジェクタ１２のみが有効な状態を示す。この場合、切替部１３は二つの状態をとり得る。一つは、ミラー部１３１が略水平な状態であり、もう一つは、ミラー部１３１が水平な状態に対して角度を持つ状態である。但し、後者の状態における角度は、光源１２２からの光はハーフミラー１３１ｂの透過面に照射される一方で、レンズ１６から入力される画像はハーフミラー１３１ｂの反射面によってＣＣＤイメージセンサ１４１に入力されないような角度である必要がある。ミラー部１３１が、このような状態となることにより、プロジェクタ１２からの投影画像ａは、ホワイトボード２０ａに投影される一方で、レンズ１６より入力される画像は、ＣＣＤイメージセンサ１４１に入力されない。したがって、プロジェクタ１２のみが有効となり、プロジェクタ１２からの投影画像ａは、ホワイトボード２０に投影される。すなわち、図７のステップＳ１１２において、切替制御部１０２は、（Ａ）の状態となるように切替部１３を制御する。
【００５３】
図１６（Ｂ）は、デジタルカメラ１４のみが有効な状態を示す。この場合、切替部１３のミラー部１３１は、光源１２２からの光は両面ミラー１３１ａに照射され、レンズ１６より入力される画像は両面ミラー１３１ａによって反射されてＣＣＤイメージセンサ１４１に入力されるような状態とされる。したがって、プロジェクタ１２は無効となり、デジタルカメラ１４は有効となる。すなわち、図６のステップＳ１０２や図７のステップＳ１１３（ホワイトボードの撮影時）において、切替制御部１０２は、（Ｂ）の状態となるように切替部１３を制御する。
【００５４】
なお、プロジェクタ１２及びデジタルカメラ１４の双方を有効としたい場合は、切替部１３を図１６（Ｃ）の状態とすればよい。（Ｃ）において、切替部１３のミラー部１３１は、光源１２２からの光はハーフミラー１３１ａの透過面に照射され、レンズ１６より入力される画像はハーミラー１３１ａの反射面によってＣＣＤイメージセンサ１４１に反射されてＣＣＤイメージセンサ１４１に入力されるような状態とされる。したがって、プロジェクタ１２及びデジタルカメラ１４の双方が有効となる。
【００５５】
図１５に示されるような切替部１３によれば、プロジェクタ１２及びデジタルカメラ１４によってレンズ１６が共用されるため、プロジェクタごと及びデジタルカメラ１４ごとにピント調整、位置合わせ調整等が不要となる。
【００５６】
次に、切替部１３の第二の形態について説明する。図１６は、切替部の第二の形態を説明するための図である。図１６中、図１５と同一部分には同一符号を付し、その説明は省略する。
【００５７】
図１６に示される画像処理装置１０では、プロジェクタ１２とデジタルカメラ１４とでレンズが独立して設けられている。すなわち、レンズ１６ａは、プロジェクタ１２のレンズであり、レンズ１６ｂは、デジタルカメラ１４のレンズである。プロジェクタ１２とデジタルカメラ１４とにおいてレンズが独立している構成を採用する場合、画像処理装置１０は、既存のデジタルカメラと既存のプロジェクタとを用いて組み立てることが可能となる。このようにレンズが独立している構成において、切替部１３は、例えば、スリット１３５によって構成されている。
【００５８】
図１７は、スリットの第一の例を示す図である。図１７では、回転式のスリット１３５ａをレンズ１６a及び１６ｂの正面側から見た例が図示されている。図１７に示されるように、スリット１３５ａは、２枚の羽によって構成され、その羽を回転させることにより遮蔽するレンズを切り替える。
【００５９】
図１８は、スリットの第二の例を示す図である。図１８では、スライド式のスリット１３５ｂをレンズ１６a及び１６ｂの正面方向から見た例が図示されている。図１８に示されるように、スリット１３５ｂは、レンズ大の二つの穴が形成されたバンドによって構成され、その穴の位置をスライドさせることにより遮蔽するレンズを切り替える。
【００６０】
図１７及び図１８において（Ａ）、（Ｂ）、（Ｃ）の状態は、それぞれ図１５における（Ａ）、（Ｂ）、（Ｃ）の状態に対応する。すなわち、図１７（Ａ）又は図１８（Ａ）では、スリット１３５ａ又１３５ｂによってレンズ１６ｂのみが遮蔽されている。したがって、プロジェクタ１２のみが有効となる。図１７（Ｂ）又は図１８（Ｂ）では、スリット１３５ａ又はスリット１３５ｂによってレンズ１６ａのみが遮蔽されていう。したがって、デジタルカメラ１４のみが有効となる。図１７（Ｃ）又は図１８（Ｃ）では、いずれのレンズも遮蔽されていない。したがって、プロジェクタ１２及びデジタルカメラ１４の双方が有効となる。
【００６１】
ところで、図１６に示されるようにプロジェクタ１２とデジタルカメラ１４とにおいてレンズが独立している場合、ホワイトボード２０に対するプロジェクタ１２の投影範囲と、デジタルカメラ１４の撮影範囲とが適切となるように調整される必要がある。
【００６２】
図１９は、プロジェクタの投影範囲とデジタルカメラの撮影範囲との調整について説明するための図である。
【００６３】
まず、図１９（Ａ）に示されるように、プロジェクタ１２によって、その投影範囲の四隅のうち少なくとも三隅を示すマーカｍ１、ｍ２、及びｍ３をホワイトボード２０に投影する。なお、図１９（Ａ）において、Ｐ１、Ｐ２、Ｐ３、及びＰ４の四つの頂点を有する四角形は、ホワイトボード２０上におけるデジタルカメラ１４の撮影範囲を示す。
【００６４】
このような状態において、デジタルカメラ１４によってホワイトボード２０を撮影し、撮影された画像に基づいて、図１９（Ｂ）に示されるように、Ｐ１とｍ１との距離、Ｐ２とｍ２との距離、及びＰ３とｍ３との距離がほぼ等しくなるように、プロジェクタ１２の投影範囲又はデジタルカメラ１４の撮影範囲を調整する。この調整は入力部１１を介したユーザによる手動によって行ってもよいし、プロジェクタ制御部１０１及びデジカメ制御部１０３の少なくともいずれか一方によって自動的に行ってもよい。
【００６５】
また、各マーカｍ１、ｍ２、ｍ３の色をそれぞれＲ（赤）、Ｇ（緑）、Ｂ（青）とし、デジタルカメラ１４に入力される各マーカの色に基づいて、デジタルカメラ１４の色調整（明るさや色味等の調整）を行ってもよい。
【００６６】
ところで、図３、図４、又は図１３では、ホワイトボード２０の正面方向に置かれた台の上に画像処理装置１０が設置されている例が示されているが、画像処理装置１０の設置場所は斯かる態様に限定されない。
【００６７】
図２０は、画像処理装置の設置態様の例を示す図である。図２０において、（Ａ）は、上記において示した例である。すなわち、画像処理装置１０は、ホワイトボード２０の正面側に置かれた台３０の上に設置されている。（Ｂ）は、画像処理装置１０が、ホワイトボード２０に設置されたアームに固定されている例を示す。（Ｃ）は、画像処理装置２０が、天井から吊り下げられている例を示す。（Ｄ）は、画像処理装置１０が、スクリーン状のホワイトボード２０の背面側に設置されている例を示す。（Ｄ）の場合、ホワイトボード２０の背面より投影及び撮影が行われる。
【００６８】
なお、本実施の形態では、画像の投影対象（投影面）及び撮影対象としてホワイトボードを例として説明したが、当該撮影対象等は、いわゆるホワイトボードに限定されない。プロジェクタによる画像の投影が可能であり、かつ、書き込みが可能な媒体であれば、所定のものに限定されない。
【００６９】
ところで、デジタルカメラ１４によって撮影され、ＨＤＤ１５３に保存されている画像データは、会議の内容が記録された貴重な資料である。したがって、当該資料が有効に利用されるため、例えば、ＰＣ等のコンピュータにインストールされたアプリケーションによって、当該画像データ等を操作可能としてもよい。
【００７０】
図２１は、画像処理装置に保存された画像データを利用するためのシステムを説明するための図である。
【００７１】
図２１において、画像処理装置１０は、ＬＡＮ等のネットワーク４０（有線又は無線の別は問わない。）を介してＰＣ等のコンピュータ５０に接続されている。なお、ネットワーク４０は、ＵＳＢケーブルであってもよい。コンピュータ５０にはアプリケーションがインストールされている。図中において、画面５００は、当該アプリケーションがコンピュータ５０に表示させる画面である。画面５００は、ファイル一覧領域５１０、プレビュー領域５２０、及び詳細表示領域５３０等より構成される。ファイル一覧領域５１０には、画像処理装置１０のＨＤＤ１５３に保存されている画像データのファイルの一覧が表示される。プレビュー領域５２０には、ファイル一覧領域５１０において選択された画像データのプレビュー画像が表示される。詳細表示領域５３０では、画像データに関連付けて保存しておきたい詳細情報（会議の内容等に関する情報）の入力や、既に関連付けられている詳細情報の表示が可能である。
【００７２】
以上、本発明の実施例について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【図面の簡単な説明】
【００７３】
【図１】本発明の実施の形態における画像処理装置のハードウェア構成例を示す図である。
【図２】本発明の実施の形態における画像処理装置の機能構成例を示す図である。
【図３】第一の実施の形態の概要を説明するための図である。
【図４】第一の実施の形態の概要を説明するための図である。
【図５】第一の実施の形態の概要を説明するための図である。
【図６】第一の実施の形態における最初の会議のときの画像処理装置の処理手順を説明するためのフローチャートである。
【図７】第一の実施の形態における二回目以降の会議のときの画像処理装置の処理手順を説明するためのフローチャートである。
【図８】撮影範囲の調整処理の一例を説明するためのフローチャートである。
【図９】デジタルカメラより入力される画像におけるデジタルカメラの撮影範囲とホワイトボード領域とを説明するための図である。
【図１０】画像データの補正処理を説明するためのフローチャートである。
【図１１】画像データの補正処理を説明するための模式図である。
【図１２】画像データの合成処理を説明するためのフローチャートである。
【図１３】第二の実施の形態の概要を説明するための図である。
【図１４】第二の実施の形態の概要を説明するための図である。
【図１５】切替部の第一の形態を説明するための図である。
【図１６】切替部の第二の形態を説明するための図である。
【図１７】スリットの第一の例を示す図である。
【図１８】スリットの第二の例を示す図である。
【図１９】プロジェクタの投影範囲とデジタルカメラの撮影範囲との調整について説明するための図である。
【図２０】画像処理装置の設置態様の例を示す図である。
【図２１】画像処理装置に保存された画像データを利用するためのシステムを説明するための図である。
【符号の説明】
【００７４】
１０ 画像処理装置
１１ 入力部
１２ プロジェクタ
１３ 切替部
１４ デジタルカメラ
１５ コントローラ
１６、１６ａ、１６ｂ レンズ
４０ ネットワーク
５０ コンピュータ
１０１ プロジェクタ制御部
１０２ 切替制御部
１０３ デジカメ制御部
１０４ 画像管理部
１０５ 画像処理部
１２１ 液晶パネル
１２２ 光源
１３１ ミラー部
１３２ 軸部
１３１ａ 両面ミラー
１３１ｂ ハーフミラー
１３５、１３５ａ、１３５ｂ スリット
１４１ ＣＣＤイメージセンサ
１５１ ＣＰＵ
１５２ ＲＡＭ
１５３ ＨＤＤ
１５４ ＲＯＭ
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
会議やミーティング等において、議事内容を記録するためにホワイトボードが利用されることは多々ある。ホワイトボードに議事内容を書き込むことで、会議の参加メンバの各々は、自分でメモをとらなくても会議中におけるこれまでの議事内容を把握することができ、会議を円滑に進めることができる。また、近年では、書き込まれた内容を印刷可能なホワイトボードも市販されている。斯かるホワイトボードによれば、ホワイトボードに書き込まれた内容をノート等に書き取る必要はない。
【０００３】
ところで、オフィスにおけるホワイトボードは共用されるため、会議が終了したら、次に利用する人のために書き込まれた内容を消しておくことが一般的に要求される。また、情報漏洩の防止の観点からも書き込まれた内容が放置されたままであるのは好ましくない。
【特許文献１】特開２００４−２３３５８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、会議が途中で終了してしまった場合、会議終了時にホワイトボードに書き込まれた内容が消されてしまっては、次回にその続きを議論する際に非常に不便であるという問題がある。例えば、前回書き込まれた内容を再度ホワイトボードに書き直したり、ホワイトボードより印刷された前回の議事内容を参照したりして議論を進めなければならない。
【０００５】
本発明は、上記の点に鑑みてなされたものであって、会議の円滑な進行を支援することのできる画像処理装置、画像処理方法及びプログラムの提供を目的とする。
【課題を解決するための手段】
【０００６】
そこで上記課題を解決するため、本発明は、画像データを保存する保存手段と、前記保存手段に保存されている画像データを投影する投影手段と、画像データを撮影し、前記保存手段に保存する撮影手段と、前記撮影手段が前記投影手段による投影面を撮影するときに該投影手段による投影を無効化する無効化手段と、前記投影手段によって投影された画像データと前記撮影手段によって撮影された画像データとを合成し、合成された画像データを前記保存手段に保存する合成手段とを有することを特徴とする。
【０００７】
このような画層処理装置では、会議の円滑な進行を支援することができる。
【発明の効果】
【０００８】
本発明によれば、会議の円滑な進行を支援することのできる画像処理装置、画像処理方法及びプログラムを提供することができる。
【発明を実施するための最良の形態】
【０００９】
以下、図面に基づいて本発明の実施の形態を説明する。図１は、本発明の実施の形態における画像処理装置のハードウェア構成例を示す図である。図１において、画像処理装置１０は、入力部１１、プロジェクタ１２、切替部１３、デジタルカメラ１４、及びコントローラ１５等を備える。
【００１０】
入力部１１は、ユーザからの指示を受け付けるためのハードウェアであり、例えばボタン、液晶パネル等によって構成される。プロジェクタ１２は、ホワイトボード等の投影面に画像データを拡大して投影する。デジタルカメラ１４は、プロジェクタ１２の投影面を撮影し、画像データとして出力する。切替部１３は、プロジェクタ１２による投影面に対する画像データの投影と、デジタルカメラ１４による当該投影面の撮影とが排他的に行われるようにするためのハードウェアである。コントローラ１５は、プログラムにしたがって、プロジェクタ１２、切替部１３、及びデジタルカメラ１４等を制御するためのハードウェアであり、ＣＰＵ１５１、ＲＡＭ１５２、ＨＤＤ（Hard Disk Drive）１５３、及びＲＯＭ１５４等より構成される。
【００１１】
ＲＯＭ１５４には、プログラムが記録されている。但し、プログラムはＨＤＤ１５３に記録されていてもよい。ＲＡＭ１５２には、プログラムが実行される際にＲＯＭ１５４より当該プログラムがロードされる。ＣＰＵ１５１は、ＲＡＭ１５２にロードされたプログラムに従って、各種の処理を実行する。ＨＤＤ１５３は、プロジェクタ１２が投影する画像データや、デジタルカメラ１４によって撮影された画像データを保存する。
【００１２】
図２は、本発明の実施の形態における画像処理装置の機能構成例を示す図である。図２において、画像処理装置１０は、プロジェクタ制御部１０１、切替制御部１０２、デジカメ制御部１０３、画像管理部１０４、及び画像処理部１０５等より構成される。プロジェクタ制御部１０１、切替制御部１０２、デジカメ制御部１０３は、それぞれプロジェクタ１２、切替部１３、又はデジタルカメラ１４の動作を制御する。画像管理部１０４は、プロジェクタ１２が投影する画像データや、デジタルカメラ１４によって撮影される画像データを管理する。画像処理部１０５は、デジタルカメラ１４によって撮影される画像データに対して補正処理等の画像処理を実行する。
【００１３】
図３、図４、及び図５は、第一の実施の形態の概要を説明するための図である。第一の実施の形態では、会議が複数回にわたる場合に、前回（又は過去の）の会議においてホワイトボードに書き込まれた内容が、画像処理装置１０によって有効利用される例について説明する。
【００１４】
図３は、初回の会議の様子を示す。（Ａ）に示されるように、会議の進行に応じてホワイトボード２０に議事内容の書き込みａがなされる。この際、プロジェクタ１２及びデジタルカメラ１４の双方は無効状態とされる。無効状態とは、動作が停止している状態、又は動作はしていても切替部１３によってその機能が発揮されない（有効とならない）状態をいう。
【００１５】
続いて、（Ｂ）に示されるように、画像処理装置１０のデジタルカメラ１４によってホワイトボード２０が撮影され、その画像データ（以下「画像データＡ」という。）が画像処理装置１０に保存される。なお、（Ｂ）においてもプロジェクタ１２は無効状態とされる。このように、初回の会議では、ホワイトボード２０に書き込まれた内容が画像データＡとして画像処理装置１０に取り込まれる。
【００１６】
図４は、二回目の会議の様子を示す。二回目の会議では、まず、（Ｃ）に示されるように、画像処理装置１０のプロジェクタ１２によって、前回の記事内容が記録された画像データＡがホワイトボード２０に投影される。画像データＡがホワイトボード２０に投影されることで、前回の会議の際にホワイトボード２０に書き込まれた内容（書き込みａ）がホワイトボード２０に再現される。なお、この際、デジタルカメラ１４は無効状態とされる。
【００１７】
続いて、（Ｄ）に示されるように、画像データＡが投影されているホワイトボード２０に対して、会議の進行に応じて新たな書き込みｂがなされる。この際、デジタルカメラ１４は、無効状態とされる。
【００１８】
続いて、（Ｅ）に示されるように、プロジェクタ１２が無効状態とされ、デジタルカメラ１４によってホワイトボード２０が撮影される。撮影された画像データ（以下「画像データＢ」という。）は画像処理装置１０に保存される。ここで、プロジェクタ１２が無効状態とされた状態（すなわち、画像データＡが投影されていない状態）においてホワイトボード２０の撮影が行われるため、画像データＢには、書き込みｂのみが記録される。
【００１９】
続いて、画像処理装置１０において、図５に示されるような処理が実行される。すなわち、一回目の会議における書き込みａが記録された画像データＡと、二回目の会議における書き込みｂが記録された画像データＢとが合成され、画像データＣが生成される。画像データＣは、二回目の会議において、ホワイトボード２０に表示されていた内容が記録された画像データとなる。なお、三回目以降については、新たに生成された画像データ（ここでは、画像データＣ）をホワイトボード２０への投影対象とし、二回目における会議の際と同様の動作を画像処理装置１０に実行させればよい。
【００２０】
このように、第一の実施の形態における画像処理装置１０によれば、ホワイトボード２０に書き込まれた内容がデジタルカメラ１４によって撮影され画像データとして保存される。保存された画像データは、次回の会議の際にプロジェクタ１２によってホワイトボード２０に投影される。したがって、前回の会議の際にホワイトボード２０に書き込まれた内容を、次回の会議の際にホワイトボード２０上に容易に再現することができる。
【００２１】
また、二回目以降の会議の際では、新たに書き込まれた内容のみが画像データとして撮影され、前回の画像データとの合成によって、今回のホワイトボード２０に表示されていた内容を示す画像データが生成される。したがって、投影された映像をそのまま撮影する場合に比べ、前回までの書き込み内容をより鮮明に画像データに記録することができる。
【００２２】
以下、上記の内容を実現するための画像処理装置１０の処理について説明する。図６は、第一の実施の形態における最初の会議のときの画像処理装置の処理手順を説明するためのフローチャートである。すなわち、図６のフローチャートは図３に対応する。
【００２３】
まず、デジカメ制御部１０３は、入力部１１を介したユーザからの入力に応じ、デジタルカメラ１４の撮影範囲を調整する（Ｓ１０１）。すなわち、デジタルカメラ１４の撮影範囲にホワイトボード２０が適切に収まるようにするための処理である。この際、切替制御部１０２は、切替部１３を制御して少なくともデジタルカメラ１４は有効とする。
【００２４】
会議の進行に応じてホワイトボード２０に書き込みが行われ、入力部１１を介して撮影指示が入力されると、デジカメ制御部１０３は、デジタルカメラ１４を制御してホワイトボード２０を撮影し、撮影された情報を画像データとして出力する（Ｓ１０２）。この際、切替制御部１０２は、切替部１３を制御してデジタルカメラ１４のみを有効とする。
【００２５】
続いて、画像処理部１０５は、デジカメ制御部１０３より出力された画像データに対して補正処理を実行する（Ｓ１０３）。この補正処理は、主に、デジタルカメラ１４が、ホワイトボード２０に正対していない場合の画像の歪みを補正するための処理である。続いて、画像管理部１０４は、必要に応じて補正された画像データをファイルとしてＨＤＤ１５３に保存する（Ｓ１０４）。なお、ステップＳ１０２以降は、必要に応じて繰り返される（Ｓ１０５）。例えば、ホワイトボード２０複数枚分の書き込みが行われるような場合である。
【００２６】
図７は、第一の実施の形態における二回目以降の会議のときの画像処理装置の処理手順を説明するためのフローチャートである。すなわち、図７のフローチャートは図４に対応する。
【００２７】
まず、ステップＳ１０１と同様に、デジカメ制御部１０３は、入力部１１を介したユーザからの入力に応じ、デジタルカメラ１４の撮影範囲を調整する（Ｓ１１１）。続いて、プロジェクタ制御部１０１は、画像管理部１０４を介して前回保存された画像データ（画像データＡ）をＲＡＭ１５２内に読み込み、当該画像データのホワイトボード２０への投影をプロジェクタ２０に実行させる（Ｓ１１２）。これによって、前回までの書き込み内容がホワイトボード２０に再現される。この際、切替制御部１０２は、切替部１３を制御してプロジェクタ１２のみを有効とする。
【００２８】
会議の進行に応じて前回までの書き込み内容が投影されているホワイトボード２０に対して新たな書き込みが行われる。その後、入力部１１を介して撮影指示が入力されると、デジカメ制御部１０３は、デジタルカメラ１４を制御してホワイトボード２０を撮影し、撮影された情報を画像データ（画像データＢ）として出力する（Ｓ１１３）。この際、切替制御部１０２は、切替部１３を制御してデジタルカメラ１４のみを有効とする。続いて、画像処理部１０５は、デジカメ制御部１０３より出力された画像データＢに対してステップＳ１０３と同様の補正処理を実行する（Ｓ１１４）。続いて、画像処理部１０５は、画像データＡと画像データＢとを合成し、新たな画像データ（画像データＣ）を生成する（Ｓ１１５）。続いて、画像管理部１０４は、合成により生成された画像データＣをファイルとしてＨＤＤ１５３に保存する（Ｓ１１６）。なお、ステップＳ１０２以降は、必要に応じて繰り返される（Ｓ１１７）。
【００２９】
続いて、ステップＳ１０１及びステップＳ１１１における撮影範囲の調整処理の一例について説明する。図８は、撮影範囲の調整処理の一例を説明するためのフローチャートである。
【００３０】
まず、デジカメ制御部１０３は、デジタルカメラ１４より入力される画像におけるホワイトボード領域を構成する頂点の点の中で、現在のデジタルカメラ１４の撮影範囲に最も近い頂点（以下「基準点」という。）を検出する（Ｓ１０１１）。
【００３１】
図９は、デジタルカメラより入力される画像におけるデジタルカメラの撮影範囲とホワイトボード領域とを説明するための図である。図９において、４つの頂点Ｐ１、Ｐ２、Ｐ３、及びＰ４によって形成される四角形（長方形）は、デジタルカメラ１４の撮影範囲１４Ａを示す。また、４つの頂点ｐ１、ｐ２、ｐ３、及びｐ４によって形成される四角形は、ホワイトボード領域２０Ａを示す。なお、図中において、ホワイトボード領域２０Ａが長方形でないのは、デジタルカメラ１４がホワイトボード２０に対して正対していない場合を考慮しているためである。
【００３２】
図９（Ａ）に示されるような画像が入力されている場合に、デジカメ制御部１０３は、ホワイトボード領域２０Ａの各頂点と、撮影範囲１４Ａの各辺との距離（ｌ１１、ｌ１２、ｌ２１、ｌ２２、ｌ３１、ｌ３２、ｌ４１、ｌ４２）を求め、それらの距離の中で最も小さい距離に係るホワイトボード領域２０Ａの頂点を、基準点として検出する。図９（Ａ）において、ｌ４１が最も小さいとすると、頂点ｐ４が基準点として検出される。なお、撮影範囲１４Ａの頂点Ｐ１を原点とすれば（以下においても、Ｐ１を原点として説明する。）ｌ４１の値は、ｙ４−ｙ０である。また、撮影範囲１４Ａを構成する４辺の中で、基準点に最も近接する辺を以下「近接辺」という。図９（Ａ）の例では、頂点Ｐ１とＰ２とを結ぶ辺（辺Ｐ１−Ｐ４）が近接辺に相当する。
【００３３】
続いて、デジカメ制御部１０３は、デジタルカメラ１４のズーム倍率を算出する（Ｓ１０１２）。ここでは、ホワイトボード領域２０Ａを拡大した場合、基準点が、近接辺に接する際の倍率をズーム倍率とする。このようにズーム倍率を規定する場合、図９（Ａ）において、ズーム倍率は、（ｙｓ−ｙ０）／（ｙｓ−ｙ４）として求められる。ここでｙｓは、辺Ｐ３−Ｐ４の中点である。
【００３４】
続いて、デジカメ制御部１０３は、算出されたズーム倍率に基づいて、デジタルカメラ１４の撮影範囲１４Ａを変更（ズーム）する（Ｓ１０１３）。図９（Ｂ）にズーム後の撮影範囲１４Ａが示されている。図９（Ｂ）では、基準点ｐ４が近接辺に接するようにホワイトボード領域２０Ａが拡大されている。すなわち、ホワイトボード領域２０Ａが、撮影範囲１４Ａをはみ出さない範囲で拡大されている。
【００３５】
なお、図９では、初期状態においてホワイトボード領域２０Ａが撮影範囲１４Ａに収まっている場合を例としたが、初期状態においてホワイトボード領域２０Ａが撮影範囲Ａよりはみ出している場合は、ホワイトボード領域２０Ａが撮影範囲Ａに収まるように縮小すればよい。すなわち、初期状態において、ホワイトボード領域２０Ａの各頂点と、撮影範囲１４Ａの各辺との距離の中で、最も大きい距離に係る頂点及び辺を基準点又は近接辺とし、当該基準点が当該近接辺に接するように縮小率を算出すればよい。
【００３６】
続いて、ステップＳ１０３及びＳ１１４における、デジタルカメラ１４がホワイトボード２０に正対していない場合の画像データの補正処理について説明する。図１０は、画像データの補正処理を説明するためのフローチャートである。また、図１１は、画像データの補正処理を説明するための模式図である。
【００３７】
まず、画像処理部１０５は、ホワイトボード２０が撮影された画像データにおいて、ホワイトボード２０の各頂点の位置を検出する（Ｓ１０３１）。図１１（Ａ）では、画像データＡにおいて、ホワイトボード２０の画像（ホワイトボード２０'）の頂点ｐ１、ｐ２、ｐ３、ｐ４が検出された例が示されている。画像データＡの各頂点及びホワイトボード２０'の各頂点の座標値は、例えば、画像データＡの頂点Ｐ１からの相対値とすればよい。
【００３８】
続いて、画像処理部１０５は、画像データＡの各頂点の座標値と、ホワイトボード２０'の各頂点の座標値とに基づいてマトリクス変換を行い、ホワイトボード２０'の歪みを補正する（Ｓ１０３２）。これによって、ホワイトボード２０'の歪みは、図１１（Ｂ）に示されるように補正される。
【００３９】
続いて、ステップＳ１１５における画像データの合成処理について説明する。図１２は、画像データの合成処理を説明するためのフローチャートである。
【００４０】
まず、画像処理部１０５は、前回の画像データ（画像データＡ）を画像管理部１０４を介してＨＤＤ１５３より取得する（Ｓ１１５１）。続いて、画像処理部１０５は、デジカメ制御部１０３より出力され、補正処理が施された追記部分の画像データ（画像データＢ）を取得する（Ｓ１１５２）。続いて、画像処理部１０５、画像データＡに対し画像データＢを上書きで合成する（Ｓ１１５３）。すなわち、画像データＢの画素値を優先させて、各画素について論理和を求める。
【００４１】
次に、第二の実施の形態について説明する。第二の実施の形態では、作業スケジュールの立案等、あらかじめ決まったフォーマットでホワイトボード２０への書き込みを行う場合の画像処理装置２０の利用形態について説明する。
【００４２】
図１３及び図１４は、第二の実施の形態の概要を説明するための図である。予め決まったフォーマットで書き込みを行う場合、まず、（Ａ）に示されるように、画像処理装置１０のプロジェクタ１２によって、当該フォーマットが記録されたが画像データＦがホワイトボード２０に投影される。画像データＦがホワイトボード２０に投影されることで、フォーマットｆ（ここでは、作業スケジュール表）がホワイトボード２０に投影される。この際、デジタルカメラ１４は無効状態とされる。なお、画像データＦは、予めＨＤＤ１５３に保存されている。
【００４３】
続いて、（Ｂ）に示されるように、会議の進行に応じて画像データＦが投影されているホワイトボード２０に対して書き込みｇがなされる。この際、デジタルカメラ１４は、無効状態とされる。
【００４４】
続いて、（Ｃ）に示されるように、プロジェクタ１２が無効状態とされ、デジタルカメラ１４によってホワイトボード２０が撮影される。撮影された画像データ（以下「画像データＧ」という。）は画像処理装置１０に保存される。ここで、プロジェクタ１２が無効状態とされた状態（すなわち、画像データＦが投影されていない状態）においてホワイトボード２０の撮影が行われるため、画像データＧには書き込みｇのみが記録される。
【００４５】
続いて、画像処理装置１０において、図１４に示されるような処理が実行される。すなわち、フォーマットｆが記録された画像データＦと、フォーマットｆに対する書き込みｇが記録された画像データＧとが合成され、画像データＨが生成される。したがって、画像データＨには、フォーマットｆと書き込みｇとが記録される。
【００４６】
このように、第二の実施の形態における画像処理装置１０によれば、書き込まれた内容のみが画像データとして撮影され、フォーマットが記録されていた画像データとの合成によって、ホワイトボード２０に表示されていた内容を示す画像データが生成される。したがって、投影された映像をそのまま撮影する場合に比べ、フォーマットをより鮮明に画像データに記録することができる。
【００４７】
なお、第二の実施の形態における画像処理装置１０の処理手順は、図７に示されるものと同様である。但し、第二の実施の形態では、前回までの画像データＡの代わりに、フォーマットが記録された画像データＦが用いられる。
【００４８】
次に、切替部１３について説明する。以降において説明する事項は、上記における第一及び第二の実施の形態に対して共通の事項である。
【００４９】
図１５は、切替部の第一の形態を説明するための図である。図１５の画像処理装置１０には、レンズ１６、ＣＣＤイメージセンサ１４１、切替部１３、液晶パネル１２１、及び光源１２２が示されている。レンズ１６は、プロジェクタ１２によって画像を投影すると共に、デジタルカメラ１４によって画像を撮影するために用いられるレンズである。すなわち、図１５の形態では、プロジェクタ１２及びデジタルカメラ１４によってレンズ１６が共用される。ＣＣＤイメージセンサ１４１は、デジタルカメラ１４のＣＣＤイメージセンサである。液晶パネル１２１及び光源１２２は、プロジェクタ１２の液晶パネル、光源である。
【００５０】
切替部１３は、ミラー部１３１及び軸部１３２より構成されている。ミラー部１３１は、軸部１３を境として両面ミラー１３１ａ及びハーフミラー１３１ｂより構成され、軸部１３を中心に回転可能なように設置されている。
【００５１】
また、図１５のホワイトボード２０において、ａは、プロジェクタ１２によって投影されている画像（以下「投影画像ａ」という。）を示し、ｂは、ホワイトボード２０への書き込み（以下「書き込みｂ」という。）を示す。
【００５２】
図１５（Ａ）は、プロジェクタ１２のみが有効な状態を示す。この場合、切替部１３は二つの状態をとり得る。一つは、ミラー部１３１が略水平な状態であり、もう一つは、ミラー部１３１が水平な状態に対して角度を持つ状態である。但し、後者の状態における角度は、光源１２２からの光はハーフミラー１３１ｂの透過面に照射される一方で、レンズ１６から入力される画像はハーフミラー１３１ｂの反射面によってＣＣＤイメージセンサ１４１に入力されないような角度である必要がある。ミラー部１３１が、このような状態となることにより、プロジェクタ１２からの投影画像ａは、ホワイトボード２０ａに投影される一方で、レンズ１６より入力される画像は、ＣＣＤイメージセンサ１４１に入力されない。したがって、プロジェクタ１２のみが有効となり、プロジェクタ１２からの投影画像ａは、ホワイトボード２０に投影される。すなわち、図７のステップＳ１１２において、切替制御部１０２は、（Ａ）の状態となるように切替部１３を制御する。
【００５３】
図１６（Ｂ）は、デジタルカメラ１４のみが有効な状態を示す。この場合、切替部１３のミラー部１３１は、光源１２２からの光は両面ミラー１３１ａに照射され、レンズ１６より入力される画像は両面ミラー１３１ａによって反射されてＣＣＤイメージセンサ１４１に入力されるような状態とされる。したがって、プロジェクタ１２は無効となり、デジタルカメラ１４は有効となる。すなわち、図６のステップＳ１０２や図７のステップＳ１１３（ホワイトボードの撮影時）において、切替制御部１０２は、（Ｂ）の状態となるように切替部１３を制御する。
【００５４】
なお、プロジェクタ１２及びデジタルカメラ１４の双方を有効としたい場合は、切替部１３を図１６（Ｃ）の状態とすればよい。（Ｃ）において、切替部１３のミラー部１３１は、光源１２２からの光はハーフミラー１３１ａの透過面に照射され、レンズ１６より入力される画像はハーミラー１３１ａの反射面によってＣＣＤイメージセンサ１４１に反射されてＣＣＤイメージセンサ１４１に入力されるような状態とされる。したがって、プロジェクタ１２及びデジタルカメラ１４の双方が有効となる。
【００５５】
図１５に示されるような切替部１３によれば、プロジェクタ１２及びデジタルカメラ１４によってレンズ１６が共用されるため、プロジェクタごと及びデジタルカメラ１４ごとにピント調整、位置合わせ調整等が不要となる。
【００５６】
次に、切替部１３の第二の形態について説明する。図１６は、切替部の第二の形態を説明するための図である。図１６中、図１５と同一部分には同一符号を付し、その説明は省略する。
【００５７】
図１６に示される画像処理装置１０では、プロジェクタ１２とデジタルカメラ１４とでレンズが独立して設けられている。すなわち、レンズ１６ａは、プロジェクタ１２のレンズであり、レンズ１６ｂは、デジタルカメラ１４のレンズである。プロジェクタ１２とデジタルカメラ１４とにおいてレンズが独立している構成を採用する場合、画像処理装置１０は、既存のデジタルカメラと既存のプロジェクタとを用いて組み立てることが可能となる。このようにレンズが独立している構成において、切替部１３は、例えば、スリット１３５によって構成されている。
【００５８】
図１７は、スリットの第一の例を示す図である。図１７では、回転式のスリット１３５ａをレンズ１６a及び１６ｂの正面側から見た例が図示されている。図１７に示されるように、スリット１３５ａは、２枚の羽によって構成され、その羽を回転させることにより遮蔽するレンズを切り替える。
【００５９】
図１８は、スリットの第二の例を示す図である。図１８では、スライド式のスリット１３５ｂをレンズ１６a及び１６ｂの正面方向から見た例が図示されている。図１８に示されるように、スリット１３５ｂは、レンズ大の二つの穴が形成されたバンドによって構成され、その穴の位置をスライドさせることにより遮蔽するレンズを切り替える。
【００６０】
図１７及び図１８において（Ａ）、（Ｂ）、（Ｃ）の状態は、それぞれ図１５における（Ａ）、（Ｂ）、（Ｃ）の状態に対応する。すなわち、図１７（Ａ）又は図１８（Ａ）では、スリット１３５ａ又１３５ｂによってレンズ１６ｂのみが遮蔽されている。したがって、プロジェクタ１２のみが有効となる。図１７（Ｂ）又は図１８（Ｂ）では、スリット１３５ａ又はスリット１３５ｂによってレンズ１６ａのみが遮蔽されていう。したがって、デジタルカメラ１４のみが有効となる。図１７（Ｃ）又は図１８（Ｃ）では、いずれのレンズも遮蔽されていない。したがって、プロジェクタ１２及びデジタルカメラ１４の双方が有効となる。
【００６１】
ところで、図１６に示されるようにプロジェクタ１２とデジタルカメラ１４とにおいてレンズが独立している場合、ホワイトボード２０に対するプロジェクタ１２の投影範囲と、デジタルカメラ１４の撮影範囲とが適切となるように調整される必要がある。
【００６２】
図１９は、プロジェクタの投影範囲とデジタルカメラの撮影範囲との調整について説明するための図である。
【００６３】
まず、図１９（Ａ）に示されるように、プロジェクタ１２によって、その投影範囲の四隅のうち少なくとも三隅を示すマーカｍ１、ｍ２、及びｍ３をホワイトボード２０に投影する。なお、図１９（Ａ）において、Ｐ１、Ｐ２、Ｐ３、及びＰ４の四つの頂点を有する四角形は、ホワイトボード２０上におけるデジタルカメラ１４の撮影範囲を示す。
【００６４】
このような状態において、デジタルカメラ１４によってホワイトボード２０を撮影し、撮影された画像に基づいて、図１９（Ｂ）に示されるように、Ｐ１とｍ１との距離、Ｐ２とｍ２との距離、及びＰ３とｍ３との距離がほぼ等しくなるように、プロジェクタ１２の投影範囲又はデジタルカメラ１４の撮影範囲を調整する。この調整は入力部１１を介したユーザによる手動によって行ってもよいし、プロジェクタ制御部１０１及びデジカメ制御部１０３の少なくともいずれか一方によって自動的に行ってもよい。
【００６５】
また、各マーカｍ１、ｍ２、ｍ３の色をそれぞれＲ（赤）、Ｇ（緑）、Ｂ（青）とし、デジタルカメラ１４に入力される各マーカの色に基づいて、デジタルカメラ１４の色調整（明るさや色味等の調整）を行ってもよい。
【００６６】
ところで、図３、図４、又は図１３では、ホワイトボード２０の正面方向に置かれた台の上に画像処理装置１０が設置されている例が示されているが、画像処理装置１０の設置場所は斯かる態様に限定されない。
【００６７】
図２０は、画像処理装置の設置態様の例を示す図である。図２０において、（Ａ）は、上記において示した例である。すなわち、画像処理装置１０は、ホワイトボード２０の正面側に置かれた台３０の上に設置されている。（Ｂ）は、画像処理装置１０が、ホワイトボード２０に設置されたアームに固定されている例を示す。（Ｃ）は、画像処理装置２０が、天井から吊り下げられている例を示す。（Ｄ）は、画像処理装置１０が、スクリーン状のホワイトボード２０の背面側に設置されている例を示す。（Ｄ）の場合、ホワイトボード２０の背面より投影及び撮影が行われる。
【００６８】
なお、本実施の形態では、画像の投影対象（投影面）及び撮影対象としてホワイトボードを例として説明したが、当該撮影対象等は、いわゆるホワイトボードに限定されない。プロジェクタによる画像の投影が可能であり、かつ、書き込みが可能な媒体であれば、所定のものに限定されない。
【００６９】
ところで、デジタルカメラ１４によって撮影され、ＨＤＤ１５３に保存されている画像データは、会議の内容が記録された貴重な資料である。したがって、当該資料が有効に利用されるため、例えば、ＰＣ等のコンピュータにインストールされたアプリケーションによって、当該画像データ等を操作可能としてもよい。
【００７０】
図２１は、画像処理装置に保存された画像データを利用するためのシステムを説明するための図である。
【００７１】
図２１において、画像処理装置１０は、ＬＡＮ等のネットワーク４０（有線又は無線の別は問わない。）を介してＰＣ等のコンピュータ５０に接続されている。なお、ネットワーク４０は、ＵＳＢケーブルであってもよい。コンピュータ５０にはアプリケーションがインストールされている。図中において、画面５００は、当該アプリケーションがコンピュータ５０に表示させる画面である。画面５００は、ファイル一覧領域５１０、プレビュー領域５２０、及び詳細表示領域５３０等より構成される。ファイル一覧領域５１０には、画像処理装置１０のＨＤＤ１５３に保存されている画像データのファイルの一覧が表示される。プレビュー領域５２０には、ファイル一覧領域５１０において選択された画像データのプレビュー画像が表示される。詳細表示領域５３０では、画像データに関連付けて保存しておきたい詳細情報（会議の内容等に関する情報）の入力や、既に関連付けられている詳細情報の表示が可能である。
【００７２】
以上、本発明の実施例について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【図面の簡単な説明】
【００７３】
【図１】本発明の実施の形態における画像処理装置のハードウェア構成例を示す図である。
【図２】本発明の実施の形態における画像処理装置の機能構成例を示す図である。
【図３】第一の実施の形態の概要を説明するための図である。
【図４】第一の実施の形態の概要を説明するための図である。
【図５】第一の実施の形態の概要を説明するための図である。
【図６】第一の実施の形態における最初の会議のときの画像処理装置の処理手順を説明するためのフローチャートである。
【図７】第一の実施の形態における二回目以降の会議のときの画像処理装置の処理手順を説明するためのフローチャートである。
【図８】撮影範囲の調整処理の一例を説明するためのフローチャートである。
【図９】デジタルカメラより入力される画像におけるデジタルカメラの撮影範囲とホワイトボード領域とを説明するための図である。
【図１０】画像データの補正処理を説明するためのフローチャートである。
【図１１】画像データの補正処理を説明するための模式図である。
【図１２】画像データの合成処理を説明するためのフローチャートである。
【図１３】第二の実施の形態の概要を説明するための図である。
【図１４】第二の実施の形態の概要を説明するための図である。
【図１５】切替部の第一の形態を説明するための図である。
【図１６】切替部の第二の形態を説明するための図である。
【図１７】スリットの第一の例を示す図である。
【図１８】スリットの第二の例を示す図である。
【図１９】プロジェクタの投影範囲とデジタルカメラの撮影範囲との調整について説明するための図である。
【図２０】画像処理装置の設置態様の例を示す図である。
【図２１】画像処理装置に保存された画像データを利用するためのシステムを説明するための図である。
【符号の説明】
【００７４】
１０ 画像処理装置
１１ 入力部
１２ プロジェクタ
１３ 切替部
１４ デジタルカメラ
１５ コントローラ
１６、１６ａ、１６ｂ レンズ
４０ ネットワーク
５０ コンピュータ
１０１ プロジェクタ制御部
１０２ 切替制御部
１０３ デジカメ制御部
１０４ 画像管理部
１０５ 画像処理部
１２１ 液晶パネル
１２２ 光源
１３１ ミラー部
１３２ 軸部
１３１ａ 両面ミラー
１３１ｂ ハーフミラー
１３５、１３５ａ、１３５ｂ スリット
１４１ ＣＣＤイメージセンサ
１５１ ＣＰＵ
１５２ ＲＡＭ
１５３ ＨＤＤ
１５４ ＲＯＭ
【特許請求の範囲】
【請求項１】
画像データを保存する保存手段と、
前記保存手段に保存されている画像データを投影する投影手段と、
画像データを撮影し、前記保存手段に保存する撮影手段と、
前記撮影手段が前記投影手段による投影面を撮影するときに該投影手段による投影を無効化する無効化手段と、
前記投影手段によって投影された画像データと前記撮影手段によって撮影された画像データとを合成し、合成された画像データを前記保存手段に保存する合成手段とを有することを特徴とする画像処理装置。
【請求項２】
前記投影手段は、前記撮影手段によって撮影された画像データを投影することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記撮影手段は、前記投影手段によって画像データが投影されているときに行われる前記投影面への書き込みを撮影することを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記投影手段と前記撮影手段とはレンズを共用することを特徴とする請求項１乃至３いずれか一項記載の画像処理装置。
【請求項５】
画像データを保存する保存手段と、画像データを投影する投影手段と、画像データを撮影する撮影手段とを有する画像処理装置が実行する画像処理方法であって、
前記投影手段が前記保存手段に保存されている画像データを投影する投影手順と、
前記投影手段を無効化して該投影手段による投影面を前記撮影手段が撮影し、撮影された画像データを前記保存手段に保存する撮影手順と、
前記投影手段によって投影された画像データと前記撮影手段によって撮影された画像データとを合成し、合成された画像データを前記保存手段に保存する合成手順とを有することを特徴とする画像処理方法。
【請求項６】
前記投影手順は、前記撮影手順において撮影された画像データを投影することを特徴とする請求項５記載の画像処理方法。
【請求項７】
前記撮影手順は、前記投影手順において画像データが投影されているときに行われる前記投影面への書き込みを撮影することを特徴とする請求項５又は６記載の画像処理方法。
【請求項８】
請求項５乃至７いずれか一項記載の画像処理方法を前記画像処理装置に実行させるためのプログラム。
【請求項１】
画像データを保存する保存手段と、
前記保存手段に保存されている画像データを投影する投影手段と、
画像データを撮影し、前記保存手段に保存する撮影手段と、
前記撮影手段が前記投影手段による投影面を撮影するときに該投影手段による投影を無効化する無効化手段と、
前記投影手段によって投影された画像データと前記撮影手段によって撮影された画像データとを合成し、合成された画像データを前記保存手段に保存する合成手段とを有することを特徴とする画像処理装置。
【請求項２】
前記投影手段は、前記撮影手段によって撮影された画像データを投影することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記撮影手段は、前記投影手段によって画像データが投影されているときに行われる前記投影面への書き込みを撮影することを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記投影手段と前記撮影手段とはレンズを共用することを特徴とする請求項１乃至３いずれか一項記載の画像処理装置。
【請求項５】
画像データを保存する保存手段と、画像データを投影する投影手段と、画像データを撮影する撮影手段とを有する画像処理装置が実行する画像処理方法であって、
前記投影手段が前記保存手段に保存されている画像データを投影する投影手順と、
前記投影手段を無効化して該投影手段による投影面を前記撮影手段が撮影し、撮影された画像データを前記保存手段に保存する撮影手順と、
前記投影手段によって投影された画像データと前記撮影手段によって撮影された画像データとを合成し、合成された画像データを前記保存手段に保存する合成手順とを有することを特徴とする画像処理方法。
【請求項６】
前記投影手順は、前記撮影手順において撮影された画像データを投影することを特徴とする請求項５記載の画像処理方法。
【請求項７】
前記撮影手順は、前記投影手順において画像データが投影されているときに行われる前記投影面への書き込みを撮影することを特徴とする請求項５又は６記載の画像処理方法。
【請求項８】
請求項５乃至７いずれか一項記載の画像処理方法を前記画像処理装置に実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２００８−７２３８８（Ｐ２００８−７２３８８Ａ）
【公開日】平成２０年３月２７日（２００８．３．２７）
【国際特許分類】
【出願番号】特願２００６−２４８６０７（Ｐ２００６−２４８６０７）
【出願日】平成１８年９月１３日（２００６．９．１３）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２０年３月２７日（２００８．３．２７）
【国際特許分類】
【出願日】平成１８年９月１３日（２００６．９．１３）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]