画像処理装置、情報処理装置、方法、プログラムおよび記録媒体
【課題】投影画像の明度補正におけるユーザビリティを向上させると共に、投影画像の視認性を向上させることが可能な画像処理装置、情報処理装置、方法、プログラムおよび記録媒体を提供すること。
【解決手段】本発明の画像処理装置は、白色画像を投影し、投影された画像を撮影して撮影画像を生成し、撮影画像の明度の高い領域および明度の低い領域を特定する。そして、画像処理装置は、撮影画像に含まれる明度の高い領域の明度を、撮影画像に含まれる明度の低い領域の明度に漸次的に変更して投影画像の明度を補正し、明度を補正した投影画像と、明度の変更に対してユーザの意思表示する方法を示す画像とを投影する。また、画像処理装置は、撮影画像に含まれる明度の低い領域を提示する画像を生成して投影する。
【解決手段】本発明の画像処理装置は、白色画像を投影し、投影された画像を撮影して撮影画像を生成し、撮影画像の明度の高い領域および明度の低い領域を特定する。そして、画像処理装置は、撮影画像に含まれる明度の高い領域の明度を、撮影画像に含まれる明度の低い領域の明度に漸次的に変更して投影画像の明度を補正し、明度を補正した投影画像と、明度の変更に対してユーザの意思表示する方法を示す画像とを投影する。また、画像処理装置は、撮影画像に含まれる明度の低い領域を提示する画像を生成して投影する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像データを補正する画像処理装置に関し、より詳細には、投影すべき画像データである投影画像の明度を補正する画像処理装置、情報処理装置、方法、プログラムおよび記録媒体に関する。
【背景技術】
【0002】
従来、企業や教育機関、行政機関等において、プロジェクター等の投影装置を用いてプレゼンテーションや授業、会議、講義、講演等が日常的に行われている。通常、ユーザは、白色のスクリーンに種々の画像を投影してプレゼンテーションなどを行う。しかしながら、スクリーンに汚れやシミ等が付着した状態のまま画像を投影すると、汚れ部分に投影された画像の色は、本来の色とは異なるものに見えてしまう。
【0003】
この点につき、特許文献1は、スクリーン上に配置された光学センサによる光学量と投影映像の撮像データの光学量とを比較して投影映像の光学量を測定し、色度値・照度値と基準データとの比較により補正データを作成し、映像投影装置の色度値・照度値を補正する投影映像検査装置を開示する。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、スクリーンに投影された投影画像が自然な様子で明度補正されているかは、ユーザの主観的な判断に依拠するところ、特許文献1に開示する装置は、色度値・照度値と基準データとの画一的な比較によって色度値・照度値を補正するため、実際に行われる照度補正が真に有用であるかどうかユーザが確認することができず、投影画像の視認性が低いという問題があった。
【0005】
本発明は上記の課題を解決するものであり、投影画像の明度補正におけるユーザビリティを向上させると共に、投影画像の視認性を向上させることが可能な画像処理装置、情報処理装置、方法、プログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の画像処理装置は、白色画像を投影し、投影された画像を撮影して撮影画像を生成し、撮影画像の明度の高い領域および明度の低い領域を特定する。そして、画像処理装置は、撮影画像に含まれる明度の高い領域の明度を、撮影画像に含まれる明度の低い領域の明度に漸次的に変更して投影画像の明度を補正し、明度を補正した投影画像と、明度の変更に対してユーザが意思表示する方法を示す画像とを投影する。また、画像処理装置は、撮影画像に含まれる明度の低い領域を提示する画像を生成して投影する。これにより、ユーザは、直感的に明度補正が有用か否か確認することができると共に、補正処理では対応できないスクリーンの汚れの把握し、その掃除を促すことにより、投影画像の品質を向上させることができる。
【0007】
本発明によれば、撮影画像に含まれる明度の低い領域の明度に漸次的に変更して投影画像の明度を補正し、明度を補正した投影画像と、明度の変更に対してユーザが意思表示する方法を示す画像とを投影可能な情報処理装置、方法、プログラムおよび記録媒体を提供することができる。
【図面の簡単な説明】
【0008】
【図1】本発明の一の実施形態に係る画像処理装置の機能構成を示す図。
【図2】本発明の画像処理装置が採用する座標変換式の導出方法について説明する図。
【図3】図1に示す画像処理装置が実行する処理を示すフローチャート。
【図4】本発明の画像処理装置が実行する照射範囲を特定する処理を示すフローチャート。
【図5】白色画像を投影した状態で撮影して得られた撮影画像の明度値と、白色画像の投影を中止した状態で撮影して得られた撮影画像の明度値との関係を示す図。
【図6】白色光を照射した状態で撮影して得られた撮影画像と、白色光の照射を中止した状態で撮影して得られた撮影画像との明度差値による画素群内の分散について示す図。
【図7】本発明の画像処理装置が照射範囲内の低明度領域を特定する処理を示すフローチャート。
【図8】本発明の画像処理装置が使用するノイズ除去フィルタの一実施形態を示す図。
【図9】図1に示す画像処理装置が投影画像の明度を補正する処理を示すフローチャート。
【図10】図1に示す画像処理装置が補正した投影画像の明度に対してユーザが意思表示するための確認画像の一実施形態を示す図。
【図11】本発明の画像処理装置が投影する低明度領域提示画像の一実施形態を示す図。
【図12】本発明の別の実施形態に係る画像処理装置1200の機能構成を示す図。
【図13】図12に示す画像処理装置が実行する処理を示すフローチャート。
【図14】図12に示す画像処理装置が投影する確認画像の一実施形態を示す図。
【発明を実施するための形態】
【0009】
以下、本発明について実施形態をもって説明するが、本発明は、後述する実施形態に限定されるものではない。
【0010】
図1は、本発明の一の実施形態に係る画像処理装置の機能構成を示す図である。画像処理装置100は、画像提供装置(図示せず)から取得した画像をスクリーンやホワイトボード等の被投影部材に投影し、投影画像を補正する装置である。画像処理装置100は、MPU等の種々のプロセッサを搭載し、UNIX(登録商標)、LINUX(登録商標)、ITRON、μITRONなどのOSの管理下で、アセンブラ、C、C++、Java(登録商標)、JavaScript(登録商標)、PERL、RUBY、PYTHONなどのプログラム言語で記述された本発明のプログラムを実行する。
【0011】
画像処理装置100は、本発明のプログラムを実行するための実行空間を提供するRAM、プログラムやデータなどを持続的に保持するためのEPROMやEEPROM等の記憶手段などを含んでおり、本発明のプログラムを実行することにより、本実施形態の各機能手段を画像処理装置上に実現する。他の実施形態では、画像処理装置100は、後述する各機能を実現するASIC(Application Specific Integrated Circuit)を実装することにより、後述する各機能手段を画像処理装置上に実現することもできる。
【0012】
画像処理装置100は、制御部102と、投影部104と、撮影部106と、画像バッファ108とを含んで構成される。
【0013】
制御部102は、画像処理装置100が実行する処理の全体制御を行う機能手段である。制御部102は、後述する各機能手段を用いて画像の投影、撮影および各種画像処理を行う。
【0014】
投影部104は、投影すべき画像をスクリーン130等の被投影部材に投影する機能手段である。本実施形態の投影部104は、ランプ等の光源や投影レンズなどを含んで構成されており、投影すべき画像を形成する光をスクリーン130に照射して、当該画像をスクリーン130上に形成する。
【0015】
撮影部106は、撮影対象物の反射光を集光して撮影画像を生成する機能手段である。本実施形態の撮影部106は、集光レンズや撮影素子などを含んで構成されており、撮影対象である投影部104が投影した投影画像等を撮影して撮影画像を生成する。
【0016】
画像バッファ108は、撮影部106が生成した撮影画像等の画像データがバッファリングされるメモリである。撮影部106は撮影画像を生成すると、画像バッファ108にFIFO形式で保存する。
【0017】
また、画像処理装置100は、照射範囲特定部110と、座標変換部112と、明度領域特定部114とを含んで構成される。
【0018】
照射範囲特定部110は、撮影部106が生成した撮影画像を使用して、投影部104の照射光の範囲を特定する機能手段である。照射範囲特定部110は、投影部104が、輝度および明度が最大である白色画像をスクリーンに照射した状態の撮影画像と、投影部104からの照射をしていない状態の撮影画像とを使用して、投影部104の照射範囲を特定する。なお、照射範囲を特定する方法については、図3を参照して詳細に説明する。
【0019】
座標変換部112は、撮影画像を投影画像に射影変換する座標変換式を導出すると共に、当該座標変換式を使用して撮影画像を射影変換する機能手段である。座標変換部112は、上記白色画像を照射して得られた投影画像と、照射範囲特定部110が特定した照射範囲とを使用して座標変換式を導出する。
【0020】
図2は、本発明の画像処理装置が採用する座標変換式の導出方法について説明する図である。座標変換部112は、上記白色画像の四隅の座標値であるP1(0,0),P2(w,0),P3(w,h),P4(0,h)と、これらに対応する照射範囲の座標値P1’(x1,y1),P2’(x2,y2),P3’(x3,y3),P4’(x4,y4)と、下記数式1とを使用して導出することができる。
【0021】
【数1】
ここで、X,Yは、投影画像系の座標値を示し、x,yは、これに対応する撮影画像系の座標値を示す。
【0022】
座標変換部112は、上記方法によって導出した座標変換式を用いて、撮影画像および投影画像を相互に射影変換することができる。本実施形態では、座標変換部112は、当該座標変換式を使用して撮影画像に射影変換を施し、画像バッファ108等の記憶装置に保存する。他の機能手段は、射影変換した撮影画像を当該記憶装置から適宜取得して利用することができる。
【0023】
明度領域特定部114は、照射範囲特定部110が特定した照射範囲内で明度が最も高い領域である高明度領域と、明度が最も低い領域である低明度領域とを抽出する機能手段である。明度領域特定部114は、白色画像を撮影して得られた撮影画像に射影変換を施した画像データを画像バッファ108から取得し、平滑化フィルタやガウシアンフィルタ等のノイズ除去フィルタを施す。そして、明度領域特定部114は、当該画像データを構成する総ての画素の明度値を比較して明度が最低または最高となる画素を特定し、これらの画素によって構成される高明度領域および低明度領域を特定する。
【0024】
本実施形態では、被投影部材上の汚れ等による低明度領域を効果的に抽出すべく、輝度および明度が最大となる白色画像を投影して得られた撮影画像を使用して、低明度領域を特定することが好適である。
【0025】
さらに、画像処理装置100は、投影画像生成部116と、明度補正部118と、提示画像生成部120と、テストパターン格納部122と、検知部124とを含んで構成される。
【0026】
投影画像生成部116は、投影部104が投影する画像データを生成する機能手段である。投影画像生成部116は、画像提供装置から取得した画像データやテストパターン、種々の確認画像および提示画像等を投影画像として投影部104に提供して投影させる。
【0027】
明度補正部118は、投影画像の明度を補正する機能手段である。明度補正部118は、白色画像を投影して得られる撮影画像に含まれる高明度領域の明度を、撮影画像に含まれる低明度領域の明度に漸次的に変更して投影画像の明度を補正する。
【0028】
提示画像生成部120は、低明度領域を提示する画像データを生成する機能手段である。提示画像生成部120は、明度領域特定部114が特定した低明度領域をユーザに知らせる画像データを作成し、投影画像生成部116に提供する。提示画像生成部120は、円や矩形等の図形で低明度領域を囲んだ画像データを生成し、当該画像データに所定の文言を重畳して低明度領域を提示する画像データを生成する。なお、当該画像データについては、図11を参照して詳細に説明する。
【0029】
テストパターン格納部122は、補正した明度をユーザに確認させるために投影する投影画像であるテストパターンを格納する記憶手段である。本実施形態では、ユーザが使用する可能性のある画像パターン等の種々の画像データをテストパターンとして採用することができる。
【0030】
検知部124は、ユーザからの指示を検知する機能手段である。画像処理装置100は、ユーザからの指示を受け付けるためのボタン等の指示手段(図示せず)を備えており、ユーザが当該指示手段を押下等すると、当該指示手段の種類を識別する情報と当該指示手段が押下されたことを示す情報とを含む信号が検知部124に送信される。検知部124は、当該信号を受信することによりユーザからの指示を検知することができる。
【0031】
図3は、図1に示す画像処理装置が実行する処理を示すフローチャートである。以下、図3を参照して、画像処理装置100が投影画像の明度を補正する場合に実行する処理について説明する。
【0032】
図3の処理は、ステップS300から開始し、ステップS301では、画像処理装置100の制御部102が、投影部104、撮影部106、照射範囲特定部110および明度補正部118を用いて、画像処理装置100の照射光の照射範囲を特定する。なお、ステップS301の詳細については、図4を参照して詳細に説明する。
【0033】
ステップS302では、制御部102が座標変換部112を呼び出し、座標変換部112は、ステップS301で撮影部106が生成した撮影画像を用いて座標変換式を導出する。ステップ303では、制御部102は明度領域特定部114を呼び出し、明度領域特定部114は、照射範囲内で低明度領域および高明度領域を特定する。なお、ステップS303の詳細については、図7を参照して詳細に説明する。
【0034】
ステップS304では、制御部102は、投影部104、明度領域特定部114、投影画像生成部116および明度補正部118を使用して、明度を補正したテストパターンを投影する。ステップS305では、制御部102は、投影部104および投影画像生成部116を使用して、図10に示すような明度の確認画像を投影する。本実施形態では、明度の確認画像をテストパターンに重畳して投影することができる。また、テストパターンを一定時間投影した後に、明度の確認画像を投影してもよい。
【0035】
ステップS306では、検知部124が、補正した投影画像の明度をユーザが了承した旨の指示を受信したか否か判断する。補正した明度をユーザが了承していないと判断した場合(no)、ステップS308に分岐して処理が終了する。
【0036】
一方、ステップS306の判定で、補正した投影画像の明度をユーザが了承したと判断した場合(yes)、処理をステップS307に分岐させる。ステップS307では、制御部102は投影画像生成部116を呼び出し、投影画像生成部116は、提示画像生成部120と協働して低明度領域を示す画像である低明度領域提示画像を生成し、投影部104が当該画像を投影して、ステップS308で処理が終了する。
【0037】
図4は、本発明の画像処理装置が実行する照射範囲を特定する処理を示すフローチャートである。以下、図4を参照して、図3に示すステップS301で実行される画像処理装置100の照射範囲を特定する処理について説明する。
【0038】
図4の処理は、ステップS400から開始し、ステップS401で投影部104が、白色画像をスクリーンに投影する。ステップS402では、撮影部106が、画像処理装置100の照射範囲を含む領域を撮影して撮影画像を生成する。ステップS403では、投影部104は、白色画像の投影を中止する。ステップS404では、撮影部106は、ステップS402で撮影した領域と同一の領域を撮影して、撮影画像を生成する。
【0039】
ステップS405では、照射範囲特定部110が、これらの撮影画像を構成する総ての画素について、対応する各画素の明度値の差分である明度差値を算出する。本実施形態では、下記数式2を用いて明度差値を算出することができる。
【0040】
【数2】
ここで、I1(x,y)は、図5に示すように、白色画像を投影した状態の撮影画像の明度値を示し、I2(x,y)は、白色画像の投影を中止した状態の撮影画像の明度値を示す。D(x,y)は、これらの撮影画像の差分である差分画像の明度差値を示す。
【0041】
本実施形態では、撮影画像の明度値I(x,y)は、下記数式3を用いて算出することができる。
【0042】
【数3】
ここで、R,G,Bは、各色成分の輝度を示す。本実施形態では8ビットカラー表現を採用し、R,G,Bの輝度はそれぞれ0〜255の値を取るため、本実施形態で使用する明度値および明度差値は、0〜255の値を取り得る。他の実施形態では、16ビットカラー表現や32ビットカラー表現等の種々のデータ量のカラー表現を使用することができる。
【0043】
ステップS406では、照射範囲特定部110は、照射範囲を求めるための変数T,Tmを0で初期化する。ステップS407では、照射範囲特定部110は、図6に示すように、変数Tが示す明度差値を境界として分類される2つの画素群内の分散(vi)を求める。本実施形態では、下記数式4を用いて画素群内の分散(vi)を算出することができる。
【0044】
【数4】
ここで、n1,n2は、変数Tによって分類された各画素群に属する画素の数を示す。また、v1,v2は、各画素群に属する画素の明度差値の分散を示す。本実施形態では、分散として標本分散や不偏分散等を採用することができ、各画素群に属する画素の明度差値の平均値および数から明度差値の分散を求めることができる。
【0045】
ステップS408では、照射範囲特定部110は、変数Tが示す明度差値を境界として分類される2つの画素群間の分散(vo)を求める。本実施形態では、下記数式5を用いて画素群間の分散(vo)を算出することができる。
【0046】
【数5】
ここで、n1,n2は、変数Tによって分類された各画素群に属する画素の数を示す。また、a1,a2は、各画素群に属する画素の明度差値の平均値を示す。
【0047】
ステップS409では、照射範囲特定部110は、変数Tmが、変数Tにおけるvo/viよりも小さいか否か判断する。変数Tmがvo/vi以上である場合には(no)、処理をステップS411に分岐する。一方、変数Tmがvo/viよりも小さい場合には(yes)、処理をステップS410に分岐させる。ステップS410では、照射範囲特定部110は、変数Tにおけるvo/viの値を変数Tmに代入する。
【0048】
ステップS411では、照射範囲特定部110は、総ての明度差値についてステップS407〜ステップS410の処理を実行したか否か判断する。総ての明度差値について当該処理を実行していないと判断した場合(no)、処理をステップS412に分岐して、ステップS412で変数Tをインクリメントする。一方、総ての明度差値についてステップS407〜ステップS410の処理を実行したと判断した場合(yes)、処理をステップS413に分岐する。
【0049】
本実施形態では、明度差値の取り得る範囲が0〜255であるため、変数Tの値を0〜255の範囲でインクリメントさせ、変数Tの値が上限値になった時点で総ての明度差値について上記処理が実行したものと判断する。
【0050】
ステップS413では、照射範囲特定部110は、vo/viの値が最大となる変数Tを閾値とし、当該閾値T以上の画素で構成される領域を照射範囲と特定し、ステップS414で処理が終了する。
【0051】
図7は、本発明の画像処理装置が照射範囲内の低明度領域を特定する処理を示すフローチャートである。以下、図7を参照して、図3に示すステップS303で実行される処理について説明する。
【0052】
図7の処理は、ステップS700から開始し、ステップS701で明度領域特定部114が、画像バッファ108から探索対象である白色画像を投影して得られた撮影画像を取得する。ステップS702では、明度領域特定部114が座標変換部112を呼び出し、座標変換部112は、上記座標変換式を用いて当該撮影画像に射影変換を施し、画像処理装置100の照射範囲のみで構成される画像データを生成する。ステップS703では、明度領域特定部114は、ノイズ除去フィルタを使用して当該画像データの画像ノイズを除去する。ステップS704では、明度領域特定部114は、ノイズが除去された画像データを構成する総ての画素の明度値を比較して、明度値が最も低い画素によって構成される低明度領域を特定する。ステップS705では、明度領域特定部114は、ノイズが除去された画像データを構成する総ての画素の明度値を比較して、明度値が最も高い画素によって構成される高明度領域を特定し、ステップS706で処理が終了する。
【0053】
図8は、本発明の画像処理装置が使用するノイズ除去フィルタの一実施形態を示す図である。図8に示すノイズ除去フィルタ810,820は平滑化フィルタであり、対象画素である中心画素の輝度および周辺画素の輝度の平均値を対象画素の輝度とする。解像度の高い画像データについては、平均値の算出範囲の大きなノイズ除去フィルタを使用して、局所的なノイズや微細なスクリーン上の点の影響を排除するのが好適である。図8に示す実施形態では、3×3および5×5の大きさのノイズ除去フィルタを示しているが、その他の大きさのノイズ除去フィルタを使用することができる。また、他の実施形態では、上述したようにノイズ除去フィルタとして、対象画素および周辺画素の輝度を加重平均して対象画素の輝度を算出するガウシアンフィルタ等の空間フィルタを採用することもできる。
【0054】
図9は、図1に示す画像処理装置が投影画像の明度を補正する処理を示すフローチャートである。以下、図9を参照して、図3に示すステップS304で実行される処理について説明する。
【0055】
図9の処理は、ステップS900から開始し、ステップS901で明度補正部118が、白色画像を照射して得られた撮影画像に含まれる低明度領域の明度値aを取得する。ステップS902では、明度補正部118は、投影画像である白色画像の明度値pを取得する。ステップS903では、明度補正部118は、明度値pから変数rの値を減算した値を変数qに代入する。本実施形態では、0〜255の範囲の任意の値を変数rの初期値とすることができるが、他の実施形態では、種々のデータ量のカラー表現に適した値とすることができる。
【0056】
ステップS904では、明度補正部118は、投影画像である白色画像の明度値を変数qが示す値に変更する。ステップS905では、投影部104は、明度値が変更された投影画像をスクリーンに投影する。ステップS906では、撮影部106は、スクリーンを撮影して撮影画像を生成し、座標変換部112が当該撮影画像を射影変換する。ステップS907では、明度領域特定部114は、当該撮影画像のノイズを除去して高明度領域を特定し、その明度値bを取得する。
【0057】
ステップS908では、明度補正部118は、低明度領域の明度値aと、ステップS906で取得した撮影画像の高明度領域の明度値bとの差の絶対値が、所定の閾値tよりも小さいか否か判断する。本実施形態では、閾値tの値は、最初の撮影画像の低明度領域の明度値と、ステップS906で取得した撮影画像の高明度領域の明度値との差をユーザが視認できない程度の値とすることが好適である。
【0058】
ステップS908の判定で明度値aと明度値bとの差の絶対値が閾値t以上であると判断した場合(no)、ステップS909で明度補正部118は、低明度領域の明度値aが、ステップS906で取得した撮影画像の高明度領域の明度値bよりも小さいか否か判断する。明度値aが明度値bよりも小さいと判断した場合には(yes)、処理をステップS912に分岐する。
【0059】
一方、明度値aが明度値b以上であると判断した場合には(no)、処理をステップS910に分岐する。ステップS910では、明度補正部118は、変数qに変数rの値を加算した値を変数qの値とする。ステップS911では、明度補正部118は、変数rの値を半分にする。ステップS912では、明度補正部118は、変数qから変数rの値を減算した値を変数qの値とし、ステップS904の処理を実行する。これにより、変数rの値が過大で明度値を変更した投影画像の高明度領域の明度が、明度値を変更する前に生成された白色画像の撮影画像の低明度領域の明度以下になってしまった場合でも、適切な高明度領域の明度値を導出することができる。
【0060】
一方、ステップS908の判定で明度値aと明度値bとの差の絶対値が閾値tよりも小さいと判断した場合には(yes)、処理をステップS913に分岐する。ステップS913では、投影画像生成部116は、テストパターン格納部122からテストパターンを取得する。ステップS914では、投影画像生成部116は、テストパターンを構成する総ての画素の明度値を比率q/pで変換して、テストパターンの明度を変更する。ステップS915では、投影部104は、明度を変更したテストパターンを投影し、ステップS916で処理が終了する。
【0061】
図10は、図1に示す画像処理装置が補正した投影画像の明度に対してユーザが意思表示するための確認画像の一実施形態を示す図である。確認画像1000は、投影画像の明度を了承するか否かの判断を促す文言と共に、ユーザが意思表示するための方法を示す情報1010が含まれる。本実施形態では、ユーザは画像処理装置100に設けられた所定の操作ボタンを押下することにより、意思表示することができる。
【0062】
図11は、本発明の画像処理装置が投影する低明度領域提示画像の一実施形態を示す図である。低明度領域提示画像1100は、スクリーン等の被投影部材の掃除を促す文言1110と共に、スクリーンの汚れによって明度が低下している領域を示す図形1120が含まれる。本実施形態では、最も明度の低い領域を対象としているが、他の実施形態では、所定の明度以下の明度を有する総ての領域を対象とすることもできる。文言1110は、ユーザの視認性を考慮し、図形1120の領域外に表示することが好適である。
【0063】
図12は、本発明の別の実施形態に係る画像処理装置1200の機能構成を示す図である。なお、画像処理装置1200は、画像処理装置100と同様の構成を有するため、以下、相違点を中心に説明する。
【0064】
画像処理装置1200は、画像処理装置100が有する機能手段に加えて、照度算出部1226と、照度格納部1228とを含んで構成される。
【0065】
照度算出部1226は、投影画像の照度を算出する機能手段である。照度算出部1226は、明度領域特定部114が抽出する高明度領域および低明度領域の照度を取得し、投影部が照射する光の照度の候補(以下、「候補照度」とする。)を算出し、照度格納部1228に保存する。具体的には、照度算出部1226は、下記数式6を用いて、複数の候補照度を算出することができる。
【0066】
【数6】
ここで、a1〜anは候補照度を示す。また、a0は高明度領域の照度を示し、azは高明度領域の照度を示す。また、Δaは所定の差分照度であり、照度azと照度a0の差分をn分割した値である。なお、nは任意の正の整数である。
【0067】
図13は、図12に示す画像処理装置が実行する処理を示すフローチャートである。以下、図13を参照して、画像処理装置1200が投影画像の明度を補正する場合に実行する処理について説明する。
【0068】
図13の処理は、ステップS1300から開始し、ステップS1301では、画像処理装置1200の制御部102が、投影部104、撮影部106、照射範囲特定部110および明度補正部118を用いて、図3に示すように、画像処理装置1200の照射光の照射範囲を特定する。
【0069】
ステップS1302では、制御部102が座標変換部112を呼び出し、座標変換部112は、ステップS1301で撮影部106が生成した撮影画像を用いて座標変換式を導出する。ステップ1303では、制御部102が明度領域特定部114を呼び出し、明度領域特定部114は、照射範囲内で低明度領域および高明度領域を特定する。
【0070】
ステップS1304では、制御部102が照度算出部1226を呼び出し、照度算出部1226は、低明度領域の照度a0および高明度領域の照度azを取得する。ステップS1305では、照度算出部1226は、低明度領域の照度a0および高明度領域の照度azを使用して複数の候補照度を算出する。
【0071】
ステップS1306では、制御部102は変数iを0で初期化する。ステップS1307では、制御部102は、投影画像生成部116、明度補正部118および投影部106を用いて、照度aiでテストパターンを投影する。ステップS1308では、制御部102は、投影部104および投影画像生成部116を使用して、図14に示すような確認画像を投影する。
【0072】
ステップS1309では、検知部124が、ステップS1308で投影した投影画像の照度をユーザが了承した旨の指示を受信したか否か判断する。ユーザが了承した旨の指示を受信した場合には(yes)、ステップS1313で処理が終了する。一方、ユーザが了承した旨の指示を受信していない場合には(no)、ステップS1310で制御部102は変数iをインクリメントする。ステップS1311では、制御部102は変数iがnよりも大きいか否か判断する。変数iがn以下である場合には(no)、処理をステップS1307に戻す。一方、変数iがnよりも大きい場合には(yes)、処理をステップS1312に分岐させる。
【0073】
ステップS1312では、制御部102は投影画像生成部116を呼び出し、投影画像生成部116は、提示画像生成部120と協働して低明度領域提示画像を生成し、投影部104が当該画像を投影して、ステップS1313で処理が終了する。
【0074】
図13に示す実施形態では、上述したように低い照度から順にテストパターンを投影する。これにより、スクリーン上の汚れが完全に消える照度だけでなく、汚れが少し残るがより明度の高い照度で投影することができる。他の実施形態では、高い照度から順にテストパターンを投影し、ユーザが所望する照度で投影するようにしてもよい。
【0075】
また、本実施形態では、ユーザからの了承した旨の指示を待って処理を実行するが、他の実施形態では、一定時間以内にユーザからの了承した旨の指示が無い場合に、自動的に別の照度で投影画像を投影させ、ユーザからの了承した旨の指示を受信したときに、そのときの照度を、画像処理装置1200が投影する照度として採用してもよい。
【0076】
図14は、図12に示す画像処理装置が投影する確認画像の一実施形態を示す図である。図14に示す確認画像1400は、投影画像生成部116によって生成される。確認画像1400には、投影画像の明度を了承するか否かの判断を促す文言と、ユーザが意思表示するための方法とを含む情報1410が表示される。また、確認画像1400には、現在投影されている候補照度を示す数値「3」(=i+1)と、候補照度の総数を示す数値「7」(=n+1)とが表示される。
【0077】
上述した実施形態では、画像処理装置100に上述した機能を実装するが、他の実施形態では、PC等の情報処理装置に上述した機能手段を実装することができる。この場合、情報処理装置は、外部接続したプロジェクター等の投影装置やデジタルカメラ等の撮影装置を使用して、種々の画像の投影および撮影を行うことができる。
【0078】
情報処理装置は、PENTIUM(登録商標)プロセッサまたは互換プロセッサなどの種々のプロセッサを搭載し、Windows(登録商標)、MacOS(登録商標)、UNIX(登録商標)、LINUX(登録商標)などのOSの管理下で、アセンブラ、C、C++、Java(登録商標)、JavaScript(登録商標)、PERL、RUBY、PYTHONなどのプログラム言語で記述された本発明のプログラムを実行する。また、情報処理装置は、本発明のプログラムを実行するための実行空間を提供するRAM、プログラムやデータなどを持続的に保持するためのハードディスク装置などを含んでおり、本発明のプログラムを実行することにより、上述した各機能手段を情報処理装置上に実現する。
【0079】
本発明のプログラムは、HDD、CD−ROM、MO、フレキシブルディスク、EEPROM、EPROMなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。
【0080】
これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の構成要件の追加や本実施形態の構成要件の変更または削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【0081】
100…画像処理装置、130…スクリーン、102…制御部、104…投影部、106…撮影部、108…画像バッファ、110…照射範囲特定部、112…座標変換部、114…明度領域特定部、116…投影画像生成部、118…明度補正部、120…提示画像生成部、122…テストパターン格納部、124…検知部、1226…照度算出部、1228…照度格納部
【先行技術文献】
【特許文献】
【0082】
【特許文献1】特開平11−313346号公報
【技術分野】
【0001】
本発明は、画像データを補正する画像処理装置に関し、より詳細には、投影すべき画像データである投影画像の明度を補正する画像処理装置、情報処理装置、方法、プログラムおよび記録媒体に関する。
【背景技術】
【0002】
従来、企業や教育機関、行政機関等において、プロジェクター等の投影装置を用いてプレゼンテーションや授業、会議、講義、講演等が日常的に行われている。通常、ユーザは、白色のスクリーンに種々の画像を投影してプレゼンテーションなどを行う。しかしながら、スクリーンに汚れやシミ等が付着した状態のまま画像を投影すると、汚れ部分に投影された画像の色は、本来の色とは異なるものに見えてしまう。
【0003】
この点につき、特許文献1は、スクリーン上に配置された光学センサによる光学量と投影映像の撮像データの光学量とを比較して投影映像の光学量を測定し、色度値・照度値と基準データとの比較により補正データを作成し、映像投影装置の色度値・照度値を補正する投影映像検査装置を開示する。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、スクリーンに投影された投影画像が自然な様子で明度補正されているかは、ユーザの主観的な判断に依拠するところ、特許文献1に開示する装置は、色度値・照度値と基準データとの画一的な比較によって色度値・照度値を補正するため、実際に行われる照度補正が真に有用であるかどうかユーザが確認することができず、投影画像の視認性が低いという問題があった。
【0005】
本発明は上記の課題を解決するものであり、投影画像の明度補正におけるユーザビリティを向上させると共に、投影画像の視認性を向上させることが可能な画像処理装置、情報処理装置、方法、プログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の画像処理装置は、白色画像を投影し、投影された画像を撮影して撮影画像を生成し、撮影画像の明度の高い領域および明度の低い領域を特定する。そして、画像処理装置は、撮影画像に含まれる明度の高い領域の明度を、撮影画像に含まれる明度の低い領域の明度に漸次的に変更して投影画像の明度を補正し、明度を補正した投影画像と、明度の変更に対してユーザが意思表示する方法を示す画像とを投影する。また、画像処理装置は、撮影画像に含まれる明度の低い領域を提示する画像を生成して投影する。これにより、ユーザは、直感的に明度補正が有用か否か確認することができると共に、補正処理では対応できないスクリーンの汚れの把握し、その掃除を促すことにより、投影画像の品質を向上させることができる。
【0007】
本発明によれば、撮影画像に含まれる明度の低い領域の明度に漸次的に変更して投影画像の明度を補正し、明度を補正した投影画像と、明度の変更に対してユーザが意思表示する方法を示す画像とを投影可能な情報処理装置、方法、プログラムおよび記録媒体を提供することができる。
【図面の簡単な説明】
【0008】
【図1】本発明の一の実施形態に係る画像処理装置の機能構成を示す図。
【図2】本発明の画像処理装置が採用する座標変換式の導出方法について説明する図。
【図3】図1に示す画像処理装置が実行する処理を示すフローチャート。
【図4】本発明の画像処理装置が実行する照射範囲を特定する処理を示すフローチャート。
【図5】白色画像を投影した状態で撮影して得られた撮影画像の明度値と、白色画像の投影を中止した状態で撮影して得られた撮影画像の明度値との関係を示す図。
【図6】白色光を照射した状態で撮影して得られた撮影画像と、白色光の照射を中止した状態で撮影して得られた撮影画像との明度差値による画素群内の分散について示す図。
【図7】本発明の画像処理装置が照射範囲内の低明度領域を特定する処理を示すフローチャート。
【図8】本発明の画像処理装置が使用するノイズ除去フィルタの一実施形態を示す図。
【図9】図1に示す画像処理装置が投影画像の明度を補正する処理を示すフローチャート。
【図10】図1に示す画像処理装置が補正した投影画像の明度に対してユーザが意思表示するための確認画像の一実施形態を示す図。
【図11】本発明の画像処理装置が投影する低明度領域提示画像の一実施形態を示す図。
【図12】本発明の別の実施形態に係る画像処理装置1200の機能構成を示す図。
【図13】図12に示す画像処理装置が実行する処理を示すフローチャート。
【図14】図12に示す画像処理装置が投影する確認画像の一実施形態を示す図。
【発明を実施するための形態】
【0009】
以下、本発明について実施形態をもって説明するが、本発明は、後述する実施形態に限定されるものではない。
【0010】
図1は、本発明の一の実施形態に係る画像処理装置の機能構成を示す図である。画像処理装置100は、画像提供装置(図示せず)から取得した画像をスクリーンやホワイトボード等の被投影部材に投影し、投影画像を補正する装置である。画像処理装置100は、MPU等の種々のプロセッサを搭載し、UNIX(登録商標)、LINUX(登録商標)、ITRON、μITRONなどのOSの管理下で、アセンブラ、C、C++、Java(登録商標)、JavaScript(登録商標)、PERL、RUBY、PYTHONなどのプログラム言語で記述された本発明のプログラムを実行する。
【0011】
画像処理装置100は、本発明のプログラムを実行するための実行空間を提供するRAM、プログラムやデータなどを持続的に保持するためのEPROMやEEPROM等の記憶手段などを含んでおり、本発明のプログラムを実行することにより、本実施形態の各機能手段を画像処理装置上に実現する。他の実施形態では、画像処理装置100は、後述する各機能を実現するASIC(Application Specific Integrated Circuit)を実装することにより、後述する各機能手段を画像処理装置上に実現することもできる。
【0012】
画像処理装置100は、制御部102と、投影部104と、撮影部106と、画像バッファ108とを含んで構成される。
【0013】
制御部102は、画像処理装置100が実行する処理の全体制御を行う機能手段である。制御部102は、後述する各機能手段を用いて画像の投影、撮影および各種画像処理を行う。
【0014】
投影部104は、投影すべき画像をスクリーン130等の被投影部材に投影する機能手段である。本実施形態の投影部104は、ランプ等の光源や投影レンズなどを含んで構成されており、投影すべき画像を形成する光をスクリーン130に照射して、当該画像をスクリーン130上に形成する。
【0015】
撮影部106は、撮影対象物の反射光を集光して撮影画像を生成する機能手段である。本実施形態の撮影部106は、集光レンズや撮影素子などを含んで構成されており、撮影対象である投影部104が投影した投影画像等を撮影して撮影画像を生成する。
【0016】
画像バッファ108は、撮影部106が生成した撮影画像等の画像データがバッファリングされるメモリである。撮影部106は撮影画像を生成すると、画像バッファ108にFIFO形式で保存する。
【0017】
また、画像処理装置100は、照射範囲特定部110と、座標変換部112と、明度領域特定部114とを含んで構成される。
【0018】
照射範囲特定部110は、撮影部106が生成した撮影画像を使用して、投影部104の照射光の範囲を特定する機能手段である。照射範囲特定部110は、投影部104が、輝度および明度が最大である白色画像をスクリーンに照射した状態の撮影画像と、投影部104からの照射をしていない状態の撮影画像とを使用して、投影部104の照射範囲を特定する。なお、照射範囲を特定する方法については、図3を参照して詳細に説明する。
【0019】
座標変換部112は、撮影画像を投影画像に射影変換する座標変換式を導出すると共に、当該座標変換式を使用して撮影画像を射影変換する機能手段である。座標変換部112は、上記白色画像を照射して得られた投影画像と、照射範囲特定部110が特定した照射範囲とを使用して座標変換式を導出する。
【0020】
図2は、本発明の画像処理装置が採用する座標変換式の導出方法について説明する図である。座標変換部112は、上記白色画像の四隅の座標値であるP1(0,0),P2(w,0),P3(w,h),P4(0,h)と、これらに対応する照射範囲の座標値P1’(x1,y1),P2’(x2,y2),P3’(x3,y3),P4’(x4,y4)と、下記数式1とを使用して導出することができる。
【0021】
【数1】
ここで、X,Yは、投影画像系の座標値を示し、x,yは、これに対応する撮影画像系の座標値を示す。
【0022】
座標変換部112は、上記方法によって導出した座標変換式を用いて、撮影画像および投影画像を相互に射影変換することができる。本実施形態では、座標変換部112は、当該座標変換式を使用して撮影画像に射影変換を施し、画像バッファ108等の記憶装置に保存する。他の機能手段は、射影変換した撮影画像を当該記憶装置から適宜取得して利用することができる。
【0023】
明度領域特定部114は、照射範囲特定部110が特定した照射範囲内で明度が最も高い領域である高明度領域と、明度が最も低い領域である低明度領域とを抽出する機能手段である。明度領域特定部114は、白色画像を撮影して得られた撮影画像に射影変換を施した画像データを画像バッファ108から取得し、平滑化フィルタやガウシアンフィルタ等のノイズ除去フィルタを施す。そして、明度領域特定部114は、当該画像データを構成する総ての画素の明度値を比較して明度が最低または最高となる画素を特定し、これらの画素によって構成される高明度領域および低明度領域を特定する。
【0024】
本実施形態では、被投影部材上の汚れ等による低明度領域を効果的に抽出すべく、輝度および明度が最大となる白色画像を投影して得られた撮影画像を使用して、低明度領域を特定することが好適である。
【0025】
さらに、画像処理装置100は、投影画像生成部116と、明度補正部118と、提示画像生成部120と、テストパターン格納部122と、検知部124とを含んで構成される。
【0026】
投影画像生成部116は、投影部104が投影する画像データを生成する機能手段である。投影画像生成部116は、画像提供装置から取得した画像データやテストパターン、種々の確認画像および提示画像等を投影画像として投影部104に提供して投影させる。
【0027】
明度補正部118は、投影画像の明度を補正する機能手段である。明度補正部118は、白色画像を投影して得られる撮影画像に含まれる高明度領域の明度を、撮影画像に含まれる低明度領域の明度に漸次的に変更して投影画像の明度を補正する。
【0028】
提示画像生成部120は、低明度領域を提示する画像データを生成する機能手段である。提示画像生成部120は、明度領域特定部114が特定した低明度領域をユーザに知らせる画像データを作成し、投影画像生成部116に提供する。提示画像生成部120は、円や矩形等の図形で低明度領域を囲んだ画像データを生成し、当該画像データに所定の文言を重畳して低明度領域を提示する画像データを生成する。なお、当該画像データについては、図11を参照して詳細に説明する。
【0029】
テストパターン格納部122は、補正した明度をユーザに確認させるために投影する投影画像であるテストパターンを格納する記憶手段である。本実施形態では、ユーザが使用する可能性のある画像パターン等の種々の画像データをテストパターンとして採用することができる。
【0030】
検知部124は、ユーザからの指示を検知する機能手段である。画像処理装置100は、ユーザからの指示を受け付けるためのボタン等の指示手段(図示せず)を備えており、ユーザが当該指示手段を押下等すると、当該指示手段の種類を識別する情報と当該指示手段が押下されたことを示す情報とを含む信号が検知部124に送信される。検知部124は、当該信号を受信することによりユーザからの指示を検知することができる。
【0031】
図3は、図1に示す画像処理装置が実行する処理を示すフローチャートである。以下、図3を参照して、画像処理装置100が投影画像の明度を補正する場合に実行する処理について説明する。
【0032】
図3の処理は、ステップS300から開始し、ステップS301では、画像処理装置100の制御部102が、投影部104、撮影部106、照射範囲特定部110および明度補正部118を用いて、画像処理装置100の照射光の照射範囲を特定する。なお、ステップS301の詳細については、図4を参照して詳細に説明する。
【0033】
ステップS302では、制御部102が座標変換部112を呼び出し、座標変換部112は、ステップS301で撮影部106が生成した撮影画像を用いて座標変換式を導出する。ステップ303では、制御部102は明度領域特定部114を呼び出し、明度領域特定部114は、照射範囲内で低明度領域および高明度領域を特定する。なお、ステップS303の詳細については、図7を参照して詳細に説明する。
【0034】
ステップS304では、制御部102は、投影部104、明度領域特定部114、投影画像生成部116および明度補正部118を使用して、明度を補正したテストパターンを投影する。ステップS305では、制御部102は、投影部104および投影画像生成部116を使用して、図10に示すような明度の確認画像を投影する。本実施形態では、明度の確認画像をテストパターンに重畳して投影することができる。また、テストパターンを一定時間投影した後に、明度の確認画像を投影してもよい。
【0035】
ステップS306では、検知部124が、補正した投影画像の明度をユーザが了承した旨の指示を受信したか否か判断する。補正した明度をユーザが了承していないと判断した場合(no)、ステップS308に分岐して処理が終了する。
【0036】
一方、ステップS306の判定で、補正した投影画像の明度をユーザが了承したと判断した場合(yes)、処理をステップS307に分岐させる。ステップS307では、制御部102は投影画像生成部116を呼び出し、投影画像生成部116は、提示画像生成部120と協働して低明度領域を示す画像である低明度領域提示画像を生成し、投影部104が当該画像を投影して、ステップS308で処理が終了する。
【0037】
図4は、本発明の画像処理装置が実行する照射範囲を特定する処理を示すフローチャートである。以下、図4を参照して、図3に示すステップS301で実行される画像処理装置100の照射範囲を特定する処理について説明する。
【0038】
図4の処理は、ステップS400から開始し、ステップS401で投影部104が、白色画像をスクリーンに投影する。ステップS402では、撮影部106が、画像処理装置100の照射範囲を含む領域を撮影して撮影画像を生成する。ステップS403では、投影部104は、白色画像の投影を中止する。ステップS404では、撮影部106は、ステップS402で撮影した領域と同一の領域を撮影して、撮影画像を生成する。
【0039】
ステップS405では、照射範囲特定部110が、これらの撮影画像を構成する総ての画素について、対応する各画素の明度値の差分である明度差値を算出する。本実施形態では、下記数式2を用いて明度差値を算出することができる。
【0040】
【数2】
ここで、I1(x,y)は、図5に示すように、白色画像を投影した状態の撮影画像の明度値を示し、I2(x,y)は、白色画像の投影を中止した状態の撮影画像の明度値を示す。D(x,y)は、これらの撮影画像の差分である差分画像の明度差値を示す。
【0041】
本実施形態では、撮影画像の明度値I(x,y)は、下記数式3を用いて算出することができる。
【0042】
【数3】
ここで、R,G,Bは、各色成分の輝度を示す。本実施形態では8ビットカラー表現を採用し、R,G,Bの輝度はそれぞれ0〜255の値を取るため、本実施形態で使用する明度値および明度差値は、0〜255の値を取り得る。他の実施形態では、16ビットカラー表現や32ビットカラー表現等の種々のデータ量のカラー表現を使用することができる。
【0043】
ステップS406では、照射範囲特定部110は、照射範囲を求めるための変数T,Tmを0で初期化する。ステップS407では、照射範囲特定部110は、図6に示すように、変数Tが示す明度差値を境界として分類される2つの画素群内の分散(vi)を求める。本実施形態では、下記数式4を用いて画素群内の分散(vi)を算出することができる。
【0044】
【数4】
ここで、n1,n2は、変数Tによって分類された各画素群に属する画素の数を示す。また、v1,v2は、各画素群に属する画素の明度差値の分散を示す。本実施形態では、分散として標本分散や不偏分散等を採用することができ、各画素群に属する画素の明度差値の平均値および数から明度差値の分散を求めることができる。
【0045】
ステップS408では、照射範囲特定部110は、変数Tが示す明度差値を境界として分類される2つの画素群間の分散(vo)を求める。本実施形態では、下記数式5を用いて画素群間の分散(vo)を算出することができる。
【0046】
【数5】
ここで、n1,n2は、変数Tによって分類された各画素群に属する画素の数を示す。また、a1,a2は、各画素群に属する画素の明度差値の平均値を示す。
【0047】
ステップS409では、照射範囲特定部110は、変数Tmが、変数Tにおけるvo/viよりも小さいか否か判断する。変数Tmがvo/vi以上である場合には(no)、処理をステップS411に分岐する。一方、変数Tmがvo/viよりも小さい場合には(yes)、処理をステップS410に分岐させる。ステップS410では、照射範囲特定部110は、変数Tにおけるvo/viの値を変数Tmに代入する。
【0048】
ステップS411では、照射範囲特定部110は、総ての明度差値についてステップS407〜ステップS410の処理を実行したか否か判断する。総ての明度差値について当該処理を実行していないと判断した場合(no)、処理をステップS412に分岐して、ステップS412で変数Tをインクリメントする。一方、総ての明度差値についてステップS407〜ステップS410の処理を実行したと判断した場合(yes)、処理をステップS413に分岐する。
【0049】
本実施形態では、明度差値の取り得る範囲が0〜255であるため、変数Tの値を0〜255の範囲でインクリメントさせ、変数Tの値が上限値になった時点で総ての明度差値について上記処理が実行したものと判断する。
【0050】
ステップS413では、照射範囲特定部110は、vo/viの値が最大となる変数Tを閾値とし、当該閾値T以上の画素で構成される領域を照射範囲と特定し、ステップS414で処理が終了する。
【0051】
図7は、本発明の画像処理装置が照射範囲内の低明度領域を特定する処理を示すフローチャートである。以下、図7を参照して、図3に示すステップS303で実行される処理について説明する。
【0052】
図7の処理は、ステップS700から開始し、ステップS701で明度領域特定部114が、画像バッファ108から探索対象である白色画像を投影して得られた撮影画像を取得する。ステップS702では、明度領域特定部114が座標変換部112を呼び出し、座標変換部112は、上記座標変換式を用いて当該撮影画像に射影変換を施し、画像処理装置100の照射範囲のみで構成される画像データを生成する。ステップS703では、明度領域特定部114は、ノイズ除去フィルタを使用して当該画像データの画像ノイズを除去する。ステップS704では、明度領域特定部114は、ノイズが除去された画像データを構成する総ての画素の明度値を比較して、明度値が最も低い画素によって構成される低明度領域を特定する。ステップS705では、明度領域特定部114は、ノイズが除去された画像データを構成する総ての画素の明度値を比較して、明度値が最も高い画素によって構成される高明度領域を特定し、ステップS706で処理が終了する。
【0053】
図8は、本発明の画像処理装置が使用するノイズ除去フィルタの一実施形態を示す図である。図8に示すノイズ除去フィルタ810,820は平滑化フィルタであり、対象画素である中心画素の輝度および周辺画素の輝度の平均値を対象画素の輝度とする。解像度の高い画像データについては、平均値の算出範囲の大きなノイズ除去フィルタを使用して、局所的なノイズや微細なスクリーン上の点の影響を排除するのが好適である。図8に示す実施形態では、3×3および5×5の大きさのノイズ除去フィルタを示しているが、その他の大きさのノイズ除去フィルタを使用することができる。また、他の実施形態では、上述したようにノイズ除去フィルタとして、対象画素および周辺画素の輝度を加重平均して対象画素の輝度を算出するガウシアンフィルタ等の空間フィルタを採用することもできる。
【0054】
図9は、図1に示す画像処理装置が投影画像の明度を補正する処理を示すフローチャートである。以下、図9を参照して、図3に示すステップS304で実行される処理について説明する。
【0055】
図9の処理は、ステップS900から開始し、ステップS901で明度補正部118が、白色画像を照射して得られた撮影画像に含まれる低明度領域の明度値aを取得する。ステップS902では、明度補正部118は、投影画像である白色画像の明度値pを取得する。ステップS903では、明度補正部118は、明度値pから変数rの値を減算した値を変数qに代入する。本実施形態では、0〜255の範囲の任意の値を変数rの初期値とすることができるが、他の実施形態では、種々のデータ量のカラー表現に適した値とすることができる。
【0056】
ステップS904では、明度補正部118は、投影画像である白色画像の明度値を変数qが示す値に変更する。ステップS905では、投影部104は、明度値が変更された投影画像をスクリーンに投影する。ステップS906では、撮影部106は、スクリーンを撮影して撮影画像を生成し、座標変換部112が当該撮影画像を射影変換する。ステップS907では、明度領域特定部114は、当該撮影画像のノイズを除去して高明度領域を特定し、その明度値bを取得する。
【0057】
ステップS908では、明度補正部118は、低明度領域の明度値aと、ステップS906で取得した撮影画像の高明度領域の明度値bとの差の絶対値が、所定の閾値tよりも小さいか否か判断する。本実施形態では、閾値tの値は、最初の撮影画像の低明度領域の明度値と、ステップS906で取得した撮影画像の高明度領域の明度値との差をユーザが視認できない程度の値とすることが好適である。
【0058】
ステップS908の判定で明度値aと明度値bとの差の絶対値が閾値t以上であると判断した場合(no)、ステップS909で明度補正部118は、低明度領域の明度値aが、ステップS906で取得した撮影画像の高明度領域の明度値bよりも小さいか否か判断する。明度値aが明度値bよりも小さいと判断した場合には(yes)、処理をステップS912に分岐する。
【0059】
一方、明度値aが明度値b以上であると判断した場合には(no)、処理をステップS910に分岐する。ステップS910では、明度補正部118は、変数qに変数rの値を加算した値を変数qの値とする。ステップS911では、明度補正部118は、変数rの値を半分にする。ステップS912では、明度補正部118は、変数qから変数rの値を減算した値を変数qの値とし、ステップS904の処理を実行する。これにより、変数rの値が過大で明度値を変更した投影画像の高明度領域の明度が、明度値を変更する前に生成された白色画像の撮影画像の低明度領域の明度以下になってしまった場合でも、適切な高明度領域の明度値を導出することができる。
【0060】
一方、ステップS908の判定で明度値aと明度値bとの差の絶対値が閾値tよりも小さいと判断した場合には(yes)、処理をステップS913に分岐する。ステップS913では、投影画像生成部116は、テストパターン格納部122からテストパターンを取得する。ステップS914では、投影画像生成部116は、テストパターンを構成する総ての画素の明度値を比率q/pで変換して、テストパターンの明度を変更する。ステップS915では、投影部104は、明度を変更したテストパターンを投影し、ステップS916で処理が終了する。
【0061】
図10は、図1に示す画像処理装置が補正した投影画像の明度に対してユーザが意思表示するための確認画像の一実施形態を示す図である。確認画像1000は、投影画像の明度を了承するか否かの判断を促す文言と共に、ユーザが意思表示するための方法を示す情報1010が含まれる。本実施形態では、ユーザは画像処理装置100に設けられた所定の操作ボタンを押下することにより、意思表示することができる。
【0062】
図11は、本発明の画像処理装置が投影する低明度領域提示画像の一実施形態を示す図である。低明度領域提示画像1100は、スクリーン等の被投影部材の掃除を促す文言1110と共に、スクリーンの汚れによって明度が低下している領域を示す図形1120が含まれる。本実施形態では、最も明度の低い領域を対象としているが、他の実施形態では、所定の明度以下の明度を有する総ての領域を対象とすることもできる。文言1110は、ユーザの視認性を考慮し、図形1120の領域外に表示することが好適である。
【0063】
図12は、本発明の別の実施形態に係る画像処理装置1200の機能構成を示す図である。なお、画像処理装置1200は、画像処理装置100と同様の構成を有するため、以下、相違点を中心に説明する。
【0064】
画像処理装置1200は、画像処理装置100が有する機能手段に加えて、照度算出部1226と、照度格納部1228とを含んで構成される。
【0065】
照度算出部1226は、投影画像の照度を算出する機能手段である。照度算出部1226は、明度領域特定部114が抽出する高明度領域および低明度領域の照度を取得し、投影部が照射する光の照度の候補(以下、「候補照度」とする。)を算出し、照度格納部1228に保存する。具体的には、照度算出部1226は、下記数式6を用いて、複数の候補照度を算出することができる。
【0066】
【数6】
ここで、a1〜anは候補照度を示す。また、a0は高明度領域の照度を示し、azは高明度領域の照度を示す。また、Δaは所定の差分照度であり、照度azと照度a0の差分をn分割した値である。なお、nは任意の正の整数である。
【0067】
図13は、図12に示す画像処理装置が実行する処理を示すフローチャートである。以下、図13を参照して、画像処理装置1200が投影画像の明度を補正する場合に実行する処理について説明する。
【0068】
図13の処理は、ステップS1300から開始し、ステップS1301では、画像処理装置1200の制御部102が、投影部104、撮影部106、照射範囲特定部110および明度補正部118を用いて、図3に示すように、画像処理装置1200の照射光の照射範囲を特定する。
【0069】
ステップS1302では、制御部102が座標変換部112を呼び出し、座標変換部112は、ステップS1301で撮影部106が生成した撮影画像を用いて座標変換式を導出する。ステップ1303では、制御部102が明度領域特定部114を呼び出し、明度領域特定部114は、照射範囲内で低明度領域および高明度領域を特定する。
【0070】
ステップS1304では、制御部102が照度算出部1226を呼び出し、照度算出部1226は、低明度領域の照度a0および高明度領域の照度azを取得する。ステップS1305では、照度算出部1226は、低明度領域の照度a0および高明度領域の照度azを使用して複数の候補照度を算出する。
【0071】
ステップS1306では、制御部102は変数iを0で初期化する。ステップS1307では、制御部102は、投影画像生成部116、明度補正部118および投影部106を用いて、照度aiでテストパターンを投影する。ステップS1308では、制御部102は、投影部104および投影画像生成部116を使用して、図14に示すような確認画像を投影する。
【0072】
ステップS1309では、検知部124が、ステップS1308で投影した投影画像の照度をユーザが了承した旨の指示を受信したか否か判断する。ユーザが了承した旨の指示を受信した場合には(yes)、ステップS1313で処理が終了する。一方、ユーザが了承した旨の指示を受信していない場合には(no)、ステップS1310で制御部102は変数iをインクリメントする。ステップS1311では、制御部102は変数iがnよりも大きいか否か判断する。変数iがn以下である場合には(no)、処理をステップS1307に戻す。一方、変数iがnよりも大きい場合には(yes)、処理をステップS1312に分岐させる。
【0073】
ステップS1312では、制御部102は投影画像生成部116を呼び出し、投影画像生成部116は、提示画像生成部120と協働して低明度領域提示画像を生成し、投影部104が当該画像を投影して、ステップS1313で処理が終了する。
【0074】
図13に示す実施形態では、上述したように低い照度から順にテストパターンを投影する。これにより、スクリーン上の汚れが完全に消える照度だけでなく、汚れが少し残るがより明度の高い照度で投影することができる。他の実施形態では、高い照度から順にテストパターンを投影し、ユーザが所望する照度で投影するようにしてもよい。
【0075】
また、本実施形態では、ユーザからの了承した旨の指示を待って処理を実行するが、他の実施形態では、一定時間以内にユーザからの了承した旨の指示が無い場合に、自動的に別の照度で投影画像を投影させ、ユーザからの了承した旨の指示を受信したときに、そのときの照度を、画像処理装置1200が投影する照度として採用してもよい。
【0076】
図14は、図12に示す画像処理装置が投影する確認画像の一実施形態を示す図である。図14に示す確認画像1400は、投影画像生成部116によって生成される。確認画像1400には、投影画像の明度を了承するか否かの判断を促す文言と、ユーザが意思表示するための方法とを含む情報1410が表示される。また、確認画像1400には、現在投影されている候補照度を示す数値「3」(=i+1)と、候補照度の総数を示す数値「7」(=n+1)とが表示される。
【0077】
上述した実施形態では、画像処理装置100に上述した機能を実装するが、他の実施形態では、PC等の情報処理装置に上述した機能手段を実装することができる。この場合、情報処理装置は、外部接続したプロジェクター等の投影装置やデジタルカメラ等の撮影装置を使用して、種々の画像の投影および撮影を行うことができる。
【0078】
情報処理装置は、PENTIUM(登録商標)プロセッサまたは互換プロセッサなどの種々のプロセッサを搭載し、Windows(登録商標)、MacOS(登録商標)、UNIX(登録商標)、LINUX(登録商標)などのOSの管理下で、アセンブラ、C、C++、Java(登録商標)、JavaScript(登録商標)、PERL、RUBY、PYTHONなどのプログラム言語で記述された本発明のプログラムを実行する。また、情報処理装置は、本発明のプログラムを実行するための実行空間を提供するRAM、プログラムやデータなどを持続的に保持するためのハードディスク装置などを含んでおり、本発明のプログラムを実行することにより、上述した各機能手段を情報処理装置上に実現する。
【0079】
本発明のプログラムは、HDD、CD−ROM、MO、フレキシブルディスク、EEPROM、EPROMなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。
【0080】
これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の構成要件の追加や本実施形態の構成要件の変更または削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【0081】
100…画像処理装置、130…スクリーン、102…制御部、104…投影部、106…撮影部、108…画像バッファ、110…照射範囲特定部、112…座標変換部、114…明度領域特定部、116…投影画像生成部、118…明度補正部、120…提示画像生成部、122…テストパターン格納部、124…検知部、1226…照度算出部、1228…照度格納部
【先行技術文献】
【特許文献】
【0082】
【特許文献1】特開平11−313346号公報
【特許請求の範囲】
【請求項1】
画像データを処理する画像処理装置であって、
画像データを投影する投影手段と、
投影された画像データを撮影して撮影画像を生成する撮影手段と、
前記撮影画像の明度の高い領域および明度の低い領域を特定する領域特定手段と、
投影すべき画像データである投影画像の明度を補正する補正手段とを含み、
前記補正手段は、白色画像を投影して得られる撮影画像に含まれる明度の高い領域の明度を、前記撮影画像に含まれる明度の低い領域の明度に漸次的に変更して前記投影画像の明度とし、
前記投影手段は、明度を補正した投影画像と、前記投影画像の明度の変更に対してユーザが意思表示する方法を示す画像とを投影する、画像処理装置。
【請求項2】
画像データを処理する画像処理装置であって、
画像データを投影する投影手段と、
投影された画像データを撮影して撮影画像を生成する撮影手段と、
前記撮影画像の明度の高い領域および明度の低い領域を特定する領域特定手段と、
前記明度の高い領域の照度と、前記明度の低い領域の照度とを使用して、複数の照度を算出する照度算出手段とを含み、
前記投影手段は、前記照度算出手段が算出した照度で前記照度についてユーザが意思表示する方法を示す画像を投影する、画像処理装置。
【請求項3】
前記画像処理装置は、
前記撮影画像に含まれる明度の低い領域を提示する画像を生成する手段を含み、
前記投影手段は、前記明度の低い領域を提示する画像を投影する、請求項1または2に記載の画像処理装置。
【請求項4】
前記明度の低い領域を提示する画像は、被投影部材上の前記領域の掃除を促す文言を含む、請求項3に記載の画像処理装置。
【請求項5】
画像データを処理する画像処理装置が実行する方法であって、前記方法は、前記画像処理装置が、
白色画像を投影するステップと、
投影された画像を撮影して撮影画像を生成するステップと、
前記撮影画像の明度の高い領域および明度の低い領域を特定するステップと、
前記撮影画像に含まれる明度の高い領域の明度を、前記撮影画像に含まれる明度の低い領域の明度に漸次的に変更して、投影画像の明度を補正するステップと、
明度を補正した投影画像と、前記投影画像の明度の変更に対してユーザが意思表示する方法を示す画像とを投影するステップと
を含む、方法。
【請求項6】
画像データを処理する画像処理装置が実行する方法であって、前記方法は、前記画像処理装置が、
白色画像を投影するステップと、
投影された画像を撮影して撮影画像を生成するステップと、
前記撮影画像の明度の高い領域および明度の低い領域を特定するステップと、
前記明度の高い領域の照度と、前記明度の低い領域の照度とを使用して、複数の照度を算出するステップとを含み、
前記投影するステップは、前記算出した照度で前記照度についてユーザが意思表示する方法を示す画像を投影する、方法。
【請求項7】
画像データを処理する情報処理装置であって、
投影装置に画像データを投影する投影手段と、
投影された画像データを撮影装置に撮影させて撮影画像を生成する撮影手段と、
前記撮影画像の明度の高い領域および明度の低い領域を特定する領域特定手段と、
投影すべき画像データである投影画像の明度を補正する補正手段とを含み、
前記補正手段は、白色画像を投影して得られる撮影画像に含まれる明度の高い領域の明度を、前記撮影画像に含まれる明度の低い領域の明度に漸次的に変更して前記投影画像の明度とし、
前記投影手段は、明度を補正した投影画像と、前記投影画像の明度の変更に対してユーザが意思表示する方法を示す画像とを投影させる、情報処理装置。
【請求項8】
画像データを処理する情報処理装置であって、
画像データを投影する投影手段と、
投影された画像データを撮影して撮影画像を生成する撮影手段と、
前記撮影画像の明度の高い領域および明度の低い領域を特定する領域特定手段と、
前記明度の高い領域の照度と、前記明度の低い領域の照度とを使用して、複数の照度を算出する照度算出手段とを含み、
前記投影手段は、前記照度算出手段が算出した照度で前記照度についてユーザが意思表示する方法を示す画像を投影する、情報処理装置。
【請求項9】
前記情報処理装置は、
前記撮影画像に含まれる明度の低い領域を提示する画像を生成する手段を含み、
前記投影手段は、前記明度の低い領域を提示する画像を投影させる、請求項7または8に記載の情報処理装置。
【請求項10】
画像データを処理する情報処理装置が実行する方法であって、前記方法は、前記情報処理装置が、
投影装置に白色画像を投影させるステップと、
投影された画像を撮影装置に撮影させて撮影画像を生成するステップと、
前記撮影画像の明度の高い領域および明度の低い領域を特定するステップと、
前記撮影画像に含まれる明度の高い領域の明度を、前記撮影画像に含まれる明度の低い領域の明度に漸次的に変更して、投影画像の明度を補正するステップと、
明度を補正した投影画像と、前記投影画像の明度の変更に対してユーザが意思表示する方法を示す画像とを投影装置に投影させるステップと
を含む、方法。
【請求項11】
画像データを処理する情報処理装置が実行する方法であって、前記方法は、前記情報処理装置が、
白色画像を投影するステップと、
投影された画像を撮影して撮影画像を生成するステップと、
前記撮影画像の明度の高い領域および明度の低い領域を特定するステップと、
前記明度の高い領域の照度と、前記明度の低い領域の照度とを使用して、複数の照度を算出するステップとを含み、
前記投影するステップは、前記算出した照度で前記照度についてユーザが意思表示する方法を示す画像を投影する、方法。
【請求項12】
画像処理装置に対して、請求項5または6に記載のステップを実行させるためのコンピュータ実行可能なプログラム。
【請求項13】
情報処理装置に対して、請求項10または11に記載のステップを実行させるためのコンピュータ実行可能なプログラム。
【請求項14】
請求項12または13に記載されたプログラムを記録したコンピュータ可読な記録媒体。
【請求項1】
画像データを処理する画像処理装置であって、
画像データを投影する投影手段と、
投影された画像データを撮影して撮影画像を生成する撮影手段と、
前記撮影画像の明度の高い領域および明度の低い領域を特定する領域特定手段と、
投影すべき画像データである投影画像の明度を補正する補正手段とを含み、
前記補正手段は、白色画像を投影して得られる撮影画像に含まれる明度の高い領域の明度を、前記撮影画像に含まれる明度の低い領域の明度に漸次的に変更して前記投影画像の明度とし、
前記投影手段は、明度を補正した投影画像と、前記投影画像の明度の変更に対してユーザが意思表示する方法を示す画像とを投影する、画像処理装置。
【請求項2】
画像データを処理する画像処理装置であって、
画像データを投影する投影手段と、
投影された画像データを撮影して撮影画像を生成する撮影手段と、
前記撮影画像の明度の高い領域および明度の低い領域を特定する領域特定手段と、
前記明度の高い領域の照度と、前記明度の低い領域の照度とを使用して、複数の照度を算出する照度算出手段とを含み、
前記投影手段は、前記照度算出手段が算出した照度で前記照度についてユーザが意思表示する方法を示す画像を投影する、画像処理装置。
【請求項3】
前記画像処理装置は、
前記撮影画像に含まれる明度の低い領域を提示する画像を生成する手段を含み、
前記投影手段は、前記明度の低い領域を提示する画像を投影する、請求項1または2に記載の画像処理装置。
【請求項4】
前記明度の低い領域を提示する画像は、被投影部材上の前記領域の掃除を促す文言を含む、請求項3に記載の画像処理装置。
【請求項5】
画像データを処理する画像処理装置が実行する方法であって、前記方法は、前記画像処理装置が、
白色画像を投影するステップと、
投影された画像を撮影して撮影画像を生成するステップと、
前記撮影画像の明度の高い領域および明度の低い領域を特定するステップと、
前記撮影画像に含まれる明度の高い領域の明度を、前記撮影画像に含まれる明度の低い領域の明度に漸次的に変更して、投影画像の明度を補正するステップと、
明度を補正した投影画像と、前記投影画像の明度の変更に対してユーザが意思表示する方法を示す画像とを投影するステップと
を含む、方法。
【請求項6】
画像データを処理する画像処理装置が実行する方法であって、前記方法は、前記画像処理装置が、
白色画像を投影するステップと、
投影された画像を撮影して撮影画像を生成するステップと、
前記撮影画像の明度の高い領域および明度の低い領域を特定するステップと、
前記明度の高い領域の照度と、前記明度の低い領域の照度とを使用して、複数の照度を算出するステップとを含み、
前記投影するステップは、前記算出した照度で前記照度についてユーザが意思表示する方法を示す画像を投影する、方法。
【請求項7】
画像データを処理する情報処理装置であって、
投影装置に画像データを投影する投影手段と、
投影された画像データを撮影装置に撮影させて撮影画像を生成する撮影手段と、
前記撮影画像の明度の高い領域および明度の低い領域を特定する領域特定手段と、
投影すべき画像データである投影画像の明度を補正する補正手段とを含み、
前記補正手段は、白色画像を投影して得られる撮影画像に含まれる明度の高い領域の明度を、前記撮影画像に含まれる明度の低い領域の明度に漸次的に変更して前記投影画像の明度とし、
前記投影手段は、明度を補正した投影画像と、前記投影画像の明度の変更に対してユーザが意思表示する方法を示す画像とを投影させる、情報処理装置。
【請求項8】
画像データを処理する情報処理装置であって、
画像データを投影する投影手段と、
投影された画像データを撮影して撮影画像を生成する撮影手段と、
前記撮影画像の明度の高い領域および明度の低い領域を特定する領域特定手段と、
前記明度の高い領域の照度と、前記明度の低い領域の照度とを使用して、複数の照度を算出する照度算出手段とを含み、
前記投影手段は、前記照度算出手段が算出した照度で前記照度についてユーザが意思表示する方法を示す画像を投影する、情報処理装置。
【請求項9】
前記情報処理装置は、
前記撮影画像に含まれる明度の低い領域を提示する画像を生成する手段を含み、
前記投影手段は、前記明度の低い領域を提示する画像を投影させる、請求項7または8に記載の情報処理装置。
【請求項10】
画像データを処理する情報処理装置が実行する方法であって、前記方法は、前記情報処理装置が、
投影装置に白色画像を投影させるステップと、
投影された画像を撮影装置に撮影させて撮影画像を生成するステップと、
前記撮影画像の明度の高い領域および明度の低い領域を特定するステップと、
前記撮影画像に含まれる明度の高い領域の明度を、前記撮影画像に含まれる明度の低い領域の明度に漸次的に変更して、投影画像の明度を補正するステップと、
明度を補正した投影画像と、前記投影画像の明度の変更に対してユーザが意思表示する方法を示す画像とを投影装置に投影させるステップと
を含む、方法。
【請求項11】
画像データを処理する情報処理装置が実行する方法であって、前記方法は、前記情報処理装置が、
白色画像を投影するステップと、
投影された画像を撮影して撮影画像を生成するステップと、
前記撮影画像の明度の高い領域および明度の低い領域を特定するステップと、
前記明度の高い領域の照度と、前記明度の低い領域の照度とを使用して、複数の照度を算出するステップとを含み、
前記投影するステップは、前記算出した照度で前記照度についてユーザが意思表示する方法を示す画像を投影する、方法。
【請求項12】
画像処理装置に対して、請求項5または6に記載のステップを実行させるためのコンピュータ実行可能なプログラム。
【請求項13】
情報処理装置に対して、請求項10または11に記載のステップを実行させるためのコンピュータ実行可能なプログラム。
【請求項14】
請求項12または13に記載されたプログラムを記録したコンピュータ可読な記録媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2013−30150(P2013−30150A)
【公開日】平成25年2月7日(2013.2.7)
【国際特許分類】
【出願番号】特願2012−54969(P2012−54969)
【出願日】平成24年3月12日(2012.3.12)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
【公開日】平成25年2月7日(2013.2.7)
【国際特許分類】
【出願日】平成24年3月12日(2012.3.12)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
[ Back to top ]