投影装置
【課題】投影された画像の視認性を著しく低下させることなく、投影面の色や模様に対する入力画像の補正を行うことができる投影装置を提供する。
【解決手段】投影面の反射率分布を検出し、検出された反射率分布を入力画像に基づいて補正し、補正された反射率分布を平滑化し、検出された反射率分布および平滑化された反射率分布に基づいて入力画像を補正し、補正された入力画像を投射ユニット１１０を使用して投影面に投影させる画像処理部１０１Ａを備える。
【解決手段】投影面の反射率分布を検出し、検出された反射率分布を入力画像に基づいて補正し、補正された反射率分布を平滑化し、検出された反射率分布および平滑化された反射率分布に基づいて入力画像を補正し、補正された入力画像を投射ユニット１１０を使用して投影面に投影させる画像処理部１０１Ａを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影装置に関する。
【背景技術】
【０００２】
投影機器の小型化によって投影機器の持ち運びが便利になり、部屋の壁など、スクリーン以外の投影面に画像を投影する機会が多くなる。しかし、スクリーン以外の投影面には色や模様がついている場合、その投影面に画像を投影すると、投影面の色や模様の影響で投影された画像の視認性が悪くなる。そこで、投影面の反射率分布に応じて補正した画像を投影して、画像が投影された投影面に投影面の色や模様を見えないようにする技術が従来技術として知られている（たとえば、特許文献１，２）。
【特許文献１】特開２００８−６７０８０号公報
【特許文献２】特開２００７−３２２６７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１や特許文献２に記載されているような従来技術で入力画像を補正すると、黒線や黒点などの反射率の極めて低い箇所が投影面に存在する場合、投影面に投影された画像の輝度が著しく低下することがある。このため、投影された画像の視認性が入力画像の補正により却って悪くなる場合があるという問題点がある。
【課題を解決するための手段】
【０００４】
請求項１の発明の投影装置は、投影面の反射率分布を検出する反射率分布検出手段と、入力画像を入力する画像入力手段と、反射率分布検出手段によって検出された反射率分布を入力画像に基づいて補正する反射率分布補正手段と、反射率分布補正手段によって補正された反射率分布を平滑化する反射率分布平滑化手段と、反射率分布平滑化手段によって平滑化された反射率分布に基づいて、入力画像を補正する入力画像補正手段と、入力画像補正手段によって補正された入力画像を投影面に投影する投影手段とを備えることを特徴とする。
【発明の効果】
【０００５】
本発明によれば、投影された画像の視認性を著しく低下させることなく、投影面の色や模様に対する入力画像の補正を行うことができる。
【発明を実施するための最良の形態】
【０００６】
以下、図面を参照して本発明を実施するための一実施形態について説明する。本発明による投影装置は、投影された画像の見栄えや視認性を向上させるため、投影面の状態に応じて入力画像を補正する。
【０００７】
図１は、本発明の実施形態による投影装置１を前方から見た図である。図１に示すように、投影装置１の正面には、投影光学系１１１（図２参照）を構成する投影レンズ１１１Ａと、撮像光学系１２１（図２参照）を構成する撮影レンズ１２１Ａとが設けられている。投影装置１は、机上などに載置された状態で前方のスクリーンなどに向けて、内蔵する投射ユニット１１０（図２参照）から画像などを投影する。
【０００８】
図２は、投影装置１の構成を説明するブロック図である。図２において投影装置１は、投射ユニット１１０と、撮像ユニット１２０と、制御回路１０１と、メモリ１０２と、操作部１０３と、外部インターフェイス（Ｉ／Ｆ）回路１０４と、メモリカードインターフェイス（Ｉ／Ｆ）１０５とを備え、メモリカードインターフェイス１０５にはメモリカード１５０が接続される。
【０００９】
制御回路１０１は、マイクロプロセッサおよびその周辺回路からなる。制御回路１０１は、制御プログラムに基づいて、投影装置内各部から入力される信号を用いて所定の演算を行う。そして、制御回路１０１は、演算結果を制御信号として投影装置内各部に出力し、投影装置１の投影動作および撮像動作を制御する。なお、制御プログラムは制御回路１０１内の不図示のＲＯＭに格納される。
【００１０】
制御回路１０１は画像処理部１０１Ａを有する。画像処理部１０１Ａでは、外部インターフェイス１０４を介して取得した画像データまたはメモリカード１５０より取得した画像データに対して画像処理を行う。画像処理部１０１Ａで行う画像処理の詳細については後述する。
【００１１】
メモリ１０２は制御回路１０１の作業用メモリとして使用される。操作部１０３はボタンやスイッチなどで構成され、操作されたボタンやスイッチに対応する操作信号を制御回路１０１へ出力する。メモリカード１５０は、制御回路１０１の指示によりデータの書き込み、保存および読み出しが可能である。
【００１２】
投射ユニット１１０は、投影光学系１１１、液晶パネル１１２、ＬＥＤ光源１１３、および投射制御回路１１４を含む。ＬＥＤ光源１１３は、供給電流に応じた明るさで液晶パネル１１２を照明する。液晶パネル１１２は、投射制御回路１１４からの駆動信号に応じて光像を生成する。投影光学系１１１は、液晶パネル１１２から射出される光像を投射する。投射制御回路１１４は、制御回路１０１からの指示により、ＬＥＤ光源１１３および液晶パネル１１２へ制御信号を出力する。
【００１３】
投射ユニット１１０は制御回路１０１から指示された画像を投影する。投射ユニット１１０は、メモリカード１５０内に保存されている画像データの他、外部インターフェイス回路１０４を介して外部機器から供給される画像データによる画像を投影することができる。メモリカード１５０内に保存されている画像データの画像、または、外部インターフェイス回路１０４を介して外部機器から供給される画像データの画像を、以下、入力画像と呼ぶ。
【００１４】
撮像ユニット１２０は、撮像光学系１２１、撮像素子１２２および撮像制御回路１２３を有し、制御回路１０１からの指示に応じて投影面を撮像する。撮像光学系１２１は、撮像素子１２２の撮像面上に被写体像を結像させる。撮像素子１２２は被写体像を電気信号に変換する。撮像素子１２２としては、ＣＣＤやＣＭＯＳ撮像素子などが用いられる。撮像制御回路１２３は、制御回路１０１からの指示により撮像素子１２２を駆動制御するとともに、撮像素子１２２から出力される電気信号に対して所定の信号処理を行う。
【００１５】
次に、制御回路１０１の画像処理部１０１Ａで行われる画像処理を説明する。本発明の実施形態の画像処理では、入力画像を投影面に投射したときに投影面の模様や汚れが目立たなくなるように、撮像ユニット１２０により撮影した投影面の画像に基づいて、入力画像の補正を行う。
【００１６】
図３のフローチャートを参照して、画像処理部１０１Ａで行う画像処理について説明する。図３の処理は、投影装置１が、投影を開始するための処理を開始するとスタートするプログラムにより画像処理部１０１Ａにおいて実行される。
【００１７】
ステップＳ１では、投影面の反射率を表す画像を算出する。ステップＳ２では、入力画像の画像データを、外部インターフェイス回路１０４を介して、またはメモリカード１５０から読み込み、メモリ１０２に記憶する。ステップＳ３では、補正不可分布を算出する。補正不可分布とは、入力画像の補正により見えないようにすることが困難である投影面の反射率の低い部分の分布である。反射率の低い部分は、投影する画像の輝度を大きく下げることなく、投影された画像を通して見えないようにすることは困難である。
【００１８】
ステップＳ４では、補正不可分布を平滑化する。ステップＳ５では、平滑化された補正不可分布および投影面の反射率を表す画像に基づいて、ステップＳ２で読み込んだ入力画像を補正する。ステップＳ６では、ステップＳ５で補正した入力画像をアナログ変換して、補正した入力画像を投影する。ステップＳ７では、次に投影する入力画像があるか否かを判定する。次に投影する入力画像がある場合はステップＳ７が肯定判定され、ステップＳ２に戻る。次に投影する入力画像がない場合はステップＳ７が否定判定され、画像処理を終了する。
【００１９】
次に、図３のフローチャートのステップＳ１、Ｓ３、Ｓ４，Ｓ５を詳細に説明する。
【００２０】
−投影面の反射率を表す画像の算出−
図４のフローチャートを参照して、ステップＳ１における投影面の反射率を表す画像の算出処理を説明する。ｉ番目の画素値が（Ｒ，Ｇ，Ｂ）ｉで与えられる入力画像を投射ユニット１１０で投影したとき、投影面の撮影画像における、ｉ番目の画素値に対応する画素値を（ＲＰ，ＧＰ，ＢＰ）ｉとする。
【００２１】
ステップＳ１１では、黒画像（（Ｒ，Ｇ，Ｂ）ｉ＝（０，０，０）ｉ）を投影面に投影する。ステップＳ１２では、黒画像を投影した投影面を撮影する。このときの撮影画像Ａ０１の画素値を（ＲＰ，ＧＰ，ＢＰ）ｉ＝（ＲＡ０１，ＧＡ０１，ＢＡ０１）ｉとする。
【００２２】
ステップＳ１３では、白画像（（Ｒ，Ｇ，Ｂ）ｉ＝（２５５，２５５，２５５）ｉ）を投影面に投影する。ステップＳ１４では、白画像を投影した投影面を撮影する。このときの撮影画像Ａ０２の画素値を（ＲＰ，ＧＰ，ＢＰ）ｉ＝（ＲＡ０２，ＧＡ０２，ＢＡ０２）ｉとする。
【００２３】
ステップＳ１５では、撮影画像Ａ０２と撮影画像Ａ０１との差分から投影面の反射率を表す画像Ａ０３を算出する。具体的には、（ＲＡ０３，ＧＡ０３，ＢＡ０３）ｉ＝（ＲＡ０２−ＲＡ０１，ＧＡ０２−ＧＡ０１，ＢＡ０２−ＢＡ０１）ｉの画像を算出する。
【００２４】
−補正不可分布算出−
図５のフローチャートを参照して、図３のステップＳ３で行う補正不可分布の算出処理について説明する。
【００２５】
ステップＳ２１では、入力画像の画素値を規格化する。８ビットの画像データの場合、画素値を２５５で割り算する。つまり、入力画像のｉ番目の規格化された画素値は、（ＲＢ０１，ＧＢ０１，ＢＢ０１）ｉ＝（Ｒ／２５５，Ｇ／２５５，Ｂ／２５５）ｉとなる。ステップＳ２２では、投影面の反射率を表す画像の画素値を規格化する。画像Ａ０３における画素値ＲＡ０３、ＧＡ０３、ＢＡ０３の最大値をＲＭＡＸ、ＧＭＡＸ、ＢＭＡＸとすると、投影面の反射率を表す画像Ａ０３のｉ番目の規格化された画素値は、（ＲＢ０２，ＧＢ０２，ＢＢ０２）ｉ＝（Ｒ／ＲＭＡＸ，Ｇ／ＧＭＡＸ，Ｂ／ＢＭＡＸ）ｉとなる。
【００２６】
ステップＳ２３では、入力画像の規格化された画素値が、投影面の反射率を表す画像Ａ０３の規格化された画素値より大きいか否かを判定する。入力画像の規格化された画素値が、投影面の反射率を表す画像Ａ０３の規格化された画素値より大きい場合は、ステップＳ２３が肯定判定され、ステップＳ２４へ進む。入力画像の規格化された画素値が、投影面の反射率を表す画像Ａ０３の規格化された画素値以下の場合は、ステップＳ２３が否定判定され、ステップＳ２５へ進む。
【００２７】
ステップＳ２４では、補正不可分布Ｂ０３（ＲＢ０３，ＧＢ０３，ＢＢ０３）ｉの補正不可分布値ＲＢ０３，ＧＢ０３，ＢＢ０３を、投影面の反射率を表す画像Ａ０３の規格化された画素値ＲＢ０２，Ｂ０２，ＢＢ０２とする。ステップＳ２５では、補正不可分布Ｂ０３（ＲＢ０３，ＧＢ０３，ＢＢ０３）ｉの補正不可分布値ＲＢ０３，ＧＢ０３，ＢＢ０３を１とする。たとえば、入力画像のｉ番目の規格化された画素値が、ＲＢ０１＞ＲＢ０２、ＧＢ０１＜ＧＢ０２、ＢＢ０１＞ＢＢ０２の場合、補正不可分布Ｂ０３（ＲＢ０３，ＧＢ０３，ＢＢ０３）ｉは、（ＲＢ０２，１，ＢＢ０２）ｉとなる。
【００２８】
ステップＳ２６では、入力画像の全ての画素についてステップＳ２３の比較が終了したか否かを判定する。入力画像の全ての画素についてステップＳ２３の比較が終了した場合はステップＳ２６が肯定判定され、補正不可分布の算出処理を終了する。入力画像の全ての画素の中にステップＳ２３の比較が終了していないものがある場合はステップＳ２６が否定判定され、ステップＳ２３に戻る。
【００２９】
図６を参照して、補正不可分布Ｂ０３の算出処理を具体的に説明する。図６（ａ）は、入力画像を示す図である。図６（ｂ）は、投影面の反射率分布を示す図である。図６（ａ）に示す入力画像を規格化した画像Ｂ０１と、図６（ｂ）に示す反射率分布を表す画像Ａ０３を規格化した画像Ｂ０２とを比較して補正不可分布Ｂ０３を算出すると、図６（ｃ）に示す補正不可分布Ｂ０３となる。
【００３０】
−補正不可分布平滑化処理−
図７のフローチャートを参照して、図３のステップＳ４の補正不可分布平滑化処理を説明する。
【００３１】
ステップＳ３１では、補正不可分布Ｂ０３にローパスフィルタ（平滑化フィルタ）を適用して、補正不可分布の平滑化を行う。図８を参照して、３×３のカーネル（重み平均計算に用いられる局所領域）で行う補正不可分布の平滑化を例に上げて説明する。３×３の画素の中心の画素が注目画素であり、注目画素における補正不可分布値は０．３である。注目画素に隣接する画素の補正不可分布値は、１．０、０．８、１．０、０．６、０．５、０．５、０．７および０．９である。注目画素の補正不可分布値および注目画素に隣接する画素の補正不可分布値について重み平均計算を行うと、つまり、注目画素の補正不可分布値および注目画素に隣接する画素の補正不可分布値に１／９の重み付けをして足し算すると、平滑化後の注目画素の補正不可分布値は算出され、その値は０．７となる。
【００３２】
なお、カーネル（重み平均計算に用いられる局所領域）の大きさは、補正した入力画像を投影したときの見え方によって、適宜選択することができる。たとえば、９×９でもよいし、１３×１３でもよい。また、平滑化の処理をローパスフィルタで行う代わりに、メディアンフィルタで行うようにしてもよい。
【００３３】
ステップＳ３２では、平滑化した補正不可分布のブロック化を行う。以下、平滑化した補正不可分布を平滑補正不可分布と呼ぶ。平滑補正不可分布のブロック化とは、平滑補正不可分布を所定の領域で区分けし、１つの区分けした領域（１つのブロック）に含まれる画素の補正不可分布値の中で、値が最も小さい補正不可分布値をその領域に含まれる画素の補正不可分布値とする処理である。図９を参照して、６×６の画素を１つのブロックとした場合のブロック化の処理を説明する。図９（ａ）に示すように、６×６の画素の中で、つまり、１つのブロックの中で値が最も小さい補正不可分布値は０．５である。したがって、ブロック化の処理を行うと、図９（ｂ）に示すように、１つのブロックに含まれる画素の補正不可分布値は、全て０．５となる。
【００３４】
ステップＳ３３では、ブロック化した平滑補正不可分布にローパスフィルタを適用して、平滑補正不可分布の平滑化を行う。この平滑化の処理におけるカーネルの大きさは、ステップＳ３１の平滑化の処理のときのカーネルの大きさに比べて大きくする。たとえば、１０１×１０１〜２０１×２０１とする。以下、ブロック化した平滑補正不可分布をさらに平滑化したものを輝度値低下倍率分布と呼ぶ。
【００３５】
図１０を参照して、補正不可分布平滑化処理を具体的に説明する。図１０（ａ）は、図６（ｃ）の補正不可分布を平滑した平滑補正不可分布を示す図である。平滑化するときのカーネルの大きさは９×９である。図１０（ｂ）は、図１０（ａ）の平滑補正不可分布をブロック化したもの示す図である。１つのブロックは、２０×３０の画素から構成される。図１０（ｃ）は、図１０（ｂ）のブロック化した平滑補正不可分布をさらに平滑化した輝度値低下倍率分布を示す図である。
【００３６】
−入力画像の補正−
図１１のフローチャートを参照して、図３のステップＳ５の入力画像の補正処理について説明する。
【００３７】
ステップＳ４１では、入力画像に輝度値低下倍率分布を乗算する。たとえば、入力画像のｉ番目の画素値が（Ｒ，Ｇ，Ｂ）ｉであり、輝度値低下倍率分布のｉ番目の画素における補正不可分布値が（α，β，γ）ｉである場合、入力画像に輝度値低下倍率分布を乗算した画像のｉ番目の画素における値は、（Ｒα，Ｇβ，Ｂγ）ｉとなる。
【００３８】
ステップＳ４２では、入力画像に輝度値低下倍率分布を乗算した画像を、さらに投影面の反射率を表す画像で割り算する。たとえば、入力画像に輝度値低下倍率分布を乗算した画像のｉ番目の画素における値が（Ｒα，Ｇβ，Ｂγ）ｉであり、投影面の反射率を表す画像のｉ番目の画素における画素値が（ＲＡ０３，ＧＡ０３，ＢＡ０３）ｉである場合、入力画像に輝度値低下倍率分布を乗算した画像を、投影面の反射率を表す画像の画素値で割り算した２つの画像の比は、（Ｒα／ＲＡ０３，Ｇβ／ＧＡ０３，Ｂγ／ＢＡ０３）ｉとなる。この２つの画像の比を量子化して作成した画像が、入力画像を補正した画像となる。この画像が撮像装置１から投影される。
【００３９】
図１２を参照して、入力画像の補正処理を具体的に説明する。図１２（ａ）は、入力画像（図６（ａ）参照）に輝度値低下倍率分布（図１０（ｃ）参照）を乗算した画像を示す図である。図１２（ｂ）は、図１２（ａ）の画像を投影面の反射率を表す画像（図６（ｂ）参照）で割り算したものを表した画像である。この画像が撮像装置１から投影される。図１２（ｃ）は、図１２（ｂ）の画像を図６（ｂ）の投影面に投影したときにユーザによって観察される観察画像である。図１２（ｃ）の観察画像では、画像のダイナミックレンジが広く、また、投影面の模様や色が目立たない。
【００４０】
参考のために、入力画像を補正しないで投影した場合の観察画像を図１３に示す。図１３（ａ）は、入力画像を示す図であり、入力画像は、「空」を背景に撮影された山頂の画像である。図１３（ｂ）は投影面の画像である。図１３（ｃ）は、図１３（ａ）の画像を図１３（ｂ）の投影面に投影したときにユーザによって観察される観察画像である。１３（ｃ）の観察画像では、投影面の模様が投影された画像の「空」の領域でよく見える。
【００４１】
次に、図１４および図１５を参照して、補正された入力画像を投影面に投影したときに投影面で観察される観察画像と、補正不可分布を平滑化するときのカーネルの大きさとの関係を説明する。図１４（ａ）は、平滑化をしない場合（カーネルの大きさがゼロの場合）の観察画像である。図１４（ｂ）は、カーネルの大きさを３×３にした場合の観察画像であり、図１４（ｃ）は、カーネルの大きさを５×５にした場合の観察画像である。図１５（ａ）は、カーネルの大きさを９×９にした場合の観察画像であり、図１５（ｂ）は、カーネルの大きさを１３×１３にした場合の観察画像である。図１５（ｃ）は、カーネルの大きさを２５×２５にした場合の観察画像である。
【００４２】
図１４（ａ）に示すように、補正不可分布を平滑化しないと観察画像のダイナミックレンジが非常に狭くなり、観察画像の視認性が非常に悪くなる。図１４（ｂ）、図１４（ｃ）、図１５（ａ）、図１５（ｂ）に示すように、補正不可分布を平滑化するときのカーネルの大きさが大きくなるにしたがって、観察画像のダイナミックレンジは広がり、観察画像の視認性が良好になる。しかし、図１５（ｃ）に示すように、カーネルの大きさが大きくなりすぎると、投影面の模様などが少し目立つようになる。
【００４３】
以上説明した実施形態によれば、次の作用効果が得られる。
（１）投影面の反射率分布を検出し、入力画像を入力し、検出された反射率分布を入力画像に基づいて補正し、補正された反射率分布を平滑化し、平滑化された反射率分布に基づいて入力画像を補正し、補正された入力画像を投影面に投影するようにした。これにより、投影された画像の視認性を著しく低下させることなく、投影面の色や模様に対する入力画像の補正を行うことができる。
【００４４】
（２）検出された反射率分布に基づいて、さらに入力画像を補正するようにしたので、投影面の色や模様に対する入力画像の補正を適切に行うことができる。
【００４５】
（３）反射率分布補正手段によって補正された反射率分布を平滑化し、平滑化された反射率分布の中で反射率の低い領域を拡張し、反射率の低い領域が拡張された反射率分布をさらに平滑化することによって、反射率分布の平滑化を行うようにした。これにより、入力画像を補正するときに使用する、平滑化された反射率分布を適切に算出することができる。
【００４６】
（４）反射率分布の平滑化の処理の際の低反射率領域の拡張で、平滑化された反射率分布を区分けし、区分けした領域内の反射率分布の中で低い反射率をその区分けした領域の反射率とすることにより、平滑化された反射率分布の中で反射率の低い領域を拡張するようにした。これにより、入力画像を適切に補正できるように、平滑化された反射率分布の中で反射率の低い領域を拡張することができる。
【００４７】
（５）ブロック化した平滑反射率分布の平滑化（２回目の平滑化）における重み平均計算に用いられる局所領域は、平滑反射率分布の平滑化（１回目の平滑化）における重み平均計算に用いられる局所領域に比べて大きくするようにした。これにより、入力画像を補正して入力画像のダイナミックレンジを部分的に狭くした場合、その部分を目立たないようにすることができる。
【００４８】
（６）入力画像の規格化した画素値と、投影面の規格化した反射率とを比較して補正不可分布を算出するようにしたので、投影面の中から、投影された画像の視認性が悪くならないように補正することが困難である、反射率の低い部分を適切に抽出することができる。また、入力画像の規格化した画素値と、投影面の反射率を表す画像の規格化された画素値とを比較することによって、入力画像の規格化した画素値と、投影面の規格化した反射率との比較するようにしたので、両者の比較を簡単に行うことができる。
【００４９】
以上の実施の形態を次のように変形することができる。
（１）投影面の反射率分布を表す画像を算出することによって投影面の反射率分布を検出したが、投影面の反射率分布を検出できれば、実施形態に限定されない。たとえば、投射ユニット１１０から投射された光の強度と、撮像ユニット１２０によって検出された投影面の反射光の強度とに基づいて反射率分布を検出するようにしてもよい。
【００５０】
（２）投影面に投影された画像のダイナミックレンジが非常に狭くならなければ、投影面の反射率分布の平滑化は、実施形態に限定されない。たとえば、ローパスフィルタを適用して投影面の反射率分布を平滑化し、その後のブロック化の処理や２度目の平滑化の処理を行わないようにしてもよい。
【００５１】
（３）平滑化された反射率分布の中で反射率の低い領域を拡張する方法は、入力画像の補正を適切に行えるように反射率の低い領域を拡張できれば、平滑された補正不可分布のブロック化に限定されない。また、入力画像の補正を適切に行えれば、平滑化された反射率分布の中で拡張する領域の反射率も実施形態に限定されない。
【００５２】
（４）入力画像の画素値を規格化するとき、入力画像の画素値の最大値で各画素の画素値を割り算することによって規格化するようにしてもよい。
【００５３】
（５）入力画像の規格化した画素値と、投影面の規格化した反射率との比較を、入力画像の規格化した画素値と、投影面の反射率を表す画像の規格化された画素値とを比較することによって行ったが、入力画像の規格化した画素値と、検出した投影面の反射率を規格化したものとを比較するようにしてもよい。
【００５４】
（６）検出された反射率分布と、平滑化された反射率分布とに基づいて、入力画像を補正したが、入力画像に基づいて補正された反射率分布と、平滑化された反射分布とに基づいて入力画像を補正するようにしてもよい。この場合、入力画像の輝度の低い部分はあまり補正されないが、入力画像の輝度の低い部分における投影面の色や模様は目立たないので、投影された画像の視認性に問題はない。また、平滑化された反射率分布で入力画像を補正し、その補正した入力画像を、投影面の模様などの影響を抑制する従来の補正方法で補正するようにしてもよい。さらに、投影面の模様などの影響を抑制する従来の補正方法の各画素に対する補正値に、平滑化された反射率分布に基づいて重み付けを行い、その重み付けを行った補正値で入力画像を補正するようにしてもよい。
【００５５】
（７）投影面に照射された周辺光の影響を抑制するように入力画像を補正する場合も本発明を適用することができる。この場合の適用例の概略を図１６のフローチャートを参照して説明する。図１６の処理は、投影装置１が、投影を開始するための処理を開始するとスタートするプログラムにより画像処理部１０１Ａにおいて実行される。図３の処理と同様なステップについては同じ符号を付し、図３の処理と異なる部分を主に説明する。
【００５６】
ステップＳ１Ａでは、黒画像（（Ｒ，Ｇ，Ｂ）ｉ＝（０，０，０）ｉ）を投影した投影面を撮影して、投影面における周辺光の明るさ分布を検出する。ステップＳ２の次はステップＳ３Ａに進み、ステップＳ３Ａでは、入力画像と比較して、周辺光の明るさ分布の中で、入力画像の補正によって影響を小さくすることが困難である明るさ分布を算出する。以下、この算出した明るさ分布を補正不可分布と呼ぶ。たとえば、入力画像の画素値が、黒画像を投影した投影面を撮影した画像の画素値の所定倍以上である場合、補正不可分布値を０とする。また、入力画像の画素値が、黒画像を投影した投影面を撮影した画像の画素値の所定倍以上でない場合、補正不可分布値を、黒画像を投影した投影面を撮影した画像の画素値とする。入力画像の中で輝度の高い部分は周辺光の影響が小さく、輝度の低い部分は周辺光の影響が大きくなるからである。
【００５７】
ステップＳ４Ａでは、図３のステップＳ４と同様にして補正不可分布を平滑化する。ステップＳ５Ａでは、平滑化した補正不可分布と、周辺光の明るさ分布とに基づいて入力画像を補正する。たとえば、平滑化した補正不可分布に応じて入力画像を補正した後、周辺光の明るさ分布に応じて入力画像を補正する。１番目の補正では、平滑化した補正不可分布の中で明るい部分に対応する入力画像の輝度を高くし、平滑化した補正不可分布の中で暗い部分に対応する入力画像の輝度を低くする。２番目の補正では、周辺光の明るさ分布の中で暗い部分に対応する入力画像の輝度値を高くし、周辺光の明るさ分布の中で明るい部分に対応する入力画像の輝度を低くする。そして、ステップＳ６に進む。
【００５８】
実施形態と変形例の一つ、もしくは複数を組み合わせることも可能である。変形例同士をどのように組み合わせることも可能である。
【００５９】
以上の説明はあくまで一例であり、本発明は上記実施形態の構成に何ら限定されるものではない。
【図面の簡単な説明】
【００６０】
【図１】本発明の一実施の形態による投影装置の外観図である。
【図２】本発明の実施形態における投影装置の構成を説明するブロック図である。
【図３】画像処理部で行う画像処理を説明するためのフローチャートである。
【図４】投影面の反射率を表す画像の算出処理を説明するためのフローチャートである。
【図５】補正不可分布の算出処理を説明するためのフローチャートである。
【図６】補正不可分布の算出処理を説明するための図である。
【図７】補正不可分布平滑化処理を説明するためのフローチャートである。
【図８】補正不可分布の平滑化を説明するための図である。
【図９】平滑化した補正不可分布のブロック化を説明するための図である。
【図１０】補正不可分布平滑化処理を説明するための図である。
【図１１】入力画像の補正処理を説明するためのフローチャートである。
【図１２】入力画像の補正処理を説明するための図である。
【図１３】入力画像を補正しないで投影した場合の観察画像を説明するための図である。
【図１４】カーネルの大きさを変更した場合の観察画像を説明するための図である。
【図１５】カーネルの大きさを変更した場合の観察画像を説明するための図である。
【図１６】投影面に照射された周辺光の影響を抑制するように入力画像を補正する場合の画像処理を説明するためのフローチャートである。
【符号の説明】
【００６１】
１ 投影装置
１０１ 制御回路
１０１Ａ 画像処理部
１０４ 外部インターフェイス
１０５ メモリカードインターフェイス
１１０ 投射ユニット
１１１Ａ 投影レンズ
１２０ 撮像ユニット
１２１Ａ 撮影レンズ
【技術分野】
【０００１】
本発明は、投影装置に関する。
【背景技術】
【０００２】
投影機器の小型化によって投影機器の持ち運びが便利になり、部屋の壁など、スクリーン以外の投影面に画像を投影する機会が多くなる。しかし、スクリーン以外の投影面には色や模様がついている場合、その投影面に画像を投影すると、投影面の色や模様の影響で投影された画像の視認性が悪くなる。そこで、投影面の反射率分布に応じて補正した画像を投影して、画像が投影された投影面に投影面の色や模様を見えないようにする技術が従来技術として知られている（たとえば、特許文献１，２）。
【特許文献１】特開２００８−６７０８０号公報
【特許文献２】特開２００７−３２２６７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１や特許文献２に記載されているような従来技術で入力画像を補正すると、黒線や黒点などの反射率の極めて低い箇所が投影面に存在する場合、投影面に投影された画像の輝度が著しく低下することがある。このため、投影された画像の視認性が入力画像の補正により却って悪くなる場合があるという問題点がある。
【課題を解決するための手段】
【０００４】
請求項１の発明の投影装置は、投影面の反射率分布を検出する反射率分布検出手段と、入力画像を入力する画像入力手段と、反射率分布検出手段によって検出された反射率分布を入力画像に基づいて補正する反射率分布補正手段と、反射率分布補正手段によって補正された反射率分布を平滑化する反射率分布平滑化手段と、反射率分布平滑化手段によって平滑化された反射率分布に基づいて、入力画像を補正する入力画像補正手段と、入力画像補正手段によって補正された入力画像を投影面に投影する投影手段とを備えることを特徴とする。
【発明の効果】
【０００５】
本発明によれば、投影された画像の視認性を著しく低下させることなく、投影面の色や模様に対する入力画像の補正を行うことができる。
【発明を実施するための最良の形態】
【０００６】
以下、図面を参照して本発明を実施するための一実施形態について説明する。本発明による投影装置は、投影された画像の見栄えや視認性を向上させるため、投影面の状態に応じて入力画像を補正する。
【０００７】
図１は、本発明の実施形態による投影装置１を前方から見た図である。図１に示すように、投影装置１の正面には、投影光学系１１１（図２参照）を構成する投影レンズ１１１Ａと、撮像光学系１２１（図２参照）を構成する撮影レンズ１２１Ａとが設けられている。投影装置１は、机上などに載置された状態で前方のスクリーンなどに向けて、内蔵する投射ユニット１１０（図２参照）から画像などを投影する。
【０００８】
図２は、投影装置１の構成を説明するブロック図である。図２において投影装置１は、投射ユニット１１０と、撮像ユニット１２０と、制御回路１０１と、メモリ１０２と、操作部１０３と、外部インターフェイス（Ｉ／Ｆ）回路１０４と、メモリカードインターフェイス（Ｉ／Ｆ）１０５とを備え、メモリカードインターフェイス１０５にはメモリカード１５０が接続される。
【０００９】
制御回路１０１は、マイクロプロセッサおよびその周辺回路からなる。制御回路１０１は、制御プログラムに基づいて、投影装置内各部から入力される信号を用いて所定の演算を行う。そして、制御回路１０１は、演算結果を制御信号として投影装置内各部に出力し、投影装置１の投影動作および撮像動作を制御する。なお、制御プログラムは制御回路１０１内の不図示のＲＯＭに格納される。
【００１０】
制御回路１０１は画像処理部１０１Ａを有する。画像処理部１０１Ａでは、外部インターフェイス１０４を介して取得した画像データまたはメモリカード１５０より取得した画像データに対して画像処理を行う。画像処理部１０１Ａで行う画像処理の詳細については後述する。
【００１１】
メモリ１０２は制御回路１０１の作業用メモリとして使用される。操作部１０３はボタンやスイッチなどで構成され、操作されたボタンやスイッチに対応する操作信号を制御回路１０１へ出力する。メモリカード１５０は、制御回路１０１の指示によりデータの書き込み、保存および読み出しが可能である。
【００１２】
投射ユニット１１０は、投影光学系１１１、液晶パネル１１２、ＬＥＤ光源１１３、および投射制御回路１１４を含む。ＬＥＤ光源１１３は、供給電流に応じた明るさで液晶パネル１１２を照明する。液晶パネル１１２は、投射制御回路１１４からの駆動信号に応じて光像を生成する。投影光学系１１１は、液晶パネル１１２から射出される光像を投射する。投射制御回路１１４は、制御回路１０１からの指示により、ＬＥＤ光源１１３および液晶パネル１１２へ制御信号を出力する。
【００１３】
投射ユニット１１０は制御回路１０１から指示された画像を投影する。投射ユニット１１０は、メモリカード１５０内に保存されている画像データの他、外部インターフェイス回路１０４を介して外部機器から供給される画像データによる画像を投影することができる。メモリカード１５０内に保存されている画像データの画像、または、外部インターフェイス回路１０４を介して外部機器から供給される画像データの画像を、以下、入力画像と呼ぶ。
【００１４】
撮像ユニット１２０は、撮像光学系１２１、撮像素子１２２および撮像制御回路１２３を有し、制御回路１０１からの指示に応じて投影面を撮像する。撮像光学系１２１は、撮像素子１２２の撮像面上に被写体像を結像させる。撮像素子１２２は被写体像を電気信号に変換する。撮像素子１２２としては、ＣＣＤやＣＭＯＳ撮像素子などが用いられる。撮像制御回路１２３は、制御回路１０１からの指示により撮像素子１２２を駆動制御するとともに、撮像素子１２２から出力される電気信号に対して所定の信号処理を行う。
【００１５】
次に、制御回路１０１の画像処理部１０１Ａで行われる画像処理を説明する。本発明の実施形態の画像処理では、入力画像を投影面に投射したときに投影面の模様や汚れが目立たなくなるように、撮像ユニット１２０により撮影した投影面の画像に基づいて、入力画像の補正を行う。
【００１６】
図３のフローチャートを参照して、画像処理部１０１Ａで行う画像処理について説明する。図３の処理は、投影装置１が、投影を開始するための処理を開始するとスタートするプログラムにより画像処理部１０１Ａにおいて実行される。
【００１７】
ステップＳ１では、投影面の反射率を表す画像を算出する。ステップＳ２では、入力画像の画像データを、外部インターフェイス回路１０４を介して、またはメモリカード１５０から読み込み、メモリ１０２に記憶する。ステップＳ３では、補正不可分布を算出する。補正不可分布とは、入力画像の補正により見えないようにすることが困難である投影面の反射率の低い部分の分布である。反射率の低い部分は、投影する画像の輝度を大きく下げることなく、投影された画像を通して見えないようにすることは困難である。
【００１８】
ステップＳ４では、補正不可分布を平滑化する。ステップＳ５では、平滑化された補正不可分布および投影面の反射率を表す画像に基づいて、ステップＳ２で読み込んだ入力画像を補正する。ステップＳ６では、ステップＳ５で補正した入力画像をアナログ変換して、補正した入力画像を投影する。ステップＳ７では、次に投影する入力画像があるか否かを判定する。次に投影する入力画像がある場合はステップＳ７が肯定判定され、ステップＳ２に戻る。次に投影する入力画像がない場合はステップＳ７が否定判定され、画像処理を終了する。
【００１９】
次に、図３のフローチャートのステップＳ１、Ｓ３、Ｓ４，Ｓ５を詳細に説明する。
【００２０】
−投影面の反射率を表す画像の算出−
図４のフローチャートを参照して、ステップＳ１における投影面の反射率を表す画像の算出処理を説明する。ｉ番目の画素値が（Ｒ，Ｇ，Ｂ）ｉで与えられる入力画像を投射ユニット１１０で投影したとき、投影面の撮影画像における、ｉ番目の画素値に対応する画素値を（ＲＰ，ＧＰ，ＢＰ）ｉとする。
【００２１】
ステップＳ１１では、黒画像（（Ｒ，Ｇ，Ｂ）ｉ＝（０，０，０）ｉ）を投影面に投影する。ステップＳ１２では、黒画像を投影した投影面を撮影する。このときの撮影画像Ａ０１の画素値を（ＲＰ，ＧＰ，ＢＰ）ｉ＝（ＲＡ０１，ＧＡ０１，ＢＡ０１）ｉとする。
【００２２】
ステップＳ１３では、白画像（（Ｒ，Ｇ，Ｂ）ｉ＝（２５５，２５５，２５５）ｉ）を投影面に投影する。ステップＳ１４では、白画像を投影した投影面を撮影する。このときの撮影画像Ａ０２の画素値を（ＲＰ，ＧＰ，ＢＰ）ｉ＝（ＲＡ０２，ＧＡ０２，ＢＡ０２）ｉとする。
【００２３】
ステップＳ１５では、撮影画像Ａ０２と撮影画像Ａ０１との差分から投影面の反射率を表す画像Ａ０３を算出する。具体的には、（ＲＡ０３，ＧＡ０３，ＢＡ０３）ｉ＝（ＲＡ０２−ＲＡ０１，ＧＡ０２−ＧＡ０１，ＢＡ０２−ＢＡ０１）ｉの画像を算出する。
【００２４】
−補正不可分布算出−
図５のフローチャートを参照して、図３のステップＳ３で行う補正不可分布の算出処理について説明する。
【００２５】
ステップＳ２１では、入力画像の画素値を規格化する。８ビットの画像データの場合、画素値を２５５で割り算する。つまり、入力画像のｉ番目の規格化された画素値は、（ＲＢ０１，ＧＢ０１，ＢＢ０１）ｉ＝（Ｒ／２５５，Ｇ／２５５，Ｂ／２５５）ｉとなる。ステップＳ２２では、投影面の反射率を表す画像の画素値を規格化する。画像Ａ０３における画素値ＲＡ０３、ＧＡ０３、ＢＡ０３の最大値をＲＭＡＸ、ＧＭＡＸ、ＢＭＡＸとすると、投影面の反射率を表す画像Ａ０３のｉ番目の規格化された画素値は、（ＲＢ０２，ＧＢ０２，ＢＢ０２）ｉ＝（Ｒ／ＲＭＡＸ，Ｇ／ＧＭＡＸ，Ｂ／ＢＭＡＸ）ｉとなる。
【００２６】
ステップＳ２３では、入力画像の規格化された画素値が、投影面の反射率を表す画像Ａ０３の規格化された画素値より大きいか否かを判定する。入力画像の規格化された画素値が、投影面の反射率を表す画像Ａ０３の規格化された画素値より大きい場合は、ステップＳ２３が肯定判定され、ステップＳ２４へ進む。入力画像の規格化された画素値が、投影面の反射率を表す画像Ａ０３の規格化された画素値以下の場合は、ステップＳ２３が否定判定され、ステップＳ２５へ進む。
【００２７】
ステップＳ２４では、補正不可分布Ｂ０３（ＲＢ０３，ＧＢ０３，ＢＢ０３）ｉの補正不可分布値ＲＢ０３，ＧＢ０３，ＢＢ０３を、投影面の反射率を表す画像Ａ０３の規格化された画素値ＲＢ０２，Ｂ０２，ＢＢ０２とする。ステップＳ２５では、補正不可分布Ｂ０３（ＲＢ０３，ＧＢ０３，ＢＢ０３）ｉの補正不可分布値ＲＢ０３，ＧＢ０３，ＢＢ０３を１とする。たとえば、入力画像のｉ番目の規格化された画素値が、ＲＢ０１＞ＲＢ０２、ＧＢ０１＜ＧＢ０２、ＢＢ０１＞ＢＢ０２の場合、補正不可分布Ｂ０３（ＲＢ０３，ＧＢ０３，ＢＢ０３）ｉは、（ＲＢ０２，１，ＢＢ０２）ｉとなる。
【００２８】
ステップＳ２６では、入力画像の全ての画素についてステップＳ２３の比較が終了したか否かを判定する。入力画像の全ての画素についてステップＳ２３の比較が終了した場合はステップＳ２６が肯定判定され、補正不可分布の算出処理を終了する。入力画像の全ての画素の中にステップＳ２３の比較が終了していないものがある場合はステップＳ２６が否定判定され、ステップＳ２３に戻る。
【００２９】
図６を参照して、補正不可分布Ｂ０３の算出処理を具体的に説明する。図６（ａ）は、入力画像を示す図である。図６（ｂ）は、投影面の反射率分布を示す図である。図６（ａ）に示す入力画像を規格化した画像Ｂ０１と、図６（ｂ）に示す反射率分布を表す画像Ａ０３を規格化した画像Ｂ０２とを比較して補正不可分布Ｂ０３を算出すると、図６（ｃ）に示す補正不可分布Ｂ０３となる。
【００３０】
−補正不可分布平滑化処理−
図７のフローチャートを参照して、図３のステップＳ４の補正不可分布平滑化処理を説明する。
【００３１】
ステップＳ３１では、補正不可分布Ｂ０３にローパスフィルタ（平滑化フィルタ）を適用して、補正不可分布の平滑化を行う。図８を参照して、３×３のカーネル（重み平均計算に用いられる局所領域）で行う補正不可分布の平滑化を例に上げて説明する。３×３の画素の中心の画素が注目画素であり、注目画素における補正不可分布値は０．３である。注目画素に隣接する画素の補正不可分布値は、１．０、０．８、１．０、０．６、０．５、０．５、０．７および０．９である。注目画素の補正不可分布値および注目画素に隣接する画素の補正不可分布値について重み平均計算を行うと、つまり、注目画素の補正不可分布値および注目画素に隣接する画素の補正不可分布値に１／９の重み付けをして足し算すると、平滑化後の注目画素の補正不可分布値は算出され、その値は０．７となる。
【００３２】
なお、カーネル（重み平均計算に用いられる局所領域）の大きさは、補正した入力画像を投影したときの見え方によって、適宜選択することができる。たとえば、９×９でもよいし、１３×１３でもよい。また、平滑化の処理をローパスフィルタで行う代わりに、メディアンフィルタで行うようにしてもよい。
【００３３】
ステップＳ３２では、平滑化した補正不可分布のブロック化を行う。以下、平滑化した補正不可分布を平滑補正不可分布と呼ぶ。平滑補正不可分布のブロック化とは、平滑補正不可分布を所定の領域で区分けし、１つの区分けした領域（１つのブロック）に含まれる画素の補正不可分布値の中で、値が最も小さい補正不可分布値をその領域に含まれる画素の補正不可分布値とする処理である。図９を参照して、６×６の画素を１つのブロックとした場合のブロック化の処理を説明する。図９（ａ）に示すように、６×６の画素の中で、つまり、１つのブロックの中で値が最も小さい補正不可分布値は０．５である。したがって、ブロック化の処理を行うと、図９（ｂ）に示すように、１つのブロックに含まれる画素の補正不可分布値は、全て０．５となる。
【００３４】
ステップＳ３３では、ブロック化した平滑補正不可分布にローパスフィルタを適用して、平滑補正不可分布の平滑化を行う。この平滑化の処理におけるカーネルの大きさは、ステップＳ３１の平滑化の処理のときのカーネルの大きさに比べて大きくする。たとえば、１０１×１０１〜２０１×２０１とする。以下、ブロック化した平滑補正不可分布をさらに平滑化したものを輝度値低下倍率分布と呼ぶ。
【００３５】
図１０を参照して、補正不可分布平滑化処理を具体的に説明する。図１０（ａ）は、図６（ｃ）の補正不可分布を平滑した平滑補正不可分布を示す図である。平滑化するときのカーネルの大きさは９×９である。図１０（ｂ）は、図１０（ａ）の平滑補正不可分布をブロック化したもの示す図である。１つのブロックは、２０×３０の画素から構成される。図１０（ｃ）は、図１０（ｂ）のブロック化した平滑補正不可分布をさらに平滑化した輝度値低下倍率分布を示す図である。
【００３６】
−入力画像の補正−
図１１のフローチャートを参照して、図３のステップＳ５の入力画像の補正処理について説明する。
【００３７】
ステップＳ４１では、入力画像に輝度値低下倍率分布を乗算する。たとえば、入力画像のｉ番目の画素値が（Ｒ，Ｇ，Ｂ）ｉであり、輝度値低下倍率分布のｉ番目の画素における補正不可分布値が（α，β，γ）ｉである場合、入力画像に輝度値低下倍率分布を乗算した画像のｉ番目の画素における値は、（Ｒα，Ｇβ，Ｂγ）ｉとなる。
【００３８】
ステップＳ４２では、入力画像に輝度値低下倍率分布を乗算した画像を、さらに投影面の反射率を表す画像で割り算する。たとえば、入力画像に輝度値低下倍率分布を乗算した画像のｉ番目の画素における値が（Ｒα，Ｇβ，Ｂγ）ｉであり、投影面の反射率を表す画像のｉ番目の画素における画素値が（ＲＡ０３，ＧＡ０３，ＢＡ０３）ｉである場合、入力画像に輝度値低下倍率分布を乗算した画像を、投影面の反射率を表す画像の画素値で割り算した２つの画像の比は、（Ｒα／ＲＡ０３，Ｇβ／ＧＡ０３，Ｂγ／ＢＡ０３）ｉとなる。この２つの画像の比を量子化して作成した画像が、入力画像を補正した画像となる。この画像が撮像装置１から投影される。
【００３９】
図１２を参照して、入力画像の補正処理を具体的に説明する。図１２（ａ）は、入力画像（図６（ａ）参照）に輝度値低下倍率分布（図１０（ｃ）参照）を乗算した画像を示す図である。図１２（ｂ）は、図１２（ａ）の画像を投影面の反射率を表す画像（図６（ｂ）参照）で割り算したものを表した画像である。この画像が撮像装置１から投影される。図１２（ｃ）は、図１２（ｂ）の画像を図６（ｂ）の投影面に投影したときにユーザによって観察される観察画像である。図１２（ｃ）の観察画像では、画像のダイナミックレンジが広く、また、投影面の模様や色が目立たない。
【００４０】
参考のために、入力画像を補正しないで投影した場合の観察画像を図１３に示す。図１３（ａ）は、入力画像を示す図であり、入力画像は、「空」を背景に撮影された山頂の画像である。図１３（ｂ）は投影面の画像である。図１３（ｃ）は、図１３（ａ）の画像を図１３（ｂ）の投影面に投影したときにユーザによって観察される観察画像である。１３（ｃ）の観察画像では、投影面の模様が投影された画像の「空」の領域でよく見える。
【００４１】
次に、図１４および図１５を参照して、補正された入力画像を投影面に投影したときに投影面で観察される観察画像と、補正不可分布を平滑化するときのカーネルの大きさとの関係を説明する。図１４（ａ）は、平滑化をしない場合（カーネルの大きさがゼロの場合）の観察画像である。図１４（ｂ）は、カーネルの大きさを３×３にした場合の観察画像であり、図１４（ｃ）は、カーネルの大きさを５×５にした場合の観察画像である。図１５（ａ）は、カーネルの大きさを９×９にした場合の観察画像であり、図１５（ｂ）は、カーネルの大きさを１３×１３にした場合の観察画像である。図１５（ｃ）は、カーネルの大きさを２５×２５にした場合の観察画像である。
【００４２】
図１４（ａ）に示すように、補正不可分布を平滑化しないと観察画像のダイナミックレンジが非常に狭くなり、観察画像の視認性が非常に悪くなる。図１４（ｂ）、図１４（ｃ）、図１５（ａ）、図１５（ｂ）に示すように、補正不可分布を平滑化するときのカーネルの大きさが大きくなるにしたがって、観察画像のダイナミックレンジは広がり、観察画像の視認性が良好になる。しかし、図１５（ｃ）に示すように、カーネルの大きさが大きくなりすぎると、投影面の模様などが少し目立つようになる。
【００４３】
以上説明した実施形態によれば、次の作用効果が得られる。
（１）投影面の反射率分布を検出し、入力画像を入力し、検出された反射率分布を入力画像に基づいて補正し、補正された反射率分布を平滑化し、平滑化された反射率分布に基づいて入力画像を補正し、補正された入力画像を投影面に投影するようにした。これにより、投影された画像の視認性を著しく低下させることなく、投影面の色や模様に対する入力画像の補正を行うことができる。
【００４４】
（２）検出された反射率分布に基づいて、さらに入力画像を補正するようにしたので、投影面の色や模様に対する入力画像の補正を適切に行うことができる。
【００４５】
（３）反射率分布補正手段によって補正された反射率分布を平滑化し、平滑化された反射率分布の中で反射率の低い領域を拡張し、反射率の低い領域が拡張された反射率分布をさらに平滑化することによって、反射率分布の平滑化を行うようにした。これにより、入力画像を補正するときに使用する、平滑化された反射率分布を適切に算出することができる。
【００４６】
（４）反射率分布の平滑化の処理の際の低反射率領域の拡張で、平滑化された反射率分布を区分けし、区分けした領域内の反射率分布の中で低い反射率をその区分けした領域の反射率とすることにより、平滑化された反射率分布の中で反射率の低い領域を拡張するようにした。これにより、入力画像を適切に補正できるように、平滑化された反射率分布の中で反射率の低い領域を拡張することができる。
【００４７】
（５）ブロック化した平滑反射率分布の平滑化（２回目の平滑化）における重み平均計算に用いられる局所領域は、平滑反射率分布の平滑化（１回目の平滑化）における重み平均計算に用いられる局所領域に比べて大きくするようにした。これにより、入力画像を補正して入力画像のダイナミックレンジを部分的に狭くした場合、その部分を目立たないようにすることができる。
【００４８】
（６）入力画像の規格化した画素値と、投影面の規格化した反射率とを比較して補正不可分布を算出するようにしたので、投影面の中から、投影された画像の視認性が悪くならないように補正することが困難である、反射率の低い部分を適切に抽出することができる。また、入力画像の規格化した画素値と、投影面の反射率を表す画像の規格化された画素値とを比較することによって、入力画像の規格化した画素値と、投影面の規格化した反射率との比較するようにしたので、両者の比較を簡単に行うことができる。
【００４９】
以上の実施の形態を次のように変形することができる。
（１）投影面の反射率分布を表す画像を算出することによって投影面の反射率分布を検出したが、投影面の反射率分布を検出できれば、実施形態に限定されない。たとえば、投射ユニット１１０から投射された光の強度と、撮像ユニット１２０によって検出された投影面の反射光の強度とに基づいて反射率分布を検出するようにしてもよい。
【００５０】
（２）投影面に投影された画像のダイナミックレンジが非常に狭くならなければ、投影面の反射率分布の平滑化は、実施形態に限定されない。たとえば、ローパスフィルタを適用して投影面の反射率分布を平滑化し、その後のブロック化の処理や２度目の平滑化の処理を行わないようにしてもよい。
【００５１】
（３）平滑化された反射率分布の中で反射率の低い領域を拡張する方法は、入力画像の補正を適切に行えるように反射率の低い領域を拡張できれば、平滑された補正不可分布のブロック化に限定されない。また、入力画像の補正を適切に行えれば、平滑化された反射率分布の中で拡張する領域の反射率も実施形態に限定されない。
【００５２】
（４）入力画像の画素値を規格化するとき、入力画像の画素値の最大値で各画素の画素値を割り算することによって規格化するようにしてもよい。
【００５３】
（５）入力画像の規格化した画素値と、投影面の規格化した反射率との比較を、入力画像の規格化した画素値と、投影面の反射率を表す画像の規格化された画素値とを比較することによって行ったが、入力画像の規格化した画素値と、検出した投影面の反射率を規格化したものとを比較するようにしてもよい。
【００５４】
（６）検出された反射率分布と、平滑化された反射率分布とに基づいて、入力画像を補正したが、入力画像に基づいて補正された反射率分布と、平滑化された反射分布とに基づいて入力画像を補正するようにしてもよい。この場合、入力画像の輝度の低い部分はあまり補正されないが、入力画像の輝度の低い部分における投影面の色や模様は目立たないので、投影された画像の視認性に問題はない。また、平滑化された反射率分布で入力画像を補正し、その補正した入力画像を、投影面の模様などの影響を抑制する従来の補正方法で補正するようにしてもよい。さらに、投影面の模様などの影響を抑制する従来の補正方法の各画素に対する補正値に、平滑化された反射率分布に基づいて重み付けを行い、その重み付けを行った補正値で入力画像を補正するようにしてもよい。
【００５５】
（７）投影面に照射された周辺光の影響を抑制するように入力画像を補正する場合も本発明を適用することができる。この場合の適用例の概略を図１６のフローチャートを参照して説明する。図１６の処理は、投影装置１が、投影を開始するための処理を開始するとスタートするプログラムにより画像処理部１０１Ａにおいて実行される。図３の処理と同様なステップについては同じ符号を付し、図３の処理と異なる部分を主に説明する。
【００５６】
ステップＳ１Ａでは、黒画像（（Ｒ，Ｇ，Ｂ）ｉ＝（０，０，０）ｉ）を投影した投影面を撮影して、投影面における周辺光の明るさ分布を検出する。ステップＳ２の次はステップＳ３Ａに進み、ステップＳ３Ａでは、入力画像と比較して、周辺光の明るさ分布の中で、入力画像の補正によって影響を小さくすることが困難である明るさ分布を算出する。以下、この算出した明るさ分布を補正不可分布と呼ぶ。たとえば、入力画像の画素値が、黒画像を投影した投影面を撮影した画像の画素値の所定倍以上である場合、補正不可分布値を０とする。また、入力画像の画素値が、黒画像を投影した投影面を撮影した画像の画素値の所定倍以上でない場合、補正不可分布値を、黒画像を投影した投影面を撮影した画像の画素値とする。入力画像の中で輝度の高い部分は周辺光の影響が小さく、輝度の低い部分は周辺光の影響が大きくなるからである。
【００５７】
ステップＳ４Ａでは、図３のステップＳ４と同様にして補正不可分布を平滑化する。ステップＳ５Ａでは、平滑化した補正不可分布と、周辺光の明るさ分布とに基づいて入力画像を補正する。たとえば、平滑化した補正不可分布に応じて入力画像を補正した後、周辺光の明るさ分布に応じて入力画像を補正する。１番目の補正では、平滑化した補正不可分布の中で明るい部分に対応する入力画像の輝度を高くし、平滑化した補正不可分布の中で暗い部分に対応する入力画像の輝度を低くする。２番目の補正では、周辺光の明るさ分布の中で暗い部分に対応する入力画像の輝度値を高くし、周辺光の明るさ分布の中で明るい部分に対応する入力画像の輝度を低くする。そして、ステップＳ６に進む。
【００５８】
実施形態と変形例の一つ、もしくは複数を組み合わせることも可能である。変形例同士をどのように組み合わせることも可能である。
【００５９】
以上の説明はあくまで一例であり、本発明は上記実施形態の構成に何ら限定されるものではない。
【図面の簡単な説明】
【００６０】
【図１】本発明の一実施の形態による投影装置の外観図である。
【図２】本発明の実施形態における投影装置の構成を説明するブロック図である。
【図３】画像処理部で行う画像処理を説明するためのフローチャートである。
【図４】投影面の反射率を表す画像の算出処理を説明するためのフローチャートである。
【図５】補正不可分布の算出処理を説明するためのフローチャートである。
【図６】補正不可分布の算出処理を説明するための図である。
【図７】補正不可分布平滑化処理を説明するためのフローチャートである。
【図８】補正不可分布の平滑化を説明するための図である。
【図９】平滑化した補正不可分布のブロック化を説明するための図である。
【図１０】補正不可分布平滑化処理を説明するための図である。
【図１１】入力画像の補正処理を説明するためのフローチャートである。
【図１２】入力画像の補正処理を説明するための図である。
【図１３】入力画像を補正しないで投影した場合の観察画像を説明するための図である。
【図１４】カーネルの大きさを変更した場合の観察画像を説明するための図である。
【図１５】カーネルの大きさを変更した場合の観察画像を説明するための図である。
【図１６】投影面に照射された周辺光の影響を抑制するように入力画像を補正する場合の画像処理を説明するためのフローチャートである。
【符号の説明】
【００６１】
１ 投影装置
１０１ 制御回路
１０１Ａ 画像処理部
１０４ 外部インターフェイス
１０５ メモリカードインターフェイス
１１０ 投射ユニット
１１１Ａ 投影レンズ
１２０ 撮像ユニット
１２１Ａ 撮影レンズ
【特許請求の範囲】
【請求項１】
投影面の反射率分布を検出する反射率分布検出手段と、
入力画像を入力する画像入力手段と、
前記反射率分布検出手段によって検出された反射率分布を前記入力画像に基づいて補正する反射率分布補正手段と、
前記反射率分布補正手段によって補正された反射率分布を平滑化する反射率分布平滑化手段と、
前記反射率分布平滑化手段によって平滑化された反射率分布に基づいて、前記入力画像を補正する入力画像補正手段と、
前記入力画像補正手段によって補正された入力画像を前記投影面に投影する投影手段とを備えることを特徴とする投影装置。
【請求項２】
請求項１に記載の投影装置において、
前記入力画像補正手段は、さらに前記反射率分布検出手段によって検出された反射率分布に基づいて前記入力画像を補正することを特徴とする投影装置。
【請求項３】
請求項１または２に記載の投影装置において、
前記反射率分布平滑化手段は、反射率分布補正手段によって補正された反射率分布を平滑化する第１の反射率分布平滑化手段と、前記第１の反射率分布平滑化手段によって平滑化された反射率分布の中で反射率の低い領域を拡張する低反射率領域拡張手段と、前記低反射率拡張手段によって反射率の低い領域が拡張された反射率分布を平滑化する第２の平滑化手段とを有することを特徴とする投影装置。
【請求項４】
請求項３に記載の投影装置において、
前記低反射率領域拡張手段は、前記第１の反射率分布平滑化手段によって平滑化された反射率分布を区分けし、区分けした領域内の反射率分布の中で低い反射率をその区分けした領域の反射率とすることにより、平滑化された反射率分布の中で反射率の低い領域を拡張することを特徴とする投影装置。
【請求項５】
請求項３または４に記載の投影装置において、
前記第１の反射率分布平滑化手段および前記第２の反射率分布平滑化手段は、重み平均計算により反射率分布を平滑化し、前記第２の反射率分布平滑化手段における重み平均計算に用いられる局所領域は、前記第１の反射率分布平滑化手段における重み平均計算に用いられる局所領域に比べて大きいことを特徴とする投影装置。
【請求項１】
投影面の反射率分布を検出する反射率分布検出手段と、
入力画像を入力する画像入力手段と、
前記反射率分布検出手段によって検出された反射率分布を前記入力画像に基づいて補正する反射率分布補正手段と、
前記反射率分布補正手段によって補正された反射率分布を平滑化する反射率分布平滑化手段と、
前記反射率分布平滑化手段によって平滑化された反射率分布に基づいて、前記入力画像を補正する入力画像補正手段と、
前記入力画像補正手段によって補正された入力画像を前記投影面に投影する投影手段とを備えることを特徴とする投影装置。
【請求項２】
請求項１に記載の投影装置において、
前記入力画像補正手段は、さらに前記反射率分布検出手段によって検出された反射率分布に基づいて前記入力画像を補正することを特徴とする投影装置。
【請求項３】
請求項１または２に記載の投影装置において、
前記反射率分布平滑化手段は、反射率分布補正手段によって補正された反射率分布を平滑化する第１の反射率分布平滑化手段と、前記第１の反射率分布平滑化手段によって平滑化された反射率分布の中で反射率の低い領域を拡張する低反射率領域拡張手段と、前記低反射率拡張手段によって反射率の低い領域が拡張された反射率分布を平滑化する第２の平滑化手段とを有することを特徴とする投影装置。
【請求項４】
請求項３に記載の投影装置において、
前記低反射率領域拡張手段は、前記第１の反射率分布平滑化手段によって平滑化された反射率分布を区分けし、区分けした領域内の反射率分布の中で低い反射率をその区分けした領域の反射率とすることにより、平滑化された反射率分布の中で反射率の低い領域を拡張することを特徴とする投影装置。
【請求項５】
請求項３または４に記載の投影装置において、
前記第１の反射率分布平滑化手段および前記第２の反射率分布平滑化手段は、重み平均計算により反射率分布を平滑化し、前記第２の反射率分布平滑化手段における重み平均計算に用いられる局所領域は、前記第１の反射率分布平滑化手段における重み平均計算に用いられる局所領域に比べて大きいことを特徴とする投影装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１０−１５１９１２（Ｐ２０１０−１５１９１２Ａ）
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願番号】特願２００８−３２７３４６（Ｐ２００８−３２７３４６）
【出願日】平成２０年１２月２４日（２００８．１２．２４）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願日】平成２０年１２月２４日（２００８．１２．２４）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]