画像処理装置及び画像処理方法
【課題】３次元物体の装飾のシミュレーションを高い精度で行うことができる画像処理装置及び画像処理方法等を提供する。
【解決手段】投影機器に投影させる画像を入力する（ステップＳ４０５）。前記画像が投影される被投影オブジェクトの３次元形状を取得する（ステップＳ４０１）。前記投影機器と前記被投影オブジェクトとの相対的な位置に関する情報を取得する（ステップＳ４０６）。前記投影機器位置情報及び前記３次元形状に基づいて、前記画像を補正する（ステップＳ４０７）。前記投影機器位置情報及び前記３次元形状に基づいて、前記被投影オブジェクト上における前記投影機器から照射される投影光による輝度分布を作成する（ステップＳ４０９）。前記投影輝度分布を反転させた輝度逆分布を作成する（ステップＳ４１０）。前記補正後の画像に前記輝度逆分布を合成する（ステップＳ４１１）。
【解決手段】投影機器に投影させる画像を入力する（ステップＳ４０５）。前記画像が投影される被投影オブジェクトの３次元形状を取得する（ステップＳ４０１）。前記投影機器と前記被投影オブジェクトとの相対的な位置に関する情報を取得する（ステップＳ４０６）。前記投影機器位置情報及び前記３次元形状に基づいて、前記画像を補正する（ステップＳ４０７）。前記投影機器位置情報及び前記３次元形状に基づいて、前記被投影オブジェクト上における前記投影機器から照射される投影光による輝度分布を作成する（ステップＳ４０９）。前記投影輝度分布を反転させた輝度逆分布を作成する（ステップＳ４１０）。前記補正後の画像に前記輝度逆分布を合成する（ステップＳ４１１）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元形状のオブジェクトにおける着色等のシミュレーションに好適な画像処理装置及び画像処理方法等に関する。
【背景技術】
【０００２】
光学的に画像を投影する多くの投影装置は平面の投影面に対して投影を行うように構成されているが、近年、平面以外の形状（例えば球面）をもつ投影面に対しても自然な投影を行えるようにする技術についての検討が数多くなされている。
【０００３】
例えば、特許文献１には、任意の３次元形状を持つ投影面に対してメッシュモデルを使用した画像の形状補正を行う技術が記載されている。
【０００４】
【特許文献１】特開２００７−３１２４２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
３次元形状を持つ投影面への画像の投影の目的は様々である。単に、３次元物体の装飾のために投影が用いられることもあれば、任意の無色の３次元物体に着色を行った場合に、どのように見えるのかということをシミュレーションするために投影が行われることもある。しかしながら、特許文献１に記載された技術では、このようなシミュレーションを高精度で行うことが困難である。
【０００６】
本発明は、３次元物体の装飾のシミュレーションを高い精度で行うことができる画像処理装置及び画像処理方法等を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本願発明者は、前記課題を解決すべく鋭意検討を重ねた結果、以下に示す発明の諸態様に想到した。
【０００８】
本発明に係る画像処理装置は、投影機器に投影させる画像を入力する画像入力手段と、前記画像が投影される被投影オブジェクトの３次元形状を取得する３次元形状取得手段と、前記投影機器と前記被投影オブジェクトとの相対的な位置に関する情報を取得する投影機器位置情報取得手段と、前記投影機器位置情報及び前記３次元形状に基づいて、前記画像を補正する補正手段と、前記投影機器位置情報及び前記３次元形状に基づいて、前記被投影オブジェクト上における前記投影機器から照射される投影光による輝度分布を作成する投影輝度分布作成手段と、前記投影輝度分布を反転させた輝度逆分布を作成する投影輝度逆分布作成手段と、前記補正手段による補正後の画像に前記輝度逆分布を合成する輝度逆分布合成手段と、を有することを特徴とする。
【０００９】
本発明に係る画像処理方法は、投影機器に投影させる画像を入力する画像入力ステップと、前記画像が投影される被投影オブジェクトの３次元形状を取得する３次元形状取得ステップと、前記投影機器と前記被投影オブジェクトとの相対的な位置に関する情報を取得する投影機器位置情報取得ステップと、前記投影機器位置情報及び前記３次元形状に基づいて、前記画像を補正する補正ステップと、前記投影機器位置情報及び前記３次元形状に基づいて、前記被投影オブジェクト上における前記投影機器から照射される投影光による輝度分布を作成する投影輝度分布作成ステップと、前記投影輝度分布を反転させた輝度逆分布を作成する投影輝度逆分布作成ステップと、前記補正ステップにおける補正後の画像に前記輝度逆分布を合成する輝度逆分布合成ステップと、を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、投影機器から照射される投影光による輝度分布を打ち消すように画像処理が行われるため、実際の使用状態における見え方を高い精度でシミュレーションすることができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態について添付の図面を参照して具体的に説明する。図１は、本発明の実施形態に係る画像投影システムの構成を示す図である。
【００１２】
図１に示すように、本実施形態の画像投影システムには、光学的に画像を投影する画像投影機器１０２、画像が投影される３次元のスクリーン１０４（被投影オブジェクト）、及びこのスクリーン１０４に観察光１０３ａを照射する照明１０３が設けられている。スクリーン１０４は、布等の３次元形状を備えたスクリーンである。更に、画像投影機器１０２に画像を入力するコンピュータ等からなる画像処理装置１０１が設けられている。画像処理装置１０１の詳細については後述するが、画像処理装置１０１は主に画像の保存及び画像処理等を行う。
【００１３】
このように構成された画像投影システムでは、例えば図２に示す陰影が現れる。つまり、スクリーン１０４に右方向から観察光１０３ａが当たると陰影２０１が現れ、スクリーン１０４に左方向から画像投影機器１０２の光が当たると陰影２０２が現れる。従って、例えば、スクリーン１０４が無色のカーテンであって、このカーテンに染色を行った場合に、どのように見えるのかということをシミュレーションするために、当該染色を反映させただけの画像を投影すると、これらの陰影２０２のみが現れる。つまり、カーテンの通常の使用状態では現れない陰影２０２が現れ、観察光１０３ａに伴う陰影２０１は現れない。このため、高精度のシミュレーションを行うことができない。そこで、本実施形態では、画像処理装置１０１が以下に示す画像処理を行い、画像投影機器１０２による陰影２０２の影響を受けず、陰影２０１と同等の陰影２０３が得られるような画像を作成し、これを画像投影機器１０２が投影する。
【００１４】
図３は、画像処理装置１０１の機能構成を示す機能ブロック図である。なお、図３に示す各部は、例えば画像処理装置１０１に設けられているＣＰＵがＲＯＭに記憶されているプログラムを実行することにより実現される。
【００１５】
図３に示すように、画像処理装置１０１には、３次元形状取得部３０１、輝度情報取得部３０２、位置情報取得部３０３及び観察輝度分布作成部３０４が含まれている。更に、表示画像入力部３０５、位置情報取得部３０６、表示画像形状補正部３０７、投影輝度分布作成部３０８、投影輝度逆分布作成部３０９、輝度逆分布合成部３１０及び観察輝度合成部３１１が含まれている。
【００１６】
３次元形状取得部３０１は、スクリーン１０４（投影面）の３次元形状を取得する。輝度情報取得部３０２は、観察光輝度情報取得手段として、観察光１０３ａの輝度に関する情報を取得する。位置情報取得部３０３は、光源位置情報取得手段として、観察光１０３ａの光源である照明１０３のスクリーン１０４に対する相対位置に関する情報（光源位置情報）を取得する。観察輝度分布作成部３０４は、光源輝度分布作成手段として、観察光１０３ａの照射に伴うスクリーン１０４上での輝度の分布を作成する。表示画像入力部３０５は、スクリーン１０４に投影して表示しようとする２次元の画像のデータ（例えば、カーテンに染色しようとしている模様のデータ）を入力する。位置情報取得部３０６は、投影機器位置情報取得手段として、画像投影機器１０２のスクリーン１０４に対する相対位置に関する情報（投影機器位置情報）を取得する。表示画像形状補正部３０７は、スクリーン１０４の３次元形状に基づいて、スクリーン１０４に投影して表示しようする画像の形状を補正する。投影輝度分布作成部３０８は、画像投影機器１０２からの投影光に伴うスクリーン１０４上での輝度の分布を作成する。投影輝度逆分布作成部３０９は、投影輝度分布作成部３０８により得られた輝度の分布をフラットにする輝度の分布（輝度逆分布）を作成する。輝度逆分布合成部３１０は、表示画像形状補正部３０７による補正後の画像のデータと、投影輝度逆分布作成部３０９により作成された輝度逆分布とを合成する。この結果、表示画像形状補正部３０７による補正後の画像に含まれる輝度情報が変更される。観察輝度合成部３１１は、輝度逆分布合成部３１０により得られたデータと、観察輝度分布作成部３０４により得られた輝度の分布とを合成する。この結果、輝度逆分布合成部３１０による合成後の画像に含まれる輝度情報が変更される。なお、投影光及び観察光１０３ａによる輝度分布は、例えば、スクリーン１０４の３次元形状と空間的なサイズが等しい多階調濃淡画像である。
【００１７】
次に、このように構成された画像処理装置１０１の動作について説明する。図４は、画像処理装置１０１の動作（画像処理）を示すフローチャートである。
【００１８】
先ず、ステップＳ４０１において、３次元形状取得部３０１が、スクリーン１０４の３次元形状を取得する。この取得では、スクリーン１０４の３次元形状を測定してもよく、また、予め測定されていれば、その測定結果を取得してもよい。３次元形状測定を行う場合、例えば、スクリーン１０４の任意の一点を基準点として各点を３次元の座標により規定する等の一般的な処理を行えばよく、その方法は特に限定されない。
【００１９】
次いで、ステップＳ４０２において、輝度情報取得部３０２が、観察光１０３ａの輝度に関する情報を取得する。この取得では、輝度を測定してもよく、また、予め測定されていれば、その測定結果を取得してもよい。
【００２０】
その後、ステップＳ４０３において、位置情報取得部３０３が、照明１０３の位置情報を取得する。この位置情報には、少なくともスクリーン１０４内の任意の基準点に対する照明１０３の相対的な距離又は角度の少なくとも一方等が含まれる。
【００２１】
続いて、ステップＳ４０４において、観察輝度分布作成部３０４が、３次元形状取得部３０１により取得されたスクリーン１０４の３次元形状及び位置情報取得部３０３により取得された位置情報に基づいて、光線の追跡及び距離を算出する。そして、観察輝度分布作成部３０４は、光線の追跡及び距離、並びに輝度情報取得部３０２により取得された輝度情報に基づいて、観察光１０３ａによってスクリーン１０４上に形成される輝度の分布を生成する。
【００２２】
次いで、ステップＳ４０５において、表示画像入力部３０５が、スクリーン１０４に投影して表示しようとする画像のデータを入力する。この画像のデータは、例えば、着色等の加工が施される前の素材（カーテン等）に対し、光学的に投影する加工後の画像のデータである。
【００２３】
その後、ステップＳ４０６において、位置情報取得部３０６が、画像投影機器１０２の位置情報を取得する。この位置情報には、少なくともスクリーン１０４内の任意の基準点に対する画像投影機器１０２の相対的な距離又は角度の少なくとも一方等が含まれる。
【００２４】
続いて、ステップＳ４０７において、表示画像形状補正部３０７が、３次元形状取得部３０１により取得されたスクリーン１０４の３次元形状に基づいて、表示画像入力部３０５により入力された画像の形状を補正する。つまり、表示画像形状補正部３０７は画像形状の変形を行う。この画像の形状の補正は特に限定されず、汎用されているコンピュータグラフィックスで用いられるような種々の方法を採用することができる。
【００２５】
次いで、ステップＳ４０８において、投影輝度分布作成部３０８が、画像投影機器１０２の輝度に関する情報を取得する。この取得では、輝度を測定してもよく、また、予め測定されていれば、その測定結果を取得してもよい。
【００２６】
その後、ステップＳ４０９において、投影輝度分布作成部３０８が、３次元形状取得部３０１により取得されたスクリーン１０４の３次元形状及び位置情報取得部３０６により取得された位置情報に基づいて、光線の追跡及び距離を算出する。そして、投影輝度分布作成部３０８は、光線の追跡及び距離、並びにステップＳ４０８において取得した輝度情報に基づいて、画像投影機器１０２からの光によってスクリーン１０４上に形成される輝度の分布を生成する。
【００２７】
続いて、ステップＳ４１０において、投影輝度逆分布作成部３０９が、投影輝度分布作成部３０８により得られた輝度分布をフラットにする輝度の分布（輝度逆分布）を作成する。つまり、投影輝度逆分布作成部３０９は、投影輝度分布作成部３０８により得られた輝度分布を反転させて、これをキャンセルできる輝度逆分布を作成する。
【００２８】
次いで、ステップＳ４１１において、輝度逆分布合成部３１０が、表示画像形状補正部３０７により補正された画像のデータと、投影輝度逆分布作成部３０９により作成された投影輝度逆分布とを合成して新たな画像データを作成する。
【００２９】
その後、ステップＳ４１２において、観察輝度合成部３１１が、輝度逆分布合成部３１０により作成された画像データに、観察輝度分布作成部３０４により作成された輝度分布を合成して新たな画像データを作成する。
【００３０】
このようにして、画像処理装置１０１は、画像投影機器１０２に投影させる画像データを作成する。
【００３１】
そして、画像投影機器１０２が、画像処理装置１０１により作成された画像データをスクリーン１０４に投影すると、投影されてスクリーン１０４に表示される画像に含まれる陰影は、観察光１０３ａに伴うもののみとなる。つまり、画像投影機器１０２からの光の影響を受けない画像が表示される。従って、実際の使用時の環境により近い条件下でのシミュレーションを行うことが可能となる。
【００３２】
このため、スクリーン１０４として無地のカーテン等の布（３次元形状を備えた物体）を用い、この布が染色等により着色され、窓等に掛けられた場合にどのように見えるかというシミュレーションを高い精度で行うことができる。
【００３３】
なお、観察光は照明によるものに限らず、観察光に太陽光等が含まれていてもよい。また、シミュレーション時に観察光（太陽光及び／又は照明光）を用いる場合には、観察光の輝度の分布の合成を省略してもよい。この場合、画像処理装置１０１に、輝度情報取得部３０２、位置情報取得部３０３及び観察輝度分布作成部３０４が設けられていなくてもよい。
【００３４】
また、ステップＳ４０２からステップＳ４０４までの処理を、ステップＳ４０５からステップＳ４１１までの処理よりも後に行ってもよい。また、ステップＳ４０７の処理を、ステップＳ４０８からステップＳ４１０までの処理の後に行ってもよい。
【００３５】
なお、本発明の実施形態は、例えばコンピュータがプログラムを実行することによって実現することができる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体又はかかるプログラムを伝送するインターネット等の伝送媒体も本発明の実施形態として適用することができる。また、上記の印刷処理用のプログラムも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体及びプログラムプロダクトは、本発明の範疇に含まれる。
【図面の簡単な説明】
【００３６】
【図１】本発明の実施形態に係る画像投影システムの構成を示す図である。
【図２】陰影の関係を示す図である。
【図３】画像処理装置１０１の機能構成を示す機能ブロック図である。
【図４】画像処理装置１０１の動作（画像処理）を示すフローチャートである。
【符号の説明】
【００３７】
１０１：画像処理装置
１０２：画像投影機
１０３：照明
１０３ａ：観察光
１０４：スクリーン
３０１：３次元形状取得部
３０２：輝度情報取得部
３０３：位置情報取得部
３０４：観察輝度分布作成部
３０５：表示画像入力部
３０６：位置情報取得部
３０７：表示画像形状補正部
３０８：投影輝度分布作成部
３０９：投影輝度逆分布作成部
３１０：輝度逆分布合成部
３１１：観察輝度合成部
【技術分野】
【０００１】
本発明は、３次元形状のオブジェクトにおける着色等のシミュレーションに好適な画像処理装置及び画像処理方法等に関する。
【背景技術】
【０００２】
光学的に画像を投影する多くの投影装置は平面の投影面に対して投影を行うように構成されているが、近年、平面以外の形状（例えば球面）をもつ投影面に対しても自然な投影を行えるようにする技術についての検討が数多くなされている。
【０００３】
例えば、特許文献１には、任意の３次元形状を持つ投影面に対してメッシュモデルを使用した画像の形状補正を行う技術が記載されている。
【０００４】
【特許文献１】特開２００７−３１２４２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
３次元形状を持つ投影面への画像の投影の目的は様々である。単に、３次元物体の装飾のために投影が用いられることもあれば、任意の無色の３次元物体に着色を行った場合に、どのように見えるのかということをシミュレーションするために投影が行われることもある。しかしながら、特許文献１に記載された技術では、このようなシミュレーションを高精度で行うことが困難である。
【０００６】
本発明は、３次元物体の装飾のシミュレーションを高い精度で行うことができる画像処理装置及び画像処理方法等を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本願発明者は、前記課題を解決すべく鋭意検討を重ねた結果、以下に示す発明の諸態様に想到した。
【０００８】
本発明に係る画像処理装置は、投影機器に投影させる画像を入力する画像入力手段と、前記画像が投影される被投影オブジェクトの３次元形状を取得する３次元形状取得手段と、前記投影機器と前記被投影オブジェクトとの相対的な位置に関する情報を取得する投影機器位置情報取得手段と、前記投影機器位置情報及び前記３次元形状に基づいて、前記画像を補正する補正手段と、前記投影機器位置情報及び前記３次元形状に基づいて、前記被投影オブジェクト上における前記投影機器から照射される投影光による輝度分布を作成する投影輝度分布作成手段と、前記投影輝度分布を反転させた輝度逆分布を作成する投影輝度逆分布作成手段と、前記補正手段による補正後の画像に前記輝度逆分布を合成する輝度逆分布合成手段と、を有することを特徴とする。
【０００９】
本発明に係る画像処理方法は、投影機器に投影させる画像を入力する画像入力ステップと、前記画像が投影される被投影オブジェクトの３次元形状を取得する３次元形状取得ステップと、前記投影機器と前記被投影オブジェクトとの相対的な位置に関する情報を取得する投影機器位置情報取得ステップと、前記投影機器位置情報及び前記３次元形状に基づいて、前記画像を補正する補正ステップと、前記投影機器位置情報及び前記３次元形状に基づいて、前記被投影オブジェクト上における前記投影機器から照射される投影光による輝度分布を作成する投影輝度分布作成ステップと、前記投影輝度分布を反転させた輝度逆分布を作成する投影輝度逆分布作成ステップと、前記補正ステップにおける補正後の画像に前記輝度逆分布を合成する輝度逆分布合成ステップと、を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、投影機器から照射される投影光による輝度分布を打ち消すように画像処理が行われるため、実際の使用状態における見え方を高い精度でシミュレーションすることができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態について添付の図面を参照して具体的に説明する。図１は、本発明の実施形態に係る画像投影システムの構成を示す図である。
【００１２】
図１に示すように、本実施形態の画像投影システムには、光学的に画像を投影する画像投影機器１０２、画像が投影される３次元のスクリーン１０４（被投影オブジェクト）、及びこのスクリーン１０４に観察光１０３ａを照射する照明１０３が設けられている。スクリーン１０４は、布等の３次元形状を備えたスクリーンである。更に、画像投影機器１０２に画像を入力するコンピュータ等からなる画像処理装置１０１が設けられている。画像処理装置１０１の詳細については後述するが、画像処理装置１０１は主に画像の保存及び画像処理等を行う。
【００１３】
このように構成された画像投影システムでは、例えば図２に示す陰影が現れる。つまり、スクリーン１０４に右方向から観察光１０３ａが当たると陰影２０１が現れ、スクリーン１０４に左方向から画像投影機器１０２の光が当たると陰影２０２が現れる。従って、例えば、スクリーン１０４が無色のカーテンであって、このカーテンに染色を行った場合に、どのように見えるのかということをシミュレーションするために、当該染色を反映させただけの画像を投影すると、これらの陰影２０２のみが現れる。つまり、カーテンの通常の使用状態では現れない陰影２０２が現れ、観察光１０３ａに伴う陰影２０１は現れない。このため、高精度のシミュレーションを行うことができない。そこで、本実施形態では、画像処理装置１０１が以下に示す画像処理を行い、画像投影機器１０２による陰影２０２の影響を受けず、陰影２０１と同等の陰影２０３が得られるような画像を作成し、これを画像投影機器１０２が投影する。
【００１４】
図３は、画像処理装置１０１の機能構成を示す機能ブロック図である。なお、図３に示す各部は、例えば画像処理装置１０１に設けられているＣＰＵがＲＯＭに記憶されているプログラムを実行することにより実現される。
【００１５】
図３に示すように、画像処理装置１０１には、３次元形状取得部３０１、輝度情報取得部３０２、位置情報取得部３０３及び観察輝度分布作成部３０４が含まれている。更に、表示画像入力部３０５、位置情報取得部３０６、表示画像形状補正部３０７、投影輝度分布作成部３０８、投影輝度逆分布作成部３０９、輝度逆分布合成部３１０及び観察輝度合成部３１１が含まれている。
【００１６】
３次元形状取得部３０１は、スクリーン１０４（投影面）の３次元形状を取得する。輝度情報取得部３０２は、観察光輝度情報取得手段として、観察光１０３ａの輝度に関する情報を取得する。位置情報取得部３０３は、光源位置情報取得手段として、観察光１０３ａの光源である照明１０３のスクリーン１０４に対する相対位置に関する情報（光源位置情報）を取得する。観察輝度分布作成部３０４は、光源輝度分布作成手段として、観察光１０３ａの照射に伴うスクリーン１０４上での輝度の分布を作成する。表示画像入力部３０５は、スクリーン１０４に投影して表示しようとする２次元の画像のデータ（例えば、カーテンに染色しようとしている模様のデータ）を入力する。位置情報取得部３０６は、投影機器位置情報取得手段として、画像投影機器１０２のスクリーン１０４に対する相対位置に関する情報（投影機器位置情報）を取得する。表示画像形状補正部３０７は、スクリーン１０４の３次元形状に基づいて、スクリーン１０４に投影して表示しようする画像の形状を補正する。投影輝度分布作成部３０８は、画像投影機器１０２からの投影光に伴うスクリーン１０４上での輝度の分布を作成する。投影輝度逆分布作成部３０９は、投影輝度分布作成部３０８により得られた輝度の分布をフラットにする輝度の分布（輝度逆分布）を作成する。輝度逆分布合成部３１０は、表示画像形状補正部３０７による補正後の画像のデータと、投影輝度逆分布作成部３０９により作成された輝度逆分布とを合成する。この結果、表示画像形状補正部３０７による補正後の画像に含まれる輝度情報が変更される。観察輝度合成部３１１は、輝度逆分布合成部３１０により得られたデータと、観察輝度分布作成部３０４により得られた輝度の分布とを合成する。この結果、輝度逆分布合成部３１０による合成後の画像に含まれる輝度情報が変更される。なお、投影光及び観察光１０３ａによる輝度分布は、例えば、スクリーン１０４の３次元形状と空間的なサイズが等しい多階調濃淡画像である。
【００１７】
次に、このように構成された画像処理装置１０１の動作について説明する。図４は、画像処理装置１０１の動作（画像処理）を示すフローチャートである。
【００１８】
先ず、ステップＳ４０１において、３次元形状取得部３０１が、スクリーン１０４の３次元形状を取得する。この取得では、スクリーン１０４の３次元形状を測定してもよく、また、予め測定されていれば、その測定結果を取得してもよい。３次元形状測定を行う場合、例えば、スクリーン１０４の任意の一点を基準点として各点を３次元の座標により規定する等の一般的な処理を行えばよく、その方法は特に限定されない。
【００１９】
次いで、ステップＳ４０２において、輝度情報取得部３０２が、観察光１０３ａの輝度に関する情報を取得する。この取得では、輝度を測定してもよく、また、予め測定されていれば、その測定結果を取得してもよい。
【００２０】
その後、ステップＳ４０３において、位置情報取得部３０３が、照明１０３の位置情報を取得する。この位置情報には、少なくともスクリーン１０４内の任意の基準点に対する照明１０３の相対的な距離又は角度の少なくとも一方等が含まれる。
【００２１】
続いて、ステップＳ４０４において、観察輝度分布作成部３０４が、３次元形状取得部３０１により取得されたスクリーン１０４の３次元形状及び位置情報取得部３０３により取得された位置情報に基づいて、光線の追跡及び距離を算出する。そして、観察輝度分布作成部３０４は、光線の追跡及び距離、並びに輝度情報取得部３０２により取得された輝度情報に基づいて、観察光１０３ａによってスクリーン１０４上に形成される輝度の分布を生成する。
【００２２】
次いで、ステップＳ４０５において、表示画像入力部３０５が、スクリーン１０４に投影して表示しようとする画像のデータを入力する。この画像のデータは、例えば、着色等の加工が施される前の素材（カーテン等）に対し、光学的に投影する加工後の画像のデータである。
【００２３】
その後、ステップＳ４０６において、位置情報取得部３０６が、画像投影機器１０２の位置情報を取得する。この位置情報には、少なくともスクリーン１０４内の任意の基準点に対する画像投影機器１０２の相対的な距離又は角度の少なくとも一方等が含まれる。
【００２４】
続いて、ステップＳ４０７において、表示画像形状補正部３０７が、３次元形状取得部３０１により取得されたスクリーン１０４の３次元形状に基づいて、表示画像入力部３０５により入力された画像の形状を補正する。つまり、表示画像形状補正部３０７は画像形状の変形を行う。この画像の形状の補正は特に限定されず、汎用されているコンピュータグラフィックスで用いられるような種々の方法を採用することができる。
【００２５】
次いで、ステップＳ４０８において、投影輝度分布作成部３０８が、画像投影機器１０２の輝度に関する情報を取得する。この取得では、輝度を測定してもよく、また、予め測定されていれば、その測定結果を取得してもよい。
【００２６】
その後、ステップＳ４０９において、投影輝度分布作成部３０８が、３次元形状取得部３０１により取得されたスクリーン１０４の３次元形状及び位置情報取得部３０６により取得された位置情報に基づいて、光線の追跡及び距離を算出する。そして、投影輝度分布作成部３０８は、光線の追跡及び距離、並びにステップＳ４０８において取得した輝度情報に基づいて、画像投影機器１０２からの光によってスクリーン１０４上に形成される輝度の分布を生成する。
【００２７】
続いて、ステップＳ４１０において、投影輝度逆分布作成部３０９が、投影輝度分布作成部３０８により得られた輝度分布をフラットにする輝度の分布（輝度逆分布）を作成する。つまり、投影輝度逆分布作成部３０９は、投影輝度分布作成部３０８により得られた輝度分布を反転させて、これをキャンセルできる輝度逆分布を作成する。
【００２８】
次いで、ステップＳ４１１において、輝度逆分布合成部３１０が、表示画像形状補正部３０７により補正された画像のデータと、投影輝度逆分布作成部３０９により作成された投影輝度逆分布とを合成して新たな画像データを作成する。
【００２９】
その後、ステップＳ４１２において、観察輝度合成部３１１が、輝度逆分布合成部３１０により作成された画像データに、観察輝度分布作成部３０４により作成された輝度分布を合成して新たな画像データを作成する。
【００３０】
このようにして、画像処理装置１０１は、画像投影機器１０２に投影させる画像データを作成する。
【００３１】
そして、画像投影機器１０２が、画像処理装置１０１により作成された画像データをスクリーン１０４に投影すると、投影されてスクリーン１０４に表示される画像に含まれる陰影は、観察光１０３ａに伴うもののみとなる。つまり、画像投影機器１０２からの光の影響を受けない画像が表示される。従って、実際の使用時の環境により近い条件下でのシミュレーションを行うことが可能となる。
【００３２】
このため、スクリーン１０４として無地のカーテン等の布（３次元形状を備えた物体）を用い、この布が染色等により着色され、窓等に掛けられた場合にどのように見えるかというシミュレーションを高い精度で行うことができる。
【００３３】
なお、観察光は照明によるものに限らず、観察光に太陽光等が含まれていてもよい。また、シミュレーション時に観察光（太陽光及び／又は照明光）を用いる場合には、観察光の輝度の分布の合成を省略してもよい。この場合、画像処理装置１０１に、輝度情報取得部３０２、位置情報取得部３０３及び観察輝度分布作成部３０４が設けられていなくてもよい。
【００３４】
また、ステップＳ４０２からステップＳ４０４までの処理を、ステップＳ４０５からステップＳ４１１までの処理よりも後に行ってもよい。また、ステップＳ４０７の処理を、ステップＳ４０８からステップＳ４１０までの処理の後に行ってもよい。
【００３５】
なお、本発明の実施形態は、例えばコンピュータがプログラムを実行することによって実現することができる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体又はかかるプログラムを伝送するインターネット等の伝送媒体も本発明の実施形態として適用することができる。また、上記の印刷処理用のプログラムも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体及びプログラムプロダクトは、本発明の範疇に含まれる。
【図面の簡単な説明】
【００３６】
【図１】本発明の実施形態に係る画像投影システムの構成を示す図である。
【図２】陰影の関係を示す図である。
【図３】画像処理装置１０１の機能構成を示す機能ブロック図である。
【図４】画像処理装置１０１の動作（画像処理）を示すフローチャートである。
【符号の説明】
【００３７】
１０１：画像処理装置
１０２：画像投影機
１０３：照明
１０３ａ：観察光
１０４：スクリーン
３０１：３次元形状取得部
３０２：輝度情報取得部
３０３：位置情報取得部
３０４：観察輝度分布作成部
３０５：表示画像入力部
３０６：位置情報取得部
３０７：表示画像形状補正部
３０８：投影輝度分布作成部
３０９：投影輝度逆分布作成部
３１０：輝度逆分布合成部
３１１：観察輝度合成部
【特許請求の範囲】
【請求項１】
投影機器に投影させる画像を入力する画像入力手段と、
前記画像が投影される被投影オブジェクトの３次元形状を取得する３次元形状取得手段と、
前記投影機器と前記被投影オブジェクトとの相対的な位置に関する情報を取得する投影機器位置情報取得手段と、
前記投影機器位置情報及び前記３次元形状に基づいて、前記画像を補正する補正手段と、
前記投影機器位置情報及び前記３次元形状に基づいて、前記被投影オブジェクト上における前記投影機器から照射される投影光による輝度分布を作成する投影輝度分布作成手段と、
前記投影輝度分布を反転させた輝度逆分布を作成する投影輝度逆分布作成手段と、
前記補正手段による補正後の画像に前記輝度逆分布を合成する輝度逆分布合成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記画像入力手段により入力される画像は、２次元の画像であり、
前記補正手段は、当該２次元の画像を前記被投影オブジェクトの３次元形状に変形することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記投影光による輝度分布は、前記被投影オブジェクトの３次元形状と空間的なサイズが等しい多階調濃淡画像であり、
前記輝度逆分布合成手段による合成の結果、前記補正手段による補正後の画像に含まれる輝度情報が変更されることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記投影機器と前記被投影オブジェクトとの相対的な位置に関する情報には、前記被投影オブジェクト内の任意の点を基準とした前記投影機器の距離又は角度の少なくとも一方が含まれることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記被投影オブジェクトに投影された画像の観察に用いられる光源の輝度情報を取得する観察光輝度情報取得手段と、
前記光源と前記被投影オブジェクトとの相対的な位置に関する情報を取得する光源位置情報取得手段と、
前記光源位置情報及び前記３次元形状に基づいて、前記被投影オブジェクト上における前記光源から照射される観察光による輝度分布を作成する光源輝度分布作成手段と、
前記輝度逆分布合成手段による合成後の画像に前記観察光による輝度分布を合成する観察輝度合成手段と、
を有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記観察光による輝度分布は、前記被投影オブジェクトの３次元形状と空間的なサイズが等しい多階調濃淡画像であり、
前記観察輝度合成手段による合成の結果、前記輝度逆分布合成手段による合成後の画像に含まれる輝度情報が変更されることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記光源と前記被投影オブジェクトとの相対的な位置に関する情報には、前記被投影オブジェクト内の任意の点を基準とした前記光源の距離又は角度の少なくとも一方が含まれることを特徴とする請求項５又は６に記載の画像処理装置。
【請求項８】
投影機器に投影させる画像を入力する画像入力ステップと、
前記画像が投影される被投影オブジェクトの３次元形状を取得する３次元形状取得ステップと、
前記投影機器と前記被投影オブジェクトとの相対的な位置に関する情報を取得する投影機器位置情報取得ステップと、
前記投影機器位置情報及び前記３次元形状に基づいて、前記画像を補正する補正ステップと、
前記投影機器位置情報及び前記３次元形状に基づいて、前記被投影オブジェクト上における前記投影機器から照射される投影光による輝度分布を作成する投影輝度分布作成ステップと、
前記投影輝度分布を反転させた輝度逆分布を作成する投影輝度逆分布作成ステップと、
前記補正ステップにおける補正後の画像に前記輝度逆分布を合成する輝度逆分布合成ステップと、
を有することを特徴とする画像処理方法。
【請求項９】
前記被投影オブジェクトに投影された画像の観察に用いられる光源の輝度情報を取得する観察光輝度情報取得ステップと、
前記光源と前記被投影オブジェクトとの相対的な位置に関する情報を取得する光源位置情報取得ステップと、
前記光源位置情報及び前記３次元形状に基づいて、前記被投影オブジェクト上における前記光源から照射される観察光による輝度分布を作成する光源輝度分布作成ステップと、
前記輝度逆分布合成ステップにおける合成後の画像に前記観察光による輝度分布を合成する観察輝度合成ステップと、
を有することを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
コンピュータに、
投影機器に投影させる画像を入力する画像入力ステップと、
前記画像が投影される被投影オブジェクトの３次元形状を取得する３次元形状取得ステップと、
前記投影機器と前記被投影オブジェクトとの相対的な位置に関する情報を取得する投影機器位置情報取得ステップと、
前記投影機器位置情報及び前記３次元形状に基づいて、前記画像を補正する補正ステップと、
前記投影機器位置情報及び前記３次元形状に基づいて、前記被投影オブジェクト上における前記投影機器から照射される投影光による輝度分布を作成する投影輝度分布作成ステップと、
前記投影輝度分布を反転させた輝度逆分布を作成する投影輝度逆分布作成ステップと、
前記補正ステップにおける補正後の画像に前記輝度逆分布を合成する輝度逆分布合成ステップと、
を実行させることを特徴とするプログラム。
【請求項１１】
前記コンピュータに、更に、
前記被投影オブジェクトに投影された画像の観察に用いられる光源の輝度情報を取得する観察光輝度情報取得ステップと、
前記光源と前記被投影オブジェクトとの相対的な位置に関する情報を取得する光源位置情報取得ステップと、
前記光源位置情報及び前記３次元形状に基づいて、前記被投影オブジェクト上における前記光源から照射される観察光による輝度分布を作成する光源輝度分布作成ステップと、
前記輝度逆分布合成ステップにおける合成後の画像に前記観察光による輝度分布を合成する観察輝度合成ステップと、
を実行させることを特徴とする請求項１０に記載のプログラム。
【請求項１】
投影機器に投影させる画像を入力する画像入力手段と、
前記画像が投影される被投影オブジェクトの３次元形状を取得する３次元形状取得手段と、
前記投影機器と前記被投影オブジェクトとの相対的な位置に関する情報を取得する投影機器位置情報取得手段と、
前記投影機器位置情報及び前記３次元形状に基づいて、前記画像を補正する補正手段と、
前記投影機器位置情報及び前記３次元形状に基づいて、前記被投影オブジェクト上における前記投影機器から照射される投影光による輝度分布を作成する投影輝度分布作成手段と、
前記投影輝度分布を反転させた輝度逆分布を作成する投影輝度逆分布作成手段と、
前記補正手段による補正後の画像に前記輝度逆分布を合成する輝度逆分布合成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記画像入力手段により入力される画像は、２次元の画像であり、
前記補正手段は、当該２次元の画像を前記被投影オブジェクトの３次元形状に変形することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記投影光による輝度分布は、前記被投影オブジェクトの３次元形状と空間的なサイズが等しい多階調濃淡画像であり、
前記輝度逆分布合成手段による合成の結果、前記補正手段による補正後の画像に含まれる輝度情報が変更されることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記投影機器と前記被投影オブジェクトとの相対的な位置に関する情報には、前記被投影オブジェクト内の任意の点を基準とした前記投影機器の距離又は角度の少なくとも一方が含まれることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記被投影オブジェクトに投影された画像の観察に用いられる光源の輝度情報を取得する観察光輝度情報取得手段と、
前記光源と前記被投影オブジェクトとの相対的な位置に関する情報を取得する光源位置情報取得手段と、
前記光源位置情報及び前記３次元形状に基づいて、前記被投影オブジェクト上における前記光源から照射される観察光による輝度分布を作成する光源輝度分布作成手段と、
前記輝度逆分布合成手段による合成後の画像に前記観察光による輝度分布を合成する観察輝度合成手段と、
を有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記観察光による輝度分布は、前記被投影オブジェクトの３次元形状と空間的なサイズが等しい多階調濃淡画像であり、
前記観察輝度合成手段による合成の結果、前記輝度逆分布合成手段による合成後の画像に含まれる輝度情報が変更されることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記光源と前記被投影オブジェクトとの相対的な位置に関する情報には、前記被投影オブジェクト内の任意の点を基準とした前記光源の距離又は角度の少なくとも一方が含まれることを特徴とする請求項５又は６に記載の画像処理装置。
【請求項８】
投影機器に投影させる画像を入力する画像入力ステップと、
前記画像が投影される被投影オブジェクトの３次元形状を取得する３次元形状取得ステップと、
前記投影機器と前記被投影オブジェクトとの相対的な位置に関する情報を取得する投影機器位置情報取得ステップと、
前記投影機器位置情報及び前記３次元形状に基づいて、前記画像を補正する補正ステップと、
前記投影機器位置情報及び前記３次元形状に基づいて、前記被投影オブジェクト上における前記投影機器から照射される投影光による輝度分布を作成する投影輝度分布作成ステップと、
前記投影輝度分布を反転させた輝度逆分布を作成する投影輝度逆分布作成ステップと、
前記補正ステップにおける補正後の画像に前記輝度逆分布を合成する輝度逆分布合成ステップと、
を有することを特徴とする画像処理方法。
【請求項９】
前記被投影オブジェクトに投影された画像の観察に用いられる光源の輝度情報を取得する観察光輝度情報取得ステップと、
前記光源と前記被投影オブジェクトとの相対的な位置に関する情報を取得する光源位置情報取得ステップと、
前記光源位置情報及び前記３次元形状に基づいて、前記被投影オブジェクト上における前記光源から照射される観察光による輝度分布を作成する光源輝度分布作成ステップと、
前記輝度逆分布合成ステップにおける合成後の画像に前記観察光による輝度分布を合成する観察輝度合成ステップと、
を有することを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
コンピュータに、
投影機器に投影させる画像を入力する画像入力ステップと、
前記画像が投影される被投影オブジェクトの３次元形状を取得する３次元形状取得ステップと、
前記投影機器と前記被投影オブジェクトとの相対的な位置に関する情報を取得する投影機器位置情報取得ステップと、
前記投影機器位置情報及び前記３次元形状に基づいて、前記画像を補正する補正ステップと、
前記投影機器位置情報及び前記３次元形状に基づいて、前記被投影オブジェクト上における前記投影機器から照射される投影光による輝度分布を作成する投影輝度分布作成ステップと、
前記投影輝度分布を反転させた輝度逆分布を作成する投影輝度逆分布作成ステップと、
前記補正ステップにおける補正後の画像に前記輝度逆分布を合成する輝度逆分布合成ステップと、
を実行させることを特徴とするプログラム。
【請求項１１】
前記コンピュータに、更に、
前記被投影オブジェクトに投影された画像の観察に用いられる光源の輝度情報を取得する観察光輝度情報取得ステップと、
前記光源と前記被投影オブジェクトとの相対的な位置に関する情報を取得する光源位置情報取得ステップと、
前記光源位置情報及び前記３次元形状に基づいて、前記被投影オブジェクト上における前記光源から照射される観察光による輝度分布を作成する光源輝度分布作成ステップと、
前記輝度逆分布合成ステップにおける合成後の画像に前記観察光による輝度分布を合成する観察輝度合成ステップと、
を実行させることを特徴とする請求項１０に記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１０−１５７１８０（Ｐ２０１０−１５７１８０Ａ）
【公開日】平成２２年７月１５日（２０１０．７．１５）
【国際特許分類】
【出願番号】特願２００９−２７２（Ｐ２００９−２７２）
【出願日】平成２１年１月５日（２００９．１．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年７月１５日（２０１０．７．１５）
【国際特許分類】
【出願日】平成２１年１月５日（２００９．１．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]