画像処理装置、画像処理方法およびプログラム
【課題】実空間に存在する光源に関する情報を取得し、光源に関する情報を反映した画像を表示する。
【解決手段】画像処理装置１００は、魚眼レンズを通して自装置の外部から受光して画像を撮影する撮影部１１０と、３次元空間を規定する３次元ＣＧモデル情報１３１を記憶する記憶部１３０と、撮影部１１０によって撮影された画像に写されている光源の個数を算出し、個数分に相当する光源の画像における位置を示す光源座標情報を算出する光源個数算出部１２０と、光源座標情報に基づいて、光源に関する実空間におけるパラメータを３次元空間におけるパラメータである光源情報として算出する光源情報算出部１４０と、３次元ＣＧモデル情報１３１と光源情報とに基づいて、３次元画像を作成する３次元ＣＧ作成部１５０と、３次元画像を表示する表示部１６０と、を備える。
【解決手段】画像処理装置１００は、魚眼レンズを通して自装置の外部から受光して画像を撮影する撮影部１１０と、３次元空間を規定する３次元ＣＧモデル情報１３１を記憶する記憶部１３０と、撮影部１１０によって撮影された画像に写されている光源の個数を算出し、個数分に相当する光源の画像における位置を示す光源座標情報を算出する光源個数算出部１２０と、光源座標情報に基づいて、光源に関する実空間におけるパラメータを３次元空間におけるパラメータである光源情報として算出する光源情報算出部１４０と、３次元ＣＧモデル情報１３１と光源情報とに基づいて、３次元画像を作成する３次元ＣＧ作成部１５０と、３次元画像を表示する表示部１６０と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、カメラによって撮影された画像に対して行われる画像処理の技術として様々なものが開発されている。例えば、異なる複数の位置に設置されたカメラにより対象物を撮影して得た複数の画像を処理して対象物を確実に追跡する技術について開示されている（例えば、特許文献１参照）。また、対象物を撮影して得た複数の画像データから対象物の３次元画像データを生成する装置において、対象物の３次元形状モデルの表面についての色彩データを複数の方向から見たデータとして生成する技術について開示されている（例えば、特許文献２参照）。この技術によれば、照明に依存して対象物の各部分の色情報が不正確に再現される点を改善することが可能となる。
【０００３】
また、装置の置かれた環境光によって画像の鑑賞者による見えのモードが変化しないように画像を表示する画像表示技術について開示されている（特許文献３参照）。また、被写体が存在する空間の環境光に対して忠実に画像再生装置の存在する空間の環境光を再現する技術について開示されている（特許文献４参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１０１４１９号公報
【特許文献２】特開２０００−３０６１１７号公報
【特許文献３】特開２００７−８６５４９号公報
【特許文献４】特開平０７−２６４６２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記した特許文献１、２に記載された技術では、複数のカメラによって撮影された画像に基づいて、被写体の位置、形状、色彩を推定することはできるが、実空間に存在する光源に関する情報を取得することはできないという問題があった。
【０００６】
また、上記した特許文献３、４に記載された技術では、装置に照らされている環境光に関する情報を画像に反映することはできるが、上記した特許文献１、２に記載された技術と同様に、実空間に存在する光源に関する情報を取得することはできないという問題があった。実空間に存在する光源に関する情報を取得することができない場合には、当然のことながら、光源に関する情報に基づいた画像を生成することはできない。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、実空間に存在する光源に関する情報を取得し、光源に関する情報を反映した画像を表示することが可能な、新規かつ改良された画像処理装置、画像処理方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、魚眼レンズを有するとともに魚眼レンズを通して自装置の外部から受光して画像を撮影する撮影部と、３次元空間を規定する３次元モデル情報を記憶する記憶部と、撮影部によって撮影された画像に写されている光源の個数を算出する光源個数算出処理を行い、算出した個数分に相当する光源の画像における位置を示す光源座標情報を算出する光源個数算出部と、光源個数算出部によって算出された光源座標情報に基づいて、光源に関する実空間におけるパラメータを３次元空間におけるパラメータである光源情報として算出する光源情報算出処理を行う光源情報算出部と、記憶部によって記憶されている３次元モデル情報と光源情報算出部によって算出された光源情報とに基づいて、３次元画像を作成する３次元画像作成部と、３次元画像作成部によって作成された３次元画像を表示する表示部と、を備えることを特徴とする、画像処理装置が提供される。
【０００９】
光源情報算出部は、光源個数算出部によって算出された光源座標情報に基づいて、射影変換により撮影部の位置を基準とした光源の実空間における方位を示す方位情報を、光源情報として算出する方位情報算出処理を行うこととしてもよい。
【００１０】
光源情報算出部は、方位情報と所定値とに基づいて、光源の実空間における位置を示す位置情報を、光源情報として算出することとしてもよい。
【００１１】
撮影部は、魚眼レンズを複数有し、複数の魚眼レンズを通して自装置の外部から受光してそれぞれの画像を撮影し、光源個数算出部は、撮影部によって撮影されたそれぞれの画像について光源個数算出処理と光源情報算出処理とを行い、光源情報算出部は、撮影部によって撮影されたそれぞれの画像について方位情報算出処理を行い、算出された複数の方位情報に基づいて光源の実空間における位置を示す位置情報を、光源情報として算出することとしてもよい。
【００１２】
光源情報算出部は、光源個数算出部によって算出された光源座標情報に基づいて、光源から発せられる光の強度および色の少なくともいずれか一方を、光源情報としてさらに算出することとしてもよい。
【００１３】
光源個数算出部は、算出した個数分に相当する光源領域を画像から検出し、検出した光源領域の画像における位置を光源領域座標情報として算出し、光源情報算出部は、光源個数算出部によって算出された光源領域座標情報に基づいて、光源から発せられる光の広がりを、光源情報としてさらに算出することとしてもよい。
【００１４】
光源情報算出部は、光源個数算出部によって算出された光源領域座標情報に基づいて、光源領域を２つのベクトルで近似し、２つのベクトルによって光の広がりとして使用することとしてもよい。
【００１５】
光源情報算出部は、光源個数算出部によって算出された光源座標情報に基づいて、実空間における環境光の強さおよび色の少なくともいずれか一方を３次元空間におけるパラメータである環境光情報としてさらに算出し、３次元画像作成部は、光源情報算出部によって算出された環境光情報に基づいて、３次元空間における物体色を特定し、特定した物体色を有する３次元画像を作成することとしてもよい。
【００１６】
３次元画像作成部は、光源情報算出部によって算出された光源情報と記憶部によって記憶されている３次元モデル情報とに基づいて、３次元空間に生じる影の向きおよび個数を算出し、算出した影の向きおよび個数に基づいて影領域を特定し、特定した影領域に影を有する３次元画像を作成することとしてもよい。
【００１７】
３次元画像作成部は、光源情報算出部によって光源情報として算出された位置情報と記憶部によって記憶されている３次元モデル情報とに基づいて、３次元空間に生じる半影領域を特定し、特定した半影領域に半影を有する３次元画像を作成することとしてもよい。
【００１８】
光源情報算出部は、３次元画像の作成に前回用いられた光源情報である前回の光源情報と比較して、現在の光源情報が変化したか否かを判断し、３次元画像作成部は、光源情報算出部によって現在の光源情報が前回の光源情報から変化したと判断された場合に、３次元画像を作成し直し、表示部は、３次元画像作成部によって作成し直された３次元画像を表示し直すこととしてもよい。
【００１９】
また、上記課題を解決するために、本発明の別の観点によれば、魚眼レンズを有するとともに魚眼レンズを通して自装置の外部から受光して画像を撮影する撮影部と、３次元空間を規定する３次元モデル情報を記憶する記憶部と、光源個数算出部と、光源情報算出部と、３次元画像作成部と、表示部とを備える、画像処理装置が、光源個数算出部により、撮影部によって撮影された画像に写されている光源の個数を算出する光源個数算出処理を行い、算出した個数分に相当する光源の画像における位置を示す光源座標情報を算出するステップと、光源情報算出部により、光源個数算出部によって算出された光源座標情報に基づいて、光源に関する実空間におけるパラメータを３次元空間におけるパラメータである光源情報として算出する光源情報算出処理を行うステップと、３次元画像作成部により、記憶部によって記憶されている３次元モデル情報と光源情報算出部によって算出された光源情報とに基づいて、３次元画像を作成するステップと、表示部により、３次元画像作成部によって作成された３次元画像を表示するステップと、を含むことを特徴とする、画像処理方法が提供される。
【００２０】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、魚眼レンズを有するとともに魚眼レンズを通して自装置の外部から受光して画像を撮影する撮影部と、３次元空間を規定する３次元モデル情報を記憶する記憶部と、撮影部によって撮影された画像に写されている光源の個数を算出する光源個数算出処理を行い、算出した個数分に相当する光源の画像における位置を示す光源座標情報を算出する光源個数算出部と、光源個数算出部によって算出された光源座標情報に基づいて、光源に関する実空間におけるパラメータを３次元空間におけるパラメータである光源情報として算出する光源情報算出処理を行う光源情報算出部と、記憶部によって記憶されている３次元モデル情報と光源情報算出部によって算出された光源情報とに基づいて、３次元画像を作成する３次元画像作成部と、３次元画像作成部によって作成された３次元画像を表示する表示部と、を備える、画像処理装置として機能させるためのプログラムが提供される。
【発明の効果】
【００２１】
以上説明したように本発明によれば、実空間に存在する光源に関する情報を取得し、光源に関する情報を反映した画像を表示することが可能になる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態に係る画像処理装置の概観を示す図である。
【図２】同実施形態に係る画像処理装置の機能構成を示す図である。
【図３】同実施形態に係る画像処理装置の光源個数算出部の機能について説明するための図である。
【図４】同実施形態に係る画像処理装置の光源情報算出部の機能について説明するための図である。
【図５Ａ】同実施形態に係る画像処理装置によって処理された画像の表示例（光源が１つ存在する場合）を示す図である。
【図５Ｂ】一般的な画像表示装置によって表示された画像の表示例（光源が１つ存在する場合）を示す図である。
【図６Ａ】本発明の実施形態に係る画像処理装置によって処理された画像の表示例（点光源が１つ存在する場合）を示す図である。
【図６Ｂ】同実施形態に係る画像処理装置によって処理された画像の表示例（点光源が２つ存在する場合）を示す図である。
【図６Ｃ】同実施形態に係る画像処理装置によって処理された画像の表示例（点光源１つと面光源１つが存在する場合）を示す図である。
【図７】同実施形態に係る画像処理装置の光源情報算出部が光源情報として光源の方位を算出する手法を説明するための図である。
【図８】光源の方位を算出するために使用する仰角および方位角を説明するための図である。
【図９】同実施形態に係る画像処理装置の光源情報算出部が光源情報として光源の位置を算出する手法を説明するための図である。
【発明を実施するための形態】
【００２３】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２４】
［画像処理装置の概要］
まず、図１を参照しながら、本実施形態に係る画像処理装置の概要について説明する。図１は、本発明の実施形態に係る画像処理装置の概観を示す図である。
【００２５】
図１に示すように、本発明の実施形態に係る画像処理装置１００は、少なくとも表示部１６０を備えるものであり、表示部１６０は、画像処理装置１００によって処理された画像を表示する。例えば、図１に示すように、ユーザが画像処理装置１００に対して操作情報を入力するためのオブジェクト１６１が表示部１６０によって表示されているとする。
【００２６】
画像処理装置１００は、例えば、その周囲に光源Ｌ１および光源Ｌ２が設置されており、光源Ｌ１および光源Ｌ２から発せられた光によって、表示部１６０によって表示されているオブジェクト１６１が照射されている。ここで、オブジェクト１６１が立体的に構成されていることを示すには、光源Ｌ１から発せられた光がオブジェクト１６１に照射されることによって、オブジェクト１６１の右下に影を表示されるようにするのが好ましい（オブジェクト１６１ａ参照）。この場合の「右下」は、オブジェクト１６１を基準として光源Ｌ１が存在する方向とは逆の方向となる。このようにすれば、画像処理装置１００を使用するユーザに対してリアルな画像を閲覧させることができる。
【００２７】
同様に、光源Ｌ２から発せられた光がオブジェクト１６１に照射されることによって、オブジェクト１６１の左下に影を表示されるようにするのが好ましい（オブジェクト１６１ｂ参照）。この場合の「左下」は、オブジェクト１６１を基準として光源Ｌ２が存在する方向とは逆の方向となる。また、光源Ｌ１と光源Ｌ２の双方から発せられた光がオブジェクト１６１に照射されることによって、オブジェクト１６１の右下と左下に影を表示するようにするのが好ましい（オブジェクト１６１ｃ参照）。特に、オブジェクト１６１の下に相当する領域は、双方の影が重なるため、比較的濃い影として表示されるのが好ましい。
【００２８】
これを実現するために、本発明の実施形態に係る画像処理装置１００は、撮影部１１０を備えることとする。撮影部１１０は、少なくとも魚眼レンズ１１１と撮像素子１１２とを有しており、撮像素子１１２は、魚眼レンズ１１１を通して画像処理装置１００の外部から受光して画像を撮影する機能を有する。本発明の実施形態では、このように、画像を撮影するために使用するレンズとして平面的なレンズ（以下、「通常レンズ」とも言う。）ではなく、魚眼レンズ１１１を使用する。通常レンズの画角は１８０度より狭いため、オブジェクト１６１を照射する光を発する光源が撮影範囲内に収まらない可能性がある。他方において、魚眼レンズ１１１の画角は１８０度であるため、オブジェクト１６１を照射する光を発する光源を、必ず撮影範囲内に収めることができる。
【００２９】
また、例えば、積分球を使用して画像処理装置１００を照射する環境光に関する情報を取得する技術では、環境光に関する情報を取得することは可能であるが、光源に関する情報を取得することはできない。したがって、上記したような影を表示すべき方向などを把握することができない。本発明の実施形態では、画像処理装置１００が魚眼レンズを使用して撮影を行うことができるため、光源に関する情報を取得することができ、いずれの方向に影を表示すべきであるのかを把握することができる。また、本発明の実施形態に係る画像処理装置１００は、光源に関する情報を取得することができるために、光源に関する情報とは切り離して環境光に関する情報を取得することができるという効果をも奏するものである。
【００３０】
本発明の実施形態は、魚眼レンズ１１１を有する撮影部１１０によって撮影された画像を処理することによって、実空間に存在する光源に関する情報を取得し、光源に関する情報を反映した画像を表示する。これによって、ユーザにとってよりリアルな画像を表示することができる。
【００３１】
［画像処理装置の機能構成］
図２を参照しながら、本発明の実施形態に係る画像処理装置の機能構成について説明する。図２は、本発明の実施形態に係る画像処理装置の機能構成を示す図である。
【００３２】
図２に示すように、本発明の実施形態に係る画像処理装置１００は、撮影部１１０と、光源個数算出部１２０と、記憶部１３０と、光源情報算出部１４０と、３次元ＣＧ作成部１５０と、表示部１６０とを備えるものである。以下において各ブロックが有する機能について説明する。
【００３３】
撮影部１１０は、魚眼レンズ１１１を有するとともに魚眼レンズ１１１を通して画像処理装置１００の外部から受光して画像を撮影する機能を有するものである。撮影部１１０は、魚眼レンズ１１１を１以上有することとしてもよいし、複数有することとしてもよい。撮影部１１０は、魚眼レンズ１１１の他に、魚眼レンズ１１１を通して画像処理装置１００の外部から入射した光を電気信号に変換する撮像素子１１２を有する。
【００３４】
記憶部１３０は、３次元空間を規定する３次元ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）モデル情報１３１を記憶する機能を有するものである。３次元空間は、表示部１６０によって表示される仮想的な空間であり、例えば、形状、大きさ、位置、向き、色などを有するオブジェクトによって規定される。オブジェクトについては、後に詳細に説明する。３次元ＣＧモデル情報１３１は、３次元モデル情報の一例となる情報である。記憶部１３０は、その他に画像処理装置１００内の各ブロックによって使用されるデータやプログラムなどを記憶する機能を有する。記憶部１３０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの不揮発性メモリによって構成されるものである。
【００３５】
光源個数算出部１２０は、撮影部１１０によって撮影された画像に写されている光源の個数を算出する光源個数算出処理を行い、算出した個数分に相当する光源の画像における位置を示す光源座標情報を算出する機能を有するものである。光源個数算出部１２０の機能の詳細については、図３を参照して後に説明する。光源個数算出部１２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）によって構成され、ＣＰＵが記憶部１３０によって記憶されているプログラムをＲＡＭに展開して、ＲＡＭに展開したプログラムを実行することによってその機能が実現される。
【００３６】
光源情報算出部１４０は、光源個数算出部１２０によって算出された光源座標情報に基づいて、光源に関する実空間におけるパラメータを３次元空間におけるパラメータである光源情報として算出する光源情報算出処理を行う機能を有するものである。光源個数算出部１２０の機能の詳細については、図４を参照して後に説明する。光源情報算出部１４０は、例えば、ＣＰＵ、ＲＡＭによって構成され、ＣＰＵが記憶部１３０によって記憶されているプログラムをＲＡＭに展開して、ＲＡＭに展開したプログラムを実行することによってその機能が実現される。
【００３７】
３次元ＣＧ作成部１５０は、記憶部１３０によって記憶されている３次元ＣＧモデル情報１３１と光源情報算出部１４０によって算出された光源情報とに基づいて、３次元画像を作成する機能を有するものである。３次元ＣＧ作成部１５０は、３次元画像作成部の一例として機能するものである。３次元ＣＧ作成部１５０は、例えば、ＣＰＵ、ＲＡＭによって構成され、ＣＰＵが記憶部１３０によって記憶されているプログラムをＲＡＭに展開して、ＲＡＭに展開したプログラムを実行することによってその機能が実現される。
【００３８】
表示部１６０は、３次元ＣＧ作成部１５０によって作成された３次元画像を表示する機能を有するものである。表示部１６０は、その他に画像処理装置１００が閲覧するための情報を必要に応じて表示することが可能である。表示部１６０は、例えば、表示装置によって構成されるものである。
【００３９】
［画像処理装置の光源個数算出部の機能］
図３を参照しながら、本発明の実施形態に係る画像処理装置の光源個数算出部の機能について説明する。図３は、本発明の実施形態に係る画像処理装置の光源個数算出部の機能について説明するための図である。
【００４０】
図３に示すように、撮影部１１０は、例えば、撮影した結果として画像全体ＩＭＡを取得することができる。画像全体ＩＭＡには、レンズ内画像ＩＭＢとレンズ外画像ＩＭＣとが含まれている。レンズ内画像ＩＭＢは、撮影部１１０が画像処理装置１００の外部から魚眼レンズ１１１を通して受光して撮影した画像であり、レンズ外画像ＩＭＣは、撮影部１１０が魚眼レンズ１１１を通さずに受光して撮影した画像である。本発明の実施形態では、主にレンズ外画像ＩＭＣではなくレンズ内画像ＩＭＢを使用する。なお、光源位置Ｐ１は、光源Ｌ１が撮影された箇所に相当し、光源位置Ｐ２は、光源Ｌ２が撮影された箇所に相当するものとする。
【００４１】
上記したように、光源個数算出部１２０は、撮影部１１０によって撮影されたレンズ内画像ＩＭＢに写されている光源の個数を算出する光源個数算出処理を行う。そのために、例えば、光源個数算出部１２０は、レンズ内画像ＩＭＢのヒストグラムを用いて所定値以上の輝度を有する箇所を光源候補領域とする。この場合の所定値は、例えば、記憶部１３０に記憶させておくことができる。
【００４２】
図３に示した例では、レンズ内画像ＩＭＢに示されている２つの楕円領域を光源候補領域とする。ここでは、光源Ｌ１と光源Ｌ２とが点光源であるために、光源候補領域が楕円領域として撮影されているが、光源候補領域は、必ずしも楕円形状になるとは限らず、例えば、光源が細長い蛍光灯のようなものである場合には、矩形になることもある。このように、光源の形状によって光源候補領域の形状は変更され得るものである。
【００４３】
続いて、光源個数算出部１２０は、この光源候補領域に対する包絡線を検出し、包絡線に囲まれる領域が所定値以上の面積を有するものであれば、その光源候補領域を光源領域とし、光源領域に１つの光源が存在するものとみなす。この場合の所定値についても、例えば、記憶部１３０に記憶させておくことができる。光源個数算出部１２０は、例えば、光源領域の輝度を尺度とした重心位置を光源位置として検出する。
【００４４】
包絡線は、光源候補領域を含むように囲う線であればどのようなものであってもよいが、光源候補領域を含むように可能な限り小さな領域を規定する線であるとするのがよい。このように、所定値以上の面積を有すると判断した領域に１つの光源が存在するとみなすのは、単なる光の反射によって撮影された領域に光源が存在すると誤認してしまうことを防ぐためである。
【００４５】
図３に示した例では、光源個数算出部１２０は、例えば、包絡線に囲まれる領域として矩形領域ＩＭ１と矩形領域ＩＭ２とを検出する。光源個数算出部１２０は、矩形領域ＩＭ１と矩形領域ＩＭ２との双方が所定値以上の面積を有すると判断し、２つの楕円領域のそれぞれを光源領域とみなす。さらに、光源個数算出部１２０は、２つの光源領域の中心をそれぞれの光源座標情報として光源位置Ｐ１および光源位置Ｐ２として算出する。
【００４６】
以上に説明したように、光源個数算出部１２０は、まず、撮影部１１０によって撮影されたレンズ内画像ＩＭＢに写されている光源の個数を算出し、算出した個数分に相当する光源の画像における位置を示す光源座標情報を算出する。このように、光源座標を算出するに先立って光源の個数を算出するのは、２つの光源を含むような領域を１つの光源領域とみなし、その光源領域の輝度を尺度とした重心位置を光源位置と誤認してしまうことを防ぐためである。
【００４７】
［画像処理装置の光源情報算出部の機能］
図４を参照しながら、本発明の実施形態に係る画像処理装置の光源情報算出部の機能について説明する。図４は、本発明の実施形態に係る画像処理装置の光源情報算出部の機能について説明するための図である。
【００４８】
上記したように、光源情報算出部１４０は、光源個数算出部１２０によって算出された光源座標情報に基づいて、光源に関する実空間におけるパラメータを３次元空間におけるパラメータである光源情報として算出する光源情報算出処理を行う。図３に示した例では、光源個数算出部１２０は、レンズ内画像ＩＭＢにおける光源座標として光源位置Ｐ１および光源位置Ｐ２を算出した。図４に示す例では、光源情報算出部１４０は、レンズ内画像ＩＭＢにおける光源位置Ｐ１および光源位置Ｐ２に基づいて、光源Ｌ１および光源Ｌ２に関する実空間におけるパラメータを３次元空間におけるパラメータである光源情報として算出する。光源に関する実空間におけるパラメータには、様々なものがあるが、例えば、光源の方位、位置、光源から発せられる光の強度、色、広がりなどが想定される。光源情報算出部１４０は、これらの値を矩形領域（矩形領域ＩＭ１や矩形領域ＩＭ２）ごとに算出する。
【００４９】
光源情報算出部１４０は、例えば、光源個数算出部１２０によって算出された光源座標情報に基づいて、射影変換により撮影部１１０の位置を基準とした光源の実空間における方位を示す方位情報を、光源情報として算出する。方位情報の算出手法については、図７および図８を参照して後に説明する。また、光源情報算出部１４０は、光源の実空間における位置を示す位置情報を、光源情報として算出することとしてもよい。光源の位置情報の算出手法にも様々なものがあり、例えば、方位情報と所定値とに基づいて算出する手法や、複数の魚眼レンズを使用して算出する手法などがある。前者については図７および図８を参照して後に説明する。後者については図９を参照して後に説明する。
【００５０】
光源情報算出部１４０によって複数の光源の位置が算出された場合には、３次元ＣＧ作成部１５０は、複数の光源の位置に基づいて半影を含む３次元画像を生成することができる。半影は、複数の光源のうちで一部の光源から発せられた光が到達しないために生じる影である。より詳細には、３次元ＣＧ作成部１５０は、光源情報算出部１４０によって光源情報として算出された位置情報と記憶部１３０によって記憶されている３次元モデル情報とに基づいて、３次元空間に生じる半影領域を特定し、特定した半影領域に半影を有する３次元画像を作成する。
【００５１】
光源情報算出部１４０は、光源個数算出部１２０によって算出された光源座標情報に基づいて、光源から発せられる光の強度および色の少なくともいずれか一方を、光源情報として方位情報の他に算出することとしてもよい。光源情報算出部１４０は、例えば、光源の強度として、光源位置Ｐ１（または光源位置Ｐ２）の画素値と撮影部１１０のＥｘｐｏｓｕｒｅ値とに基づいて算出する。光源位置の画素値は、光源位置のＲＧＢの３つを使用した演算によって算出される。撮影部１１０のＥｘｐｏｓｕｒｅは、絞り値と露光時間（シャッタースピード）によって決まる露出の度合いを示す値である。また、光源情報算出部１４０は、例えば、光源の色として、光源位置Ｐ１（または光源位置Ｐ２）のＲＧＢに基づいて算出する。
【００５２】
光源情報算出部１４０は、光源個数算出部１２０によって算出された光源領域座標情報に基づいて、光源から発せられる光の広がりを、光源情報として方位情報の他に算出することとしてもよい。より詳細には、光源情報算出部１４０は、例えば、光源個数算出部１２０によって算出された光源領域座標情報に基づいて、光源領域を２つのベクトルで近似し、２つのベクトルによって光の広がりとして使用することとしてもよい。
【００５３】
図４に示す例では、光源情報算出部１４０が、矩形領域ＩＭ１に存在する光源領域の短軸をベクトルＶ１ａ、長軸をベクトルｖ１ｂで近似し、矩形領域ＩＭ２に存在する光源領域の長軸をベクトルｖ２ａ、短軸をベクトルｖ２ｂで近似する場合について示されている。しかしながら、光源領域を２つのベクトルで近似する手法については、特に限定されるものではない。光源情報算出部１４０は、例えば、光源領域が矩形である場合には、矩形の縦横を２つのベクトルで近似することとしてもよい。また、正確に長軸、短軸、縦横をベクトルで近似する場合に限らず、所定の定数を掛けたベクトルで近似することとしてもよい。
【００５４】
光源情報算出部１４０は、光源個数算出部１２０によって算出された光源座標情報に基づいて、実空間における環境光の強さおよび色の少なくともいずれか一方を３次元空間におけるパラメータである環境光情報としてさらに光源情報の他に算出することとしてもよい。光源情報算出部１４０は、例えば、レンズ内画像ＩＭＢのうちで矩形領域ＩＭ１や矩形領域ＩＭ２に属しない領域の画素値とＥｘｐｏｓｕｒｅ値とに基づいて実空間における環境光の強さを算出することができる。
【００５５】
また、光源情報算出部１４０は、例えば、レンズ内画像ＩＭＢのうちで矩形領域ＩＭ１や矩形領域ＩＭ２に属しない領域のＲＧＢに基づいて実空間における環境光の色を算出することができる。３次元ＣＧ作成部１５０は、光源情報算出部１４０によって算出された環境光情報に基づいて、３次元空間における物体色を特定し、特定した物体色を有する３次元画像を作成する。環境光情報は、光源からの光が届かない箇所の明るさに、特に大きく寄与する要素である。光源からの光が届かない箇所とは、後の説明で登場する影が生じる箇所を意味する。
【００５６】
このように、本発明の実施形態では、画像処理装置１００は、魚眼レンズを用いて撮影した画像から光源に関する情報を取得することができるため、光源に関する情報とは区別された環境光に関する情報を取得することができる。例えば、魚眼レンズではなく、積分球などを用いて積分球に入り込む光に関する情報を取得した場合には、取得した情報から光源に関する情報と環境光に関する情報とを切り分けることができない。
【００５７】
［画像の表示例（光源が１つ存在する場合）］
図５Ａを参照しながら、本発明の実施形態に係る画像処理装置によって処理された画像の表示例（光源が１つ存在する場合）について説明する。図５Ａは、本発明の実施形態に係る画像処理装置によって処理された画像の表示例（光源が１つ存在する場合）を示す図である。
【００５８】
図５Ａに示すように、画像処理装置１００の一例としての画像処理装置２００が表示する画面２１０ａには、オブジェクト２２０ａが含まれている。このオブジェクト２２０ａは、３次元ＣＧモデル情報１３１によって規定されており、３次元画像として表示部１６０に表示される。ここで、図５Ａに示すように、オブジェクト２２０ａには、画面２１０ａに対して垂直の方向に高さを有するオブジェクト２３１およびオブジェクト２３２が含まれているとする。そのような場合には、画像処理装置２００の光源情報算出部１４０が有する機能によって画像処理装置２００を照射する光を発している光源に関する情報が取得される。また、画像処理装置２００の３次元ＣＧ作成部１５０が有する機能によって光源に関する情報に基づいた影２４１および影２４２が画面２１０ａに表示される。これにより、画像処理装置２００を室内に設置した場合に、画像処理装置２００の周囲の環境との親和感を増した画面２１０ａを表示することができる。
【００５９】
より詳細には、画像処理装置２００の３次元ＣＧ作成部１５０は、光源情報算出部１４０によって算出された光源情報と記憶部１３０によって記憶されている３次元ＣＧモデル情報１３１とに基づいて、３次元空間に生じる影の向きおよび個数を算出する。３次元ＣＧ作成部１５０は、算出した影の向きおよび個数に基づいて影領域を特定し、特定した影領域に影を有する３次元画像を作成する。表示部１６０は、３次元ＣＧ作成部１５０によって生成された３次元画像を表示する。
【００６０】
近年では、デジタルフォトフレーム、スマートフォン、タブレットＰＣなどといった可搬性のあるディスプレイが広く流通している。これらのディスプレイは、使用される環境が変化することが多く、光源に適応的な表現を行うことは特に有用であると考えられる。また、販売対象となる商品の見本などを立体的に表示する際、光源に適応した陰影が付された画像を表示することによって、購入者が実際に商品を入手したときの印象と見本を閲覧したときとの印象との間に生じる差異を減少させることができる。
【００６１】
また、画像処理装置２００は、設置される環境が変化することによって光源の情報を速やかに算出し、表示対象の画像を、変化後の環境に合わせた３次元画像に即時性をもって変更することも可能である。より詳細には、光源情報算出部１４０は、３次元画像の作成に前回用いられた光源情報である前回の光源情報と比較して、現在の光源情報が変化したか否かを判断し、３次元ＣＧ作成部１５０は、光源情報算出部１４０によって現在の光源情報が前回の光源情報から変化したと判断された場合に、３次元画像を作成し直し、表示部１６０は、３次元ＣＧ作成部１５０によって作成し直された３次元画像を表示し直す。
【００６２】
［画像の表示例（光源が１つ存在する場合）］
図５Ｂを参照しながら、一般的な画像処理装置によって表示された画像の表示例（光源が１つ存在する場合）について説明する。図５Ｂは、一般的な画像処理装置によって表示された画像の表示例（光源が１つ存在する場合）を示す図である。
【００６３】
図５Ｂに示すように、一般的な画像処理装置は、オブジェクト２２０ｂを含む画面２１０ｂを表示している。オブジェクト２２０ｂは、オブジェクト２３１およびオブジェクト２３２を有するが、オブジェクト２３１およびオブジェクト２３２が存在することによって生じるはずの影は、オブジェクト２２０ｂには特に示されていない。
【００６４】
［画像の表示例（点光源が１つ存在する場合）］
図６Ａを参照しながら、本発明の実施形態に係る画像処理装置によって処理された画像の表示例（点光源が１つ存在する場合）について説明する。図６Ａは、本発明の実施形態に係る画像処理装置によって処理された画像の表示例（点光源が１つ存在する場合）を示す図である。
【００６５】
図６Ａに示すように、画像処理装置１００の一例としての画像処理装置３００は、画面３１０ａを表示しており、画面３１０ａには、オブジェクト３２１、オブジェクト３２２、オブジェクト３２３などが含まれている。画像処理装置３００の光源情報算出部１４０が有する機能によって光源に関する情報が取得され、画像処理装置３００の３次元ＣＧ作成部１５０が有する機能によって、オブジェクト３２１およびオブジェクト３２２を基点として方向Ｓ１に影を有する３次元画像が生成される。画像処理装置３００の表示部１６０によって３次元画像が表示される。ここでは、点光源が１つ存在する場合について示されている。
【００６６】
［画像の表示例（点光源が２つ存在する場合）］
図６Ｂを参照しながら、本発明の実施形態に係る画像処理装置によって処理された画像の表示例（点光源が２つ存在する場合）について説明する。図６Ｂは、本発明の実施形態に係る画像処理装置によって処理された画像の表示例（点光源が２つ存在する場合）を示す図である。
【００６７】
図６Ｂに示すように、画像処理装置１００の一例としての画像処理装置３００は、画面３１０ｂを表示しており、画面３１０ｂには、オブジェクト３２１、オブジェクト３２２、オブジェクト３２３などが含まれている。画像処理装置３００の光源情報算出部１４０が有する機能によって光源に関する情報が取得され、画像処理装置３００の３次元ＣＧ作成部１５０が有する機能によって、オブジェクト３２１およびオブジェクト３２２を基点として方向Ｓ２および方向Ｓ３に影を有する３次元画像が生成される。画像処理装置３００の表示部１６０によって３次元画像が表示される。ここでは、点光源が２つ存在する場合について示されている。
【００６８】
［画像の表示例（点光源１つと面光源１つが存在する場合）］
図６Ｃを参照しながら、本発明の実施形態に係る画像処理装置によって処理された画像の表示例（点光源１つと面光源１つが存在する場合）について説明する。図６Ｃは、本発明の実施形態に係る画像処理装置によって処理された画像の表示例（点光源１つと面光源１つが存在する場合）を示す図である。
【００６９】
図６Ｃに示すように、画像処理装置１００の一例としての画像処理装置３００は、画面３１０ｃを表示しており、画面３１０ｂには、オブジェクト３２１、オブジェクト３２２、オブジェクト３２３などが含まれている。画像処理装置３００の光源情報算出部１４０が有する機能によって光源に関する情報が取得され、画像処理装置３００の３次元ＣＧ作成部１５０が有する機能によって、オブジェクト３２１およびオブジェクト３２２を基点として方向Ｓ２および方向Ｓ３に影を有する３次元画像が生成される。画像処理装置３００の表示部１６０によって３次元画像が表示される。ここでは、点光源が１つ、面光源が１つ存在する場合について示されている。面光源から光が照射されるために、方向Ｓ２に生じる影は境界がなだらかになっている。これは、画像処理装置３００の光源情報算出部１４０によって光源の広がりを示す情報が光源情報として取得され、画像処理装置３００の３次元ＣＧ作成部１５０が、光源の広がりを考慮した３次元画像を作成したためである。
【００７０】
［光源の方位を算出する手法］
図７を参照しながら、本発明の実施形態に係る画像処理装置の光源情報算出部が光源情報として光源の方位を算出する手法について説明する。図７は、本発明の実施形態に係る画像処理装置の光源情報算出部が光源情報として光源の方位を算出する手法を説明するための図である。ここでは、画像処理装置１００が使用する魚眼レンズ１１１は１つであることを想定している。
【００７１】
いま、光源のレンズ内画像ＩＭＢ上における光源座標（ｉ，ｊ）が２次元座標として得られたとする。また、魚眼レンズ１１１は正距円筒図法でレンズ内画像ＩＭＢに光を投影しており、画像内で９０度となる長さをＷとする。このとき、光源座標（ｉ，ｊ）と光源の方位（方位角、仰角）＝（θ、φ）の関係は式（１）で表わされる。仰角、方位角の定義は図８に示した。
【００７２】
【数１】
【００７３】
３次元ＣＧ作成部１５０が３次元ＣＧにおいて半影を描かない場合は、光源の方向を使用すれば、光源の位置が未知であっても影の作成を行うことが可能である。３次元ＣＧ作成部１５０が半影を描くときは、適当な半径Ｒを設定し、式（２）によって得られる光源座標（ｘ，ｙ，ｚ）を用いる。半径Ｒは、例えば、記憶部１３０に記憶させておくことができ、画像処理装置１００を管理する管理者などが適宜変更することが可能である。
【００７４】
【数２】
【００７５】
［光源の方位を算出するために使用する仰角および方位角］
図８を参照しながら、光源の方位を算出するために使用する仰角および方位角について説明する。図８は、光源の方位を算出するために使用する仰角および方位角について説明するための図である。
【００７６】
画像処理装置１００によって光源の方向を算出するために使用される仰角、方位角は、例えば、図８に示すように定義される。
【００７７】
［光源の位置を算出する手法］
図９を参照しながら、本発明の実施形態に係る画像処理装置の光源情報算出部が光源情報として光源の位置を算出する手法について説明する。図９は、本発明の実施形態に係る画像処理装置の光源情報算出部が光源情報として光源の位置を算出する手法を説明するための図である。ここでは、画像処理装置１００が使用する魚眼レンズ１１１は複数であることを想定している。
【００７８】
魚眼レンズ１１１が複数ある場合には、半径Ｒを仮定しなくても光源座標が得られる。簡単のため魚眼レンズ１１１が２つあり、それぞれの実空間における座標（ｘ１，ｙ１，ｚ１），（ｘ２，ｙ２，ｚ２）は画像処理装置１００にとって既知であり、各々の魚眼レンズ１１１において光源の方位（θ１、φ１）,（θ２、φ２）は、画像処理装置１００によって算出済みであるとする。このとき、光源の方向ベクトル（ｖ１ｘ，ｖ１ｙ，ｖ１ｚ），（ｖ２ｘ，ｖ２ｙ，ｖ２ｚ）は、式（３）で表わされる。
【００７９】
【数３】
【００８０】
この式（３）を用いると、光源の座標（ｘ，ｙ，ｚ）は、式（４）で表わされる。
【００８１】
【数４】
ここで、ｓ，ｔは、媒介変数であり、式（５）で定義される（†はＭｏｏｒｅ−Ｐｅｎｒｏｓｅの一般逆行列を表す）。尚、この解法は、光源数が２つではなく、ｎ個（ｎが３以上）になっても有効である。
【００８２】
【数５】
【００８３】
以上説明したように、本実施形態に係る技術は、実空間に存在する光源に関する情報を取得し、光源に関する情報を反映した画像を表示することが可能となる。このようにすれば、画像処理装置１００を使用するユーザに対してリアルな画像を閲覧させることができる。
【００８４】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００８５】
１００ 画像処理装置
１１０ 撮影部
１１１ 魚眼レンズ
１１２ 撮像素子
１２０ 光源個数算出部
１３０ 記憶部
１３１ ３次元ＣＧモデル情報（３次元モデル情報）
１４０ 光源情報算出部
１５０ ３次元ＣＧ作成部（３次元画像作成部）
１６０ 表示部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、カメラによって撮影された画像に対して行われる画像処理の技術として様々なものが開発されている。例えば、異なる複数の位置に設置されたカメラにより対象物を撮影して得た複数の画像を処理して対象物を確実に追跡する技術について開示されている（例えば、特許文献１参照）。また、対象物を撮影して得た複数の画像データから対象物の３次元画像データを生成する装置において、対象物の３次元形状モデルの表面についての色彩データを複数の方向から見たデータとして生成する技術について開示されている（例えば、特許文献２参照）。この技術によれば、照明に依存して対象物の各部分の色情報が不正確に再現される点を改善することが可能となる。
【０００３】
また、装置の置かれた環境光によって画像の鑑賞者による見えのモードが変化しないように画像を表示する画像表示技術について開示されている（特許文献３参照）。また、被写体が存在する空間の環境光に対して忠実に画像再生装置の存在する空間の環境光を再現する技術について開示されている（特許文献４参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１０１４１９号公報
【特許文献２】特開２０００−３０６１１７号公報
【特許文献３】特開２００７−８６５４９号公報
【特許文献４】特開平０７−２６４６２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記した特許文献１、２に記載された技術では、複数のカメラによって撮影された画像に基づいて、被写体の位置、形状、色彩を推定することはできるが、実空間に存在する光源に関する情報を取得することはできないという問題があった。
【０００６】
また、上記した特許文献３、４に記載された技術では、装置に照らされている環境光に関する情報を画像に反映することはできるが、上記した特許文献１、２に記載された技術と同様に、実空間に存在する光源に関する情報を取得することはできないという問題があった。実空間に存在する光源に関する情報を取得することができない場合には、当然のことながら、光源に関する情報に基づいた画像を生成することはできない。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、実空間に存在する光源に関する情報を取得し、光源に関する情報を反映した画像を表示することが可能な、新規かつ改良された画像処理装置、画像処理方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、魚眼レンズを有するとともに魚眼レンズを通して自装置の外部から受光して画像を撮影する撮影部と、３次元空間を規定する３次元モデル情報を記憶する記憶部と、撮影部によって撮影された画像に写されている光源の個数を算出する光源個数算出処理を行い、算出した個数分に相当する光源の画像における位置を示す光源座標情報を算出する光源個数算出部と、光源個数算出部によって算出された光源座標情報に基づいて、光源に関する実空間におけるパラメータを３次元空間におけるパラメータである光源情報として算出する光源情報算出処理を行う光源情報算出部と、記憶部によって記憶されている３次元モデル情報と光源情報算出部によって算出された光源情報とに基づいて、３次元画像を作成する３次元画像作成部と、３次元画像作成部によって作成された３次元画像を表示する表示部と、を備えることを特徴とする、画像処理装置が提供される。
【０００９】
光源情報算出部は、光源個数算出部によって算出された光源座標情報に基づいて、射影変換により撮影部の位置を基準とした光源の実空間における方位を示す方位情報を、光源情報として算出する方位情報算出処理を行うこととしてもよい。
【００１０】
光源情報算出部は、方位情報と所定値とに基づいて、光源の実空間における位置を示す位置情報を、光源情報として算出することとしてもよい。
【００１１】
撮影部は、魚眼レンズを複数有し、複数の魚眼レンズを通して自装置の外部から受光してそれぞれの画像を撮影し、光源個数算出部は、撮影部によって撮影されたそれぞれの画像について光源個数算出処理と光源情報算出処理とを行い、光源情報算出部は、撮影部によって撮影されたそれぞれの画像について方位情報算出処理を行い、算出された複数の方位情報に基づいて光源の実空間における位置を示す位置情報を、光源情報として算出することとしてもよい。
【００１２】
光源情報算出部は、光源個数算出部によって算出された光源座標情報に基づいて、光源から発せられる光の強度および色の少なくともいずれか一方を、光源情報としてさらに算出することとしてもよい。
【００１３】
光源個数算出部は、算出した個数分に相当する光源領域を画像から検出し、検出した光源領域の画像における位置を光源領域座標情報として算出し、光源情報算出部は、光源個数算出部によって算出された光源領域座標情報に基づいて、光源から発せられる光の広がりを、光源情報としてさらに算出することとしてもよい。
【００１４】
光源情報算出部は、光源個数算出部によって算出された光源領域座標情報に基づいて、光源領域を２つのベクトルで近似し、２つのベクトルによって光の広がりとして使用することとしてもよい。
【００１５】
光源情報算出部は、光源個数算出部によって算出された光源座標情報に基づいて、実空間における環境光の強さおよび色の少なくともいずれか一方を３次元空間におけるパラメータである環境光情報としてさらに算出し、３次元画像作成部は、光源情報算出部によって算出された環境光情報に基づいて、３次元空間における物体色を特定し、特定した物体色を有する３次元画像を作成することとしてもよい。
【００１６】
３次元画像作成部は、光源情報算出部によって算出された光源情報と記憶部によって記憶されている３次元モデル情報とに基づいて、３次元空間に生じる影の向きおよび個数を算出し、算出した影の向きおよび個数に基づいて影領域を特定し、特定した影領域に影を有する３次元画像を作成することとしてもよい。
【００１７】
３次元画像作成部は、光源情報算出部によって光源情報として算出された位置情報と記憶部によって記憶されている３次元モデル情報とに基づいて、３次元空間に生じる半影領域を特定し、特定した半影領域に半影を有する３次元画像を作成することとしてもよい。
【００１８】
光源情報算出部は、３次元画像の作成に前回用いられた光源情報である前回の光源情報と比較して、現在の光源情報が変化したか否かを判断し、３次元画像作成部は、光源情報算出部によって現在の光源情報が前回の光源情報から変化したと判断された場合に、３次元画像を作成し直し、表示部は、３次元画像作成部によって作成し直された３次元画像を表示し直すこととしてもよい。
【００１９】
また、上記課題を解決するために、本発明の別の観点によれば、魚眼レンズを有するとともに魚眼レンズを通して自装置の外部から受光して画像を撮影する撮影部と、３次元空間を規定する３次元モデル情報を記憶する記憶部と、光源個数算出部と、光源情報算出部と、３次元画像作成部と、表示部とを備える、画像処理装置が、光源個数算出部により、撮影部によって撮影された画像に写されている光源の個数を算出する光源個数算出処理を行い、算出した個数分に相当する光源の画像における位置を示す光源座標情報を算出するステップと、光源情報算出部により、光源個数算出部によって算出された光源座標情報に基づいて、光源に関する実空間におけるパラメータを３次元空間におけるパラメータである光源情報として算出する光源情報算出処理を行うステップと、３次元画像作成部により、記憶部によって記憶されている３次元モデル情報と光源情報算出部によって算出された光源情報とに基づいて、３次元画像を作成するステップと、表示部により、３次元画像作成部によって作成された３次元画像を表示するステップと、を含むことを特徴とする、画像処理方法が提供される。
【００２０】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、魚眼レンズを有するとともに魚眼レンズを通して自装置の外部から受光して画像を撮影する撮影部と、３次元空間を規定する３次元モデル情報を記憶する記憶部と、撮影部によって撮影された画像に写されている光源の個数を算出する光源個数算出処理を行い、算出した個数分に相当する光源の画像における位置を示す光源座標情報を算出する光源個数算出部と、光源個数算出部によって算出された光源座標情報に基づいて、光源に関する実空間におけるパラメータを３次元空間におけるパラメータである光源情報として算出する光源情報算出処理を行う光源情報算出部と、記憶部によって記憶されている３次元モデル情報と光源情報算出部によって算出された光源情報とに基づいて、３次元画像を作成する３次元画像作成部と、３次元画像作成部によって作成された３次元画像を表示する表示部と、を備える、画像処理装置として機能させるためのプログラムが提供される。
【発明の効果】
【００２１】
以上説明したように本発明によれば、実空間に存在する光源に関する情報を取得し、光源に関する情報を反映した画像を表示することが可能になる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態に係る画像処理装置の概観を示す図である。
【図２】同実施形態に係る画像処理装置の機能構成を示す図である。
【図３】同実施形態に係る画像処理装置の光源個数算出部の機能について説明するための図である。
【図４】同実施形態に係る画像処理装置の光源情報算出部の機能について説明するための図である。
【図５Ａ】同実施形態に係る画像処理装置によって処理された画像の表示例（光源が１つ存在する場合）を示す図である。
【図５Ｂ】一般的な画像表示装置によって表示された画像の表示例（光源が１つ存在する場合）を示す図である。
【図６Ａ】本発明の実施形態に係る画像処理装置によって処理された画像の表示例（点光源が１つ存在する場合）を示す図である。
【図６Ｂ】同実施形態に係る画像処理装置によって処理された画像の表示例（点光源が２つ存在する場合）を示す図である。
【図６Ｃ】同実施形態に係る画像処理装置によって処理された画像の表示例（点光源１つと面光源１つが存在する場合）を示す図である。
【図７】同実施形態に係る画像処理装置の光源情報算出部が光源情報として光源の方位を算出する手法を説明するための図である。
【図８】光源の方位を算出するために使用する仰角および方位角を説明するための図である。
【図９】同実施形態に係る画像処理装置の光源情報算出部が光源情報として光源の位置を算出する手法を説明するための図である。
【発明を実施するための形態】
【００２３】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２４】
［画像処理装置の概要］
まず、図１を参照しながら、本実施形態に係る画像処理装置の概要について説明する。図１は、本発明の実施形態に係る画像処理装置の概観を示す図である。
【００２５】
図１に示すように、本発明の実施形態に係る画像処理装置１００は、少なくとも表示部１６０を備えるものであり、表示部１６０は、画像処理装置１００によって処理された画像を表示する。例えば、図１に示すように、ユーザが画像処理装置１００に対して操作情報を入力するためのオブジェクト１６１が表示部１６０によって表示されているとする。
【００２６】
画像処理装置１００は、例えば、その周囲に光源Ｌ１および光源Ｌ２が設置されており、光源Ｌ１および光源Ｌ２から発せられた光によって、表示部１６０によって表示されているオブジェクト１６１が照射されている。ここで、オブジェクト１６１が立体的に構成されていることを示すには、光源Ｌ１から発せられた光がオブジェクト１６１に照射されることによって、オブジェクト１６１の右下に影を表示されるようにするのが好ましい（オブジェクト１６１ａ参照）。この場合の「右下」は、オブジェクト１６１を基準として光源Ｌ１が存在する方向とは逆の方向となる。このようにすれば、画像処理装置１００を使用するユーザに対してリアルな画像を閲覧させることができる。
【００２７】
同様に、光源Ｌ２から発せられた光がオブジェクト１６１に照射されることによって、オブジェクト１６１の左下に影を表示されるようにするのが好ましい（オブジェクト１６１ｂ参照）。この場合の「左下」は、オブジェクト１６１を基準として光源Ｌ２が存在する方向とは逆の方向となる。また、光源Ｌ１と光源Ｌ２の双方から発せられた光がオブジェクト１６１に照射されることによって、オブジェクト１６１の右下と左下に影を表示するようにするのが好ましい（オブジェクト１６１ｃ参照）。特に、オブジェクト１６１の下に相当する領域は、双方の影が重なるため、比較的濃い影として表示されるのが好ましい。
【００２８】
これを実現するために、本発明の実施形態に係る画像処理装置１００は、撮影部１１０を備えることとする。撮影部１１０は、少なくとも魚眼レンズ１１１と撮像素子１１２とを有しており、撮像素子１１２は、魚眼レンズ１１１を通して画像処理装置１００の外部から受光して画像を撮影する機能を有する。本発明の実施形態では、このように、画像を撮影するために使用するレンズとして平面的なレンズ（以下、「通常レンズ」とも言う。）ではなく、魚眼レンズ１１１を使用する。通常レンズの画角は１８０度より狭いため、オブジェクト１６１を照射する光を発する光源が撮影範囲内に収まらない可能性がある。他方において、魚眼レンズ１１１の画角は１８０度であるため、オブジェクト１６１を照射する光を発する光源を、必ず撮影範囲内に収めることができる。
【００２９】
また、例えば、積分球を使用して画像処理装置１００を照射する環境光に関する情報を取得する技術では、環境光に関する情報を取得することは可能であるが、光源に関する情報を取得することはできない。したがって、上記したような影を表示すべき方向などを把握することができない。本発明の実施形態では、画像処理装置１００が魚眼レンズを使用して撮影を行うことができるため、光源に関する情報を取得することができ、いずれの方向に影を表示すべきであるのかを把握することができる。また、本発明の実施形態に係る画像処理装置１００は、光源に関する情報を取得することができるために、光源に関する情報とは切り離して環境光に関する情報を取得することができるという効果をも奏するものである。
【００３０】
本発明の実施形態は、魚眼レンズ１１１を有する撮影部１１０によって撮影された画像を処理することによって、実空間に存在する光源に関する情報を取得し、光源に関する情報を反映した画像を表示する。これによって、ユーザにとってよりリアルな画像を表示することができる。
【００３１】
［画像処理装置の機能構成］
図２を参照しながら、本発明の実施形態に係る画像処理装置の機能構成について説明する。図２は、本発明の実施形態に係る画像処理装置の機能構成を示す図である。
【００３２】
図２に示すように、本発明の実施形態に係る画像処理装置１００は、撮影部１１０と、光源個数算出部１２０と、記憶部１３０と、光源情報算出部１４０と、３次元ＣＧ作成部１５０と、表示部１６０とを備えるものである。以下において各ブロックが有する機能について説明する。
【００３３】
撮影部１１０は、魚眼レンズ１１１を有するとともに魚眼レンズ１１１を通して画像処理装置１００の外部から受光して画像を撮影する機能を有するものである。撮影部１１０は、魚眼レンズ１１１を１以上有することとしてもよいし、複数有することとしてもよい。撮影部１１０は、魚眼レンズ１１１の他に、魚眼レンズ１１１を通して画像処理装置１００の外部から入射した光を電気信号に変換する撮像素子１１２を有する。
【００３４】
記憶部１３０は、３次元空間を規定する３次元ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）モデル情報１３１を記憶する機能を有するものである。３次元空間は、表示部１６０によって表示される仮想的な空間であり、例えば、形状、大きさ、位置、向き、色などを有するオブジェクトによって規定される。オブジェクトについては、後に詳細に説明する。３次元ＣＧモデル情報１３１は、３次元モデル情報の一例となる情報である。記憶部１３０は、その他に画像処理装置１００内の各ブロックによって使用されるデータやプログラムなどを記憶する機能を有する。記憶部１３０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの不揮発性メモリによって構成されるものである。
【００３５】
光源個数算出部１２０は、撮影部１１０によって撮影された画像に写されている光源の個数を算出する光源個数算出処理を行い、算出した個数分に相当する光源の画像における位置を示す光源座標情報を算出する機能を有するものである。光源個数算出部１２０の機能の詳細については、図３を参照して後に説明する。光源個数算出部１２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）によって構成され、ＣＰＵが記憶部１３０によって記憶されているプログラムをＲＡＭに展開して、ＲＡＭに展開したプログラムを実行することによってその機能が実現される。
【００３６】
光源情報算出部１４０は、光源個数算出部１２０によって算出された光源座標情報に基づいて、光源に関する実空間におけるパラメータを３次元空間におけるパラメータである光源情報として算出する光源情報算出処理を行う機能を有するものである。光源個数算出部１２０の機能の詳細については、図４を参照して後に説明する。光源情報算出部１４０は、例えば、ＣＰＵ、ＲＡＭによって構成され、ＣＰＵが記憶部１３０によって記憶されているプログラムをＲＡＭに展開して、ＲＡＭに展開したプログラムを実行することによってその機能が実現される。
【００３７】
３次元ＣＧ作成部１５０は、記憶部１３０によって記憶されている３次元ＣＧモデル情報１３１と光源情報算出部１４０によって算出された光源情報とに基づいて、３次元画像を作成する機能を有するものである。３次元ＣＧ作成部１５０は、３次元画像作成部の一例として機能するものである。３次元ＣＧ作成部１５０は、例えば、ＣＰＵ、ＲＡＭによって構成され、ＣＰＵが記憶部１３０によって記憶されているプログラムをＲＡＭに展開して、ＲＡＭに展開したプログラムを実行することによってその機能が実現される。
【００３８】
表示部１６０は、３次元ＣＧ作成部１５０によって作成された３次元画像を表示する機能を有するものである。表示部１６０は、その他に画像処理装置１００が閲覧するための情報を必要に応じて表示することが可能である。表示部１６０は、例えば、表示装置によって構成されるものである。
【００３９】
［画像処理装置の光源個数算出部の機能］
図３を参照しながら、本発明の実施形態に係る画像処理装置の光源個数算出部の機能について説明する。図３は、本発明の実施形態に係る画像処理装置の光源個数算出部の機能について説明するための図である。
【００４０】
図３に示すように、撮影部１１０は、例えば、撮影した結果として画像全体ＩＭＡを取得することができる。画像全体ＩＭＡには、レンズ内画像ＩＭＢとレンズ外画像ＩＭＣとが含まれている。レンズ内画像ＩＭＢは、撮影部１１０が画像処理装置１００の外部から魚眼レンズ１１１を通して受光して撮影した画像であり、レンズ外画像ＩＭＣは、撮影部１１０が魚眼レンズ１１１を通さずに受光して撮影した画像である。本発明の実施形態では、主にレンズ外画像ＩＭＣではなくレンズ内画像ＩＭＢを使用する。なお、光源位置Ｐ１は、光源Ｌ１が撮影された箇所に相当し、光源位置Ｐ２は、光源Ｌ２が撮影された箇所に相当するものとする。
【００４１】
上記したように、光源個数算出部１２０は、撮影部１１０によって撮影されたレンズ内画像ＩＭＢに写されている光源の個数を算出する光源個数算出処理を行う。そのために、例えば、光源個数算出部１２０は、レンズ内画像ＩＭＢのヒストグラムを用いて所定値以上の輝度を有する箇所を光源候補領域とする。この場合の所定値は、例えば、記憶部１３０に記憶させておくことができる。
【００４２】
図３に示した例では、レンズ内画像ＩＭＢに示されている２つの楕円領域を光源候補領域とする。ここでは、光源Ｌ１と光源Ｌ２とが点光源であるために、光源候補領域が楕円領域として撮影されているが、光源候補領域は、必ずしも楕円形状になるとは限らず、例えば、光源が細長い蛍光灯のようなものである場合には、矩形になることもある。このように、光源の形状によって光源候補領域の形状は変更され得るものである。
【００４３】
続いて、光源個数算出部１２０は、この光源候補領域に対する包絡線を検出し、包絡線に囲まれる領域が所定値以上の面積を有するものであれば、その光源候補領域を光源領域とし、光源領域に１つの光源が存在するものとみなす。この場合の所定値についても、例えば、記憶部１３０に記憶させておくことができる。光源個数算出部１２０は、例えば、光源領域の輝度を尺度とした重心位置を光源位置として検出する。
【００４４】
包絡線は、光源候補領域を含むように囲う線であればどのようなものであってもよいが、光源候補領域を含むように可能な限り小さな領域を規定する線であるとするのがよい。このように、所定値以上の面積を有すると判断した領域に１つの光源が存在するとみなすのは、単なる光の反射によって撮影された領域に光源が存在すると誤認してしまうことを防ぐためである。
【００４５】
図３に示した例では、光源個数算出部１２０は、例えば、包絡線に囲まれる領域として矩形領域ＩＭ１と矩形領域ＩＭ２とを検出する。光源個数算出部１２０は、矩形領域ＩＭ１と矩形領域ＩＭ２との双方が所定値以上の面積を有すると判断し、２つの楕円領域のそれぞれを光源領域とみなす。さらに、光源個数算出部１２０は、２つの光源領域の中心をそれぞれの光源座標情報として光源位置Ｐ１および光源位置Ｐ２として算出する。
【００４６】
以上に説明したように、光源個数算出部１２０は、まず、撮影部１１０によって撮影されたレンズ内画像ＩＭＢに写されている光源の個数を算出し、算出した個数分に相当する光源の画像における位置を示す光源座標情報を算出する。このように、光源座標を算出するに先立って光源の個数を算出するのは、２つの光源を含むような領域を１つの光源領域とみなし、その光源領域の輝度を尺度とした重心位置を光源位置と誤認してしまうことを防ぐためである。
【００４７】
［画像処理装置の光源情報算出部の機能］
図４を参照しながら、本発明の実施形態に係る画像処理装置の光源情報算出部の機能について説明する。図４は、本発明の実施形態に係る画像処理装置の光源情報算出部の機能について説明するための図である。
【００４８】
上記したように、光源情報算出部１４０は、光源個数算出部１２０によって算出された光源座標情報に基づいて、光源に関する実空間におけるパラメータを３次元空間におけるパラメータである光源情報として算出する光源情報算出処理を行う。図３に示した例では、光源個数算出部１２０は、レンズ内画像ＩＭＢにおける光源座標として光源位置Ｐ１および光源位置Ｐ２を算出した。図４に示す例では、光源情報算出部１４０は、レンズ内画像ＩＭＢにおける光源位置Ｐ１および光源位置Ｐ２に基づいて、光源Ｌ１および光源Ｌ２に関する実空間におけるパラメータを３次元空間におけるパラメータである光源情報として算出する。光源に関する実空間におけるパラメータには、様々なものがあるが、例えば、光源の方位、位置、光源から発せられる光の強度、色、広がりなどが想定される。光源情報算出部１４０は、これらの値を矩形領域（矩形領域ＩＭ１や矩形領域ＩＭ２）ごとに算出する。
【００４９】
光源情報算出部１４０は、例えば、光源個数算出部１２０によって算出された光源座標情報に基づいて、射影変換により撮影部１１０の位置を基準とした光源の実空間における方位を示す方位情報を、光源情報として算出する。方位情報の算出手法については、図７および図８を参照して後に説明する。また、光源情報算出部１４０は、光源の実空間における位置を示す位置情報を、光源情報として算出することとしてもよい。光源の位置情報の算出手法にも様々なものがあり、例えば、方位情報と所定値とに基づいて算出する手法や、複数の魚眼レンズを使用して算出する手法などがある。前者については図７および図８を参照して後に説明する。後者については図９を参照して後に説明する。
【００５０】
光源情報算出部１４０によって複数の光源の位置が算出された場合には、３次元ＣＧ作成部１５０は、複数の光源の位置に基づいて半影を含む３次元画像を生成することができる。半影は、複数の光源のうちで一部の光源から発せられた光が到達しないために生じる影である。より詳細には、３次元ＣＧ作成部１５０は、光源情報算出部１４０によって光源情報として算出された位置情報と記憶部１３０によって記憶されている３次元モデル情報とに基づいて、３次元空間に生じる半影領域を特定し、特定した半影領域に半影を有する３次元画像を作成する。
【００５１】
光源情報算出部１４０は、光源個数算出部１２０によって算出された光源座標情報に基づいて、光源から発せられる光の強度および色の少なくともいずれか一方を、光源情報として方位情報の他に算出することとしてもよい。光源情報算出部１４０は、例えば、光源の強度として、光源位置Ｐ１（または光源位置Ｐ２）の画素値と撮影部１１０のＥｘｐｏｓｕｒｅ値とに基づいて算出する。光源位置の画素値は、光源位置のＲＧＢの３つを使用した演算によって算出される。撮影部１１０のＥｘｐｏｓｕｒｅは、絞り値と露光時間（シャッタースピード）によって決まる露出の度合いを示す値である。また、光源情報算出部１４０は、例えば、光源の色として、光源位置Ｐ１（または光源位置Ｐ２）のＲＧＢに基づいて算出する。
【００５２】
光源情報算出部１４０は、光源個数算出部１２０によって算出された光源領域座標情報に基づいて、光源から発せられる光の広がりを、光源情報として方位情報の他に算出することとしてもよい。より詳細には、光源情報算出部１４０は、例えば、光源個数算出部１２０によって算出された光源領域座標情報に基づいて、光源領域を２つのベクトルで近似し、２つのベクトルによって光の広がりとして使用することとしてもよい。
【００５３】
図４に示す例では、光源情報算出部１４０が、矩形領域ＩＭ１に存在する光源領域の短軸をベクトルＶ１ａ、長軸をベクトルｖ１ｂで近似し、矩形領域ＩＭ２に存在する光源領域の長軸をベクトルｖ２ａ、短軸をベクトルｖ２ｂで近似する場合について示されている。しかしながら、光源領域を２つのベクトルで近似する手法については、特に限定されるものではない。光源情報算出部１４０は、例えば、光源領域が矩形である場合には、矩形の縦横を２つのベクトルで近似することとしてもよい。また、正確に長軸、短軸、縦横をベクトルで近似する場合に限らず、所定の定数を掛けたベクトルで近似することとしてもよい。
【００５４】
光源情報算出部１４０は、光源個数算出部１２０によって算出された光源座標情報に基づいて、実空間における環境光の強さおよび色の少なくともいずれか一方を３次元空間におけるパラメータである環境光情報としてさらに光源情報の他に算出することとしてもよい。光源情報算出部１４０は、例えば、レンズ内画像ＩＭＢのうちで矩形領域ＩＭ１や矩形領域ＩＭ２に属しない領域の画素値とＥｘｐｏｓｕｒｅ値とに基づいて実空間における環境光の強さを算出することができる。
【００５５】
また、光源情報算出部１４０は、例えば、レンズ内画像ＩＭＢのうちで矩形領域ＩＭ１や矩形領域ＩＭ２に属しない領域のＲＧＢに基づいて実空間における環境光の色を算出することができる。３次元ＣＧ作成部１５０は、光源情報算出部１４０によって算出された環境光情報に基づいて、３次元空間における物体色を特定し、特定した物体色を有する３次元画像を作成する。環境光情報は、光源からの光が届かない箇所の明るさに、特に大きく寄与する要素である。光源からの光が届かない箇所とは、後の説明で登場する影が生じる箇所を意味する。
【００５６】
このように、本発明の実施形態では、画像処理装置１００は、魚眼レンズを用いて撮影した画像から光源に関する情報を取得することができるため、光源に関する情報とは区別された環境光に関する情報を取得することができる。例えば、魚眼レンズではなく、積分球などを用いて積分球に入り込む光に関する情報を取得した場合には、取得した情報から光源に関する情報と環境光に関する情報とを切り分けることができない。
【００５７】
［画像の表示例（光源が１つ存在する場合）］
図５Ａを参照しながら、本発明の実施形態に係る画像処理装置によって処理された画像の表示例（光源が１つ存在する場合）について説明する。図５Ａは、本発明の実施形態に係る画像処理装置によって処理された画像の表示例（光源が１つ存在する場合）を示す図である。
【００５８】
図５Ａに示すように、画像処理装置１００の一例としての画像処理装置２００が表示する画面２１０ａには、オブジェクト２２０ａが含まれている。このオブジェクト２２０ａは、３次元ＣＧモデル情報１３１によって規定されており、３次元画像として表示部１６０に表示される。ここで、図５Ａに示すように、オブジェクト２２０ａには、画面２１０ａに対して垂直の方向に高さを有するオブジェクト２３１およびオブジェクト２３２が含まれているとする。そのような場合には、画像処理装置２００の光源情報算出部１４０が有する機能によって画像処理装置２００を照射する光を発している光源に関する情報が取得される。また、画像処理装置２００の３次元ＣＧ作成部１５０が有する機能によって光源に関する情報に基づいた影２４１および影２４２が画面２１０ａに表示される。これにより、画像処理装置２００を室内に設置した場合に、画像処理装置２００の周囲の環境との親和感を増した画面２１０ａを表示することができる。
【００５９】
より詳細には、画像処理装置２００の３次元ＣＧ作成部１５０は、光源情報算出部１４０によって算出された光源情報と記憶部１３０によって記憶されている３次元ＣＧモデル情報１３１とに基づいて、３次元空間に生じる影の向きおよび個数を算出する。３次元ＣＧ作成部１５０は、算出した影の向きおよび個数に基づいて影領域を特定し、特定した影領域に影を有する３次元画像を作成する。表示部１６０は、３次元ＣＧ作成部１５０によって生成された３次元画像を表示する。
【００６０】
近年では、デジタルフォトフレーム、スマートフォン、タブレットＰＣなどといった可搬性のあるディスプレイが広く流通している。これらのディスプレイは、使用される環境が変化することが多く、光源に適応的な表現を行うことは特に有用であると考えられる。また、販売対象となる商品の見本などを立体的に表示する際、光源に適応した陰影が付された画像を表示することによって、購入者が実際に商品を入手したときの印象と見本を閲覧したときとの印象との間に生じる差異を減少させることができる。
【００６１】
また、画像処理装置２００は、設置される環境が変化することによって光源の情報を速やかに算出し、表示対象の画像を、変化後の環境に合わせた３次元画像に即時性をもって変更することも可能である。より詳細には、光源情報算出部１４０は、３次元画像の作成に前回用いられた光源情報である前回の光源情報と比較して、現在の光源情報が変化したか否かを判断し、３次元ＣＧ作成部１５０は、光源情報算出部１４０によって現在の光源情報が前回の光源情報から変化したと判断された場合に、３次元画像を作成し直し、表示部１６０は、３次元ＣＧ作成部１５０によって作成し直された３次元画像を表示し直す。
【００６２】
［画像の表示例（光源が１つ存在する場合）］
図５Ｂを参照しながら、一般的な画像処理装置によって表示された画像の表示例（光源が１つ存在する場合）について説明する。図５Ｂは、一般的な画像処理装置によって表示された画像の表示例（光源が１つ存在する場合）を示す図である。
【００６３】
図５Ｂに示すように、一般的な画像処理装置は、オブジェクト２２０ｂを含む画面２１０ｂを表示している。オブジェクト２２０ｂは、オブジェクト２３１およびオブジェクト２３２を有するが、オブジェクト２３１およびオブジェクト２３２が存在することによって生じるはずの影は、オブジェクト２２０ｂには特に示されていない。
【００６４】
［画像の表示例（点光源が１つ存在する場合）］
図６Ａを参照しながら、本発明の実施形態に係る画像処理装置によって処理された画像の表示例（点光源が１つ存在する場合）について説明する。図６Ａは、本発明の実施形態に係る画像処理装置によって処理された画像の表示例（点光源が１つ存在する場合）を示す図である。
【００６５】
図６Ａに示すように、画像処理装置１００の一例としての画像処理装置３００は、画面３１０ａを表示しており、画面３１０ａには、オブジェクト３２１、オブジェクト３２２、オブジェクト３２３などが含まれている。画像処理装置３００の光源情報算出部１４０が有する機能によって光源に関する情報が取得され、画像処理装置３００の３次元ＣＧ作成部１５０が有する機能によって、オブジェクト３２１およびオブジェクト３２２を基点として方向Ｓ１に影を有する３次元画像が生成される。画像処理装置３００の表示部１６０によって３次元画像が表示される。ここでは、点光源が１つ存在する場合について示されている。
【００６６】
［画像の表示例（点光源が２つ存在する場合）］
図６Ｂを参照しながら、本発明の実施形態に係る画像処理装置によって処理された画像の表示例（点光源が２つ存在する場合）について説明する。図６Ｂは、本発明の実施形態に係る画像処理装置によって処理された画像の表示例（点光源が２つ存在する場合）を示す図である。
【００６７】
図６Ｂに示すように、画像処理装置１００の一例としての画像処理装置３００は、画面３１０ｂを表示しており、画面３１０ｂには、オブジェクト３２１、オブジェクト３２２、オブジェクト３２３などが含まれている。画像処理装置３００の光源情報算出部１４０が有する機能によって光源に関する情報が取得され、画像処理装置３００の３次元ＣＧ作成部１５０が有する機能によって、オブジェクト３２１およびオブジェクト３２２を基点として方向Ｓ２および方向Ｓ３に影を有する３次元画像が生成される。画像処理装置３００の表示部１６０によって３次元画像が表示される。ここでは、点光源が２つ存在する場合について示されている。
【００６８】
［画像の表示例（点光源１つと面光源１つが存在する場合）］
図６Ｃを参照しながら、本発明の実施形態に係る画像処理装置によって処理された画像の表示例（点光源１つと面光源１つが存在する場合）について説明する。図６Ｃは、本発明の実施形態に係る画像処理装置によって処理された画像の表示例（点光源１つと面光源１つが存在する場合）を示す図である。
【００６９】
図６Ｃに示すように、画像処理装置１００の一例としての画像処理装置３００は、画面３１０ｃを表示しており、画面３１０ｂには、オブジェクト３２１、オブジェクト３２２、オブジェクト３２３などが含まれている。画像処理装置３００の光源情報算出部１４０が有する機能によって光源に関する情報が取得され、画像処理装置３００の３次元ＣＧ作成部１５０が有する機能によって、オブジェクト３２１およびオブジェクト３２２を基点として方向Ｓ２および方向Ｓ３に影を有する３次元画像が生成される。画像処理装置３００の表示部１６０によって３次元画像が表示される。ここでは、点光源が１つ、面光源が１つ存在する場合について示されている。面光源から光が照射されるために、方向Ｓ２に生じる影は境界がなだらかになっている。これは、画像処理装置３００の光源情報算出部１４０によって光源の広がりを示す情報が光源情報として取得され、画像処理装置３００の３次元ＣＧ作成部１５０が、光源の広がりを考慮した３次元画像を作成したためである。
【００７０】
［光源の方位を算出する手法］
図７を参照しながら、本発明の実施形態に係る画像処理装置の光源情報算出部が光源情報として光源の方位を算出する手法について説明する。図７は、本発明の実施形態に係る画像処理装置の光源情報算出部が光源情報として光源の方位を算出する手法を説明するための図である。ここでは、画像処理装置１００が使用する魚眼レンズ１１１は１つであることを想定している。
【００７１】
いま、光源のレンズ内画像ＩＭＢ上における光源座標（ｉ，ｊ）が２次元座標として得られたとする。また、魚眼レンズ１１１は正距円筒図法でレンズ内画像ＩＭＢに光を投影しており、画像内で９０度となる長さをＷとする。このとき、光源座標（ｉ，ｊ）と光源の方位（方位角、仰角）＝（θ、φ）の関係は式（１）で表わされる。仰角、方位角の定義は図８に示した。
【００７２】
【数１】
【００７３】
３次元ＣＧ作成部１５０が３次元ＣＧにおいて半影を描かない場合は、光源の方向を使用すれば、光源の位置が未知であっても影の作成を行うことが可能である。３次元ＣＧ作成部１５０が半影を描くときは、適当な半径Ｒを設定し、式（２）によって得られる光源座標（ｘ，ｙ，ｚ）を用いる。半径Ｒは、例えば、記憶部１３０に記憶させておくことができ、画像処理装置１００を管理する管理者などが適宜変更することが可能である。
【００７４】
【数２】
【００７５】
［光源の方位を算出するために使用する仰角および方位角］
図８を参照しながら、光源の方位を算出するために使用する仰角および方位角について説明する。図８は、光源の方位を算出するために使用する仰角および方位角について説明するための図である。
【００７６】
画像処理装置１００によって光源の方向を算出するために使用される仰角、方位角は、例えば、図８に示すように定義される。
【００７７】
［光源の位置を算出する手法］
図９を参照しながら、本発明の実施形態に係る画像処理装置の光源情報算出部が光源情報として光源の位置を算出する手法について説明する。図９は、本発明の実施形態に係る画像処理装置の光源情報算出部が光源情報として光源の位置を算出する手法を説明するための図である。ここでは、画像処理装置１００が使用する魚眼レンズ１１１は複数であることを想定している。
【００７８】
魚眼レンズ１１１が複数ある場合には、半径Ｒを仮定しなくても光源座標が得られる。簡単のため魚眼レンズ１１１が２つあり、それぞれの実空間における座標（ｘ１，ｙ１，ｚ１），（ｘ２，ｙ２，ｚ２）は画像処理装置１００にとって既知であり、各々の魚眼レンズ１１１において光源の方位（θ１、φ１）,（θ２、φ２）は、画像処理装置１００によって算出済みであるとする。このとき、光源の方向ベクトル（ｖ１ｘ，ｖ１ｙ，ｖ１ｚ），（ｖ２ｘ，ｖ２ｙ，ｖ２ｚ）は、式（３）で表わされる。
【００７９】
【数３】
【００８０】
この式（３）を用いると、光源の座標（ｘ，ｙ，ｚ）は、式（４）で表わされる。
【００８１】
【数４】
ここで、ｓ，ｔは、媒介変数であり、式（５）で定義される（†はＭｏｏｒｅ−Ｐｅｎｒｏｓｅの一般逆行列を表す）。尚、この解法は、光源数が２つではなく、ｎ個（ｎが３以上）になっても有効である。
【００８２】
【数５】
【００８３】
以上説明したように、本実施形態に係る技術は、実空間に存在する光源に関する情報を取得し、光源に関する情報を反映した画像を表示することが可能となる。このようにすれば、画像処理装置１００を使用するユーザに対してリアルな画像を閲覧させることができる。
【００８４】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００８５】
１００ 画像処理装置
１１０ 撮影部
１１１ 魚眼レンズ
１１２ 撮像素子
１２０ 光源個数算出部
１３０ 記憶部
１３１ ３次元ＣＧモデル情報（３次元モデル情報）
１４０ 光源情報算出部
１５０ ３次元ＣＧ作成部（３次元画像作成部）
１６０ 表示部
【特許請求の範囲】
【請求項１】
魚眼レンズを有するとともに前記魚眼レンズを通して自装置の外部から受光して画像を撮影する撮影部と、
３次元空間を規定する３次元モデル情報を記憶する記憶部と、
前記撮影部によって撮影された前記画像に写されている光源の個数を算出する光源個数算出処理を行い、算出した前記個数分に相当する前記光源の前記画像における位置を示す光源座標情報を算出する光源個数算出部と、
前記光源個数算出部によって算出された前記光源座標情報に基づいて、前記光源に関する実空間におけるパラメータを前記３次元空間におけるパラメータである光源情報として算出する光源情報算出処理を行う光源情報算出部と、
前記記憶部によって記憶されている前記３次元モデル情報と前記光源情報算出部によって算出された前記光源情報とに基づいて、３次元画像を作成する３次元画像作成部と、
前記３次元画像作成部によって作成された前記３次元画像を表示する表示部と、
を備えることを特徴とする、画像処理装置。
【請求項２】
前記光源情報算出部は、
前記光源個数算出部によって算出された前記光源座標情報に基づいて、射影変換により前記撮影部の位置を基準とした前記光源の前記実空間における方位を示す方位情報を、前記光源情報として算出する方位情報算出処理を行う、
ことを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記光源情報算出部は、
前記方位情報と所定値とに基づいて、前記光源の前記実空間における位置を示す位置情報を、前記光源情報として算出する、
ことを特徴とする、請求項１に記載の画像処理装置。
【請求項４】
前記撮影部は、
前記魚眼レンズを複数有し、複数の前記魚眼レンズを通して自装置の外部から受光してそれぞれの画像を撮影し、
前記光源個数算出部は、
前記撮影部によって撮影されたそれぞれの前記画像について前記光源個数算出処理と前記光源情報算出処理とを行い、
前記光源情報算出部は、
前記撮影部によって撮影されたそれぞれの前記画像について前記方位情報算出処理を行い、算出された複数の前記方位情報に基づいて前記光源の前記実空間における位置を示す位置情報を、前記光源情報として算出する、
ことを特徴とする、請求項２に記載の画像処理装置。
【請求項５】
前記光源情報算出部は、
前記光源個数算出部によって算出された前記光源座標情報に基づいて、前記光源から発せられる光の強度および色の少なくともいずれか一方を、前記光源情報としてさらに算出する、
ことを特徴とする、請求項２〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記光源個数算出部は、
算出した前記個数分に相当する前記光源領域を前記画像から検出し、検出した前記光源領域の前記画像における位置を光源領域座標情報として算出し、
前記光源情報算出部は、
前記光源個数算出部によって算出された前記光源領域座標情報に基づいて、前記光源から発せられる光の広がりを、前記光源情報としてさらに算出する、
ことを特徴とする、請求項２〜４のいずれか１項に記載の画像処理装置。
【請求項７】
前記光源情報算出部は、
前記光源個数算出部によって算出された前記光源領域座標情報に基づいて、前記光源領域を２つのベクトルで近似し、前記２つのベクトルによって前記光の広がりとして使用する、
ことを特徴とする、請求項６に記載の画像処理装置。
【請求項８】
前記光源情報算出部は、
前記光源個数算出部によって算出された前記光源座標情報に基づいて、実空間における環境光の強さおよび色の少なくともいずれか一方を前記３次元空間におけるパラメータである環境光情報としてさらに算出し、
前記３次元画像作成部は、
前記光源情報算出部によって算出された前記環境光情報に基づいて、前記３次元空間における物体色を特定し、特定した前記物体色を有する３次元画像を作成する、
ことを特徴とする、請求項１に記載の画像処理装置。
【請求項９】
前記３次元画像作成部は、
前記光源情報算出部によって算出された前記光源情報と前記記憶部によって記憶されている前記３次元モデル情報とに基づいて、前記３次元空間に生じる影の向きおよび個数を算出し、算出した前記影の向きおよび個数に基づいて影領域を特定し、特定した前記影領域に影を有する３次元画像を作成する、
ことを特徴とする、請求項１に記載の画像処理装置。
【請求項１０】
前記３次元画像作成部は、
前記光源情報算出部によって前記光源情報として算出された前記位置情報と前記記憶部によって記憶されている前記３次元モデル情報とに基づいて、前記３次元空間に生じる半影領域を特定し、特定した前記半影領域に半影を有する３次元画像を作成する、
ことを特徴とする、請求項３または４に記載の画像処理装置。
【請求項１１】
前記光源情報算出部は、
前記３次元画像の作成に前回用いられた前記光源情報である前回の光源情報と比較して、現在の前記光源情報が変化したか否かを判断し、
前記３次元画像作成部は、
前記光源情報算出部によって前記現在の光源情報が前記前回の光源情報から変化したと判断された場合に、前記３次元画像を作成し直し、
前記表示部は、
前記３次元画像作成部によって作成し直された前記３次元画像を表示し直す、
ことを特徴とする、請求項１に記載の画像処理装置。
【請求項１２】
魚眼レンズを有するとともに前記魚眼レンズを通して自装置の外部から受光して画像を撮影する撮影部と、３次元空間を規定する３次元モデル情報を記憶する記憶部と、光源個数算出部と、光源情報算出部と、３次元画像作成部と、表示部とを備える、画像処理装置が、前記光源個数算出部により、前記撮影部によって撮影された前記画像に写されている光源の個数を算出する光源個数算出処理を行い、算出した前記個数分に相当する前記光源の前記画像における位置を示す光源座標情報を算出するステップと、
前記光源情報算出部により、前記光源個数算出部によって算出された前記光源座標情報に基づいて、前記光源に関する実空間におけるパラメータを前記３次元空間におけるパラメータである光源情報として算出する光源情報算出処理を行うステップと、
前記３次元画像作成部により、前記記憶部によって記憶されている前記３次元モデル情報と前記光源情報算出部によって算出された前記光源情報とに基づいて、３次元画像を作成するステップと、
前記表示部により、前記３次元画像作成部によって作成された前記３次元画像を表示するステップと、
を含むことを特徴とする、画像処理方法。
【請求項１３】
コンピュータを、
魚眼レンズを有するとともに前記魚眼レンズを通して自装置の外部から受光して画像を撮影する撮影部と、
３次元空間を規定する３次元モデル情報を記憶する記憶部と、
前記撮影部によって撮影された前記画像に写されている光源の個数を算出する光源個数算出処理を行い、算出した前記個数分に相当する前記光源の前記画像における位置を示す光源座標情報を算出する光源個数算出部と、
前記光源個数算出部によって算出された前記光源座標情報に基づいて、前記光源に関する実空間におけるパラメータを前記３次元空間におけるパラメータである光源情報として算出する光源情報算出処理を行う光源情報算出部と、
前記記憶部によって記憶されている前記３次元モデル情報と前記光源情報算出部によって算出された前記光源情報とに基づいて、３次元画像を作成する３次元画像作成部と、
前記３次元画像作成部によって作成された前記３次元画像を表示する表示部と、
を備える、画像処理装置として機能させるためのプログラム。
【請求項１】
魚眼レンズを有するとともに前記魚眼レンズを通して自装置の外部から受光して画像を撮影する撮影部と、
３次元空間を規定する３次元モデル情報を記憶する記憶部と、
前記撮影部によって撮影された前記画像に写されている光源の個数を算出する光源個数算出処理を行い、算出した前記個数分に相当する前記光源の前記画像における位置を示す光源座標情報を算出する光源個数算出部と、
前記光源個数算出部によって算出された前記光源座標情報に基づいて、前記光源に関する実空間におけるパラメータを前記３次元空間におけるパラメータである光源情報として算出する光源情報算出処理を行う光源情報算出部と、
前記記憶部によって記憶されている前記３次元モデル情報と前記光源情報算出部によって算出された前記光源情報とに基づいて、３次元画像を作成する３次元画像作成部と、
前記３次元画像作成部によって作成された前記３次元画像を表示する表示部と、
を備えることを特徴とする、画像処理装置。
【請求項２】
前記光源情報算出部は、
前記光源個数算出部によって算出された前記光源座標情報に基づいて、射影変換により前記撮影部の位置を基準とした前記光源の前記実空間における方位を示す方位情報を、前記光源情報として算出する方位情報算出処理を行う、
ことを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記光源情報算出部は、
前記方位情報と所定値とに基づいて、前記光源の前記実空間における位置を示す位置情報を、前記光源情報として算出する、
ことを特徴とする、請求項１に記載の画像処理装置。
【請求項４】
前記撮影部は、
前記魚眼レンズを複数有し、複数の前記魚眼レンズを通して自装置の外部から受光してそれぞれの画像を撮影し、
前記光源個数算出部は、
前記撮影部によって撮影されたそれぞれの前記画像について前記光源個数算出処理と前記光源情報算出処理とを行い、
前記光源情報算出部は、
前記撮影部によって撮影されたそれぞれの前記画像について前記方位情報算出処理を行い、算出された複数の前記方位情報に基づいて前記光源の前記実空間における位置を示す位置情報を、前記光源情報として算出する、
ことを特徴とする、請求項２に記載の画像処理装置。
【請求項５】
前記光源情報算出部は、
前記光源個数算出部によって算出された前記光源座標情報に基づいて、前記光源から発せられる光の強度および色の少なくともいずれか一方を、前記光源情報としてさらに算出する、
ことを特徴とする、請求項２〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記光源個数算出部は、
算出した前記個数分に相当する前記光源領域を前記画像から検出し、検出した前記光源領域の前記画像における位置を光源領域座標情報として算出し、
前記光源情報算出部は、
前記光源個数算出部によって算出された前記光源領域座標情報に基づいて、前記光源から発せられる光の広がりを、前記光源情報としてさらに算出する、
ことを特徴とする、請求項２〜４のいずれか１項に記載の画像処理装置。
【請求項７】
前記光源情報算出部は、
前記光源個数算出部によって算出された前記光源領域座標情報に基づいて、前記光源領域を２つのベクトルで近似し、前記２つのベクトルによって前記光の広がりとして使用する、
ことを特徴とする、請求項６に記載の画像処理装置。
【請求項８】
前記光源情報算出部は、
前記光源個数算出部によって算出された前記光源座標情報に基づいて、実空間における環境光の強さおよび色の少なくともいずれか一方を前記３次元空間におけるパラメータである環境光情報としてさらに算出し、
前記３次元画像作成部は、
前記光源情報算出部によって算出された前記環境光情報に基づいて、前記３次元空間における物体色を特定し、特定した前記物体色を有する３次元画像を作成する、
ことを特徴とする、請求項１に記載の画像処理装置。
【請求項９】
前記３次元画像作成部は、
前記光源情報算出部によって算出された前記光源情報と前記記憶部によって記憶されている前記３次元モデル情報とに基づいて、前記３次元空間に生じる影の向きおよび個数を算出し、算出した前記影の向きおよび個数に基づいて影領域を特定し、特定した前記影領域に影を有する３次元画像を作成する、
ことを特徴とする、請求項１に記載の画像処理装置。
【請求項１０】
前記３次元画像作成部は、
前記光源情報算出部によって前記光源情報として算出された前記位置情報と前記記憶部によって記憶されている前記３次元モデル情報とに基づいて、前記３次元空間に生じる半影領域を特定し、特定した前記半影領域に半影を有する３次元画像を作成する、
ことを特徴とする、請求項３または４に記載の画像処理装置。
【請求項１１】
前記光源情報算出部は、
前記３次元画像の作成に前回用いられた前記光源情報である前回の光源情報と比較して、現在の前記光源情報が変化したか否かを判断し、
前記３次元画像作成部は、
前記光源情報算出部によって前記現在の光源情報が前記前回の光源情報から変化したと判断された場合に、前記３次元画像を作成し直し、
前記表示部は、
前記３次元画像作成部によって作成し直された前記３次元画像を表示し直す、
ことを特徴とする、請求項１に記載の画像処理装置。
【請求項１２】
魚眼レンズを有するとともに前記魚眼レンズを通して自装置の外部から受光して画像を撮影する撮影部と、３次元空間を規定する３次元モデル情報を記憶する記憶部と、光源個数算出部と、光源情報算出部と、３次元画像作成部と、表示部とを備える、画像処理装置が、前記光源個数算出部により、前記撮影部によって撮影された前記画像に写されている光源の個数を算出する光源個数算出処理を行い、算出した前記個数分に相当する前記光源の前記画像における位置を示す光源座標情報を算出するステップと、
前記光源情報算出部により、前記光源個数算出部によって算出された前記光源座標情報に基づいて、前記光源に関する実空間におけるパラメータを前記３次元空間におけるパラメータである光源情報として算出する光源情報算出処理を行うステップと、
前記３次元画像作成部により、前記記憶部によって記憶されている前記３次元モデル情報と前記光源情報算出部によって算出された前記光源情報とに基づいて、３次元画像を作成するステップと、
前記表示部により、前記３次元画像作成部によって作成された前記３次元画像を表示するステップと、
を含むことを特徴とする、画像処理方法。
【請求項１３】
コンピュータを、
魚眼レンズを有するとともに前記魚眼レンズを通して自装置の外部から受光して画像を撮影する撮影部と、
３次元空間を規定する３次元モデル情報を記憶する記憶部と、
前記撮影部によって撮影された前記画像に写されている光源の個数を算出する光源個数算出処理を行い、算出した前記個数分に相当する前記光源の前記画像における位置を示す光源座標情報を算出する光源個数算出部と、
前記光源個数算出部によって算出された前記光源座標情報に基づいて、前記光源に関する実空間におけるパラメータを前記３次元空間におけるパラメータである光源情報として算出する光源情報算出処理を行う光源情報算出部と、
前記記憶部によって記憶されている前記３次元モデル情報と前記光源情報算出部によって算出された前記光源情報とに基づいて、３次元画像を作成する３次元画像作成部と、
前記３次元画像作成部によって作成された前記３次元画像を表示する表示部と、
を備える、画像処理装置として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−１３４１３３（Ｐ２０１１−１３４１３３Ａ）
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願番号】特願２００９−２９３４７１（Ｐ２００９−２９３４７１）
【出願日】平成２１年１２月２４日（２００９．１２．２４）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】４１６，Ｍａｅｔａｎ−ｄｏｎｇ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願日】平成２１年１２月２４日（２００９．１２．２４）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】４１６，Ｍａｅｔａｎ−ｄｏｎｇ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
[ Back to top ]