画像処理装置、画像表示システムおよび画像処理プログラム
【課題】合成する画像と重複する背景の画像の視認性を向上させる。
【解決手段】画像出力部２は、第１の３次元物体の一部が除去されることによってこの３次元物体が複数の部位に分割された第２の３次元物体の表面形状を示す画像を出力する。画像合成部３は、画像出力部２から出力された画像を半透明状態で背景画像に合成する。画像合成部３から出力される合成画像では、第２の３次元物体の描画領域のうち第１の３次元物体から除去された領域において、背景画像に存在する物体が直接的に視認できるようになる。
【解決手段】画像出力部２は、第１の３次元物体の一部が除去されることによってこの３次元物体が複数の部位に分割された第２の３次元物体の表面形状を示す画像を出力する。画像合成部３は、画像出力部２から出力された画像を半透明状態で背景画像に合成する。画像合成部３から出力される合成画像では、第２の３次元物体の描画領域のうち第１の３次元物体から除去された領域において、背景画像に存在する物体が直接的に視認できるようになる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像表示システムおよび画像処理プログラムに関する。
【背景技術】
【０００２】
入力された静止画像あるいは動画像に対して、３次元物体のＣＧ（Computer Graphics）画像を合成して描画する技術が知られている。例えば、車両の周囲を撮影した画像を、車両の後方などの任意の視点から見た俯瞰画像に変換するとともに、俯瞰画像上に同じ視点から見た車両のＣＧ画像を合成する「全周囲立体モニタシステム」と呼ばれる技術がある。また、入力画像にＣＧ画像を合成する際に、ＣＧ画像に透過処理を施す技術もある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−５０５４１号公報
【非特許文献】
【０００４】
【非特許文献１】清水誠也，外２名、「全周囲立体モニタシステム」、雑誌ＦＵＪＩＴＳＵ、富士通株式会社、２００９年９月、ＶＯＬ．６０，ＮＯ．５、ｐ．４９６−５０１
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のように合成するＣＧ画像に透過処理を施すことで、ＣＧ画像とともに、このＣＧ画像と重複する背景の画像も視認できるようになる。しかしながら、透過処理されたＣＧ画像と重複する背景の画像の色値や濃淡値は、元の色値や濃淡値から変化してしまうため、ＣＧ画像との重複領域における背景の画像の視認性は必ずしも良好とは言えなかった。
【０００６】
本発明はこのような課題に鑑みてなされたものであり、合成する画像と重複する背景の画像の視認性を向上させることが可能な画像処理装置、画像表示システムおよび画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、画像出力部と、画像合成部とを有する画像処理装置が提供される。画像出力部は、第１の３次元物体の一部が除去されることによって第１の３次元物体が複数の部位に分割された第２の３次元物体の表面形状を示す第１の画像を出力する。画像合成部は、画像出力部から出力された第１の画像を半透明状態で第２の画像に合成する。
【０００８】
また、上記課題を解決するために、上記の画像処理装置を含む画像表示システムが提供される。
さらに、上記課題を解決するために、上記の画像処理装置と同様の処理をコンピュータに実行させる画像処理プログラムが提供される。
【発明の効果】
【０００９】
上記の画像処理装置、画像表示システムおよび画像処理プログラムによれば、第２の画像と重複する背景の画像の視認性が向上する。
【図面の簡単な説明】
【００１０】
【図１】第１の実施の形態に係る画像処理装置の構成例およびその動作を示す図である。
【図２】図２は、３次元物体および画像の例を示す図である。
【図３】第１の３次元物体を分割せずに合成する場合の処理を示す図である。
【図４】第１の３次元物体を分割する処理の一例を示す図である。
【図５】３次元物体の形状についての認識のしやすさについて説明する図である。
【図６】第２の実施の形態に係る画像表示システムの構成例を示す図である。
【図７】分割パラメータの例を示す図である。
【図８】第２の実施の形態に係る画像処理装置の処理を示すフローチャートである。
【図９】第３の実施の形態に係る画像表示システムの構成例を示す図である。
【図１０】第４の実施の形態に係る画像表示システムの構成例を示す図である。
【図１１】第４の実施の形態に係る画像処理装置の処理を示すフローチャートである。
【図１２】第５の実施の形態に係る画像表示システムの構成例を示す図である。
【図１３】第５の実施の形態に係る画像処理装置の処理を示すフローチャートである。
【図１４】コンピュータのハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１１】
以下、実施の形態について図面を参照して説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態に係る画像処理装置の構成例およびその動作を示す図である。図１に示す画像処理装置１は、画像出力部２と画像合成部３とを備える。
【００１２】
画像出力部２は、第１の３次元物体を変形することで得られた第２の３次元物体の表面形状を示す画像を、画像合成部３に対して出力する。第１の３次元物体は、少なくともその表面形状が、３次元形状データによって定義されたものである。そして、第２の３次元物体は、第１の３次元物体の一部が除去されることにより、第１の３次元物体が複数の部位に分割されたものである。
【００１３】
なお、画像出力部２は、例えば、第１の３次元物体の形状データを基に、第２の３次元物体の形状データを算出することで、第２の３次元物体の表面形状を示す画像を出力してもよい。あるいは、画像出力部２は、あらかじめ記憶部（図示せず）に用意しておいた第２の３次元物体の形状データを基に、第２の３次元物体の表面形状を示す画像を出力してもよい。
【００１４】
また、画像出力部２が出力する画像は、第１または第２の３次元物体の形状データがどのように定義されているかに関係なく、第２の３次元物体の表面形状のみが現れた画像とされる。例えば、第１の３次元物体が立方体などの外部に対して閉じた立体物であったとしても、画像出力部２からの出力画像には、その立体物を外側から見たときに認識できる外面の形状のみが現れ、その立体物の内部の状態は現れない。
【００１５】
画像合成部３は、画像出力部２から出力された画像を他の画像に対して半透明状態で合成し、合成画像を出力する。他の画像とは、例えば、画像出力部２から出力された画像の背景となる背景画像である。
【００１６】
図２は、３次元物体および画像の例を示す図である。
図２に示す物体１１，１２は、それぞれ上記の第１の３次元物体および第２の３次元物体の例である。物体１１は、方向が互いに異なる２つの平板１１ａ，１１ｂが組み合わされた形状をなす。物体１２は、物体１１の２カ所が除去されることで３つの部位１２ａ，１２ｂ，１２ｃに分割された形状をなす。
【００１７】
一方、背景画像１３は、画像合成部３において物体１２の表面形状を示す画像（以下、「表面画像」と称する）と合成される画像の例である。背景画像１３には、背景物体１３ａが描画されている。
【００１８】
合成画像１４は、画像合成部３によって、背景画像１３に対して物体１２の表面画像が半透明状態で合成された画像である。合成画像１４では、物体１２の表面画像と背景画像１３とが半透明状態で合成されることにより、物体１２の部位１２ａ〜１２ｃの各表面画像と背景物体１３ａとの重複領域において、物体１２の部位１２ａ〜１２ｃと背景物体１３ａの両方の形状を視認できる。これに加えて、合成画像１４では、物体１２の部位１２ａと部位１２ｂと間、および部位１２ｂと部位１２ｃとの間がそれぞれ離間し、これらの離間領域において、背景物体１３ａを含む背景画像１３が、透過処理が施されることなく直接的に描画される。
【００１９】
なお、画像合成部３は、物体１２の表面画像を背景画像１３と合成する際に、物体１２の表面を構成する要素同士が重複する領域についても透過処理を施す。例えば、物体１２の表面のうち、平板１１ａに対応する手前側の面と、平板１１ｂに対応する奥側の面とが重複する領域では、手前側の面と奥側の面とが半透明状態で合成される。ただし、このような透過処理は、物体１２の表面画像を画像合成部３に入力する前に、画像出力部２が行ってもよい。
【００２０】
ここで、図３は、第１の３次元物体を分割せずに合成する場合の処理を示す図である。
物体１１を複数の部位に分割しない状態のまま、背景画像１３に対して半透明状態で合成した場合、図３に示す合成画像１５が生成される。合成画像１５では、例えば、物体１１と背景画像１３上の背景物体１３ａとの重複領域では、物体１１だけでなく背景物体１３ａの形状も視認できる。しかしながら、この重複領域では、透過処理により、背景物体１３ａの色値や濃淡値は、背景物体１３ａの元の色値や濃淡値とは異なるものとなる。このため、合成する物体同士の明るさ、色、形状などの組合せによっては、背景の物体が視認しにくい場合がある。
【００２１】
これに対して、図２の合成画像１４では、物体１２の部位１２ａと部位１２ｂとの間、および部位１２ｂと部位１２ｃとの間がそれぞれ離間する。また、物体１２は、物体１１が複数の部位に分割された形状をなすので、物体１２の表面のうち、手前側の面だけでなく奥側の面にも、部位と部位とが離間した領域が存在することが多くなる。このため、これらの離間領域では、背景画像１３が物体１２の表面と重複せずに露出した状態になる可能性が高い。
【００２２】
離間領域において背景画像１３が物体１２の表面と重複しない状態であれば、背景画像１３は、元の色値や濃淡値が変化することなくそのまま描画される。従って、図３の合成画像１５と比較して、図２の合成画像１４の方が、背景画像１３の状態の視認性が高くなり、背景画像１３に含まれる背景物体１３ａなどの物体の形状や色などをより正確に認識できるようになる。
【００２３】
なお、第１の３次元物体から除去する領域の数、すなわち、第１の３次元物体を分割して生成された第２の３次元物体の部位の数は、１つより複数個とされる方が、第２の３次元物体における部位の間の離間領域が広くなり、背景の物体の視認性が向上する。ただし、第１の３次元物体から除去する領域の数が多いほど、あるいは、その除去領域が大きいほど、必ずしも背景の物体の視認性が向上するとは言えない。第１の３次元物体から除去する領域の数や大きさは、第１の３次元物体の形状や、第２の３次元物体を画像合成部３にて合成する際の大きさなどに応じて、適切に設定されることが望ましい。
【００２４】
ところで、上記の画像処理装置１における処理では、第１の３次元物体の一部を除去して得られる第２の３次元物体を合成して描画することで、第１の３次元物体から除去された領域の境界の形状を基に、第１の３次元物体の表面形状を認識しやすくなるという効果も生じる。このような効果は、第１の３次元物体から除去する領域の切断面を、この第１の３次元物体の形状データが定義された３次元座標空間における所定の平面に沿うようにすることで、より顕著になる。第１の３次元物体を平面に沿って切断して分割した場合、例えば、図２の物体１１のように表面が平板状であれば、除去された境界は直線となる一方、表面が曲面であれば、除去された境界は曲線となる。従って、第１の３次元物体の形状を認識しやすくなる。
【００２５】
さらに、図２の物体１１を物体１２のように分割する場合のように、第１の３次元物体を互いに平行な複数の平面に沿って分割することで、第１の３次元物体の形状をより正確に認識できるようになる。
【００２６】
図４は、第１の３次元物体を分割する処理の一例を示す図である。
第１の３次元物体を互いに平行な平面に沿って分割する処理では、まず、第１の３次元物体の形状データが定義された３次元座標空間における任意の基準平面が選択される。そして、この基準平面２０に平行な複数の分割面に沿って第１の３次元物体が切断され、互いに隣接する２つの分割面に挟まれたストライプ状の領域が除去される。
【００２７】
図４では、図２に示した物体１１が、基準平面２０に平行な分割面２１〜２４に沿って分割される際の例を示す。図４中の物体１１に表された一点鎖線は、分割面２１〜２４によって切断される際の切断線を示す。物体１１から、分割面２１と分割面２２との間のストライプ状の領域、および、分割面２３と分割面２４との間のストライプ状の領域をそれぞれ除去することで、図２の物体１２が得られる。
【００２８】
図５は、３次元物体の形状についての認識のしやすさについて説明する図である。
図５では、図４に示した分割面２１〜２４によって切断された切断線を、物体１２上に太線によって示す。物体１１を平面に沿って分割することで、例えば、元の物体１１の表面のうちの平滑な面において切断線が現れるようになり、この切断線によって元の物体１１の表面形状を把握しやすくなる。
【００２９】
特に、物体１２のように、物体１１を互いに平行な複数の平面に沿って切断し、隣接する平面間のストライプ状の領域を除去した場合には、元の物体１１の表面が平面であれば、ストライプ状領域の両端の切断線は平行な直線となる。そして、このように元の物体１１の表面が平面である場合を基準として切断線を観察することで、元の物体１１の表面形状を容易に把握できる。
【００３０】
また、分割面２１〜２４の基準となる基準平面２０は、合成画像１４において物体１２が存在する仮想的な３次元座標空間における水平面（地平面に水平な面）であることが望ましい。ここで言う仮想的な３次元座標空間とは、例えば、物体１２の合成対象である背景画像１３が仮想的なカメラによって撮像されたものと考えたときに、その仮想カメラが撮像する仮想的な３次元座標空間を指す。そして、物体１２の画像が背景画像１３に合成される際には、物体１２がこの仮想的な３次元座標空間に射影されることになる。
【００３１】
人間が物体を認識するときには、自分が立っている地面に対して水平な面を基準として考えた方が、物体の形状を認識しやすい。従って、基準平面２０を上記の仮想的な３次元座標空間における水平面とすることで、元の物体１１の表面形状を認識しやすくなる。
【００３２】
さらに、元の物体１１から複数のストライプ状領域を除去することで、物体１２の表面に現れる切断線の数が増加するので、物体１２上の各切断線の形状から元の物体１１の表面形状をより正確に把握できるようになる。
【００３３】
なお、以上の第１の実施の形態では、第１の３次元物体を１つの基準平面に平行な分割面に沿って分割することで第２の３次元物体を生成したが、他の例として、第１の３次元物体を複数の基準平面にそれぞれ平行な分割面に沿って分割するようにしてもよい。例えば、第１の３次元物体をある基準平面に平行な複数の分割面に沿って分割し、分割後の３次元物体をさらに他の基準平面に平行な複数の分割面に沿って分割することで、第２の３次元物体を生成してもよい。
【００３４】
〔第２の実施の形態〕
図６は、第２の実施の形態に係る画像表示システムの構成例を示す図である。図６に示す画像表示システムは、撮像装置１１０、画像処理装置２００および表示装置１２０を備える。
【００３５】
撮像装置１１０は、ＣＣＤ（Charge Coupled Devices）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの撮像素子を用いて画像を撮像し、撮像した画像をアナログ信号として画像処理装置２００に出力する。画像処理装置２００は、撮像装置１１０によって撮像された画像に対して、仮想的な３次元物体の画像を合成する。表示装置１２０は、画像処理装置２００によって合成処理された画像を表示する。表示装置１２０は、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（EelectroLuminescence）ディスプレイなどである。なお、画像処理装置２００と表示装置１２０とは、一体化されていてもよい。
【００３６】
画像処理装置２００は、画像入力部２１０、画像合成部２２０、分割処理部２３０、データ変換部２４０および画像出力部２５０を備える。なお、画像合成部２２０は、第１の実施の形態における画像合成部３に対応し、分割処理部２３０およびデータ変換部２４０は、第１の実施の形態における画像出力部２に対応する。
【００３７】
さらに、画像処理装置２００は、記憶部２６０を備える。記憶部２６０は、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）などの不揮発性記憶媒体である。記憶部２６０には、形状データＤＢ（データベース）２６１、分割パラメータ２６２、カメラパラメータ２６３、物体表示パラメータ２６４および合成パラメータ２６５が記憶されている。
【００３８】
画像入力部２１０は、撮像装置１１０から出力されたアナログ画像信号をデジタル化し、画像合成部２２０に出力する。
合成パラメータ２６５には、データ変換部２４０からの出力データに基づく３次元物体の画像を画像合成部２２０で合成するための各種パラメータが設定される。合成パラメータ２６５は、例えば、３次元物体の表示色および透過率を含む。なお、合成パラメータ２６５に含まれる少なくとも一部のパラメータは、ユーザの設定操作などに応じて任意に設定可能であってもよい。
【００３９】
画像合成部２２０は、データ変換部２４０からの出力データに基づく３次元物体の表面に、合成パラメータ２６５内の表示色を適用し、この３次元物体の画像を、画像入力部２１０からの出力画像に対して、合成パラメータ２６５内の透過率に基づいて半透明状態で合成する。
【００４０】
形状データＤＢ２６１には、３次元物体の表面の３次元形状を定義した形状データが登録される。形状データＤＢ２６１内の形状データに基づく３次元物体は、第１の実施の形態における第１の３次元物体に対応する。形状データＤＢ２６１内の形状データは、例えば、所定の基準座標を基準として各頂点の３次元座標が定義された多角形パッチの集合である。あるいは、例えば、３次元物体が直方体などの単純な幾何学形状である場合には、形状データは３次元物体の各辺の長さであってもよい。
【００４１】
分割パラメータ２６２は、分割処理部２３０において３次元物体をどのように分割するかを決定するパラメータである。後述するように、分割パラメータ２６２は、例えば、所定の基準平面を基準とした、基準平面の法線方向に対する位置パラメータである。なお、分割パラメータ２６２は、ユーザによる設定操作などに応じて任意に設定可能であってもよい。
【００４２】
分割処理部２３０は、形状データＤＢ２６１内の形状データに基づく３次元物体を、分割パラメータ２６２に基づいて複数の部位に分割し、分割した３次元物体の形状データをデータ変換部２４０に出力する。なお、分割処理部２３０で分割された３次元物体は、第１の実施の形態における第２の３次元物体に対応する。
【００４３】
本実施の形態では、分割処理部２３０は、形状データＤＢ２６１内の形状データに基づく３次元物体から、互いに平行な複数の分割面に沿った複数のストライプ領域を除去することで、元の３次元物体を分割する。この分割処理は、図２に示した物体１１を物体１２のように分割する処理に対応する。以下、分割処理部２３０によって分割処理された３次元物体を「ストライプ状物体」と呼ぶ。分割処理部２３０は、形状データＤＢ２６１内の形状データと分割パラメータ２６２とを基に、ストライプ状物体の形状データを演算し、形状データの演算結果をデータ変換部２４０に出力する。
【００４４】
カメラパラメータ２６３は、ストライプ状物体を仮想的な３次元座標空間に射影する際の仮想的なカメラのパラメータである。カメラパラメータ２６３は、例えば、仮想カメラの焦点距離、視点位置および視線方向などのパラメータを含む。
【００４５】
物体表示パラメータ２６４は、ストライプ状物体を合成画像上にどのように表示させるかを決定するパラメータである。物体表示パラメータ２６４は、例えば、ストライプ状物体を上記の仮想的な３次元座標空間に射影する際のストライプ状物体の位置および回転方向などのパラメータを含む。
【００４６】
なお、カメラパラメータ２６３および物体表示パラメータ２６４に含まれる少なくとも一部のパラメータは、ユーザの設定操作などに応じて任意に設定可能であってもよい。
データ変換部２４０は、分割処理部２３０から出力された、ストライプ状物体の形状データを、カメラパラメータ２６３および物体表示パラメータ２６４に基づいて変換する。このデータ変換部２４０での変換処理により、ストライプ状物体を定義した多角形パッチの各頂点の３次元座標が、画像入力部２１０からの出力画像が定義された２次元座標空間における座標に変換される。
【００４７】
画像出力部２５０は、画像合成部２２０から出力された合成画像のデジタルデータを、表示用の画像信号に変換して表示装置１２０に出力し、合成画像を表示装置１２０に表示させる。
【００４８】
次に、分割処理部２３０の処理例について説明する。
分割処理部２３０は、形状データＤＢ２６１内の形状データに基づく３次元物体を、形状データが定義された３次元座標空間上に任意に設定した基準平面に平行な複数の分割面に沿って分割する。基準平面は、例えば、形状データが定義された３次元座標空間における２軸方向に沿った平面とされる。分割処理部２３０は、３次元物体から、隣接する分割面に挟まれたストライプ状の領域を除去することで、ストライプ状物体を生成する。
【００４９】
基準平面における任意の１点の３次元座標をＰＢとし、基準平面の法線方向を示すベクトルをｎとすると、座標ＰＢの点を通り法線方向に沿った３次元直線上の位置Ｌは、媒介変数ｔを用いて次の式（１）で表される。
Ｌ＝ｎ＊ｔ＋ＰＢ ・・・（１）
式（１）のｔは、基準平面の法線方向に対する基準平面からのオフセット量を示す位置パラメータである。そして、分割面のそれぞれについての位置パラメータは、式（１）のｔの値として与えられる。すなわち、ｔの値が決定されれば、着目する分割面の３次元座標上の位置が確定される。分割面は、式（１）で与えられる３次元座標の点を通り、法線方向（ベクトルｎの方向）に沿った平面となる。このような分割面は、次の式（２）のような平面式で与えられる。なお、式（２）において、ｎTはベクトルｎの転置行列を示す。
ｎT＊（ｘ−Ｌ）＝０ ・・・（２）
記憶部２６０には、分割パラメータ２６２の例として、分割面のそれぞれについての式（１）におけるｔの値が設定される。例えば、形状データＤＢ２６１内の形状データに基づく３次元物体をｍ個（ただし、ｍは２以上の偶数）の分割面に沿って分割する場合、分割パラメータ２６２は、ｔ１，ｔ２，・・・，ｔｍというｍ個の位置パラメータを含む。
【００５０】
分割処理部２３０は、分割パラメータ２６２に含まれる各分割面に対応する位置パラメータを式（２）に代入することで、各分割面の式を求める。分割処理部２３０は、形状データＤＢ２６１内の形状データに基づく３次元物体から、奇数番の分割面とその次の偶数番の分割面とに挟まれる領域を除去することで得られるストライプ状物体の形状データを、形状データＤＢ２６１内の形状データと各分割面の式とを基に演算する。
【００５１】
図７は、分割パラメータの例を示す図である。
図７に示す物体面３０１は、形状データＤＢ２６１内の形状データに基づく３次元物体の表面を、基準平面に平行な方向から見たものである。また、図７では、形状データＤＢ２６１内の形状データに基づく３次元物体を、基準平面にそれぞれ平行な６つの分割面３１１〜３１６によって分割する場合の例を示す。この場合、分割パラメータ２６２として、分割面３１１〜３１６にそれぞれ対応する位置パラメータｔ１〜ｔ６が、記憶部２６０に設定される。そして、物体面３０１のうち、分割面３１１と分割面３１２との間の領域、分割面３１３と分割面３１４との間の領域、分割面３１５と分割面３１６との間の領域をそれぞれ除去することで、４つのストライプ状物体面３０２ａ〜３０２ｄを有するように分割されたストライプ状物体が得られる。
【００５２】
次に、データ変換部２４０の処理例について説明する。
カメラパラメータ２６３には、焦点距離ｆｃ、視点位置Ｐｃおよび視線方向Ｎｃが設定され、物体表示パラメータ２６４には、ストライプ状物体についての物体位置Ｐｍおよび回転方向Ｒｍが設定されるものとする。ストライプ状物体の表面を構成する多角形パッチの各頂点の３次元座標をｑ＿ｉ（ただし、ｉは多角形パッチの頂点を識別する添え字）とすると、多角形パッチの各頂点は、次の式（３）を用いて仮想的な３次元座標空間に射影される。なお、式（３）において、ｒ＿ｉは、仮想的な３次元座標空間におけるｑ＿ｉの射影位置の座標を示す。
ｒ＿ｉ＝Ｒｍ＊ｑ＿ｉ＋Ｐｍ ・・・（３）
式（３）に基づいて射影されたストライプ状物体を、焦点距離ｆｃで撮像位置の中心を視点位置Ｐｃに置いた仮想カメラで観測したときの仮想撮像画像での２次元空間に射影する。仮想撮像画像での２次元位置は、仮想カメラのレンズのモデルにもよるが、ここでは、通常のレンズに相当する透視射影によるカメラを仮定した場合の例を示す。仮想撮像画像での座標ｓ＿ｉは、次の式（４）および式（５）で求められる。
ｓ＿ｉ（ｘ）＝ｆｃ＿ｘ＊ｒ＿ｉ（ｘ）／ｒ＿ｉ（ｚ） ・・・（４）
ｓ＿ｉ（ｙ）＝ｆｃ＿ｙ＊ｒ＿ｉ（ｙ）／ｒ＿ｉ（ｚ） ・・・（５）
ただし、ｓ＿ｉ（ｘ），ｓ＿ｉ（ｙ）は、それぞれ座標ｓ＿ｉのｘ座標およびｙ座標を示し、ｆｃ＿ｘ，ｆｃ＿ｙは、それぞれ焦点距離ｆｃのｘ成分およびｙ成分を示し、ｒ＿ｉ（ｘ），ｒ＿ｉ（ｙ），ｒ＿ｉ（ｚ）は、それぞれ座標ｒ＿ｉのｘ座標、ｙ座標、ｚ座標を示す。
【００５３】
データ変換部２４０は、カメラパラメータ２６３内の焦点距離ｆｃ、視点位置Ｐｃおよび視線方向Ｎｃと、物体表示パラメータ２６４内の物体位置Ｐｍおよび回転方向Ｒｍとに基づき、式（４）および式（５）に従って、ストライプ状物体を定義する多角形パッチの各頂点の座標を変換し、変換後の各頂点の座標を画像合成部２２０に出力する。上記の式（４）および式（５）を用いた座標変換により、多角形パッチの各頂点が、仮想撮像画像上の２次元座標に変換される。
【００５４】
なお、以上の図６および図７の説明では、カメラパラメータ２６３および物体表示パラメータ２６４は、記憶部２６０にあらかじめ設定されているものとしたが、これらのパラメータを、画像処理装置２００の内部あるいは外部における何らかの処理と連動させて変化させてもよい。例えば、画像入力部２１０に、１つまたは複数の撮像装置からの撮像画像を基に、任意の視点位置に設置した仮想カメラから３次元空間を撮影した画像を生成する機能を持たせる。この場合、仮想カメラについての視点位置および視線方向を、上記の視点位置Ｐｃおよび視線方向Ｎｃとしてデータ変換部２４０での変換処理に使用することができる。
【００５５】
次に、画像処理装置２００での処理についてフローチャートを用いて説明する。図８は、第２の実施の形態に係る画像処理装置の処理を示すフローチャートである。この図８のフローチャートは、１フレーム分の合成画像が出力される際の処理を示す。
【００５６】
［ステップＳ１１］分割処理部２３０は、記憶部２６０に設定された分割パラメータ２６２に含まれる、各分割面に対応する位置パラメータを、上記の式（２）に代入する。これにより、分割処理部２３０は、各分割面の式を求める。
【００５７】
［ステップＳ１２］分割処理部２３０は、形状データＤＢ２６１内の形状データに基づく３次元物体から、ステップＳ１１で求めた分割面のうち、奇数番の分割面とその次の偶数番の分割面とに挟まれる領域を除去することで、ストライプ状物体の形状データを算出する。分割処理部２３０は、例えば、算出したストライプ状物体の形状データを、画像処理装置２００が備えるＲＡＭ（図示せず）に一時的に記録する。
【００５８】
［ステップＳ１３］データ変換部２４０は、ステップＳ１２で算出されたストライプ状物体の形状データから、ストライプ状物体の表面形状を定義した１つの多角形パッチの形状データ（多角形パッチの頂点の座標）を選択する。
【００５９】
［ステップＳ１４］データ変換部２４０は、記憶部２６０に設定されたカメラパラメータ２６３および物体表示パラメータ２６４に基づき、ステップＳ１３で選択した多角形パッチの各頂点の３次元座標を、上記の式（４）および式（５）に従って、仮想撮像画像での２次元座標に変換する。データ変換部２４０は、得られた各頂点の２次元座標を、画像処理装置２００が備えるＲＡＭに一時的に記憶する。
【００６０】
［ステップＳ１５］データ変換部２４０は、ステップＳ１２で算出されたストライプ状物体の形状データに含まれるすべての多角形パッチのデータを選択したかを判定する。データ変換部２４０は、未選択の多角形パッチのデータがある場合には、ステップＳ１３に戻り、未選択の多角形パッチのデータから１つの多角形パッチのデータを選択する。
【００６１】
一方、すべての多角形パッチのデータが選択済みである場合、ストライプ状物体の表面画像のデータが、各多角形パッチの２次元座標の集合として生成されたことになる。データ変換部２４０は、すべての多角形パッチのデータが選択済みの場合には、ステップＳ１６の処理を実行する。
【００６２】
［ステップＳ１６］画像合成部２２０は、記憶部２６０に設定された合成パラメータ２６５から、ストライプ状物体の表示色と透過率とを抽出する。画像合成部２２０は、ストライプ状物体の画像を、画像入力部２１０からの出力画像に対して、合成パラメータ２６５から抽出した透過率に基づいて半透明状態で合成する。
【００６３】
具体的には、画像合成部２２０は、ステップＳ１４で変換した各多角形パッチの２次元座標に基づき、合成パラメータ２６５から抽出した表示色を、各多角形パッチに含まれる各画素の画素値として適用する。画像合成部２２０は、各多角形パッチの画素値と、画像入力部２１０からの出力画像の画素値とを、合成パラメータ２６５から抽出した透過率を適用した所定のブレンディング方法によって合成する。
【００６４】
なお、多角形パッチ同士が重複する領域では、重複する多角形パッチ間でも透過処理が施される。例えば、画像合成部２２０は、複数の多角形パッチ同士が重複する領域において、各多角形パッチの画素値を半透明状態で合成処理することで、ストライプ状物体の画像データを生成する。その後、画像合成部２２０は、生成されたストライプ状物体の画像データと、画像入力部２１０からの出力画像のデータとを、半透明状態で合成処理する。
【００６５】
なお、以上の図８の処理例では、ストライプ状物体の表面の色は、合成パラメータ２６５内の表示色で決定されるただ１つの色とされた。この場合、合成パラメータ２６５に設定する表示色を変更することで、ストライプ状物体の全体の色を変更することが可能である。ただし、他の例として、ストライプ状物体の表面の色を、形状データＤＢ２６１にあらかじめ登録しておいてもよい。この場合、例えば、形状データＤＢ２６１に登録された多角形パッチのそれぞれの形状データに対して色情報が個別に付加されることで、ストライプ状物体の表面の色を場所によって異なる色にすることができる。
【００６６】
以上説明した第２の実施の形態では、元の３次元物体をストライプ状物体に変形し、そのストライプ状物体を画像入力部２１０からの出力画像に半透明状態で合成した。これにより、ストライプ状物体の画像と重複する背景画像の状態の視認性が向上するとともに、元の３次元物体の表面形状も把握しやすくなる。
【００６７】
〔第３の実施の形態〕
図９は、第３の実施の形態に係る画像表示システムの構成例を示す図である。なお、図９では、図６に対応する構成要素には同じ符号を付して示す。
【００６８】
第３の実施の形態に係る画像表示システムは、図６に示した第２の実施の形態での画像処理装置２００を、図９の画像処理装置２００ａのような構成に変形したものである。画像処理装置２００ａは、図６に示した分割処理部２３０を備えない。その代わり、画像処理装置２００ａのデータ変換部２４０は、ストライプ状物体の形状データを、記憶部２６０に記憶された形状データＤＢ２６１ａから読み込む。形状データＤＢ２６１ａには、図６の形状データＤＢ２６１に登録された形状データを、図６の分割処理部２３０によって変換したものと同様の形状データが登録される。
【００６９】
以上の第３の実施の形態では、第２の実施の形態で得られる効果に加え、ストライプ状物体の形状データを算出するための演算負荷が軽減され、画像処理装置２００ａの回路規模を小さくし、消費電力を低減できるという効果も得られる。
【００７０】
〔第４の実施の形態〕
図１０は、第４の実施の形態に係る画像表示システムの構成例を示す図である。なお、図１０では、図６に対応する構成要素には同じ符号を付して示す。
【００７１】
第４の実施の形態に係る画像表示システムは、図６に示した第２の実施の形態での画像処理装置２００を、図１０の画像処理装置２００ｂのような構成に変形したものである。画像処理装置２００ｂは、形状データＤＢ２６１内の形状データに基づく３次元物体をストライプ状物体に変形する際の変形の仕方を、ストライプ状物体の合成の仕方を決定するパラメータに応じて変化させることが可能になっている。
【００７２】
画像処理装置２００ｂは、図６に示した画像入力部２１０、画像合成部２２０、分割処理部２３０、データ変換部２４０および画像出力部２５０に加え、パラメータ設定部２７０および分割パラメータ出力部２８０を備える。また、画像処理装置２００ｂが備える記憶部２６０には、図６に示した形状データＤＢ２６１に加え、分割パラメータテーブル２６６があらかじめ記憶される。
【００７３】
パラメータ設定部２７０には、入力デバイス２７１が接続されている。パラメータ設定部２７０は、入力デバイス２７１に対するユーザの入力操作に応じたパラメータを出力する。パラメータ設定部２７０から出力されるパラメータは、図６に示したカメラパラメータ２６３、物体表示パラメータ２６４および合成パラメータ２６５にそれぞれ含まれるパラメータである。
【００７４】
パラメータ設定部２７０は、入力デバイス２７１への入力操作に応じて出力するパラメータのうち、カメラパラメータおよび物体表示パラメータを分割パラメータ出力部２８０およびデータ変換部２４０に出力し、合成パラメータを画像合成部２２０に出力する。なお、これらのパラメータのうちの一部が、入力デバイス２７１への入力操作に応じてパラメータ設定部２７０から出力され、その他のパラメータが記憶部２６０にあらかじめ記憶されていてもよい。
【００７５】
分割パラメータ出力部２８０は、パラメータ設定部２７０から出力されるカメラパラメータおよび物体表示パラメータに応じた分割パラメータを、分割処理部２３０に出力する。分割パラメータは、第２の実施の形態で説明したように、複数の分割面のそれぞれについての基準平面からの位置を示すパラメータである。
【００７６】
なお、パラメータ設定部２７０は、出力すべきパラメータの指示を、入力デバイス２７１の代わりに、画像処理装置２００ｂの内部あるいは外部に設けられた処理機能から受け付けてもよい。例えば、画像入力部２１０に、１つまたは複数の撮像装置からの撮像画像を基に、任意の視点位置に設置した仮想カメラから３次元空間を撮影した画像を生成する機能を持たせる。この場合、パラメータ設定部２７０は、仮想カメラについての視点位置および視線方向を画像入力部２１０から受け付けて、分割パラメータ出力部２８０に出力してもよい。
【００７７】
分割パラメータ出力部２８０は、パラメータ設定部２７０から出力されるカメラパラメータおよび物体表示パラメータに応じて、仮想カメラからのストライプ状物体の見え方が適切になるように、元の３次元物体をストライプ状に分割する分割の仕方を調整する。本実施の形態では、例として、分割パラメータ出力部２８０は、画像入力部２１０からの出力画像に対して合成するストライプ状物体の大きさに応じて、元の３次元物体からストライプ状に除去する領域の数を調整する。
【００７８】
例えば、仮想カメラの焦点距離を短くしたとき（すなわち、広角で撮像したとき）には、合成画像上にストライプ状物体が小さく映るので、ストライプ状に除去する領域の数を小さくして、分割されたそれぞれの部位がある程度の大きさを保つようにする。一方、仮想カメラの焦点距離を長くしたとき（すなわち、望遠で撮像したとき）には、合成画像上にストライプ状物体が大きく映るので、ストライプ状に除去する領域の数を大きくする。
【００７９】
なお、本実施の形態では例として、分割パラメータ出力部２８０は、分割パラメータテーブル２６６を参照して分割パラメータを出力する。分割パラメータテーブル２６６には、元の３次元物体を分割する分割数と分割パラメータとが対応付けて登録されている。
【００８０】
以下、分割パラメータ出力部２８０の処理の例について説明する。
パラメータ設定部２７０が出力するカメラパラメータを、焦点距離ｆｃ、視点位置Ｐｃおよび視線方向Ｎｃとし、パラメータ設定部２７０が出力する物体表示パラメータを、物体位置Ｐｍおよび回転方向Ｒｍとする。このとき、仮想カメラからストライプ状物体までの距離を視線方向Ｎｃに投射したときの長さ（距離Ｗ）は、次の式（６）で表される。なお、式（６）において、ＮｃTは、視線方向Ｎｃの転置行列を示す。
Ｗ＝ＮｃT（Ｐｍ−Ｐｃ）／｜Ｎｃ｜ ・・・（６）
仮想カメラによって撮像された仮想撮像画像においてストライプ状物体が映る大きさＥは、幾何学的な関係より、次の式（７）で表される。なお、式（７）において、定数Ｅ０には代表的な大きさが設定されればよい。
Ｅ＝Ｅ０＊ｆｃ／Ｗ ・・・（７）
式（７）より、大きさＥは、焦点距離ｆｃに比例し、距離Ｗに反比例することがわかるので、以下、焦点距離ｆｃおよび距離Ｗを用いた演算式を利用する。ストライプ状物体が撮像画像上で基準となる所定の大きさで映るときの分割パラメータを、Ｔ＿１，Ｔ＿２，・・・Ｔ＿ｍ（ただし、ｍは分割面の数であり、２以上の偶数）として、次の式（８）のようにｔ＿ｋを定義する。
ｔ＿ｋ＝Ｔ＿ｋ＊Ｇ＊Ｗ／ｆｃ ・・・（８）
式（８）において、Ｇは、基準距離および基準焦点距離での分割面の数をＴ＿ｋと同じにするための定数である。このとき、使用する分割パラメータの最大数ｃを、次の式（９）のように定める。
【００８１】
【数１】
【００８２】
式（９）は、Ｔ＿ｍを超えない最大のｔ＿ｋを与える添え字（ｋ）をｃとすることを意味する。式（８）および式（９）に従って分割パラメータの数（すなわち、分割面の数）を決定することで、仮想撮像画像におけるストライプ状物体の見かけの大きさが小さいほど分割面の数が少なくなり、大きさが大きいほど分割面の数が多くなるように調整される。より具体的には、焦点距離ｆｃが小さいほど、また距離Ｗが大きいほど、分割面の数が少なくなる。
【００８３】
図１１は、第４の実施の形態に係る画像処理装置の処理を示すフローチャートである。この図１１のフローチャートは、１フレーム分の合成画像が出力される際の処理を示す。なお、図１１では、図８と同じ処理が行われる処理ステップには同じ符号を付して示す。
【００８４】
［ステップＳ３１］入力デバイス２７１に対する入力操作により、カメラパラメータ、物体表示パラメータおよび合成パラメータが設定される。パラメータ設定部２７０は、入力デバイス２７１に対する入力操作に応じて、各パラメータを出力する。なお、出力された各パラメータは、例えば、画像処理装置２００ｂが備えるＲＡＭ（図示せず）に一時的に記憶される。
【００８５】
［ステップＳ３２］分割パラメータ出力部２８０は、パラメータ設定部２７０が出力したパラメータを用いて、式（６）の演算を行う。分割パラメータ出力部２８０は、算出された距離Ｗを式（８）に代入するとともに、式（８）に対して、パラメータ設定部２７０から出力された焦点距離ｆｃと、定数Ｇとを代入する。分割パラメータ出力部２８０は、式（８）を用いて、式（９）の条件に合致する分割パラメータ数（式（９）のｃ）を算出する。
【００８６】
［ステップＳ３３］分割パラメータ出力部２８０は、算出した分割パラメータ数を基に、分割パラメータテーブル２６６を参照して、複数の分割面のそれぞれについての基準平面からの位置を示す分割パラメータを出力する。
【００８７】
分割パラメータテーブル２６６には、分割パラメータ数と、複数の分割面のそれぞれについての分割パラメータを含む分割パラメータ群とが対応付けて登録されている。分割パラメータ出力部２８０は、分割パラメータテーブル２６６から、ステップＳ３２で算出した分割パラメータ数に対応付けられた分割パラメータ群を読み出し、データ変換部２４０に出力する。
【００８８】
なお、分割パラメータ出力部２８０は、ステップＳ３２で算出した分割パラメータ数を基に、複数の分割面のそれぞれについての分割パラメータを計算によって求めてもよい。例えば、分割パラメータ出力部２８０は、基準平面の放線方向に対する長さの基準値を、ステップＳ３２で算出した分割パラメータ数の分だけ均等に分割することで、各分割面の位置を示す分割パラメータを算出してもよい。
【００８９】
上記のいずれの処理でも、合成画像におけるストライプ状物体の大きさが小さくなった場合でも、元の３次元物体から除去される領域間の間隔が小さくなり過ぎなくなり、合成画像において元の３次元物体の表面形状を把握しやすくなる。
【００９０】
この後、図８に示したステップＳ１１〜Ｓ１６の処理が実行される。ただし、ステップＳ１４において、データ変換部２４０は、カメラパラメータおよび物体表示パラメータをパラメータ設定部２７０から取得する。また、ステップＳ１６において、画像合成部２２０は、合成パラメータをパラメータ設定部２７０から取得する。
【００９１】
以上説明した第４の実施の形態では、合成画像におけるストライプ状物体の大きさに応じて、ストライプ状物体を生成する際に元の３次元物体から除去する領域の数を変化させた。これにより、合成画像に映るストライプ状物体が小さくなった場合でも、除去された領域が細かくなり過ぎなくなり、元の３次元物体の表面形状を把握しやすくなる。
【００９２】
〔第５の実施の形態〕
図１２は、第５の実施の形態に係る画像表示システムの構成例を示す図である。なお、図１２では、図１０に対応する構成要素には同じ符号を付して示す。
【００９３】
第５の実施の形態に係る画像表示システムは、図１０に示した第４の実施の形態での画像処理装置２００ｂを、図１２の画像処理装置２００ｃのような構成に変形したものである。画像処理装置２００ｃは、図１０に示した分割処理部２３０および分割パラメータ出力部２８０を備えない代わりに、形状データ選択部２９０を備える。また、記憶部２６０には、形状データＤＢ２６１ｃが記憶されている。形状データＤＢ２６１ｃは、元の３次元物体をそれぞれ異なる分割パラメータを用いて分割した複数のストライプ状物体についての形状データを含む。
【００９４】
形状データ選択部２９０は、パラメータ設定部２７０から出力される各種パラメータに応じて、形状データＤＢ２６１ｃから、パラメータに対応するストライプ状物体の形状データを選択して読み込み、読み込んだ形状データをデータ変換部２４０に出力する。本実施の形態では、形状データ選択部２９０は、カメラパラメータのうちの焦点距離に基づき、合成画像にストライプ状物体が小さく映るほど、より少ない部位に分割されたストライプ状物体の形状データを形状データＤＢ２６１ｃから選択する。これにより、第４の実施の形態と同様に、ストライプ状物体が小さく映った場合でも、元の３次元物体の表面形状を把握しやすくする。
【００９５】
ここで、形状データＤＢ２６１ｃに記憶される形状データの例について詳しく説明する。
形状データＤＢ２６１ｃには、元の３次元物体をそれぞれ異なる分割パラメータを用いて分割して得られたＮＢ個のストライプ状物体のそれぞれについての形状データが登録される。一方、第４の実施の形態の説明と同様に、パラメータ設定部２７０が出力するカメラパラメータを、焦点距離ｆｃ、視点位置Ｐｃおよび視線方向Ｎｃとし、パラメータ設定部２７０が出力する物体表示パラメータを、物体位置Ｐｍおよび回転方向Ｒｍとする。このとき、仮想カメラからストライプ状物体までの距離を視線方向Ｎｃに投射したときの距離Ｗは、前述の式（６）で表される。
【００９６】
ここで、ストライプ状物体までの仮想的な距離Ｗと焦点距離ｆｃのそれぞれがとり得る範囲をあらかじめ定めておくものとする。距離Ｗの最小値、最大値をそれぞれＷ＿ｍｉｎ，Ｗ＿ｍａｘとし、焦点距離ｆｃの最小値、最大値をそれぞれｆｃ＿ｍｉｎ，ｆｃ＿ｍａｘとする。距離Ｗを上記範囲で一定間隔ごとにＮｗ個に区切った距離群のリストＷＬを、下記の式（１０）で定義し、焦点距離ｆｃを上記範囲で一定間隔ごとにＮｆ個に区切った焦点距離群のリストｆＬを、下記の式（１１）で定義する。
ＷＬ＝｛Ｗ＿１，Ｗ＿２，・・・，Ｗ＿Ｎｗ｝（ただし、Ｗ１＝Ｗ＿ｍｉｎ，Ｗ＿Ｎｗ＝Ｗ＿ｍａｘ） ・・・（１０）
ｆＬ＝｛ｆｃ＿１，ｆｃ＿２，・・・，ｆｃ＿Ｎｆ｝（ただし、ｆｃ＿１＝ｆｃ＿ｍｉｎ，ｆｃ＿Ｎｆ＝ｆｃ＿ｍａｘ） ・・・（１１）
距離群のリストＷＬ内の要素と焦点距離群のリストｆＬ内の要素とのすべての組合せを、次の式（１２）に示す組合せリストＰＬで定義する。
ＰＬ＝｛（Ｗ＿１，ｆｃ＿１），（Ｗ＿１，ｆｃ＿２），・・・，（Ｗ＿１，ｆｃ＿Ｎｆ），（Ｗ＿２，ｆｃ＿１），（Ｗ＿２，ｆｃ＿２），・・・，（Ｗ＿２，ｆｃ＿Ｎｆ），・・・・・・，（Ｗ＿Ｎｗ，ｆｃ＿１），（Ｗ＿Ｎｗ，ｆｃ＿２），・・・，（Ｗ＿Ｎｗ，ｆｃ＿Ｎｆ）｝ ・・・（１２）
このとき、組合せリストＰＬ内の要素数は（Ｎｗ＊Ｎｆ）個となり、この個数が上記のＮＢに相当する。組合せリストＰＬの先頭要素から順に１を起点とした整数番号を振り、ｉ番目の要素を（Ｗ＿ｕ，ｆｃ＿ｖ）とするとき（ただし、ｕ，ｖはそれぞれ要素番号）、ｉは次の式（１３）で表される。また、式（１３）を基に、ｕ，ｖはそれぞれ式（１４）、式（１５）で表される。なお、式（１４）のＦ１は切り捨てを表し、式（１５）のＦ２は剰余を表す。
ｉ＝ｕ＊Ｎｗ＋ｖ ・・・（１３）
ｕ＝Ｆ１（ｉ／Ｎｗ） ・・・（１４）
ｖ＝Ｆ２（ｉ／Ｎｗ） ・・・（１５）
形状データＤＢ２６１ｃには、上記の組合せリストＰＬが登録される。
【００９７】
次に、仮想カメラによって撮像される仮想撮像画像においてストライプ状物体が映る大きさＥは、前述の式（７）より、焦点距離ｆｃに比例し、距離Ｗに反比例する。このことから、ストライプ状物体が撮像画像上で基準となる所定の大きさで映るときの分割パラメータを、Ｔ＿１，Ｔ＿２，・・・Ｔ＿ｍ（ただし、ｍは分割面の数であり、２以上の偶数）として、前述の式（８）のようにｔ＿ｋを定義する。
【００９８】
組合せリストＰＬのｉ番目の要素（Ｗ＿ｕ，ｆｃ＿ｖ）について、式（８）の定義に従い、分割パラメータは次の式（１６）のように定義される。
ｔ＿ｋi＝Ｔ＿ｋ＊Ｇ＊Ｗ＿ｕ／ｆｃ＿ｖ ・・・（１６）
このとき、組合せリストＰＬのｉ番目の要素（Ｗ＿ｕ，ｆｃ＿ｖ）についての分割パラメータの最大数ｃ＿ｉを、次の式（１７）のように定める。
【００９９】
【数２】
【０１００】
式（１７）は、Ｔ＿ｍを超えない最大のｔ＿ｋiを与える添え字（ｋ）をｃ＿ｉとすることを意味する。
式（１６）および式（１７）より、組合せリストＰＬのｉ番目の要素（Ｗ＿ｕ，ｆｃ＿ｖ）についての分割パラメータの集合ｔＬiを、次の式（１８）のように定義する。
ｔＬi＝｛ｔ＿１i，ｔ＿２i，・・・，ｔ＿ｃ＿ｉi｝ ・・・（１８）
集合ｔＬiは、組合せリストＰＬのｉ番目の要素のそれぞれについて定義される。集合ｔＬiを用いて、前述の式（２）より各分割パラメータに対応する分割面が求められる。そして、求められた分割面に沿って、元の３次元物体をストライプ状に分割することで、ｉ番目の要素のそれぞれに対応するストライプ状物体の形状データＨiが求められる。形状データＨiは、例えば、ストライプ状物体の表面形状を構成する多角形パッチの頂点座標を含む。
【０１０１】
組合せリストＰＬの要素にそれぞれ対応するストライプ状物体の形状データの集合ＨＬを、次の式（１９）によって定義する。形状データＤＢ２６１ａには、組合せリストＰＬとともに、形状データの集合ＨＬも登録される。
ＨＬ＝｛Ｈ1，Ｈ2，・・・，ＨNB｝ ・・・（１９）
図１３は、第５の実施の形態に係る画像処理装置の処理を示すフローチャートである。この図１３のフローチャートは、１フレーム分の合成画像が出力される際の処理を示す。なお、図１３では、図８と同じ処理が行われる処理ステップには同じ符号を付して示す。
【０１０２】
［ステップＳ５１］入力デバイス２７１に対する入力操作により、カメラパラメータ、物体表示パラメータおよび合成パラメータが設定される。パラメータ設定部２７０は、入力デバイス２７１に対する入力操作に応じて、各パラメータを出力する。なお、出力された各パラメータは、例えば、画像処理装置２００ｂが備えるＲＡＭ（図示せず）に一時的に記憶される。
【０１０３】
［ステップＳ５２］形状データ選択部２９０は、パラメータ設定部２７０から出力されたカメラパラメータおよび物体表示パラメータを用いて、前述の式（６）を演算し、距離Ｗを算出する。
【０１０４】
［ステップＳ５３］形状データ選択部２９０は、形状データＤＢ２６１ｃに登録された組合せリストＰＬから、パラメータ設定部２７０から出力された焦点距離ｆｃと、ステップＳ５２で算出した距離Ｗとにそれぞれ最も近い値が設定された要素を検索し、その要素番号ｉを認識する。
【０１０５】
［ステップＳ５４］形状データ選択部２９０は、形状データＤＢ２６１ｃに登録された形状データの集合ＨＬから、ステップＳ５３で認識した要素番号ｉに対応するストライプ状物体の形状データを読み出す。形状データ選択部２９０は、読み出したストライプ状物体の形状データを、例えば、画像処理装置２００ｂが備えるＲＡＭに一時的に記憶される。
【０１０６】
この後、図８に示したステップＳ１３〜Ｓ１６の処理が実行される。ただし、ステップＳ１３において、データ変換部２４０は、カメラパラメータおよび物体表示パラメータをパラメータ設定部２７０から取得するとともに、ステップＳ５４で形状データ選択部２９０が形状データＤＢ２６１ｃから読み出した形状データを用いて、変換処理を行う。また、ステップＳ１６において、画像合成部２２０は、合成パラメータをパラメータ設定部２７０から取得する。
【０１０７】
以上説明した第５の実施の形態では、第４の実施の形態と同様に、合成画像に映るストライプ状物体が小さくなった場合でも、除去された領域が細かくなり過ぎなくなり、元の３次元物体の表面形状を把握しやすくなる。さらに、第５の実施の形態では、それぞれ異なる分割パラメータを用いて元の３次元物体から変形された複数のストライプ状物体のそれぞれの形状データが、形状データＤＢ２６１ｃにあらかじめ登録される。このため、設定されるカメラパラメータごとにストライプ状物体の形状データを演算する必要がなくなり、第４の実施の形態と比較して、画像処理装置での演算負荷が軽減される。
【０１０８】
なお、上記各実施の形態における画像処理装置あるいは画像表示システムは、例えば、全周囲立体モニタシステム（非特許文献１を参照）に適用することができる。全周囲立体モニタシステムは、車両の周囲を撮影した画像を、車両の後方などの任意の視点から見た俯瞰画像に変換するとともに、俯瞰画像上に同じ視点から見た車両の仮想画像を合成することで、運転者の運転操作を補助するものである。
【０１０９】
上記各実施の形態における画像処理装置の処理を、俯瞰画像上に車両の仮想画像を合成する処理に適用することにより、例えば、俯瞰画像に存在する物体のうち、車両の仮想画像によって隠れてしまう物体を、合成画像上で視認できるようになり、車両の周囲の障害物を運転者が認識しやすくなる。さらに、車両の仮想画像の表面形状を運転者が認識しやすくなり、車両の周囲の障害物と車両との位置関係を運転者がより正確に把握できるようになる。
【０１１０】
なお、上記の各実施の形態における画像処理装置の処理は、例えば、次の図１４のようなハードウェア構成のコンピュータにおいて実現することもできる。
図１４は、コンピュータのハードウェア構成例を示す図である。
【０１１１】
図１４に示すコンピュータ４００は、ＣＰＵ（Central Processing Unit）４０１によって装置全体が制御されている。ＣＰＵ４０１には、バス４０９を介して、ＲＡＭ４０２と複数の周辺機器が接続されている。
【０１１２】
ＲＡＭ４０２は、コンピュータ４００の主記憶装置として使用される。ＲＡＭ４０２には、ＣＰＵ４０１に実行させるＯＳ（Operating System）プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ４０２には、ＣＰＵ４０１による処理に必要な各種データが格納される。
【０１１３】
バス４０９に接続されている周辺機器としては、ＨＤＤ４０３、グラフィック処理装置４０４、入力Ｉ／Ｆ（インタフェース）４０５、光学ドライブ装置４０６、ネットワークＩ／Ｆ４０７および通信Ｉ／Ｆ４０８がある。
【０１１４】
ＨＤＤ４０３は、内蔵した磁気ディスクに対して、磁気的にデータの書き込みおよび読み出しを行う。ＨＤＤ４０３は、コンピュータ４００の二次記憶装置として使用される。ＨＤＤ４０３には、ＯＳプログラム、アプリケーションプログラム、および各種データが格納される。なお、二次記憶装置としては、フラッシュメモリなどの半導体記憶装置を使用することもできる。
【０１１５】
グラフィック処理装置４０４には、モニタ４０４ａが接続されている。グラフィック処理装置４０４は、ＣＰＵ４０１からの命令に従って、画像をモニタ４０４ａに表示させる。なお、モニタ４０４ａは、例えば、ＬＣＤである。また、モニタ４０４ａは、コンピュータ４００の本体と一体化されていてもよい。
【０１１６】
入力Ｉ／Ｆ４０５には、キーボード４０５ａおよびマウス４０５ｂが接続されている。入力Ｉ／Ｆ４０５は、キーボード４０５ａやマウス４０５ｂからの出力信号をＣＰＵ４０１に送信する。なお、マウス４０５ｂは、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。また、キーボード４０５ａなどの入力デバイスは、コンピュータ４００の本体と一体化されていてもよい。
【０１１７】
光学ドライブ装置４０６は、レーザ光などを利用して、光ディスク４０６ａに記録されたデータの読み取りを行う。光ディスク４０６ａは、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク４０６ａには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（Rewritable）などがある。
【０１１８】
ネットワークＩ／Ｆ４０７は、ネットワーク４０７ａに接続されている。ネットワークＩ／Ｆ４０７は、ネットワーク４０７ａを介して他の機器との間でデータを送受信する。
通信Ｉ／Ｆ４０８には、撮像装置４０８ａが接続されている。通信Ｉ／Ｆ４０８は、撮像装置４０８ａから出力された画像信号を、ＣＰＵ４０１に対して出力する。なお、撮像装置４０８ａからの出力画像信号がアナログ信号である場合、通信Ｉ／Ｆ４０８は、撮像装置４０８ａからの出力画像信号をデジタル化する機能を備えていてもよい。
【０１１９】
ここで、図１，図６，図９，図１０，図１２にそれぞれ示した画像処理装置内の各機能ブロックの処理は、例えば、上記コンピュータ４００のＣＰＵ４０１が所定のプログラムを実行することで実現される。また、これらの画像処理装置内の少なくとも一部の機能ブロックの処理は、例えば、グラフィック処理装置４０４などの専用の回路によって実現されてもよい。
【０１２０】
このように、上記の各実施の形態における画像処理装置の処理機能は、コンピュータによって実現することができる。その場合、各画像処理装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ／ＲＷなどがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）などがある。
【０１２１】
プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【０１２２】
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【０１２３】
以上の各実施の形態に関し、さらに以下の付記を開示する。
（付記１） 第１の３次元物体の一部が除去されることによって前記第１の３次元物体が複数の部位に分割された第２の３次元物体の表面形状を示す第１の画像を出力する画像出力部と、
前記画像出力部から出力された前記第１の画像を半透明状態で第２の画像に合成する画像合成部と、
を有することを特徴とする画像処理装置。
【０１２４】
（付記２） 前記第１の３次元物体から除去される領域の切断面は、前記第１の３次元物体の形状データが定義された３次元座標空間における所定の平面に沿うことを特徴とする付記１記載の画像処理装置。
【０１２５】
（付記３） 前記第２の３次元物体の表面は、前記第１の３次元物体の形状データが定義された３次元座標空間における所定の基準平面に平行な複数の分割面に沿って、前記第１の３次元物体の表面がストライプ状に除去された形状をなすことを特徴とする付記２記載の画像処理装置。
【０１２６】
（付記４） 前記基準平面は、前記画像合成部での合成処理時に前記第２の３次元物体が射影される３次元座標空間における水平面と一致することを特徴とする付記３記載の画像処理装置。
【０１２７】
（付記５） 前記画像出力部は、前記画像合成部から出力される画像における前記第２の３次元物体の見え方を決定するパラメータに基づいて、前記第２の３次元物体において前記第１の３次元物体から除去された領域の数を決定することを特徴とする付記３または４記載の画像処理装置。
【０１２８】
（付記６） 前記画像出力部は、前記画像合成部から出力される画像に現れる前記第１の画像の大きさを決定するパラメータに基づいて、前記第２の３次元物体において前記第１の３次元物体から除去された領域の数を決定することを特徴とする付記５記載の画像処理装置。
【０１２９】
（付記７） 前記第２の３次元物体は、前記第１の３次元物体の複数箇所が除去されることによって前記複数の部位に分割されたものであることを特徴とする付記１〜４のいずれか１つに記載の画像処理装置。
【０１３０】
（付記８） 前記画像出力部は、前記第１の３次元物体の表面形状を定義した形状データを基に、前記第２の３次元物体の形状データを算出し、算出した形状データを基に前記第１の画像を出力することを特徴とする付記１〜７のいずれか１つに記載の画像処理装置。
【０１３１】
（付記９） 前記第２の３次元物体の表面形状を示す形状データは、記憶装置にあらかじめ記憶され、
前記画像出力部は、前記記憶装置から読み出した形状データを基に前記第１の画像を出力することを特徴とする付記１〜７のいずれか１つに記載の画像処理装置。
【０１３２】
（付記１０） 第１の３次元物体の一部が除去されることによって前記第１の３次元物体が複数の部位に分割された第２の３次元物体の表面形状を示す第１の画像を出力する画像出力部と、
前記画像出力部から出力された前記第１の画像を半透明状態で第２の画像に合成する画像合成部と、
を有する画像処理装置と、
前記画像合成部によって合成された画像を表示する表示装置と、
を有することを特徴とする画像表示システム。
【０１３３】
（付記１１） 画像を撮像し、撮像画像を前記画像処理装置に入力する撮像装置をさらに有し、
前記第２の画像は、前記撮像画像に基づく画像である、
ことを特徴とする付記１０記載の画像表示システム。
【０１３４】
（付記１２） コンピュータに、
第１の３次元物体の一部が除去されることによって前記第１の３次元物体が複数の部位に分割された第２の３次元物体の表面形状を示す第１の画像を、第２の画像に対して半透明状態で合成する、
処理を実行させることを特徴とする画像処理プログラム。
【符号の説明】
【０１３５】
１ 画像処理装置
２ 画像出力部
３ 画像合成部
１１，１２ 物体
１１ａ，１１ｂ 平板
１２ａ〜１２ｃ 部位
１３ 背景画像
１３ａ 背景物体
１４ 合成画像
２０ 基準平面
２１〜２４ 分割面
【技術分野】
【０００１】
本発明は、画像処理装置、画像表示システムおよび画像処理プログラムに関する。
【背景技術】
【０００２】
入力された静止画像あるいは動画像に対して、３次元物体のＣＧ（Computer Graphics）画像を合成して描画する技術が知られている。例えば、車両の周囲を撮影した画像を、車両の後方などの任意の視点から見た俯瞰画像に変換するとともに、俯瞰画像上に同じ視点から見た車両のＣＧ画像を合成する「全周囲立体モニタシステム」と呼ばれる技術がある。また、入力画像にＣＧ画像を合成する際に、ＣＧ画像に透過処理を施す技術もある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−５０５４１号公報
【非特許文献】
【０００４】
【非特許文献１】清水誠也，外２名、「全周囲立体モニタシステム」、雑誌ＦＵＪＩＴＳＵ、富士通株式会社、２００９年９月、ＶＯＬ．６０，ＮＯ．５、ｐ．４９６−５０１
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のように合成するＣＧ画像に透過処理を施すことで、ＣＧ画像とともに、このＣＧ画像と重複する背景の画像も視認できるようになる。しかしながら、透過処理されたＣＧ画像と重複する背景の画像の色値や濃淡値は、元の色値や濃淡値から変化してしまうため、ＣＧ画像との重複領域における背景の画像の視認性は必ずしも良好とは言えなかった。
【０００６】
本発明はこのような課題に鑑みてなされたものであり、合成する画像と重複する背景の画像の視認性を向上させることが可能な画像処理装置、画像表示システムおよび画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、画像出力部と、画像合成部とを有する画像処理装置が提供される。画像出力部は、第１の３次元物体の一部が除去されることによって第１の３次元物体が複数の部位に分割された第２の３次元物体の表面形状を示す第１の画像を出力する。画像合成部は、画像出力部から出力された第１の画像を半透明状態で第２の画像に合成する。
【０００８】
また、上記課題を解決するために、上記の画像処理装置を含む画像表示システムが提供される。
さらに、上記課題を解決するために、上記の画像処理装置と同様の処理をコンピュータに実行させる画像処理プログラムが提供される。
【発明の効果】
【０００９】
上記の画像処理装置、画像表示システムおよび画像処理プログラムによれば、第２の画像と重複する背景の画像の視認性が向上する。
【図面の簡単な説明】
【００１０】
【図１】第１の実施の形態に係る画像処理装置の構成例およびその動作を示す図である。
【図２】図２は、３次元物体および画像の例を示す図である。
【図３】第１の３次元物体を分割せずに合成する場合の処理を示す図である。
【図４】第１の３次元物体を分割する処理の一例を示す図である。
【図５】３次元物体の形状についての認識のしやすさについて説明する図である。
【図６】第２の実施の形態に係る画像表示システムの構成例を示す図である。
【図７】分割パラメータの例を示す図である。
【図８】第２の実施の形態に係る画像処理装置の処理を示すフローチャートである。
【図９】第３の実施の形態に係る画像表示システムの構成例を示す図である。
【図１０】第４の実施の形態に係る画像表示システムの構成例を示す図である。
【図１１】第４の実施の形態に係る画像処理装置の処理を示すフローチャートである。
【図１２】第５の実施の形態に係る画像表示システムの構成例を示す図である。
【図１３】第５の実施の形態に係る画像処理装置の処理を示すフローチャートである。
【図１４】コンピュータのハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１１】
以下、実施の形態について図面を参照して説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態に係る画像処理装置の構成例およびその動作を示す図である。図１に示す画像処理装置１は、画像出力部２と画像合成部３とを備える。
【００１２】
画像出力部２は、第１の３次元物体を変形することで得られた第２の３次元物体の表面形状を示す画像を、画像合成部３に対して出力する。第１の３次元物体は、少なくともその表面形状が、３次元形状データによって定義されたものである。そして、第２の３次元物体は、第１の３次元物体の一部が除去されることにより、第１の３次元物体が複数の部位に分割されたものである。
【００１３】
なお、画像出力部２は、例えば、第１の３次元物体の形状データを基に、第２の３次元物体の形状データを算出することで、第２の３次元物体の表面形状を示す画像を出力してもよい。あるいは、画像出力部２は、あらかじめ記憶部（図示せず）に用意しておいた第２の３次元物体の形状データを基に、第２の３次元物体の表面形状を示す画像を出力してもよい。
【００１４】
また、画像出力部２が出力する画像は、第１または第２の３次元物体の形状データがどのように定義されているかに関係なく、第２の３次元物体の表面形状のみが現れた画像とされる。例えば、第１の３次元物体が立方体などの外部に対して閉じた立体物であったとしても、画像出力部２からの出力画像には、その立体物を外側から見たときに認識できる外面の形状のみが現れ、その立体物の内部の状態は現れない。
【００１５】
画像合成部３は、画像出力部２から出力された画像を他の画像に対して半透明状態で合成し、合成画像を出力する。他の画像とは、例えば、画像出力部２から出力された画像の背景となる背景画像である。
【００１６】
図２は、３次元物体および画像の例を示す図である。
図２に示す物体１１，１２は、それぞれ上記の第１の３次元物体および第２の３次元物体の例である。物体１１は、方向が互いに異なる２つの平板１１ａ，１１ｂが組み合わされた形状をなす。物体１２は、物体１１の２カ所が除去されることで３つの部位１２ａ，１２ｂ，１２ｃに分割された形状をなす。
【００１７】
一方、背景画像１３は、画像合成部３において物体１２の表面形状を示す画像（以下、「表面画像」と称する）と合成される画像の例である。背景画像１３には、背景物体１３ａが描画されている。
【００１８】
合成画像１４は、画像合成部３によって、背景画像１３に対して物体１２の表面画像が半透明状態で合成された画像である。合成画像１４では、物体１２の表面画像と背景画像１３とが半透明状態で合成されることにより、物体１２の部位１２ａ〜１２ｃの各表面画像と背景物体１３ａとの重複領域において、物体１２の部位１２ａ〜１２ｃと背景物体１３ａの両方の形状を視認できる。これに加えて、合成画像１４では、物体１２の部位１２ａと部位１２ｂと間、および部位１２ｂと部位１２ｃとの間がそれぞれ離間し、これらの離間領域において、背景物体１３ａを含む背景画像１３が、透過処理が施されることなく直接的に描画される。
【００１９】
なお、画像合成部３は、物体１２の表面画像を背景画像１３と合成する際に、物体１２の表面を構成する要素同士が重複する領域についても透過処理を施す。例えば、物体１２の表面のうち、平板１１ａに対応する手前側の面と、平板１１ｂに対応する奥側の面とが重複する領域では、手前側の面と奥側の面とが半透明状態で合成される。ただし、このような透過処理は、物体１２の表面画像を画像合成部３に入力する前に、画像出力部２が行ってもよい。
【００２０】
ここで、図３は、第１の３次元物体を分割せずに合成する場合の処理を示す図である。
物体１１を複数の部位に分割しない状態のまま、背景画像１３に対して半透明状態で合成した場合、図３に示す合成画像１５が生成される。合成画像１５では、例えば、物体１１と背景画像１３上の背景物体１３ａとの重複領域では、物体１１だけでなく背景物体１３ａの形状も視認できる。しかしながら、この重複領域では、透過処理により、背景物体１３ａの色値や濃淡値は、背景物体１３ａの元の色値や濃淡値とは異なるものとなる。このため、合成する物体同士の明るさ、色、形状などの組合せによっては、背景の物体が視認しにくい場合がある。
【００２１】
これに対して、図２の合成画像１４では、物体１２の部位１２ａと部位１２ｂとの間、および部位１２ｂと部位１２ｃとの間がそれぞれ離間する。また、物体１２は、物体１１が複数の部位に分割された形状をなすので、物体１２の表面のうち、手前側の面だけでなく奥側の面にも、部位と部位とが離間した領域が存在することが多くなる。このため、これらの離間領域では、背景画像１３が物体１２の表面と重複せずに露出した状態になる可能性が高い。
【００２２】
離間領域において背景画像１３が物体１２の表面と重複しない状態であれば、背景画像１３は、元の色値や濃淡値が変化することなくそのまま描画される。従って、図３の合成画像１５と比較して、図２の合成画像１４の方が、背景画像１３の状態の視認性が高くなり、背景画像１３に含まれる背景物体１３ａなどの物体の形状や色などをより正確に認識できるようになる。
【００２３】
なお、第１の３次元物体から除去する領域の数、すなわち、第１の３次元物体を分割して生成された第２の３次元物体の部位の数は、１つより複数個とされる方が、第２の３次元物体における部位の間の離間領域が広くなり、背景の物体の視認性が向上する。ただし、第１の３次元物体から除去する領域の数が多いほど、あるいは、その除去領域が大きいほど、必ずしも背景の物体の視認性が向上するとは言えない。第１の３次元物体から除去する領域の数や大きさは、第１の３次元物体の形状や、第２の３次元物体を画像合成部３にて合成する際の大きさなどに応じて、適切に設定されることが望ましい。
【００２４】
ところで、上記の画像処理装置１における処理では、第１の３次元物体の一部を除去して得られる第２の３次元物体を合成して描画することで、第１の３次元物体から除去された領域の境界の形状を基に、第１の３次元物体の表面形状を認識しやすくなるという効果も生じる。このような効果は、第１の３次元物体から除去する領域の切断面を、この第１の３次元物体の形状データが定義された３次元座標空間における所定の平面に沿うようにすることで、より顕著になる。第１の３次元物体を平面に沿って切断して分割した場合、例えば、図２の物体１１のように表面が平板状であれば、除去された境界は直線となる一方、表面が曲面であれば、除去された境界は曲線となる。従って、第１の３次元物体の形状を認識しやすくなる。
【００２５】
さらに、図２の物体１１を物体１２のように分割する場合のように、第１の３次元物体を互いに平行な複数の平面に沿って分割することで、第１の３次元物体の形状をより正確に認識できるようになる。
【００２６】
図４は、第１の３次元物体を分割する処理の一例を示す図である。
第１の３次元物体を互いに平行な平面に沿って分割する処理では、まず、第１の３次元物体の形状データが定義された３次元座標空間における任意の基準平面が選択される。そして、この基準平面２０に平行な複数の分割面に沿って第１の３次元物体が切断され、互いに隣接する２つの分割面に挟まれたストライプ状の領域が除去される。
【００２７】
図４では、図２に示した物体１１が、基準平面２０に平行な分割面２１〜２４に沿って分割される際の例を示す。図４中の物体１１に表された一点鎖線は、分割面２１〜２４によって切断される際の切断線を示す。物体１１から、分割面２１と分割面２２との間のストライプ状の領域、および、分割面２３と分割面２４との間のストライプ状の領域をそれぞれ除去することで、図２の物体１２が得られる。
【００２８】
図５は、３次元物体の形状についての認識のしやすさについて説明する図である。
図５では、図４に示した分割面２１〜２４によって切断された切断線を、物体１２上に太線によって示す。物体１１を平面に沿って分割することで、例えば、元の物体１１の表面のうちの平滑な面において切断線が現れるようになり、この切断線によって元の物体１１の表面形状を把握しやすくなる。
【００２９】
特に、物体１２のように、物体１１を互いに平行な複数の平面に沿って切断し、隣接する平面間のストライプ状の領域を除去した場合には、元の物体１１の表面が平面であれば、ストライプ状領域の両端の切断線は平行な直線となる。そして、このように元の物体１１の表面が平面である場合を基準として切断線を観察することで、元の物体１１の表面形状を容易に把握できる。
【００３０】
また、分割面２１〜２４の基準となる基準平面２０は、合成画像１４において物体１２が存在する仮想的な３次元座標空間における水平面（地平面に水平な面）であることが望ましい。ここで言う仮想的な３次元座標空間とは、例えば、物体１２の合成対象である背景画像１３が仮想的なカメラによって撮像されたものと考えたときに、その仮想カメラが撮像する仮想的な３次元座標空間を指す。そして、物体１２の画像が背景画像１３に合成される際には、物体１２がこの仮想的な３次元座標空間に射影されることになる。
【００３１】
人間が物体を認識するときには、自分が立っている地面に対して水平な面を基準として考えた方が、物体の形状を認識しやすい。従って、基準平面２０を上記の仮想的な３次元座標空間における水平面とすることで、元の物体１１の表面形状を認識しやすくなる。
【００３２】
さらに、元の物体１１から複数のストライプ状領域を除去することで、物体１２の表面に現れる切断線の数が増加するので、物体１２上の各切断線の形状から元の物体１１の表面形状をより正確に把握できるようになる。
【００３３】
なお、以上の第１の実施の形態では、第１の３次元物体を１つの基準平面に平行な分割面に沿って分割することで第２の３次元物体を生成したが、他の例として、第１の３次元物体を複数の基準平面にそれぞれ平行な分割面に沿って分割するようにしてもよい。例えば、第１の３次元物体をある基準平面に平行な複数の分割面に沿って分割し、分割後の３次元物体をさらに他の基準平面に平行な複数の分割面に沿って分割することで、第２の３次元物体を生成してもよい。
【００３４】
〔第２の実施の形態〕
図６は、第２の実施の形態に係る画像表示システムの構成例を示す図である。図６に示す画像表示システムは、撮像装置１１０、画像処理装置２００および表示装置１２０を備える。
【００３５】
撮像装置１１０は、ＣＣＤ（Charge Coupled Devices）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの撮像素子を用いて画像を撮像し、撮像した画像をアナログ信号として画像処理装置２００に出力する。画像処理装置２００は、撮像装置１１０によって撮像された画像に対して、仮想的な３次元物体の画像を合成する。表示装置１２０は、画像処理装置２００によって合成処理された画像を表示する。表示装置１２０は、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（EelectroLuminescence）ディスプレイなどである。なお、画像処理装置２００と表示装置１２０とは、一体化されていてもよい。
【００３６】
画像処理装置２００は、画像入力部２１０、画像合成部２２０、分割処理部２３０、データ変換部２４０および画像出力部２５０を備える。なお、画像合成部２２０は、第１の実施の形態における画像合成部３に対応し、分割処理部２３０およびデータ変換部２４０は、第１の実施の形態における画像出力部２に対応する。
【００３７】
さらに、画像処理装置２００は、記憶部２６０を備える。記憶部２６０は、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）などの不揮発性記憶媒体である。記憶部２６０には、形状データＤＢ（データベース）２６１、分割パラメータ２６２、カメラパラメータ２６３、物体表示パラメータ２６４および合成パラメータ２６５が記憶されている。
【００３８】
画像入力部２１０は、撮像装置１１０から出力されたアナログ画像信号をデジタル化し、画像合成部２２０に出力する。
合成パラメータ２６５には、データ変換部２４０からの出力データに基づく３次元物体の画像を画像合成部２２０で合成するための各種パラメータが設定される。合成パラメータ２６５は、例えば、３次元物体の表示色および透過率を含む。なお、合成パラメータ２６５に含まれる少なくとも一部のパラメータは、ユーザの設定操作などに応じて任意に設定可能であってもよい。
【００３９】
画像合成部２２０は、データ変換部２４０からの出力データに基づく３次元物体の表面に、合成パラメータ２６５内の表示色を適用し、この３次元物体の画像を、画像入力部２１０からの出力画像に対して、合成パラメータ２６５内の透過率に基づいて半透明状態で合成する。
【００４０】
形状データＤＢ２６１には、３次元物体の表面の３次元形状を定義した形状データが登録される。形状データＤＢ２６１内の形状データに基づく３次元物体は、第１の実施の形態における第１の３次元物体に対応する。形状データＤＢ２６１内の形状データは、例えば、所定の基準座標を基準として各頂点の３次元座標が定義された多角形パッチの集合である。あるいは、例えば、３次元物体が直方体などの単純な幾何学形状である場合には、形状データは３次元物体の各辺の長さであってもよい。
【００４１】
分割パラメータ２６２は、分割処理部２３０において３次元物体をどのように分割するかを決定するパラメータである。後述するように、分割パラメータ２６２は、例えば、所定の基準平面を基準とした、基準平面の法線方向に対する位置パラメータである。なお、分割パラメータ２６２は、ユーザによる設定操作などに応じて任意に設定可能であってもよい。
【００４２】
分割処理部２３０は、形状データＤＢ２６１内の形状データに基づく３次元物体を、分割パラメータ２６２に基づいて複数の部位に分割し、分割した３次元物体の形状データをデータ変換部２４０に出力する。なお、分割処理部２３０で分割された３次元物体は、第１の実施の形態における第２の３次元物体に対応する。
【００４３】
本実施の形態では、分割処理部２３０は、形状データＤＢ２６１内の形状データに基づく３次元物体から、互いに平行な複数の分割面に沿った複数のストライプ領域を除去することで、元の３次元物体を分割する。この分割処理は、図２に示した物体１１を物体１２のように分割する処理に対応する。以下、分割処理部２３０によって分割処理された３次元物体を「ストライプ状物体」と呼ぶ。分割処理部２３０は、形状データＤＢ２６１内の形状データと分割パラメータ２６２とを基に、ストライプ状物体の形状データを演算し、形状データの演算結果をデータ変換部２４０に出力する。
【００４４】
カメラパラメータ２６３は、ストライプ状物体を仮想的な３次元座標空間に射影する際の仮想的なカメラのパラメータである。カメラパラメータ２６３は、例えば、仮想カメラの焦点距離、視点位置および視線方向などのパラメータを含む。
【００４５】
物体表示パラメータ２６４は、ストライプ状物体を合成画像上にどのように表示させるかを決定するパラメータである。物体表示パラメータ２６４は、例えば、ストライプ状物体を上記の仮想的な３次元座標空間に射影する際のストライプ状物体の位置および回転方向などのパラメータを含む。
【００４６】
なお、カメラパラメータ２６３および物体表示パラメータ２６４に含まれる少なくとも一部のパラメータは、ユーザの設定操作などに応じて任意に設定可能であってもよい。
データ変換部２４０は、分割処理部２３０から出力された、ストライプ状物体の形状データを、カメラパラメータ２６３および物体表示パラメータ２６４に基づいて変換する。このデータ変換部２４０での変換処理により、ストライプ状物体を定義した多角形パッチの各頂点の３次元座標が、画像入力部２１０からの出力画像が定義された２次元座標空間における座標に変換される。
【００４７】
画像出力部２５０は、画像合成部２２０から出力された合成画像のデジタルデータを、表示用の画像信号に変換して表示装置１２０に出力し、合成画像を表示装置１２０に表示させる。
【００４８】
次に、分割処理部２３０の処理例について説明する。
分割処理部２３０は、形状データＤＢ２６１内の形状データに基づく３次元物体を、形状データが定義された３次元座標空間上に任意に設定した基準平面に平行な複数の分割面に沿って分割する。基準平面は、例えば、形状データが定義された３次元座標空間における２軸方向に沿った平面とされる。分割処理部２３０は、３次元物体から、隣接する分割面に挟まれたストライプ状の領域を除去することで、ストライプ状物体を生成する。
【００４９】
基準平面における任意の１点の３次元座標をＰＢとし、基準平面の法線方向を示すベクトルをｎとすると、座標ＰＢの点を通り法線方向に沿った３次元直線上の位置Ｌは、媒介変数ｔを用いて次の式（１）で表される。
Ｌ＝ｎ＊ｔ＋ＰＢ ・・・（１）
式（１）のｔは、基準平面の法線方向に対する基準平面からのオフセット量を示す位置パラメータである。そして、分割面のそれぞれについての位置パラメータは、式（１）のｔの値として与えられる。すなわち、ｔの値が決定されれば、着目する分割面の３次元座標上の位置が確定される。分割面は、式（１）で与えられる３次元座標の点を通り、法線方向（ベクトルｎの方向）に沿った平面となる。このような分割面は、次の式（２）のような平面式で与えられる。なお、式（２）において、ｎTはベクトルｎの転置行列を示す。
ｎT＊（ｘ−Ｌ）＝０ ・・・（２）
記憶部２６０には、分割パラメータ２６２の例として、分割面のそれぞれについての式（１）におけるｔの値が設定される。例えば、形状データＤＢ２６１内の形状データに基づく３次元物体をｍ個（ただし、ｍは２以上の偶数）の分割面に沿って分割する場合、分割パラメータ２６２は、ｔ１，ｔ２，・・・，ｔｍというｍ個の位置パラメータを含む。
【００５０】
分割処理部２３０は、分割パラメータ２６２に含まれる各分割面に対応する位置パラメータを式（２）に代入することで、各分割面の式を求める。分割処理部２３０は、形状データＤＢ２６１内の形状データに基づく３次元物体から、奇数番の分割面とその次の偶数番の分割面とに挟まれる領域を除去することで得られるストライプ状物体の形状データを、形状データＤＢ２６１内の形状データと各分割面の式とを基に演算する。
【００５１】
図７は、分割パラメータの例を示す図である。
図７に示す物体面３０１は、形状データＤＢ２６１内の形状データに基づく３次元物体の表面を、基準平面に平行な方向から見たものである。また、図７では、形状データＤＢ２６１内の形状データに基づく３次元物体を、基準平面にそれぞれ平行な６つの分割面３１１〜３１６によって分割する場合の例を示す。この場合、分割パラメータ２６２として、分割面３１１〜３１６にそれぞれ対応する位置パラメータｔ１〜ｔ６が、記憶部２６０に設定される。そして、物体面３０１のうち、分割面３１１と分割面３１２との間の領域、分割面３１３と分割面３１４との間の領域、分割面３１５と分割面３１６との間の領域をそれぞれ除去することで、４つのストライプ状物体面３０２ａ〜３０２ｄを有するように分割されたストライプ状物体が得られる。
【００５２】
次に、データ変換部２４０の処理例について説明する。
カメラパラメータ２６３には、焦点距離ｆｃ、視点位置Ｐｃおよび視線方向Ｎｃが設定され、物体表示パラメータ２６４には、ストライプ状物体についての物体位置Ｐｍおよび回転方向Ｒｍが設定されるものとする。ストライプ状物体の表面を構成する多角形パッチの各頂点の３次元座標をｑ＿ｉ（ただし、ｉは多角形パッチの頂点を識別する添え字）とすると、多角形パッチの各頂点は、次の式（３）を用いて仮想的な３次元座標空間に射影される。なお、式（３）において、ｒ＿ｉは、仮想的な３次元座標空間におけるｑ＿ｉの射影位置の座標を示す。
ｒ＿ｉ＝Ｒｍ＊ｑ＿ｉ＋Ｐｍ ・・・（３）
式（３）に基づいて射影されたストライプ状物体を、焦点距離ｆｃで撮像位置の中心を視点位置Ｐｃに置いた仮想カメラで観測したときの仮想撮像画像での２次元空間に射影する。仮想撮像画像での２次元位置は、仮想カメラのレンズのモデルにもよるが、ここでは、通常のレンズに相当する透視射影によるカメラを仮定した場合の例を示す。仮想撮像画像での座標ｓ＿ｉは、次の式（４）および式（５）で求められる。
ｓ＿ｉ（ｘ）＝ｆｃ＿ｘ＊ｒ＿ｉ（ｘ）／ｒ＿ｉ（ｚ） ・・・（４）
ｓ＿ｉ（ｙ）＝ｆｃ＿ｙ＊ｒ＿ｉ（ｙ）／ｒ＿ｉ（ｚ） ・・・（５）
ただし、ｓ＿ｉ（ｘ），ｓ＿ｉ（ｙ）は、それぞれ座標ｓ＿ｉのｘ座標およびｙ座標を示し、ｆｃ＿ｘ，ｆｃ＿ｙは、それぞれ焦点距離ｆｃのｘ成分およびｙ成分を示し、ｒ＿ｉ（ｘ），ｒ＿ｉ（ｙ），ｒ＿ｉ（ｚ）は、それぞれ座標ｒ＿ｉのｘ座標、ｙ座標、ｚ座標を示す。
【００５３】
データ変換部２４０は、カメラパラメータ２６３内の焦点距離ｆｃ、視点位置Ｐｃおよび視線方向Ｎｃと、物体表示パラメータ２６４内の物体位置Ｐｍおよび回転方向Ｒｍとに基づき、式（４）および式（５）に従って、ストライプ状物体を定義する多角形パッチの各頂点の座標を変換し、変換後の各頂点の座標を画像合成部２２０に出力する。上記の式（４）および式（５）を用いた座標変換により、多角形パッチの各頂点が、仮想撮像画像上の２次元座標に変換される。
【００５４】
なお、以上の図６および図７の説明では、カメラパラメータ２６３および物体表示パラメータ２６４は、記憶部２６０にあらかじめ設定されているものとしたが、これらのパラメータを、画像処理装置２００の内部あるいは外部における何らかの処理と連動させて変化させてもよい。例えば、画像入力部２１０に、１つまたは複数の撮像装置からの撮像画像を基に、任意の視点位置に設置した仮想カメラから３次元空間を撮影した画像を生成する機能を持たせる。この場合、仮想カメラについての視点位置および視線方向を、上記の視点位置Ｐｃおよび視線方向Ｎｃとしてデータ変換部２４０での変換処理に使用することができる。
【００５５】
次に、画像処理装置２００での処理についてフローチャートを用いて説明する。図８は、第２の実施の形態に係る画像処理装置の処理を示すフローチャートである。この図８のフローチャートは、１フレーム分の合成画像が出力される際の処理を示す。
【００５６】
［ステップＳ１１］分割処理部２３０は、記憶部２６０に設定された分割パラメータ２６２に含まれる、各分割面に対応する位置パラメータを、上記の式（２）に代入する。これにより、分割処理部２３０は、各分割面の式を求める。
【００５７】
［ステップＳ１２］分割処理部２３０は、形状データＤＢ２６１内の形状データに基づく３次元物体から、ステップＳ１１で求めた分割面のうち、奇数番の分割面とその次の偶数番の分割面とに挟まれる領域を除去することで、ストライプ状物体の形状データを算出する。分割処理部２３０は、例えば、算出したストライプ状物体の形状データを、画像処理装置２００が備えるＲＡＭ（図示せず）に一時的に記録する。
【００５８】
［ステップＳ１３］データ変換部２４０は、ステップＳ１２で算出されたストライプ状物体の形状データから、ストライプ状物体の表面形状を定義した１つの多角形パッチの形状データ（多角形パッチの頂点の座標）を選択する。
【００５９】
［ステップＳ１４］データ変換部２４０は、記憶部２６０に設定されたカメラパラメータ２６３および物体表示パラメータ２６４に基づき、ステップＳ１３で選択した多角形パッチの各頂点の３次元座標を、上記の式（４）および式（５）に従って、仮想撮像画像での２次元座標に変換する。データ変換部２４０は、得られた各頂点の２次元座標を、画像処理装置２００が備えるＲＡＭに一時的に記憶する。
【００６０】
［ステップＳ１５］データ変換部２４０は、ステップＳ１２で算出されたストライプ状物体の形状データに含まれるすべての多角形パッチのデータを選択したかを判定する。データ変換部２４０は、未選択の多角形パッチのデータがある場合には、ステップＳ１３に戻り、未選択の多角形パッチのデータから１つの多角形パッチのデータを選択する。
【００６１】
一方、すべての多角形パッチのデータが選択済みである場合、ストライプ状物体の表面画像のデータが、各多角形パッチの２次元座標の集合として生成されたことになる。データ変換部２４０は、すべての多角形パッチのデータが選択済みの場合には、ステップＳ１６の処理を実行する。
【００６２】
［ステップＳ１６］画像合成部２２０は、記憶部２６０に設定された合成パラメータ２６５から、ストライプ状物体の表示色と透過率とを抽出する。画像合成部２２０は、ストライプ状物体の画像を、画像入力部２１０からの出力画像に対して、合成パラメータ２６５から抽出した透過率に基づいて半透明状態で合成する。
【００６３】
具体的には、画像合成部２２０は、ステップＳ１４で変換した各多角形パッチの２次元座標に基づき、合成パラメータ２６５から抽出した表示色を、各多角形パッチに含まれる各画素の画素値として適用する。画像合成部２２０は、各多角形パッチの画素値と、画像入力部２１０からの出力画像の画素値とを、合成パラメータ２６５から抽出した透過率を適用した所定のブレンディング方法によって合成する。
【００６４】
なお、多角形パッチ同士が重複する領域では、重複する多角形パッチ間でも透過処理が施される。例えば、画像合成部２２０は、複数の多角形パッチ同士が重複する領域において、各多角形パッチの画素値を半透明状態で合成処理することで、ストライプ状物体の画像データを生成する。その後、画像合成部２２０は、生成されたストライプ状物体の画像データと、画像入力部２１０からの出力画像のデータとを、半透明状態で合成処理する。
【００６５】
なお、以上の図８の処理例では、ストライプ状物体の表面の色は、合成パラメータ２６５内の表示色で決定されるただ１つの色とされた。この場合、合成パラメータ２６５に設定する表示色を変更することで、ストライプ状物体の全体の色を変更することが可能である。ただし、他の例として、ストライプ状物体の表面の色を、形状データＤＢ２６１にあらかじめ登録しておいてもよい。この場合、例えば、形状データＤＢ２６１に登録された多角形パッチのそれぞれの形状データに対して色情報が個別に付加されることで、ストライプ状物体の表面の色を場所によって異なる色にすることができる。
【００６６】
以上説明した第２の実施の形態では、元の３次元物体をストライプ状物体に変形し、そのストライプ状物体を画像入力部２１０からの出力画像に半透明状態で合成した。これにより、ストライプ状物体の画像と重複する背景画像の状態の視認性が向上するとともに、元の３次元物体の表面形状も把握しやすくなる。
【００６７】
〔第３の実施の形態〕
図９は、第３の実施の形態に係る画像表示システムの構成例を示す図である。なお、図９では、図６に対応する構成要素には同じ符号を付して示す。
【００６８】
第３の実施の形態に係る画像表示システムは、図６に示した第２の実施の形態での画像処理装置２００を、図９の画像処理装置２００ａのような構成に変形したものである。画像処理装置２００ａは、図６に示した分割処理部２３０を備えない。その代わり、画像処理装置２００ａのデータ変換部２４０は、ストライプ状物体の形状データを、記憶部２６０に記憶された形状データＤＢ２６１ａから読み込む。形状データＤＢ２６１ａには、図６の形状データＤＢ２６１に登録された形状データを、図６の分割処理部２３０によって変換したものと同様の形状データが登録される。
【００６９】
以上の第３の実施の形態では、第２の実施の形態で得られる効果に加え、ストライプ状物体の形状データを算出するための演算負荷が軽減され、画像処理装置２００ａの回路規模を小さくし、消費電力を低減できるという効果も得られる。
【００７０】
〔第４の実施の形態〕
図１０は、第４の実施の形態に係る画像表示システムの構成例を示す図である。なお、図１０では、図６に対応する構成要素には同じ符号を付して示す。
【００７１】
第４の実施の形態に係る画像表示システムは、図６に示した第２の実施の形態での画像処理装置２００を、図１０の画像処理装置２００ｂのような構成に変形したものである。画像処理装置２００ｂは、形状データＤＢ２６１内の形状データに基づく３次元物体をストライプ状物体に変形する際の変形の仕方を、ストライプ状物体の合成の仕方を決定するパラメータに応じて変化させることが可能になっている。
【００７２】
画像処理装置２００ｂは、図６に示した画像入力部２１０、画像合成部２２０、分割処理部２３０、データ変換部２４０および画像出力部２５０に加え、パラメータ設定部２７０および分割パラメータ出力部２８０を備える。また、画像処理装置２００ｂが備える記憶部２６０には、図６に示した形状データＤＢ２６１に加え、分割パラメータテーブル２６６があらかじめ記憶される。
【００７３】
パラメータ設定部２７０には、入力デバイス２７１が接続されている。パラメータ設定部２７０は、入力デバイス２７１に対するユーザの入力操作に応じたパラメータを出力する。パラメータ設定部２７０から出力されるパラメータは、図６に示したカメラパラメータ２６３、物体表示パラメータ２６４および合成パラメータ２６５にそれぞれ含まれるパラメータである。
【００７４】
パラメータ設定部２７０は、入力デバイス２７１への入力操作に応じて出力するパラメータのうち、カメラパラメータおよび物体表示パラメータを分割パラメータ出力部２８０およびデータ変換部２４０に出力し、合成パラメータを画像合成部２２０に出力する。なお、これらのパラメータのうちの一部が、入力デバイス２７１への入力操作に応じてパラメータ設定部２７０から出力され、その他のパラメータが記憶部２６０にあらかじめ記憶されていてもよい。
【００７５】
分割パラメータ出力部２８０は、パラメータ設定部２７０から出力されるカメラパラメータおよび物体表示パラメータに応じた分割パラメータを、分割処理部２３０に出力する。分割パラメータは、第２の実施の形態で説明したように、複数の分割面のそれぞれについての基準平面からの位置を示すパラメータである。
【００７６】
なお、パラメータ設定部２７０は、出力すべきパラメータの指示を、入力デバイス２７１の代わりに、画像処理装置２００ｂの内部あるいは外部に設けられた処理機能から受け付けてもよい。例えば、画像入力部２１０に、１つまたは複数の撮像装置からの撮像画像を基に、任意の視点位置に設置した仮想カメラから３次元空間を撮影した画像を生成する機能を持たせる。この場合、パラメータ設定部２７０は、仮想カメラについての視点位置および視線方向を画像入力部２１０から受け付けて、分割パラメータ出力部２８０に出力してもよい。
【００７７】
分割パラメータ出力部２８０は、パラメータ設定部２７０から出力されるカメラパラメータおよび物体表示パラメータに応じて、仮想カメラからのストライプ状物体の見え方が適切になるように、元の３次元物体をストライプ状に分割する分割の仕方を調整する。本実施の形態では、例として、分割パラメータ出力部２８０は、画像入力部２１０からの出力画像に対して合成するストライプ状物体の大きさに応じて、元の３次元物体からストライプ状に除去する領域の数を調整する。
【００７８】
例えば、仮想カメラの焦点距離を短くしたとき（すなわち、広角で撮像したとき）には、合成画像上にストライプ状物体が小さく映るので、ストライプ状に除去する領域の数を小さくして、分割されたそれぞれの部位がある程度の大きさを保つようにする。一方、仮想カメラの焦点距離を長くしたとき（すなわち、望遠で撮像したとき）には、合成画像上にストライプ状物体が大きく映るので、ストライプ状に除去する領域の数を大きくする。
【００７９】
なお、本実施の形態では例として、分割パラメータ出力部２８０は、分割パラメータテーブル２６６を参照して分割パラメータを出力する。分割パラメータテーブル２６６には、元の３次元物体を分割する分割数と分割パラメータとが対応付けて登録されている。
【００８０】
以下、分割パラメータ出力部２８０の処理の例について説明する。
パラメータ設定部２７０が出力するカメラパラメータを、焦点距離ｆｃ、視点位置Ｐｃおよび視線方向Ｎｃとし、パラメータ設定部２７０が出力する物体表示パラメータを、物体位置Ｐｍおよび回転方向Ｒｍとする。このとき、仮想カメラからストライプ状物体までの距離を視線方向Ｎｃに投射したときの長さ（距離Ｗ）は、次の式（６）で表される。なお、式（６）において、ＮｃTは、視線方向Ｎｃの転置行列を示す。
Ｗ＝ＮｃT（Ｐｍ−Ｐｃ）／｜Ｎｃ｜ ・・・（６）
仮想カメラによって撮像された仮想撮像画像においてストライプ状物体が映る大きさＥは、幾何学的な関係より、次の式（７）で表される。なお、式（７）において、定数Ｅ０には代表的な大きさが設定されればよい。
Ｅ＝Ｅ０＊ｆｃ／Ｗ ・・・（７）
式（７）より、大きさＥは、焦点距離ｆｃに比例し、距離Ｗに反比例することがわかるので、以下、焦点距離ｆｃおよび距離Ｗを用いた演算式を利用する。ストライプ状物体が撮像画像上で基準となる所定の大きさで映るときの分割パラメータを、Ｔ＿１，Ｔ＿２，・・・Ｔ＿ｍ（ただし、ｍは分割面の数であり、２以上の偶数）として、次の式（８）のようにｔ＿ｋを定義する。
ｔ＿ｋ＝Ｔ＿ｋ＊Ｇ＊Ｗ／ｆｃ ・・・（８）
式（８）において、Ｇは、基準距離および基準焦点距離での分割面の数をＴ＿ｋと同じにするための定数である。このとき、使用する分割パラメータの最大数ｃを、次の式（９）のように定める。
【００８１】
【数１】
【００８２】
式（９）は、Ｔ＿ｍを超えない最大のｔ＿ｋを与える添え字（ｋ）をｃとすることを意味する。式（８）および式（９）に従って分割パラメータの数（すなわち、分割面の数）を決定することで、仮想撮像画像におけるストライプ状物体の見かけの大きさが小さいほど分割面の数が少なくなり、大きさが大きいほど分割面の数が多くなるように調整される。より具体的には、焦点距離ｆｃが小さいほど、また距離Ｗが大きいほど、分割面の数が少なくなる。
【００８３】
図１１は、第４の実施の形態に係る画像処理装置の処理を示すフローチャートである。この図１１のフローチャートは、１フレーム分の合成画像が出力される際の処理を示す。なお、図１１では、図８と同じ処理が行われる処理ステップには同じ符号を付して示す。
【００８４】
［ステップＳ３１］入力デバイス２７１に対する入力操作により、カメラパラメータ、物体表示パラメータおよび合成パラメータが設定される。パラメータ設定部２７０は、入力デバイス２７１に対する入力操作に応じて、各パラメータを出力する。なお、出力された各パラメータは、例えば、画像処理装置２００ｂが備えるＲＡＭ（図示せず）に一時的に記憶される。
【００８５】
［ステップＳ３２］分割パラメータ出力部２８０は、パラメータ設定部２７０が出力したパラメータを用いて、式（６）の演算を行う。分割パラメータ出力部２８０は、算出された距離Ｗを式（８）に代入するとともに、式（８）に対して、パラメータ設定部２７０から出力された焦点距離ｆｃと、定数Ｇとを代入する。分割パラメータ出力部２８０は、式（８）を用いて、式（９）の条件に合致する分割パラメータ数（式（９）のｃ）を算出する。
【００８６】
［ステップＳ３３］分割パラメータ出力部２８０は、算出した分割パラメータ数を基に、分割パラメータテーブル２６６を参照して、複数の分割面のそれぞれについての基準平面からの位置を示す分割パラメータを出力する。
【００８７】
分割パラメータテーブル２６６には、分割パラメータ数と、複数の分割面のそれぞれについての分割パラメータを含む分割パラメータ群とが対応付けて登録されている。分割パラメータ出力部２８０は、分割パラメータテーブル２６６から、ステップＳ３２で算出した分割パラメータ数に対応付けられた分割パラメータ群を読み出し、データ変換部２４０に出力する。
【００８８】
なお、分割パラメータ出力部２８０は、ステップＳ３２で算出した分割パラメータ数を基に、複数の分割面のそれぞれについての分割パラメータを計算によって求めてもよい。例えば、分割パラメータ出力部２８０は、基準平面の放線方向に対する長さの基準値を、ステップＳ３２で算出した分割パラメータ数の分だけ均等に分割することで、各分割面の位置を示す分割パラメータを算出してもよい。
【００８９】
上記のいずれの処理でも、合成画像におけるストライプ状物体の大きさが小さくなった場合でも、元の３次元物体から除去される領域間の間隔が小さくなり過ぎなくなり、合成画像において元の３次元物体の表面形状を把握しやすくなる。
【００９０】
この後、図８に示したステップＳ１１〜Ｓ１６の処理が実行される。ただし、ステップＳ１４において、データ変換部２４０は、カメラパラメータおよび物体表示パラメータをパラメータ設定部２７０から取得する。また、ステップＳ１６において、画像合成部２２０は、合成パラメータをパラメータ設定部２７０から取得する。
【００９１】
以上説明した第４の実施の形態では、合成画像におけるストライプ状物体の大きさに応じて、ストライプ状物体を生成する際に元の３次元物体から除去する領域の数を変化させた。これにより、合成画像に映るストライプ状物体が小さくなった場合でも、除去された領域が細かくなり過ぎなくなり、元の３次元物体の表面形状を把握しやすくなる。
【００９２】
〔第５の実施の形態〕
図１２は、第５の実施の形態に係る画像表示システムの構成例を示す図である。なお、図１２では、図１０に対応する構成要素には同じ符号を付して示す。
【００９３】
第５の実施の形態に係る画像表示システムは、図１０に示した第４の実施の形態での画像処理装置２００ｂを、図１２の画像処理装置２００ｃのような構成に変形したものである。画像処理装置２００ｃは、図１０に示した分割処理部２３０および分割パラメータ出力部２８０を備えない代わりに、形状データ選択部２９０を備える。また、記憶部２６０には、形状データＤＢ２６１ｃが記憶されている。形状データＤＢ２６１ｃは、元の３次元物体をそれぞれ異なる分割パラメータを用いて分割した複数のストライプ状物体についての形状データを含む。
【００９４】
形状データ選択部２９０は、パラメータ設定部２７０から出力される各種パラメータに応じて、形状データＤＢ２６１ｃから、パラメータに対応するストライプ状物体の形状データを選択して読み込み、読み込んだ形状データをデータ変換部２４０に出力する。本実施の形態では、形状データ選択部２９０は、カメラパラメータのうちの焦点距離に基づき、合成画像にストライプ状物体が小さく映るほど、より少ない部位に分割されたストライプ状物体の形状データを形状データＤＢ２６１ｃから選択する。これにより、第４の実施の形態と同様に、ストライプ状物体が小さく映った場合でも、元の３次元物体の表面形状を把握しやすくする。
【００９５】
ここで、形状データＤＢ２６１ｃに記憶される形状データの例について詳しく説明する。
形状データＤＢ２６１ｃには、元の３次元物体をそれぞれ異なる分割パラメータを用いて分割して得られたＮＢ個のストライプ状物体のそれぞれについての形状データが登録される。一方、第４の実施の形態の説明と同様に、パラメータ設定部２７０が出力するカメラパラメータを、焦点距離ｆｃ、視点位置Ｐｃおよび視線方向Ｎｃとし、パラメータ設定部２７０が出力する物体表示パラメータを、物体位置Ｐｍおよび回転方向Ｒｍとする。このとき、仮想カメラからストライプ状物体までの距離を視線方向Ｎｃに投射したときの距離Ｗは、前述の式（６）で表される。
【００９６】
ここで、ストライプ状物体までの仮想的な距離Ｗと焦点距離ｆｃのそれぞれがとり得る範囲をあらかじめ定めておくものとする。距離Ｗの最小値、最大値をそれぞれＷ＿ｍｉｎ，Ｗ＿ｍａｘとし、焦点距離ｆｃの最小値、最大値をそれぞれｆｃ＿ｍｉｎ，ｆｃ＿ｍａｘとする。距離Ｗを上記範囲で一定間隔ごとにＮｗ個に区切った距離群のリストＷＬを、下記の式（１０）で定義し、焦点距離ｆｃを上記範囲で一定間隔ごとにＮｆ個に区切った焦点距離群のリストｆＬを、下記の式（１１）で定義する。
ＷＬ＝｛Ｗ＿１，Ｗ＿２，・・・，Ｗ＿Ｎｗ｝（ただし、Ｗ１＝Ｗ＿ｍｉｎ，Ｗ＿Ｎｗ＝Ｗ＿ｍａｘ） ・・・（１０）
ｆＬ＝｛ｆｃ＿１，ｆｃ＿２，・・・，ｆｃ＿Ｎｆ｝（ただし、ｆｃ＿１＝ｆｃ＿ｍｉｎ，ｆｃ＿Ｎｆ＝ｆｃ＿ｍａｘ） ・・・（１１）
距離群のリストＷＬ内の要素と焦点距離群のリストｆＬ内の要素とのすべての組合せを、次の式（１２）に示す組合せリストＰＬで定義する。
ＰＬ＝｛（Ｗ＿１，ｆｃ＿１），（Ｗ＿１，ｆｃ＿２），・・・，（Ｗ＿１，ｆｃ＿Ｎｆ），（Ｗ＿２，ｆｃ＿１），（Ｗ＿２，ｆｃ＿２），・・・，（Ｗ＿２，ｆｃ＿Ｎｆ），・・・・・・，（Ｗ＿Ｎｗ，ｆｃ＿１），（Ｗ＿Ｎｗ，ｆｃ＿２），・・・，（Ｗ＿Ｎｗ，ｆｃ＿Ｎｆ）｝ ・・・（１２）
このとき、組合せリストＰＬ内の要素数は（Ｎｗ＊Ｎｆ）個となり、この個数が上記のＮＢに相当する。組合せリストＰＬの先頭要素から順に１を起点とした整数番号を振り、ｉ番目の要素を（Ｗ＿ｕ，ｆｃ＿ｖ）とするとき（ただし、ｕ，ｖはそれぞれ要素番号）、ｉは次の式（１３）で表される。また、式（１３）を基に、ｕ，ｖはそれぞれ式（１４）、式（１５）で表される。なお、式（１４）のＦ１は切り捨てを表し、式（１５）のＦ２は剰余を表す。
ｉ＝ｕ＊Ｎｗ＋ｖ ・・・（１３）
ｕ＝Ｆ１（ｉ／Ｎｗ） ・・・（１４）
ｖ＝Ｆ２（ｉ／Ｎｗ） ・・・（１５）
形状データＤＢ２６１ｃには、上記の組合せリストＰＬが登録される。
【００９７】
次に、仮想カメラによって撮像される仮想撮像画像においてストライプ状物体が映る大きさＥは、前述の式（７）より、焦点距離ｆｃに比例し、距離Ｗに反比例する。このことから、ストライプ状物体が撮像画像上で基準となる所定の大きさで映るときの分割パラメータを、Ｔ＿１，Ｔ＿２，・・・Ｔ＿ｍ（ただし、ｍは分割面の数であり、２以上の偶数）として、前述の式（８）のようにｔ＿ｋを定義する。
【００９８】
組合せリストＰＬのｉ番目の要素（Ｗ＿ｕ，ｆｃ＿ｖ）について、式（８）の定義に従い、分割パラメータは次の式（１６）のように定義される。
ｔ＿ｋi＝Ｔ＿ｋ＊Ｇ＊Ｗ＿ｕ／ｆｃ＿ｖ ・・・（１６）
このとき、組合せリストＰＬのｉ番目の要素（Ｗ＿ｕ，ｆｃ＿ｖ）についての分割パラメータの最大数ｃ＿ｉを、次の式（１７）のように定める。
【００９９】
【数２】
【０１００】
式（１７）は、Ｔ＿ｍを超えない最大のｔ＿ｋiを与える添え字（ｋ）をｃ＿ｉとすることを意味する。
式（１６）および式（１７）より、組合せリストＰＬのｉ番目の要素（Ｗ＿ｕ，ｆｃ＿ｖ）についての分割パラメータの集合ｔＬiを、次の式（１８）のように定義する。
ｔＬi＝｛ｔ＿１i，ｔ＿２i，・・・，ｔ＿ｃ＿ｉi｝ ・・・（１８）
集合ｔＬiは、組合せリストＰＬのｉ番目の要素のそれぞれについて定義される。集合ｔＬiを用いて、前述の式（２）より各分割パラメータに対応する分割面が求められる。そして、求められた分割面に沿って、元の３次元物体をストライプ状に分割することで、ｉ番目の要素のそれぞれに対応するストライプ状物体の形状データＨiが求められる。形状データＨiは、例えば、ストライプ状物体の表面形状を構成する多角形パッチの頂点座標を含む。
【０１０１】
組合せリストＰＬの要素にそれぞれ対応するストライプ状物体の形状データの集合ＨＬを、次の式（１９）によって定義する。形状データＤＢ２６１ａには、組合せリストＰＬとともに、形状データの集合ＨＬも登録される。
ＨＬ＝｛Ｈ1，Ｈ2，・・・，ＨNB｝ ・・・（１９）
図１３は、第５の実施の形態に係る画像処理装置の処理を示すフローチャートである。この図１３のフローチャートは、１フレーム分の合成画像が出力される際の処理を示す。なお、図１３では、図８と同じ処理が行われる処理ステップには同じ符号を付して示す。
【０１０２】
［ステップＳ５１］入力デバイス２７１に対する入力操作により、カメラパラメータ、物体表示パラメータおよび合成パラメータが設定される。パラメータ設定部２７０は、入力デバイス２７１に対する入力操作に応じて、各パラメータを出力する。なお、出力された各パラメータは、例えば、画像処理装置２００ｂが備えるＲＡＭ（図示せず）に一時的に記憶される。
【０１０３】
［ステップＳ５２］形状データ選択部２９０は、パラメータ設定部２７０から出力されたカメラパラメータおよび物体表示パラメータを用いて、前述の式（６）を演算し、距離Ｗを算出する。
【０１０４】
［ステップＳ５３］形状データ選択部２９０は、形状データＤＢ２６１ｃに登録された組合せリストＰＬから、パラメータ設定部２７０から出力された焦点距離ｆｃと、ステップＳ５２で算出した距離Ｗとにそれぞれ最も近い値が設定された要素を検索し、その要素番号ｉを認識する。
【０１０５】
［ステップＳ５４］形状データ選択部２９０は、形状データＤＢ２６１ｃに登録された形状データの集合ＨＬから、ステップＳ５３で認識した要素番号ｉに対応するストライプ状物体の形状データを読み出す。形状データ選択部２９０は、読み出したストライプ状物体の形状データを、例えば、画像処理装置２００ｂが備えるＲＡＭに一時的に記憶される。
【０１０６】
この後、図８に示したステップＳ１３〜Ｓ１６の処理が実行される。ただし、ステップＳ１３において、データ変換部２４０は、カメラパラメータおよび物体表示パラメータをパラメータ設定部２７０から取得するとともに、ステップＳ５４で形状データ選択部２９０が形状データＤＢ２６１ｃから読み出した形状データを用いて、変換処理を行う。また、ステップＳ１６において、画像合成部２２０は、合成パラメータをパラメータ設定部２７０から取得する。
【０１０７】
以上説明した第５の実施の形態では、第４の実施の形態と同様に、合成画像に映るストライプ状物体が小さくなった場合でも、除去された領域が細かくなり過ぎなくなり、元の３次元物体の表面形状を把握しやすくなる。さらに、第５の実施の形態では、それぞれ異なる分割パラメータを用いて元の３次元物体から変形された複数のストライプ状物体のそれぞれの形状データが、形状データＤＢ２６１ｃにあらかじめ登録される。このため、設定されるカメラパラメータごとにストライプ状物体の形状データを演算する必要がなくなり、第４の実施の形態と比較して、画像処理装置での演算負荷が軽減される。
【０１０８】
なお、上記各実施の形態における画像処理装置あるいは画像表示システムは、例えば、全周囲立体モニタシステム（非特許文献１を参照）に適用することができる。全周囲立体モニタシステムは、車両の周囲を撮影した画像を、車両の後方などの任意の視点から見た俯瞰画像に変換するとともに、俯瞰画像上に同じ視点から見た車両の仮想画像を合成することで、運転者の運転操作を補助するものである。
【０１０９】
上記各実施の形態における画像処理装置の処理を、俯瞰画像上に車両の仮想画像を合成する処理に適用することにより、例えば、俯瞰画像に存在する物体のうち、車両の仮想画像によって隠れてしまう物体を、合成画像上で視認できるようになり、車両の周囲の障害物を運転者が認識しやすくなる。さらに、車両の仮想画像の表面形状を運転者が認識しやすくなり、車両の周囲の障害物と車両との位置関係を運転者がより正確に把握できるようになる。
【０１１０】
なお、上記の各実施の形態における画像処理装置の処理は、例えば、次の図１４のようなハードウェア構成のコンピュータにおいて実現することもできる。
図１４は、コンピュータのハードウェア構成例を示す図である。
【０１１１】
図１４に示すコンピュータ４００は、ＣＰＵ（Central Processing Unit）４０１によって装置全体が制御されている。ＣＰＵ４０１には、バス４０９を介して、ＲＡＭ４０２と複数の周辺機器が接続されている。
【０１１２】
ＲＡＭ４０２は、コンピュータ４００の主記憶装置として使用される。ＲＡＭ４０２には、ＣＰＵ４０１に実行させるＯＳ（Operating System）プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ４０２には、ＣＰＵ４０１による処理に必要な各種データが格納される。
【０１１３】
バス４０９に接続されている周辺機器としては、ＨＤＤ４０３、グラフィック処理装置４０４、入力Ｉ／Ｆ（インタフェース）４０５、光学ドライブ装置４０６、ネットワークＩ／Ｆ４０７および通信Ｉ／Ｆ４０８がある。
【０１１４】
ＨＤＤ４０３は、内蔵した磁気ディスクに対して、磁気的にデータの書き込みおよび読み出しを行う。ＨＤＤ４０３は、コンピュータ４００の二次記憶装置として使用される。ＨＤＤ４０３には、ＯＳプログラム、アプリケーションプログラム、および各種データが格納される。なお、二次記憶装置としては、フラッシュメモリなどの半導体記憶装置を使用することもできる。
【０１１５】
グラフィック処理装置４０４には、モニタ４０４ａが接続されている。グラフィック処理装置４０４は、ＣＰＵ４０１からの命令に従って、画像をモニタ４０４ａに表示させる。なお、モニタ４０４ａは、例えば、ＬＣＤである。また、モニタ４０４ａは、コンピュータ４００の本体と一体化されていてもよい。
【０１１６】
入力Ｉ／Ｆ４０５には、キーボード４０５ａおよびマウス４０５ｂが接続されている。入力Ｉ／Ｆ４０５は、キーボード４０５ａやマウス４０５ｂからの出力信号をＣＰＵ４０１に送信する。なお、マウス４０５ｂは、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。また、キーボード４０５ａなどの入力デバイスは、コンピュータ４００の本体と一体化されていてもよい。
【０１１７】
光学ドライブ装置４０６は、レーザ光などを利用して、光ディスク４０６ａに記録されたデータの読み取りを行う。光ディスク４０６ａは、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク４０６ａには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（Rewritable）などがある。
【０１１８】
ネットワークＩ／Ｆ４０７は、ネットワーク４０７ａに接続されている。ネットワークＩ／Ｆ４０７は、ネットワーク４０７ａを介して他の機器との間でデータを送受信する。
通信Ｉ／Ｆ４０８には、撮像装置４０８ａが接続されている。通信Ｉ／Ｆ４０８は、撮像装置４０８ａから出力された画像信号を、ＣＰＵ４０１に対して出力する。なお、撮像装置４０８ａからの出力画像信号がアナログ信号である場合、通信Ｉ／Ｆ４０８は、撮像装置４０８ａからの出力画像信号をデジタル化する機能を備えていてもよい。
【０１１９】
ここで、図１，図６，図９，図１０，図１２にそれぞれ示した画像処理装置内の各機能ブロックの処理は、例えば、上記コンピュータ４００のＣＰＵ４０１が所定のプログラムを実行することで実現される。また、これらの画像処理装置内の少なくとも一部の機能ブロックの処理は、例えば、グラフィック処理装置４０４などの専用の回路によって実現されてもよい。
【０１２０】
このように、上記の各実施の形態における画像処理装置の処理機能は、コンピュータによって実現することができる。その場合、各画像処理装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ／ＲＷなどがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）などがある。
【０１２１】
プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【０１２２】
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【０１２３】
以上の各実施の形態に関し、さらに以下の付記を開示する。
（付記１） 第１の３次元物体の一部が除去されることによって前記第１の３次元物体が複数の部位に分割された第２の３次元物体の表面形状を示す第１の画像を出力する画像出力部と、
前記画像出力部から出力された前記第１の画像を半透明状態で第２の画像に合成する画像合成部と、
を有することを特徴とする画像処理装置。
【０１２４】
（付記２） 前記第１の３次元物体から除去される領域の切断面は、前記第１の３次元物体の形状データが定義された３次元座標空間における所定の平面に沿うことを特徴とする付記１記載の画像処理装置。
【０１２５】
（付記３） 前記第２の３次元物体の表面は、前記第１の３次元物体の形状データが定義された３次元座標空間における所定の基準平面に平行な複数の分割面に沿って、前記第１の３次元物体の表面がストライプ状に除去された形状をなすことを特徴とする付記２記載の画像処理装置。
【０１２６】
（付記４） 前記基準平面は、前記画像合成部での合成処理時に前記第２の３次元物体が射影される３次元座標空間における水平面と一致することを特徴とする付記３記載の画像処理装置。
【０１２７】
（付記５） 前記画像出力部は、前記画像合成部から出力される画像における前記第２の３次元物体の見え方を決定するパラメータに基づいて、前記第２の３次元物体において前記第１の３次元物体から除去された領域の数を決定することを特徴とする付記３または４記載の画像処理装置。
【０１２８】
（付記６） 前記画像出力部は、前記画像合成部から出力される画像に現れる前記第１の画像の大きさを決定するパラメータに基づいて、前記第２の３次元物体において前記第１の３次元物体から除去された領域の数を決定することを特徴とする付記５記載の画像処理装置。
【０１２９】
（付記７） 前記第２の３次元物体は、前記第１の３次元物体の複数箇所が除去されることによって前記複数の部位に分割されたものであることを特徴とする付記１〜４のいずれか１つに記載の画像処理装置。
【０１３０】
（付記８） 前記画像出力部は、前記第１の３次元物体の表面形状を定義した形状データを基に、前記第２の３次元物体の形状データを算出し、算出した形状データを基に前記第１の画像を出力することを特徴とする付記１〜７のいずれか１つに記載の画像処理装置。
【０１３１】
（付記９） 前記第２の３次元物体の表面形状を示す形状データは、記憶装置にあらかじめ記憶され、
前記画像出力部は、前記記憶装置から読み出した形状データを基に前記第１の画像を出力することを特徴とする付記１〜７のいずれか１つに記載の画像処理装置。
【０１３２】
（付記１０） 第１の３次元物体の一部が除去されることによって前記第１の３次元物体が複数の部位に分割された第２の３次元物体の表面形状を示す第１の画像を出力する画像出力部と、
前記画像出力部から出力された前記第１の画像を半透明状態で第２の画像に合成する画像合成部と、
を有する画像処理装置と、
前記画像合成部によって合成された画像を表示する表示装置と、
を有することを特徴とする画像表示システム。
【０１３３】
（付記１１） 画像を撮像し、撮像画像を前記画像処理装置に入力する撮像装置をさらに有し、
前記第２の画像は、前記撮像画像に基づく画像である、
ことを特徴とする付記１０記載の画像表示システム。
【０１３４】
（付記１２） コンピュータに、
第１の３次元物体の一部が除去されることによって前記第１の３次元物体が複数の部位に分割された第２の３次元物体の表面形状を示す第１の画像を、第２の画像に対して半透明状態で合成する、
処理を実行させることを特徴とする画像処理プログラム。
【符号の説明】
【０１３５】
１ 画像処理装置
２ 画像出力部
３ 画像合成部
１１，１２ 物体
１１ａ，１１ｂ 平板
１２ａ〜１２ｃ 部位
１３ 背景画像
１３ａ 背景物体
１４ 合成画像
２０ 基準平面
２１〜２４ 分割面
【特許請求の範囲】
【請求項１】
第１の３次元物体の一部が除去されることによって前記第１の３次元物体が複数の部位に分割された第２の３次元物体の表面形状を示す第１の画像を出力する画像出力部と、
前記画像出力部から出力された前記第１の画像を半透明状態で第２の画像に合成する画像合成部と、
を有することを特徴とする画像処理装置。
【請求項２】
前記第１の３次元物体から除去される領域の切断面は、前記第１の３次元物体の形状データが定義された３次元座標空間における所定の平面に沿うことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第２の３次元物体の表面は、前記第１の３次元物体の形状データが定義された３次元座標空間における所定の基準平面に平行な複数の分割面に沿って、前記第１の３次元物体の表面がストライプ状に除去された形状をなすことを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記画像出力部は、前記画像合成部から出力される画像における前記第２の３次元物体の見え方を決定するパラメータに基づいて、前記第２の３次元物体において前記第１の３次元物体から除去された領域の数を決定することを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記画像出力部は、前記画像合成部から出力される画像に現れる前記第１の画像の大きさを決定するパラメータに基づいて、前記第２の３次元物体において前記第１の３次元物体から除去された領域の数を決定することを特徴とする請求項４記載の画像処理装置。
【請求項６】
第１の３次元物体の一部が除去されることによって前記第１の３次元物体が複数の部位に分割された第２の３次元物体の表面形状を示す第１の画像を出力する画像出力部と、
前記画像出力部から出力された前記第１の画像を半透明状態で第２の画像に合成する画像合成部と、
を有する画像処理装置と、
前記画像合成部によって合成された画像を表示する表示装置と、
を有することを特徴とする画像表示システム。
【請求項７】
画像を撮像し、撮像画像を前記画像処理装置に入力する撮像装置をさらに有し、
前記第２の画像は、前記撮像画像に基づく画像である、
ことを特徴とする請求項６記載の画像表示システム。
【請求項８】
コンピュータに、
第１の３次元物体の一部が除去されることによって前記第１の３次元物体が複数の部位に分割された第２の３次元物体の表面形状を示す第１の画像を、第２の画像に対して半透明状態で合成する、
処理を実行させることを特徴とする画像処理プログラム。
【請求項１】
第１の３次元物体の一部が除去されることによって前記第１の３次元物体が複数の部位に分割された第２の３次元物体の表面形状を示す第１の画像を出力する画像出力部と、
前記画像出力部から出力された前記第１の画像を半透明状態で第２の画像に合成する画像合成部と、
を有することを特徴とする画像処理装置。
【請求項２】
前記第１の３次元物体から除去される領域の切断面は、前記第１の３次元物体の形状データが定義された３次元座標空間における所定の平面に沿うことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第２の３次元物体の表面は、前記第１の３次元物体の形状データが定義された３次元座標空間における所定の基準平面に平行な複数の分割面に沿って、前記第１の３次元物体の表面がストライプ状に除去された形状をなすことを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記画像出力部は、前記画像合成部から出力される画像における前記第２の３次元物体の見え方を決定するパラメータに基づいて、前記第２の３次元物体において前記第１の３次元物体から除去された領域の数を決定することを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記画像出力部は、前記画像合成部から出力される画像に現れる前記第１の画像の大きさを決定するパラメータに基づいて、前記第２の３次元物体において前記第１の３次元物体から除去された領域の数を決定することを特徴とする請求項４記載の画像処理装置。
【請求項６】
第１の３次元物体の一部が除去されることによって前記第１の３次元物体が複数の部位に分割された第２の３次元物体の表面形状を示す第１の画像を出力する画像出力部と、
前記画像出力部から出力された前記第１の画像を半透明状態で第２の画像に合成する画像合成部と、
を有する画像処理装置と、
前記画像合成部によって合成された画像を表示する表示装置と、
を有することを特徴とする画像表示システム。
【請求項７】
画像を撮像し、撮像画像を前記画像処理装置に入力する撮像装置をさらに有し、
前記第２の画像は、前記撮像画像に基づく画像である、
ことを特徴とする請求項６記載の画像表示システム。
【請求項８】
コンピュータに、
第１の３次元物体の一部が除去されることによって前記第１の３次元物体が複数の部位に分割された第２の３次元物体の表面形状を示す第１の画像を、第２の画像に対して半透明状態で合成する、
処理を実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−１１８９１０（Ｐ２０１２−１１８９１０Ａ）
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願番号】特願２０１０−２７０１８２（Ｐ２０１０−２７０１８２）
【出願日】平成２２年１２月３日（２０１０．１２．３）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願日】平成２２年１２月３日（２０１０．１２．３）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]