三次元画像の作成方法および装置
【課題】多数のオブジェクト画像からなる三次元画像をより容易に作成できかつより自然な三次元画像を作成すること。
【解決手段】基本画像に含まれる複数のオブジェクト画像を構成要素とする三次元画像の作成方法であって、複数のオブジェクト画像についてそれぞれの奥行き方向の位置を濃淡によって示す濃淡画像を作成し、基本画像に示される濃淡のそれぞれのレベルに対応した画素群によってそれぞれの画像レイヤを形成し、それぞれの画像レイヤを、その濃淡のレベルに応じた視差が得られるように移動させて三次元画像を形成する。
【解決手段】基本画像に含まれる複数のオブジェクト画像を構成要素とする三次元画像の作成方法であって、複数のオブジェクト画像についてそれぞれの奥行き方向の位置を濃淡によって示す濃淡画像を作成し、基本画像に示される濃淡のそれぞれのレベルに対応した画素群によってそれぞれの画像レイヤを形成し、それぞれの画像レイヤを、その濃淡のレベルに応じた視差が得られるように移動させて三次元画像を形成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のオブジェクト画像を構成要素とする三次元画像の作成方法および装置に関する。
【背景技術】
【０００２】
従来より、三次元画像（立体画像）は種々の方法で作成されている。伝統的には、風景または人物などの被写体に対して、カメラを水平方向に一定の距離ずつ移動させながら複数回の撮影を行い、これによって複数枚の一連の画像を作成する。これらの画像を用いて、各画像と印画材料との平行方向位置を一定距離ずつ異ならせて露光し現像することによって立体写真が得られる。
【０００３】
また、複数のカメラを線型に配列して１回の撮影によって複数枚の画像を同時に得ることのできる特殊なカメラも用いられている。しかし、特殊なカメラを用いた場合は、カメラ間のピッチを可変することができないため、立体効果が得られる範囲が狭い。また、被写体の存在する場所で撮影する必要があるため多くの時間と労力とを要する。
【０００４】
そこで、複数個の平面的な画材であるオブジェクト画像を用い、これら各オブジェクト画像を移動させてそれらの相互位置の互いに異なる合成画像を作成し、作成した合成画像とレンチキュラースクリーンとを用いて三次元画像を作成することが提案されている（特許文献１）。これによって、被写体の種類に関係なく、平面的な画像から任意に三次元画像を作成することができる。また、これを改良してより自然な三次元画像を作成する方法も提案されている（特許文献２）。
【特許文献１】特開平２−２９３７３３
【特許文献２】特開平８−１４７４９５
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上に述べた特許文献１および２の方法による場合に、オブジェクト画像を移動させる際にどの程度移動させれば所望の立体感が得られるかについて、作成者の勘と経験によってその場で決められていた。
【０００６】
したがって、オブジェクト画像が２〜３個程度の簡単な三次元画像であれば余り問題はないが、オブジェクト画像の個数が多くなった場合には極めて多くの時間と労力を要し、しかも自然な満足のいく三次元画像を得ることが困難であった。
【０００７】
本発明は、上述の問題に鑑みてなされたもので、多数のオブジェクト画像からなる三次元画像をより容易に作成できかつより自然な三次元画像を作成することの可能な方法および装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る方法は、基本画像に含まれる複数のオブジェクト画像を構成要素とする三次元画像の作成方法であって、前記複数のオブジェクト画像についてそれぞれの奥行き方向の位置を濃淡によって示す濃淡画像を作成し、前記基本画像に示される濃淡のそれぞれのレベルに対応した画素群によってそれぞれの画像レイヤを形成し、それぞれの画像レイヤを、その濃淡のレベルに応じた視差が得られるように移動させて三次元画像を形成する。
【０００９】
また、前記複数のオブジェクト画像についてそれぞれの奥行き方向の位置を濃淡によって示す濃淡画像を作成してこれを奥行き指定画像とする第１ステップと、前記奥行き指定画像に示される濃淡のそれぞれのレベルに対応した画素群によって構成され当該画素群の本来の画像が表示された画像レイヤをそれぞれ形成する第２ステップと、それぞれの画像レイヤをそれぞれの濃淡のレベルに応じた視差が得られるように移動させて合成することによって複数の有視差画像を取得する第３ステップと、前記複数の有視差画像を合成して三次元画像を形成する第４ステップと、を有する。
【００１０】
好ましくは、前記第３ステップにおいて、１つのオブジェクト画像が複数の画像レイヤにわたっている場合に、その複数の画像レイヤにわたるオブジェクト画像の形状が維持されるように補間修正を行って前記有視差画像を取得する。
【００１１】
また、前記第４ステップにおいて、複数の有視差画像を、レンチキュラーレンズを介して観察される圧縮画像として配置することにより合成する。
【００１２】
また、前記第４ステップにおいて、複数の有視差画像を、ステレオ眼鏡を介し右眼または左眼で観察される画像として描画することにより合成する。
【００１３】
また、前記第４ステップにおいて、複数の有視差画像を、グリッドバリアを介し右眼または左眼で観察される画像として描画することにより合成する。
【００１４】
また、複数のオブジェクト画像を含む基本画像について、前記基本画像を構成する各画素の奥行き方向の位置を濃淡によって示す濃淡画像を作成し、前記基本画像に示される濃淡のそれぞれのレベルに対応した画素を抽出し、それぞれのレベルに対応した画素群からなる画像レイヤを形成し、それぞれの画像レイヤを、その濃淡のレベルに応じた視差が得られるように移動させて三次元画像を形成する。
【００１５】
本発明に係る装置は、基本画像に含まれる複数のオブジェクト画像を構成要素とする三次元画像の作成装置であって、前記複数のオブジェクト画像についてそれぞれの奥行き方向の位置を濃淡によって示す濃淡画像を作成する手段と、前記基本画像に示される濃淡のそれぞれのレベルに対応した画素群によってそれぞれの画像レイヤを形成する手段と、それぞれの画像レイヤを、その濃淡のレベルに応じた視差が得られるように移動させて三次元画像を形成する手段と、を有する。
【発明を実施するための最良の形態】
【００１６】
図１は基本画像ＫＧ１の例を示す図、図２は基本画像ＫＧ１に含まれる各オブジェクト画像ＪＧ１〜３の奥行き方向の位置を示す図、図３は奥行き方向の位置と濃淡レベルＮＬと移動量ＭＬとの関係を示す図、図４はオブジェクト画像ＪＧ１〜３についての濃淡画像ＮＧ１の例を示す図、図５は画像レイヤＧＬ１〜３を示す図、図６は画像レイヤＧＬ１〜３を空間的に配置した状態を示す図、図７は各画像レイヤＧＬ１〜３の移動量ＭＬを示す図である。
【００１７】
図１において、基本画像ＫＧ１は３つのオブジェクト画像ＪＧ１〜３を含んでいる。つまり、正方形のオブジェクト画像ＪＧ１、円形のオブジェクト画像ＪＧ２、三角形のオブジェクト画像ＪＧ３の３つから基本画像ＫＧ１が構成されている。
【００１８】
以下において、この基本画像ＫＧ１から三次元画像ＤＧを作成する方法について説明する。
【００１９】
まず、これら３つのオブジェクト画像ＪＧ１〜３について、それぞれの奥行き方向の位置を決める。奥行き方向の位置は、基本画像ＫＧを三次元画像ＤＧとして見たときにの奥行き方向において見える位置である。通常、奥行き方向の位置は、無限の遠方から最接近位置までの間にある。しかし、任意の有限の２つの距離の間とすることも可能である。
【００２０】
いずれにしても、奥行き方向の位置の最も遠方の位置から最も接近した位置までの距離範囲を、階調レベルＫＬで表現する。例えば、２５６階調のレベルで表現し、奥行き方向の位置を０〜２５５の階調レベルＫＬのどこかに割り当てる。この場合に、「０」の階調レベルＫＬは最も遠方の位置であり、「２５５」の階調レベルＫＬは最も接近した位置である。
【００２１】
また、奥行き方向の位置を視覚的に表すために、０〜２５５の階調レベルＫＬが濃淡レベル（グレースケール）ＮＬであるとし、オブジェクト画像ＪＧ１〜３に割り当てられた奥行き方向の位置をその濃淡レベルＮＬによる濃淡画像として表現する。つまり、三次元画像ＤＧの作成に当たって、それぞれのオブジェクト画像ＪＧの奥行きをグレースケールで表現する。
【００２２】
図２に示す例では、オブジェクト画像ＪＧ１〜３には、それぞれ、「５１」「１５３」「２３０」の階調レベルＫＬが割り当てられている。つまり、３つのオブジェクト画像ＪＧのうち、オブジェクト画像ＪＧ１は最も遠く、オブジェクト画像ＪＧ３は最も近く、オブジェクト画像ＪＧ２はその中間である。
【００２３】
しかも、それぞれのオブジェクト画像ＪＧ１〜３は、それぞれの全体が同じ階調レベルＫＬであり、したがってそれ自体には奥行きを持たない。
【００２４】
図３に示すように、階調レベルＫＬと濃淡レベルＮＬ（グレースケールＧＳ）とは対応しており、また、０〜２５５の階調レベルＫＬに対応して移動量ＭＬが決定される。図３において、移動量ＭＬは、それぞれの階調レベルＫＬに対応する水平方向位置における三角図形の横幅で示される。
【００２５】
図４には、図２で示される階調レベルＫＬに応じた濃淡レベルＮＬによって表現された濃淡画像ＮＧ１である。この濃淡画像ＮＧ１では、オブジェクト画像ＪＧ１は真っ黒に近い濃度で表され、オブジェクト画像ＪＧ３は真っ白に近い濃度で表され、オブジェクト画像ＪＧ２はその中間の濃度で表されている。この濃淡画像ＮＧ１は、奥行き指定画像ＹＧ１でもある。
【００２６】
つまり、奥行き指定画像ＹＧ１は、それぞれのオブジェクト画像ＪＧ１〜３の濃淡レベルＮＬがそのオブジェクト画像ＪＧの奥行き方向の位置を示している。したがって、ユーザにとっては、濃淡によって各オブジェクト画像ＪＧの奥行き方向の位置を直感的に認知することができる。すなわち、図１に示す基本画像ＫＧ１に対して、それぞれのオブジェクト画像ＪＧ１〜３に濃淡を与えることによって、それらのオブジェクト画像ＪＧ１〜３の奥行き方向の位置を指定することができる。
【００２７】
また、オブジェクト画像ＪＧの濃淡を修正することによって、奥行き方向の位置を容易に修正することができる。
【００２８】
なお、濃淡画像ＮＧ１または奥行き指定画像ＹＧ１の作成に当たって、実物をカメラで撮影し、かつ撮影位置を変えて複数の異なる位置から撮影し、得られた複数の画像から写っているオブジェクトの移動量を測定し、測定した移動量に基づいて濃淡画像ＮＧ１を作成してもよい。このようにするとより正確に奥行き方向の位置を指定することが可能である。
【００２９】
次に、奥行き指定画像ＹＧ１に基づいて、図５に示す画像レイヤＧＬ１〜３をそれぞれ形成する。つまり、画像レイヤＧＬ１〜３は、奥行き指定画像ＹＧ１に示されるそれぞれの濃淡レベルＮＬに対応した画素群によって構成され、当該画素群の本来の画像が表示されたものである。
【００３０】
すなわち、図４に示す奥行き指定画像ＹＧ１において、オブジェクト画像ＪＧ１、ＪＧ２、ＪＧ３は、それぞれ均一な濃淡レベルＮＬとなっているから、オブジェクト画像ＪＧ１、２、３をそれぞれ構成する画素群がそれぞれの画像レイヤＧＬ１〜３を構成することとなる。
【００３１】
なお、各画像レイヤＧＬ１〜３において、オブジェクト画像ＪＧ以外の部分は透明である。したがって、画像レイヤＧＬ１〜３としては、必ずしも一定のサイズの画像フレームの形となっていなくてもよく、例えばオブジェクト画像ＪＧについてその奥行き方向の位置を指定したものであってもよい。
【００３２】
さて、図５（Ａ）に示す画像レイヤＧＬ１は、基本画像ＫＧ１の中のオブジェクト画像ＪＧ１のみを含んでいる。図５（Ｂ）に示す画像レイヤＧＬ２は、基本画像ＫＧ１の中のオブジェクト画像ＪＧ２のみを含んでいる。図５（Ｃ）に示す画像レイヤＧＬ３は、基本画像ＫＧ１の中のオブジェクト画像ＪＧ３のみを含んでいる。
【００３３】
このように、奥行き指定画像ＹＧ１に基づいて、画像レイヤＧＬ１〜３を作成することができる。各オブジェクト画像ＪＧが均一な濃淡レベルＮＬからなっている場合には、オブジェクト画像ＪＧの個数に等しい数の画像レイヤＧＬが作成される。
【００３４】
これらの画像レイヤＧＬ１〜３は、それぞれ、１つの濃淡レベルＮＬの画素群からなっているので、各画像レイヤＧＬ１〜３に含まれる画素群の濃淡レベルＮＬに応じて階調レベルＫＬに対応付けることができる。
【００３５】
なお、基本画像ＫＧ、濃淡画像ＮＧ、奥行き指定画像ＹＧ、画像レイヤＧＬ、およびオブジェクト画像ＪＧなどは、デジタル画像処理によって生成し保存することができるものであり、それぞれの画像を画素または画素群から構成することができる。
【００３６】
図６において、３つの画像レイヤＧＬ１〜３が、それぞれの濃淡レベルＮＬに応じた階調レベルＫＬに配置された状態が示されている。この状態におけるオブジェクト画像ＪＧ１〜３の奥行き方向の位置は、奥行き指定画像ＹＧ１によって指定された位置に基づいている。
【００３７】
そして、このような画像レイヤＧＬ１〜３を、それぞれの濃淡レベルＮＬに応じた視差が得られるように移動させて合成し、これによって複数の有視差画像ＵＧを取得する。画像レイヤＧＬの移動は、その配置位置を移動量ＭＬだけずらせることによって行うことができる。
【００３８】
さて、濃淡レベルＮＬと移動量ＭＬとの関係が図３に示されているので、濃淡レベルＮＬから移動量ＭＬを導き出すことができる。図３においては、移動量ＭＬは、０〜ＭＬｍａｘの範囲の中にあり、その範囲内において、濃淡レベルＮＬに比例して決定される。なお、本実施形態においては、移動量ＭＬが濃淡レベルＮＬに比例しているが、単純に比例するのではなく、所定の一次関数や２次関数、その他の関数で示されるものであってもよい。
【００３９】
図７（Ａ）に示す有視差画像ＵＧ１は、図１に示す基本画像ＫＧ１と同じである。有視差画像ＵＧ１において、それぞれのオブジェクト画像ＪＧ１〜３の位置が、左端からの距離Ｌ１〜３でそれぞれ示されている。
【００４０】
図７（Ｂ）に示す有視差画像ＵＧ２は、図７（Ａ）に示す有視差画像ＵＧ１に対して、それぞれのオブジェクト画像ＪＧ１〜３の位置が、それぞれ、ａ，ｂ，ｃずつ右方へ移動している。このａ，ｂ，ｃが、各オブジェクト画像ＪＧ１〜３の移動量ＭＬである。移動量ＭＬである「ａ」「ｂ」「ｃ」の比は、オブジェクト画像ＪＧ１〜３の濃淡レベルＮＬの比に等しい。
【００４１】
このように、移動量ＭＬは、有視差画像ＵＧを作成するに当たっての、２つの有視差画像ＵＧの間におけるオブジェクト画像ＪＧの位置の水平方向の距離差である。または距離差に相当するパラメータである。移動量ＭＬの大きさによって、２つの有視差画像ＵＧをユーザが左右の眼で見たときに視差が生じ、立体感を得ることができる。移動量ＭＬが０のオブジェクト画像ＪＧは、両眼で見たときに前後方向の位置がそのオブジェクト画像ＪＧの実際の位置に見えることとなり、移動量ＭＬが正のオブジェクト画像ＪＧは実際の位置よりも飛び出し、移動量ＭＬが負のオブジェクト画像ＪＧは実際の位置よりも後退する。
【００４２】
したがって、奥行き方向の位置と移動量ＭＬとの関係は、奥行き方向の位置が近い程、移動量ＭＬを正の方向に大きくすればよいこととなる。上のように奥行き方向の中間に存在するオブジェクト画像ＪＧの移動量ＭＬを０とすれば、それより奥に存在するオブジェクト画像ＪＧは移動量ＭＬが負となり、それより手前に存在するオブジェクト画像ＪＧは移動量ＭＬが正となる。最も奥に存在するオブジェクト画像ＪＧの移動量ＭＬを０とすれば、他のオブジェクト画像ＪＧは移動量ＭＬが正となり、手前のものほど移動量ＭＬが大きくなる。
【００４３】
通常、基本画像ＫＧの中の最も重要なオブジェクト画像ＪＧをキー画像とし、キー画像を鮮明に見せるためにその移動量ＭＬを「０」とする。そして、キー画像よりも奥に配置するオブジェクト画像ＪＧの移動量ＭＬを負とし、キー画像よりも手前に配置するオブジェクト画像ＪＧの移動量ＭＬを正とする。
【００４４】
なお、有視差画像ＵＧの作成に当たって、ここでの例ではオブジェクト画像ＪＧつまり画像レイヤＧＬを移動させた。しかし、画像レイヤＧＬ１〜３を図６に示すようにその奥行き方向の位置に対応して配置しておき、これを前方からカメラで撮影するとともに、そのカメラの位置を移動して異ならせて撮影してもよい。つまり、画像レイヤＧＬ１〜３を、複数の異なる位置から撮影することによって複数の有視差画像ＵＧを取得することができ、その場合のそれぞれのカメラの撮影位置の変位量として、移動量ＭＬを用いることができる。
【００４５】
図７（Ｃ）に示す有視差画像ＵＧ３は、図７（Ａ）に示す有視差画像ＵＧ１に対して、それぞれのオブジェクト画像ＪＧ１〜３の位置が、それぞれ、２ａ，２ｂ，２ｃずつ右方へ移動している。つまり、図７（Ｂ）に示す有視差画像ＵＧ２に対して、それぞれのオブジェクト画像ＪＧ１〜３の位置が、それぞれ、さらにａ，ｂ，ｃずつ右方へ移動している。
【００４６】
これらの有視差画像ＵＧ１〜３から実際に三次元画像ＤＧを得るために、次に示す種々の方法を採用することができる。
（１） 複数の有視差画像ＵＧ１〜３を、レンチキュラーレンズを介して観察される圧縮画像として配置することにより合成する。
（２） 複数の有視差画像ＵＧ１〜３を、ステレオ眼鏡を介し右眼または左眼で観察される画像として描画することにより合成する。
（３） 複数の有視差画像ＵＧ１〜３を、グリッドバリアを介し右眼または左眼で観察される画像として描画することにより合成する。
【００４７】
これらの方法以外の方法を用いることも可能である。なお、上記（１）〜（３）の方法それ自体は公知であり、必要に応じて適用することができる。
【００４８】
例えば、上記（１）については、有視差画像ＵＧ１〜３を用いて、レンチキュラーレンズを有した立体写真用の印画フィルムに露光を行って画像を焼きつけ、立体写真を作成する。その焼きつけにおいて、有視差画像ＵＧ１〜３の作成のときにキーとなるオブジェクト画像ＪＧを移動させた場合には、印画フィルムへの露光の際には、そのオブジェクト画像ＪＧの移動距離に相当する分だけ印画フィルム上で逆方向に移動させる。こうすることによって、立体写真においてキーとなるオブジェクト画像ＪＧが固定され、立体画像が鮮明に現れる。詳しくは上に述べた特許文献１および２などを参照することができる。
【００４９】
なお、図７において、各オブジェクト画像ＪＧ１〜３の位置を、各画像レイヤＧＬ１〜３の左端からの距離Ｌ１〜３で示したが、右端からの距離、または各画像レイヤＧＬ１〜３の中央に位置する中心線からの距離で示してもよい。
【００５０】
また、有視差画像ＵＧを３つ示したが、三次元画像ＤＧを得る方法の種類などによって、２つのみでもよく、また４つ以上であってもよい。また、上の例では、基本画像ＫＧ１が３つのオブジェクト画像ＪＧを含んでいるが、２つのオブジェクト画像ＪＧ、または４つ以上のオブジェクト画像ＪＧを含んでいてもよい。
【００５１】
また、上の例では、それぞれのオブジェクト画像ＪＧが１つの画像レイヤＧＬに納まっているが、１つのオブジェクト画像ＪＧが複数の画像レイヤＧＬにわたっていてもよい。その場合には、その複数の画像レイヤＧＬにわたるオブジェクト画像ＪＧの形状が維持されるように補間修正を行って有視差画像ＵＧを取得する。
【００５２】
つまり、例えば、１つのオブジェクト画像ＪＧを平面的にとらえて１つの奥行き方向の位置に配置するのでなく、１つのオブジェクト画像ＪＧそれ自体が奥行きを持つように斜め方向にまたは奥行き方向に沿って配置してもよい。その場合に、オブジェクト画像ＪＧ自体は連続体であるにもかかわらず、画像レイヤＧＬは連続的でなく離散的であるので、複数の画像レイヤＧＬにわたっているオブジェクト画像ＪＧの画像レイヤＧＬの間の部分については画像がなく、正面から観察した場合にその部分が欠けたり細くなったりしてオブジェクト画像ＪＧを正確に再現することができない。これを避けるため、画像レイヤＧＬにわたるオブジェクト画像ＪＧの形状が維持されるように補間修正を行い、補間修正を行った有視差画像ＵＧを取得する。
【００５３】
上に述べた例では、基本画像ＫＧとして３つのオブジェクト画像ＪＧ１〜３からなる簡単なものを示したが、基本画像ＫＧとしてどのような画像でもよい。オブジェクト画像ＪＧとしては、写真、絵画、印刷物、イラスト、グラフィクス、文字など、種々のものを用いることができる。
【００５４】
例えば、基本画像が、飲料用の缶を中心として、その缶の周囲に水しぶきがかかり、水玉や水しぶきが跳ねている画像とした場合に、オブジェクト画像ＪＧは、缶、水玉、水しぶきなどである。この場合に、缶はキー画像であり、例えば奥行き方向の中央位置に配置し、缶自体に立体感を出すために、缶を奥行き方向に沿って斜めに配置する。
【００５５】
上に示した実施形態では、図４のような濃淡画像ＮＧ１によって各オブジェクト画像ＪＧ１〜３の奥行き方向の位置を指定した。この図４で示すオブジェクト画像ＪＧの奥行き方向の位置は、図２に示すように階調レベルＫＬに対応した位置である。この場合に、オブジェクト画像ＪＧ２が例えば球であった場合には、図２においてオブジェクト画像ＪＧ２は、横線ではなく、円で表すようにしてもよい。その場合に、その円には、階調レベルＫＬに応じた濃淡を付与してもよい。また、一番奥の位置に背景画像が配置される場合には、その背景画像の階調レベルＫＬは０となるので、真っ黒で表されることとなる。なお、「０」の階調レベルＫＬを最も遠方としたが、この逆にこれを最も接近した位置としてもよい。また、「０」の階調レベルＫＬを黒としたが、これとは逆に、「０」の階調レベルＫＬを白としてもよい。
【００５６】
上の実施形態において、階調レベルＫＬを２５６階調、つまり８ビットで表したが、これ以外の値でもよい。例えば、８階調、１６階調、３２階調、６４階調、１２８階調、５１２階調、それ以上であってもよい。
【００５７】
次に、基本画像ＫＧから三次元画像ＤＧの作成方法をフローチャートで説明する。
【００５８】
図８は基本画像ＫＧから三次元画像ＤＧの作成の流れを示すフローチャートである。
【００５９】
図８において、まず、基本画像ＫＧを準備する（＃１１）。基本画像ＫＧは、複数のオブジェクト画像ＪＧとその配置位置によって決定される。基本画像ＫＧを元に、複数のオブジェクト画像についてそれぞれの奥行き方向の位置を濃淡によって示す濃淡画像ＮＧを作成する（＃１２）。作成した濃淡画像ＮＧを奥行き指定画像ＹＧとする。
【００６０】
奥行き指定画像ＹＧに示される濃淡のそれぞれのレベルに対応した画素群によって構成され当該画素群の本来の画像が表示された画像レイヤＧＬをそれぞれ形成する（＃１３）。
【００６１】
それぞれの画像レイヤＧＬをそれぞれの濃淡のレベルに応じた視差が得られるように移動させて合成することによって複数の有視差画像ＵＧを取得する（＃１４）。複数の有視差画像ＵＧを合成して三次元画像ＤＧを形成する（＃１５）。
【００６２】
図９は基本画像ＫＧから三次元画像ＤＧを作成する作成装置１の構成を示すブロック図である。
【００６３】
図９において、作成装置１は、濃淡画像作成部２１、画像レイヤ作成部２２、有視差画像作成部２３、および三次元画像作成部２４を有する。
【００６４】
濃淡画像作成部２１は、基本画像ＫＧに含まれる複数のオブジェクト画像ＪＧについて、それぞれの奥行き方向の位置を濃淡によって示す濃淡画像を作成する。
【００６５】
画像レイヤ作成部２２は、基本画像ＫＧに示される濃淡のそれぞれのレベルに対応した画素群によってそれぞれの画像レイヤＧＬを形成する。
【００６６】
有視差画像作成部２３は、それぞれの画像レイヤＧＬを、その濃淡のレベルに応じた視差が得られるように移動させて有視差画像ＵＧを作成する。
【００６７】
三次元画像作成部２４は、有視差画像ＵＧに基づいて、上に述べたようにレンチキュラーレンズ、ステレオ眼鏡、またはグリッドバリアなどを介して観察することのできる画像として合成することにより三次元画像ＤＧを作成する。
【００６８】
このような作成装置１は、その一部または全体にコンピュータシステムを用いることができる。そのような作成装置１の例について説明する。
【００６９】
図１０は作成装置１のハードウエア構成を示すブロック図である。
【００７０】
図１０において、作成装置１は、処理装置１１、イメージスキャナ１２、磁気ディスク装置１３、光磁気ディスク装置１４、ディスプレイ装置１５、プリンタ装置１６、キーボード１７、マウス１８などから構成されている。
【００７１】
磁気ディスク装置１３及び光磁気ディスク装置１４は、種々のオブジェクト画像ＪＧ、基本画像ＫＧ、濃淡画像ＮＧ、画像レイヤＧＬ、有視差画像ＵＧ、または三次元画像ＤＧなどを格納する。イメージスキャナ１２から読み取られた画像、ビデオカメラまたはスチルカメラによって撮影して得られた画像、コンピュータグラフィックスによって作成された画像などが、オブジェクト画像ＪＧとして用いることができる。
【００７２】
ディスプレイ装置１５には、磁気ディスク装置１３又は光磁気ディスク装置１４に格納された画像、その他の画像やデータが表示される。
【００７３】
プリンタ装置１６は、画像などをフィルムにプリントする。フィルムには、用紙、印画紙なども含まれる。プリンタ装置１６によるプリントには、フィルムなどに画像を焼き付ける処理が含まれる。
【００７４】
キーボード１７およびマウス１８は、処理装置１１に対するコマンドの入力、メッセージの入力、フレームメモリまたは画面上の画像の位置の指定などを行う。また、濃淡画像ＮＧの作成に当たって、濃淡レベルの指示をユーザが入力装置を操作して指示する。
【００７５】
処理装置１１は、ＲＯＭなどに格納されたプログラムを実行して種々の処理を行う。処理装置１１には、複数個のフレームメモリ、画像データを格納するためのメモリなどが設けられている。
【００７６】
このようなハードウエア構成によって、ソフトウエア的にまたはハードウエア的に、図９に示す各部が機能的に形成される。
【００７７】
上に述べた作成装置１を用いた三次元画像の作成方法によると、基本画像ＫＧにおける種々のオブジェクト画像ＪＧの奥行き方向の位置を濃淡画像ＮＧによって表し、奥行き方向の位置を濃淡によって指示するので、多数のオブジェクト画像ＪＧからなる三次元画像ＤＧをより容易に作成でき、かつより自然な三次元画像ＤＧを作成することができる。
【００７８】
上に述べた実施形態において、作成装置１の全体または各部の構成、各画像の内容、構成、形状、位置関係、寸法、個数、材質などは、本発明の趣旨に沿って適宜変更することができる。
【図面の簡単な説明】
【００７９】
【図１】基本画像の例を示す図である。
【図２】基本画像に含まれる各オブジェクト画像の奥行き方向の位置を示す図である。
【図３】奥行き方向の位置と濃淡レベルと移動量との関係を示す図である。
【図４】オブジェクト画像についての濃淡画像の例を示す図である。
【図５】画像レイヤを示す図である。
【図６】画像レイヤを空間的に配置した状態を示す図である。
【図７】各画像レイヤの移動量を示す図である。
【図８】基本画像から三次元画像の作成の流れを示すフローチャートである。
【図９】基本画像から三次元画像を作成する作成装置の構成を示すブロック図である。
【図１０】作成装置のハードウエア構成を示すブロック図である。
【符号の説明】
【００８０】
１ 作成装置
１１ 処理装置
２１ 濃淡画像作成部
２２ 画像レイヤ作成部
２３ 有視差画像作成部
２４ 三次元画像作成部
ＪＧ オブジェクト画像
ＫＬ 階調レベル
ＮＬ 濃淡レベル
ＭＬ 移動量
ＫＧ 基本画像
ＮＧ 濃淡画像
ＹＧ 奥行き指定画像
ＧＬ 画像レイヤ
ＵＧ 有視差画像
ＤＧ 三次元画像
【技術分野】
【０００１】
本発明は、複数のオブジェクト画像を構成要素とする三次元画像の作成方法および装置に関する。
【背景技術】
【０００２】
従来より、三次元画像（立体画像）は種々の方法で作成されている。伝統的には、風景または人物などの被写体に対して、カメラを水平方向に一定の距離ずつ移動させながら複数回の撮影を行い、これによって複数枚の一連の画像を作成する。これらの画像を用いて、各画像と印画材料との平行方向位置を一定距離ずつ異ならせて露光し現像することによって立体写真が得られる。
【０００３】
また、複数のカメラを線型に配列して１回の撮影によって複数枚の画像を同時に得ることのできる特殊なカメラも用いられている。しかし、特殊なカメラを用いた場合は、カメラ間のピッチを可変することができないため、立体効果が得られる範囲が狭い。また、被写体の存在する場所で撮影する必要があるため多くの時間と労力とを要する。
【０００４】
そこで、複数個の平面的な画材であるオブジェクト画像を用い、これら各オブジェクト画像を移動させてそれらの相互位置の互いに異なる合成画像を作成し、作成した合成画像とレンチキュラースクリーンとを用いて三次元画像を作成することが提案されている（特許文献１）。これによって、被写体の種類に関係なく、平面的な画像から任意に三次元画像を作成することができる。また、これを改良してより自然な三次元画像を作成する方法も提案されている（特許文献２）。
【特許文献１】特開平２−２９３７３３
【特許文献２】特開平８−１４７４９５
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上に述べた特許文献１および２の方法による場合に、オブジェクト画像を移動させる際にどの程度移動させれば所望の立体感が得られるかについて、作成者の勘と経験によってその場で決められていた。
【０００６】
したがって、オブジェクト画像が２〜３個程度の簡単な三次元画像であれば余り問題はないが、オブジェクト画像の個数が多くなった場合には極めて多くの時間と労力を要し、しかも自然な満足のいく三次元画像を得ることが困難であった。
【０００７】
本発明は、上述の問題に鑑みてなされたもので、多数のオブジェクト画像からなる三次元画像をより容易に作成できかつより自然な三次元画像を作成することの可能な方法および装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る方法は、基本画像に含まれる複数のオブジェクト画像を構成要素とする三次元画像の作成方法であって、前記複数のオブジェクト画像についてそれぞれの奥行き方向の位置を濃淡によって示す濃淡画像を作成し、前記基本画像に示される濃淡のそれぞれのレベルに対応した画素群によってそれぞれの画像レイヤを形成し、それぞれの画像レイヤを、その濃淡のレベルに応じた視差が得られるように移動させて三次元画像を形成する。
【０００９】
また、前記複数のオブジェクト画像についてそれぞれの奥行き方向の位置を濃淡によって示す濃淡画像を作成してこれを奥行き指定画像とする第１ステップと、前記奥行き指定画像に示される濃淡のそれぞれのレベルに対応した画素群によって構成され当該画素群の本来の画像が表示された画像レイヤをそれぞれ形成する第２ステップと、それぞれの画像レイヤをそれぞれの濃淡のレベルに応じた視差が得られるように移動させて合成することによって複数の有視差画像を取得する第３ステップと、前記複数の有視差画像を合成して三次元画像を形成する第４ステップと、を有する。
【００１０】
好ましくは、前記第３ステップにおいて、１つのオブジェクト画像が複数の画像レイヤにわたっている場合に、その複数の画像レイヤにわたるオブジェクト画像の形状が維持されるように補間修正を行って前記有視差画像を取得する。
【００１１】
また、前記第４ステップにおいて、複数の有視差画像を、レンチキュラーレンズを介して観察される圧縮画像として配置することにより合成する。
【００１２】
また、前記第４ステップにおいて、複数の有視差画像を、ステレオ眼鏡を介し右眼または左眼で観察される画像として描画することにより合成する。
【００１３】
また、前記第４ステップにおいて、複数の有視差画像を、グリッドバリアを介し右眼または左眼で観察される画像として描画することにより合成する。
【００１４】
また、複数のオブジェクト画像を含む基本画像について、前記基本画像を構成する各画素の奥行き方向の位置を濃淡によって示す濃淡画像を作成し、前記基本画像に示される濃淡のそれぞれのレベルに対応した画素を抽出し、それぞれのレベルに対応した画素群からなる画像レイヤを形成し、それぞれの画像レイヤを、その濃淡のレベルに応じた視差が得られるように移動させて三次元画像を形成する。
【００１５】
本発明に係る装置は、基本画像に含まれる複数のオブジェクト画像を構成要素とする三次元画像の作成装置であって、前記複数のオブジェクト画像についてそれぞれの奥行き方向の位置を濃淡によって示す濃淡画像を作成する手段と、前記基本画像に示される濃淡のそれぞれのレベルに対応した画素群によってそれぞれの画像レイヤを形成する手段と、それぞれの画像レイヤを、その濃淡のレベルに応じた視差が得られるように移動させて三次元画像を形成する手段と、を有する。
【発明を実施するための最良の形態】
【００１６】
図１は基本画像ＫＧ１の例を示す図、図２は基本画像ＫＧ１に含まれる各オブジェクト画像ＪＧ１〜３の奥行き方向の位置を示す図、図３は奥行き方向の位置と濃淡レベルＮＬと移動量ＭＬとの関係を示す図、図４はオブジェクト画像ＪＧ１〜３についての濃淡画像ＮＧ１の例を示す図、図５は画像レイヤＧＬ１〜３を示す図、図６は画像レイヤＧＬ１〜３を空間的に配置した状態を示す図、図７は各画像レイヤＧＬ１〜３の移動量ＭＬを示す図である。
【００１７】
図１において、基本画像ＫＧ１は３つのオブジェクト画像ＪＧ１〜３を含んでいる。つまり、正方形のオブジェクト画像ＪＧ１、円形のオブジェクト画像ＪＧ２、三角形のオブジェクト画像ＪＧ３の３つから基本画像ＫＧ１が構成されている。
【００１８】
以下において、この基本画像ＫＧ１から三次元画像ＤＧを作成する方法について説明する。
【００１９】
まず、これら３つのオブジェクト画像ＪＧ１〜３について、それぞれの奥行き方向の位置を決める。奥行き方向の位置は、基本画像ＫＧを三次元画像ＤＧとして見たときにの奥行き方向において見える位置である。通常、奥行き方向の位置は、無限の遠方から最接近位置までの間にある。しかし、任意の有限の２つの距離の間とすることも可能である。
【００２０】
いずれにしても、奥行き方向の位置の最も遠方の位置から最も接近した位置までの距離範囲を、階調レベルＫＬで表現する。例えば、２５６階調のレベルで表現し、奥行き方向の位置を０〜２５５の階調レベルＫＬのどこかに割り当てる。この場合に、「０」の階調レベルＫＬは最も遠方の位置であり、「２５５」の階調レベルＫＬは最も接近した位置である。
【００２１】
また、奥行き方向の位置を視覚的に表すために、０〜２５５の階調レベルＫＬが濃淡レベル（グレースケール）ＮＬであるとし、オブジェクト画像ＪＧ１〜３に割り当てられた奥行き方向の位置をその濃淡レベルＮＬによる濃淡画像として表現する。つまり、三次元画像ＤＧの作成に当たって、それぞれのオブジェクト画像ＪＧの奥行きをグレースケールで表現する。
【００２２】
図２に示す例では、オブジェクト画像ＪＧ１〜３には、それぞれ、「５１」「１５３」「２３０」の階調レベルＫＬが割り当てられている。つまり、３つのオブジェクト画像ＪＧのうち、オブジェクト画像ＪＧ１は最も遠く、オブジェクト画像ＪＧ３は最も近く、オブジェクト画像ＪＧ２はその中間である。
【００２３】
しかも、それぞれのオブジェクト画像ＪＧ１〜３は、それぞれの全体が同じ階調レベルＫＬであり、したがってそれ自体には奥行きを持たない。
【００２４】
図３に示すように、階調レベルＫＬと濃淡レベルＮＬ（グレースケールＧＳ）とは対応しており、また、０〜２５５の階調レベルＫＬに対応して移動量ＭＬが決定される。図３において、移動量ＭＬは、それぞれの階調レベルＫＬに対応する水平方向位置における三角図形の横幅で示される。
【００２５】
図４には、図２で示される階調レベルＫＬに応じた濃淡レベルＮＬによって表現された濃淡画像ＮＧ１である。この濃淡画像ＮＧ１では、オブジェクト画像ＪＧ１は真っ黒に近い濃度で表され、オブジェクト画像ＪＧ３は真っ白に近い濃度で表され、オブジェクト画像ＪＧ２はその中間の濃度で表されている。この濃淡画像ＮＧ１は、奥行き指定画像ＹＧ１でもある。
【００２６】
つまり、奥行き指定画像ＹＧ１は、それぞれのオブジェクト画像ＪＧ１〜３の濃淡レベルＮＬがそのオブジェクト画像ＪＧの奥行き方向の位置を示している。したがって、ユーザにとっては、濃淡によって各オブジェクト画像ＪＧの奥行き方向の位置を直感的に認知することができる。すなわち、図１に示す基本画像ＫＧ１に対して、それぞれのオブジェクト画像ＪＧ１〜３に濃淡を与えることによって、それらのオブジェクト画像ＪＧ１〜３の奥行き方向の位置を指定することができる。
【００２７】
また、オブジェクト画像ＪＧの濃淡を修正することによって、奥行き方向の位置を容易に修正することができる。
【００２８】
なお、濃淡画像ＮＧ１または奥行き指定画像ＹＧ１の作成に当たって、実物をカメラで撮影し、かつ撮影位置を変えて複数の異なる位置から撮影し、得られた複数の画像から写っているオブジェクトの移動量を測定し、測定した移動量に基づいて濃淡画像ＮＧ１を作成してもよい。このようにするとより正確に奥行き方向の位置を指定することが可能である。
【００２９】
次に、奥行き指定画像ＹＧ１に基づいて、図５に示す画像レイヤＧＬ１〜３をそれぞれ形成する。つまり、画像レイヤＧＬ１〜３は、奥行き指定画像ＹＧ１に示されるそれぞれの濃淡レベルＮＬに対応した画素群によって構成され、当該画素群の本来の画像が表示されたものである。
【００３０】
すなわち、図４に示す奥行き指定画像ＹＧ１において、オブジェクト画像ＪＧ１、ＪＧ２、ＪＧ３は、それぞれ均一な濃淡レベルＮＬとなっているから、オブジェクト画像ＪＧ１、２、３をそれぞれ構成する画素群がそれぞれの画像レイヤＧＬ１〜３を構成することとなる。
【００３１】
なお、各画像レイヤＧＬ１〜３において、オブジェクト画像ＪＧ以外の部分は透明である。したがって、画像レイヤＧＬ１〜３としては、必ずしも一定のサイズの画像フレームの形となっていなくてもよく、例えばオブジェクト画像ＪＧについてその奥行き方向の位置を指定したものであってもよい。
【００３２】
さて、図５（Ａ）に示す画像レイヤＧＬ１は、基本画像ＫＧ１の中のオブジェクト画像ＪＧ１のみを含んでいる。図５（Ｂ）に示す画像レイヤＧＬ２は、基本画像ＫＧ１の中のオブジェクト画像ＪＧ２のみを含んでいる。図５（Ｃ）に示す画像レイヤＧＬ３は、基本画像ＫＧ１の中のオブジェクト画像ＪＧ３のみを含んでいる。
【００３３】
このように、奥行き指定画像ＹＧ１に基づいて、画像レイヤＧＬ１〜３を作成することができる。各オブジェクト画像ＪＧが均一な濃淡レベルＮＬからなっている場合には、オブジェクト画像ＪＧの個数に等しい数の画像レイヤＧＬが作成される。
【００３４】
これらの画像レイヤＧＬ１〜３は、それぞれ、１つの濃淡レベルＮＬの画素群からなっているので、各画像レイヤＧＬ１〜３に含まれる画素群の濃淡レベルＮＬに応じて階調レベルＫＬに対応付けることができる。
【００３５】
なお、基本画像ＫＧ、濃淡画像ＮＧ、奥行き指定画像ＹＧ、画像レイヤＧＬ、およびオブジェクト画像ＪＧなどは、デジタル画像処理によって生成し保存することができるものであり、それぞれの画像を画素または画素群から構成することができる。
【００３６】
図６において、３つの画像レイヤＧＬ１〜３が、それぞれの濃淡レベルＮＬに応じた階調レベルＫＬに配置された状態が示されている。この状態におけるオブジェクト画像ＪＧ１〜３の奥行き方向の位置は、奥行き指定画像ＹＧ１によって指定された位置に基づいている。
【００３７】
そして、このような画像レイヤＧＬ１〜３を、それぞれの濃淡レベルＮＬに応じた視差が得られるように移動させて合成し、これによって複数の有視差画像ＵＧを取得する。画像レイヤＧＬの移動は、その配置位置を移動量ＭＬだけずらせることによって行うことができる。
【００３８】
さて、濃淡レベルＮＬと移動量ＭＬとの関係が図３に示されているので、濃淡レベルＮＬから移動量ＭＬを導き出すことができる。図３においては、移動量ＭＬは、０〜ＭＬｍａｘの範囲の中にあり、その範囲内において、濃淡レベルＮＬに比例して決定される。なお、本実施形態においては、移動量ＭＬが濃淡レベルＮＬに比例しているが、単純に比例するのではなく、所定の一次関数や２次関数、その他の関数で示されるものであってもよい。
【００３９】
図７（Ａ）に示す有視差画像ＵＧ１は、図１に示す基本画像ＫＧ１と同じである。有視差画像ＵＧ１において、それぞれのオブジェクト画像ＪＧ１〜３の位置が、左端からの距離Ｌ１〜３でそれぞれ示されている。
【００４０】
図７（Ｂ）に示す有視差画像ＵＧ２は、図７（Ａ）に示す有視差画像ＵＧ１に対して、それぞれのオブジェクト画像ＪＧ１〜３の位置が、それぞれ、ａ，ｂ，ｃずつ右方へ移動している。このａ，ｂ，ｃが、各オブジェクト画像ＪＧ１〜３の移動量ＭＬである。移動量ＭＬである「ａ」「ｂ」「ｃ」の比は、オブジェクト画像ＪＧ１〜３の濃淡レベルＮＬの比に等しい。
【００４１】
このように、移動量ＭＬは、有視差画像ＵＧを作成するに当たっての、２つの有視差画像ＵＧの間におけるオブジェクト画像ＪＧの位置の水平方向の距離差である。または距離差に相当するパラメータである。移動量ＭＬの大きさによって、２つの有視差画像ＵＧをユーザが左右の眼で見たときに視差が生じ、立体感を得ることができる。移動量ＭＬが０のオブジェクト画像ＪＧは、両眼で見たときに前後方向の位置がそのオブジェクト画像ＪＧの実際の位置に見えることとなり、移動量ＭＬが正のオブジェクト画像ＪＧは実際の位置よりも飛び出し、移動量ＭＬが負のオブジェクト画像ＪＧは実際の位置よりも後退する。
【００４２】
したがって、奥行き方向の位置と移動量ＭＬとの関係は、奥行き方向の位置が近い程、移動量ＭＬを正の方向に大きくすればよいこととなる。上のように奥行き方向の中間に存在するオブジェクト画像ＪＧの移動量ＭＬを０とすれば、それより奥に存在するオブジェクト画像ＪＧは移動量ＭＬが負となり、それより手前に存在するオブジェクト画像ＪＧは移動量ＭＬが正となる。最も奥に存在するオブジェクト画像ＪＧの移動量ＭＬを０とすれば、他のオブジェクト画像ＪＧは移動量ＭＬが正となり、手前のものほど移動量ＭＬが大きくなる。
【００４３】
通常、基本画像ＫＧの中の最も重要なオブジェクト画像ＪＧをキー画像とし、キー画像を鮮明に見せるためにその移動量ＭＬを「０」とする。そして、キー画像よりも奥に配置するオブジェクト画像ＪＧの移動量ＭＬを負とし、キー画像よりも手前に配置するオブジェクト画像ＪＧの移動量ＭＬを正とする。
【００４４】
なお、有視差画像ＵＧの作成に当たって、ここでの例ではオブジェクト画像ＪＧつまり画像レイヤＧＬを移動させた。しかし、画像レイヤＧＬ１〜３を図６に示すようにその奥行き方向の位置に対応して配置しておき、これを前方からカメラで撮影するとともに、そのカメラの位置を移動して異ならせて撮影してもよい。つまり、画像レイヤＧＬ１〜３を、複数の異なる位置から撮影することによって複数の有視差画像ＵＧを取得することができ、その場合のそれぞれのカメラの撮影位置の変位量として、移動量ＭＬを用いることができる。
【００４５】
図７（Ｃ）に示す有視差画像ＵＧ３は、図７（Ａ）に示す有視差画像ＵＧ１に対して、それぞれのオブジェクト画像ＪＧ１〜３の位置が、それぞれ、２ａ，２ｂ，２ｃずつ右方へ移動している。つまり、図７（Ｂ）に示す有視差画像ＵＧ２に対して、それぞれのオブジェクト画像ＪＧ１〜３の位置が、それぞれ、さらにａ，ｂ，ｃずつ右方へ移動している。
【００４６】
これらの有視差画像ＵＧ１〜３から実際に三次元画像ＤＧを得るために、次に示す種々の方法を採用することができる。
（１） 複数の有視差画像ＵＧ１〜３を、レンチキュラーレンズを介して観察される圧縮画像として配置することにより合成する。
（２） 複数の有視差画像ＵＧ１〜３を、ステレオ眼鏡を介し右眼または左眼で観察される画像として描画することにより合成する。
（３） 複数の有視差画像ＵＧ１〜３を、グリッドバリアを介し右眼または左眼で観察される画像として描画することにより合成する。
【００４７】
これらの方法以外の方法を用いることも可能である。なお、上記（１）〜（３）の方法それ自体は公知であり、必要に応じて適用することができる。
【００４８】
例えば、上記（１）については、有視差画像ＵＧ１〜３を用いて、レンチキュラーレンズを有した立体写真用の印画フィルムに露光を行って画像を焼きつけ、立体写真を作成する。その焼きつけにおいて、有視差画像ＵＧ１〜３の作成のときにキーとなるオブジェクト画像ＪＧを移動させた場合には、印画フィルムへの露光の際には、そのオブジェクト画像ＪＧの移動距離に相当する分だけ印画フィルム上で逆方向に移動させる。こうすることによって、立体写真においてキーとなるオブジェクト画像ＪＧが固定され、立体画像が鮮明に現れる。詳しくは上に述べた特許文献１および２などを参照することができる。
【００４９】
なお、図７において、各オブジェクト画像ＪＧ１〜３の位置を、各画像レイヤＧＬ１〜３の左端からの距離Ｌ１〜３で示したが、右端からの距離、または各画像レイヤＧＬ１〜３の中央に位置する中心線からの距離で示してもよい。
【００５０】
また、有視差画像ＵＧを３つ示したが、三次元画像ＤＧを得る方法の種類などによって、２つのみでもよく、また４つ以上であってもよい。また、上の例では、基本画像ＫＧ１が３つのオブジェクト画像ＪＧを含んでいるが、２つのオブジェクト画像ＪＧ、または４つ以上のオブジェクト画像ＪＧを含んでいてもよい。
【００５１】
また、上の例では、それぞれのオブジェクト画像ＪＧが１つの画像レイヤＧＬに納まっているが、１つのオブジェクト画像ＪＧが複数の画像レイヤＧＬにわたっていてもよい。その場合には、その複数の画像レイヤＧＬにわたるオブジェクト画像ＪＧの形状が維持されるように補間修正を行って有視差画像ＵＧを取得する。
【００５２】
つまり、例えば、１つのオブジェクト画像ＪＧを平面的にとらえて１つの奥行き方向の位置に配置するのでなく、１つのオブジェクト画像ＪＧそれ自体が奥行きを持つように斜め方向にまたは奥行き方向に沿って配置してもよい。その場合に、オブジェクト画像ＪＧ自体は連続体であるにもかかわらず、画像レイヤＧＬは連続的でなく離散的であるので、複数の画像レイヤＧＬにわたっているオブジェクト画像ＪＧの画像レイヤＧＬの間の部分については画像がなく、正面から観察した場合にその部分が欠けたり細くなったりしてオブジェクト画像ＪＧを正確に再現することができない。これを避けるため、画像レイヤＧＬにわたるオブジェクト画像ＪＧの形状が維持されるように補間修正を行い、補間修正を行った有視差画像ＵＧを取得する。
【００５３】
上に述べた例では、基本画像ＫＧとして３つのオブジェクト画像ＪＧ１〜３からなる簡単なものを示したが、基本画像ＫＧとしてどのような画像でもよい。オブジェクト画像ＪＧとしては、写真、絵画、印刷物、イラスト、グラフィクス、文字など、種々のものを用いることができる。
【００５４】
例えば、基本画像が、飲料用の缶を中心として、その缶の周囲に水しぶきがかかり、水玉や水しぶきが跳ねている画像とした場合に、オブジェクト画像ＪＧは、缶、水玉、水しぶきなどである。この場合に、缶はキー画像であり、例えば奥行き方向の中央位置に配置し、缶自体に立体感を出すために、缶を奥行き方向に沿って斜めに配置する。
【００５５】
上に示した実施形態では、図４のような濃淡画像ＮＧ１によって各オブジェクト画像ＪＧ１〜３の奥行き方向の位置を指定した。この図４で示すオブジェクト画像ＪＧの奥行き方向の位置は、図２に示すように階調レベルＫＬに対応した位置である。この場合に、オブジェクト画像ＪＧ２が例えば球であった場合には、図２においてオブジェクト画像ＪＧ２は、横線ではなく、円で表すようにしてもよい。その場合に、その円には、階調レベルＫＬに応じた濃淡を付与してもよい。また、一番奥の位置に背景画像が配置される場合には、その背景画像の階調レベルＫＬは０となるので、真っ黒で表されることとなる。なお、「０」の階調レベルＫＬを最も遠方としたが、この逆にこれを最も接近した位置としてもよい。また、「０」の階調レベルＫＬを黒としたが、これとは逆に、「０」の階調レベルＫＬを白としてもよい。
【００５６】
上の実施形態において、階調レベルＫＬを２５６階調、つまり８ビットで表したが、これ以外の値でもよい。例えば、８階調、１６階調、３２階調、６４階調、１２８階調、５１２階調、それ以上であってもよい。
【００５７】
次に、基本画像ＫＧから三次元画像ＤＧの作成方法をフローチャートで説明する。
【００５８】
図８は基本画像ＫＧから三次元画像ＤＧの作成の流れを示すフローチャートである。
【００５９】
図８において、まず、基本画像ＫＧを準備する（＃１１）。基本画像ＫＧは、複数のオブジェクト画像ＪＧとその配置位置によって決定される。基本画像ＫＧを元に、複数のオブジェクト画像についてそれぞれの奥行き方向の位置を濃淡によって示す濃淡画像ＮＧを作成する（＃１２）。作成した濃淡画像ＮＧを奥行き指定画像ＹＧとする。
【００６０】
奥行き指定画像ＹＧに示される濃淡のそれぞれのレベルに対応した画素群によって構成され当該画素群の本来の画像が表示された画像レイヤＧＬをそれぞれ形成する（＃１３）。
【００６１】
それぞれの画像レイヤＧＬをそれぞれの濃淡のレベルに応じた視差が得られるように移動させて合成することによって複数の有視差画像ＵＧを取得する（＃１４）。複数の有視差画像ＵＧを合成して三次元画像ＤＧを形成する（＃１５）。
【００６２】
図９は基本画像ＫＧから三次元画像ＤＧを作成する作成装置１の構成を示すブロック図である。
【００６３】
図９において、作成装置１は、濃淡画像作成部２１、画像レイヤ作成部２２、有視差画像作成部２３、および三次元画像作成部２４を有する。
【００６４】
濃淡画像作成部２１は、基本画像ＫＧに含まれる複数のオブジェクト画像ＪＧについて、それぞれの奥行き方向の位置を濃淡によって示す濃淡画像を作成する。
【００６５】
画像レイヤ作成部２２は、基本画像ＫＧに示される濃淡のそれぞれのレベルに対応した画素群によってそれぞれの画像レイヤＧＬを形成する。
【００６６】
有視差画像作成部２３は、それぞれの画像レイヤＧＬを、その濃淡のレベルに応じた視差が得られるように移動させて有視差画像ＵＧを作成する。
【００６７】
三次元画像作成部２４は、有視差画像ＵＧに基づいて、上に述べたようにレンチキュラーレンズ、ステレオ眼鏡、またはグリッドバリアなどを介して観察することのできる画像として合成することにより三次元画像ＤＧを作成する。
【００６８】
このような作成装置１は、その一部または全体にコンピュータシステムを用いることができる。そのような作成装置１の例について説明する。
【００６９】
図１０は作成装置１のハードウエア構成を示すブロック図である。
【００７０】
図１０において、作成装置１は、処理装置１１、イメージスキャナ１２、磁気ディスク装置１３、光磁気ディスク装置１４、ディスプレイ装置１５、プリンタ装置１６、キーボード１７、マウス１８などから構成されている。
【００７１】
磁気ディスク装置１３及び光磁気ディスク装置１４は、種々のオブジェクト画像ＪＧ、基本画像ＫＧ、濃淡画像ＮＧ、画像レイヤＧＬ、有視差画像ＵＧ、または三次元画像ＤＧなどを格納する。イメージスキャナ１２から読み取られた画像、ビデオカメラまたはスチルカメラによって撮影して得られた画像、コンピュータグラフィックスによって作成された画像などが、オブジェクト画像ＪＧとして用いることができる。
【００７２】
ディスプレイ装置１５には、磁気ディスク装置１３又は光磁気ディスク装置１４に格納された画像、その他の画像やデータが表示される。
【００７３】
プリンタ装置１６は、画像などをフィルムにプリントする。フィルムには、用紙、印画紙なども含まれる。プリンタ装置１６によるプリントには、フィルムなどに画像を焼き付ける処理が含まれる。
【００７４】
キーボード１７およびマウス１８は、処理装置１１に対するコマンドの入力、メッセージの入力、フレームメモリまたは画面上の画像の位置の指定などを行う。また、濃淡画像ＮＧの作成に当たって、濃淡レベルの指示をユーザが入力装置を操作して指示する。
【００７５】
処理装置１１は、ＲＯＭなどに格納されたプログラムを実行して種々の処理を行う。処理装置１１には、複数個のフレームメモリ、画像データを格納するためのメモリなどが設けられている。
【００７６】
このようなハードウエア構成によって、ソフトウエア的にまたはハードウエア的に、図９に示す各部が機能的に形成される。
【００７７】
上に述べた作成装置１を用いた三次元画像の作成方法によると、基本画像ＫＧにおける種々のオブジェクト画像ＪＧの奥行き方向の位置を濃淡画像ＮＧによって表し、奥行き方向の位置を濃淡によって指示するので、多数のオブジェクト画像ＪＧからなる三次元画像ＤＧをより容易に作成でき、かつより自然な三次元画像ＤＧを作成することができる。
【００７８】
上に述べた実施形態において、作成装置１の全体または各部の構成、各画像の内容、構成、形状、位置関係、寸法、個数、材質などは、本発明の趣旨に沿って適宜変更することができる。
【図面の簡単な説明】
【００７９】
【図１】基本画像の例を示す図である。
【図２】基本画像に含まれる各オブジェクト画像の奥行き方向の位置を示す図である。
【図３】奥行き方向の位置と濃淡レベルと移動量との関係を示す図である。
【図４】オブジェクト画像についての濃淡画像の例を示す図である。
【図５】画像レイヤを示す図である。
【図６】画像レイヤを空間的に配置した状態を示す図である。
【図７】各画像レイヤの移動量を示す図である。
【図８】基本画像から三次元画像の作成の流れを示すフローチャートである。
【図９】基本画像から三次元画像を作成する作成装置の構成を示すブロック図である。
【図１０】作成装置のハードウエア構成を示すブロック図である。
【符号の説明】
【００８０】
１ 作成装置
１１ 処理装置
２１ 濃淡画像作成部
２２ 画像レイヤ作成部
２３ 有視差画像作成部
２４ 三次元画像作成部
ＪＧ オブジェクト画像
ＫＬ 階調レベル
ＮＬ 濃淡レベル
ＭＬ 移動量
ＫＧ 基本画像
ＮＧ 濃淡画像
ＹＧ 奥行き指定画像
ＧＬ 画像レイヤ
ＵＧ 有視差画像
ＤＧ 三次元画像
【特許請求の範囲】
【請求項１】
基本画像に含まれる複数のオブジェクト画像を構成要素とする三次元画像の作成方法であって、
前記複数のオブジェクト画像についてそれぞれの奥行き方向の位置を濃淡によって示す濃淡画像を作成し、
前記基本画像に示される濃淡のそれぞれのレベルに対応した画素群によってそれぞれの画像レイヤを形成し、
それぞれの画像レイヤを、その濃淡のレベルに応じた視差が得られるように移動させて三次元画像を形成する、
ことを特徴とする三次元画像の作成方法。
【請求項２】
複数のオブジェクト画像を構成要素とする三次元画像の作成方法であって、
前記複数のオブジェクト画像についてそれぞれの奥行き方向の位置を濃淡によって示す濃淡画像を作成してこれを奥行き指定画像とする第１ステップと、
前記奥行き指定画像に示される濃淡のそれぞれのレベルに対応した画素群によって構成され当該画素群の本来の画像が表示された画像レイヤをそれぞれ形成する第２ステップと、
それぞれの画像レイヤをそれぞれの濃淡のレベルに応じた視差が得られるように移動させて合成することによって複数の有視差画像を取得する第３ステップと、
前記複数の有視差画像を合成して三次元画像を形成する第４ステップと、
を有することを特徴とする三次元画像の作成方法。
【請求項３】
前記第３ステップにおいて、１つのオブジェクト画像が複数の画像レイヤにわたっている場合に、その複数の画像レイヤにわたるオブジェクト画像の形状が維持されるように補間修正を行って前記有視差画像を取得する、
請求項２記載の三次元画像の作成方法。
【請求項４】
前記第４ステップにおいて、複数の有視差画像を、レンチキュラーレンズを介して観察される圧縮画像として配置することにより合成する、
請求項２または３記載の三次元画像の作成方法。
【請求項５】
前記第４ステップにおいて、複数の有視差画像を、ステレオ眼鏡を介し右眼または左眼で観察される画像として描画することにより合成する、
請求項２または３記載の三次元画像の作成方法。
【請求項６】
前記第４ステップにおいて、複数の有視差画像を、グリッドバリアを介し右眼または左眼で観察される画像として描画することにより合成する、
請求項２または３記載の三次元画像の作成方法。
【請求項７】
複数のオブジェクト画像を含む基本画像について、前記基本画像を構成する各画素の奥行き方向の位置を濃淡によって示す濃淡画像を作成し、
前記基本画像に示される濃淡のそれぞれのレベルに対応した画素を抽出し、それぞれのレベルに対応した画素群からなる画像レイヤを形成し、
それぞれの画像レイヤを、その濃淡のレベルに応じた視差が得られるように移動させて三次元画像を形成する、
ことを特徴とする三次元画像の作成方法。
【請求項８】
基本画像に含まれる複数のオブジェクト画像を構成要素とする三次元画像の作成装置であって、
前記複数のオブジェクト画像についてそれぞれの奥行き方向の位置を濃淡によって示す濃淡画像を作成する手段と、
前記基本画像に示される濃淡のそれぞれのレベルに対応した画素群によってそれぞれの画像レイヤを形成する手段と、
それぞれの画像レイヤを、その濃淡のレベルに応じた視差が得られるように移動させて三次元画像を形成する手段と、
を有することを特徴とする三次元画像の作成装置。
【請求項１】
基本画像に含まれる複数のオブジェクト画像を構成要素とする三次元画像の作成方法であって、
前記複数のオブジェクト画像についてそれぞれの奥行き方向の位置を濃淡によって示す濃淡画像を作成し、
前記基本画像に示される濃淡のそれぞれのレベルに対応した画素群によってそれぞれの画像レイヤを形成し、
それぞれの画像レイヤを、その濃淡のレベルに応じた視差が得られるように移動させて三次元画像を形成する、
ことを特徴とする三次元画像の作成方法。
【請求項２】
複数のオブジェクト画像を構成要素とする三次元画像の作成方法であって、
前記複数のオブジェクト画像についてそれぞれの奥行き方向の位置を濃淡によって示す濃淡画像を作成してこれを奥行き指定画像とする第１ステップと、
前記奥行き指定画像に示される濃淡のそれぞれのレベルに対応した画素群によって構成され当該画素群の本来の画像が表示された画像レイヤをそれぞれ形成する第２ステップと、
それぞれの画像レイヤをそれぞれの濃淡のレベルに応じた視差が得られるように移動させて合成することによって複数の有視差画像を取得する第３ステップと、
前記複数の有視差画像を合成して三次元画像を形成する第４ステップと、
を有することを特徴とする三次元画像の作成方法。
【請求項３】
前記第３ステップにおいて、１つのオブジェクト画像が複数の画像レイヤにわたっている場合に、その複数の画像レイヤにわたるオブジェクト画像の形状が維持されるように補間修正を行って前記有視差画像を取得する、
請求項２記載の三次元画像の作成方法。
【請求項４】
前記第４ステップにおいて、複数の有視差画像を、レンチキュラーレンズを介して観察される圧縮画像として配置することにより合成する、
請求項２または３記載の三次元画像の作成方法。
【請求項５】
前記第４ステップにおいて、複数の有視差画像を、ステレオ眼鏡を介し右眼または左眼で観察される画像として描画することにより合成する、
請求項２または３記載の三次元画像の作成方法。
【請求項６】
前記第４ステップにおいて、複数の有視差画像を、グリッドバリアを介し右眼または左眼で観察される画像として描画することにより合成する、
請求項２または３記載の三次元画像の作成方法。
【請求項７】
複数のオブジェクト画像を含む基本画像について、前記基本画像を構成する各画素の奥行き方向の位置を濃淡によって示す濃淡画像を作成し、
前記基本画像に示される濃淡のそれぞれのレベルに対応した画素を抽出し、それぞれのレベルに対応した画素群からなる画像レイヤを形成し、
それぞれの画像レイヤを、その濃淡のレベルに応じた視差が得られるように移動させて三次元画像を形成する、
ことを特徴とする三次元画像の作成方法。
【請求項８】
基本画像に含まれる複数のオブジェクト画像を構成要素とする三次元画像の作成装置であって、
前記複数のオブジェクト画像についてそれぞれの奥行き方向の位置を濃淡によって示す濃淡画像を作成する手段と、
前記基本画像に示される濃淡のそれぞれのレベルに対応した画素群によってそれぞれの画像レイヤを形成する手段と、
それぞれの画像レイヤを、その濃淡のレベルに応じた視差が得られるように移動させて三次元画像を形成する手段と、
を有することを特徴とする三次元画像の作成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００８−９０７５０（Ｐ２００８−９０７５０Ａ）
【公開日】平成２０年４月１７日（２００８．４．１７）
【国際特許分類】
【出願番号】特願２００６−２７３３２４（Ｐ２００６−２７３３２４）
【出願日】平成１８年１０月４日（２００６．１０．４）
【出願人】（５９１２４３８９３）株式会社フオトクラフト社 (26)
【Ｆターム（参考）】
【公開日】平成２０年４月１７日（２００８．４．１７）
【国際特許分類】
【出願日】平成１８年１０月４日（２００６．１０．４）
【出願人】（５９１２４３８９３）株式会社フオトクラフト社 (26)
【Ｆターム（参考）】
[ Back to top ]