奥行き信号生成装置、擬似立体画像生成装置、奥行き信号生成方法、および擬似立体画像生成方法
【課題】ランダムノイズが増加しやすい感度で撮影された画像についても違和感の無い擬似立体像を生成する装置及び方法を提供する。
【解決手段】奥行き信号生成装置は、画像信号Ｓｒａｗ（Ｓｓｃ）と前記画像信号が撮影された時の感度情報Ｉｉｓｏとを取得する入力信号取得部２１と、前記感度情報に基づき画像信号に含まれるノイズを低減させるための低減強度値Ｎｎｒを生成する強度値調整部２５１と、低減強度値Ｎｎｒに基づき前記画像信号に対してノイズ低減処理を施すノイズ低減部２５２と、感度情報Ｉｉｓｏ及びノイズ低減部２５２によりノイズ低減された画像信号Ｓｎｒに基づき、画像信号Ｓｎｒ中の各画素の奥行き情報を示す奥行き信号Ｄ＿ｔｏｔａｌを生成する奥行き信号生成部２３とを有する。
【解決手段】奥行き信号生成装置は、画像信号Ｓｒａｗ（Ｓｓｃ）と前記画像信号が撮影された時の感度情報Ｉｉｓｏとを取得する入力信号取得部２１と、前記感度情報に基づき画像信号に含まれるノイズを低減させるための低減強度値Ｎｎｒを生成する強度値調整部２５１と、低減強度値Ｎｎｒに基づき前記画像信号に対してノイズ低減処理を施すノイズ低減部２５２と、感度情報Ｉｉｓｏ及びノイズ低減部２５２によりノイズ低減された画像信号Ｓｎｒに基づき、画像信号Ｓｎｒ中の各画素の奥行き情報を示す奥行き信号Ｄ＿ｔｏｔａｌを生成する奥行き信号生成部２３とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通常の静止画もしくは動画、即ち奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から奥行き信号を生成し、この奥行き信号をもとにした処理を非立体画像に施すことで、立体感を感じさせる画像を生成し、出力する奥行き信号生成装置、擬似立体画像生成装置、奥行き信号生成方法、および擬似立体画像生成方法に関する。
【背景技術】
【０００２】
立体表示システムにおいては、非立体画像の擬似立体視による鑑賞を可能にするために、通常の静止画もしくは動画、即ち立体を表す為の奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から、擬似的な立体化画像を生成する処理が行われる。
【０００３】
このような技術の一例として、例えば特許文献１に記載の技術のような、複数の基本奥行きモデルを入力非立体画像の特徴に応じて合成した基本奥行きモデル信号と非立体画像のＲ信号（赤色信号）から算出する凹凸奥行き信号とを重畳して生成した奥行き推定信号に基づき立体化画像を生成するアプローチが知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４２１４５２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
立体表示システムには、日中に外で撮影されたノイズのない映像から夜間や室内などの暗部で撮影されたノイズの多い映像まで様々な映像が入力される。後者の暗部での映像には高感度撮影が用いられている。高感度撮影では、ＩＳＯ感度を上げるにつれてランダムノイズ量が増えていくことが知られている。ランダムノイズの多い映像に対して特許文献１に代表されるような擬似立体画像生成技術を適用させると、ランダムノイズの成分を基に凹凸奥行き信号が算出されるため、全体的にランダムに凸凹したような立体画像として変換されてしまい、擬似立体視時の違和感に繋がる。
【０００６】
この課題を解決する方法として、擬似立体画像生成を行う前に、コアリング型ノイズ低減回路に代表されるノイズ低減回路によってランダムノイズを低減させる方法が挙げられる。ノイズ低減処理工程において、映像撮影時のＩＳＯ感度情報に応じてノイズ低減強度を可変させれば、どんなＩＳＯ感度で撮影された映像であっても、最適なノイズ低減処理を施したのち、擬似立体画像生成を行うことが可能となる。しかしながら、ノイズ低減回路のノイズ低減強度を強くしていくと、画像情報から高域成分情報が失われていき、そのような画像に対し擬似立体画像生成を行っても擬似立体視時の立体感が損なわれてしまう。
【０００７】
このような問題を鑑み、本発明は、ランダムノイズが増加しやすい感度で撮影された画像についても違和感の無い擬似立体像を生成することが可能な、奥行き信号生成装置、擬似立体画像生成装置、奥行き信号生成方法、および擬似立体画像生成方法の提供を目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の態様は奥行き信号生成装置であって、画像信号（Ｓｒａｗ，Ｓｓｃ）と前記画像信号（Ｓｒａｗ，Ｓｓｃ）が撮影された時の感度情報（Ｉｉｓｏ）とを取得する入力信号取得部（２１）と、前記感度情報（Ｓｒａｗ，Ｓｓｃ）に基づき画像信号に含まれるノイズを低減させるための低減強度値（Ｎｎｒ）を生成する強度値調整部（２５１）と、前記低減強度値（Ｎｎｒ）に基づき前記画像信号（Ｓｒａｗ，Ｓｓｃ）に対してノイズ低減処理を施すノイズ低減部（２５２）と、前記感度情報（Ｉｉｓｏ）及び前記ノイズ低減部（２５２）によりノイズ低減された画像信号（Ｓｎｒ）に基づき前記画像信号（Ｓｎｒ）中の各画素の奥行き情報を示す奥行き信号（Ｄ＿ｔｏｔａｌ）を生成する奥行き信号生成部（２３）とを有することを要旨とする。
【０００９】
前記奥行き信号生成部（２３）は、前記ノイズ低減された画像信号（Ｓｎｒ）に基づき各画素の奥行きを示す第１の奥行き信号（ＤＥ）を生成する奥行き推定部（２３２）と、前記第１の奥行き信号（ＤＥ）のレベルを変換するためのゲイン値（Ｇｎ）を前記感度情報（Ｉｉｓｏ）に基づき設定するゲイン値設定部（２３３）と、設定された前記ゲイン値（Ｇｎ）に基づき前記第１の奥行き信号（ＤＥ）のレベルを変換した第２の奥行き信号（ＤＥｇ）を出力する奥行き信号レベル変換部（２３４）とを有することが好ましい。
【００１０】
本発明の第２の態様は擬似立体画像生成装置であって、前記第１の態様に記載の奥行き信号生成部（２３）から出力された奥行き信号（Ｄ＿ｔｏｔａｌ）に応じて、前記ノイズ低減部（２５）によりノイズ低減された画像信号（Ｓｎｒ）のテクスチャをシフトさせた別視点画像信号を生成し出力する別視点画像生成部（２４）を有することを要旨とする。
【００１１】
本発明の第３の態様は奥行き信号生成方法であって、画像信号と前記画像信号が撮影された時の感度情報とを取得し、前記感度情報に基づき画像信号に含まれるノイズを低減させるための低減強度値を生成し、前記低減強度値に基づき前記画像信号に対してノイズ低減処理を施し、前記感度情報及び前記ノイズ低減処理によりノイズ低減された画像信号に基づいて、前記画像信号中の各画素の奥行きを示す奥行き信号を出力することを要旨とする。
【００１２】
前記第３の態様に係る信号生成方法では、前記ノイズ低減された画像信号に基づいて、各画素の奥行きを示す第１の奥行き信号を生成し、前記第１の奥行き信号のレベルを変換するためのゲイン値を前記感度情報に基づき設定し、設定された前記ゲイン値に基づき前記第１の奥行き信号のレベルを変換した第２の奥行き信号を出力することが好ましい。
【００１３】
本発明の第４の態様は擬似立体画像生成方法であって、前記第３の態様の奥行き信号生成方法によって出力された奥行き信号に応じて、ノイズ低減された画像信号のテクスチャをシフトさせた別視点画像信号を生成し出力することを要旨とする。
【発明の効果】
【００１４】
本発明によれば、ランダムノイズが増加しやすい感度で撮影された画像についても違和感の無い擬似立体像を生成することが可能な、奥行き信号生成装置、擬似立体画像生成装置、奥行き信号生成方法、および擬似立体画像生成方法を提供できる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施の形態に係る擬似立体画像生成装置のブロック図である。
【図２】本発明の一実施の形態における処理の流れを示すフローチャートである。
【図３】本発明の一実施の形態の強度値調整部の出力特性曲線の一例である。
【図４】本発明の一実施の形態のノイズ低減処理部の一例を示すブロック図である。
【図５】本発明の一実施の形態のコアリング回路の出力特性曲線の一例である。
【図６】本発明の一実施の形態の凹凸奥行き信号ゲイン調整部で生成するゲイン曲線の一例である。
【図７】本発明の一実施の形態のゲイン調整部で行われるゲイン調整処理の一例である。
【発明を実施するための形態】
【００１６】
＜装置の構成＞
本発明の一実施の形態について図面と共に説明する。図１は本実施の形態に係る擬似立体画像生成装置のブロック図である。また、図２は本実施の形態における処理の流れを示すフローチャートである。
【００１７】
図１において、本実施の形態に係る擬似立体画像生成装置２は、入力信号取得部２１と、スケーリング処理部２２と、ノイズ低減部２５と、奥行き信号生成部２３と、ステレオペア生成部（別視点画像生成部）２４とを備えている。
【００１８】
ノイズ低減部２５は、強度値調整部２５１とノイズ低減処理部２５２とを備えている。
【００１９】
奥行き信号生成部２３は、基本奥行きモデル信号生成部２３１と、凹凸奥行き推定部２３２と、ゲイン値設定部２３３と、凹凸奥行き信号レベル変換部２３４と、奥行き信号合成部２３５とを備えている。
【００２０】
ステレオペア生成部２４は、テクスチャシフト部２４１と、オクルージョン補償部２４２と、ポスト処理部２４３と、遅延調整部２４４とを備えている。
【００２１】
＜処理の詳細説明＞
＜ノイズ低減部＞
次に、擬似立体画像生成装置２の動作について図２のフローチャートと共に詳細に説明する。
【００２２】
まず、画像信号送信機であるビデオカメラ１から、擬似立体化を行う対象である非立体画像の画像信号Ｓｒａｗ及びその画像が撮影された際に設定されたＩＳＯ感度の情報Ｉｉｓｏを入力信号取得部２１で受信する（ステップＳ１）。非立体画像は、通常の静止画もしくは動画、即ち画像の奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像で、その画像信号Ｓｒａｗは例えばＲＧＢ信号であり、例えば８ビットで量子化されている。画像信号Ｓｒａｗ及びＩＳＯ感度情報Ｉｉｓｏは、例えばＨＤＭＩ(High-Definition Multimedia Interface)規格に基づいて、入力信号取得部２１に伝送される。この場合、ＩＳＯ感度情報ＩｉｓｏはＨＤＭＩ‐ＣＥＣ(Consumer Electronics Control)規格に基づいたベンダーコマンドを利用して伝送される。入力信号取得部２１は、ビデオカメラ１から受信した画像信号Ｓｒａｗをスケーリング処理部２２に、ＩＳＯ感度情報Ｉｉｓｏを、強度値調整部２５１及びゲイン値設定部２３３に出力する。スケーリング処理部２２は、入力信号取得部２１より出力された画像信号Ｓｒａｗをステレオ表示装置３の解像度に合わせて拡大縮小処理を施し、その信号Ｓｓｃをノイズ低減部２５に出力する（ステップＳ２）。なお、画像信号Ｓｒａｗの解像度が表示装置３のものと同一である場合、スケーリング処理部２２は上述の拡大縮小処理を行わず、入力信号取得部２１からの画像信号Ｓｒａｗをそのままノイズ低減部２５に出力する。また、画像信号Ｓｒａｗと表示装置３の各解像度が定常的に同一である場合は、図1に示すスケーリング処理部２２を省略して、入力信号取得部２１からの画像信号Ｓｒａｗをそのままノイズ低減部２５に入力してもよい。
【００２３】
強度値調整部２５１は、入力信号取得部２１より出力されたＩＳＯ感度情報Ｉｉｓｏに基づき、画像信号Ｓｒａｗ（又は画像信号ｒａｗ）に含まれるノイズを低減させるための低減強度値を生成する。具体的には、ノイズ低減処理部２５２で行うノイズ低減処理用の強度調整信号Ｉｎｒの値（低減強度値）Ｎｎｒを生成する（ステップＳ３）。この低減強度値Ｎｎｒは、入力されたＩＳＯ感度情報Ｉｉｓｏに対する出力特性曲線Ｎｃに基づいて生成される。図３は本実施の形態の出力特性曲線Ｎｃの一例であり、出力特性曲線Ｎｃは図３に示すように、想定されるＩＳＯ感度の少なくとも一部の範囲に、ＩＳＯ感度の増加に伴って増加する傾向をもつ。出力特性曲線Ｎｃは、複数のＩＳＯ感度ポイントのそれぞれに対する低減強度値Ｎｎｒを規定し、これらの低減強度値Ｎｎｒを線形補間することで得られる。例えば、ＩＳＯ感度ポイントとして、ＩＳＯ０、ＩＳＯ１００、ＩＳＯ２００、ＩＳＯ４００、ＩＳＯ８００、ＩＳＯ１６００を選び、これらに対応する低減強度値Ｎｎｒをｎ０、ｎ１、ｎ２、ｎ３、ｎ４、ｎ５とした場合、隣接する低減強度値ｎ０〜ｎ５間をそれぞれ線形補間することで出力特性曲線Ｎｃが得られる。なお、ＩＳＯ１６００以上の領域ではＩＳＯ１６００以外に任意のＩＳＯ感度ポイントが存在せず線形補間が行えないため、低減強度値Ｎｎｒをｎ５とする。以上の処理により強度値調整部２５１は出力特性曲線Ｎｃを生成し、ＩＳＯ感度情報Ｉｉｓｏに対応する低減強度値Ｎｎｒを示す強度調整信号Ｉｎｒを出力する。
【００２４】
ノイズ低減処理部２５２は、強度調整信号Ｉｎｒに基づき、スケーリング処理部２２により拡大縮小処理が施された画像信号Ｓｓｃに対するノイズ低減処理を行う（ステップＳ４）。図４にノイズ低減処理部２５２のブロック図を示す。入力端子２５２０に入力されたスケーリング処理部２２からの画像信号Ｓｓｃは、減算器２５２１、高域フィルタ（ＨＰＦ）２５２２へ供給される。ＨＰＦ２５２２は画像信号Ｓｓｃの高域成分を取り出し、減算器２５２１及びコアリング回路２５２４へ供給する。減算器２５２１は、映像信号入力端子２５２０から入力された画像信号ＳｓｃからＨＰＦ２５２２から出力された高域成分を減算することにより、入力画像信号Ｓｓｃ中の低域成分を取り出し、加算器２５２５へ供給する。
【００２５】
コアリング回路２５２４は、ＨＰＦ２５２２から出力された画像信号Ｓｓｃの高域成分からコアリング特性曲線に従って閾値Ｔｈの絶対値以下の小レベル成分を除去し、その信号を加算器２５２５へ供給する。図５はコアリング特性曲線の一例であり、横軸は入力信号レベル、縦軸は出力信号レベルを表す。この図に示すように、入力信号の絶対値が閾値Ｔｈの絶対値以下の場合には、出力信号レベルは零となり、入力信号の絶対値が閾値Ｔｈの絶対値よりも大きい時には、入力信号レベルに対応したレベルの出力信号が出力される。ノイズは通常高域成分であり、しかも小レベルなので、これによりノイズが低減される。閾値Ｔｈが大きくなるほど、ノイズ低減効果が高くなる。本実施の形態において、閾値Ｔｈには、強度調整信号Ｉｎｒの低減強度値Ｎｎｒが使用される。従って、低減強度値Ｎｎｒに応じて閾値Ｔｈが定まり、これに応じたノイズ低減効果が得られる。強度調整信号Ｉｎｒは入力端子２５２３に入力され、コアリング回路２５２４に供給される。加算器２５２５は、減算器２５２１からの信号（画像信号Ｓｓｃの低域成分）とコアリング回路２５２４からの信号とを加算し、ノイズ低減された画像信号Ｓｎｒ（以降、ノイズ低減画像信号Ｓｎｒ）を得て出力端子２５２６から出力する。ノイズ低減画像信号Ｓｎｒは、奥行き信号生成部２３の凹凸奥行き推定部２３２及び基本奥行きモデル信号生成部２３１、ステレオペア生成部２４のテクスチャシフト部２４１及び遅延調整部２４４に供給される。
【００２６】
以上の処理により、ノイズ低減部２５は高感度撮影された画像に対して、撮影時のＩＳＯ感度情報に応じて最適なノイズ低減処理を施した画像信号を生成できる。
【００２７】
＜奥行き信号生成部＞
以下の通り、奥行き信号生成部２３では、ＩＳＯ感度情報Ｉｉｓｏ及びノイズ低減画像信号Ｓｎｒに基づいて、画像信号中の各画素の奥行き情報を示す奥行き信号Ｄ＿ｔｏｔａｌが生成される。
【００２８】
基本奥行きモデル信号生成部２３１は、ノイズ低減部２５から出力されたノイズ低減画像信号Ｓｎｒの特徴（即ち、画像内の各被写体の形状及びその位置など）に基づき複数の基本奥行きモデルを合成し、合成基本奥行きモデルを生成する。基本奥行きモデルとは、擬似立体変換を行ううえでの空間形状のモデルであり、ノイズ低減画像信号Ｓｎｒの特徴に応じて複数のモデルを合成させることで、ノイズ低減画像信号Ｓｎｒの構図を立体化するうえでの最適な空間形状モデル（合成基本奥行きモデル）が生成される。合成基本奥行きモデルに基づき、想定した立体空間における各画素の奥行き方向の位置を定義する基本奥行きモデル信号ＤＢを生成する（ステップＳ５）。
【００２９】
基本奥行きモデル信号ＤＢは、例えば８ビット長の信号であり、値が０の場合、その値をもつ画素は当該立体空間で最も奥に位置し、値が２５５の場合にはその画素は立体空間において最も手前に位置することを示す。なお、各基本奥行きモデル及びその合成処理については周知のものでよく、例えば特許文献１の記載（段落〜など）を援用できる。
【００３０】
凹凸奥行き推定部２３２は、ノイズ低減画像信号Ｓｎｒ中の１つの色信号（好適にはＲ信号）に基づき、ノイズ低減画像信号Ｓｎｒ内の各画素位置の凹凸情報（奥行き情報）を表す凹凸奥行き信号（第１の奥行き信号）ＤＥを生成する（ステップＳ６）。凹凸奥行き信号ＤＥは、想定した立体空間において、基本奥行きモデル信号ＤＢにより定義される奥行き方向の位置を画素毎に凹凸させるための位置オフセット量を定義する。凹凸奥行き信号ＤＥは、例えば８ビット長の信号であり、値が０の場合は位置オフセット量が０となり、値が大きいほど奥行き方向の位置がより手前側にオフセットされるようになる。なお、凹凸奥行き信号ＤＥの生成方法については周知のものでよく、例えば特許文献１の記載（段落〜など）を援用できる。
【００３１】
ゲイン値設定部２３３は、入力信号取得部２１より出力されたＩＳＯ感度情報Ｉｉｓｏに基づき、凹凸奥行き推定部２３２より出力された凹凸奥行き信号ＤＥのレベルを変換するためのゲイン値Ｇｎを設定し出力する（ステップＳ７）。即ち、ゲイン値設定部２３３は、入力されたＩＳＯ感度情報Ｉｉｓｏに対応するゲイン値Ｇｎを、図６に示すゲイン値設定曲線Ｇｃに基づいて算出し、この値を出力する。この図に示すように、ゲイン値調整曲線Ｇｃは、想定されるＩＳＯ感度の少なくとも一部の範囲においてＩＳＯ感度が大きくなるにつれてゲイン値Ｇｎが大きくなるような曲線となっている。このゲイン値調整曲線Ｇｃに基づき凹凸奥行き信号レベル変換部２３４でレベル変換を行うことで、ＩＳＯ感度が大きい時に強い強度のノイズ低減処理を施したがために損なわれる立体感を補う。ゲイン値設定曲線Ｇｃは、複数のＩＳＯ感度ポイントに対してゲイン値Ｇｎを規定し、これらのゲイン値Ｇｎを線形補間することで得られる。本実施の形態では、例えば、ＩＳＯ感度ポイントとして、ＩＳＯ０、ＩＳＯ１００、ＩＳＯ２００、ＩＳＯ４００、ＩＳＯ８００、ＩＳＯ１６００を選び、これらに対応するゲイン値Ｇｎをそれぞれｇ０、ｇ１、ｇ２、ｇ３、ｇ４、ｇ５とした場合、隣接するゲイン値ｇ０〜ｇ５間をそれぞれ線形補間することでゲイン値設定曲線Ｇｃが得られる。なお、ＩＳＯ１６００以上の領域ではＩＳＯ１６００以外に任意のＩＳＯ感度ポイントが存在せず線形補間が行えないため、ｇ５のゲインを維持させる。
【００３２】
図１に示す凹凸奥行き信号レベル変換部２３４は、ゲイン値調整部２３３より出力される調整後ゲイン値Ｇｎに基づき凹凸奥行き信号ＤＥのレベルを変換し、レベル変換後凹凸奥行き信号（第２の奥行き信号）ＤＥｇとして出力する（ステップＳ８）。図７に凹凸奥行き信号レベル変換部２３４のレベル変換特性を示す。変換特性は、ＩＳＯ感度が大きいほど、変換後のレベルが大きくなる傾向とした。例えば図７に示すように、ＩＳＯ感度が１６００の場合はＩＳＯ感度が０の場合と比べて、同じ凹凸奥行き信号ＤＥのレベルに対して、レベル変換後凹凸奥行き信号ＤＥｇのレベルが大きな値に変換されるような変換特性とした。
【００３３】
奥行き信号合成部２３５は、基本奥行きモデル信号生成部２３１から出力された基本奥行きモデル信号ＤＢと、凹凸奥行き信号レベル変換部２３４から出力されたレベル変換後凹凸奥行き信号ＤＥｇとを加算することで、奥行き信号Ｄ＿ｔｏｔａｌを生成する（ステップＳ９）。奥行き信号Ｄ＿ｔｏｔａｌは、例えば８ビット長の信号で、基本奥行きモデル信号ＤＢとレベル変換後凹凸奥行き信号ＤＥｇとの加算結果が２５５を超える場合は２５５が上限値として設定され、出力される。
【００３４】
以上の処理により、奥行き信号生成部２３は、ＩＳＯ感度情報に基づきノイズ低減処理の強度を調整した場合でも、立体感を損なわない奥行き信号Ｄ＿ｔｏｔａｌを生成できる。
【００３５】
＜ステレオペア生成部＞
次に、テクスチャシフト部２４１は、奥行き信号生成部２３で生成した奥行き信号Ｄ_ｔｏｔａｌを用いて、ノイズ低減部２５から出力されるノイズ低減画像信号Ｓｎｒに対して別視点の画像を生成する（ステップＳ１０）。例えば、入力するノイズ低減画像信号Ｓｎｒの画像（便宜上、画像Ａと称する）に対して、視点（注視点を見る基点）を左に移動させた視差画像（同様に、画像Ｂと称する）を生成する場合、画像Ａ上の注視点に位置するテクスチャより奥行き方向の位置が手前にあると推定されたテクスチャについては、その箇所の奥行きに応じた量だけ画像Ｂ上でテクスチャを右方向に画素シフトさせる。一方、画像Ａ上の注視点に位置するテクスチャより奥行き方向の位置が奥にあると推定されたテクスチャについては、その箇所の奥行きに応じた量だけ画像Ｂ上でテクスチャを左方向に画素シフトさせる。このようにして生成した画像Ｂを左目用の画像、原画である画像Ａを右目用の画像とすることでステレオペアを構成する。本実施の形態では、例えば、入力画像に対応する奥行き信号Ｄ＿ｔｏｔａｌを８ビット長の信号とし、この奥行き信号Ｄ＿ｔｏｔａｌについて小さい値、即ち想定する立体空間内で相対的に奥に位置するものから順に、その値に対応する部分の入力画像のテクスチャの位置を（Ｄ＿ｔｏｔａｌ−ｍ）画素だけ右にシフトさせる。ここで、ｍは奥行き方向における注視点の位置を定義し、典型的な値は例えば２００などである。この注視点が位置する面を便宜上、基準面と称すると、基準面上のテクスチャの位置は上述の位置変換の前後で変化しない。一方、画像Ａにおいて、このｍよりも大きな奥行き信号Ｄ＿ｔｏｔａｌに対応するテクスチャは基準面よりも手前に位置すると判断される。従って、このテクスチャは画像Ｂにおいて（Ｄ＿ｔｏｔａｌ−ｍ）画素だけ右にシフトする。画像Ａにおいて、このｍよりも小さい奥行き信号Ｄ＿ｔｏｔａｌに対応するテクスチャは、基準面よりも奥に位置すると判断される。従って、このテクスチャは画像Ｂにおいて（ｍ−Ｄ＿ｔｏｔａｌ）画素だけ左にシフトする。
【００３６】
上述のテクスチャの位置変換に当たり、変換対象となる入力画像上で奥のテクスチャがその手前のテクスチャによって遮られて視認できない、所謂オクルージョンが発生している場合がある。このオクルージョンが発生している部分については、オクルージョン補償部２４２において、入力画像の対応部分で補填する（ステップＳ１１）。なお、この補填に関しては、公知の文献（山田邦男，望月研二，相澤清晴，齊藤隆弘：”領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償"，映像情報メディア学会誌，Vol.56, No.5, pp.863-866 (2002年5月)）に記載の手法を採用してもよい。
【００３７】
その後、ポスト処理部２４３で平滑化などのポスト処理を行うことにより、ポスト処理部２４３の処理以前の処理において発生したノイズなどを軽減する（ステップＳ１２）。
【００３８】
以上の処理、手順により、別視点の画像信号を生成できる。
【００３９】
そして、遅延調整部２４４は、別視点の画像信号を生成する基となった入力画像信号Ｓｎｒ（ノイズ低減画像信号Ｓｎｒ）の出力を、メモリを用いて別視点画像信号の生成処理に掛かった時間分だけ遅延させることでタイミング調整を行ったのち（ステップＳ１３）、生成した別視点の画像信号を左目用の画像信号とし、タイミング調整した入力画像信号Ｓｎｒを右目用の画像信号として、ステレオペアを生成する（ステップＳ１４）。
【００４０】
なお、本実施の形態においては、入力画像信号Ｓｎｒを右目用の画像信号、生成した別視点画像信号を左目用の画像信号とするステレオペアを構成しているが、テクスチャシフト部２４１で上記した画素の移動を反転させることで、入力画像信号Ｓｎｒを左目用の画像信号、別視点画像信号を右目用の画像信号とするステレオペアを構成することも可能である。また、左右どちらの画像信号についても別視点画像信号を用いる、すなわち入力画像信号Ｓｎｒから視点を右及び左にそれぞれ移動させた２つの別視点画像信号を用いてステレオペアを構成することも可能である。以上の処理により、ステレオペアを構成できる。
【００４１】
これまでに述べた入力信号取得部２１、スケーリング処理部２２、ノイズ低減部２５、奥行き信号生成部２３、ステレオペア生成部２４により、本発明に係る非立体画像を擬似立体画像として立体視することを可能にする擬似立体画像を生成する擬似立体画像生成装置２を実現することができ、この擬似立体画像生成装置２とステレオ表示装置３を組み合わせることにより、擬似立体画像表示システムを構成することができる。
【００４２】
ステレオ表示装置３とは、偏光メガネを用いたプロジェクションシステム、時分割表示と液晶シャッタメガネを組み合わせたプロジェクションシステム若しくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイなどを含む。特にステレオ画像の各画像に対応した２台のプロジェクタによるプロジェクタシステムを含む。
【００４３】
なお、本実施例ではステレオペア生成部として２視点での例を説明しているが、２視点以上の任意の視点数に応じた数の別視点画像を生成する複数視点画像生成装置を構成することも可能であり、２視点以上の表示が可能な表示装置と組み合わせることで多視点立体映像表示システムの構築も可能である。また、本立体表示システムにおいては音声出力を装備する形態のものも考えられる。この場合、静止画等音声情報を持たない映像コンテンツについては、映像にふさわしい環境音を付加するような態様のものが考えられる。
【００４４】
なお、本発明は、ハードウェアにより図１の構成の擬似立体画像作成装置を構成する場合に限定されるものではなく、コンピュータプログラムによるソフトウェアにより擬似立体画像作成を行うこともできる。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。
【００４５】
本発明によれば、擬似立体画像生成を行う前に、映像信号を取得すると同時に映像撮影情報としてＩＳＯ感度情報を取得し、ＩＳＯ感度に応じてＩＳＯ感度が大きくなるほどに値が大きくなるように可変させたノイズ低減強度を用いて映像信号のノイズ低減処理が行われる。従って、ＩＳＯ感度が大きかった場合すなわちランダムノイズが多い場合に生じる擬似立体視上の違和感を低減すると共に、ＩＳＯ感度に応じてＩＳＯ感度が大きくなるほどに値が大きくなるように可変させた凹凸奥行き信号のゲイン値に基づき、ノイズ低減された映像信号に対して擬似立体画像生成を行うことで、ノイズ低減処理により生じる擬似立体視上の立体感の低下を補うことが可能となる。
【符号の説明】
【００４６】
１…ビデオカメラ、２…擬似立体画像生成装置、２１…入力信号取得部、２２…スケーリング処理部、２３…奥行き信号生成部、２３１…基本奥行きモデル信号生成部、２３２…凹凸奥行き推定部、２３３…ゲイン値設定部、２３４…凹凸奥行き信号レベル変換部、２３５…奥行き信号合成部、２４…ステレオペア生成部、２４１…テクスチャシフト部、２４２…オクルージョン補償部、２４３…ポスト処理部、２４４…遅延調整部、２５…ノイズ低減部、２５１…強度値調整部、２５２…ノイズ低減処理部、３…ステレオ表示装置
【技術分野】
【０００１】
本発明は、通常の静止画もしくは動画、即ち奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から奥行き信号を生成し、この奥行き信号をもとにした処理を非立体画像に施すことで、立体感を感じさせる画像を生成し、出力する奥行き信号生成装置、擬似立体画像生成装置、奥行き信号生成方法、および擬似立体画像生成方法に関する。
【背景技術】
【０００２】
立体表示システムにおいては、非立体画像の擬似立体視による鑑賞を可能にするために、通常の静止画もしくは動画、即ち立体を表す為の奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から、擬似的な立体化画像を生成する処理が行われる。
【０００３】
このような技術の一例として、例えば特許文献１に記載の技術のような、複数の基本奥行きモデルを入力非立体画像の特徴に応じて合成した基本奥行きモデル信号と非立体画像のＲ信号（赤色信号）から算出する凹凸奥行き信号とを重畳して生成した奥行き推定信号に基づき立体化画像を生成するアプローチが知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４２１４５２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
立体表示システムには、日中に外で撮影されたノイズのない映像から夜間や室内などの暗部で撮影されたノイズの多い映像まで様々な映像が入力される。後者の暗部での映像には高感度撮影が用いられている。高感度撮影では、ＩＳＯ感度を上げるにつれてランダムノイズ量が増えていくことが知られている。ランダムノイズの多い映像に対して特許文献１に代表されるような擬似立体画像生成技術を適用させると、ランダムノイズの成分を基に凹凸奥行き信号が算出されるため、全体的にランダムに凸凹したような立体画像として変換されてしまい、擬似立体視時の違和感に繋がる。
【０００６】
この課題を解決する方法として、擬似立体画像生成を行う前に、コアリング型ノイズ低減回路に代表されるノイズ低減回路によってランダムノイズを低減させる方法が挙げられる。ノイズ低減処理工程において、映像撮影時のＩＳＯ感度情報に応じてノイズ低減強度を可変させれば、どんなＩＳＯ感度で撮影された映像であっても、最適なノイズ低減処理を施したのち、擬似立体画像生成を行うことが可能となる。しかしながら、ノイズ低減回路のノイズ低減強度を強くしていくと、画像情報から高域成分情報が失われていき、そのような画像に対し擬似立体画像生成を行っても擬似立体視時の立体感が損なわれてしまう。
【０００７】
このような問題を鑑み、本発明は、ランダムノイズが増加しやすい感度で撮影された画像についても違和感の無い擬似立体像を生成することが可能な、奥行き信号生成装置、擬似立体画像生成装置、奥行き信号生成方法、および擬似立体画像生成方法の提供を目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の態様は奥行き信号生成装置であって、画像信号（Ｓｒａｗ，Ｓｓｃ）と前記画像信号（Ｓｒａｗ，Ｓｓｃ）が撮影された時の感度情報（Ｉｉｓｏ）とを取得する入力信号取得部（２１）と、前記感度情報（Ｓｒａｗ，Ｓｓｃ）に基づき画像信号に含まれるノイズを低減させるための低減強度値（Ｎｎｒ）を生成する強度値調整部（２５１）と、前記低減強度値（Ｎｎｒ）に基づき前記画像信号（Ｓｒａｗ，Ｓｓｃ）に対してノイズ低減処理を施すノイズ低減部（２５２）と、前記感度情報（Ｉｉｓｏ）及び前記ノイズ低減部（２５２）によりノイズ低減された画像信号（Ｓｎｒ）に基づき前記画像信号（Ｓｎｒ）中の各画素の奥行き情報を示す奥行き信号（Ｄ＿ｔｏｔａｌ）を生成する奥行き信号生成部（２３）とを有することを要旨とする。
【０００９】
前記奥行き信号生成部（２３）は、前記ノイズ低減された画像信号（Ｓｎｒ）に基づき各画素の奥行きを示す第１の奥行き信号（ＤＥ）を生成する奥行き推定部（２３２）と、前記第１の奥行き信号（ＤＥ）のレベルを変換するためのゲイン値（Ｇｎ）を前記感度情報（Ｉｉｓｏ）に基づき設定するゲイン値設定部（２３３）と、設定された前記ゲイン値（Ｇｎ）に基づき前記第１の奥行き信号（ＤＥ）のレベルを変換した第２の奥行き信号（ＤＥｇ）を出力する奥行き信号レベル変換部（２３４）とを有することが好ましい。
【００１０】
本発明の第２の態様は擬似立体画像生成装置であって、前記第１の態様に記載の奥行き信号生成部（２３）から出力された奥行き信号（Ｄ＿ｔｏｔａｌ）に応じて、前記ノイズ低減部（２５）によりノイズ低減された画像信号（Ｓｎｒ）のテクスチャをシフトさせた別視点画像信号を生成し出力する別視点画像生成部（２４）を有することを要旨とする。
【００１１】
本発明の第３の態様は奥行き信号生成方法であって、画像信号と前記画像信号が撮影された時の感度情報とを取得し、前記感度情報に基づき画像信号に含まれるノイズを低減させるための低減強度値を生成し、前記低減強度値に基づき前記画像信号に対してノイズ低減処理を施し、前記感度情報及び前記ノイズ低減処理によりノイズ低減された画像信号に基づいて、前記画像信号中の各画素の奥行きを示す奥行き信号を出力することを要旨とする。
【００１２】
前記第３の態様に係る信号生成方法では、前記ノイズ低減された画像信号に基づいて、各画素の奥行きを示す第１の奥行き信号を生成し、前記第１の奥行き信号のレベルを変換するためのゲイン値を前記感度情報に基づき設定し、設定された前記ゲイン値に基づき前記第１の奥行き信号のレベルを変換した第２の奥行き信号を出力することが好ましい。
【００１３】
本発明の第４の態様は擬似立体画像生成方法であって、前記第３の態様の奥行き信号生成方法によって出力された奥行き信号に応じて、ノイズ低減された画像信号のテクスチャをシフトさせた別視点画像信号を生成し出力することを要旨とする。
【発明の効果】
【００１４】
本発明によれば、ランダムノイズが増加しやすい感度で撮影された画像についても違和感の無い擬似立体像を生成することが可能な、奥行き信号生成装置、擬似立体画像生成装置、奥行き信号生成方法、および擬似立体画像生成方法を提供できる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施の形態に係る擬似立体画像生成装置のブロック図である。
【図２】本発明の一実施の形態における処理の流れを示すフローチャートである。
【図３】本発明の一実施の形態の強度値調整部の出力特性曲線の一例である。
【図４】本発明の一実施の形態のノイズ低減処理部の一例を示すブロック図である。
【図５】本発明の一実施の形態のコアリング回路の出力特性曲線の一例である。
【図６】本発明の一実施の形態の凹凸奥行き信号ゲイン調整部で生成するゲイン曲線の一例である。
【図７】本発明の一実施の形態のゲイン調整部で行われるゲイン調整処理の一例である。
【発明を実施するための形態】
【００１６】
＜装置の構成＞
本発明の一実施の形態について図面と共に説明する。図１は本実施の形態に係る擬似立体画像生成装置のブロック図である。また、図２は本実施の形態における処理の流れを示すフローチャートである。
【００１７】
図１において、本実施の形態に係る擬似立体画像生成装置２は、入力信号取得部２１と、スケーリング処理部２２と、ノイズ低減部２５と、奥行き信号生成部２３と、ステレオペア生成部（別視点画像生成部）２４とを備えている。
【００１８】
ノイズ低減部２５は、強度値調整部２５１とノイズ低減処理部２５２とを備えている。
【００１９】
奥行き信号生成部２３は、基本奥行きモデル信号生成部２３１と、凹凸奥行き推定部２３２と、ゲイン値設定部２３３と、凹凸奥行き信号レベル変換部２３４と、奥行き信号合成部２３５とを備えている。
【００２０】
ステレオペア生成部２４は、テクスチャシフト部２４１と、オクルージョン補償部２４２と、ポスト処理部２４３と、遅延調整部２４４とを備えている。
【００２１】
＜処理の詳細説明＞
＜ノイズ低減部＞
次に、擬似立体画像生成装置２の動作について図２のフローチャートと共に詳細に説明する。
【００２２】
まず、画像信号送信機であるビデオカメラ１から、擬似立体化を行う対象である非立体画像の画像信号Ｓｒａｗ及びその画像が撮影された際に設定されたＩＳＯ感度の情報Ｉｉｓｏを入力信号取得部２１で受信する（ステップＳ１）。非立体画像は、通常の静止画もしくは動画、即ち画像の奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像で、その画像信号Ｓｒａｗは例えばＲＧＢ信号であり、例えば８ビットで量子化されている。画像信号Ｓｒａｗ及びＩＳＯ感度情報Ｉｉｓｏは、例えばＨＤＭＩ(High-Definition Multimedia Interface)規格に基づいて、入力信号取得部２１に伝送される。この場合、ＩＳＯ感度情報ＩｉｓｏはＨＤＭＩ‐ＣＥＣ(Consumer Electronics Control)規格に基づいたベンダーコマンドを利用して伝送される。入力信号取得部２１は、ビデオカメラ１から受信した画像信号Ｓｒａｗをスケーリング処理部２２に、ＩＳＯ感度情報Ｉｉｓｏを、強度値調整部２５１及びゲイン値設定部２３３に出力する。スケーリング処理部２２は、入力信号取得部２１より出力された画像信号Ｓｒａｗをステレオ表示装置３の解像度に合わせて拡大縮小処理を施し、その信号Ｓｓｃをノイズ低減部２５に出力する（ステップＳ２）。なお、画像信号Ｓｒａｗの解像度が表示装置３のものと同一である場合、スケーリング処理部２２は上述の拡大縮小処理を行わず、入力信号取得部２１からの画像信号Ｓｒａｗをそのままノイズ低減部２５に出力する。また、画像信号Ｓｒａｗと表示装置３の各解像度が定常的に同一である場合は、図1に示すスケーリング処理部２２を省略して、入力信号取得部２１からの画像信号Ｓｒａｗをそのままノイズ低減部２５に入力してもよい。
【００２３】
強度値調整部２５１は、入力信号取得部２１より出力されたＩＳＯ感度情報Ｉｉｓｏに基づき、画像信号Ｓｒａｗ（又は画像信号ｒａｗ）に含まれるノイズを低減させるための低減強度値を生成する。具体的には、ノイズ低減処理部２５２で行うノイズ低減処理用の強度調整信号Ｉｎｒの値（低減強度値）Ｎｎｒを生成する（ステップＳ３）。この低減強度値Ｎｎｒは、入力されたＩＳＯ感度情報Ｉｉｓｏに対する出力特性曲線Ｎｃに基づいて生成される。図３は本実施の形態の出力特性曲線Ｎｃの一例であり、出力特性曲線Ｎｃは図３に示すように、想定されるＩＳＯ感度の少なくとも一部の範囲に、ＩＳＯ感度の増加に伴って増加する傾向をもつ。出力特性曲線Ｎｃは、複数のＩＳＯ感度ポイントのそれぞれに対する低減強度値Ｎｎｒを規定し、これらの低減強度値Ｎｎｒを線形補間することで得られる。例えば、ＩＳＯ感度ポイントとして、ＩＳＯ０、ＩＳＯ１００、ＩＳＯ２００、ＩＳＯ４００、ＩＳＯ８００、ＩＳＯ１６００を選び、これらに対応する低減強度値Ｎｎｒをｎ０、ｎ１、ｎ２、ｎ３、ｎ４、ｎ５とした場合、隣接する低減強度値ｎ０〜ｎ５間をそれぞれ線形補間することで出力特性曲線Ｎｃが得られる。なお、ＩＳＯ１６００以上の領域ではＩＳＯ１６００以外に任意のＩＳＯ感度ポイントが存在せず線形補間が行えないため、低減強度値Ｎｎｒをｎ５とする。以上の処理により強度値調整部２５１は出力特性曲線Ｎｃを生成し、ＩＳＯ感度情報Ｉｉｓｏに対応する低減強度値Ｎｎｒを示す強度調整信号Ｉｎｒを出力する。
【００２４】
ノイズ低減処理部２５２は、強度調整信号Ｉｎｒに基づき、スケーリング処理部２２により拡大縮小処理が施された画像信号Ｓｓｃに対するノイズ低減処理を行う（ステップＳ４）。図４にノイズ低減処理部２５２のブロック図を示す。入力端子２５２０に入力されたスケーリング処理部２２からの画像信号Ｓｓｃは、減算器２５２１、高域フィルタ（ＨＰＦ）２５２２へ供給される。ＨＰＦ２５２２は画像信号Ｓｓｃの高域成分を取り出し、減算器２５２１及びコアリング回路２５２４へ供給する。減算器２５２１は、映像信号入力端子２５２０から入力された画像信号ＳｓｃからＨＰＦ２５２２から出力された高域成分を減算することにより、入力画像信号Ｓｓｃ中の低域成分を取り出し、加算器２５２５へ供給する。
【００２５】
コアリング回路２５２４は、ＨＰＦ２５２２から出力された画像信号Ｓｓｃの高域成分からコアリング特性曲線に従って閾値Ｔｈの絶対値以下の小レベル成分を除去し、その信号を加算器２５２５へ供給する。図５はコアリング特性曲線の一例であり、横軸は入力信号レベル、縦軸は出力信号レベルを表す。この図に示すように、入力信号の絶対値が閾値Ｔｈの絶対値以下の場合には、出力信号レベルは零となり、入力信号の絶対値が閾値Ｔｈの絶対値よりも大きい時には、入力信号レベルに対応したレベルの出力信号が出力される。ノイズは通常高域成分であり、しかも小レベルなので、これによりノイズが低減される。閾値Ｔｈが大きくなるほど、ノイズ低減効果が高くなる。本実施の形態において、閾値Ｔｈには、強度調整信号Ｉｎｒの低減強度値Ｎｎｒが使用される。従って、低減強度値Ｎｎｒに応じて閾値Ｔｈが定まり、これに応じたノイズ低減効果が得られる。強度調整信号Ｉｎｒは入力端子２５２３に入力され、コアリング回路２５２４に供給される。加算器２５２５は、減算器２５２１からの信号（画像信号Ｓｓｃの低域成分）とコアリング回路２５２４からの信号とを加算し、ノイズ低減された画像信号Ｓｎｒ（以降、ノイズ低減画像信号Ｓｎｒ）を得て出力端子２５２６から出力する。ノイズ低減画像信号Ｓｎｒは、奥行き信号生成部２３の凹凸奥行き推定部２３２及び基本奥行きモデル信号生成部２３１、ステレオペア生成部２４のテクスチャシフト部２４１及び遅延調整部２４４に供給される。
【００２６】
以上の処理により、ノイズ低減部２５は高感度撮影された画像に対して、撮影時のＩＳＯ感度情報に応じて最適なノイズ低減処理を施した画像信号を生成できる。
【００２７】
＜奥行き信号生成部＞
以下の通り、奥行き信号生成部２３では、ＩＳＯ感度情報Ｉｉｓｏ及びノイズ低減画像信号Ｓｎｒに基づいて、画像信号中の各画素の奥行き情報を示す奥行き信号Ｄ＿ｔｏｔａｌが生成される。
【００２８】
基本奥行きモデル信号生成部２３１は、ノイズ低減部２５から出力されたノイズ低減画像信号Ｓｎｒの特徴（即ち、画像内の各被写体の形状及びその位置など）に基づき複数の基本奥行きモデルを合成し、合成基本奥行きモデルを生成する。基本奥行きモデルとは、擬似立体変換を行ううえでの空間形状のモデルであり、ノイズ低減画像信号Ｓｎｒの特徴に応じて複数のモデルを合成させることで、ノイズ低減画像信号Ｓｎｒの構図を立体化するうえでの最適な空間形状モデル（合成基本奥行きモデル）が生成される。合成基本奥行きモデルに基づき、想定した立体空間における各画素の奥行き方向の位置を定義する基本奥行きモデル信号ＤＢを生成する（ステップＳ５）。
【００２９】
基本奥行きモデル信号ＤＢは、例えば８ビット長の信号であり、値が０の場合、その値をもつ画素は当該立体空間で最も奥に位置し、値が２５５の場合にはその画素は立体空間において最も手前に位置することを示す。なお、各基本奥行きモデル及びその合成処理については周知のものでよく、例えば特許文献１の記載（段落〜など）を援用できる。
【００３０】
凹凸奥行き推定部２３２は、ノイズ低減画像信号Ｓｎｒ中の１つの色信号（好適にはＲ信号）に基づき、ノイズ低減画像信号Ｓｎｒ内の各画素位置の凹凸情報（奥行き情報）を表す凹凸奥行き信号（第１の奥行き信号）ＤＥを生成する（ステップＳ６）。凹凸奥行き信号ＤＥは、想定した立体空間において、基本奥行きモデル信号ＤＢにより定義される奥行き方向の位置を画素毎に凹凸させるための位置オフセット量を定義する。凹凸奥行き信号ＤＥは、例えば８ビット長の信号であり、値が０の場合は位置オフセット量が０となり、値が大きいほど奥行き方向の位置がより手前側にオフセットされるようになる。なお、凹凸奥行き信号ＤＥの生成方法については周知のものでよく、例えば特許文献１の記載（段落〜など）を援用できる。
【００３１】
ゲイン値設定部２３３は、入力信号取得部２１より出力されたＩＳＯ感度情報Ｉｉｓｏに基づき、凹凸奥行き推定部２３２より出力された凹凸奥行き信号ＤＥのレベルを変換するためのゲイン値Ｇｎを設定し出力する（ステップＳ７）。即ち、ゲイン値設定部２３３は、入力されたＩＳＯ感度情報Ｉｉｓｏに対応するゲイン値Ｇｎを、図６に示すゲイン値設定曲線Ｇｃに基づいて算出し、この値を出力する。この図に示すように、ゲイン値調整曲線Ｇｃは、想定されるＩＳＯ感度の少なくとも一部の範囲においてＩＳＯ感度が大きくなるにつれてゲイン値Ｇｎが大きくなるような曲線となっている。このゲイン値調整曲線Ｇｃに基づき凹凸奥行き信号レベル変換部２３４でレベル変換を行うことで、ＩＳＯ感度が大きい時に強い強度のノイズ低減処理を施したがために損なわれる立体感を補う。ゲイン値設定曲線Ｇｃは、複数のＩＳＯ感度ポイントに対してゲイン値Ｇｎを規定し、これらのゲイン値Ｇｎを線形補間することで得られる。本実施の形態では、例えば、ＩＳＯ感度ポイントとして、ＩＳＯ０、ＩＳＯ１００、ＩＳＯ２００、ＩＳＯ４００、ＩＳＯ８００、ＩＳＯ１６００を選び、これらに対応するゲイン値Ｇｎをそれぞれｇ０、ｇ１、ｇ２、ｇ３、ｇ４、ｇ５とした場合、隣接するゲイン値ｇ０〜ｇ５間をそれぞれ線形補間することでゲイン値設定曲線Ｇｃが得られる。なお、ＩＳＯ１６００以上の領域ではＩＳＯ１６００以外に任意のＩＳＯ感度ポイントが存在せず線形補間が行えないため、ｇ５のゲインを維持させる。
【００３２】
図１に示す凹凸奥行き信号レベル変換部２３４は、ゲイン値調整部２３３より出力される調整後ゲイン値Ｇｎに基づき凹凸奥行き信号ＤＥのレベルを変換し、レベル変換後凹凸奥行き信号（第２の奥行き信号）ＤＥｇとして出力する（ステップＳ８）。図７に凹凸奥行き信号レベル変換部２３４のレベル変換特性を示す。変換特性は、ＩＳＯ感度が大きいほど、変換後のレベルが大きくなる傾向とした。例えば図７に示すように、ＩＳＯ感度が１６００の場合はＩＳＯ感度が０の場合と比べて、同じ凹凸奥行き信号ＤＥのレベルに対して、レベル変換後凹凸奥行き信号ＤＥｇのレベルが大きな値に変換されるような変換特性とした。
【００３３】
奥行き信号合成部２３５は、基本奥行きモデル信号生成部２３１から出力された基本奥行きモデル信号ＤＢと、凹凸奥行き信号レベル変換部２３４から出力されたレベル変換後凹凸奥行き信号ＤＥｇとを加算することで、奥行き信号Ｄ＿ｔｏｔａｌを生成する（ステップＳ９）。奥行き信号Ｄ＿ｔｏｔａｌは、例えば８ビット長の信号で、基本奥行きモデル信号ＤＢとレベル変換後凹凸奥行き信号ＤＥｇとの加算結果が２５５を超える場合は２５５が上限値として設定され、出力される。
【００３４】
以上の処理により、奥行き信号生成部２３は、ＩＳＯ感度情報に基づきノイズ低減処理の強度を調整した場合でも、立体感を損なわない奥行き信号Ｄ＿ｔｏｔａｌを生成できる。
【００３５】
＜ステレオペア生成部＞
次に、テクスチャシフト部２４１は、奥行き信号生成部２３で生成した奥行き信号Ｄ_ｔｏｔａｌを用いて、ノイズ低減部２５から出力されるノイズ低減画像信号Ｓｎｒに対して別視点の画像を生成する（ステップＳ１０）。例えば、入力するノイズ低減画像信号Ｓｎｒの画像（便宜上、画像Ａと称する）に対して、視点（注視点を見る基点）を左に移動させた視差画像（同様に、画像Ｂと称する）を生成する場合、画像Ａ上の注視点に位置するテクスチャより奥行き方向の位置が手前にあると推定されたテクスチャについては、その箇所の奥行きに応じた量だけ画像Ｂ上でテクスチャを右方向に画素シフトさせる。一方、画像Ａ上の注視点に位置するテクスチャより奥行き方向の位置が奥にあると推定されたテクスチャについては、その箇所の奥行きに応じた量だけ画像Ｂ上でテクスチャを左方向に画素シフトさせる。このようにして生成した画像Ｂを左目用の画像、原画である画像Ａを右目用の画像とすることでステレオペアを構成する。本実施の形態では、例えば、入力画像に対応する奥行き信号Ｄ＿ｔｏｔａｌを８ビット長の信号とし、この奥行き信号Ｄ＿ｔｏｔａｌについて小さい値、即ち想定する立体空間内で相対的に奥に位置するものから順に、その値に対応する部分の入力画像のテクスチャの位置を（Ｄ＿ｔｏｔａｌ−ｍ）画素だけ右にシフトさせる。ここで、ｍは奥行き方向における注視点の位置を定義し、典型的な値は例えば２００などである。この注視点が位置する面を便宜上、基準面と称すると、基準面上のテクスチャの位置は上述の位置変換の前後で変化しない。一方、画像Ａにおいて、このｍよりも大きな奥行き信号Ｄ＿ｔｏｔａｌに対応するテクスチャは基準面よりも手前に位置すると判断される。従って、このテクスチャは画像Ｂにおいて（Ｄ＿ｔｏｔａｌ−ｍ）画素だけ右にシフトする。画像Ａにおいて、このｍよりも小さい奥行き信号Ｄ＿ｔｏｔａｌに対応するテクスチャは、基準面よりも奥に位置すると判断される。従って、このテクスチャは画像Ｂにおいて（ｍ−Ｄ＿ｔｏｔａｌ）画素だけ左にシフトする。
【００３６】
上述のテクスチャの位置変換に当たり、変換対象となる入力画像上で奥のテクスチャがその手前のテクスチャによって遮られて視認できない、所謂オクルージョンが発生している場合がある。このオクルージョンが発生している部分については、オクルージョン補償部２４２において、入力画像の対応部分で補填する（ステップＳ１１）。なお、この補填に関しては、公知の文献（山田邦男，望月研二，相澤清晴，齊藤隆弘：”領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償"，映像情報メディア学会誌，Vol.56, No.5, pp.863-866 (2002年5月)）に記載の手法を採用してもよい。
【００３７】
その後、ポスト処理部２４３で平滑化などのポスト処理を行うことにより、ポスト処理部２４３の処理以前の処理において発生したノイズなどを軽減する（ステップＳ１２）。
【００３８】
以上の処理、手順により、別視点の画像信号を生成できる。
【００３９】
そして、遅延調整部２４４は、別視点の画像信号を生成する基となった入力画像信号Ｓｎｒ（ノイズ低減画像信号Ｓｎｒ）の出力を、メモリを用いて別視点画像信号の生成処理に掛かった時間分だけ遅延させることでタイミング調整を行ったのち（ステップＳ１３）、生成した別視点の画像信号を左目用の画像信号とし、タイミング調整した入力画像信号Ｓｎｒを右目用の画像信号として、ステレオペアを生成する（ステップＳ１４）。
【００４０】
なお、本実施の形態においては、入力画像信号Ｓｎｒを右目用の画像信号、生成した別視点画像信号を左目用の画像信号とするステレオペアを構成しているが、テクスチャシフト部２４１で上記した画素の移動を反転させることで、入力画像信号Ｓｎｒを左目用の画像信号、別視点画像信号を右目用の画像信号とするステレオペアを構成することも可能である。また、左右どちらの画像信号についても別視点画像信号を用いる、すなわち入力画像信号Ｓｎｒから視点を右及び左にそれぞれ移動させた２つの別視点画像信号を用いてステレオペアを構成することも可能である。以上の処理により、ステレオペアを構成できる。
【００４１】
これまでに述べた入力信号取得部２１、スケーリング処理部２２、ノイズ低減部２５、奥行き信号生成部２３、ステレオペア生成部２４により、本発明に係る非立体画像を擬似立体画像として立体視することを可能にする擬似立体画像を生成する擬似立体画像生成装置２を実現することができ、この擬似立体画像生成装置２とステレオ表示装置３を組み合わせることにより、擬似立体画像表示システムを構成することができる。
【００４２】
ステレオ表示装置３とは、偏光メガネを用いたプロジェクションシステム、時分割表示と液晶シャッタメガネを組み合わせたプロジェクションシステム若しくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイなどを含む。特にステレオ画像の各画像に対応した２台のプロジェクタによるプロジェクタシステムを含む。
【００４３】
なお、本実施例ではステレオペア生成部として２視点での例を説明しているが、２視点以上の任意の視点数に応じた数の別視点画像を生成する複数視点画像生成装置を構成することも可能であり、２視点以上の表示が可能な表示装置と組み合わせることで多視点立体映像表示システムの構築も可能である。また、本立体表示システムにおいては音声出力を装備する形態のものも考えられる。この場合、静止画等音声情報を持たない映像コンテンツについては、映像にふさわしい環境音を付加するような態様のものが考えられる。
【００４４】
なお、本発明は、ハードウェアにより図１の構成の擬似立体画像作成装置を構成する場合に限定されるものではなく、コンピュータプログラムによるソフトウェアにより擬似立体画像作成を行うこともできる。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。
【００４５】
本発明によれば、擬似立体画像生成を行う前に、映像信号を取得すると同時に映像撮影情報としてＩＳＯ感度情報を取得し、ＩＳＯ感度に応じてＩＳＯ感度が大きくなるほどに値が大きくなるように可変させたノイズ低減強度を用いて映像信号のノイズ低減処理が行われる。従って、ＩＳＯ感度が大きかった場合すなわちランダムノイズが多い場合に生じる擬似立体視上の違和感を低減すると共に、ＩＳＯ感度に応じてＩＳＯ感度が大きくなるほどに値が大きくなるように可変させた凹凸奥行き信号のゲイン値に基づき、ノイズ低減された映像信号に対して擬似立体画像生成を行うことで、ノイズ低減処理により生じる擬似立体視上の立体感の低下を補うことが可能となる。
【符号の説明】
【００４６】
１…ビデオカメラ、２…擬似立体画像生成装置、２１…入力信号取得部、２２…スケーリング処理部、２３…奥行き信号生成部、２３１…基本奥行きモデル信号生成部、２３２…凹凸奥行き推定部、２３３…ゲイン値設定部、２３４…凹凸奥行き信号レベル変換部、２３５…奥行き信号合成部、２４…ステレオペア生成部、２４１…テクスチャシフト部、２４２…オクルージョン補償部、２４３…ポスト処理部、２４４…遅延調整部、２５…ノイズ低減部、２５１…強度値調整部、２５２…ノイズ低減処理部、３…ステレオ表示装置
【特許請求の範囲】
【請求項１】
画像信号と前記画像信号が撮影された時の感度情報とを取得する入力信号取得部と、
前記感度情報に基づき画像信号に含まれるノイズを低減させるための低減強度値を生成する強度値調整部と、
前記低減強度値に基づき前記画像信号に対してノイズ低減処理を施すノイズ低減部と、
前記感度情報及び前記ノイズ低減部によりノイズ低減された画像信号に基づき前記画像信号中の各画素の奥行き情報を示す奥行き信号を生成する奥行き信号生成部と
を有することを特徴とする奥行き信号生成装置。
【請求項２】
前記奥行き信号生成部は、
前記ノイズ低減された画像信号に基づき各画素の奥行きを示す第１の奥行き信号を生成する奥行き推定部と、
前記第１の奥行き信号のレベルを変換するためのゲイン値を前記感度情報に基づき設定するゲイン値設定部と、
設定された前記ゲイン値に基づき前記第１の奥行き信号のレベルを変換した第２の奥行き信号を出力する奥行き信号レベル変換部と、
を有することを特徴とする請求項１記載の奥行き信号生成装置。
【請求項３】
請求項１に記載の奥行き信号生成部から出力された奥行き信号に応じて、前記ノイズ低減部によりノイズ低減された画像信号のテクスチャをシフトさせた別視点画像信号を生成し出力する別視点画像生成部、
を有することを特徴とする擬似立体画像生成装置。
【請求項４】
画像信号と前記画像信号が撮影された時の感度情報とを取得し、
前記感度情報に基づき画像信号に含まれるノイズを低減させるための低減強度値を生成し、
前記低減強度値に基づき前記画像信号に対してノイズ低減処理を施し、
前記感度情報及び前記ノイズ低減処理によりノイズ低減された画像信号に基づいて、前記画像信号中の各画素の奥行きを示す奥行き信号を出力する
ことを特徴とする奥行き信号生成方法。
【請求項５】
前記ノイズ低減された画像信号に基づいて、各画素の奥行きを示す第１の奥行き信号を生成し、
前記第１の奥行き信号のレベルを変換するためのゲイン値を前記感度情報に基づき設定し、
設定された前記ゲイン値に基づき前記第１の奥行き信号のレベルを変換した第２の奥行き信号を出力する
ことを特徴とする請求項４記載の奥行き信号生成方法。
【請求項６】
請求項４の奥行き信号生成方法によって出力された奥行き信号に応じて、ノイズ低減された画像信号のテクスチャをシフトさせた別視点画像信号を生成し出力する
ことを特徴とする擬似立体画像生成方法。
【請求項１】
画像信号と前記画像信号が撮影された時の感度情報とを取得する入力信号取得部と、
前記感度情報に基づき画像信号に含まれるノイズを低減させるための低減強度値を生成する強度値調整部と、
前記低減強度値に基づき前記画像信号に対してノイズ低減処理を施すノイズ低減部と、
前記感度情報及び前記ノイズ低減部によりノイズ低減された画像信号に基づき前記画像信号中の各画素の奥行き情報を示す奥行き信号を生成する奥行き信号生成部と
を有することを特徴とする奥行き信号生成装置。
【請求項２】
前記奥行き信号生成部は、
前記ノイズ低減された画像信号に基づき各画素の奥行きを示す第１の奥行き信号を生成する奥行き推定部と、
前記第１の奥行き信号のレベルを変換するためのゲイン値を前記感度情報に基づき設定するゲイン値設定部と、
設定された前記ゲイン値に基づき前記第１の奥行き信号のレベルを変換した第２の奥行き信号を出力する奥行き信号レベル変換部と、
を有することを特徴とする請求項１記載の奥行き信号生成装置。
【請求項３】
請求項１に記載の奥行き信号生成部から出力された奥行き信号に応じて、前記ノイズ低減部によりノイズ低減された画像信号のテクスチャをシフトさせた別視点画像信号を生成し出力する別視点画像生成部、
を有することを特徴とする擬似立体画像生成装置。
【請求項４】
画像信号と前記画像信号が撮影された時の感度情報とを取得し、
前記感度情報に基づき画像信号に含まれるノイズを低減させるための低減強度値を生成し、
前記低減強度値に基づき前記画像信号に対してノイズ低減処理を施し、
前記感度情報及び前記ノイズ低減処理によりノイズ低減された画像信号に基づいて、前記画像信号中の各画素の奥行きを示す奥行き信号を出力する
ことを特徴とする奥行き信号生成方法。
【請求項５】
前記ノイズ低減された画像信号に基づいて、各画素の奥行きを示す第１の奥行き信号を生成し、
前記第１の奥行き信号のレベルを変換するためのゲイン値を前記感度情報に基づき設定し、
設定された前記ゲイン値に基づき前記第１の奥行き信号のレベルを変換した第２の奥行き信号を出力する
ことを特徴とする請求項４記載の奥行き信号生成方法。
【請求項６】
請求項４の奥行き信号生成方法によって出力された奥行き信号に応じて、ノイズ低減された画像信号のテクスチャをシフトさせた別視点画像信号を生成し出力する
ことを特徴とする擬似立体画像生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−１６０４０（Ｐ２０１３−１６０４０Ａ）
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願番号】特願２０１１−１４８５５１（Ｐ２０１１−１４８５５１）
【出願日】平成２３年７月４日（２０１１．７．４）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願日】平成２３年７月４日（２０１１．７．４）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]