画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体
【課題】ビット深度の異なる多視点映像を扱うという発明者の着眼した新規な技術について、低いビット深度の画像が失っている高いダイナミックレンジで表現される情報を復元し、低いビット深度の画像に対する主観的な品質を向上させること。
【解決手段】画像Ａと、画像Ａよりもビット深度の高い画像Ｂから画像Ｃの画像情報を生成する画像生成方法であって、画像Ａをトーンマッピングして、画像Ｂと同じビット深度を有する画像Ｃを作成し、画像Ｃの各画素位置と画像Ｂ中の対応点の有無および対応点位置を推定し、対応点があると推定された、画像Ｃ中の画素位置に、画像Ｂ中の対応位置の画像情報を設定する。対応点推定で対応点がないと推定された、画像Ｃ中の画素位置の画像情報を、対応点があると推定されて設定された画像情報から作成するようにしても良い。
【解決手段】画像Ａと、画像Ａよりもビット深度の高い画像Ｂから画像Ｃの画像情報を生成する画像生成方法であって、画像Ａをトーンマッピングして、画像Ｂと同じビット深度を有する画像Ｃを作成し、画像Ｃの各画素位置と画像Ｂ中の対応点の有無および対応点位置を推定し、対応点があると推定された、画像Ｃ中の画素位置に、画像Ｂ中の対応位置の画像情報を設定する。対応点推定で対応点がないと推定された、画像Ｃ中の画素位置の画像情報を、対応点があると推定されて設定された画像情報から作成するようにしても良い。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像から高ビット深度の画像を生成する技術に関するものである。
本願は、２００７年１０月１５日に出願された特願２００７−２６７６１３号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
図１１は直線配列の多視点撮像系、図１２は平面配列の多視点撮像系、図１３はアーク状配列の多視点撮像系、図１４は球面配列の多視点撮像系のカメラ配置例を示す図である。
【０００３】
一つのシーンを異なる方向から撮影する多視点撮像系が開発されている。多視点撮像系において、カメラ配置は、図１１に示すように直線上に１次元配列であったり、図１２に示すように平面上に２次元配列であったり、また、図１３に示すようにアーク状に配列したものや、図１４に示すように球面状の配列したものなど、さまざまである。このような多視点撮像系を利用すれば、多面的な映像シーンをアーカイブする（１つにまとめる）ことが可能となる。
【０００４】
さらに、多視点で撮影されたカメラ映像から、撮影されていない仮想カメラ位置の画像情報を生成する技術がある。これを画像合成技術と呼ぶ。
画像合成では、元のカメラ映像は空間中のどの方向から撮影した画像情報であるかを示すカメラパラメータがわかっているとする。画像合成には種々の方法がある。
例えば、奥行き情報を推定して合成する方法がある。まず元のカメラ映像間で画像情報の対応点探索を行い視差情報を求め、視差情報からシーンの奥行き情報を推定する。そして、仮想カメラ位置の奥行き情報を推定して、対応する画像情報を元のカメラの画像情報から作成する（非特許文献１参照）。
【０００５】
また、奥行き情報の推定まで行わずに、元画像の視差情報を利用して直接仮想カメラ位置の画像情報を作成する方法もある（非特許文献２参照）。
【０００６】
あるいは、複数のカメラ映像からシーンに存在するオブジェクトの３次元モデル情報を推定しておき、仮想カメラ位置からの当該モデルの投影画像を生成する方法もある（非特許文献３参照）。
【０００７】
このような撮像系では、通常ビット深度（階調）の同じカメラを用いるが、ビット深度の異なるカメラを用いてもよい。ビット深度の高いカメラとビット深度の低いカメラを組み合わせて用いることで、得られる画像情報の情報量を低減することが可能である。
【０００８】
ビット深度の低い画像からビット深度の高い画像を得る方法として、トーンマッピング方法が挙げられる（非特許文献４参照）。これは、量子化された値をより高いダイナミックレンジの信号へマッピングする技術である。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】Keita Takahashi and Takeshi Naemura,“Layered Light-Field Rendering with Focus Measurement”, EURASIP Signal Processing: Image Communication, vol.21, no.6, pp.519-530（2006.7）.
【非特許文献２】M. Droese, T. Fujii and M. Tanimoto,“Ray-Space Interpolation Constraining Smooth Disparities Based On Loopy Belief Propagation”, Proc. of IWSSIP2004, pp.247-250, Poznan, Poland, Sept. 2004.
【非特許文献３】松山隆司、高井勇志、ウ小軍、延原章平：「３次元ビデオ映像の撮影・編集・表示」、日本バーチャルリアリティ学会論文誌、Vol.7, No.4, pp.521-532, 2002.12．
【非特許文献４】E.Reinhard, M.Stark, P.Shirley and J.Ferwerda, “Photographic Tone Reproduction for Digital Images”, presented at SIGGRAPH, 2002.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、ビット深度の異なる多視点映像を扱うという発明者の着眼した新規な技術について、低いビット深度の画像が失っている高いダイナミックレンジで表現される情報を復元し、低いビット深度の画像に対する主観的な品質を向上させることを目的とする。
【課題を解決するための手段】
【００１１】
ビット深度の異なる多視点映像を扱うということは従来行われていなかった。即ち、本発明の課題は、ビット深度の異なる多視点映像を扱うという新しい技術的着想から生じた課題である。
多視点撮像系でビット深度の異なるカメラを用いた場合には、低いビット深度の画像と高いビット深度の画像が混在することになる。また、同じビット深度のカメラで撮影した場合であっても、例えば一部のカメラ映像のビット深度を低減することで情報量を削減できるため、多視点画像の圧縮には好適な場合がある。この場合においても、低いビット深度の画像と高いビット深度の画像が混在することになる。
【００１２】
以上のような場合においては、低いビット深度の画像情報では高いダイナミックレンジで表現される情報が欠落している。このため、低いビット深度で撮影されたカメラ位置の画像情報は、高いビット深度で撮影されたカメラ位置の画像情報に比ベて、主観品質が劣化するという間題がある。
【００１３】
従って本発明は、上記問題点の解決を図り、低いビット深度の画像が失っている高いダイナミックレンジで表現される情報を復元し、低いビット深度の画像に対する主観的な品質を向上させる技術を提供する。
【００１４】
本発明の概要について説明する。例えば、ビット深度の異なる複数のカメラで同一シーンを撮影することにより、扱う画像情報の総情報量を減らすことができる。したがって、この場合、多視点映像の符号量を大幅に下げることができる。
ビット深度とは、例えば８ビットであるとか１０ビットであるとかいった、信号のダイナミックレンジを指している。撮影されていないレンジがあると（即ち、ダイナミックレンジが狭くなると）、その部分の情報が欠落しており、主観品質が悪くなるため、多視点映像の符号量を削減しようとした場合に問題となる。
【００１５】
本発明では、失われているレンジの情報を復元することによって、この問題を解決する。そもそもビット深度の異なる多視点映像を扱うということは従来行われていなかった。本発明の課題は、ビット深度の異なる多視点映像を扱うという新しい技術的着想から生じた課題である。
【００１６】
本発明は、この課題を解決するため、他のカメラで撮影されたビット深度の高い情報を使って、目的の画像のビット深度の高い情報を復元する技術的手段を用いることにより、ビット深度の異なる複数のカメラで撮影した多視点映像を扱う場合において、主観的な画像品質を落とさずに、扱う画像情報の総情報量を減らすことができるようにする。
【００１７】
本発明は、画像Ａと、画像Ａよりもビット深度の高い画像Ｂから画像Ｃの画像情報を生成する画像生成方法であって、画像Ａをトーンマッピングして、画像Ｂと同じビット深度を有する画像Ｃを作成する画像ビット深度拡大ステップと、画像Ｃの各画素位置と画像Ｂ中の対応点の有無および対応点位置を推定する対応点推定ステップと、対応点推定ステップで対応点があると推定された、画像Ｃ中の画素位置に、画像Ｂ中の対応位置の画像情報を設定する対応画像設定ステップと、を実行する方法を提供する。
【００１８】
この画像生成方法によれば、他の画像に含まれる高いダイナミックレンジの情報を使い、所望の画像に対する高いビット深度の画像を生成することができる。このとき生成する画素位置に対応する画像信号が他の画像にない場合には、元々の低いビット深度をトーンマッピングで拡大した画像情報を用いることにより画像情報の欠落を防ぐことができる。
【００１９】
対応点の推定では、対応点情報を別途入力として与える場合と、対応点を画像情報を使って探索する場合が挙げられる。対応点情報を別途与える場合には、シーンの奥行き情報や幾何情報を予め推定しておき、そこから画像間の対応点を推定するようにしてもよい。
【００２０】
対応点の探索では、対応する画素間（画像Ｃの各画素に対して、画像Ｂの１〜複数の画素候補）で差分の絶対値を求めて、その値の最小値が予め設定した閾値よりも小さい場合には、その最小値となる点を対応点と推定し、閾値よりも大きい場合には、対応点はないと推定してもよい。
この場合の閾値を低いビット深度の画像情報と一緒にファイル化しておくことも好適である。ファイル化された低いビット深度の画像情報から高いビット深度の画像情報を生成する際に、ファイルに含まれる閾値を使用することで、生成する際に常に同じ画像が得られることを保障できる。
【００２１】
あるシーンを複数の方向から撮影する場合で、ビット深度の異なるカメラを利用する場合に、低いビット深度のカメラの画像に対して、他の高いビット深度のカメラの画像を利用して、高いビット深度の画像を生成することができる。この方法は多視点画像だけではなく、単眼の動画像にも適用できる。すなわち、動画像中の各フレームのビット深度の異なる場合に、低いビット深度のフレームの画像に対して、他の高いビット深度のフレームの画像を利用して、高いビット深度の画像を生成することができる。
【００２２】
上記方法において、対応点推定ステップで対応点がないと推定された、画像Ｃ中の画素位置の画像情報を、対応画像設定ステップで設定された画像情報から作成する画像補間ステップを、更に設けても良い。
【００２３】
この場合、生成する画素位置に対応する画像信号が他の画像にない場合には、周囲にある生成した高いビット深度の画像信号から補間して作成することにより画像情報の欠落を防ぐことができる。
【００２４】
また、本発明は、画像Ａと、画像Ａよりもビット深度の高い画像Ｂから画像Ｃの画像情報を生成する画像生成方法であって、画像Ａをトーンマッピングして、画像Ｂと同じビット深度を有する画像Ｄを作成する画像ビット深度拡大ステップと、画像Ｄの各画素位置と画像Ｂ中の対応点の有無および対応点位置を推定する対応点推定ステップと、対応点推定ステップで対応点があると推定された、画像Ｄ中の画素位置と同じ画像Ｅ中の画素位置に、画像Ｂ中の対応位置の画像情報を設定する対応画像設定ステップと、対応点推定ステップで対応点がないと推定された、画像Ｄ中の画素位置と同じ画像Ｅ中の画素位置の画像情報を、対応画像設定ステップで設定された画像情報から作成する画像補間ステップと、画像Ｅをトーンマッピングして、画像Ａと同じビット深度を有する画像Ｆを作成する画像ビット深度縮小ステップと、画像Ａの各画素位置において、画像Ａの画像情報と、同じ画素位置の画像Ｆの画像情報との差分を求める差分作成ステップと、差分作成ステップで求めた各画素位置における差分が小さい場合には、対応する画像Ｃの各画素位置に画像Ｅの画像情報を設定し、差分作成ステップで求めた各画素位置における差分が大きい場合には、対応する画像Ｃの各画素位置に画像Ｄの画像情報に基づいた画像情報を設定する画像情報設定ステップと、を実行する方法を提供する。
【００２５】
典型例として、前記画像情報設定ステップにおいて、前記差分作成ステップで求めた各画素位置における差分が閾値よりも大きい場合には、
(i) 対応する画像Ｃの各画素位置に画像Ｄの画像情報を設定する、もしくは、
(ii) 対応する画像Ｃの各画素位置に画像Ｄの画像情報と画像Ｅの画像情報を重み付け平均した値を設定する
ようにする。
【００２６】
この画像生成方法によれば、所望の画像と他の画像との対応点の推定に誤差がある場合に、前述した発明と同様に生成した高いビット深度の画像を用いる代わりに、元々の低いビット深度をトーンマッピングで拡大した画像情報を用いたり、生成した高いビット深度の画像情報と元々の低いビット深度をトーンマッピングで拡大した画像情報の重み付け平均値を用いたりすることにより、推定誤差による画質の劣化を低減できる。
【００２７】
また、本発明は、同じビット深度を有する画像生成装置が画像Ａと画像Ｂから画像Ｃの画像情報を生成する画像生成方法であって、画像Ａをトーンマッピングしてビット深度の小さい画像Ｇを作成する基準画像ビット深度縮小ステップと、画像Ｇをトーンマッピングして、画像Ａと同じビット深度を有する画像Ｄを作成する画像ビット深度拡大ステップと、画像Ｄの各画素位置と画像Ｂ中の対応点の有無および対応点位置を推定する対応点推定ステップと、対応点推定ステップで対応点があると推定された、画像Ｄ中の画素位置と同じ画像Ｅ中の画素位置に、画像Ｂ中の対応位置の画像情報を設定する対応画像設定ステップと、対応点推定ステップで対応点がないと推定された、画像Ｄ中の画素位置と同じ画像Ｅ中の画素位置の画像情報を、対応画像設定ステップで設定された画像情報から作成する画像補間ステップと、画像Ｅをトーンマッピングして、画像Ｇと同じビット深度を有する画像Ｆを作成する画像ビット深度縮小ステップと、画像Ｇの各画素位置において、画像Ｇの画像情報と、同じ画素位置の画像Ｆの画像情報との差分を求める差分作成ステップと、を実行し、予め設定した範囲で閾値を設定する閾値設定ステップと、差分作成ステップで求めた各画素位置における差分が閾値よりも小さい場合には、対応する画像Ｃの各画素位置に画像Ｅの画像情報を設定し、差分作成ステップで求めた各画素位置における差分が閾値よりも大きい場合には、対応する画像Ｃの各画素位置に画像Ｄの画像情報に基づいた画像情報を設定する画像情報設定ステップと、画像情報設定ステップで得られる画像Ｃと画像Ａの各画素位置における画像情報の差分の合計を算出する生成差分合計ステップと、を閾値を変えながら実行し、生成差分合計ステップで得られる差分の合計が最も小さくなる閾値を決定する閾値決定ステップを実行する方法を提供する。
【００２８】
典型例として、前記画像情報設定ステップにおいて、前記差分作成ステップで求めた各画素位置における差分が閾値よりも大きい場合には、
(i) 対応する画像Ｃの各画素位置に画像Ｄの画像情報を設定する、もしくは、
(ii) 対応する画像Ｃの各画素位置に画像Ｄの画像情報と画像Ｅの画像情報を重み付け平均した値を設定する
ようにする。
【００２９】
この画像生成方法によれば、画像を低いビット深度に変換して高いビット深度へ変換する場合において、前述した方法で高いビット深度の画像を生成する際に、対応点の推定誤差による劣化の大きさを検出し、劣化が最も小さくなるように、前述した方法と同様に生成した高いビット深度の画像を選択する閾値を決定できる。元々の高いビット深度の画像情報も存在するため、劣化の大きさを検出することができる。
【００３０】
この閾値パラメータは、次のように利用できる。まず、この閾値を推定しておき、閾値パラメータとして低いビット深度の画像情報に付随させておく。例えば、低いビット深度の画像と他の画像と一緒に、この閾値パラメータもファイル化しておく。このファイルには低いビット深度に変換する前の画像情報は含めない。したがって、元の画像よりも低いビット深度の画像情報をファイル化するため、ファイルサイズを小さくすることができる。このファイルを再生する際は、低いビット深度の画像と他の画像から、上記閾値パラメータを利用して、高いビット深度の画像を生成することができる。このとき、主観品質の劣化を最小化した高いビット深度の画像を生成することができる。
【００３１】
また、前記画像情報設定ステップにおいて、前記差分作成ステップで求めた各画素位置における差分が閾値よりも大きい場合に、上記(ii)の手法を用いる場合には、低いビット深度の画像をトーンマッピングで拡大した画像を生成した画像の信号に用いるのではなく、高いビット深度の画像と重み付け平均した値を用いるので、低いビット深度の画像をトーンマッピング拡大することによる画像のボケを低減することができる。
【００３２】
本発明はまた、上記各方法により画像を生成する画像生成装置も提供する。
【発明の効果】
【００３３】
本発明によれば、低ビット深度で撮影されたカメラ位置の画像情報に対して、別の高ビット深度で撮影されたカメラ位置の画像情報を利用して、高いビット深度の画像情報を生成することができる。これにより主観品質の劣化を低減することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明の第１の実施例である、画像生成装置の構成を示す図である。
【図２】同実施例の、画像生成装置の動作を示すフローチャートである。
【図３】本発明の第２の実施例である、画像生成装置の構成を示す図である。
【図４】同実施例の、画像生成装置の動作を示すフローチャートである。
【図５】本発明の第３の実施例である、画像生成装置の構成を示す図である。
【図６】同実施例の、画像生成装置の動作を示すフローチャートである。
【図７】同実施例の変形例である、画像生成装置の構成を示す図である。
【図８】本発明の第４の実施例である、画像生成装置の構成を示す図である。
【図９】同実施例の、画像生成装置の動作を示すフローチャートである。
【図１０】同実施例の変形例である、画像生成装置の構成を示す図である。
【図１１】直線配列の多視点撮像系を示す図である。
【図１２】平面配列の多視点撮像系を示す図である。
【図１３】アーク状配列の多視点撮像系を示す図である。
【図１４】球面配列の多視点撮像系を示す図である。
【発明を実施するための形態】
【００３５】
図面を用いて本発明の画像生成装置の実施例を説明する。
【００３６】
〔第１の実施例〕
第１の実施例として、別のカメラで撮影された低ビット深度の画像Ａと高ビット深度の画像Ｂから、画像Ａに対応する高ビット深度（画像Ｂのビット深度に対応）の画像Ｃを生成する場合の例を示す。ここで、カメラで撮影される信号は、全てＹＵＶ信号（輝度Ｙ、色差Ｕ，Ｖ）により色信号が設定されているものとし、実施例では、Ｙ信号のみ扱うものとする。
【００３７】
図１に装置概要を示す。本実施例における画像生成装置は、画像Ａのビット深度を拡大して、画像Ｂと同じビット深度を有する画像Ｃを作成する画像ビット深度拡大部１０１と、画像Ｃの各画素位置と画像Ｂ中の対応点の有無および対応点位置を推定する対応点推定部１０２と、対応点推定部１０２で対応点があると推定された画像Ｃ中の画素位置に、画像Ｂ中の対応位置の画像情報を設定する対応画像設定部１０３とを備える。
【００３８】
ここで、画像ビット深度拡大部１０１では、画像のビット深度を、非特許文献４に示されている方法（トーンマッピング）により拡大して画像を作成するものとする。
また、対応点推定部１０２では、カメラパラメータもしくは既知のマッチング技術を用いて、画像Ｃの各画素について（画像Ｂ中の）対応する画素の候補を（１〜複数）仮定し、対応する画素間で差分の絶対値を求めて、それら絶対値の最小値が予め設定した閾値よりも小さい場合には、その最小値となる点を対応点と推定し、閾値よりも大きい場合には、画像Ｃの当該画素については対応点はないと推定するものとする。
【００３９】
以上を前提として、図１に示す画像生成装置は次のように動作する。図２に、そのフローチャートを示す。
【００４０】
まず、画像ビット深度拡大部１０１は、画像Ａをトーンマッピング拡大して画像Ｃを作成する（ステップＳ１０）。そして、対応点推定部１０２は、画像Ｃと画像Ｂの対応点の有無と位置を、上述のような方法で推定する（ステップＳ１１）。対応画像設定部１０３は、対応点推定部１０２で対応点があると推定された画像Ｃの各画素に対し、画像Ｂの対応点の画像情報を設定する（ステップＳ１２）。以上により画像Ｃを生成する。
なお、画像ビット深度拡大部１０１では、他のトーンマッピング方法を用いてもよい。
【００４１】
また、対応点推定部１０２は、画素間で差分の絶対値を求めたが、推定する対象の画素を中心とする複数画素からなるブロックを使い推定してもよい。例えば、画像Ｃの各画素について、画像Ｂ中の対応する画素の候補を（１〜複数）仮定し、各候補を中心とする複数画素からなるブロック内の画素との差分の絶対値の合計を求めて、その合計値が最小となる候補の位置を対応点として推定してもよい。
【００４２】
以上の例では、別のカメラで撮影された低ビット深度の画像Ａと高ビット深度の画像Ｂから高ビット深度の画像Ｃを生成したが、同じカメラで撮影した、ある時刻の低ビット深度の画像Ａと、別の時刻の高ビット深度の画像Ｂから、高ビット深度の画像Ｃを生成してもよい。
【００４３】
また、上述のように、画像Ａと画像Ｂから、画像Ａに対応する画像Ｃを作成したが、画像Ｂは複数あってもよい。画像Ｂが２つ（Ｂ１とＢ２）ある場合の例を次に示す。構成は同じであるが、次のように動作する。
【００４４】
まず、画像ビット深度拡大部１０１は、画像Ａをトーンマッピング拡大して画像Ｃを作成する。
そして、対応点推定部１０２は、画像Ｃと画像Ｂ１の対応点の有無と位置を、上記と同様の方法で推定する。対応画像設定部１０３は、対応点推定部１０２で対応点があると推定された各位置における画像Ｂ１の画像情報を画像Ｃへ設定する。
次に、対応点推定部１０２は、画像Ｃと画像Ｂ２の対応点の有無と位置を、同様に推定する。対応画像設定部１０３は、対応点推定部１０２で対応点があると推定された各位置における画像Ｂ２の画像情報を画像Ｃへ設定する。
以上により画像Ｃを生成する。
【００４５】
画像Ｂ１と画像Ｂ２の双方に対応点があると推定された場合、予め定めたどちらかの画像情報を優先させて画像Ｃに設定してもよいし、対応する画像Ｃの画素との差分が小さいほうの画像Ｂ１または画像Ｂ２の画像情報を画像Ｃに設定してもよいし、画像Ｂ１と画像Ｂ２の画像情報の平均値を画像Ｃに設定してもよい。
画像Ｂが３つ以上ある場合にも同様に高ビット深度の画像Ｃを生成することができる。
以下に説明する他の実施例についても複数の画像Ｂがある場合に、同様に実施することができる。
【００４６】
〔第２の実施例〕
次に、第２の実施例として、第１の実施例と同様に、別のカメラで撮影された低ビット深度の画像Ａと高ビット深度の画像Ｂから、画像Ａに対応する高ビット深度の画像Ｃを生成する場合の例を示す。ただし、対応点がない場合には、周囲の高ビット深度の画像情報から補間して生成する場合の例を示す。
【００４７】
図３に装置概要を示す。本実施例における画像生成装置は、画像Ａのビット深度を拡大して画像Ｃを作成する画像ビット深度拡大部２０１と、画像Ｃの各画素位置と画像Ｂ中の対応点の有無および対応点位置を推定する対応点推定部２０２と、対応点推定部２０２で対応点があると推定された画像Ｃ中の画素位置に、画像Ｂ中の対応位置の画像情報を設定する対応画像設定部２０３と、対応点推定部２０２で対応点がないと推定された画像Ｃ中の画素位置の画像情報を、対応画像設定部２０３で設定された画像情報から作成する画像補間部２０４とを備える。
【００４８】
画像補間部２０４では、画像Ｃ中の画素で、対応点がないと推定された画素の画像情報を、対応点があるとして画像Ｂから画像情報を設定された画素位置の当該画像情報から作成する。このとき、画像Ｂから画像情報を設定された画素位置からの距離に応じて線形補間をする。
【００４９】
以上を前提として、図３に示す画像生成装置は次のように動作する。図４に、そのフローチャートを示す。
【００５０】
まず、画像ビット深度拡大部２０１は、画像Ａをトーンマッピング拡大して画像Ｃを作成する（ステップＳ２０）。そして、対応点推定部２０２は、画像Ｃと画像Ｂの対応点の有無と位置を推定する（ステップＳ２１）。対応画像設定部２０３は、対応点推定部２０２で対応点があると推定された画像Ｃの各画素に対し、画像Ｂの対応点の画像情報を設定する（ステップＳ２２）。画像補間部２０４は、対応点推定部２０２で対応点がないと推定された画素位置について、対応画像設定部２０３で既に設定された画像情報から補間して画像情報を作成する（ステップＳ２３）。以上により画像Ｃを生成する。
【００５１】
画像補間部２０４では、線形補間により画像情報を生成したが、非線形処理を用いて画像情報を生成してもよい。いずれも、対応画像設定部２０３で設定された画像情報を利用して生成する。
【００５２】
〔第３の実施例〕
次に、第３の実施例として、第１の実施例と同様に、別のカメラで撮影された低ビット深度の画像Ａと高ビット深度の画像Ｂから、画像Ａに対応する高ビット深度（画像Ｂのビット深度に対応）の画像Ｃを生成する場合の例を示す。ただし、生成した画像情報のダイナミックレンジを縮小した画像と元の画像Ａとの差が小さい画素位置にだけ、生成した画像情報を適用する場合の例を示す。
以下の説明で、画像Ｄは、画像Ａを初めにトーンマッピング拡大した画像、画像Ｅは、画像Ｄと同サイズ（同じ画素構成）の一時的な処理用画像である。
また、画像Ｆは、画像Ｅをトーンマッピング縮小して作成した、ビット深度の小さい画像（画像Ａと同じビット深度を有する、一時的な処理用画像）である。
【００５３】
図５に装置概要を示す。本実施例における画像生成装置は、画像Ａをトーンマッピング拡大して画像Ｄを作成する画像ビット深度拡大部３０１と、画像Ｄの各画素位置と画像Ｂ中の対応点の有無および対応点位置を推定する対応点推定部３０２と、対応点推定部３０２で対応点があると推定された、画像Ｄ中の画素位置と同じ画像Ｅ中の画素位置に、画像Ｂ中の対応位置の画像情報を設定する対応画像設定部３０３と、対応点推定部３０２で対応点がないと推定された、画像Ｄ中の画素位置と同じ画像Ｅ中の画素位置の画像情報を、対応画像設定部３０３で設定された画像情報から作成する画像補間部３０４と、画像Ｅをトーンマッピングしてビット深度の小さい画像Ｆを作成する画像ビット深度縮小部３０５と、画像Ａの各画素位置において、画像Ａの画像情報と、同じ画素位置の画像Ｆの画像情報との差分を求める差分作成部３０６と、差分作成部３０６で求めた各画素位置における差分が閾値より小さい場合には、対応する画像Ｃの各画素位置に画像Ｅの画像情報を設定し、差分作成部３０６で求めた各画素位置における差分が大きい場合には、対応する画像Ｃの各画素位置に画像Ｄの画像情報を設定する画像選択部３０７とを備える。
【００５４】
画像ビット深度縮小部３０５では、例えば非特許文献４に示される方法に従って、ビット深度の小さい画像情報（即ち、画像Ｆ）を生成する。
差分作成部３０６では、各画素位置で上記差分を作成するものとする。
画像選択部３０７では、予め差分の閾値を設定しておき、差分作成部３０６で得られる差分との比較をするものとする。
【００５５】
以上を前提として、図５に示す画像生成装置は次のように動作する。図６に、そのフローチャートを示す。
【００５６】
まず、画像ビット深度拡大部３０１は、画像Ａをトーンマッピング拡大して画像Ｄを作成する（ステップＳ３０）。そして、対応点推定部３０２は、画像Ｄと画像Ｂの対応点の有無と位置を推定する（ステップＳ３１）。対応画像設定部３０３は、対応点推定部３０２で対応点があると推定された位置における画像Ｂの画像情報を画像Ｅへ設定する（ステップＳ３２）。
【００５７】
画像補間部３０４は、対応点推定部３０２で対応点がないと推定された位置について、対応画像設定部３０３で既に設定された画像情報から補間して画像Ｅの画像情報を作成する（ステップＳ３３）。
画像ビット深度縮小部３０５は、画像Ｅをトーンマッピング縮小してビット深度の小さい画像Ｆを作成する（ステップＳ３４）。差分作成部３０６は、画像Ａと画像Ｆの差分を作成する（ステップＳ３５）。
画像選択部３０７では、差分作成部３０６で得られる差分に従い、各画素位置について、画像Ｅまたは画像Ｄを選択して画像Ｃを生成する（ステップＳ３６）。
【００５８】
なお、画像ビット深度縮小部３０５では、他の手法を使ってビット深度の小さい画像を作成してもよい。
また、差分作成部３０６では、対象画素を中心とするブロック間の差分を作成してもよい（第１の実施例参照）。
【００５９】
ところで、画像選択部３０７では、差分作成部３０６で求めた各画素位置における差分が小さい場合には、対応する画像Ｃの各画素位置に画像Ｅの画像情報を設定し、差分作成部３０６で求めた各画素位置における差分が大きい場合には、対応する画像Ｃの各画素位置に画像Ｄの画像情報を設定した。
この画像選択部３０７の代わりに、図７に示す画像生成部３０８を設けてもよい。
【００６０】
図７に装置概要を示す。この場合、画像生成部３０８では、差分作成部３０６で求めた各画素位置における差分が閾値より小さい場合には、対応する画像Ｃの各画素位置に画像Ｅの画像情報を設定し、差分作成部３０６で求めた各画素位置における差分が大きい場合には、対応する画像Ｃの各画素位置に画像Ｄの画像情報と画像Ｅの画像情報を重み付け平均した値を設定する。
これによれば、差分が大きい場合にトーンマッピング拡大した画像Ｄを用いるのではなく、トーンマッピング拡大した画像Ｄと他の画像から生成した画像Ｅの重み付け平均を用いることができる。本手法は、トーンマッピング拡大した画像Ｄの劣化が大きい場合に好適である。
【００６１】
〔第４の実施例〕
次に、第４の実施例として、別のカメラで撮影された同じビット深度の画像ＡとＢがあり、画像Ａの縮小画像と画像Ｂから画像Ａに近い画像Ｃを生成する場合の例を示す。ここでは、生成した画像情報のダイナミックレンジを縮小した画像と元の画像Ａとの差が小さい画素位置にだけ生成した画像情報を適用する場合の例を示す。この実施例では、各画素位置における２画像間の差分に対する閾値も推定することが特徴である。
【００６２】
図８に装置概要を示す。本実施例における画像生成装置は、
・画像Ａをトーンマッピングしてビット深度の小さい画像Ｇを作成する基準画像ビット深度縮小部４１２と、
・画像Ｇをトーンマッピング拡大して、画像Ａ，Ｂと同じビット深度の画像Ｄを作成する画像ビット深度拡大部４０１と、
・画像Ｄの各画素位置と画像Ｂ中の対応点の有無および対応点位置を推定する対応点推定部４０２と、
・対応点推定部４０２で対応点があると推定された、画像Ｄ中の画素位置と同じ画像Ｅ（同サイズの一時的な処理画像）中の画素位置に、画像Ｂ中の対応位置の画像情報を設定する対応画像設定部４０３と、
・対応点推定部４０２で対応点がないと推定された、画像Ｄ中の画素位置と同じ画像Ｅ中の画素位置の画像情報を、対応画像設定部４０３で設定された画像情報から作成する画像補間部４０４と、
・画像Ｅをトーンマッピングしてビット深度の小さい（画像Ｇと同じビット深度の）画像Ｆを作成する画像ビット深度縮小部４０５と、
・画像Ｇの各画素位置において、画像Ｇの画像情報と、同じ画素位置の画像Ｆの画像情報との差分を求める差分作成部４０６と、
・予め設定した範囲で複数の閾値を設定する閾値設定部４１０と、
・閾値設定部４１０で設定した各閾値に対し、差分作成部４０６で求めた各画素位置における差分が閾値よりも小さい場合には、対応する画像Ｃの各画素位置に画像Ｅの画像情報を設定し、差分作成部４０６で求めた各画素位置における差分が閾値よりも大きい場合には、対応する画像Ｃの各画素位置に画像Ｄの画像情報を設定する画像選択部４０７と、
・画像選択部４０７で得られる画像Ｃと画像Ａの各画素位置における画像情報の差分の合計を算出する生成差分合計部４０９と、
・生成差分合計部４０９で得られる差分の合計が最も小さくなる閾値を決定する閾値決定部４１１と
を備える。
【００６３】
閾値設定部４１０では、閾値として１０から５０まで１０ずつ閾値を増加させるものとする。
【００６４】
以上を前提として、図８に示す画像生成装置は次のように動作する。図９に、そのフローチャートを示す。
【００６５】
まず、基準画像ビット深度縮小部４１２は、画像Ａからトーンマッピングによってビット深度の小さい画像Ｇを作成する（ステップＳ４０）。
画像ビット深度拡大部４０１は、画像Ｇからビット深度の大きい（画像Ａ，Ｂと同じビット深度を有する）画像Ｄを作成する（ステップＳ４１）。
そして、対応点推定部４０２は、画像Ｄと画像Ｂの対応点の有無と位置を推定する（ステップＳ４２）。
対応画像設定部４０３は、対応点推定部４０２で対応点があると推定された位置における画像Ｂの画像情報を、画像Ｅへ設定する（ステップＳ４３）。
【００６６】
画像補間部４０４は、対応点推定部４０２で対応点がないと推定された位置について、対応画像設定部４０３で既に設定された画像情報から補間して画像Ｅの画像情報を作成する（ステップＳ４４）。
画像ビット深度縮小部４０５は、画像Ｅからビット深度の小さい画像Ｆを作成する（ステップＳ４５）。
差分作成部４０６は、画像Ｇと画像Ｆの差分を作成する（ステップＳ４６）。
【００６７】
続いて、閾値設定部４１０では、閾値を１０に設定する（ステップＳ４７）。
画像選択部４０７では、差分作成部４０６で得られる差分と閾値を比較し、各画素位置毎に画像Ｅまたは画像Ｄを選択して画像Ｃを生成する（ステップＳ４８）。
生成差分合計部４０９は、画像Ｃと画像Ａとの差分の合計を求める（ステップＳ４９）。
以上の閾値設定部４１０と画像選択部４０７と生成差分合計部４０９の処理を、閾値を１０ずつ増やしながら５０まで繰り返し実行する（ステップＳ５０、Ｓ５１）。
【００６８】
続いて、閾値決定部４１１は、生成差分合計部４０９で得られる値が最小となる場合の閾値を決定する（ステップＳ５２）。
【００６９】
上記構成において、画像選択部４０７の代わりに画像生成部４０８を用いてもよい。図１０に装置概要を示す。
画像生成部４０８では、差分作成部４０６で求めた各画素位置における差分が小さい場合には、対応する画像Ｃの各画素位置に画像Ｅの画像情報を設定し、差分作成部４０６で求めた各画素位置における差分が大きい場合には、対応する画像Ｃの各画素位置に画像Ｄの画像情報と画像Ｅの画像情報を重み付け平均した値を設定する。
【００７０】
以上の実施例では、複数のカメラ入力映像に対する処理を説明した。この方法は、このような多視点画像だけではなく、単眼の動画像にも適用できる。
すなわち、動画像中の各フレームのビット深度が異なる場合に、低ビット深度のフレームの画像に対して、他の高ビット深度のフレームの画像を利用して、高いビット深度の画像を生成することができる。
例えば、低ビット深度のフレームを画像Ａとし、他の高ビット深度のフレームを画像Ｂとして、高ビット深度の画像Ｃを生成する処理に適用できる。
【００７１】
また、本実施例では、扱う信号をＹ信号としたが、これはＲＧＢなどの他の色信号でもよい。
また、ＹＵＶ信号がありＹ信号のビット深度が同じであるが、ＵＶ信号のビット深度が異なる場合にも適用できる。この場合には、画像拡大部においてＵＶ信号のみ拡大し、Ｙ信号はそのままコピーする。そして、対応点推定部における対応点推定の処理をＵまたはＶ信号を拡大した信号ではなく、Ｙ信号で行ってもよい。
【００７２】
以上の画像生成の処理は、コンピュータとソフトウェアプログラムとによっても実現することができ、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。
【産業上の利用可能性】
【００７３】
本発明によれば、低ビット深度で撮影されたカメラ位置の画像情報に対して、別の高ビット深度で撮影されたカメラ位置の画像情報を利用して、高いビット深度の画像情報を生成することができる。これにより主観品質の劣化を低減することができる。
【符号の説明】
【００７４】
１０１、２０１、３０１、４０１ 画像ビット深度拡大部
１０２、２０２、３０２、４０２ 対応点推定部
１０３、２０３、３０３、４０３ 対応画像設定部
２０４、３０４、４０４ 画像補間部
３０５、４０５ 画像ビット深度縮小部
３０６、４０６ 差分作成部
３０７、４０７ 画像選択部
３０８、４０８ 画像生成部
４０９ 生成差分合計部
４１０ 閾値設定部
４１１ 閾値決定部
４１２ 基準画像ビット深度縮小部
【技術分野】
【０００１】
本発明は、複数の画像から高ビット深度の画像を生成する技術に関するものである。
本願は、２００７年１０月１５日に出願された特願２００７−２６７６１３号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
図１１は直線配列の多視点撮像系、図１２は平面配列の多視点撮像系、図１３はアーク状配列の多視点撮像系、図１４は球面配列の多視点撮像系のカメラ配置例を示す図である。
【０００３】
一つのシーンを異なる方向から撮影する多視点撮像系が開発されている。多視点撮像系において、カメラ配置は、図１１に示すように直線上に１次元配列であったり、図１２に示すように平面上に２次元配列であったり、また、図１３に示すようにアーク状に配列したものや、図１４に示すように球面状の配列したものなど、さまざまである。このような多視点撮像系を利用すれば、多面的な映像シーンをアーカイブする（１つにまとめる）ことが可能となる。
【０００４】
さらに、多視点で撮影されたカメラ映像から、撮影されていない仮想カメラ位置の画像情報を生成する技術がある。これを画像合成技術と呼ぶ。
画像合成では、元のカメラ映像は空間中のどの方向から撮影した画像情報であるかを示すカメラパラメータがわかっているとする。画像合成には種々の方法がある。
例えば、奥行き情報を推定して合成する方法がある。まず元のカメラ映像間で画像情報の対応点探索を行い視差情報を求め、視差情報からシーンの奥行き情報を推定する。そして、仮想カメラ位置の奥行き情報を推定して、対応する画像情報を元のカメラの画像情報から作成する（非特許文献１参照）。
【０００５】
また、奥行き情報の推定まで行わずに、元画像の視差情報を利用して直接仮想カメラ位置の画像情報を作成する方法もある（非特許文献２参照）。
【０００６】
あるいは、複数のカメラ映像からシーンに存在するオブジェクトの３次元モデル情報を推定しておき、仮想カメラ位置からの当該モデルの投影画像を生成する方法もある（非特許文献３参照）。
【０００７】
このような撮像系では、通常ビット深度（階調）の同じカメラを用いるが、ビット深度の異なるカメラを用いてもよい。ビット深度の高いカメラとビット深度の低いカメラを組み合わせて用いることで、得られる画像情報の情報量を低減することが可能である。
【０００８】
ビット深度の低い画像からビット深度の高い画像を得る方法として、トーンマッピング方法が挙げられる（非特許文献４参照）。これは、量子化された値をより高いダイナミックレンジの信号へマッピングする技術である。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】Keita Takahashi and Takeshi Naemura,“Layered Light-Field Rendering with Focus Measurement”, EURASIP Signal Processing: Image Communication, vol.21, no.6, pp.519-530（2006.7）.
【非特許文献２】M. Droese, T. Fujii and M. Tanimoto,“Ray-Space Interpolation Constraining Smooth Disparities Based On Loopy Belief Propagation”, Proc. of IWSSIP2004, pp.247-250, Poznan, Poland, Sept. 2004.
【非特許文献３】松山隆司、高井勇志、ウ小軍、延原章平：「３次元ビデオ映像の撮影・編集・表示」、日本バーチャルリアリティ学会論文誌、Vol.7, No.4, pp.521-532, 2002.12．
【非特許文献４】E.Reinhard, M.Stark, P.Shirley and J.Ferwerda, “Photographic Tone Reproduction for Digital Images”, presented at SIGGRAPH, 2002.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、ビット深度の異なる多視点映像を扱うという発明者の着眼した新規な技術について、低いビット深度の画像が失っている高いダイナミックレンジで表現される情報を復元し、低いビット深度の画像に対する主観的な品質を向上させることを目的とする。
【課題を解決するための手段】
【００１１】
ビット深度の異なる多視点映像を扱うということは従来行われていなかった。即ち、本発明の課題は、ビット深度の異なる多視点映像を扱うという新しい技術的着想から生じた課題である。
多視点撮像系でビット深度の異なるカメラを用いた場合には、低いビット深度の画像と高いビット深度の画像が混在することになる。また、同じビット深度のカメラで撮影した場合であっても、例えば一部のカメラ映像のビット深度を低減することで情報量を削減できるため、多視点画像の圧縮には好適な場合がある。この場合においても、低いビット深度の画像と高いビット深度の画像が混在することになる。
【００１２】
以上のような場合においては、低いビット深度の画像情報では高いダイナミックレンジで表現される情報が欠落している。このため、低いビット深度で撮影されたカメラ位置の画像情報は、高いビット深度で撮影されたカメラ位置の画像情報に比ベて、主観品質が劣化するという間題がある。
【００１３】
従って本発明は、上記問題点の解決を図り、低いビット深度の画像が失っている高いダイナミックレンジで表現される情報を復元し、低いビット深度の画像に対する主観的な品質を向上させる技術を提供する。
【００１４】
本発明の概要について説明する。例えば、ビット深度の異なる複数のカメラで同一シーンを撮影することにより、扱う画像情報の総情報量を減らすことができる。したがって、この場合、多視点映像の符号量を大幅に下げることができる。
ビット深度とは、例えば８ビットであるとか１０ビットであるとかいった、信号のダイナミックレンジを指している。撮影されていないレンジがあると（即ち、ダイナミックレンジが狭くなると）、その部分の情報が欠落しており、主観品質が悪くなるため、多視点映像の符号量を削減しようとした場合に問題となる。
【００１５】
本発明では、失われているレンジの情報を復元することによって、この問題を解決する。そもそもビット深度の異なる多視点映像を扱うということは従来行われていなかった。本発明の課題は、ビット深度の異なる多視点映像を扱うという新しい技術的着想から生じた課題である。
【００１６】
本発明は、この課題を解決するため、他のカメラで撮影されたビット深度の高い情報を使って、目的の画像のビット深度の高い情報を復元する技術的手段を用いることにより、ビット深度の異なる複数のカメラで撮影した多視点映像を扱う場合において、主観的な画像品質を落とさずに、扱う画像情報の総情報量を減らすことができるようにする。
【００１７】
本発明は、画像Ａと、画像Ａよりもビット深度の高い画像Ｂから画像Ｃの画像情報を生成する画像生成方法であって、画像Ａをトーンマッピングして、画像Ｂと同じビット深度を有する画像Ｃを作成する画像ビット深度拡大ステップと、画像Ｃの各画素位置と画像Ｂ中の対応点の有無および対応点位置を推定する対応点推定ステップと、対応点推定ステップで対応点があると推定された、画像Ｃ中の画素位置に、画像Ｂ中の対応位置の画像情報を設定する対応画像設定ステップと、を実行する方法を提供する。
【００１８】
この画像生成方法によれば、他の画像に含まれる高いダイナミックレンジの情報を使い、所望の画像に対する高いビット深度の画像を生成することができる。このとき生成する画素位置に対応する画像信号が他の画像にない場合には、元々の低いビット深度をトーンマッピングで拡大した画像情報を用いることにより画像情報の欠落を防ぐことができる。
【００１９】
対応点の推定では、対応点情報を別途入力として与える場合と、対応点を画像情報を使って探索する場合が挙げられる。対応点情報を別途与える場合には、シーンの奥行き情報や幾何情報を予め推定しておき、そこから画像間の対応点を推定するようにしてもよい。
【００２０】
対応点の探索では、対応する画素間（画像Ｃの各画素に対して、画像Ｂの１〜複数の画素候補）で差分の絶対値を求めて、その値の最小値が予め設定した閾値よりも小さい場合には、その最小値となる点を対応点と推定し、閾値よりも大きい場合には、対応点はないと推定してもよい。
この場合の閾値を低いビット深度の画像情報と一緒にファイル化しておくことも好適である。ファイル化された低いビット深度の画像情報から高いビット深度の画像情報を生成する際に、ファイルに含まれる閾値を使用することで、生成する際に常に同じ画像が得られることを保障できる。
【００２１】
あるシーンを複数の方向から撮影する場合で、ビット深度の異なるカメラを利用する場合に、低いビット深度のカメラの画像に対して、他の高いビット深度のカメラの画像を利用して、高いビット深度の画像を生成することができる。この方法は多視点画像だけではなく、単眼の動画像にも適用できる。すなわち、動画像中の各フレームのビット深度の異なる場合に、低いビット深度のフレームの画像に対して、他の高いビット深度のフレームの画像を利用して、高いビット深度の画像を生成することができる。
【００２２】
上記方法において、対応点推定ステップで対応点がないと推定された、画像Ｃ中の画素位置の画像情報を、対応画像設定ステップで設定された画像情報から作成する画像補間ステップを、更に設けても良い。
【００２３】
この場合、生成する画素位置に対応する画像信号が他の画像にない場合には、周囲にある生成した高いビット深度の画像信号から補間して作成することにより画像情報の欠落を防ぐことができる。
【００２４】
また、本発明は、画像Ａと、画像Ａよりもビット深度の高い画像Ｂから画像Ｃの画像情報を生成する画像生成方法であって、画像Ａをトーンマッピングして、画像Ｂと同じビット深度を有する画像Ｄを作成する画像ビット深度拡大ステップと、画像Ｄの各画素位置と画像Ｂ中の対応点の有無および対応点位置を推定する対応点推定ステップと、対応点推定ステップで対応点があると推定された、画像Ｄ中の画素位置と同じ画像Ｅ中の画素位置に、画像Ｂ中の対応位置の画像情報を設定する対応画像設定ステップと、対応点推定ステップで対応点がないと推定された、画像Ｄ中の画素位置と同じ画像Ｅ中の画素位置の画像情報を、対応画像設定ステップで設定された画像情報から作成する画像補間ステップと、画像Ｅをトーンマッピングして、画像Ａと同じビット深度を有する画像Ｆを作成する画像ビット深度縮小ステップと、画像Ａの各画素位置において、画像Ａの画像情報と、同じ画素位置の画像Ｆの画像情報との差分を求める差分作成ステップと、差分作成ステップで求めた各画素位置における差分が小さい場合には、対応する画像Ｃの各画素位置に画像Ｅの画像情報を設定し、差分作成ステップで求めた各画素位置における差分が大きい場合には、対応する画像Ｃの各画素位置に画像Ｄの画像情報に基づいた画像情報を設定する画像情報設定ステップと、を実行する方法を提供する。
【００２５】
典型例として、前記画像情報設定ステップにおいて、前記差分作成ステップで求めた各画素位置における差分が閾値よりも大きい場合には、
(i) 対応する画像Ｃの各画素位置に画像Ｄの画像情報を設定する、もしくは、
(ii) 対応する画像Ｃの各画素位置に画像Ｄの画像情報と画像Ｅの画像情報を重み付け平均した値を設定する
ようにする。
【００２６】
この画像生成方法によれば、所望の画像と他の画像との対応点の推定に誤差がある場合に、前述した発明と同様に生成した高いビット深度の画像を用いる代わりに、元々の低いビット深度をトーンマッピングで拡大した画像情報を用いたり、生成した高いビット深度の画像情報と元々の低いビット深度をトーンマッピングで拡大した画像情報の重み付け平均値を用いたりすることにより、推定誤差による画質の劣化を低減できる。
【００２７】
また、本発明は、同じビット深度を有する画像生成装置が画像Ａと画像Ｂから画像Ｃの画像情報を生成する画像生成方法であって、画像Ａをトーンマッピングしてビット深度の小さい画像Ｇを作成する基準画像ビット深度縮小ステップと、画像Ｇをトーンマッピングして、画像Ａと同じビット深度を有する画像Ｄを作成する画像ビット深度拡大ステップと、画像Ｄの各画素位置と画像Ｂ中の対応点の有無および対応点位置を推定する対応点推定ステップと、対応点推定ステップで対応点があると推定された、画像Ｄ中の画素位置と同じ画像Ｅ中の画素位置に、画像Ｂ中の対応位置の画像情報を設定する対応画像設定ステップと、対応点推定ステップで対応点がないと推定された、画像Ｄ中の画素位置と同じ画像Ｅ中の画素位置の画像情報を、対応画像設定ステップで設定された画像情報から作成する画像補間ステップと、画像Ｅをトーンマッピングして、画像Ｇと同じビット深度を有する画像Ｆを作成する画像ビット深度縮小ステップと、画像Ｇの各画素位置において、画像Ｇの画像情報と、同じ画素位置の画像Ｆの画像情報との差分を求める差分作成ステップと、を実行し、予め設定した範囲で閾値を設定する閾値設定ステップと、差分作成ステップで求めた各画素位置における差分が閾値よりも小さい場合には、対応する画像Ｃの各画素位置に画像Ｅの画像情報を設定し、差分作成ステップで求めた各画素位置における差分が閾値よりも大きい場合には、対応する画像Ｃの各画素位置に画像Ｄの画像情報に基づいた画像情報を設定する画像情報設定ステップと、画像情報設定ステップで得られる画像Ｃと画像Ａの各画素位置における画像情報の差分の合計を算出する生成差分合計ステップと、を閾値を変えながら実行し、生成差分合計ステップで得られる差分の合計が最も小さくなる閾値を決定する閾値決定ステップを実行する方法を提供する。
【００２８】
典型例として、前記画像情報設定ステップにおいて、前記差分作成ステップで求めた各画素位置における差分が閾値よりも大きい場合には、
(i) 対応する画像Ｃの各画素位置に画像Ｄの画像情報を設定する、もしくは、
(ii) 対応する画像Ｃの各画素位置に画像Ｄの画像情報と画像Ｅの画像情報を重み付け平均した値を設定する
ようにする。
【００２９】
この画像生成方法によれば、画像を低いビット深度に変換して高いビット深度へ変換する場合において、前述した方法で高いビット深度の画像を生成する際に、対応点の推定誤差による劣化の大きさを検出し、劣化が最も小さくなるように、前述した方法と同様に生成した高いビット深度の画像を選択する閾値を決定できる。元々の高いビット深度の画像情報も存在するため、劣化の大きさを検出することができる。
【００３０】
この閾値パラメータは、次のように利用できる。まず、この閾値を推定しておき、閾値パラメータとして低いビット深度の画像情報に付随させておく。例えば、低いビット深度の画像と他の画像と一緒に、この閾値パラメータもファイル化しておく。このファイルには低いビット深度に変換する前の画像情報は含めない。したがって、元の画像よりも低いビット深度の画像情報をファイル化するため、ファイルサイズを小さくすることができる。このファイルを再生する際は、低いビット深度の画像と他の画像から、上記閾値パラメータを利用して、高いビット深度の画像を生成することができる。このとき、主観品質の劣化を最小化した高いビット深度の画像を生成することができる。
【００３１】
また、前記画像情報設定ステップにおいて、前記差分作成ステップで求めた各画素位置における差分が閾値よりも大きい場合に、上記(ii)の手法を用いる場合には、低いビット深度の画像をトーンマッピングで拡大した画像を生成した画像の信号に用いるのではなく、高いビット深度の画像と重み付け平均した値を用いるので、低いビット深度の画像をトーンマッピング拡大することによる画像のボケを低減することができる。
【００３２】
本発明はまた、上記各方法により画像を生成する画像生成装置も提供する。
【発明の効果】
【００３３】
本発明によれば、低ビット深度で撮影されたカメラ位置の画像情報に対して、別の高ビット深度で撮影されたカメラ位置の画像情報を利用して、高いビット深度の画像情報を生成することができる。これにより主観品質の劣化を低減することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明の第１の実施例である、画像生成装置の構成を示す図である。
【図２】同実施例の、画像生成装置の動作を示すフローチャートである。
【図３】本発明の第２の実施例である、画像生成装置の構成を示す図である。
【図４】同実施例の、画像生成装置の動作を示すフローチャートである。
【図５】本発明の第３の実施例である、画像生成装置の構成を示す図である。
【図６】同実施例の、画像生成装置の動作を示すフローチャートである。
【図７】同実施例の変形例である、画像生成装置の構成を示す図である。
【図８】本発明の第４の実施例である、画像生成装置の構成を示す図である。
【図９】同実施例の、画像生成装置の動作を示すフローチャートである。
【図１０】同実施例の変形例である、画像生成装置の構成を示す図である。
【図１１】直線配列の多視点撮像系を示す図である。
【図１２】平面配列の多視点撮像系を示す図である。
【図１３】アーク状配列の多視点撮像系を示す図である。
【図１４】球面配列の多視点撮像系を示す図である。
【発明を実施するための形態】
【００３５】
図面を用いて本発明の画像生成装置の実施例を説明する。
【００３６】
〔第１の実施例〕
第１の実施例として、別のカメラで撮影された低ビット深度の画像Ａと高ビット深度の画像Ｂから、画像Ａに対応する高ビット深度（画像Ｂのビット深度に対応）の画像Ｃを生成する場合の例を示す。ここで、カメラで撮影される信号は、全てＹＵＶ信号（輝度Ｙ、色差Ｕ，Ｖ）により色信号が設定されているものとし、実施例では、Ｙ信号のみ扱うものとする。
【００３７】
図１に装置概要を示す。本実施例における画像生成装置は、画像Ａのビット深度を拡大して、画像Ｂと同じビット深度を有する画像Ｃを作成する画像ビット深度拡大部１０１と、画像Ｃの各画素位置と画像Ｂ中の対応点の有無および対応点位置を推定する対応点推定部１０２と、対応点推定部１０２で対応点があると推定された画像Ｃ中の画素位置に、画像Ｂ中の対応位置の画像情報を設定する対応画像設定部１０３とを備える。
【００３８】
ここで、画像ビット深度拡大部１０１では、画像のビット深度を、非特許文献４に示されている方法（トーンマッピング）により拡大して画像を作成するものとする。
また、対応点推定部１０２では、カメラパラメータもしくは既知のマッチング技術を用いて、画像Ｃの各画素について（画像Ｂ中の）対応する画素の候補を（１〜複数）仮定し、対応する画素間で差分の絶対値を求めて、それら絶対値の最小値が予め設定した閾値よりも小さい場合には、その最小値となる点を対応点と推定し、閾値よりも大きい場合には、画像Ｃの当該画素については対応点はないと推定するものとする。
【００３９】
以上を前提として、図１に示す画像生成装置は次のように動作する。図２に、そのフローチャートを示す。
【００４０】
まず、画像ビット深度拡大部１０１は、画像Ａをトーンマッピング拡大して画像Ｃを作成する（ステップＳ１０）。そして、対応点推定部１０２は、画像Ｃと画像Ｂの対応点の有無と位置を、上述のような方法で推定する（ステップＳ１１）。対応画像設定部１０３は、対応点推定部１０２で対応点があると推定された画像Ｃの各画素に対し、画像Ｂの対応点の画像情報を設定する（ステップＳ１２）。以上により画像Ｃを生成する。
なお、画像ビット深度拡大部１０１では、他のトーンマッピング方法を用いてもよい。
【００４１】
また、対応点推定部１０２は、画素間で差分の絶対値を求めたが、推定する対象の画素を中心とする複数画素からなるブロックを使い推定してもよい。例えば、画像Ｃの各画素について、画像Ｂ中の対応する画素の候補を（１〜複数）仮定し、各候補を中心とする複数画素からなるブロック内の画素との差分の絶対値の合計を求めて、その合計値が最小となる候補の位置を対応点として推定してもよい。
【００４２】
以上の例では、別のカメラで撮影された低ビット深度の画像Ａと高ビット深度の画像Ｂから高ビット深度の画像Ｃを生成したが、同じカメラで撮影した、ある時刻の低ビット深度の画像Ａと、別の時刻の高ビット深度の画像Ｂから、高ビット深度の画像Ｃを生成してもよい。
【００４３】
また、上述のように、画像Ａと画像Ｂから、画像Ａに対応する画像Ｃを作成したが、画像Ｂは複数あってもよい。画像Ｂが２つ（Ｂ１とＢ２）ある場合の例を次に示す。構成は同じであるが、次のように動作する。
【００４４】
まず、画像ビット深度拡大部１０１は、画像Ａをトーンマッピング拡大して画像Ｃを作成する。
そして、対応点推定部１０２は、画像Ｃと画像Ｂ１の対応点の有無と位置を、上記と同様の方法で推定する。対応画像設定部１０３は、対応点推定部１０２で対応点があると推定された各位置における画像Ｂ１の画像情報を画像Ｃへ設定する。
次に、対応点推定部１０２は、画像Ｃと画像Ｂ２の対応点の有無と位置を、同様に推定する。対応画像設定部１０３は、対応点推定部１０２で対応点があると推定された各位置における画像Ｂ２の画像情報を画像Ｃへ設定する。
以上により画像Ｃを生成する。
【００４５】
画像Ｂ１と画像Ｂ２の双方に対応点があると推定された場合、予め定めたどちらかの画像情報を優先させて画像Ｃに設定してもよいし、対応する画像Ｃの画素との差分が小さいほうの画像Ｂ１または画像Ｂ２の画像情報を画像Ｃに設定してもよいし、画像Ｂ１と画像Ｂ２の画像情報の平均値を画像Ｃに設定してもよい。
画像Ｂが３つ以上ある場合にも同様に高ビット深度の画像Ｃを生成することができる。
以下に説明する他の実施例についても複数の画像Ｂがある場合に、同様に実施することができる。
【００４６】
〔第２の実施例〕
次に、第２の実施例として、第１の実施例と同様に、別のカメラで撮影された低ビット深度の画像Ａと高ビット深度の画像Ｂから、画像Ａに対応する高ビット深度の画像Ｃを生成する場合の例を示す。ただし、対応点がない場合には、周囲の高ビット深度の画像情報から補間して生成する場合の例を示す。
【００４７】
図３に装置概要を示す。本実施例における画像生成装置は、画像Ａのビット深度を拡大して画像Ｃを作成する画像ビット深度拡大部２０１と、画像Ｃの各画素位置と画像Ｂ中の対応点の有無および対応点位置を推定する対応点推定部２０２と、対応点推定部２０２で対応点があると推定された画像Ｃ中の画素位置に、画像Ｂ中の対応位置の画像情報を設定する対応画像設定部２０３と、対応点推定部２０２で対応点がないと推定された画像Ｃ中の画素位置の画像情報を、対応画像設定部２０３で設定された画像情報から作成する画像補間部２０４とを備える。
【００４８】
画像補間部２０４では、画像Ｃ中の画素で、対応点がないと推定された画素の画像情報を、対応点があるとして画像Ｂから画像情報を設定された画素位置の当該画像情報から作成する。このとき、画像Ｂから画像情報を設定された画素位置からの距離に応じて線形補間をする。
【００４９】
以上を前提として、図３に示す画像生成装置は次のように動作する。図４に、そのフローチャートを示す。
【００５０】
まず、画像ビット深度拡大部２０１は、画像Ａをトーンマッピング拡大して画像Ｃを作成する（ステップＳ２０）。そして、対応点推定部２０２は、画像Ｃと画像Ｂの対応点の有無と位置を推定する（ステップＳ２１）。対応画像設定部２０３は、対応点推定部２０２で対応点があると推定された画像Ｃの各画素に対し、画像Ｂの対応点の画像情報を設定する（ステップＳ２２）。画像補間部２０４は、対応点推定部２０２で対応点がないと推定された画素位置について、対応画像設定部２０３で既に設定された画像情報から補間して画像情報を作成する（ステップＳ２３）。以上により画像Ｃを生成する。
【００５１】
画像補間部２０４では、線形補間により画像情報を生成したが、非線形処理を用いて画像情報を生成してもよい。いずれも、対応画像設定部２０３で設定された画像情報を利用して生成する。
【００５２】
〔第３の実施例〕
次に、第３の実施例として、第１の実施例と同様に、別のカメラで撮影された低ビット深度の画像Ａと高ビット深度の画像Ｂから、画像Ａに対応する高ビット深度（画像Ｂのビット深度に対応）の画像Ｃを生成する場合の例を示す。ただし、生成した画像情報のダイナミックレンジを縮小した画像と元の画像Ａとの差が小さい画素位置にだけ、生成した画像情報を適用する場合の例を示す。
以下の説明で、画像Ｄは、画像Ａを初めにトーンマッピング拡大した画像、画像Ｅは、画像Ｄと同サイズ（同じ画素構成）の一時的な処理用画像である。
また、画像Ｆは、画像Ｅをトーンマッピング縮小して作成した、ビット深度の小さい画像（画像Ａと同じビット深度を有する、一時的な処理用画像）である。
【００５３】
図５に装置概要を示す。本実施例における画像生成装置は、画像Ａをトーンマッピング拡大して画像Ｄを作成する画像ビット深度拡大部３０１と、画像Ｄの各画素位置と画像Ｂ中の対応点の有無および対応点位置を推定する対応点推定部３０２と、対応点推定部３０２で対応点があると推定された、画像Ｄ中の画素位置と同じ画像Ｅ中の画素位置に、画像Ｂ中の対応位置の画像情報を設定する対応画像設定部３０３と、対応点推定部３０２で対応点がないと推定された、画像Ｄ中の画素位置と同じ画像Ｅ中の画素位置の画像情報を、対応画像設定部３０３で設定された画像情報から作成する画像補間部３０４と、画像Ｅをトーンマッピングしてビット深度の小さい画像Ｆを作成する画像ビット深度縮小部３０５と、画像Ａの各画素位置において、画像Ａの画像情報と、同じ画素位置の画像Ｆの画像情報との差分を求める差分作成部３０６と、差分作成部３０６で求めた各画素位置における差分が閾値より小さい場合には、対応する画像Ｃの各画素位置に画像Ｅの画像情報を設定し、差分作成部３０６で求めた各画素位置における差分が大きい場合には、対応する画像Ｃの各画素位置に画像Ｄの画像情報を設定する画像選択部３０７とを備える。
【００５４】
画像ビット深度縮小部３０５では、例えば非特許文献４に示される方法に従って、ビット深度の小さい画像情報（即ち、画像Ｆ）を生成する。
差分作成部３０６では、各画素位置で上記差分を作成するものとする。
画像選択部３０７では、予め差分の閾値を設定しておき、差分作成部３０６で得られる差分との比較をするものとする。
【００５５】
以上を前提として、図５に示す画像生成装置は次のように動作する。図６に、そのフローチャートを示す。
【００５６】
まず、画像ビット深度拡大部３０１は、画像Ａをトーンマッピング拡大して画像Ｄを作成する（ステップＳ３０）。そして、対応点推定部３０２は、画像Ｄと画像Ｂの対応点の有無と位置を推定する（ステップＳ３１）。対応画像設定部３０３は、対応点推定部３０２で対応点があると推定された位置における画像Ｂの画像情報を画像Ｅへ設定する（ステップＳ３２）。
【００５７】
画像補間部３０４は、対応点推定部３０２で対応点がないと推定された位置について、対応画像設定部３０３で既に設定された画像情報から補間して画像Ｅの画像情報を作成する（ステップＳ３３）。
画像ビット深度縮小部３０５は、画像Ｅをトーンマッピング縮小してビット深度の小さい画像Ｆを作成する（ステップＳ３４）。差分作成部３０６は、画像Ａと画像Ｆの差分を作成する（ステップＳ３５）。
画像選択部３０７では、差分作成部３０６で得られる差分に従い、各画素位置について、画像Ｅまたは画像Ｄを選択して画像Ｃを生成する（ステップＳ３６）。
【００５８】
なお、画像ビット深度縮小部３０５では、他の手法を使ってビット深度の小さい画像を作成してもよい。
また、差分作成部３０６では、対象画素を中心とするブロック間の差分を作成してもよい（第１の実施例参照）。
【００５９】
ところで、画像選択部３０７では、差分作成部３０６で求めた各画素位置における差分が小さい場合には、対応する画像Ｃの各画素位置に画像Ｅの画像情報を設定し、差分作成部３０６で求めた各画素位置における差分が大きい場合には、対応する画像Ｃの各画素位置に画像Ｄの画像情報を設定した。
この画像選択部３０７の代わりに、図７に示す画像生成部３０８を設けてもよい。
【００６０】
図７に装置概要を示す。この場合、画像生成部３０８では、差分作成部３０６で求めた各画素位置における差分が閾値より小さい場合には、対応する画像Ｃの各画素位置に画像Ｅの画像情報を設定し、差分作成部３０６で求めた各画素位置における差分が大きい場合には、対応する画像Ｃの各画素位置に画像Ｄの画像情報と画像Ｅの画像情報を重み付け平均した値を設定する。
これによれば、差分が大きい場合にトーンマッピング拡大した画像Ｄを用いるのではなく、トーンマッピング拡大した画像Ｄと他の画像から生成した画像Ｅの重み付け平均を用いることができる。本手法は、トーンマッピング拡大した画像Ｄの劣化が大きい場合に好適である。
【００６１】
〔第４の実施例〕
次に、第４の実施例として、別のカメラで撮影された同じビット深度の画像ＡとＢがあり、画像Ａの縮小画像と画像Ｂから画像Ａに近い画像Ｃを生成する場合の例を示す。ここでは、生成した画像情報のダイナミックレンジを縮小した画像と元の画像Ａとの差が小さい画素位置にだけ生成した画像情報を適用する場合の例を示す。この実施例では、各画素位置における２画像間の差分に対する閾値も推定することが特徴である。
【００６２】
図８に装置概要を示す。本実施例における画像生成装置は、
・画像Ａをトーンマッピングしてビット深度の小さい画像Ｇを作成する基準画像ビット深度縮小部４１２と、
・画像Ｇをトーンマッピング拡大して、画像Ａ，Ｂと同じビット深度の画像Ｄを作成する画像ビット深度拡大部４０１と、
・画像Ｄの各画素位置と画像Ｂ中の対応点の有無および対応点位置を推定する対応点推定部４０２と、
・対応点推定部４０２で対応点があると推定された、画像Ｄ中の画素位置と同じ画像Ｅ（同サイズの一時的な処理画像）中の画素位置に、画像Ｂ中の対応位置の画像情報を設定する対応画像設定部４０３と、
・対応点推定部４０２で対応点がないと推定された、画像Ｄ中の画素位置と同じ画像Ｅ中の画素位置の画像情報を、対応画像設定部４０３で設定された画像情報から作成する画像補間部４０４と、
・画像Ｅをトーンマッピングしてビット深度の小さい（画像Ｇと同じビット深度の）画像Ｆを作成する画像ビット深度縮小部４０５と、
・画像Ｇの各画素位置において、画像Ｇの画像情報と、同じ画素位置の画像Ｆの画像情報との差分を求める差分作成部４０６と、
・予め設定した範囲で複数の閾値を設定する閾値設定部４１０と、
・閾値設定部４１０で設定した各閾値に対し、差分作成部４０６で求めた各画素位置における差分が閾値よりも小さい場合には、対応する画像Ｃの各画素位置に画像Ｅの画像情報を設定し、差分作成部４０６で求めた各画素位置における差分が閾値よりも大きい場合には、対応する画像Ｃの各画素位置に画像Ｄの画像情報を設定する画像選択部４０７と、
・画像選択部４０７で得られる画像Ｃと画像Ａの各画素位置における画像情報の差分の合計を算出する生成差分合計部４０９と、
・生成差分合計部４０９で得られる差分の合計が最も小さくなる閾値を決定する閾値決定部４１１と
を備える。
【００６３】
閾値設定部４１０では、閾値として１０から５０まで１０ずつ閾値を増加させるものとする。
【００６４】
以上を前提として、図８に示す画像生成装置は次のように動作する。図９に、そのフローチャートを示す。
【００６５】
まず、基準画像ビット深度縮小部４１２は、画像Ａからトーンマッピングによってビット深度の小さい画像Ｇを作成する（ステップＳ４０）。
画像ビット深度拡大部４０１は、画像Ｇからビット深度の大きい（画像Ａ，Ｂと同じビット深度を有する）画像Ｄを作成する（ステップＳ４１）。
そして、対応点推定部４０２は、画像Ｄと画像Ｂの対応点の有無と位置を推定する（ステップＳ４２）。
対応画像設定部４０３は、対応点推定部４０２で対応点があると推定された位置における画像Ｂの画像情報を、画像Ｅへ設定する（ステップＳ４３）。
【００６６】
画像補間部４０４は、対応点推定部４０２で対応点がないと推定された位置について、対応画像設定部４０３で既に設定された画像情報から補間して画像Ｅの画像情報を作成する（ステップＳ４４）。
画像ビット深度縮小部４０５は、画像Ｅからビット深度の小さい画像Ｆを作成する（ステップＳ４５）。
差分作成部４０６は、画像Ｇと画像Ｆの差分を作成する（ステップＳ４６）。
【００６７】
続いて、閾値設定部４１０では、閾値を１０に設定する（ステップＳ４７）。
画像選択部４０７では、差分作成部４０６で得られる差分と閾値を比較し、各画素位置毎に画像Ｅまたは画像Ｄを選択して画像Ｃを生成する（ステップＳ４８）。
生成差分合計部４０９は、画像Ｃと画像Ａとの差分の合計を求める（ステップＳ４９）。
以上の閾値設定部４１０と画像選択部４０７と生成差分合計部４０９の処理を、閾値を１０ずつ増やしながら５０まで繰り返し実行する（ステップＳ５０、Ｓ５１）。
【００６８】
続いて、閾値決定部４１１は、生成差分合計部４０９で得られる値が最小となる場合の閾値を決定する（ステップＳ５２）。
【００６９】
上記構成において、画像選択部４０７の代わりに画像生成部４０８を用いてもよい。図１０に装置概要を示す。
画像生成部４０８では、差分作成部４０６で求めた各画素位置における差分が小さい場合には、対応する画像Ｃの各画素位置に画像Ｅの画像情報を設定し、差分作成部４０６で求めた各画素位置における差分が大きい場合には、対応する画像Ｃの各画素位置に画像Ｄの画像情報と画像Ｅの画像情報を重み付け平均した値を設定する。
【００７０】
以上の実施例では、複数のカメラ入力映像に対する処理を説明した。この方法は、このような多視点画像だけではなく、単眼の動画像にも適用できる。
すなわち、動画像中の各フレームのビット深度が異なる場合に、低ビット深度のフレームの画像に対して、他の高ビット深度のフレームの画像を利用して、高いビット深度の画像を生成することができる。
例えば、低ビット深度のフレームを画像Ａとし、他の高ビット深度のフレームを画像Ｂとして、高ビット深度の画像Ｃを生成する処理に適用できる。
【００７１】
また、本実施例では、扱う信号をＹ信号としたが、これはＲＧＢなどの他の色信号でもよい。
また、ＹＵＶ信号がありＹ信号のビット深度が同じであるが、ＵＶ信号のビット深度が異なる場合にも適用できる。この場合には、画像拡大部においてＵＶ信号のみ拡大し、Ｙ信号はそのままコピーする。そして、対応点推定部における対応点推定の処理をＵまたはＶ信号を拡大した信号ではなく、Ｙ信号で行ってもよい。
【００７２】
以上の画像生成の処理は、コンピュータとソフトウェアプログラムとによっても実現することができ、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。
【産業上の利用可能性】
【００７３】
本発明によれば、低ビット深度で撮影されたカメラ位置の画像情報に対して、別の高ビット深度で撮影されたカメラ位置の画像情報を利用して、高いビット深度の画像情報を生成することができる。これにより主観品質の劣化を低減することができる。
【符号の説明】
【００７４】
１０１、２０１、３０１、４０１ 画像ビット深度拡大部
１０２、２０２、３０２、４０２ 対応点推定部
１０３、２０３、３０３、４０３ 対応画像設定部
２０４、３０４、４０４ 画像補間部
３０５、４０５ 画像ビット深度縮小部
３０６、４０６ 差分作成部
３０７、４０７ 画像選択部
３０８、４０８ 画像生成部
４０９ 生成差分合計部
４１０ 閾値設定部
４１１ 閾値決定部
４１２ 基準画像ビット深度縮小部
【特許請求の範囲】
【請求項１】
第１の画像Ａと、画像Ａよりもビット深度の高い第２の画像Ｂから、第３の画像Ｃの画像情報を生成する画像生成方法であって、
第１の画像Ａをトーンマッピング拡大して、画像Ｂと同じビット深度を有する第３の画像Ｃを作成する画像ビット深度拡大ステップと、
第３の画像Ｃの各画素位置と第２の画像Ｂ中の対応点の有無および対応点位置を推定する対応点推定ステップと、
前記対応点推定ステップで対応点があると推定された、第３の画像Ｃ中の画素位置に、第２の画像Ｂ中の対応位置の画像情報を設定する対応画像設定ステップと、
を実行することを特徴とする画像生成方法。
【請求項２】
前記対応点推定ステップで対応点がないと推定された、第３の画像Ｃ中の画素位置の画像情報を、前記対応画像設定ステップで設定された画像情報から補間して作成する画像補間ステップ、
を更に実行することを特徴とする、請求項１記載の画像生成方法。
【請求項３】
第１の画像Ａと、画像Ａよりもビット深度の高い第２の画像Ｂから第３の画像Ｃの画像情報を生成する画像生成方法であって、
第１の画像Ａをトーンマッピング拡大して、画像Ｂと同じビット深度を有する第４の画像Ｄを作成する画像ビット深度拡大ステップと、
第４の画像Ｄの各画素位置と第２の画像Ｂ中の対応点の有無および対応点位置を推定する対応点推定ステップと、
前記対応点推定ステップで対応点があると推定された、第４の画像Ｄ中の画素位置と同じ第５の画像Ｅ中の画素位置に、第２の画像Ｂ中の対応位置の画像情報を設定する対応画像設定ステップと、
前記対応点推定ステップで対応点がないと推定された、第４の画像Ｄ中の画素位置と同じ第５の画像Ｅ中の画素位置の画像情報を、前記対応画像設定ステップで設定された画像情報から補間して作成する画像補間ステップと、
第５の画像Ｅをトーンマッピング縮小して、画像Ａと同じビット深度を有する第６の画像Ｆを作成する画像ビット深度縮小ステップと、
第１の画像Ａの各画素位置において、第１の画像Ａの画像情報と、同じ画素位置の第６の画像Ｆの画像情報との差分を求める差分作成ステップと、
前記差分作成ステップで求めた各画素位置における差分が閾値よりも小さい場合には、対応する第３の画像Ｃの各画素位置に第５の画像Ｅの画像情報を設定し、前記差分作成ステップで求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報に基づいた画像情報を設定する画像情報設定ステップと、
を実行することを特徴とする画像生成方法。
【請求項４】
前記画像情報設定ステップにおいて、前記差分作成ステップで求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報を設定することを特徴とする請求項３記載の画像生成方法。
【請求項５】
前記画像情報設定ステップにおいて、前記差分作成ステップで求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報と第５の画像Ｅの画像情報を重み付け平均した値を設定することを特徴とする請求項３記載の画像生成方法。
【請求項６】
同じビット深度を有する第１の画像Ａと第２の画像Ｂから第３の画像Ｃの画像情報を、第４〜第７の画像Ｄ〜Ｇを用いて生成する画像生成方法であって、
第１の画像Ａをトーンマッピング縮小してビット深度の小さい第７の画像Ｇを作成する基準画像ビッ卜深度縮小ステップと、
第７の画像Ｇをトーンマッピング拡大して、画像Ａと同じビット深度を有する第４の画像Ｄを作成する画像ビット深度拡大ステップと、
第４の画像Ｄの各画素位置と第２の画像Ｂ中の対応点の有無および対応点位置を推定する対応点推定ステップと、
前記対応点推定ステップで対応点があると推定された、第４の画像Ｄ中の画素位置と同じ第５の画像Ｅ中の画素位置に、第２の画像Ｂ中の対応位置の画像情報を設定する対応画像設定ステップと、
前記対応点推定ステップで対応点がないと推定された、第４の画像Ｄ中の画素位置と同じ第５の画像Ｅ中の画素位置の画像情報を、前記対応画像設定ステップで設定された画像情報から補間して作成する画像補間ステップと、
第５の画像Ｅをトーンマッピング縮小して、画像Ｇと同じビット深度を有する第６の画像Ｆを作成する画像ビット深度縮小ステップと、
第７の画像Ｇの各画素位置において、第７の画像Ｇの画像情報と、同じ画素位置の第６の画像Ｆの画像情報との差分を求める差分作成ステップと、
閾値を設定する閾値設定ステップと、
前記差分作成ステップで求めた各画素位置における差分が閾値よりも小さい場合には、対応する第３の画像Ｃの各画素位置に第５の画像Ｅの画像情報を設定し、前記差分作成ステップで求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報に基づいた画像情報を設定する画像情報設定ステップと、
前記画像情報設定ステップで得られる第３の画像Ｃと第１の画像Ａの各画素位置における画像情報の差分の合計を算出する生成差分合計ステップと、
前記閾値設定ステップで設定した閾値を予め定められた範囲内で変えながら前記画像情報設定ステップと前記生成差分合計ステップとを繰り返した結果から、前記生成差分合計ステップで得られる差分の合計が最も小さくなる閾値を決定する閾値決定ステップと、
を実行することを特徴とする画像生成方法。
【請求項７】
前記画像情報設定ステップにおいて、前記差分作成ステップで求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報を設定することを特徴とする請求項６記載の画像生成方法。
【請求項８】
前記画像情報設定ステップにおいて、前記差分作成ステップで求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報と第５の画像Ｅの画像情報を重み付け平均した値を設定することを特徴とする請求項６記載の画像生成方法。
【請求項９】
第１の画像Ａと、画像Ａよりもビット深度の高い第２の画像Ｂから第３の画像Ｃの画像情報を生成する画像生成装置であって、
第１の画像Ａをトーンマッピング拡大して、画像Ｂと同じビット深度を有する第３の画像Ｃを作成する画像ビット深度拡大部と、
第３の画像Ｃの各画素位置と第２の画像Ｂ中の対応点の有無および対応点位置を推定する対応点推定部と、
前記対応点推定部で対応点があると推定された、第３の画像Ｃ中の画素位置に、第２の画像Ｂ中の対応位置の画像情報を設定する対応画像設定部と、
を備えることを特徴とする画像生成装置。
【請求項１０】
前記対応点推定部で対応点がないと推定された、第３の画像Ｃ中の画素位置の画像情報を、前記対応画像設定部で設定された画像情報から補間して作成する画像補間部、
を更に備えることを特徴とする請求項９記載の画像生成装置。
【請求項１１】
第１の画像Ａと、画像Ａよりもビット深度の高い第２の画像Ｂから第３の画像Ｃの画像情報を生成する画像生成装置であって、
第１の画像Ａをトーンマッピング拡大して、画像Ｂと同じビット深度を有する第４の画像Ｄを作成する画像ビット深度拡大部と、
第４の画像Ｄの各画素位置と第２の画像Ｂ中の対応点の有無および対応点位置を推定する対応点推定部と、
前記対応点推定部で対応点があると推定された、第４の画像Ｄ中の画素位置と同じ第５の画像Ｅ中の画素位置に、第２の画像Ｂ中の対応位置の画像情報を設定する対応画像設定部と、
前記対応点推定部で対応点がないと推定された、第４の画像Ｄ中の画素位置と同じ第５の画像Ｅ中の画素位置の画像情報を、前記対応画像設定部で設定された画像情報から補間して作成する画像補間部と、
第５の画像Ｅをトーンマッピング縮小して、画像Ａと同じビット深度を有する第６の画像Ｆを作成する画像ビット深度縮小部と、
第１の画像Ａの各画素位置において、第１の画像Ａの画像情報と、同じ画素位置の第６の画像Ｆの画像情報との差分を求める差分作成部と、
前記差分作成部で求めた各画素位置における差分が閾値よりも小さい場合には、対応する第３の画像Ｃの各画素位置に第５の画像Ｅの画像情報を設定し、前記差分作成部で求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報に基づいた画像情報を設定する画像情報設定部と、
を備えることを特徴とする画像生成装置。
【請求項１２】
前記画像情報設定部は、前記差分作成部が求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報を設定することを特徴とする請求項１１記載の画像生成装置。
【請求項１３】
前記画像情報設定部は、前記差分作成部が求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報と第５の画像Ｅの画像情報を重み付け平均した値を設定することを特徴とする請求項１１記載の画像生成装置。
【請求項１４】
同じビット深度を有する第１の画像Ａと第２の画像Ｂから第３の画像Ｃの画像情報を、第４〜第７の画像Ｄ〜Ｇを用いて生成する画像生成装置であって、
第１の画像Ａをトーンマッピング縮小してビット深度の小さい第７の画像Ｇを作成する基準画像ビット深度縮小部と、
第７の画像Ｇをトーンマッピング拡大して、画像Ａと同じビット深度を有する第４の画像Ｄを作成する画像ビット深度拡大部と、
第４の画像Ｄの各画素位置と第２の画像Ｂ中の対応点の有無および対応点位置を推定する対応点推定部と、
前記対応点推定部で対応点があると推定された、第４の画像Ｄ中の画素位置と同じ第５の画像Ｅ中の画素位置に、第２の画像Ｂ中の対応位置の画像情報を設定する対応画像設定部と、
前記対応点推定部で対応点がないと推定された、第４の画像Ｄ中の画素位置と同じ第５の画像Ｅ中の画素位置の画像情報を、前記対応画像設定部で設定された画像情報から補間して作成する画像補間部と、
第５の画像Ｅをトーンマッピング縮小して、画像Ｇと同じビット深度を有する第６の画像Ｆを作成する画像ビット深度縮小部と、
第７の画像Ｇの各画素位置において、第７の画像Ｇの画像情報と、同じ画素位置の第６の画像Ｆの画像情報との差分を求める差分作成部と、
閾値を設定する閾値設定部と、
前記差分作成部で求めた各画素位置における差分が閾値よりも小さい場合には、対応する第３の画像Ｃの各画素位置に第５の画像Ｅの画像情報を設定し、前記差分作成部で求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報に基づいた画像情報を設定する画像情報設定部と、
前記画像情報設定部で得られる第３の画像Ｃと第１の画像Ａの各画素位置における画像情報の差分の合計を算出する生成差分合計部と、
前記閾値設定部で設定した閾値を予め定められた範囲内で変えながら前記画像情報設定部と前記生成差分合計部とによる処理を繰り返した結果から、前記生成差分合計部で得られる差分の合計が最も小さくなる閾値を決定する閾値決定部と、
を備えることを特徴とする画像生成装置。
【請求項１５】
前記画像情報設定部は、前記差分作成部が求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報を設定することを特徴とする請求項１４記載の画像生成装置。
【請求項１６】
前記画像情報設定部は、前記差分作成部が求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報と第５の画像Ｅの画像情報を重み付け平均した値を設定することを特徴とする請求項１４記載の画像生成装置。
【請求項１７】
請求項１、３、及び６のいずれか１項に記載の画像生成方法を、コンピュータに実行させるための画像生成プログラム。
【請求項１８】
請求項１、３、及び６のいずれか１項に記載の画像生成方法を、コンピュータに実行させるための画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
第１の画像Ａと、画像Ａよりもビット深度の高い第２の画像Ｂから、第３の画像Ｃの画像情報を生成する画像生成方法であって、
第１の画像Ａをトーンマッピング拡大して、画像Ｂと同じビット深度を有する第３の画像Ｃを作成する画像ビット深度拡大ステップと、
第３の画像Ｃの各画素位置と第２の画像Ｂ中の対応点の有無および対応点位置を推定する対応点推定ステップと、
前記対応点推定ステップで対応点があると推定された、第３の画像Ｃ中の画素位置に、第２の画像Ｂ中の対応位置の画像情報を設定する対応画像設定ステップと、
を実行することを特徴とする画像生成方法。
【請求項２】
前記対応点推定ステップで対応点がないと推定された、第３の画像Ｃ中の画素位置の画像情報を、前記対応画像設定ステップで設定された画像情報から補間して作成する画像補間ステップ、
を更に実行することを特徴とする、請求項１記載の画像生成方法。
【請求項３】
第１の画像Ａと、画像Ａよりもビット深度の高い第２の画像Ｂから第３の画像Ｃの画像情報を生成する画像生成方法であって、
第１の画像Ａをトーンマッピング拡大して、画像Ｂと同じビット深度を有する第４の画像Ｄを作成する画像ビット深度拡大ステップと、
第４の画像Ｄの各画素位置と第２の画像Ｂ中の対応点の有無および対応点位置を推定する対応点推定ステップと、
前記対応点推定ステップで対応点があると推定された、第４の画像Ｄ中の画素位置と同じ第５の画像Ｅ中の画素位置に、第２の画像Ｂ中の対応位置の画像情報を設定する対応画像設定ステップと、
前記対応点推定ステップで対応点がないと推定された、第４の画像Ｄ中の画素位置と同じ第５の画像Ｅ中の画素位置の画像情報を、前記対応画像設定ステップで設定された画像情報から補間して作成する画像補間ステップと、
第５の画像Ｅをトーンマッピング縮小して、画像Ａと同じビット深度を有する第６の画像Ｆを作成する画像ビット深度縮小ステップと、
第１の画像Ａの各画素位置において、第１の画像Ａの画像情報と、同じ画素位置の第６の画像Ｆの画像情報との差分を求める差分作成ステップと、
前記差分作成ステップで求めた各画素位置における差分が閾値よりも小さい場合には、対応する第３の画像Ｃの各画素位置に第５の画像Ｅの画像情報を設定し、前記差分作成ステップで求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報に基づいた画像情報を設定する画像情報設定ステップと、
を実行することを特徴とする画像生成方法。
【請求項４】
前記画像情報設定ステップにおいて、前記差分作成ステップで求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報を設定することを特徴とする請求項３記載の画像生成方法。
【請求項５】
前記画像情報設定ステップにおいて、前記差分作成ステップで求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報と第５の画像Ｅの画像情報を重み付け平均した値を設定することを特徴とする請求項３記載の画像生成方法。
【請求項６】
同じビット深度を有する第１の画像Ａと第２の画像Ｂから第３の画像Ｃの画像情報を、第４〜第７の画像Ｄ〜Ｇを用いて生成する画像生成方法であって、
第１の画像Ａをトーンマッピング縮小してビット深度の小さい第７の画像Ｇを作成する基準画像ビッ卜深度縮小ステップと、
第７の画像Ｇをトーンマッピング拡大して、画像Ａと同じビット深度を有する第４の画像Ｄを作成する画像ビット深度拡大ステップと、
第４の画像Ｄの各画素位置と第２の画像Ｂ中の対応点の有無および対応点位置を推定する対応点推定ステップと、
前記対応点推定ステップで対応点があると推定された、第４の画像Ｄ中の画素位置と同じ第５の画像Ｅ中の画素位置に、第２の画像Ｂ中の対応位置の画像情報を設定する対応画像設定ステップと、
前記対応点推定ステップで対応点がないと推定された、第４の画像Ｄ中の画素位置と同じ第５の画像Ｅ中の画素位置の画像情報を、前記対応画像設定ステップで設定された画像情報から補間して作成する画像補間ステップと、
第５の画像Ｅをトーンマッピング縮小して、画像Ｇと同じビット深度を有する第６の画像Ｆを作成する画像ビット深度縮小ステップと、
第７の画像Ｇの各画素位置において、第７の画像Ｇの画像情報と、同じ画素位置の第６の画像Ｆの画像情報との差分を求める差分作成ステップと、
閾値を設定する閾値設定ステップと、
前記差分作成ステップで求めた各画素位置における差分が閾値よりも小さい場合には、対応する第３の画像Ｃの各画素位置に第５の画像Ｅの画像情報を設定し、前記差分作成ステップで求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報に基づいた画像情報を設定する画像情報設定ステップと、
前記画像情報設定ステップで得られる第３の画像Ｃと第１の画像Ａの各画素位置における画像情報の差分の合計を算出する生成差分合計ステップと、
前記閾値設定ステップで設定した閾値を予め定められた範囲内で変えながら前記画像情報設定ステップと前記生成差分合計ステップとを繰り返した結果から、前記生成差分合計ステップで得られる差分の合計が最も小さくなる閾値を決定する閾値決定ステップと、
を実行することを特徴とする画像生成方法。
【請求項７】
前記画像情報設定ステップにおいて、前記差分作成ステップで求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報を設定することを特徴とする請求項６記載の画像生成方法。
【請求項８】
前記画像情報設定ステップにおいて、前記差分作成ステップで求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報と第５の画像Ｅの画像情報を重み付け平均した値を設定することを特徴とする請求項６記載の画像生成方法。
【請求項９】
第１の画像Ａと、画像Ａよりもビット深度の高い第２の画像Ｂから第３の画像Ｃの画像情報を生成する画像生成装置であって、
第１の画像Ａをトーンマッピング拡大して、画像Ｂと同じビット深度を有する第３の画像Ｃを作成する画像ビット深度拡大部と、
第３の画像Ｃの各画素位置と第２の画像Ｂ中の対応点の有無および対応点位置を推定する対応点推定部と、
前記対応点推定部で対応点があると推定された、第３の画像Ｃ中の画素位置に、第２の画像Ｂ中の対応位置の画像情報を設定する対応画像設定部と、
を備えることを特徴とする画像生成装置。
【請求項１０】
前記対応点推定部で対応点がないと推定された、第３の画像Ｃ中の画素位置の画像情報を、前記対応画像設定部で設定された画像情報から補間して作成する画像補間部、
を更に備えることを特徴とする請求項９記載の画像生成装置。
【請求項１１】
第１の画像Ａと、画像Ａよりもビット深度の高い第２の画像Ｂから第３の画像Ｃの画像情報を生成する画像生成装置であって、
第１の画像Ａをトーンマッピング拡大して、画像Ｂと同じビット深度を有する第４の画像Ｄを作成する画像ビット深度拡大部と、
第４の画像Ｄの各画素位置と第２の画像Ｂ中の対応点の有無および対応点位置を推定する対応点推定部と、
前記対応点推定部で対応点があると推定された、第４の画像Ｄ中の画素位置と同じ第５の画像Ｅ中の画素位置に、第２の画像Ｂ中の対応位置の画像情報を設定する対応画像設定部と、
前記対応点推定部で対応点がないと推定された、第４の画像Ｄ中の画素位置と同じ第５の画像Ｅ中の画素位置の画像情報を、前記対応画像設定部で設定された画像情報から補間して作成する画像補間部と、
第５の画像Ｅをトーンマッピング縮小して、画像Ａと同じビット深度を有する第６の画像Ｆを作成する画像ビット深度縮小部と、
第１の画像Ａの各画素位置において、第１の画像Ａの画像情報と、同じ画素位置の第６の画像Ｆの画像情報との差分を求める差分作成部と、
前記差分作成部で求めた各画素位置における差分が閾値よりも小さい場合には、対応する第３の画像Ｃの各画素位置に第５の画像Ｅの画像情報を設定し、前記差分作成部で求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報に基づいた画像情報を設定する画像情報設定部と、
を備えることを特徴とする画像生成装置。
【請求項１２】
前記画像情報設定部は、前記差分作成部が求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報を設定することを特徴とする請求項１１記載の画像生成装置。
【請求項１３】
前記画像情報設定部は、前記差分作成部が求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報と第５の画像Ｅの画像情報を重み付け平均した値を設定することを特徴とする請求項１１記載の画像生成装置。
【請求項１４】
同じビット深度を有する第１の画像Ａと第２の画像Ｂから第３の画像Ｃの画像情報を、第４〜第７の画像Ｄ〜Ｇを用いて生成する画像生成装置であって、
第１の画像Ａをトーンマッピング縮小してビット深度の小さい第７の画像Ｇを作成する基準画像ビット深度縮小部と、
第７の画像Ｇをトーンマッピング拡大して、画像Ａと同じビット深度を有する第４の画像Ｄを作成する画像ビット深度拡大部と、
第４の画像Ｄの各画素位置と第２の画像Ｂ中の対応点の有無および対応点位置を推定する対応点推定部と、
前記対応点推定部で対応点があると推定された、第４の画像Ｄ中の画素位置と同じ第５の画像Ｅ中の画素位置に、第２の画像Ｂ中の対応位置の画像情報を設定する対応画像設定部と、
前記対応点推定部で対応点がないと推定された、第４の画像Ｄ中の画素位置と同じ第５の画像Ｅ中の画素位置の画像情報を、前記対応画像設定部で設定された画像情報から補間して作成する画像補間部と、
第５の画像Ｅをトーンマッピング縮小して、画像Ｇと同じビット深度を有する第６の画像Ｆを作成する画像ビット深度縮小部と、
第７の画像Ｇの各画素位置において、第７の画像Ｇの画像情報と、同じ画素位置の第６の画像Ｆの画像情報との差分を求める差分作成部と、
閾値を設定する閾値設定部と、
前記差分作成部で求めた各画素位置における差分が閾値よりも小さい場合には、対応する第３の画像Ｃの各画素位置に第５の画像Ｅの画像情報を設定し、前記差分作成部で求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報に基づいた画像情報を設定する画像情報設定部と、
前記画像情報設定部で得られる第３の画像Ｃと第１の画像Ａの各画素位置における画像情報の差分の合計を算出する生成差分合計部と、
前記閾値設定部で設定した閾値を予め定められた範囲内で変えながら前記画像情報設定部と前記生成差分合計部とによる処理を繰り返した結果から、前記生成差分合計部で得られる差分の合計が最も小さくなる閾値を決定する閾値決定部と、
を備えることを特徴とする画像生成装置。
【請求項１５】
前記画像情報設定部は、前記差分作成部が求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報を設定することを特徴とする請求項１４記載の画像生成装置。
【請求項１６】
前記画像情報設定部は、前記差分作成部が求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報と第５の画像Ｅの画像情報を重み付け平均した値を設定することを特徴とする請求項１４記載の画像生成装置。
【請求項１７】
請求項１、３、及び６のいずれか１項に記載の画像生成方法を、コンピュータに実行させるための画像生成プログラム。
【請求項１８】
請求項１、３、及び６のいずれか１項に記載の画像生成方法を、コンピュータに実行させるための画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−８８１５（Ｐ２０１１−８８１５Ａ）
【公開日】平成２３年１月１３日（２０１１．１．１３）
【国際特許分類】
【出願番号】特願２０１０−１８５５４３（Ｐ２０１０−１８５５４３）
【出願日】平成２２年８月２０日（２０１０．８．２０）
【分割の表示】特願２００９−５３８０７０（Ｐ２００９−５３８０７０）の分割
【原出願日】平成２０年１０月９日（２００８．１０．９）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２３年１月１３日（２０１１．１．１３）
【国際特許分類】
【出願日】平成２２年８月２０日（２０１０．８．２０）
【分割の表示】特願２００９−５３８０７０（Ｐ２００９−５３８０７０）の分割
【原出願日】平成２０年１０月９日（２００８．１０．９）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]