マップ変換方法、マップ変換装置及びマップ変換プログラム
【課題】３次元画像の表示に関し、再現可能な奥行き範囲内でより良好な奥行き感を得られるように奥行きマップを変換可能なマップ変換技術を提供する。
【解決手段】マップ変換装置は、３次元画像の表示に関し、入力画像の一部の画素を含む画像領域の奥行きを画素毎に示す奥行きマップを用いて、奥行きの存在頻度の累積を表す累積ヒストグラムを算出し、当該累積ヒストグラムを用いて、入力画像における奥行きマップを、出力先における奥行き範囲内の奥行きを画素毎に示す奥行きマップに変換する。
【解決手段】マップ変換装置は、３次元画像の表示に関し、入力画像の一部の画素を含む画像領域の奥行きを画素毎に示す奥行きマップを用いて、奥行きの存在頻度の累積を表す累積ヒストグラムを算出し、当該累積ヒストグラムを用いて、入力画像における奥行きマップを、出力先における奥行き範囲内の奥行きを画素毎に示す奥行きマップに変換する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、マップ変換方法、マップ変換装置及びマップ変換プログラムに関する。
【背景技術】
【０００２】
従来より、２つの視点からの視差を有する２つの画像を含むステレオ画像や、画像の奥行きを画素毎に示す奥行きマップを伴った画像を用いて、奥行きが表現された３次元的な画像（３次元画像という）を表示する表示デバイス（３Ｄ表示デバイスという）がある。このような３Ｄ表示デバイスで再現可能な奥行きの範囲（奥行き範囲という）は、３Ｄ表示デバイス毎に異なる。また、３Ｄ表示デバイスに入力される画像（入力画像という）における奥行き範囲と、出力先の３Ｄ表示デバイスで再現可能な奥行き範囲とが異なるため、３次元画像の表示に際して、入力画像における奥行き範囲を出力先の３Ｄ表示デバイスに適した奥行き範囲に変換（補正）する必要がある。このような奥行き範囲の変換を行わないでそのまま画像を３Ｄ表示デバイスに表示させると、例えば、手前側や奥側がボケたり、奥行き感が足りなく感じられたりすることがある。奥行き範囲の変換の技術には、例えば、所望の視差量となるように逐次的に奥行き範囲を補正する方法がある（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２９８７５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来の技術では、奥行き範囲を変換する方法によっては、例えば、変換先の奥行きが圧縮されすぎてしまい、出力先の３Ｄ表示デバイスで表示された画像に表れる物体が潰れて見えてしまう恐れがあった。
【０００５】
本発明の一側面は、３次元画像の表示に関し、再現可能な奥行き範囲内でより良好な奥行き感を得られるように奥行きマップを変換可能なマップ変換方法、マップ変換装置及びマップ変換プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の一の実施形態に係るマップ変換方法は、画像の一部の画素を含む画像領域の奥行きを画素毎に示す第１のマップを用いて、前記画像領域における奥行きの存在頻度を算出する算出ステップと、前記存在頻度を用いて、前記第１のマップを、第１の範囲内の奥行きを画素毎に示す第２のマップに変換する第１変換ステップとを含む。
【図面の簡単な説明】
【０００７】
【図１】奥行きマップの変換に係る線形変換を例示する図。
【図２】線形変換を用いた奥行きマップの変換を説明するための図。
【図３】第１の実施の形態の奥行きマップの変換を説明するための図。
【図４】マップ変換装置の機能的構成を例示する図。
【図５】マップ変換処理の手順を示すフローチャート。
【図６】累積ヒストグラムを例示する図。
【図７】累積ヒストグラムを用いた奥行きマップの変換を説明するための図。
【図８】第２の実施の形態のマップ変換装置の機能的構成を例示する図。
【図９】マップ変換処理の手順を示すフローチャート。
【図１０】奥行きマップの変換に係るガンマ変換を例示する図。
【図１１】奥行きマップの変換に係る逆ガンマ変換を例示する図。
【図１２】累積ヒストグラムを用いた変換とベース変換との合成を例示する図。
【発明を実施するための形態】
【０００８】
以下に添付図面を参照して、本実施形態に係るマップ変換方法、マップ変換装置及びマップ変換プログラムを詳細に説明する。
【０００９】
[第１の実施の形態]
本実施の形態に係るマップ変換装置１は、異なる２つの視点からの視差を有する２つの画像を含むステレオ画像や、異なる３つ以上の視点からの視差を有する３つ以上の画像を含む多視差画像や、画像の一部の画素を含む画像領域の奥行きを画素毎に示す奥行きマップが対応付けられた画像が入力されたときに、当該画像を用いて奥行きが表現された３次元画像を３Ｄ表示デバイスに表示させるために、当該奥行きマップを出力先の３Ｄ表示デバイスに適した奥行きマップに変換する。ステレオ画像や多視差画像には奥行きマップは対応付けられていないが、ステレオマッチング技術により、異なる視点の画像間の対応付けを求め、これに基づいて奥行きマップが生成され得る。また、２次元で表現された画像を３次元的に表示させるために、当該画像に対して奥行きマップが別途生成されて対応付けられる場合であっても同様に、当該画像及び奥行きマップがマップ変換装置１に入力され得る。以下では、奥行きマップが既に対応付けられた画像が入力されるものとして説明を行うが、本実施の形態においては、これに限定されるものではない。
【００１０】
奥行きマップの変換の方法としては、例えば、図１に例示されるような線形変換を用いることが考えられる。即ち、入力画像における奥行き範囲が出力先の３Ｄ表示デバイスにおける奥行き範囲に収まるように線形関数を使って奥行きマップを変換する方法である。同図の例では、横軸に、入力画像における奥行き（入力奥行き）が示され、縦軸に、出力先における奥行き（出力奥行き）が示されており、入力画像における奥行き範囲「ｓｎ≦ｘ≦ｓｘ」が、出力における奥行き範囲「ｄｎ≦ｙ≦ｄｙ」に変換されることが示されている。しかし線形変換には以下のような問題が発生する恐れがある。例えば、手前側に物体が大きく表れ、奥側に背景が一部表れる画像を考える。その時の奥行き値の存在頻度（頻度）を表すヒストグラムは、図２に例示されるグラフの横軸下部に示されるようになる。同図においては、グラフの左側が、３次元空間における手前側の奥行きを示し、グラフの右側が、３次元空間の奥側の奥行きを示している。この例では、３次元空間における手前側に、奥行きの多くある物体が存在しており、奥側の一部に、奥行きのややある背景が存在している。このような入力画像における奥行き範囲全体を線形変換により、出力先の３Ｄ表示デバイスで再現可能な奥行き範囲に圧縮する場合を考える。出力先の３Ｄ表示デバイスでの奥行きの存在頻度は、図２の縦軸左側に示されるものになるが、同図から分かるように、手前側の物体の奥行きが圧縮されすぎてしまい、これが３Ｄ表示デバイスで表示されると、手前側の物体の奥行きが潰れたように見えてしまう。自然界には非常に大きな奥行き範囲が存在するが、それを限られた奥行き範囲の中に全て収めて再現しようとするために、物体の奥行きの潰れが発生してしまうことがある。即ち、奥行きマップの変換の方法に応じて、物体の奥行き感が損なわれてしまう恐れがある。そこで本実施の形態においては、マップ変換装置１は、再現可能な奥行き範囲内でより良好な奥行き感を得られるように、奥行きの頻度の累積を表す累積ヒストグラムを用いて、入力画像における奥行きマップを出力先における奥行き範囲に収まる奥行きマップに変換する。このとき、マップ変換装置１は、図３に例示されるように、変換元の画素毎の奥行きをそれぞれ、その存在頻度が高いほど大きい範囲の奥行きに変換し、その存在頻度が低いほど小さい範囲の奥行きに変換することにより、奥行きマップの変換を行う。このようにすることで物体が潰れて見えてしまうことを防ぐことができる。以下、このような奥行きマップの変換を実現するための詳細な構成について説明する。
【００１１】
まず、本実施の形態に係るマップ変換装置１のハードウェア構成について説明する。本実施の形態のマップ変換装置１は、装置全体を制御するＣＰＵ（Central Processing Unit）等の制御部と、各種データや各種プログラムを記憶するＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等の主記憶部と、各種データや各種プログラムを記憶するＨＤＤ（Hard Disk Drive）やＣＤ（Compact Disk）ドライブ装置等の補助記憶部と、これらを接続するバスとを備えており、通常のコンピュータを利用したハードウェア構成となっている。また、マップ変換装置１には、上述の３Ｄ表示デバイスや、ユーザの指示入力を受け付けるキーボードやマウス等の操作入力部や、外部装置の通信を制御する通信Ｉ／Ｆ（interface）が有線又は無線により各々接続されるようにしても良い。上述した奥行きマップが対応付けられた画像は、画素毎に画素値を示す画像データとして奥行きマップと共に例えばＨＤＤ等の補助記憶部に記憶される。また、マップ変換装置１が、放送波を受信する受信部を備えるようにしても良く、当該放送波により搬送された画像データが、奥行きマップが対応付けられた画像の画像データとして主記憶部や補助記憶部に記憶されるようにしても良い。
【００１２】
次に、このようなハードウェア構成におけるマップ変換装置１の機能的構成について図４を用いて説明する。マップ変換装置１は、入力受付部１１と、算出部１２と、第１変換部１３と、出力部１４とを有する。これらの各部は、マップ変換装置１のＣＰＵが主記憶部や補助記憶部に記憶された各種プログラムを実行することにより実現される。尚、ここでは図示されていないが、マップ変換装置１は、出力部１４に接続される視差画像生成部を更に有するようにしても良いし、他の画像処理装置の有する視差画像生成部と接続されるようにしても良い。なお、視差画像生成部とは、複数の視点からの視差を有する複数の画像（視差画像という）を生成するものである。
【００１３】
入力受付部１１は、画像に対応付けられた奥行きマップの入力を受け付ける。奥行きマップは、画像の一部の画素を含む画像領域の奥行きを画素毎に示すものであり、ここでは、奥行きの値（奥行き値という）自体を画素毎に示すものとする。画像の一部の画素を含む画像領域とは、画像の全部の画素を含むものであっても良いし、所定の単位である例えばブロックであっても良いし、画像において物体や人体などのオブジェクトを表す特定の領域であっても良い。
【００１４】
算出部１２は、入力受付部１１が入力を受け付けた奥行きマップを用いて、奥行きマップによって示される奥行き値の存在頻度を算出する。本実施の形態においては、算出部１２は、奥行きマップによって示される奥行き値の存在頻度の累積を表す累積ヒストグラムを算出する。累積ヒストグラムを算出する具体的な方法については後述の動作欄で説明する。
【００１５】
第１変換部１３は、算出部１２が算出した累積ヒストグラムを用いて、入力受付部１１が入力を受け付けた奥行きマップを、出力先の３Ｄ表示デバイスにおける奥行き範囲内の奥行き値を示す奥行きマップに変換する。尚、出力先の３Ｄ表示デバイスにおける奥行き範囲については、第１変換部１３は予め取得しておく。奥行きマップを変換する具体的な方法については後述の動作欄で説明する。
【００１６】
出力部１４は、第１変換部１３が変換した奥行きマップを出力する。出力先としては、例えば、視差画像生成部がある。視差画像生成部に、入力受付部１１が入力を受け付けた奥行きマップに対応付けられた画像に対して画像処理が適宜行われた画像と、出力部１４が出力した奥行きマップとが入力されると、視差画像生成部は、これらを用いて、視差画像を生成する。このようにして生成された視差画像が３Ｄ表示デバイスに出力されると、当該視差画像が３次元画像として３Ｄ表示デバイスに表示される。
【００１７】
次に、本実施の形態に係るマップ変換装置１の行うマップ変換処理の手順について図５を用いて説明する。マップ変換装置１は、入力受付部１１の機能により、画像に対応付けられた奥行きマップの入力を受け付けると（ステップＳ１）、算出部１２の機能により、当該奥行きマップを用いて、累積ヒストグラムを算出する（ステップＳ２）。具体的には、例えば、算出部１２は、まず、奥行きマップによって示される奥行き値の存在頻度を表すヒストグラムを算出する。ここで、画像に含まれる画素の位置（画素位置）をｘとし、奥行きマップにおいて当該画素の奥行き値をｚ（ｘ）とし、奥行き値の取り得る値の範囲（奥行き範囲）は「０≦ｚ（ｘ）≦２５５」とする。但し、奥行き範囲はこの範囲に限ったものではない。出力先の３Ｄ表示デバイスにおける奥行き範囲は、ｄｍｉｎからｄｍａｘとする。画素位置ｘの奥行き値ｚ（ｘ）を整数化したものをｚｉ（０≦ｉ≦２５５）とし、ｚｉの存在頻度をｈ（ｚｉ）とし、画像に含まれる全ての画素の数をＮとする。このとき、算出部１２は、ｈ（ｚｉ）を「０」で初期化しておき、以下の式１によりヒストグラムを算出する。
【００１８】
【数１】
【００１９】
尚、「←」は右辺を左辺に代入することを意味している。式１は、奥行き値を整数化した値ｚｉの存在頻度の値として「１／Ｎ」をｈ（ｚｉ）に加算することを意味する。算出部１２は、画像領域に含まれる全ての画素の奥行き値を参照して、「０≦ｉ≦２５５」の各ｉについてそれぞれ、式１により存在頻度ｈ（ｚｉ）を算出する。この式１によって各ｉについてそれぞれ算出された存在頻度ｈ（ｚｉ）を表すヒストグラムは、ｚｉの存在頻度の値が、画像領域に含まれる全ての画素の数で正規化された正規化ヒストグラムになっている。即ち、正規化ヒストグラムでは、奥行きマップによって示される奥行き値の存在頻度が正規化されて、当該奥行き値の出現する確率が表される。算出部１２は、各ｉについて奥行き値を整数化した値ｚｉの頻度を表すヒストグラムを、当該値ｚｉの存在頻度の累積（累積頻度という）を表す累積ヒストグラムに変換する。ここで、ｈ（ｚｉ）に対する累積頻度をｃ（ｉ）とし、「ｃ（−１）＝０」とすると、算出部１２は、「０≦ｉ≦２５５」の各ｉについてそれぞれ、以下の式２により累積頻度ｃ（ｉ）を算出する。
【００２０】
【数２】
【００２１】
この式２によって各ｉについてそれぞれ算出された累積頻度ｃ（ｉ）を表すものが累積ヒストグラムである。図６は、累積ヒストグラムを例示する図である。同図では、横軸に、入力画像における奥行き値（入力奥行き）が示され、縦軸に、奥行き値の存在頻度が示されている。同図の例では、各ｉについてｈ（ｚｉ）の値に応じて「０」から「１」までの範囲で累積された累積頻度ｃ（ｉ）が示されている。同図から、横軸のｈ（ｚｉ）の値が大きいほどこの値に対応する縦軸のｃ（ｉ）の値の範囲は大きくなり、ｈ（ｚｉ）の値が小さいほどこの値に対応する縦軸のｃ（ｉ）の値の範囲は小さくなっていることが分かる。即ち、入力画像においてその存在頻度が高い奥行きに対応する出力先における奥行きの範囲は大きくなり、入力画像においてその存在頻度が低い奥行きに対応する出力先における奥行きの範囲は小さくなる。
【００２２】
マップ変換装置１は、第１変換部１３の機能により、ステップＳ２で算出された累積ヒストグラムを用いて、画素毎に、ステップＳ１で入力が受け付けられた奥行きマップを、出力先の３Ｄ表示デバイスにおける奥行き範囲（第１の範囲）内の奥行き値を示す奥行きマップに変換する（ステップＳ３）。具体的には、出力先の奥行きマップにおける奥行き値をｚ′（ｘ）とし、奥行き値ｚ（ｘ）を整数化した値を[ｚ(ｘ)]とする。奥行き値ｚ（ｘ）の整数化には、何らかの整数化関数を用いれば良い。このとき、第１変換部１３は、各画素位置ｘについてそれぞれ、以下の式３により、奥行き値ｚ（ｘ）を奥行き値ｚ′（ｘ）に変換する。
【００２３】
【数３】
【００２４】
尚、ｃ（ｉ）の最小値（ｃｍｉｎとする）が「０」ではない場合もあるため、第１変換部１３は、各画素位置ｘについてそれぞれ、以下の式４により、奥行き値ｚ（ｘ）を奥行き値ｚ′（ｘ）に変換するようにしても良い。
【００２５】
【数４】
【００２６】
第１変換部１３が、画像に含まれる全ての画素について奥行き値ｚ（ｘ）を奥行き値ｚ′（ｘ）に変換すると、ステップＳ１で入力を受け付けた奥行きマップを、当該奥行き値ｚ′（ｘ）を画素毎に示す奥行きマップに変換したことになる。
【００２７】
図７は、入力画像における奥行き範囲（第２の範囲）が累積ヒストグラムにより出力先における奥行き範囲（第１の範囲）に変換された結果を概略的に例示する図である。同図の例から、入力画像における奥行きについて、その存在頻度の高いほど出力先において大きい範囲の奥行きに変換され、その存在頻度が低いほど出力先において小さい範囲の奥行きに変換されることが分かる。
【００２８】
図５の説明に戻る。第１変換部１３は、ステップＳ３で変換した奥行きマップを出力する（ステップＳ４）。ここで出力された奥行きマップが、例えば、視差画像生成部に入力され、ステップＳ１で入力が受け付けられた奥行きマップに対応付けられた画像に対して画像処理が適宜行われた画像と共に用いられて視差画像が生成されて３Ｄ表示デバイスに出力されると、当該視差画像が３次元画像として３Ｄ表示デバイスに表示されることになる。
【００２９】
以上のようにして、画像の一部の画素を含む画像領域の奥行きを画素毎に示す奥行きマップに対して奥行きの存在頻度の累積を表す累積ヒストグラムを算出し、これを用いて出力先における奥行き範囲に収まるように奥行きマップを変換する。これにより、画像に表れる物体の奥行きを階調豊かに変換し、逆に奥行きが存在しないような空間については階調を圧縮することができ、入力画像における奥行き範囲全体を出力先における奥行き範囲に収めつつ、物体の奥行きを維持することができる。従って、以上のような構成によれば、３次元画像の表示に関し、再現可能な奥行き範囲内でより良好な奥行き感を得られるように奥行きマップを変換することができる。
【００３０】
[第２の実施の形態]
次に、マップ変換方法、マップ変換装置及びマップ変換プログラムの第２の実施の形態について説明する。なお、上述の第１の実施の形態と共通する部分については、同一の符号を使用して説明したり、説明を省略したりする。
【００３１】
第１の実施の形態においては、マップ変換装置１は、累積ヒストグラムを用いることにより、従来の線形変換では対応できないような、画像に表れる物体の奥行き感を維持したまま、入力画像における奥行きマップを、出力先における奥行き範囲に収まるように変換した。しかし、この累積ヒストグラムを用いた変換によれば、線形変換では維持されていた奥行き全体のスケール感が失われてしまう可能性がある。これは奥行きの頻度だけを元にして奥行きマップを変換してしまうために、画像全体の奥行きの傾向が圧縮されてしまうことがあるからである。そこで本実施の形態におけるマップ変換装置２は、線形変換などのベース変換と、第１の実施の形態で説明した累積ヒストグラムを用いた変換との合成により、入力画像における奥行きマップを、出力先における奥行き範囲に収まる奥行きマップに変換する。
【００３２】
図８は、本実施の形態に係るマップ変換装置２の機能的構成を例示する図である。マップ変換装置２は、入力受付部１１と、算出部１２と、第１変換部１３と、出力部１４とに加え、検出部１５と、第２変換部１６と、合成部１７とを更に有する。これらの各部は、マップ変換装置２のＣＰＵが主記憶部や補助記憶部に記憶された各種プログラムを実行することにより実現される。
【００３３】
検出部１５は、入力受付部１１が入力を受け付けた奥行きマップによって示される奥行き値の範囲（レンジ）を検出する。第２変換部１６は、検出部１５が検出したレンジを用いて、入力受付部１１が入力を受け付けた奥行きマップによって示される奥行き全体を一様に変換するベース変換により、当該奥行きマップを、出力先の３Ｄ表示デバイスにおける奥行き範囲内の奥行き値を示す奥行きマップに変換する。
【００３４】
合成部１７は、第１変換部１３が変換した奥行きマップと、第２変換部１６が変換した奥行きマップとをブレンド定数α（０≦α≦１）を用いて合成することにより、入力受付部１１が入力を受け付けた奥行きマップを出力先の３Ｄ表示デバイスにおける奥行き範囲内の奥行き値を示す奥行きマップに変換する。ブレンド定数αの値は、設計者により予め定められていても良いし、例えば、操作入力部を介したユーザの操作入力により適宜設定されるようにしても良い。
【００３５】
次に、本実施の形態に係るマップ変換装置２の行うマップ変換処理の手順について図９を用いて説明する。ステップＳ１〜Ｓ４は第１の実施の形態と同様である。尚、マップ変換装置２は、ステップＳ１の後、ステップＳ２の他、ステップＳ１０を行う。ステップＳ１０では、マップ変換装置２は、検出部１５の機能より、ステップＳ１で入力が受け付けられた奥行きマップによって示される奥行き値のレンジを検出する。具体的には、検出部１５は、当該奥行きマップによって示される全ての奥行き値を参照して、最小値ｚｍｉｎ及び最大値ｚｍａｘを検出することにより、当該最小値ｚｍｉｎから最大値ｚｍａｘまでの範囲（レンジ）を検出する。
【００３６】
ステップＳ１１では、マップ変換装置２は、第２変換部１６の機能により、画素毎に、ステップＳ１０で検出されたレンジを用いて、ステップＳ１で入力が受け付けられた奥行きマップを、ベース変換により、出力先の３Ｄ表示デバイスにおける奥行き範囲内の奥行き値を示す奥行きマップに変換する。ベース変換としては、例えば、図１に例示されるような線形変換がある。具体的には、第２変換部１６は、各画素位置ｘについてそれぞれ、以下の式５により、奥行き値ｚ（ｘ）を奥行き値ｚ″（ｘ）に変換する。ｚ（ｘ）は、第１の実施の形態で説明したのと同様に、入力が受け付けられた奥行きマップによって示される奥行き値であり、ｚ″（ｘ）は、出力先における奥行きマップによって示される奥行き値である。
【００３７】
【数５】
【００３８】
また、ベース変換は、図１０に例示されるようなガンマ変換であっても良い。この場合、第２変換部１６は、各画素位置ｘについてそれぞれ、以下の式６により、奥行き値ｚ（ｘ）を奥行き値ｚ″（ｘ）に変換する。
【００３９】
【数６】
【００４０】
また、ベース変換は、図１１に例示されるような逆ガンマ変換であっても良い。この場合、第２変換部１６は、各画素位置ｘについてそれぞれ、以下の式７により、奥行き値ｚ（ｘ）を奥行き値ｚ″（ｘ）に変換する。
【００４１】
【数７】
【００４２】
なお、第２変換部１６が用いる変換式は、上述のものに限られず、奥行き全体を一様に変換するベース変換であれば、いかなる変換式を用いても構わない。
【００４３】
ステップＳ１２では、マップ変換装置２は、合成部１７の機能により、各画素位置ｘについてそれぞれ、ステップＳ１１で変換された奥行き値ｚ″（ｘ）に対して「１−α」を乗じ、一方、ステップＳ１３では、ステップＳ３で変換された奥行き値ｚ′（ｘ）に対してαを乗じて、ステップＳ１４では、以下の式８により、奥行き値ｚ″（ｘ）と奥行き値ｚ′（ｘ）とを合成して、奥行き値ｚ′′′（ｘ）を求める。
【００４４】
【数８】
【００４５】
図１２は、「α＝０．５」の場合に累積ヒストグラムを用いた変換と、ベース変換と、これらの合成による変換とを例示する図である。累積ヒストグラムを用いた変換と、ベース変換との合成による変換として同図に示されるブレンド関数により、奥行き値ｚ′′′（ｘ）が求められる。ここで、ブレンド定数αが大きいほど累積ヒストグラムを用いた変換の要素が強くなり、ブレンド定数αが小さいほどベース変換の要素が強くなる。このようなブレンド関数により求められた奥行き値ｚ′′′（ｘ）を画素毎に示す奥行きマップが、入力画像における奥行きマップから、出力先の３Ｄ表示デバイスに適した奥行きマップとして最終的に変換される奥行きマップとなる。即ち、マップ変換装置２は、ステップＳ１で入力を受け付けた奥行きマップを、ステップＳ３において累積ヒストグラムを用いて変換した奥行き値と、ステップＳ１１においてベース変換により変換した奥行き値とを画素毎に合成することにより求めた奥行き値を画素毎に示す奥行きマップに変換する。このようにして、マップ変換装置２は、累積ヒストグラムを用いて変換した奥行きマップと、ベース変換により変換した奥行きマップとを画素毎に合成して、入力画像における奥行きマップを出力先の３Ｄ表示デバイスに適した奥行きマップに変換する。
【００４６】
その後ステップＳ４では、マップ変換装置２は、ステップＳ１４で変換した奥行きマップを出力する。
【００４７】
以上のような構成によれば、入力画像における奥行き範囲全体を出力先における奥行き範囲に収めつつ、画像に表れる物体の奥行きを維持することができると共に、奥行き全体のスケール感を維持することができる。従って、以上のような構成によっても、３次元画像の表示に関し、再現可能な奥行き範囲内でより良好な奥行き感を得られるように奥行きマップを変換することができる。
【００４８】
[変形例]
尚、本発明は上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。また、以下に例示するような種々の変形が可能である。
【００４９】
上述した実施の形態において、画像処理装置で実行される各種プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、当該各種プログラムを、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供するように構成しても良い。
【００５０】
上述した各実施の形態において、奥行きの存在頻度を表すものとして、ヒストグラムを用い、このヒストグラムを用いて奥行きの存在頻度の累積を表す累積ヒストグラムを用いたが、奥行きの存在頻度やその存在頻度の累積を表すものはこれらに限らない。
【００５１】
上述した各実施の形態において、マップ変換装置１，２は、画像に含まれる全部の画素についてマップ変換処理を行う場合であっても、ブロック毎又は特定の領域毎に奥行きマップを取得してマップ変換処理を行うようにしても良い。
【００５２】
上述した各実施の形態において、奥行きマップは、画像の一部の画素を含む画像領域の奥行き値自体を画素毎に示すものとしたが、これに限らず、画像の一部の画素を含む画像領域の奥行きを視差により画素毎に示すものであっても良い。奥行き値と視差とは一対一に対応している。このため、マップ変換装置１，２は、画像の一部の画素を含む画像領域の奥行きを視差により画素毎に示す奥行きマップに対して、上述の各実施の形態と同様にして、累積ヒストグラムを算出して、当該累積ヒストグラムを用いて、出力先の３Ｄ表示デバイスに適した奥行きマップに変換することにより、再現可能な奥行き範囲内でより良好な奥行き感を得られるように奥行きマップを変換することができる。
【００５３】
上述の第２の実施の形態においては、ベース変換は、入力画像における奥行きマップによって示される奥行き全体を一様に変換するものであれば、上述の例に限らない。
【符号の説明】
【００５４】
１，２ マップ変換装置
１１ 入力受付部
１２ 算出部
１３ 第１変換部
１４ 出力部
１５ 検出部
１６ 第２変換部
１７ 合成部
【技術分野】
【０００１】
本発明の実施形態は、マップ変換方法、マップ変換装置及びマップ変換プログラムに関する。
【背景技術】
【０００２】
従来より、２つの視点からの視差を有する２つの画像を含むステレオ画像や、画像の奥行きを画素毎に示す奥行きマップを伴った画像を用いて、奥行きが表現された３次元的な画像（３次元画像という）を表示する表示デバイス（３Ｄ表示デバイスという）がある。このような３Ｄ表示デバイスで再現可能な奥行きの範囲（奥行き範囲という）は、３Ｄ表示デバイス毎に異なる。また、３Ｄ表示デバイスに入力される画像（入力画像という）における奥行き範囲と、出力先の３Ｄ表示デバイスで再現可能な奥行き範囲とが異なるため、３次元画像の表示に際して、入力画像における奥行き範囲を出力先の３Ｄ表示デバイスに適した奥行き範囲に変換（補正）する必要がある。このような奥行き範囲の変換を行わないでそのまま画像を３Ｄ表示デバイスに表示させると、例えば、手前側や奥側がボケたり、奥行き感が足りなく感じられたりすることがある。奥行き範囲の変換の技術には、例えば、所望の視差量となるように逐次的に奥行き範囲を補正する方法がある（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２９８７５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来の技術では、奥行き範囲を変換する方法によっては、例えば、変換先の奥行きが圧縮されすぎてしまい、出力先の３Ｄ表示デバイスで表示された画像に表れる物体が潰れて見えてしまう恐れがあった。
【０００５】
本発明の一側面は、３次元画像の表示に関し、再現可能な奥行き範囲内でより良好な奥行き感を得られるように奥行きマップを変換可能なマップ変換方法、マップ変換装置及びマップ変換プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の一の実施形態に係るマップ変換方法は、画像の一部の画素を含む画像領域の奥行きを画素毎に示す第１のマップを用いて、前記画像領域における奥行きの存在頻度を算出する算出ステップと、前記存在頻度を用いて、前記第１のマップを、第１の範囲内の奥行きを画素毎に示す第２のマップに変換する第１変換ステップとを含む。
【図面の簡単な説明】
【０００７】
【図１】奥行きマップの変換に係る線形変換を例示する図。
【図２】線形変換を用いた奥行きマップの変換を説明するための図。
【図３】第１の実施の形態の奥行きマップの変換を説明するための図。
【図４】マップ変換装置の機能的構成を例示する図。
【図５】マップ変換処理の手順を示すフローチャート。
【図６】累積ヒストグラムを例示する図。
【図７】累積ヒストグラムを用いた奥行きマップの変換を説明するための図。
【図８】第２の実施の形態のマップ変換装置の機能的構成を例示する図。
【図９】マップ変換処理の手順を示すフローチャート。
【図１０】奥行きマップの変換に係るガンマ変換を例示する図。
【図１１】奥行きマップの変換に係る逆ガンマ変換を例示する図。
【図１２】累積ヒストグラムを用いた変換とベース変換との合成を例示する図。
【発明を実施するための形態】
【０００８】
以下に添付図面を参照して、本実施形態に係るマップ変換方法、マップ変換装置及びマップ変換プログラムを詳細に説明する。
【０００９】
[第１の実施の形態]
本実施の形態に係るマップ変換装置１は、異なる２つの視点からの視差を有する２つの画像を含むステレオ画像や、異なる３つ以上の視点からの視差を有する３つ以上の画像を含む多視差画像や、画像の一部の画素を含む画像領域の奥行きを画素毎に示す奥行きマップが対応付けられた画像が入力されたときに、当該画像を用いて奥行きが表現された３次元画像を３Ｄ表示デバイスに表示させるために、当該奥行きマップを出力先の３Ｄ表示デバイスに適した奥行きマップに変換する。ステレオ画像や多視差画像には奥行きマップは対応付けられていないが、ステレオマッチング技術により、異なる視点の画像間の対応付けを求め、これに基づいて奥行きマップが生成され得る。また、２次元で表現された画像を３次元的に表示させるために、当該画像に対して奥行きマップが別途生成されて対応付けられる場合であっても同様に、当該画像及び奥行きマップがマップ変換装置１に入力され得る。以下では、奥行きマップが既に対応付けられた画像が入力されるものとして説明を行うが、本実施の形態においては、これに限定されるものではない。
【００１０】
奥行きマップの変換の方法としては、例えば、図１に例示されるような線形変換を用いることが考えられる。即ち、入力画像における奥行き範囲が出力先の３Ｄ表示デバイスにおける奥行き範囲に収まるように線形関数を使って奥行きマップを変換する方法である。同図の例では、横軸に、入力画像における奥行き（入力奥行き）が示され、縦軸に、出力先における奥行き（出力奥行き）が示されており、入力画像における奥行き範囲「ｓｎ≦ｘ≦ｓｘ」が、出力における奥行き範囲「ｄｎ≦ｙ≦ｄｙ」に変換されることが示されている。しかし線形変換には以下のような問題が発生する恐れがある。例えば、手前側に物体が大きく表れ、奥側に背景が一部表れる画像を考える。その時の奥行き値の存在頻度（頻度）を表すヒストグラムは、図２に例示されるグラフの横軸下部に示されるようになる。同図においては、グラフの左側が、３次元空間における手前側の奥行きを示し、グラフの右側が、３次元空間の奥側の奥行きを示している。この例では、３次元空間における手前側に、奥行きの多くある物体が存在しており、奥側の一部に、奥行きのややある背景が存在している。このような入力画像における奥行き範囲全体を線形変換により、出力先の３Ｄ表示デバイスで再現可能な奥行き範囲に圧縮する場合を考える。出力先の３Ｄ表示デバイスでの奥行きの存在頻度は、図２の縦軸左側に示されるものになるが、同図から分かるように、手前側の物体の奥行きが圧縮されすぎてしまい、これが３Ｄ表示デバイスで表示されると、手前側の物体の奥行きが潰れたように見えてしまう。自然界には非常に大きな奥行き範囲が存在するが、それを限られた奥行き範囲の中に全て収めて再現しようとするために、物体の奥行きの潰れが発生してしまうことがある。即ち、奥行きマップの変換の方法に応じて、物体の奥行き感が損なわれてしまう恐れがある。そこで本実施の形態においては、マップ変換装置１は、再現可能な奥行き範囲内でより良好な奥行き感を得られるように、奥行きの頻度の累積を表す累積ヒストグラムを用いて、入力画像における奥行きマップを出力先における奥行き範囲に収まる奥行きマップに変換する。このとき、マップ変換装置１は、図３に例示されるように、変換元の画素毎の奥行きをそれぞれ、その存在頻度が高いほど大きい範囲の奥行きに変換し、その存在頻度が低いほど小さい範囲の奥行きに変換することにより、奥行きマップの変換を行う。このようにすることで物体が潰れて見えてしまうことを防ぐことができる。以下、このような奥行きマップの変換を実現するための詳細な構成について説明する。
【００１１】
まず、本実施の形態に係るマップ変換装置１のハードウェア構成について説明する。本実施の形態のマップ変換装置１は、装置全体を制御するＣＰＵ（Central Processing Unit）等の制御部と、各種データや各種プログラムを記憶するＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等の主記憶部と、各種データや各種プログラムを記憶するＨＤＤ（Hard Disk Drive）やＣＤ（Compact Disk）ドライブ装置等の補助記憶部と、これらを接続するバスとを備えており、通常のコンピュータを利用したハードウェア構成となっている。また、マップ変換装置１には、上述の３Ｄ表示デバイスや、ユーザの指示入力を受け付けるキーボードやマウス等の操作入力部や、外部装置の通信を制御する通信Ｉ／Ｆ（interface）が有線又は無線により各々接続されるようにしても良い。上述した奥行きマップが対応付けられた画像は、画素毎に画素値を示す画像データとして奥行きマップと共に例えばＨＤＤ等の補助記憶部に記憶される。また、マップ変換装置１が、放送波を受信する受信部を備えるようにしても良く、当該放送波により搬送された画像データが、奥行きマップが対応付けられた画像の画像データとして主記憶部や補助記憶部に記憶されるようにしても良い。
【００１２】
次に、このようなハードウェア構成におけるマップ変換装置１の機能的構成について図４を用いて説明する。マップ変換装置１は、入力受付部１１と、算出部１２と、第１変換部１３と、出力部１４とを有する。これらの各部は、マップ変換装置１のＣＰＵが主記憶部や補助記憶部に記憶された各種プログラムを実行することにより実現される。尚、ここでは図示されていないが、マップ変換装置１は、出力部１４に接続される視差画像生成部を更に有するようにしても良いし、他の画像処理装置の有する視差画像生成部と接続されるようにしても良い。なお、視差画像生成部とは、複数の視点からの視差を有する複数の画像（視差画像という）を生成するものである。
【００１３】
入力受付部１１は、画像に対応付けられた奥行きマップの入力を受け付ける。奥行きマップは、画像の一部の画素を含む画像領域の奥行きを画素毎に示すものであり、ここでは、奥行きの値（奥行き値という）自体を画素毎に示すものとする。画像の一部の画素を含む画像領域とは、画像の全部の画素を含むものであっても良いし、所定の単位である例えばブロックであっても良いし、画像において物体や人体などのオブジェクトを表す特定の領域であっても良い。
【００１４】
算出部１２は、入力受付部１１が入力を受け付けた奥行きマップを用いて、奥行きマップによって示される奥行き値の存在頻度を算出する。本実施の形態においては、算出部１２は、奥行きマップによって示される奥行き値の存在頻度の累積を表す累積ヒストグラムを算出する。累積ヒストグラムを算出する具体的な方法については後述の動作欄で説明する。
【００１５】
第１変換部１３は、算出部１２が算出した累積ヒストグラムを用いて、入力受付部１１が入力を受け付けた奥行きマップを、出力先の３Ｄ表示デバイスにおける奥行き範囲内の奥行き値を示す奥行きマップに変換する。尚、出力先の３Ｄ表示デバイスにおける奥行き範囲については、第１変換部１３は予め取得しておく。奥行きマップを変換する具体的な方法については後述の動作欄で説明する。
【００１６】
出力部１４は、第１変換部１３が変換した奥行きマップを出力する。出力先としては、例えば、視差画像生成部がある。視差画像生成部に、入力受付部１１が入力を受け付けた奥行きマップに対応付けられた画像に対して画像処理が適宜行われた画像と、出力部１４が出力した奥行きマップとが入力されると、視差画像生成部は、これらを用いて、視差画像を生成する。このようにして生成された視差画像が３Ｄ表示デバイスに出力されると、当該視差画像が３次元画像として３Ｄ表示デバイスに表示される。
【００１７】
次に、本実施の形態に係るマップ変換装置１の行うマップ変換処理の手順について図５を用いて説明する。マップ変換装置１は、入力受付部１１の機能により、画像に対応付けられた奥行きマップの入力を受け付けると（ステップＳ１）、算出部１２の機能により、当該奥行きマップを用いて、累積ヒストグラムを算出する（ステップＳ２）。具体的には、例えば、算出部１２は、まず、奥行きマップによって示される奥行き値の存在頻度を表すヒストグラムを算出する。ここで、画像に含まれる画素の位置（画素位置）をｘとし、奥行きマップにおいて当該画素の奥行き値をｚ（ｘ）とし、奥行き値の取り得る値の範囲（奥行き範囲）は「０≦ｚ（ｘ）≦２５５」とする。但し、奥行き範囲はこの範囲に限ったものではない。出力先の３Ｄ表示デバイスにおける奥行き範囲は、ｄｍｉｎからｄｍａｘとする。画素位置ｘの奥行き値ｚ（ｘ）を整数化したものをｚｉ（０≦ｉ≦２５５）とし、ｚｉの存在頻度をｈ（ｚｉ）とし、画像に含まれる全ての画素の数をＮとする。このとき、算出部１２は、ｈ（ｚｉ）を「０」で初期化しておき、以下の式１によりヒストグラムを算出する。
【００１８】
【数１】
【００１９】
尚、「←」は右辺を左辺に代入することを意味している。式１は、奥行き値を整数化した値ｚｉの存在頻度の値として「１／Ｎ」をｈ（ｚｉ）に加算することを意味する。算出部１２は、画像領域に含まれる全ての画素の奥行き値を参照して、「０≦ｉ≦２５５」の各ｉについてそれぞれ、式１により存在頻度ｈ（ｚｉ）を算出する。この式１によって各ｉについてそれぞれ算出された存在頻度ｈ（ｚｉ）を表すヒストグラムは、ｚｉの存在頻度の値が、画像領域に含まれる全ての画素の数で正規化された正規化ヒストグラムになっている。即ち、正規化ヒストグラムでは、奥行きマップによって示される奥行き値の存在頻度が正規化されて、当該奥行き値の出現する確率が表される。算出部１２は、各ｉについて奥行き値を整数化した値ｚｉの頻度を表すヒストグラムを、当該値ｚｉの存在頻度の累積（累積頻度という）を表す累積ヒストグラムに変換する。ここで、ｈ（ｚｉ）に対する累積頻度をｃ（ｉ）とし、「ｃ（−１）＝０」とすると、算出部１２は、「０≦ｉ≦２５５」の各ｉについてそれぞれ、以下の式２により累積頻度ｃ（ｉ）を算出する。
【００２０】
【数２】
【００２１】
この式２によって各ｉについてそれぞれ算出された累積頻度ｃ（ｉ）を表すものが累積ヒストグラムである。図６は、累積ヒストグラムを例示する図である。同図では、横軸に、入力画像における奥行き値（入力奥行き）が示され、縦軸に、奥行き値の存在頻度が示されている。同図の例では、各ｉについてｈ（ｚｉ）の値に応じて「０」から「１」までの範囲で累積された累積頻度ｃ（ｉ）が示されている。同図から、横軸のｈ（ｚｉ）の値が大きいほどこの値に対応する縦軸のｃ（ｉ）の値の範囲は大きくなり、ｈ（ｚｉ）の値が小さいほどこの値に対応する縦軸のｃ（ｉ）の値の範囲は小さくなっていることが分かる。即ち、入力画像においてその存在頻度が高い奥行きに対応する出力先における奥行きの範囲は大きくなり、入力画像においてその存在頻度が低い奥行きに対応する出力先における奥行きの範囲は小さくなる。
【００２２】
マップ変換装置１は、第１変換部１３の機能により、ステップＳ２で算出された累積ヒストグラムを用いて、画素毎に、ステップＳ１で入力が受け付けられた奥行きマップを、出力先の３Ｄ表示デバイスにおける奥行き範囲（第１の範囲）内の奥行き値を示す奥行きマップに変換する（ステップＳ３）。具体的には、出力先の奥行きマップにおける奥行き値をｚ′（ｘ）とし、奥行き値ｚ（ｘ）を整数化した値を[ｚ(ｘ)]とする。奥行き値ｚ（ｘ）の整数化には、何らかの整数化関数を用いれば良い。このとき、第１変換部１３は、各画素位置ｘについてそれぞれ、以下の式３により、奥行き値ｚ（ｘ）を奥行き値ｚ′（ｘ）に変換する。
【００２３】
【数３】
【００２４】
尚、ｃ（ｉ）の最小値（ｃｍｉｎとする）が「０」ではない場合もあるため、第１変換部１３は、各画素位置ｘについてそれぞれ、以下の式４により、奥行き値ｚ（ｘ）を奥行き値ｚ′（ｘ）に変換するようにしても良い。
【００２５】
【数４】
【００２６】
第１変換部１３が、画像に含まれる全ての画素について奥行き値ｚ（ｘ）を奥行き値ｚ′（ｘ）に変換すると、ステップＳ１で入力を受け付けた奥行きマップを、当該奥行き値ｚ′（ｘ）を画素毎に示す奥行きマップに変換したことになる。
【００２７】
図７は、入力画像における奥行き範囲（第２の範囲）が累積ヒストグラムにより出力先における奥行き範囲（第１の範囲）に変換された結果を概略的に例示する図である。同図の例から、入力画像における奥行きについて、その存在頻度の高いほど出力先において大きい範囲の奥行きに変換され、その存在頻度が低いほど出力先において小さい範囲の奥行きに変換されることが分かる。
【００２８】
図５の説明に戻る。第１変換部１３は、ステップＳ３で変換した奥行きマップを出力する（ステップＳ４）。ここで出力された奥行きマップが、例えば、視差画像生成部に入力され、ステップＳ１で入力が受け付けられた奥行きマップに対応付けられた画像に対して画像処理が適宜行われた画像と共に用いられて視差画像が生成されて３Ｄ表示デバイスに出力されると、当該視差画像が３次元画像として３Ｄ表示デバイスに表示されることになる。
【００２９】
以上のようにして、画像の一部の画素を含む画像領域の奥行きを画素毎に示す奥行きマップに対して奥行きの存在頻度の累積を表す累積ヒストグラムを算出し、これを用いて出力先における奥行き範囲に収まるように奥行きマップを変換する。これにより、画像に表れる物体の奥行きを階調豊かに変換し、逆に奥行きが存在しないような空間については階調を圧縮することができ、入力画像における奥行き範囲全体を出力先における奥行き範囲に収めつつ、物体の奥行きを維持することができる。従って、以上のような構成によれば、３次元画像の表示に関し、再現可能な奥行き範囲内でより良好な奥行き感を得られるように奥行きマップを変換することができる。
【００３０】
[第２の実施の形態]
次に、マップ変換方法、マップ変換装置及びマップ変換プログラムの第２の実施の形態について説明する。なお、上述の第１の実施の形態と共通する部分については、同一の符号を使用して説明したり、説明を省略したりする。
【００３１】
第１の実施の形態においては、マップ変換装置１は、累積ヒストグラムを用いることにより、従来の線形変換では対応できないような、画像に表れる物体の奥行き感を維持したまま、入力画像における奥行きマップを、出力先における奥行き範囲に収まるように変換した。しかし、この累積ヒストグラムを用いた変換によれば、線形変換では維持されていた奥行き全体のスケール感が失われてしまう可能性がある。これは奥行きの頻度だけを元にして奥行きマップを変換してしまうために、画像全体の奥行きの傾向が圧縮されてしまうことがあるからである。そこで本実施の形態におけるマップ変換装置２は、線形変換などのベース変換と、第１の実施の形態で説明した累積ヒストグラムを用いた変換との合成により、入力画像における奥行きマップを、出力先における奥行き範囲に収まる奥行きマップに変換する。
【００３２】
図８は、本実施の形態に係るマップ変換装置２の機能的構成を例示する図である。マップ変換装置２は、入力受付部１１と、算出部１２と、第１変換部１３と、出力部１４とに加え、検出部１５と、第２変換部１６と、合成部１７とを更に有する。これらの各部は、マップ変換装置２のＣＰＵが主記憶部や補助記憶部に記憶された各種プログラムを実行することにより実現される。
【００３３】
検出部１５は、入力受付部１１が入力を受け付けた奥行きマップによって示される奥行き値の範囲（レンジ）を検出する。第２変換部１６は、検出部１５が検出したレンジを用いて、入力受付部１１が入力を受け付けた奥行きマップによって示される奥行き全体を一様に変換するベース変換により、当該奥行きマップを、出力先の３Ｄ表示デバイスにおける奥行き範囲内の奥行き値を示す奥行きマップに変換する。
【００３４】
合成部１７は、第１変換部１３が変換した奥行きマップと、第２変換部１６が変換した奥行きマップとをブレンド定数α（０≦α≦１）を用いて合成することにより、入力受付部１１が入力を受け付けた奥行きマップを出力先の３Ｄ表示デバイスにおける奥行き範囲内の奥行き値を示す奥行きマップに変換する。ブレンド定数αの値は、設計者により予め定められていても良いし、例えば、操作入力部を介したユーザの操作入力により適宜設定されるようにしても良い。
【００３５】
次に、本実施の形態に係るマップ変換装置２の行うマップ変換処理の手順について図９を用いて説明する。ステップＳ１〜Ｓ４は第１の実施の形態と同様である。尚、マップ変換装置２は、ステップＳ１の後、ステップＳ２の他、ステップＳ１０を行う。ステップＳ１０では、マップ変換装置２は、検出部１５の機能より、ステップＳ１で入力が受け付けられた奥行きマップによって示される奥行き値のレンジを検出する。具体的には、検出部１５は、当該奥行きマップによって示される全ての奥行き値を参照して、最小値ｚｍｉｎ及び最大値ｚｍａｘを検出することにより、当該最小値ｚｍｉｎから最大値ｚｍａｘまでの範囲（レンジ）を検出する。
【００３６】
ステップＳ１１では、マップ変換装置２は、第２変換部１６の機能により、画素毎に、ステップＳ１０で検出されたレンジを用いて、ステップＳ１で入力が受け付けられた奥行きマップを、ベース変換により、出力先の３Ｄ表示デバイスにおける奥行き範囲内の奥行き値を示す奥行きマップに変換する。ベース変換としては、例えば、図１に例示されるような線形変換がある。具体的には、第２変換部１６は、各画素位置ｘについてそれぞれ、以下の式５により、奥行き値ｚ（ｘ）を奥行き値ｚ″（ｘ）に変換する。ｚ（ｘ）は、第１の実施の形態で説明したのと同様に、入力が受け付けられた奥行きマップによって示される奥行き値であり、ｚ″（ｘ）は、出力先における奥行きマップによって示される奥行き値である。
【００３７】
【数５】
【００３８】
また、ベース変換は、図１０に例示されるようなガンマ変換であっても良い。この場合、第２変換部１６は、各画素位置ｘについてそれぞれ、以下の式６により、奥行き値ｚ（ｘ）を奥行き値ｚ″（ｘ）に変換する。
【００３９】
【数６】
【００４０】
また、ベース変換は、図１１に例示されるような逆ガンマ変換であっても良い。この場合、第２変換部１６は、各画素位置ｘについてそれぞれ、以下の式７により、奥行き値ｚ（ｘ）を奥行き値ｚ″（ｘ）に変換する。
【００４１】
【数７】
【００４２】
なお、第２変換部１６が用いる変換式は、上述のものに限られず、奥行き全体を一様に変換するベース変換であれば、いかなる変換式を用いても構わない。
【００４３】
ステップＳ１２では、マップ変換装置２は、合成部１７の機能により、各画素位置ｘについてそれぞれ、ステップＳ１１で変換された奥行き値ｚ″（ｘ）に対して「１−α」を乗じ、一方、ステップＳ１３では、ステップＳ３で変換された奥行き値ｚ′（ｘ）に対してαを乗じて、ステップＳ１４では、以下の式８により、奥行き値ｚ″（ｘ）と奥行き値ｚ′（ｘ）とを合成して、奥行き値ｚ′′′（ｘ）を求める。
【００４４】
【数８】
【００４５】
図１２は、「α＝０．５」の場合に累積ヒストグラムを用いた変換と、ベース変換と、これらの合成による変換とを例示する図である。累積ヒストグラムを用いた変換と、ベース変換との合成による変換として同図に示されるブレンド関数により、奥行き値ｚ′′′（ｘ）が求められる。ここで、ブレンド定数αが大きいほど累積ヒストグラムを用いた変換の要素が強くなり、ブレンド定数αが小さいほどベース変換の要素が強くなる。このようなブレンド関数により求められた奥行き値ｚ′′′（ｘ）を画素毎に示す奥行きマップが、入力画像における奥行きマップから、出力先の３Ｄ表示デバイスに適した奥行きマップとして最終的に変換される奥行きマップとなる。即ち、マップ変換装置２は、ステップＳ１で入力を受け付けた奥行きマップを、ステップＳ３において累積ヒストグラムを用いて変換した奥行き値と、ステップＳ１１においてベース変換により変換した奥行き値とを画素毎に合成することにより求めた奥行き値を画素毎に示す奥行きマップに変換する。このようにして、マップ変換装置２は、累積ヒストグラムを用いて変換した奥行きマップと、ベース変換により変換した奥行きマップとを画素毎に合成して、入力画像における奥行きマップを出力先の３Ｄ表示デバイスに適した奥行きマップに変換する。
【００４６】
その後ステップＳ４では、マップ変換装置２は、ステップＳ１４で変換した奥行きマップを出力する。
【００４７】
以上のような構成によれば、入力画像における奥行き範囲全体を出力先における奥行き範囲に収めつつ、画像に表れる物体の奥行きを維持することができると共に、奥行き全体のスケール感を維持することができる。従って、以上のような構成によっても、３次元画像の表示に関し、再現可能な奥行き範囲内でより良好な奥行き感を得られるように奥行きマップを変換することができる。
【００４８】
[変形例]
尚、本発明は上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。また、以下に例示するような種々の変形が可能である。
【００４９】
上述した実施の形態において、画像処理装置で実行される各種プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、当該各種プログラムを、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供するように構成しても良い。
【００５０】
上述した各実施の形態において、奥行きの存在頻度を表すものとして、ヒストグラムを用い、このヒストグラムを用いて奥行きの存在頻度の累積を表す累積ヒストグラムを用いたが、奥行きの存在頻度やその存在頻度の累積を表すものはこれらに限らない。
【００５１】
上述した各実施の形態において、マップ変換装置１，２は、画像に含まれる全部の画素についてマップ変換処理を行う場合であっても、ブロック毎又は特定の領域毎に奥行きマップを取得してマップ変換処理を行うようにしても良い。
【００５２】
上述した各実施の形態において、奥行きマップは、画像の一部の画素を含む画像領域の奥行き値自体を画素毎に示すものとしたが、これに限らず、画像の一部の画素を含む画像領域の奥行きを視差により画素毎に示すものであっても良い。奥行き値と視差とは一対一に対応している。このため、マップ変換装置１，２は、画像の一部の画素を含む画像領域の奥行きを視差により画素毎に示す奥行きマップに対して、上述の各実施の形態と同様にして、累積ヒストグラムを算出して、当該累積ヒストグラムを用いて、出力先の３Ｄ表示デバイスに適した奥行きマップに変換することにより、再現可能な奥行き範囲内でより良好な奥行き感を得られるように奥行きマップを変換することができる。
【００５３】
上述の第２の実施の形態においては、ベース変換は、入力画像における奥行きマップによって示される奥行き全体を一様に変換するものであれば、上述の例に限らない。
【符号の説明】
【００５４】
１，２ マップ変換装置
１１ 入力受付部
１２ 算出部
１３ 第１変換部
１４ 出力部
１５ 検出部
１６ 第２変換部
１７ 合成部
【特許請求の範囲】
【請求項１】
画像の一部の画素を含む画像領域の奥行きを画素毎に示す第１のマップを用いて、前記画像領域における奥行きの存在頻度を算出する算出ステップと、
前記存在頻度を用いて、前記第１のマップを、第１の範囲内の奥行きを画素毎に示す第２のマップに変換する第１変換ステップとを含む
マップ変換方法。
【請求項２】
前記第１変換ステップでは、前記第１のマップによって示される画素毎の奥行きをそれぞれ、前記存在頻度の高いほど前記第２のマップにおいて大きい範囲の奥行きに変換し、前記存在頻度の低いほど前記第２のマップにおいて小さい範囲の奥行きに変換することにより、前記第１のマップを前記第２のマップに変換する
請求項１に記載のマップ変換方法。
【請求項３】
前記算出ステップでは、前記第１のマップを用いて、前記画像領域における奥行きの存在頻度の累積を表す累積ヒストグラムを算出し、
前記第１変換ステップでは、前記累積ヒストグラムを用いて、前記第１のマップを前記第２のマップに変換する
請求項１又は２記載のマップ変換方法。
【請求項４】
前記算出ステップでは、所定の変換関数を用いて、前記第１のマップを、前記第１の範囲内の奥行きを画素毎に示す第３のマップに変換する第２変換ステップと、
前記第２のマップと、前記第３のマップとを画素毎に合成することにより、前記第１のマップを、前記第１の範囲内の奥行きを画素毎に示す第４のマップに変換する合成ステップとを更に含む
請求項１乃至３に記載のマップ変換方法。
【請求項５】
前記第２変換ステップでは、線形関数を用いて、前記第１のマップを前記第３のマップに変換する
請求項４に記載のマップ変換方法。
【請求項６】
前記算出ステップでは、前記画像領域の奥行きを、第２の範囲内の奥行き値により画素毎に示す前記第１のマップを用いて、前記存在頻度を算出する
請求項１乃至５のいずれか一項に記載のマップ変換方法。
【請求項７】
前記算出ステップでは、前記画像領域の奥行きを、第２の範囲内の視差により画素毎に示す前記第１のマップを用いて、前記存在頻度を算出する
請求項１乃至５のいずれか一項に記載のマップ変換方法。
【請求項８】
画像の一部の画素を含む画像領域の奥行きを画素毎に示す第１のマップを用いて、前記画像領域における奥行きの存在頻度を算出部と、
前記存在頻度を用いて、前記第１のマップを、第１の範囲内の奥行きを画素毎に示す第２のマップに変換する変換部と
を備えるマップ変換装置。
【請求項９】
コンピュータを、
画像の一部の画素を含む画像領域の奥行きを画素毎に示す第１のマップを用いて、前記画像領域における奥行きの存在頻度を算出手段と、
前記存在頻度を用いて、前記第１のマップを、第１の範囲内の奥行きを画素毎に示す第２のマップに変換する変換手段と
して機能させるためのマップ変換プログラム。
【請求項１】
画像の一部の画素を含む画像領域の奥行きを画素毎に示す第１のマップを用いて、前記画像領域における奥行きの存在頻度を算出する算出ステップと、
前記存在頻度を用いて、前記第１のマップを、第１の範囲内の奥行きを画素毎に示す第２のマップに変換する第１変換ステップとを含む
マップ変換方法。
【請求項２】
前記第１変換ステップでは、前記第１のマップによって示される画素毎の奥行きをそれぞれ、前記存在頻度の高いほど前記第２のマップにおいて大きい範囲の奥行きに変換し、前記存在頻度の低いほど前記第２のマップにおいて小さい範囲の奥行きに変換することにより、前記第１のマップを前記第２のマップに変換する
請求項１に記載のマップ変換方法。
【請求項３】
前記算出ステップでは、前記第１のマップを用いて、前記画像領域における奥行きの存在頻度の累積を表す累積ヒストグラムを算出し、
前記第１変換ステップでは、前記累積ヒストグラムを用いて、前記第１のマップを前記第２のマップに変換する
請求項１又は２記載のマップ変換方法。
【請求項４】
前記算出ステップでは、所定の変換関数を用いて、前記第１のマップを、前記第１の範囲内の奥行きを画素毎に示す第３のマップに変換する第２変換ステップと、
前記第２のマップと、前記第３のマップとを画素毎に合成することにより、前記第１のマップを、前記第１の範囲内の奥行きを画素毎に示す第４のマップに変換する合成ステップとを更に含む
請求項１乃至３に記載のマップ変換方法。
【請求項５】
前記第２変換ステップでは、線形関数を用いて、前記第１のマップを前記第３のマップに変換する
請求項４に記載のマップ変換方法。
【請求項６】
前記算出ステップでは、前記画像領域の奥行きを、第２の範囲内の奥行き値により画素毎に示す前記第１のマップを用いて、前記存在頻度を算出する
請求項１乃至５のいずれか一項に記載のマップ変換方法。
【請求項７】
前記算出ステップでは、前記画像領域の奥行きを、第２の範囲内の視差により画素毎に示す前記第１のマップを用いて、前記存在頻度を算出する
請求項１乃至５のいずれか一項に記載のマップ変換方法。
【請求項８】
画像の一部の画素を含む画像領域の奥行きを画素毎に示す第１のマップを用いて、前記画像領域における奥行きの存在頻度を算出部と、
前記存在頻度を用いて、前記第１のマップを、第１の範囲内の奥行きを画素毎に示す第２のマップに変換する変換部と
を備えるマップ変換装置。
【請求項９】
コンピュータを、
画像の一部の画素を含む画像領域の奥行きを画素毎に示す第１のマップを用いて、前記画像領域における奥行きの存在頻度を算出手段と、
前記存在頻度を用いて、前記第１のマップを、第１の範囲内の奥行きを画素毎に示す第２のマップに変換する変換手段と
して機能させるためのマップ変換プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−１３４８８１（Ｐ２０１２−１３４８８１Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１０−２８６６５７（Ｐ２０１０−２８６６５７）
【出願日】平成２２年１２月２２日（２０１０．１２．２２）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願日】平成２２年１２月２２日（２０１０．１２．２２）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]