画像処理装置、画像処理方法および画像処理プログラム
【課題】被写体間の奥行方向の距離の表現力が増した画像を生成する画像処理装置を提供することである。
【解決手段】実施形態の画像処理装置は、取得手段と領域取得手段と分離手段と処理手段と合成手段とを備える。取得手段は、入力画像中のオブジェクトの奥行値を取得する。領域取得手段は、オブジェクトの境界を取得する。分離手段は、入力画像を、オブジェクトのグラデーションを含む成分である第１成分と、この第１成分以外の成分である第２成分とに分離する。処理手段は、第１成分を奥行値に応じて変換した処理済成分を生成する。合成手段は、処理済成分と第２成分とを合成した合成成分を生成する。
【解決手段】実施形態の画像処理装置は、取得手段と領域取得手段と分離手段と処理手段と合成手段とを備える。取得手段は、入力画像中のオブジェクトの奥行値を取得する。領域取得手段は、オブジェクトの境界を取得する。分離手段は、入力画像を、オブジェクトのグラデーションを含む成分である第１成分と、この第１成分以外の成分である第２成分とに分離する。処理手段は、第１成分を奥行値に応じて変換した処理済成分を生成する。合成手段は、処理済成分と第２成分とを合成した合成成分を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
カメラ等の撮像機器から被写体までの距離が分かっている場合、距離に応じた両眼視差をずらした２枚の画像を作成し、それぞれ右目と左目で観測することで画像を立体的に見ることができる。しかしながら、本システムを実現するためには、例えば、右目用と左目用の映像を空間的または時間的に分割して表示するディスプレイが必要になる。また、ユーザは眼鏡をかける必要があるなど構成が複雑になる。そこで、映像表示を２次元のままで立体感の増した映像を表示することができれば、ユーザの利益も大きい。
【０００３】
被写体の陰影を強調することで凹凸感が増し、画像の立体感が増す効果がある。ここで、凹凸感とは、被写体表面の凹凸の表現力である。陰影を強調する手法として、被写体表面の凹凸感を表すグラデーションを強調する手法が知られている。この手法では、画像の勾配を計算し、勾配強度の小さい成分を強調している。
【０００４】
しかしながら、この手法では、全画面一様に陰影が強調されるため、例えば、距離の遠い背景の凹凸感も増す。凹凸感の増した被写体は処理前よりも距離が近く知覚されるため、前景に被写体が存在した場合、前景と背景の距離が近く知覚され、結果的に奥行感の低い平面的な構図の画像となる問題があった。ここで、奥行感とは、被写体間の奥行方向の距離の表現力である。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】宮岡伸一郎：「画像の勾配空間フィルタリング」、電子情報通信学会技術研究報告、Ｖｏｌ．１０９、Ｎｏ．１８２、ｐｐ．１４３−１５０、２００９年８月
【発明の概要】
【発明が解決しようとする課題】
【０００６】
発明が解決しようとする課題は、被写体間の奥行方向の距離の表現力が増した画像を生成する画像処理装置を提供することである。
【課題を解決するための手段】
【０００７】
実施形態の画像処理装置は、取得手段と領域取得手段と分離手段と処理手段と合成手段とを備える。取得手段は、入力画像中のオブジェクトの奥行値を取得する。領域取得手段は、オブジェクトの境界を取得する。分離手段は、入力画像を、オブジェクトのグラデーションを含む成分である第１成分と、この第１成分以外の成分である第２成分とに分離する。処理手段は、第１成分を奥行値に応じて変換した処理済成分を生成する。合成手段は、処理済成分と第２成分とを合成した合成成分を生成する。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態の画像処理装置を示すブロック図。
【図２】実施形態の画像処理装置のハードウェア構成を示す図。
【図３】実施形態の画像処理装置のフローチャート。
【図４】実施形態の分離部を示すブロック図。
【図５】実施形態の分離部のフローチャート。
【図６】実施形態のオブジェクト境界座標の一例を示す図。
【図７】実施形態の画像の領域を示す図。
【図８】実施形態の骨格成分画像と分離成分画像の一例を示す図。
【図９】骨格成分画像と分離成分画像の一例を示す図。
【図１０】実施形態の骨格成分画像と分離成分画像の一例を示す図。
【図１１】実施形態の骨格成分画像と分離成分画像の一例を示す図。
【図１２】変形例１の画像処理装置を示すブロック図。
【図１３】第２の実施形態の画像処理装置を示すブロック図。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面を参照しながら説明する。
【００１０】
（第１の実施形態）
本実施形態の画像処理装置は、入力画像を処理して立体感の増した画像を求める装置である。例えば、本画像処理装置が出力する画像をテレビ受像機に表示することにより、立体感の増した画像をユーザに提供することができる。
【００１１】
図１は、第１の実施形態にかかる画像処理装置を示すブロック図である。本実施形態の画像処理装置は、入力画像中の被写体の奥行値を取得する取得部１０１と、入力画像中の被写体から一又は複数のオブジェクトの境界を取得する領域取得部１０２と、入力画像をオブジェクトのグラデーションを含む成分である第１成分と、この第１成分以外の成分である第２成分とに分離する分離部１０３と、第１成分を奥行値に応じて変換した処理済成分を生成する処理部１０４と、処理済成分と第２成分とを合成した合成成分を生成する合成部１０５と、を備える。
【００１２】
入力画像は、カメラ等の撮像機器で被写体を撮像することで取得できる。オブジェクトは、入力画像中の被写体において、例えば照明が均等に当たったときに同じ輝度と色を持つ領域である。入力画像中の被写体は、一又は複数のオブジェクトを持つ。
【００１３】
ここで、本実施形態の画像処理装置は、被写体の奥行値に応じてグラデーションを含む第１成分を強調する。具他的には、手前にある（奥行値が大きな）被写体ほど第１成分の強調度合いを高めることにより、被写体間における奥行方向の距離の表現力が増した画像を生成する。
【００１４】
また、本実施形態の画像処理装置は、処理部１０４で第１成分が強調された座標において、入力画像のグラデーション以外の成分と合成成分のグラデーション以外の成分とが同じ値になるように画像を生成する。ここで、グラデーション以外の成分とは、被写体表面の凹凸感以外を表す成分であり、入力画像中の被写体の明るさを表す。本実施形態の画像処理装置は、凹凸感を表すグラデーションが強調された座標において、グラデーション以外の成分の変動を抑えることにより、画像の一部のみが明るくなるなど不自然な画像が生成されることを防止する。
【００１５】
（ハードウェア構成）
本実施形態の画像処理装置は、図２に示すような通常のコンピュータを利用したハードウェアで構成されており、装置全体を制御するＣＰＵ（Central Processing Unit）等の制御部２０１と、各種データや各種プログラムを記憶するＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等の記憶部２０２と、各種データや各種プログラムを記憶するＨＤＤ（Hard Disk Drive）やＣＤ（Compact Disk）ドライブ装置等の外部記憶部２０３と、ユーザの指示入力を受け付けるキーボードやマウスなどの操作部２０４と、外部装置との通信を制御する通信部２０５と、画像を撮像するカメラ２０６と、画像を表示するディスプレイ２０７と、これらを接続するバス２０８を備えている。
【００１６】
このようなハードウェア構成において、制御部２０１がＲＯＭ等の記憶部２０２や外部記憶部２０３に記憶された各種プログラムを実行することにより以下に説明する機能が実現される。
【００１７】
（フローチャート）
図３のフローチャートを利用して、本実施形態にかかる画像処理装置の処理を説明する。
【００１８】
まず、ステップＳ３０１では、取得部１０１は、入力画像中の被写体の奥行値Ｒを取得する。ここで、奥行値とは、例えばカメラ２０６の所定の視点から被写体までの距離に対応する値のことであり、入力画像の画素毎に取得される。奥行値は、距離センサを用いて直接取得することができる。また、２つの視点から撮像された画像の組であるステレオ画像を用いて、ステレオ画像間の位置ずれ量に応じて奥行値を取得することもできる。特に、立体映像コンテンツに含まれる右目用画像と左目用画像を用いて奥行値を取得することができる。また、１枚の画像から、画像のぼやけ度合やコントラストの情報を用いて奥行値を推定してもよい。
【００１９】
本実施形態では、座標（ｘ，ｙ）における奥行値Ｒ（ｘ，ｙ）は０から１の値をとり、値が大きいほど手前を示すものとする。なお、奥行値の範囲は一例であり、値が小さいほど手前を示す奥行値を用いてもよい。
【００２０】
次に、ステップＳ３０２では、領域取得部１０２は、入力画像をオブジェクト毎に分割してオブジェクトの境界の座標（オブジェクト境界座標）を取得する。ここで、オブジェクトとは、被写体において、照明が均等に当たったときに同じ輝度と色を持つ領域を指すものとする。実際の入力画像では、照明の当たり方などの影響により、各オブジェクトの領域内において異なる輝度や色になる。本実施形態では、隣接するオブジェクトの境界において入力画像の画素値が十分異なるものと仮定して、画素値の勾配強度の大きい座標をオブジェクト境界座標として取得する。
【００２１】
まず、入力画像の勾配強度を座標毎に計算する。入力画像をＩｉｎとしたとき、勾配強度Ｇｉｎを以下の式で算出する。
【数１】
【００２２】
ただし、（ｘ，ｙ）は、入力画像の座標を示すインデックスであり、例えば、Ｉｉｎ（ｘ，ｙ）は、Ｉｉｎの座標（ｘ，ｙ）における画素値を示す。なお、カラー画像が入力される場合は、例えばＹＵＶのうちＹ成分（明度）を画素値として処理し、ＵＶ成分はＹ成分に応じて処理する。
【００２３】
次に、座標毎に勾配強度をある閾値で判定し、閾値より大きい勾配強度を持つ座標をオブジェクト境界座標として取得する。本実施形態では、オブジェクト境界座標はオブジェクト境界座標マップＭの形式で持つものとし、Ｍ（ｘ，ｙ）が１ならばオブジェクト境界座標、０ならばオブジェクト境界座標ではないものとする。
【００２４】
なお、オブジェクトの考え方については上述したものに限らない。例えば、実世界における物ひとつずつをオブジェクトとしてもよい。また、各オブジェクトの領域をミーンシフト法などのクラスタリング法により生成し、その境界の座標をオブジェクト境界座標としてもよい。
【００２５】
次に、ステップＳ３０３では、分離部１０３は、入力画像を骨格成分画像と分離成分画像とに分離する。ここで、骨格成分画像には、エッジなどの勾配が強い部分が含まれる。一方、分離勾配画像には、エッジを除いたグラデーションなどの勾配が弱い部分が含まれる。すなわち、分離部１０３により、入力画像が、グラデーションを含む成分である分離勾配画像（第１成分）と、第１成分以外の成分である骨格成分画像（第２成分）とに分離される。
【００２６】
分離部１０３の動作を、図４および図５を参照しながら説明する。図４は、分離部１０３の内部構成を示すブロックである。分離部１０３は、入力画像とオブジェクト境界座標マップＭから骨格勾配成分を生成する算出部４０１と、骨格勾配成分から骨格成分画像を生成する生成部４０２と、入力画像と骨格成分画像から分離成分画像を生成する減算部４０３を備えている。
【００２７】
図５は、分離部１０３の動作を表すフローチャートである。ステップＳ５０１では、算出部４０１は、オブジェクト境界座標マップＭを用いて、骨格成分画像の勾配成分を示す骨格勾配成分を生成する。まず、水平方向の骨格勾配成分ｇｈｏｒを計算する。注目する座標（ａ，ｂ）において、Ｍ（ａ，ｂ）が０のときはｇｈｏｒ（ａ，ｂ）＝０とする。Ｍ（ａ，ｂ）が１のときは、水平方向に（ａ，ｂ）より小さい座標のうちＭ（ｘ，ｙ）が１となる最も近い座標（ｃ，ｄ）を求め、（２）式で表される座標間の画素値の差によりｇｈｏｒを計算する。
【数２】
【００２８】
（ａ，ｂ）と（ｃ，ｄ）の関係を、図６を用いて説明する。この図は、オブジェクト境界座標マップＭの例である。図中で斜線のある枠は、オブジェクト境界座標（Ｍ＝１）を示している。座標（ａ，ｂ）から見て、水平方向にはオブジェクト境界座標が複数存在するが、そのうち、（ａ，ｂ）よりも水平座標が小さく（左に位置し）、かつ、最も近い座標を（ｃ，ｄ）として選択する。
【００２９】
同様にして、垂直方向の骨格勾配成分ｇｖｅｒを計算する。つまり、注目する座標（ａ，ｂ）において、Ｍ（ａ，ｂ）が０のときｇｖｅｒ（ａ，ｂ）＝０とする。Ｍ（ａ，ｂ）が１のときは、垂直方向に（ａ，ｂ）より小さい座標のうち、Ｍ（ｘ，ｙ）が１となる最も近い座標（ｅ，ｆ）を求め、その座標間の入力画像の画素値の差（（３）式）によりｇｖｅｒを計算する。
【数３】
【００３０】
次に、ステップＳ５０２では、生成部４０２は、水平方向の骨格勾配成分ｇｈｏｒおよび垂直方向の骨格勾配成分ｇｖｅｒを勾配として持つ骨格成分画像Ｉｓｔを生成する。所定の勾配を持つ画像を生成する方法は、ポアソン方程式に問題を帰着して解く方法が広く知られている（例えば、Ｒ．Ｆａｔｔａｌら、「Ｇｒａｄｉｅｎｔ ｄｏｍａｉｎ ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ ｃｏｍｐｒｅｓｓｉｏｎ」、ＳＩＧＧＲＡＰＨ議事録、ｐｐ．２４９−２５６、２００２年）。
【００３１】
生成部４０２は、図７に示す画像の端周囲１画素の領域Ωでは入力画像の画素値を保持するという境界条件を表す以下の式
【数４】
【００３２】
を満たしつつ、勾配が骨格勾配成分ｇｓｔ＝（ｇｈｏｒ，ｇｖｅｒ）に近くなる画像（骨格成分画像）Ｉｓｔを以下の式により算出する。
【数５】
【００３３】
ただし、∇Ｉ＝（∂Ｉ／∂ｘ、∂Ｉ／∂ｙ）である。（５）式は式変形により、以下の（６）式のポアソン方程式に帰着され、Ｊａｃｏｂｉ法、Ｇａｕｓｓ−Ｓｅｉｄｅｌ法、およびＳＯＲ法等により解くことができる。
【数６】
【００３４】
また、骨格成分画像Ｉｓｔは、サイン変換した係数を処理することでも解くことができる。例えば、Ｊａｃｏｂｉ法を用いて解く場合は、以下の式を、領域Ωを除く内部の領域（ｘ，ｙ）∈Γについて反復する。
【数７】
【００３５】
ただし、Ｉｓｔｎは反復ｎにおける骨格成分画像であり、（ｄｉｖｇｓｔ）（ｘ，ｙ）は、以下の式で計算する。
【数８】
【００３６】
ｎが事前に定められた数に到達するか、反復によるＩｓｔｎの変化が十分小さくなるまで反復を繰り返した後のＩｓｔｎを、最終的な骨格成分画像Ｉｓｔとする。
【００３７】
次に、ステップＳ５０３では、減算部２０３は、入力画像から骨格成分画像Ｉｓｔを減算して分離成分画像Ｉｇｒを生成する。
【００３８】
図８は、入力画像から分離した骨格成分画像と分離成分画像の一例を示す図である。この図は、入力画像のある断面における画素値を１次元で示したグラフである。入力画像の画素値が８０１で示すような形状の場合、分離部１０３で生成される骨格成分画像および分離成分画像は、それぞれ８０２および８０３のような形状となる。ここで、Ａ、Ｂ、Ｃ、Ｄはオブジェクト境界座標であり、Ａ−Ｂ、Ｂ−Ｃ、Ｃ−Ｄがそれぞれ１つのオブジェクトを表している。
【００３９】
図８に示すように、骨格成分画像は、主に入力画像のエッジ部において画素値が変動する成分である。分離成分画像は、主にグラデーションや微小なテクスチャを含み、陰影を表現する成分である。ここで、本実施形態の分離部１０３で生成される分離成分画像は、最も近い２つのオブジェクト境界座標のペアにおいて、少なくとも１つの画素値が０になる。つまり、Ａ−ＢではＡ、Ｂ−ＣではＢ、Ｃ−ＤではＣにおける分離成分画像の画素値が０になっている。
【００４０】
このように、オブジェクトの境界における少なくとも１つの座標において、分離成分画像が０になるように分離されていることが重要である。この分離成分画像を用いれば、後述の処理部１０４における強調により、グラデーション以外の成分が変動することを抑えることができる。分離成分画像が０になる座標では処理済成分も０になる。つまり、この座標では、入力画像のグラデーション以外の成分と合成成分のグラデーション以外の成分とが同じ値になる。これにより、画像の一部のみが明るくなるなど不自然な画像が生成されることを防止する。
【００４１】
例えば、図９のように入力画像が分離された場合、処理部１０４で分離成分画像を強調すると、グラデーション以外の不要成分９０３も強調されてしまう。結果として、合成成分のグラデーション以外の成分が変動することになり、画像の一部のみが明るくなるなど不自然な画像が生成される。
【００４２】
入力画像を分離する方法は上述のものに限られない。例えば、図１０に示すように、骨格成分画像のオブジェクト境界座標における画素値を入力画像の画素値と等しくし、オブジェクト境界座標ではない座標における画素値をオブジェクト境界座標の画素値の補間により生成することもできる。
【００４３】
また、図１１のように、各オブジェクトの領域において、分離成分画像の平均値が０になるように入力画像を分離することができる。例えば、各オブジェクトの領域における画素値の平均値を計算し、その値を各オブジェクトの領域における骨格成分画像とし、入力画像からこの骨格画像成分を減じたものを分離成分画像とする。
【００４４】
図３のフローチャートに戻って説明を続ける。ステップＳ３０４では、処理部１０４は、奥行値に応じて分離成分画像を強調して処理済成分を生成する。本実施形態では、手前に存在する被写体ほど（奥行値Ｒの大きな被写体ほど）強調度合いを高めることにより、奥に存在する被写体と手前に存在する被写体の奥行方向の距離が広がって知覚される画像を生成する。分離成分画像（第１成分）の強調により凹凸感の増した被写体はより手前側に知覚される。
【００４５】
処理部１０４は、分離成分画像Ｉｇｒと奥行値Ｒを用いて、以下の式により処理済成分Ｉ＾ｇｒを計算する。なお、数式中のハット記号＾の付された文字Ｉを、本文中ではＩ＾と表記する。
【数９】
【００４６】
ここで、α（ｒ）は奥行値が手前であるほど大きな値をとる処理係数であり、正の定数βを用いて以下の式で表すことができる。
【数１０】
【００４７】
また、正の定数ωを用いて、以下の式のように非線形の形でα（ｒ）を表してもよい。
【数１１】
【００４８】
以上のように、処理係数αは任意の正数を値としてとることができ、処理係数αが１より大きければ分離成分画像は強調され、処理済成分の陰影が強くなる。また、処理係数αが１より小さければ分離成分画像は抑制され、処理済成分の陰影は弱くなる。さらに、分離成分画像の強調は、処理係数αの乗算に限らない。例えば、以下の式のように加算により絶対値を操作してもよい。
【数１２】
【００４９】
ここで、ｓｉｇｎ（ｉ）はｉの正負の符号である。また、奥行値Ｒに応じて値を大きく変換するテーブルを予め作成しておき、このテーブルに応じて分離成分画像の絶対値を変換してもよい。
【００５０】
ここでは、奥行値の取りうる値のうち最も手前を表す値を基準値とし、基準値と奥行値との差分が小さいほど分離成分画像を強調する例を示したが、基準値はこれに限られない。中間の奥行値または最も奥の奥行値を基準値とし、この基準値に近いほど分離成分画像を強調してもよい。例えば、ある中間の奥行値をｒｂａｓｅとすると、奥行値Ｒ（ｘ，ｙ）がｒｂａｓｅに近いほど大きくなるαを（９）式で用いればよい。αは、例えばωを正の定数として以下の式で計算することができる。
【数１３】
【００５１】
これにより、ある奥行値ｒｂａｓｅにのみ照明が強く当たっている場合などに、この位置にある被写体を強調することができる。
【００５２】
図３のフローチャートに戻って説明を続ける。最後に、ステップＳ３０５では、合成部１０５は、骨格成分画像Ｉｓｔと処理済成分Ｉ＾ｇｒとを合成して合成成分Ｉｃｏｍｂを生成する。合成部１０５は、例えば以下の式により合成成分Ｉｃｏｍｂを生成する。
【数１４】
【００５３】
以上の処理により生成された合成成分Ｉｃｏｍｂが、本実施形態にかかる画像処理装置が出力する画像になる。
【００５４】
このように、本実施形態の画像処理装置は、手前にある被写体ほど分離成分画像（第１成分）の強調度合いを高めた合成成分を生成する。これにより、被写体間における奥行方向の距離の表現力が増した画像を生成することができる。
【００５５】
また、本実施形態の画像処理装置は、分離成分画像（第１成分）が強調された座標において、入力画像のグラデーション以外の成分と合成成分のグラデーション以外の成分とが同じ値になるように合成成分を生成する。これにより、画像の一部のみが明るくなるなど不自然な画像が生成されることを防止することができる。
【００５６】
（変形例１）
本実施形態にかかる方法を用いれば、分離成分と処理済成分の明るさの変化を小さくすることができるが、処理係数α（ｒ）の変化が空間的に大きいときには、処理前後において明るさの変化が大きくなる場合がある。そこで、各オブジェクトの領域において、処理済成分の平均値と分離成分画像の平均値とが一致するように、入力画像から分離成分画像を分離してもよい。
【００５７】
例えば、１つのオブジェクトの領域における骨格成分画像の画素値を定数値Ｊとし、分離成分画像をＩｉｎ−Ｊとする。このとき、処理済成分はα（Ｒ（ｘ，ｙ））×（Ｉｉｎ−Ｊ）となるから、Ｊの値を（１５）式を満たすように求めればよい。ただし、積分は１つの領域内部の座標で行う。例えば、Ｊの値を離散的な値で変化させることができる。
【数１５】
【００５８】
図１２を用いて、本変形例を実現する方法を説明する。本変形例の画像処理装置は、分離部１２０３が入力画像・オブジェクト境界座標だけでなく奥行値も入力している点が第１の実施形態と異なる。分離部１２０３は、まず、処理部１０４と同様な方法により処理係数αを計算する。そして、１つのオブジェクトの領域で（１５）式を満たすＪを算出する。そして、同じオブジェクトの領域について、骨格成分画像の画素値をＪとして出力し、分離成分画像をＩｉｎ−Ｊとして出力する。その他のオブジェクトについても同様な処理を行う。
【００５９】
このように、各オブジェクトの領域において、分離成分画像の平均値と処理済成分の平均値とを一致させることにより、入力画像と合成成分との間においてグラデーション以外の成分が大きく変動することを防止する。これにより、画像の一部のみが明るくなるなど不自然な画像が生成されることを防ぐことができる。
【００６０】
（第２の実施形態）
図１３は、第２の実施形態にかかる画像処理装置の構成を示すブロック図である。本実施形態の画像処理装置は、分離部１３０３および処理部１３０４の機能が第１の実施形態と異なる。その他の機能は、第１の実施形態にかかる画像処理装置と同様であるので説明を省略する。
【００６１】
分離部１３０３は、入力画像を骨格成分画像と分離成分画像に分離する。本実施形態では、入力画像を分離する際、骨格成分画像と分離成分画像の間に制約は課さない。例えば、図９のように、分離成分画像がグラデーション以外の不要成分を含むように入力画像を分離してもよい。
【００６２】
処理部１３０４は、オブジェクト境界座標マップＭおよび奥行値を用いて、分離成分画像を強調した処理済成分を生成する。このとき、処理部１３０４は、入力画像のグラデーション以外の成分と合成部１０５で生成される合成成分のグラデーション以外の成分が大きく変動しないように処理済成分を生成する。具体的には、各オブジェクトの領域において、グラデーション以外の成分の平均値が変動しないように処理済成分を生成する。
【００６３】
まず、処理部１３０４は、分離成分画像Ｉｇｒと奥行値Ｒを用いて、以下の式により仮処理済成分Ｉ−ｇｒを計算する。なお、数式中の記号−の付された文字Ｉを、本文中ではＩ−と表記する。
【数１６】
【００６４】
ここで、αは第１の実施形態と同じものを用いることができる。
【００６５】
次に、処理部１３０４は、１つのオブジェクトの領域について、分離成分画像Ｉｇｒの平均値Ｉａｖｅおよび仮処理済成分の平均値Ｉ−ａｖｅを算出する。そして、同じ領域内の処理済成分を次の式で算出する。
【数１７】
【００６６】
すべてのオブジェクトの領域について、（１７）式により処理済成分を算出する。
【００６７】
処理部１３０４は、各オブジェクトについて、そのオブジェクト境界座標のうち１つの画素値が変化しないように処理済成分を生成してもよい。例えば、分離成分画像の絶対値が最小となる座標において、処理前後の画素値が変化しないように処理済成分を生成することができる。まず、処理部１３０４は、１つのオブジェクトの領域を選択する。次に、オブジェクト境界座標の中で分離成分画像の絶対値が最小となる座標を探索する。その座標を（ｇ，ｈ）とする。次に、（ｇ，ｈ）の分離成分画像の画素値Ｉｇｒ（ｇ，ｈ）を基準にして、選択したオブジェクトのオブジェクト境界座標の処理済成分を次式により計算する。
【数１８】
【００６８】
すべてのオブジェクトの領域について、（１８）式により、処理済成分を算出する。
【００６９】
このようにして生成した処理済成分を用いて、合成部１０５は、合成成分を生成し第２の実施形態にかかる画像処理装置の出力とする。
【００７０】
本実施形態の画像処理装置は、分離成分画像（第１成分）が強調された座標において、入力画像のグラデーション以外の成分と合成成分のグラデーション以外の成分とが大きく変動することを防止する。これにより、画像の一部のみが明るくなるなど不自然な画像が生成されることを防ぐことができる。
【００７１】
（変形例２）
第１および第２の実施形態では、オブジェクト毎の平均的な画素値の変化が小さくなるように処理する方法を示したが、これ以外にも、ディスプレイに表示したときの放射輝度のオブジェクト毎の平均値の変化が小さくなるように処理してもよい。
【００７２】
また、第１および第２の実施形態では、２次元画像の処理について説明したが、右目画像と左目画像の２視差からなる立体画像や、３視差以上の視差をもつ立体画像についても処理することが可能である。これにより、メガネ式や裸眼式の立体ディスプレイに立体画像を表示する場合においても、さらに立体感のある画像を表示することが可能となる。
【００７３】
例えば、視差画像のそれぞれについて独立に、第１および第２の実施形態に示した方法で処理をすることができる。また、視差画像の処理の間で相関を持たせることで、処理後の画像の画質が向上する。例えば、領域取得部１０２は、視差画像間の位置合わせを行い、対応する座標においては同一のオブジェクトの領域になるようオブジェクト境界座標を算出することができる。これにより、オブジェクトを分割する精度が向上する。また、分離成分画像や処理済成分を視差画像の間で共通にすることで、出力画像の視差画像間における変化を抑制することができる。
【００７４】
（効果）
以上述べた少なくとも一つの実施形態の画像処理装置は、手前にある被写体ほど分離成分画像（第１成分）の強調度合いを高めた合成成分を生成する。これにより、被写体間における奥行方向の距離の表現力が増した画像を生成することができる。
【００７５】
また、少なくとも一つの実施形態の画像処理装置は、入力画像のグラデーション以外の成分と合成成分のグラデーション以外の成分とが大きく変動することを防止する。これにより、画像の一部のみが明るくなるなど不自然な画像が生成されることを防ぐことができる。
【００７６】
なお、以上説明した本実施形態における一部機能もしくは全ての機能は、ソフトウェア処理により実現可能である。
【００７７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７８】
１０１ 取得部
１０２ 領域取得部
１０３、１２０３、１３０３ 分離部
１０４、１３０４ 処理部
１０５ 合成部
２０１ 制御部
２０２ 記憶部
２０３ 外部記憶部
２０４ 操作部
２０５ 通信部
２０６ カメラ
２０７ ディスプレイ
２０８ バス
４０１ 算出部
４０２ 生成部
４０３ 減算部
８０１ 入力画像
８０２、９０１、１００１、１１０１ 骨格成分画像
８０３、９０２、１００２、１１０２ 分離成分画像
９０３ 不要成分
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
カメラ等の撮像機器から被写体までの距離が分かっている場合、距離に応じた両眼視差をずらした２枚の画像を作成し、それぞれ右目と左目で観測することで画像を立体的に見ることができる。しかしながら、本システムを実現するためには、例えば、右目用と左目用の映像を空間的または時間的に分割して表示するディスプレイが必要になる。また、ユーザは眼鏡をかける必要があるなど構成が複雑になる。そこで、映像表示を２次元のままで立体感の増した映像を表示することができれば、ユーザの利益も大きい。
【０００３】
被写体の陰影を強調することで凹凸感が増し、画像の立体感が増す効果がある。ここで、凹凸感とは、被写体表面の凹凸の表現力である。陰影を強調する手法として、被写体表面の凹凸感を表すグラデーションを強調する手法が知られている。この手法では、画像の勾配を計算し、勾配強度の小さい成分を強調している。
【０００４】
しかしながら、この手法では、全画面一様に陰影が強調されるため、例えば、距離の遠い背景の凹凸感も増す。凹凸感の増した被写体は処理前よりも距離が近く知覚されるため、前景に被写体が存在した場合、前景と背景の距離が近く知覚され、結果的に奥行感の低い平面的な構図の画像となる問題があった。ここで、奥行感とは、被写体間の奥行方向の距離の表現力である。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】宮岡伸一郎：「画像の勾配空間フィルタリング」、電子情報通信学会技術研究報告、Ｖｏｌ．１０９、Ｎｏ．１８２、ｐｐ．１４３−１５０、２００９年８月
【発明の概要】
【発明が解決しようとする課題】
【０００６】
発明が解決しようとする課題は、被写体間の奥行方向の距離の表現力が増した画像を生成する画像処理装置を提供することである。
【課題を解決するための手段】
【０００７】
実施形態の画像処理装置は、取得手段と領域取得手段と分離手段と処理手段と合成手段とを備える。取得手段は、入力画像中のオブジェクトの奥行値を取得する。領域取得手段は、オブジェクトの境界を取得する。分離手段は、入力画像を、オブジェクトのグラデーションを含む成分である第１成分と、この第１成分以外の成分である第２成分とに分離する。処理手段は、第１成分を奥行値に応じて変換した処理済成分を生成する。合成手段は、処理済成分と第２成分とを合成した合成成分を生成する。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態の画像処理装置を示すブロック図。
【図２】実施形態の画像処理装置のハードウェア構成を示す図。
【図３】実施形態の画像処理装置のフローチャート。
【図４】実施形態の分離部を示すブロック図。
【図５】実施形態の分離部のフローチャート。
【図６】実施形態のオブジェクト境界座標の一例を示す図。
【図７】実施形態の画像の領域を示す図。
【図８】実施形態の骨格成分画像と分離成分画像の一例を示す図。
【図９】骨格成分画像と分離成分画像の一例を示す図。
【図１０】実施形態の骨格成分画像と分離成分画像の一例を示す図。
【図１１】実施形態の骨格成分画像と分離成分画像の一例を示す図。
【図１２】変形例１の画像処理装置を示すブロック図。
【図１３】第２の実施形態の画像処理装置を示すブロック図。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面を参照しながら説明する。
【００１０】
（第１の実施形態）
本実施形態の画像処理装置は、入力画像を処理して立体感の増した画像を求める装置である。例えば、本画像処理装置が出力する画像をテレビ受像機に表示することにより、立体感の増した画像をユーザに提供することができる。
【００１１】
図１は、第１の実施形態にかかる画像処理装置を示すブロック図である。本実施形態の画像処理装置は、入力画像中の被写体の奥行値を取得する取得部１０１と、入力画像中の被写体から一又は複数のオブジェクトの境界を取得する領域取得部１０２と、入力画像をオブジェクトのグラデーションを含む成分である第１成分と、この第１成分以外の成分である第２成分とに分離する分離部１０３と、第１成分を奥行値に応じて変換した処理済成分を生成する処理部１０４と、処理済成分と第２成分とを合成した合成成分を生成する合成部１０５と、を備える。
【００１２】
入力画像は、カメラ等の撮像機器で被写体を撮像することで取得できる。オブジェクトは、入力画像中の被写体において、例えば照明が均等に当たったときに同じ輝度と色を持つ領域である。入力画像中の被写体は、一又は複数のオブジェクトを持つ。
【００１３】
ここで、本実施形態の画像処理装置は、被写体の奥行値に応じてグラデーションを含む第１成分を強調する。具他的には、手前にある（奥行値が大きな）被写体ほど第１成分の強調度合いを高めることにより、被写体間における奥行方向の距離の表現力が増した画像を生成する。
【００１４】
また、本実施形態の画像処理装置は、処理部１０４で第１成分が強調された座標において、入力画像のグラデーション以外の成分と合成成分のグラデーション以外の成分とが同じ値になるように画像を生成する。ここで、グラデーション以外の成分とは、被写体表面の凹凸感以外を表す成分であり、入力画像中の被写体の明るさを表す。本実施形態の画像処理装置は、凹凸感を表すグラデーションが強調された座標において、グラデーション以外の成分の変動を抑えることにより、画像の一部のみが明るくなるなど不自然な画像が生成されることを防止する。
【００１５】
（ハードウェア構成）
本実施形態の画像処理装置は、図２に示すような通常のコンピュータを利用したハードウェアで構成されており、装置全体を制御するＣＰＵ（Central Processing Unit）等の制御部２０１と、各種データや各種プログラムを記憶するＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等の記憶部２０２と、各種データや各種プログラムを記憶するＨＤＤ（Hard Disk Drive）やＣＤ（Compact Disk）ドライブ装置等の外部記憶部２０３と、ユーザの指示入力を受け付けるキーボードやマウスなどの操作部２０４と、外部装置との通信を制御する通信部２０５と、画像を撮像するカメラ２０６と、画像を表示するディスプレイ２０７と、これらを接続するバス２０８を備えている。
【００１６】
このようなハードウェア構成において、制御部２０１がＲＯＭ等の記憶部２０２や外部記憶部２０３に記憶された各種プログラムを実行することにより以下に説明する機能が実現される。
【００１７】
（フローチャート）
図３のフローチャートを利用して、本実施形態にかかる画像処理装置の処理を説明する。
【００１８】
まず、ステップＳ３０１では、取得部１０１は、入力画像中の被写体の奥行値Ｒを取得する。ここで、奥行値とは、例えばカメラ２０６の所定の視点から被写体までの距離に対応する値のことであり、入力画像の画素毎に取得される。奥行値は、距離センサを用いて直接取得することができる。また、２つの視点から撮像された画像の組であるステレオ画像を用いて、ステレオ画像間の位置ずれ量に応じて奥行値を取得することもできる。特に、立体映像コンテンツに含まれる右目用画像と左目用画像を用いて奥行値を取得することができる。また、１枚の画像から、画像のぼやけ度合やコントラストの情報を用いて奥行値を推定してもよい。
【００１９】
本実施形態では、座標（ｘ，ｙ）における奥行値Ｒ（ｘ，ｙ）は０から１の値をとり、値が大きいほど手前を示すものとする。なお、奥行値の範囲は一例であり、値が小さいほど手前を示す奥行値を用いてもよい。
【００２０】
次に、ステップＳ３０２では、領域取得部１０２は、入力画像をオブジェクト毎に分割してオブジェクトの境界の座標（オブジェクト境界座標）を取得する。ここで、オブジェクトとは、被写体において、照明が均等に当たったときに同じ輝度と色を持つ領域を指すものとする。実際の入力画像では、照明の当たり方などの影響により、各オブジェクトの領域内において異なる輝度や色になる。本実施形態では、隣接するオブジェクトの境界において入力画像の画素値が十分異なるものと仮定して、画素値の勾配強度の大きい座標をオブジェクト境界座標として取得する。
【００２１】
まず、入力画像の勾配強度を座標毎に計算する。入力画像をＩｉｎとしたとき、勾配強度Ｇｉｎを以下の式で算出する。
【数１】
【００２２】
ただし、（ｘ，ｙ）は、入力画像の座標を示すインデックスであり、例えば、Ｉｉｎ（ｘ，ｙ）は、Ｉｉｎの座標（ｘ，ｙ）における画素値を示す。なお、カラー画像が入力される場合は、例えばＹＵＶのうちＹ成分（明度）を画素値として処理し、ＵＶ成分はＹ成分に応じて処理する。
【００２３】
次に、座標毎に勾配強度をある閾値で判定し、閾値より大きい勾配強度を持つ座標をオブジェクト境界座標として取得する。本実施形態では、オブジェクト境界座標はオブジェクト境界座標マップＭの形式で持つものとし、Ｍ（ｘ，ｙ）が１ならばオブジェクト境界座標、０ならばオブジェクト境界座標ではないものとする。
【００２４】
なお、オブジェクトの考え方については上述したものに限らない。例えば、実世界における物ひとつずつをオブジェクトとしてもよい。また、各オブジェクトの領域をミーンシフト法などのクラスタリング法により生成し、その境界の座標をオブジェクト境界座標としてもよい。
【００２５】
次に、ステップＳ３０３では、分離部１０３は、入力画像を骨格成分画像と分離成分画像とに分離する。ここで、骨格成分画像には、エッジなどの勾配が強い部分が含まれる。一方、分離勾配画像には、エッジを除いたグラデーションなどの勾配が弱い部分が含まれる。すなわち、分離部１０３により、入力画像が、グラデーションを含む成分である分離勾配画像（第１成分）と、第１成分以外の成分である骨格成分画像（第２成分）とに分離される。
【００２６】
分離部１０３の動作を、図４および図５を参照しながら説明する。図４は、分離部１０３の内部構成を示すブロックである。分離部１０３は、入力画像とオブジェクト境界座標マップＭから骨格勾配成分を生成する算出部４０１と、骨格勾配成分から骨格成分画像を生成する生成部４０２と、入力画像と骨格成分画像から分離成分画像を生成する減算部４０３を備えている。
【００２７】
図５は、分離部１０３の動作を表すフローチャートである。ステップＳ５０１では、算出部４０１は、オブジェクト境界座標マップＭを用いて、骨格成分画像の勾配成分を示す骨格勾配成分を生成する。まず、水平方向の骨格勾配成分ｇｈｏｒを計算する。注目する座標（ａ，ｂ）において、Ｍ（ａ，ｂ）が０のときはｇｈｏｒ（ａ，ｂ）＝０とする。Ｍ（ａ，ｂ）が１のときは、水平方向に（ａ，ｂ）より小さい座標のうちＭ（ｘ，ｙ）が１となる最も近い座標（ｃ，ｄ）を求め、（２）式で表される座標間の画素値の差によりｇｈｏｒを計算する。
【数２】
【００２８】
（ａ，ｂ）と（ｃ，ｄ）の関係を、図６を用いて説明する。この図は、オブジェクト境界座標マップＭの例である。図中で斜線のある枠は、オブジェクト境界座標（Ｍ＝１）を示している。座標（ａ，ｂ）から見て、水平方向にはオブジェクト境界座標が複数存在するが、そのうち、（ａ，ｂ）よりも水平座標が小さく（左に位置し）、かつ、最も近い座標を（ｃ，ｄ）として選択する。
【００２９】
同様にして、垂直方向の骨格勾配成分ｇｖｅｒを計算する。つまり、注目する座標（ａ，ｂ）において、Ｍ（ａ，ｂ）が０のときｇｖｅｒ（ａ，ｂ）＝０とする。Ｍ（ａ，ｂ）が１のときは、垂直方向に（ａ，ｂ）より小さい座標のうち、Ｍ（ｘ，ｙ）が１となる最も近い座標（ｅ，ｆ）を求め、その座標間の入力画像の画素値の差（（３）式）によりｇｖｅｒを計算する。
【数３】
【００３０】
次に、ステップＳ５０２では、生成部４０２は、水平方向の骨格勾配成分ｇｈｏｒおよび垂直方向の骨格勾配成分ｇｖｅｒを勾配として持つ骨格成分画像Ｉｓｔを生成する。所定の勾配を持つ画像を生成する方法は、ポアソン方程式に問題を帰着して解く方法が広く知られている（例えば、Ｒ．Ｆａｔｔａｌら、「Ｇｒａｄｉｅｎｔ ｄｏｍａｉｎ ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ ｃｏｍｐｒｅｓｓｉｏｎ」、ＳＩＧＧＲＡＰＨ議事録、ｐｐ．２４９−２５６、２００２年）。
【００３１】
生成部４０２は、図７に示す画像の端周囲１画素の領域Ωでは入力画像の画素値を保持するという境界条件を表す以下の式
【数４】
【００３２】
を満たしつつ、勾配が骨格勾配成分ｇｓｔ＝（ｇｈｏｒ，ｇｖｅｒ）に近くなる画像（骨格成分画像）Ｉｓｔを以下の式により算出する。
【数５】
【００３３】
ただし、∇Ｉ＝（∂Ｉ／∂ｘ、∂Ｉ／∂ｙ）である。（５）式は式変形により、以下の（６）式のポアソン方程式に帰着され、Ｊａｃｏｂｉ法、Ｇａｕｓｓ−Ｓｅｉｄｅｌ法、およびＳＯＲ法等により解くことができる。
【数６】
【００３４】
また、骨格成分画像Ｉｓｔは、サイン変換した係数を処理することでも解くことができる。例えば、Ｊａｃｏｂｉ法を用いて解く場合は、以下の式を、領域Ωを除く内部の領域（ｘ，ｙ）∈Γについて反復する。
【数７】
【００３５】
ただし、Ｉｓｔｎは反復ｎにおける骨格成分画像であり、（ｄｉｖｇｓｔ）（ｘ，ｙ）は、以下の式で計算する。
【数８】
【００３６】
ｎが事前に定められた数に到達するか、反復によるＩｓｔｎの変化が十分小さくなるまで反復を繰り返した後のＩｓｔｎを、最終的な骨格成分画像Ｉｓｔとする。
【００３７】
次に、ステップＳ５０３では、減算部２０３は、入力画像から骨格成分画像Ｉｓｔを減算して分離成分画像Ｉｇｒを生成する。
【００３８】
図８は、入力画像から分離した骨格成分画像と分離成分画像の一例を示す図である。この図は、入力画像のある断面における画素値を１次元で示したグラフである。入力画像の画素値が８０１で示すような形状の場合、分離部１０３で生成される骨格成分画像および分離成分画像は、それぞれ８０２および８０３のような形状となる。ここで、Ａ、Ｂ、Ｃ、Ｄはオブジェクト境界座標であり、Ａ−Ｂ、Ｂ−Ｃ、Ｃ−Ｄがそれぞれ１つのオブジェクトを表している。
【００３９】
図８に示すように、骨格成分画像は、主に入力画像のエッジ部において画素値が変動する成分である。分離成分画像は、主にグラデーションや微小なテクスチャを含み、陰影を表現する成分である。ここで、本実施形態の分離部１０３で生成される分離成分画像は、最も近い２つのオブジェクト境界座標のペアにおいて、少なくとも１つの画素値が０になる。つまり、Ａ−ＢではＡ、Ｂ−ＣではＢ、Ｃ−ＤではＣにおける分離成分画像の画素値が０になっている。
【００４０】
このように、オブジェクトの境界における少なくとも１つの座標において、分離成分画像が０になるように分離されていることが重要である。この分離成分画像を用いれば、後述の処理部１０４における強調により、グラデーション以外の成分が変動することを抑えることができる。分離成分画像が０になる座標では処理済成分も０になる。つまり、この座標では、入力画像のグラデーション以外の成分と合成成分のグラデーション以外の成分とが同じ値になる。これにより、画像の一部のみが明るくなるなど不自然な画像が生成されることを防止する。
【００４１】
例えば、図９のように入力画像が分離された場合、処理部１０４で分離成分画像を強調すると、グラデーション以外の不要成分９０３も強調されてしまう。結果として、合成成分のグラデーション以外の成分が変動することになり、画像の一部のみが明るくなるなど不自然な画像が生成される。
【００４２】
入力画像を分離する方法は上述のものに限られない。例えば、図１０に示すように、骨格成分画像のオブジェクト境界座標における画素値を入力画像の画素値と等しくし、オブジェクト境界座標ではない座標における画素値をオブジェクト境界座標の画素値の補間により生成することもできる。
【００４３】
また、図１１のように、各オブジェクトの領域において、分離成分画像の平均値が０になるように入力画像を分離することができる。例えば、各オブジェクトの領域における画素値の平均値を計算し、その値を各オブジェクトの領域における骨格成分画像とし、入力画像からこの骨格画像成分を減じたものを分離成分画像とする。
【００４４】
図３のフローチャートに戻って説明を続ける。ステップＳ３０４では、処理部１０４は、奥行値に応じて分離成分画像を強調して処理済成分を生成する。本実施形態では、手前に存在する被写体ほど（奥行値Ｒの大きな被写体ほど）強調度合いを高めることにより、奥に存在する被写体と手前に存在する被写体の奥行方向の距離が広がって知覚される画像を生成する。分離成分画像（第１成分）の強調により凹凸感の増した被写体はより手前側に知覚される。
【００４５】
処理部１０４は、分離成分画像Ｉｇｒと奥行値Ｒを用いて、以下の式により処理済成分Ｉ＾ｇｒを計算する。なお、数式中のハット記号＾の付された文字Ｉを、本文中ではＩ＾と表記する。
【数９】
【００４６】
ここで、α（ｒ）は奥行値が手前であるほど大きな値をとる処理係数であり、正の定数βを用いて以下の式で表すことができる。
【数１０】
【００４７】
また、正の定数ωを用いて、以下の式のように非線形の形でα（ｒ）を表してもよい。
【数１１】
【００４８】
以上のように、処理係数αは任意の正数を値としてとることができ、処理係数αが１より大きければ分離成分画像は強調され、処理済成分の陰影が強くなる。また、処理係数αが１より小さければ分離成分画像は抑制され、処理済成分の陰影は弱くなる。さらに、分離成分画像の強調は、処理係数αの乗算に限らない。例えば、以下の式のように加算により絶対値を操作してもよい。
【数１２】
【００４９】
ここで、ｓｉｇｎ（ｉ）はｉの正負の符号である。また、奥行値Ｒに応じて値を大きく変換するテーブルを予め作成しておき、このテーブルに応じて分離成分画像の絶対値を変換してもよい。
【００５０】
ここでは、奥行値の取りうる値のうち最も手前を表す値を基準値とし、基準値と奥行値との差分が小さいほど分離成分画像を強調する例を示したが、基準値はこれに限られない。中間の奥行値または最も奥の奥行値を基準値とし、この基準値に近いほど分離成分画像を強調してもよい。例えば、ある中間の奥行値をｒｂａｓｅとすると、奥行値Ｒ（ｘ，ｙ）がｒｂａｓｅに近いほど大きくなるαを（９）式で用いればよい。αは、例えばωを正の定数として以下の式で計算することができる。
【数１３】
【００５１】
これにより、ある奥行値ｒｂａｓｅにのみ照明が強く当たっている場合などに、この位置にある被写体を強調することができる。
【００５２】
図３のフローチャートに戻って説明を続ける。最後に、ステップＳ３０５では、合成部１０５は、骨格成分画像Ｉｓｔと処理済成分Ｉ＾ｇｒとを合成して合成成分Ｉｃｏｍｂを生成する。合成部１０５は、例えば以下の式により合成成分Ｉｃｏｍｂを生成する。
【数１４】
【００５３】
以上の処理により生成された合成成分Ｉｃｏｍｂが、本実施形態にかかる画像処理装置が出力する画像になる。
【００５４】
このように、本実施形態の画像処理装置は、手前にある被写体ほど分離成分画像（第１成分）の強調度合いを高めた合成成分を生成する。これにより、被写体間における奥行方向の距離の表現力が増した画像を生成することができる。
【００５５】
また、本実施形態の画像処理装置は、分離成分画像（第１成分）が強調された座標において、入力画像のグラデーション以外の成分と合成成分のグラデーション以外の成分とが同じ値になるように合成成分を生成する。これにより、画像の一部のみが明るくなるなど不自然な画像が生成されることを防止することができる。
【００５６】
（変形例１）
本実施形態にかかる方法を用いれば、分離成分と処理済成分の明るさの変化を小さくすることができるが、処理係数α（ｒ）の変化が空間的に大きいときには、処理前後において明るさの変化が大きくなる場合がある。そこで、各オブジェクトの領域において、処理済成分の平均値と分離成分画像の平均値とが一致するように、入力画像から分離成分画像を分離してもよい。
【００５７】
例えば、１つのオブジェクトの領域における骨格成分画像の画素値を定数値Ｊとし、分離成分画像をＩｉｎ−Ｊとする。このとき、処理済成分はα（Ｒ（ｘ，ｙ））×（Ｉｉｎ−Ｊ）となるから、Ｊの値を（１５）式を満たすように求めればよい。ただし、積分は１つの領域内部の座標で行う。例えば、Ｊの値を離散的な値で変化させることができる。
【数１５】
【００５８】
図１２を用いて、本変形例を実現する方法を説明する。本変形例の画像処理装置は、分離部１２０３が入力画像・オブジェクト境界座標だけでなく奥行値も入力している点が第１の実施形態と異なる。分離部１２０３は、まず、処理部１０４と同様な方法により処理係数αを計算する。そして、１つのオブジェクトの領域で（１５）式を満たすＪを算出する。そして、同じオブジェクトの領域について、骨格成分画像の画素値をＪとして出力し、分離成分画像をＩｉｎ−Ｊとして出力する。その他のオブジェクトについても同様な処理を行う。
【００５９】
このように、各オブジェクトの領域において、分離成分画像の平均値と処理済成分の平均値とを一致させることにより、入力画像と合成成分との間においてグラデーション以外の成分が大きく変動することを防止する。これにより、画像の一部のみが明るくなるなど不自然な画像が生成されることを防ぐことができる。
【００６０】
（第２の実施形態）
図１３は、第２の実施形態にかかる画像処理装置の構成を示すブロック図である。本実施形態の画像処理装置は、分離部１３０３および処理部１３０４の機能が第１の実施形態と異なる。その他の機能は、第１の実施形態にかかる画像処理装置と同様であるので説明を省略する。
【００６１】
分離部１３０３は、入力画像を骨格成分画像と分離成分画像に分離する。本実施形態では、入力画像を分離する際、骨格成分画像と分離成分画像の間に制約は課さない。例えば、図９のように、分離成分画像がグラデーション以外の不要成分を含むように入力画像を分離してもよい。
【００６２】
処理部１３０４は、オブジェクト境界座標マップＭおよび奥行値を用いて、分離成分画像を強調した処理済成分を生成する。このとき、処理部１３０４は、入力画像のグラデーション以外の成分と合成部１０５で生成される合成成分のグラデーション以外の成分が大きく変動しないように処理済成分を生成する。具体的には、各オブジェクトの領域において、グラデーション以外の成分の平均値が変動しないように処理済成分を生成する。
【００６３】
まず、処理部１３０４は、分離成分画像Ｉｇｒと奥行値Ｒを用いて、以下の式により仮処理済成分Ｉ−ｇｒを計算する。なお、数式中の記号−の付された文字Ｉを、本文中ではＩ−と表記する。
【数１６】
【００６４】
ここで、αは第１の実施形態と同じものを用いることができる。
【００６５】
次に、処理部１３０４は、１つのオブジェクトの領域について、分離成分画像Ｉｇｒの平均値Ｉａｖｅおよび仮処理済成分の平均値Ｉ−ａｖｅを算出する。そして、同じ領域内の処理済成分を次の式で算出する。
【数１７】
【００６６】
すべてのオブジェクトの領域について、（１７）式により処理済成分を算出する。
【００６７】
処理部１３０４は、各オブジェクトについて、そのオブジェクト境界座標のうち１つの画素値が変化しないように処理済成分を生成してもよい。例えば、分離成分画像の絶対値が最小となる座標において、処理前後の画素値が変化しないように処理済成分を生成することができる。まず、処理部１３０４は、１つのオブジェクトの領域を選択する。次に、オブジェクト境界座標の中で分離成分画像の絶対値が最小となる座標を探索する。その座標を（ｇ，ｈ）とする。次に、（ｇ，ｈ）の分離成分画像の画素値Ｉｇｒ（ｇ，ｈ）を基準にして、選択したオブジェクトのオブジェクト境界座標の処理済成分を次式により計算する。
【数１８】
【００６８】
すべてのオブジェクトの領域について、（１８）式により、処理済成分を算出する。
【００６９】
このようにして生成した処理済成分を用いて、合成部１０５は、合成成分を生成し第２の実施形態にかかる画像処理装置の出力とする。
【００７０】
本実施形態の画像処理装置は、分離成分画像（第１成分）が強調された座標において、入力画像のグラデーション以外の成分と合成成分のグラデーション以外の成分とが大きく変動することを防止する。これにより、画像の一部のみが明るくなるなど不自然な画像が生成されることを防ぐことができる。
【００７１】
（変形例２）
第１および第２の実施形態では、オブジェクト毎の平均的な画素値の変化が小さくなるように処理する方法を示したが、これ以外にも、ディスプレイに表示したときの放射輝度のオブジェクト毎の平均値の変化が小さくなるように処理してもよい。
【００７２】
また、第１および第２の実施形態では、２次元画像の処理について説明したが、右目画像と左目画像の２視差からなる立体画像や、３視差以上の視差をもつ立体画像についても処理することが可能である。これにより、メガネ式や裸眼式の立体ディスプレイに立体画像を表示する場合においても、さらに立体感のある画像を表示することが可能となる。
【００７３】
例えば、視差画像のそれぞれについて独立に、第１および第２の実施形態に示した方法で処理をすることができる。また、視差画像の処理の間で相関を持たせることで、処理後の画像の画質が向上する。例えば、領域取得部１０２は、視差画像間の位置合わせを行い、対応する座標においては同一のオブジェクトの領域になるようオブジェクト境界座標を算出することができる。これにより、オブジェクトを分割する精度が向上する。また、分離成分画像や処理済成分を視差画像の間で共通にすることで、出力画像の視差画像間における変化を抑制することができる。
【００７４】
（効果）
以上述べた少なくとも一つの実施形態の画像処理装置は、手前にある被写体ほど分離成分画像（第１成分）の強調度合いを高めた合成成分を生成する。これにより、被写体間における奥行方向の距離の表現力が増した画像を生成することができる。
【００７５】
また、少なくとも一つの実施形態の画像処理装置は、入力画像のグラデーション以外の成分と合成成分のグラデーション以外の成分とが大きく変動することを防止する。これにより、画像の一部のみが明るくなるなど不自然な画像が生成されることを防ぐことができる。
【００７６】
なお、以上説明した本実施形態における一部機能もしくは全ての機能は、ソフトウェア処理により実現可能である。
【００７７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７８】
１０１ 取得部
１０２ 領域取得部
１０３、１２０３、１３０３ 分離部
１０４、１３０４ 処理部
１０５ 合成部
２０１ 制御部
２０２ 記憶部
２０３ 外部記憶部
２０４ 操作部
２０５ 通信部
２０６ カメラ
２０７ ディスプレイ
２０８ バス
４０１ 算出部
４０２ 生成部
４０３ 減算部
８０１ 入力画像
８０２、９０１、１００１、１１０１ 骨格成分画像
８０３、９０２、１００２、１１０２ 分離成分画像
９０３ 不要成分
【特許請求の範囲】
【請求項１】
入力画像中のオブジェクトの奥行値を取得する取得手段と、
前記オブジェクトの境界を取得する領域取得手段と、
前記入力画像を、前記オブジェクトのグラデーションを含む成分である第１成分と、この第１成分以外の成分である第２成分とに分離する分離手段と、
前記第１成分を前記奥行値に応じて変換した処理済成分を生成する処理手段と、
前記処理済成分と前記第２成分とを合成した合成成分を生成する合成手段と、
を備える画像処理装置。
【請求項２】
前記処理手段で前記第１成分が変換された座標において、前記入力画像のグラデーション以外の成分と前記合成成分のグラデーション以外の成分とが同じ値になるように前記合成成分を生成する請求項１記載の画像処理装置。
【請求項３】
前記分離手段が、前記オブジェクトの境界における少なくとも１つの座標において、前記第１成分が０になるように前記入力画像を前記第１成分と前記第２成分とに分離する請求項２記載の画像処理装置。
【請求項４】
前記オブジェクトの領域において、前記第１成分の平均値と前記処理済成分の平均値とが同じ値になるように前記処理済成分を生成する請求項１記載の画像処理装置。
【請求項５】
前記分離手段が、前記オブジェクトの領域において、前記第１成分の平均値が０になるように前記入力画像を前記第１成分と前記第２成分とに分離する請求項１記載の画像処理装置。
【請求項６】
入力画像中のオブジェクトの奥行値を取得するステップと、
前記オブジェクトの境界を取得するステップと、
前記入力画像を、前記オブジェクトのグラデーションを含む成分である第１成分と、この第１成分以外の成分である第２成分とに分離するステップと、
前記第１成分を前記奥行値に応じて変換した処理済成分を生成するステップと、
前記処理済成分と前記第２成分とを合成した合成成分を生成するステップと、
を備える画像処理方法。
【請求項７】
画像処理装置に、
入力画像中のオブジェクトの奥行値を取得する機能と、
前記オブジェクトの境界を取得する機能と、
前記入力画像を、前記オブジェクトのグラデーションを含む成分である第１成分と、この第１成分以外の成分である第２成分とに分離する機能と、
前記第１成分を前記奥行値に応じて変換した処理済成分を生成する機能と、
前記処理済成分と前記第２成分とを合成した合成成分を生成する機能と、
を実現させるための画像処理プログラム。
【請求項１】
入力画像中のオブジェクトの奥行値を取得する取得手段と、
前記オブジェクトの境界を取得する領域取得手段と、
前記入力画像を、前記オブジェクトのグラデーションを含む成分である第１成分と、この第１成分以外の成分である第２成分とに分離する分離手段と、
前記第１成分を前記奥行値に応じて変換した処理済成分を生成する処理手段と、
前記処理済成分と前記第２成分とを合成した合成成分を生成する合成手段と、
を備える画像処理装置。
【請求項２】
前記処理手段で前記第１成分が変換された座標において、前記入力画像のグラデーション以外の成分と前記合成成分のグラデーション以外の成分とが同じ値になるように前記合成成分を生成する請求項１記載の画像処理装置。
【請求項３】
前記分離手段が、前記オブジェクトの境界における少なくとも１つの座標において、前記第１成分が０になるように前記入力画像を前記第１成分と前記第２成分とに分離する請求項２記載の画像処理装置。
【請求項４】
前記オブジェクトの領域において、前記第１成分の平均値と前記処理済成分の平均値とが同じ値になるように前記処理済成分を生成する請求項１記載の画像処理装置。
【請求項５】
前記分離手段が、前記オブジェクトの領域において、前記第１成分の平均値が０になるように前記入力画像を前記第１成分と前記第２成分とに分離する請求項１記載の画像処理装置。
【請求項６】
入力画像中のオブジェクトの奥行値を取得するステップと、
前記オブジェクトの境界を取得するステップと、
前記入力画像を、前記オブジェクトのグラデーションを含む成分である第１成分と、この第１成分以外の成分である第２成分とに分離するステップと、
前記第１成分を前記奥行値に応じて変換した処理済成分を生成するステップと、
前記処理済成分と前記第２成分とを合成した合成成分を生成するステップと、
を備える画像処理方法。
【請求項７】
画像処理装置に、
入力画像中のオブジェクトの奥行値を取得する機能と、
前記オブジェクトの境界を取得する機能と、
前記入力画像を、前記オブジェクトのグラデーションを含む成分である第１成分と、この第１成分以外の成分である第２成分とに分離する機能と、
前記第１成分を前記奥行値に応じて変換した処理済成分を生成する機能と、
前記処理済成分と前記第２成分とを合成した合成成分を生成する機能と、
を実現させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−７０２６６（Ｐ２０１３−７０２６６Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１１−２０７８２２（Ｐ２０１１−２０７８２２）
【出願日】平成２３年９月２２日（２０１１．９．２２）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２３年９月２２日（２０１１．９．２２）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]