画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるためのプログラム
【課題】画像における遠近感を画像処理によって強調する画像処理装置を提供する。
【解決手段】画像処理装置は、画像取得部、奥行き取得部、奥行き変換部、および、奥行きデータ付加部を具備する。画像取得部は画像を取得する。奥行き取得部は、画像内の画素に対応付けられた奥行きを取得する。奥行き変換部は、奥行きの増加に応じて非線形に所定値へ接近する特性を持つ関数に従って奥行きを変換する。奥行き画像データ付加部は、変換された奥行きを前記画像に対応付けて記録する。
【解決手段】画像処理装置は、画像取得部、奥行き取得部、奥行き変換部、および、奥行きデータ付加部を具備する。画像取得部は画像を取得する。奥行き取得部は、画像内の画素に対応付けられた奥行きを取得する。奥行き変換部は、奥行きの増加に応じて非線形に所定値へ接近する特性を持つ関数に従って奥行きを変換する。奥行き画像データ付加部は、変換された奥行きを前記画像に対応付けて記録する。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるためのプログラムに関する。詳しくは、奥行きに基づいて画像処理を行う画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
近年、画像内の画素に対応づけて奥行きを測定することができる撮像装置が普及しつつある。撮像装置における画像処理装置は、その奥行きを使用して、ぼけを生じさせる処理であるぼかし処理（すなわち、平滑化処理）などの画像処理を実行することができる。
【０００３】
例えば、被写体までの奥行きを測定し、主たる被写体に焦点が合った状態のままで、その被写体の背景において、主たる被写体を基準とした奥行きに応じた度合いの平滑化処理を施す撮像装置が提案されている（例えば、特許文献１参照。）。このような平滑化処理は、例えば、ポートレート写真の背景において、人物を引き立てる目的で施されることが多い。また、受光面積の小さい撮像素子を備えた撮像装置においては、その撮像素子の特性上、比較的ぼけの少ない画像が撮像されるため、遠近感を強調する目的で平滑化処理がよく用いられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−３７７６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の従来技術では、平滑化処理において、遠近感をさらに強調することができなかった。上述の撮像装置は、合焦位置からの距離に対して線形に平滑化処理の度合いを変化させている。しかし、合焦位置からの距離に対して非線形に平滑化処理の度合いを変化させると、遠近感がさらに強調される。例えば、合焦位置からの距離Ｓ１と、そのＳ１の倍の長さの距離Ｓ２とにおいて、平滑化処理の度合い（すなわち、ぼかし量）を設定する場合を考える。ここで、Ｓ１における被写体のぼかし量Ｂ１をＳ２における被写体のぼかし量Ｂ２の半分より大きくすると、遠近感がさらに強調される。このような遠近感の強調をユーザが手動で行うこともできるが、それには煩雑な操作が必要になる。
【０００６】
本技術はこのような状況に鑑みて生み出されたものであり、画像における遠近感を画像処理によって強調する画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、画像を取得する画像取得部と、上記画像内の画素に対応付けられた奥行きを取得する奥行き取得部と、上記奥行きの増加に応じて非線形に所定値へ接近する特性を持つ関数に従って上記奥行きを変換する奥行き変換部と、上記変換された奥行きを上記画像に対応付けて記録する記録部とを具備する画像処理装置、および、その制御方法ならびに当該方法をコンピュータに実行させるためのプログラムである。これにより、奥行きの増加に応じて非線形に所定値へ接近する特性を持つ関数に従って変換された奥行きが画像に対応付けて記録されるという作用をもたらす。
【０００８】
また、この第１の側面において、上記画像内の所定の画素に対応する上記変換された奥行きを基準として上記画像内の画素に対応する上記変換された奥行きに応じた度合いの平滑化処理を上記画像に対して実行する平滑化処理部をさらに具備してもよい。これにより、変換された奥行きに応じた度合いの平滑化処理が画像に対して実行されるという作用をもたらす。
【０００９】
また、この第１の側面において、上記関数は、係数に応じて上記特性が変化する関数であり、上記平滑化処理部は、上記特性に従って変換された上記奥行きに基づいて上記平滑化処理を実行してもよい。これにより、係数に応じた特性に従って変換された奥行きに基づいて平滑化処理が実行されるという作用をもたらす。
【００１０】
また、この第１の側面において、上記関数は、上記奥行きをｘ、出力をｙ、自然対数の底をｅ、所定の定数をα、上記係数をβとして、次式
ｙ＝α×ｅ＾（−βｘ）
により定義される指数関数であってもよい。これにより、上式により定義される関数に従って奥行きが変換されるという作用をもたらす。
【００１１】
また、この第１の側面において、上記関数は、上記奥行きをｘ、出力をｙ、自然対数の底をｅ、所定の定数をα、上記係数をβとして、次式
ｙ＝α×｛１−ｅ＾（−βｘ）｝
により定義される指数関数であってもよい。これにより、上式により定義される関数に従って奥行きが変換されるという作用をもたらす。
【００１２】
また、この第１の側面において、上記画像が撮影された撮影条件に応じて上記係数の値を供給する係数供給部をさらに具備してもよい。これにより、撮影条件に応じた係数が供給されるという作用をもたらす。
【００１３】
また、この第１の側面において、上記記録部は、上記撮影条件をさらに上記画像に対応付けて記録し、上記係数供給部は、上記記録された撮影条件に応じて上記係数を供給してもよい。これにより、記録された撮影条件に応じた係数が供給されるという作用をもたらす。
【００１４】
また、この第１の側面において、上記奥行き変換部は、上記変換した奥行きの値を画素値とする画素の集合を奥行き画像として生成してもよい。これにより、変換した奥行きの値を画素値とする画素の集合が奥行き画像として生成されるという作用をもたらす。
【００１５】
また、この第１の側面において、上記奥行き画像を所定の画像圧縮形式に従って圧縮する圧縮部をさらに具備し、上記記録部は、上記圧縮された奥行き画像を上記画像に対応付けて記録してもよい。これにより、奥行き画像が画像圧縮されるという作用をもたらす。
【発明の効果】
【００１６】
本技術によれば、画像処理装置が画像における遠近感を画像処理によって強調することができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００１７】
【図１】第１の実施の形態における撮像装置の一構成例を示すブロック図である。
【図２】第１の実施の形態における画像処理装置の一構成例を示すブロック図である。
【図３】第１の実施の形態における階調値と被写体距離との関係の一例を示すグラフである。
【図４】第１の実施の形態における画像データおよび奥行き画像データの一例を示す図である。
【図５】第１の実施の形態における焦点距離と被写界深度との間の関係を説明するための図である。
【図６】第１の実施の形態における被写界深度と焦点距離、絞り値、被写体距離、および、係数βとの間の関係の一例を示す図である。
【図７】第１の実施の形態における被写界深度と焦点距離および被写体距離との間の関係の一例を示す図である。
【図８】第１の実施の形態におけるデータファイルのデータ構成の一例を示す図である。
【図９】第１の実施の形態における撮像装置の動作の一例を示すフローチャートである。
【図１０】第１の実施の形態における撮像処理の一例を示すフローチャートである。
【図１１】第１の実施の形態における平滑化処理の一例を示すフローチャートである。
【図１２】第１の実施の形態における係数の調整範囲の一例を示すグラフである。
【図１３】第１の実施の形態における撮像装置の一構成例を示す全体図である。
【図１４】第１の実施の形態における変形例の階調値と被写体距離との関係の一例を示すグラフである。
【図１５】第２の実施の形態における画像処理装置の一構成例を示すブロック図である。
【図１６】第２の実施の形態における撮影モードがマクロモードであるときの階調値と被写体距離との関係の一例を示すグラフである。
【図１７】第２の実施の形態における撮影モードが風景撮影モードであるときの階調値と被写体距離との関係の一例を示すグラフである。
【図１８】第２の実施の形態における撮像処理の一例を示すフローチャートである。
【図１９】第２の実施の形態における係数設定処理の一例を示すフローチャートである。
【図２０】第３の実施の形態における画像処理装置の一構成例を示すブロック図である。
【図２１】第３の実施の形態における付属情報のデータ構造の一例を示す図である。
【図２２】第３の実施の形態における撮像処理の一例を示すフローチャートである。
【図２３】第３の実施の形態における平滑化処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（画像処理：奥行きデータを奥行き画像データに変換する例）
２．第２の実施の形態（画像処理：撮影モードに応じて係数の値を変更する例）
３．第３の実施の形態（画像処理：画像データの記録後に係数の値を変更する例）
【００１９】
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。撮像装置１００は、操作部１１０、撮影レンズ１３０、撮像素子１４０、アナログ信号処理部１５０、Ａ／Ｄ（Analog/Digital）変換部１６０、画像メモリ１７０、および、ワークメモリ１８０を備える。さらに、撮像装置１００は、画像データ記憶部１９０、表示部２００、および、画像処理装置３００を備える。画像処理装置３００は、カメラ制御部３１０および撮像装置制御部３２０を備える。
【００２０】
操作部１１０は、タッチパネルやボタンなどに対するユーザの操作に応じて操作信号を画像処理装置３００に信号線１１１を介して出力するものである。操作の内容の詳細については後述する。
【００２１】
撮影レンズ１３０は、画像を撮像するためのレンズである。撮像素子１４０は、撮影レンズ１３０からの光を電気信号に変換するものである。この撮像素子１４０は、変換後の電気信号をアナログ信号処理部１５０へ信号線１４１を介して出力する。アナログ信号処理部１５０は、電気信号に対して所定のアナログ信号処理を実行するものである。アナログ信号処理としては、アンプ雑音およびリセット雑音を除去するＣＤＳ（Correlated Double Sampling）や、増幅率を自動的に調節するＡＧＣ（Automatic Gain Control）などが実行される。このアナログ信号処理部１５０は、処理後の電気信号をＡ／Ｄ変換部１６０に信号線１５１を介して出力する。
【００２２】
Ａ／Ｄ変換部１６０は、アナログの電気信号をデジタル信号に変換するものである。このＡ／Ｄ変換部１６０は、変換後のデジタル信号を画像データとして画像処理装置３００へ信号線１６１を介して出力する。Ａ／Ｄ変換部１６０から出力された時点の画像データには、デモザイク処理や圧縮処理などの画像処理が施されていないため、このような画像データはＲＡＷ画像データとも呼ばれる。
【００２３】
画像メモリ１７０は、画像データを一時的に保持するものである。ワークメモリ１８０は、撮像装置制御部３２０における作業内容を一時的に保持するものである。画像データ記憶部１９０は、画像データを記憶するものである。表示部２００は、画像データに基づいて画像を表示するものである。
【００２４】
カメラ制御部３１０は、撮像装置制御部３２０の制御に従ってズーム制御や露出制御を行ってＡ／Ｄ変換部１６０からの画像データを取得するものである。このカメラ制御部３１０は、取得した画像データから、その画像データにおける画素に対応付けて奥行きを取得する。カメラ制御部３１０は、その奥行きを所定の関数に従って変換する。変換方法の詳細については後述する。カメラ制御部３１０は、変換した奥行きを階調値とする画素から構成される画像を生成する。生成された画像は、画像内の被写体までの奥行きを、その被写体領域の画素の階調値により表した画像（以下、「奥行き画像」と称する。）となる。カメラ制御部３１０は、奥行き画像のデータを奥行き画像データとして画像データとともに撮像装置制御部３２０に出力する。
【００２５】
撮像装置制御部３２０は、撮像装置１００全体を制御するものである。詳細には、撮像装置制御部３２０は、操作部１１０からの操作信号に従ってカメラ制御部３１０を介してズーム制御や露出制御などを行う。そして、撮像装置制御部３２０は、カメラ制御部３１０から画像データおよび奥行き画像データを受け取り、その画像データに奥行き画像データを対応付けて画像データ記憶部１９０に記録する。また、撮像装置制御部３２０は、操作部１１０からの操作信号に従って、信号線３０２を介して画像データ記憶部１９０から画像データを読み出す。撮像装置制御部３２０は、対応する奥行き画像データに基づいて画像データに対して平滑化処理などの画像処理を実行する。画像処理の詳細については後述する。撮像装置制御部３２０は、画像処理後の画像データを画像データ記憶部１９０に記録するとともに、その画像データを表示部２００に信号線３０３を介して出力して表示させる。
【００２６】
［画像処理装置の構成例］
図２は、第１の実施の形態における画像処理装置３００の一構成例を示すブロック図である。上述のように画像処理装置３００は、カメラ制御部３１０および撮像装置制御部３２０を備える。カメラ制御部３１０は、レンズ駆動部３１１、画像取得部３１２、奥行き取得部３１３、奥行き変換部３１４、および、平滑化処理部３１５を備える。撮像装置制御部３２０は、操作信号解析部３２１、画像圧縮部３２２、奥行き画像データ付加部３２３、および、画像管理部３２４を備える。
【００２７】
操作信号解析部３２１は、操作部１１０からの操作信号を解析するものである。ここで、ユーザは、操作部１１０を操作することにより、ズーム倍率や、平滑化処理における遠近感の強調の程度などを変更することができる。操作信号解析部３２１は、操作信号を解析して、ズーム倍率が変更されると、変更後のズーム倍率の値をレンズ駆動部３１１に出力する。また、操作信号解析部３２１は、遠近感の強調の程度が変更されると、変更後の強調の度合いを画像管理部３２４に出力する。
【００２８】
レンズ駆動部３１１は、撮影レンズ１３０の位置を制御するものである。詳細には、レンズ駆動部３１１は、変更後のズーム倍率の値を操作信号解析部３２１から受け取ると、信号線３０１を介して撮影レンズ１３０の現在の位置を取得する。そして、レンズ駆動部３１１は、変更後のズーム倍率の値に基づいて撮影レンズ１３０の位置を制御する制御信号を撮影レンズ１３０に信号線３０１を介して出力する。
【００２９】
画像取得部３１２は、撮像された画像データを取得するものである。取得された画像データは画像メモリ１７０に一時的に保持される。この画像取得部３１２は、取得した画像データを画像圧縮部３２２へ出力する。
【００３０】
奥行き取得部３１３は、撮像された画像データにおける画素に対応付けて奥行きを取得するものである。例えば、奥行き取得部３１３は、セパレータレンズにより分けられた２つの画像における被写体のずれ（位相差）を検出して、検出した位相差から、その被写体までの距離を奥行きとして算出する。奥行き取得部３１３は、画素に対応付けて算出した奥行きを奥行きデータとして奥行き変換部３１４に出力する。なお、奥行き取得部３１３は、位相差検出以外の方法により奥行きを取得してもよい。例えば、奥行き取得部３１３は、被写体にレーザを照射し、そのレーザの反射光を検出して、照射時刻からの検出時刻の遅延時間に基づいて奥行きを計測してもよい。
【００３１】
奥行き変換部３１４は、所定の関数に従って奥行きを変換するものである。そのような関数は、例えば、以下の式１および式２により定義される。ただし、式１において、ｘは奥行き、ｙは関数の出力（すなわち、変換後の奥行き）、ｅは自然対数の底、βは０より大きい実数の係数である。以下の式２において、ｎは１以上の整数（例えば、「１６」）である。
ｙ＝αｅ＾（−βｘ） ・・・式１
α＝２＾ｎ−１ ・・・式２
【００３２】
なお、奥行き変換部３１４は、式１により定義される関数以外の関数を使用して奥行きを変換することもできる。使用する関数は、奥行きｘの増加に応じて出力ｙが所定値（例えば、０）に非線形に接近する特性を持つ関数が望ましい。例えば、奥行き変換部３１４は、式１を変形した式により定義される対数関数や後述する式１２により定義される関数を使用することができる。
【００３３】
奥行き変換部３１４は、係数βに所定の初期値を設定して奥行きｘをｙに変換し、ｙを階調値とする画素からなる画像データを生成する。奥行き変換部３１４は、その画像データを奥行き画像データとして奥行き画像データ付加部３２３へ出力する。なお、奥行き変換部３１４は、階調値に加えて色相（赤、緑、および、青など）をさらに含む画素値にｙを変換してもよい。例えば、奥行き変換部３１４は、ｙの値が小さいほど赤に近く、大きいほど青に近くするなど、ｙに応じて色ごとに階調値を変更してもよい。
【００３４】
画像圧縮部３２２は、所定の画像圧縮方式に従って画像データを必要に応じて圧縮するものである。画像圧縮処理において、画像圧縮部３２２は、ワークメモリ１８０を作業領域として使用する。また、画像圧縮方式としては、例えば、ＪＰＥＧ（Joint Photographic Experts Group）が使用される。画像圧縮部３２２は、圧縮した画像データを奥行き画像データ付加部３２３へ出力する。
【００３５】
なお、画像圧縮部３２２は、画像データを非圧縮のままで奥行き画像データ付加部３２３へ出力してもよい。また、画像圧縮部３２２は、奥行き画像データをさらに画像圧縮してもよい。この場合、奥行き画像データの圧縮方式は、画像データの圧縮方式と同一にすることが望ましい。
【００３６】
奥行き画像データ付加部３２３は、画像圧縮部３２２からの画像データに、奥行き変換部３１４からの奥行き画像データを対応付けて記録するものである。奥行き画像データ付加部３２３は、例えば、Ｅｘｉｆ（Exchangeable image file format）規格における付属情報（すなわち、タグ）として奥行き画像データを画像データに付加することにより、両者を関連付ける。奥行き画像データ付加部３２３は、奥行き画像データを対応付けた画像データをデータファイルとして画像管理部３２４に出力する。なお、奥行き画像データ付加部３２３は、特許請求の範囲に記載の記録部の一例である。
【００３７】
画像管理部３２４は、画像データを管理するものである。詳細には、画像管理部３２４は、奥行き画像データ付加部３２３が生成したデータファイルを画像データ記憶部１９０に記憶する。また、画像管理部３２４は、画像データ記憶部１９０から表示すべき画像データ含むデータファイルを読み出して、その画像データを表示部２００に出力して表示させる。さらに、画像管理部３２４は、操作信号解析部３２１により遠近感の強調の程度の設定値が設定されると、平滑化処理の対象の画像データを含むデータファイルを画像データ記憶部１９０から読み出して設定値とともに平滑化処理部３１５へ出力する。そして、画像管理部３２４は、平滑化された画像データを平滑化処理部３１５から受け取って、画像データ記憶部１９０および表示部２００に出力する。
【００３８】
平滑化処理部３１５は、画像データに対して平滑化処理を実行するものである。具体的には、平滑化処理部３１５は、画像管理部３２４からデータファイルおよび設定値を受け取ると、そのデータファイル内の画像データに対して、奥行き画像データに基づいて平滑化処理を実行する。ただし、前述したように、遠近感の強調の程度は操作部１１０を介してユーザにより変更されうる。平滑化処理部３１５は、遠近感の強調の程度が変更されると、その変更に応じて式１における係数βの値を更新する。具体的には、ユーザが遠近感の強調の程度を強くした場合に係数βを大きくし、ユーザが遠近感の強調の程度を弱くした場合に係数βを小さくする。そして、平滑化処理部３１５は、更新後の係数βに基づいて奥行き画像データを更新してから、平滑化処理を実行する。平滑化処理において、平滑化処理部３１５は、奥行き画像データにおいて焦点とされた画素の階調値を基準として、その基準の階調値とそれぞれの画素の階調値との差分に応じた度合いの平滑化処理を画像データに対して実行する。平滑化処理部３１５は、平滑化した画像データを画像管理部３２４に出力する。
【００３９】
図３は、第１の実施の形態における階調値と被写体距離との関係の一例を示すグラフである。同図における横軸は被写体距離、言い換えれば奥行きであり、縦軸は階調値である。奥行きの単位は、例えばメートル（ｍ）とする。実線は、式１により定義される関数のグラフであり、一点鎖線は、以下の式３により定義される関数のグラフである。ただし、以下の式３におけるｘは奥行き、ｙは関数の出力、γは０より大きい実数の係数である。
ｙ＝（２＾１６−１）−γｘ ・・・式３
式３により、奥行きは、奥行きの増加に応じて、線形に減少する階調値に変換される。
【００４０】
ここで、平滑化処理における合焦位置の奥行きをｘｆとする。また、ｘｆより長い奥行きをｘ１、そのｘ１よりさらに長い奥行きをｘ２とする。奥行きｘｆ、ｘ１、および、ｘ２を式１に代入することにより得られた階調値ｙをｙｆ＿ｅ、ｙ１＿ｅ、および、ｙ２＿ｅとする。一方、奥行きｘｆ、ｘ１、および、ｘ２を式３に代入することにより得られた
階調値ｙをｙｆ＿Ｌ、ｙ１＿Ｌ、および、ｙ２＿Ｌとする。そして、ｘｆおよびｘ１の差分をΔｘ１、ｘｆおよびｘ２の差分をΔｘ２とする。また、ｙｆ＿ｅおよびｙ１＿ｅの差分をΔｙ１＿ｅ、ｙｆ＿ｅおよびｙ２＿ｅの差分をΔｙ２＿ｅとする。一方、ｙｆ＿Ｌおよびｙ１＿Ｌの差分をΔｙ１＿Ｌ、ｙｆ＿Ｌおよびｙ２＿Ｌの差分をΔｙ２＿Ｌとする。
【００４１】
平滑化処理において、合焦位置の奥行きｘ＿ｆに対応する階調値を基準として、画像内のそれぞれの画素に対応する階調値に応じた度合いの平滑化処理が実行される。例えば、以下の式４から、平滑化の度合いである、ぼかし（Blur）量Ｂが算出される。ただし、以下の式４において、Ａは実数の係数であり、Δｙは、合焦位置の階調値と、平滑化を行う位置における階調値との間の差分である。具体的には、Δｙ１＿ｅ、Δｙ２＿ｅ、Δｙ１＿Ｌ、Δｙ２＿ＬなどがΔｙに入力される。
Ｂ＝Ａ×Δｙ ・・・式４
【００４２】
平滑化処理は、例えば、以下の式５乃至式７により定義されるガウシアンフィルタを使用して実行される。ただし、以下の式５におけるＩ（ｘｐ＋ｋ，ｙｐ＋ｌ）は、平滑化処理前の座標（ｘｐ＋ｋ，ｙｐ＋ｌ）における画素の画素値である。ｒは、ガウシアンフィルタの半径であり、０以上の整数である。ｗ（ｋ，ｌ）は、画素値Ｉ（ｘｐ＋ｋ，ｙｐ＋ｌ）に乗算すべき重み係数である。また、以下の式６におけるσは標準偏差であり、所定の実数が設定される。以下の式５および式６により、ガウシアンフィルタの中心に近いほど高く、周辺に近いほど小さい重み係数が設定される。以下の式７における「round（）」は、かっこ内の数値に対して所定の端数処理を実行して０以上の整数値を返す関数である。例えば、端数処理として、小数点以下を四捨五入する処理や小数点以下を切り捨てる処理が実行される。なお、平滑化処理部３１５は、ガウシアンフィルタ以外のフィルタ（例えば、平均フィルタ）を使用して平滑化処理を実行してもよい。
【数１】
【数２】
ｒ＝round(Ｂ／２) ・・・式７
【００４３】
式３を使用する場合、奥行きの差分に比例した度合いの平滑化処理が実行される。例えば、Δｙ１＿Ｌに対するΔｙ２＿Ｌの比率は、Δｘ１に対するΔｘ２の比率に等しい。このため、ｘ１における被写体のぼかし量Ｂ１＿Ｌに対するｘ２における被写体のぼかし量Ｂ２＿Ｌの比率は、Δｘ１に対するΔｘ２の比率と等しくなる。
【００４４】
一方、式１を使用する場合、奥行きの差分に対して非線形な、ぼかし量が設定される。例えば、Δｙ１＿Ｌに対するΔｙ２＿Ｌの比率は、Δｘ１に対するΔｘ２の比率より大きい。このため、ｘ１における被写体のぼかし量Ｂ１＿ｅに対するｘ２における被写体のぼかし量Ｂ２＿ｅの比率は、Δｘ１に対するΔｘ２の比率より大きくなる。この結果、式３を使用した場合と比較して、遠近感がさらに強調される。式１における係数βの値を変更することにより、式１の特性が変化し、遠近感の強調の程度が容易に変更される。具体的には、係数βを大きくするほど、遠近感の強調の程度が強くなり、小さくするほど、遠近感の強調の程度が弱くなる。
【００４５】
図４は、第１の実施の形態における画像データおよび奥行き画像データの一例を示す図である。図４（ａ）は、画像データ５００の一例である。図４（ｂ）は、式１を使用して生成された奥行き画像データ５１０の一例である。画像データ５００には、立方体５０１が写っている。奥行き画像データには、取得された奥行きに応じた階調値が設定される。例えば、立方体５０１に対応する立方体５１１の頂点は奥行きが最も小さいため、その部分の階調値に最大値が設定されて明るくなっている。一方、奥行きが最も大きい背景の階調値に最小値が設定されていて暗くなっている。
【００４６】
図５は、第１の実施の形態における焦点距離ｆと被写界深度ＤＯＦとの間の関係を説明するための図である。焦点距離ｆとは、撮影レンズ１３０の中心から焦点までの距離である。被写界深度ＤＯＦ（Depth of Field）とは、被写体を奥行き方向に沿って動かしても、画像において焦点が合った状態が維持される範囲である。焦点距離ｆおよび被写界深度ＤＯＦの範囲は、例えばメートル（ｍ）である。被写界深度ＤＯＦが浅いほど、焦点が合っていない領域において、ぼけ量が大きくなる。被写界深度ＤＯＦのうち、被写体の前方において焦点の合う範囲を前方被写界深度ＤＮという。一方、被写界深度ＤＯＦのうち、被写体の後方において焦点の合う範囲を後方被写界深度ＤＦという。
【００４７】
ここで、ある奥行きの被写体に焦点を合わせたときに、無限遠が被写界深度ＤＯＦの後端ぎりぎりにはいる奥行きを過焦点距離Ｈという。この過焦点距離Ｈは、以下の式８により表わされる。ただし、以下の式８において、Ｎは、絞り値である。また、ｃは、画像において、ぼけが許容される許容錯乱円の直径である。
Ｈ＝ｆ＾２／（Ｎｃ） ・・・式８
【００４８】
そして、被写界深度ＤＯＦは、以下の式９乃至式１１により求められる。
【数３】
【数４】
ＤＯＦ＝ＤＦ＋ＤＮ・・・式１１
【００４９】
図６は、第１の実施の形態における被写界深度ＤＯＦと焦点距離ｆ、絞り値Ｎ、被写体距離ｆ、および、係数βとの間の関係の一例を示す図である。式８乃至式１１より、焦点距離ｆが長いほど、また、絞り値Ｎが大きいほど、被写界深度ＤＯＦが浅くなり、ぼけ量が大きくなる。そして、被写体距離ｘが近いほど過焦点距離Ｈが小さくなり、式８乃至式１１より被写界深度ＤＯＦが浅くなる。一方、式１より、係数βが大きいほど、ぼけ量が大きくなる。このように、係数βを変えることにより、焦点距離ｆ、絞り値Ｎ、および、被写体距離ｘを変更することなく、ぼけ量を変更することができる。
【００５０】
図７は、式５乃至式７に基づいて、被写界深度ＤＯＦと焦点距離ｆおよび被写体距離ｘとの間の関係を図示したグラフである。円形のプロットは、焦点距離ｆが１００ｍの場合のプロットである。四角形のプロットは、焦点距離ｆが８０ｍの場合のプロットである。三角形のプロットは、焦点距離ｆが５０ｍの場合のプロットである。Ｆナンバーは、３．５で固定されている。同図に示すように、Ｆナンバーを一定値にした場合、被写体距離ｘが小さいほど、また、焦点距離ｆが長いほど、被写界深度ＤＯＦが浅くなることがわかる。
【００５１】
［データファイルの構造］
図８は、第１の実施の形態におけるデータファイルのデータ構成の一例を示す図である。このデータファイルは、例えば、Ｅｘｉｆ規格に従って作成されたデータファイルである。
【００５２】
データファイルには、圧縮データスタート（ＳＯＩ）、アプリケーション・マーカセグメント１（ＡＰＰ１）、量子化テーブル（ＤＱＴ）、ハフマンテーブル（ＤＨＴ）が順に記録される。そして、フレームヘッダ（ＳＯＦ）、スキャンヘッダ（ＳＯＳ）に続いて圧縮データの本体が記録され、圧縮データ終了（ＥＯＩ）が記録される。この圧縮データは、画像データをＪＥＰＧ規格などの圧縮形式に従って圧縮したデータである。そして、画像処理装置３００において生成された奥行き画像データは、圧縮データ終了（ＥＯＩ）の次に記録される。なお、画像処理装置３００は、奥行き画像データを、Ｅｘｉｆ規格におけるＥＯＩの次に記録しているが、画像データと関連付けることができるのであれば、奥行き画像データを他の領域に記録してもよい。
【００５３】
ＡＰＰ１は、Ｅｘｉｆ付属情報を記録する領域である。このＡＰＰ１では、ＡＰＰ１マーカー（ＡＰＰ１Ｍａｒｋｅｒ）に続いてＡＰＰ１長（ＡＰＰ１Ｌｅｎｇｔｈ）が定義される。そして、Ｅｘｉｆ識別コードに続いて、ＴＩＦＦヘッダー（ＴＩＦＦ Ｈｅａｄｅｒ）、主画像ＩＦＤ（０ｔｈ ＩＦＤ）、および、主画像ＩＦＤの値（０ｔｈ ＩＦＤ Ｖａｌｕｅ）などが記録される。
【００５４】
［撮像装置の動作例］
図９は、第１の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。この動作は、例えば、撮像装置１００に電源が投入されたときに開始する。撮像装置１００は、自身の現在の状態が静止画の撮影モードであるか否かを判断する（ステップＳ９１０）。静止画の撮影モードであれば（ステップＳ９１０：Ｙｅｓ）、撮像装置１００は、被写体の撮像を行うための撮像処理を実行する（ステップＳ９２０）。
【００５５】
静止画の撮影モードでない場合（ステップＳ９１０：Ｎｏ）、またはステップＳ９２０の後、撮像装置１００は、自身の現在の状態が静止画の編集モードであるか否かを判断する（ステップＳ９３０）。静止画の編集モードであれば（ステップＳ９３０：Ｙｅｓ）、撮像装置１００は、平滑化処理を実行する（ステップＳ９４０）。静止画の編集モードでない場合（ステップＳ９３０：Ｎｏ）、またはステップＳ９４０の後、撮像装置１００は、ステップＳ９１０に戻る。
【００５６】
図１０は、第１の実施の形態における撮像処理の一例を示すフローチャートである。撮像装置１００は、シャッターボタンが押下されたか否かを判断する（ステップＳ９２１）。シャッターボタンが押下されたのであれば（ステップＳ９２１：Ｙｅｓ）、撮像装置１００における画像処理装置３００が画像データを取得する（ステップＳ９２２）。
【００５７】
シャッターボタンが押下されていない場合（ステップＳ９２１：Ｎｏ）、またはステップＳ９２２の後、画像処理装置３００は、画像データに基づいて奥行きデータを生成する（ステップＳ９２３）。そして、画像処理装置３００は、式１を使用して、奥行きデータから奥行き画像データを生成する（ステップＳ９２４）。画像処理装置３００は、画像データを必要に応じて圧縮する（ステップＳ９２５）。画像処理装置３００は、奥行き画像データを画像データに付加して記録する（ステップＳ９２６）。ステップＳ９２６の後、撮像装置１００は、撮像処理を終了する。
【００５８】
図１１は、第１の実施の形態における平滑化処理の一例を示すフローチャートである。撮像装置１００は、平滑化処理を行うべき画像データを選択する処理を受け付ける（ステップＳ９４１）。撮像装置１００は、画像データが選択されたか否かを判断する（ステップＳ９４２）。画像データが選択されていなければ（ステップＳ９４２：Ｎｏ）、撮像装置１００はステップＳ９４２に戻る。画像データが選択されたのであれば（ステップＳ９４２：Ｙｅｓ）、撮像装置１００は、遠近感の強調の程度として、平滑化処理の度合いを設定する操作を受け付ける（ステップＳ９４３）。そして、撮像装置１００は、度合いが設定されたか否かを判断する（ステップＳ９４４）。
【００５９】
度合いが設定されたのであれば（ステップＳ９４４：Ｙｅｓ）、撮像装置１００における画像処理装置３００は、度合いの設定値に従って係数βを変更する（ステップＳ９４５）。画像処理装置３００は、変更後の係数βに基づいて奥行き画像データを更新する（ステップＳ９４６）。画像処理装置３００は、更新後の奥行き画像データに基づいて画像データに平滑化処理を施す（ステップＳ９４７）。撮像装置１００は、平滑化処理後の画像データを表示する（ステップＳ９４８）。
【００６０】
度合いが設定されていない場合（ステップＳ９４４：Ｎｏ）、または、ステップＳ９４８の後、撮像装置１００は、編集終了の操作が行われたか否かを判断する（ステップＳ９４９）。編集終了の操作が行われていなければ（ステップＳ９４９：Ｎｏ）、撮像装置１００はステップＳ９４４に戻る。編集終了の操作が行われていれば（ステップＳ９４９：Ｙｅｓ）、撮像装置１００は、平滑化処理後の画像データを保存する（ステップＳ９５０）。ステップＳ９５０の後、撮像装置１００は平滑化処理を終了する。
【００６１】
図１２は、第１の実施の形態における係数βの調整範囲の一例を示すグラフである。一定の範囲内で係数βの値を変更することにより、式１の関数の特性が変化する。係数βを大きくするほど、式１の関数の曲線がｙ＝０の直線に接近する。この結果、遠近感の強調の程度が強くなる。逆に、係数βを小さくするほど、遠近感の強調の程度が弱くなる。
【００６２】
図１３は、第１の実施の形態における撮像装置１００の一構成例を示す全体図である。図１３（ａ）は、撮像装置１００の上面および前面の一例を示す図であり、図１３（ｂ）は撮像装置１００の背面の一例を示す図である。撮像装置１００の上面には、ズームレバー１０１、シャッターボタン１０２、再生ボタン１０３、および、パワーボタン１０４が設けられている。撮像装置１００の前面には、撮影レンズ１０５、ＡＦ（Auto Focus）イルミネータ１０６、および、レンズカバー１０７が設けられている。撮像装置１００の背面には、タッチスクリーン１０８が設けられている。
【００６３】
ズームレバー１０１は、ズーム制御の操作を行うためのボタンである。シャッターボタン１０２は、被写体の撮像を行うためのボタンである。再生ボタン１０３は、画像データを表示させるためのボタンである。パワーボタン１０４は、撮像装置の電源をオンまたはオフするためのボタンである。撮影レンズ１０５は、画像を撮像するためのレンズである。ＡＦイルミネータ１０６は、オートフォーカス機能がオンであるときに発光するものである。レンズカバー１０７は、レンズを覆う位置まで可動可能な、レンズを保護するための部品である。タッチスクリーン１０８は、指などで触れることにより撮像装置１００の操作を行うことのできるディスプレイである。
【００６４】
図１３におけるズームレバー１０１、シャッターボタン１０２、再生ボタン１０３、および、パワーボタン１０４は、図１における操作部１１０を構成する。図１３におけるタッチスクリーン１０８は、図１３における操作部１１０および表示部２００を構成する。
【００６５】
このように、本技術の第１の実施の形態によれば、画像処理装置３００が、画像および奥行きを取得し、奥行きの増加に応じて非線形に所定値へ接近する特性を持つ関数に従って、その奥行きを変換する。画像処理装置３００は、変換した奥行きを画像に対応付けて記録する。この変換後の奥行きに基づいて画像処理装置３００が平滑化処理を行うことによって、奥行きに比例した度合いの平滑化処理を行うよりも、遠近感を強調することができる。
【００６６】
［第１の変形例］
図１４を参照して、第１の実施の形態における第１の変形例について説明する。第１の変形例の画像処理装置３００は、奥行きｘが増加するほど、階調値ｙが増加するように奥行きを変換する点において第１の実施の形態と異なる。第１の変形例の画像処理装置３００は、例えば式１に代えて以下の式１２を使用して奥行きを変換する。
ｙ＝α｛１−ｅ＾（−βｘ）｝ ・・・式１２
【００６７】
図１４は、第１の変形例の階調値ｙと被写体距離（奥行き）ｘとの関係の一例を示すグラフである。第１の実施の形態においては、式１を使用して、奥行きｘの増加に応じて非線形に減少する階調値ｙに奥行きが変換されていた。これに対して、式１２を使用した場合、図１４に示すように、奥行きｘの増加に応じて非線形に増加する階調値ｙに奥行きｘが変換される。
【００６８】
＜２．第２の実施の形態＞
［画像処理装置の構成例］
次に、図１５乃至図１９を参照して、本技術の第２の実施の形態について説明する。図１５は、第２の実施の形態における画像処理装置３００の一構成例を示すブロック図である。上述のように画像処理装置３００は、カメラ制御部３１０および撮像装置制御部３２０を備える。第２の実施の形態の画像処理装置３００は、カメラ制御部３１０において係数供給部３１６をさらに備える点において第１の実施の形態と異なる。また、第２の実施の形態の操作信号解析部３２１は、撮影条件のうちの撮影モードを、さらに係数供給部３１６に出力する。撮影モードは、撮影対象の種類や撮影対象までの距離などの撮影条件を示す情報である。例えば、撮影モードは、マクロモード、風景撮影モード、および、標準モードを含む。マクロモードは、レンズに近い被写体を撮影するためのモードである。風景撮影モードは、遠くの被写体を撮影するためのモードである。標準モードは、マクロモードおよび風景撮影モードの中間の距離における被写体を撮影するためのモードである。
【００６９】
係数供給部３１６は、撮影条件に応じて係数βを供給するものである。この係数供給部３１６には、予め、撮影モードごとに係数βの値が設定されている。係数供給部３１６は、操作信号解析部３２１から撮影モードを受け取り、その撮影モードに対応する係数βを奥行き変換部３１４に出力する。例えば、マクロモードの場合に標準モードにおける設定値より大きな値が設定され、風景撮影モードの場合に標準モードにおける設定値より小さな値が設定される。奥行き変換部３１４は、係数供給部３１６からの係数βの値を式１２に代入して奥行きを変換する。
【００７０】
図１６は、第２の実施の形態における撮影モードがマクロモードであるときの階調値と被写体距離との関係の一例を示すグラフである。前述したようにマクロモードにおいて係数βには、標準モードの設定値よりも大きい値が設定される。このため、遠近感の強調の程度が比較的強くなる。例えば、Δｙ１＿ｅに対するΔｙ２＿ｅの比率が標準モードの場合よりも大きくなり、ｘ１における被写体のぼかし量が相対的に大きくなる。
【００７１】
図１７は、第２の実施の形態における撮影モードが風景撮影モードであるときの階調値と被写体距離との関係の一例を示すグラフである。前述したように風景撮影モードにおいて係数βには、標準モードの設定値よりも小さい値が設定される。このため、遠近感の強調の程度が比較的弱くなる。例えば、Δｙ１＿ｅに対するΔｙ２＿ｅの比率が標準モードの場合よりも小さくなり、ｘ１における被写体のぼかし量が相対的に小さくなる。
【００７２】
［撮像装置の動作例］
図１８は、第２の実施の形態における撮像処理の一例を示すフローチャートである。第２の実施の形態における撮像処理は、ステップＳ９２３の後に係数設定処理（ステップＳ９６０）がさらに実行される点において第１の実施の形態と異なる。ステップＳ９６０の後、撮像装置１００は、ステップＳ９２４を実行する。
【００７３】
図１９は、第２の実施の形態における係数設定処理の一例を示すフローチャートである。画像処理装置３００は、係数βに初期値を設定する。ここで、初期値は、例えば、標準モードにおける設定値である（ステップＳ９６１）。画像処理装置３００は、撮影モードがマクロモードであるか否かを判断する（ステップＳ９６２）。マクロモードでなければ（ステップＳ９６２：Ｎｏ）、画像処理装置３００は、撮影モードが風景撮影モードであるか否かを判断する（ステップＳ９６２）。風景撮影モードであれば（ステップＳ９６２：Ｙｅｓ）、画像処理装置３００は、係数βの値を初期値より小さな値に変更する（ステップＳ９６４）。マクロモードであれば（ステップＳ９６２：Ｙｅｓ）、画像処理装置３００は、係数βの値を初期値より大きな値に変更する（ステップＳ９６５）。
【００７４】
風景撮影モードでない場合（ステップＳ９６３：Ｎｏ）、ステップＳ９６４、またはステップＳ９６５の後、画像処理装置３００は、係数設定処理を終了する。
【００７５】
このように、本技術の第２の実施の形態によれば、係数供給部３１６が撮影条件に応じて係数βを供給し、奥行き変換部３１４が、供給された係数βに基づいて奥行きを変換する。係数βに応じて関数の特性が変化するため、撮影条件に応じた特性の関数により奥行きが変換される。この結果、変換後の奥行きに基づいて、撮影条件に適した平滑化処理が実行される。
【００７６】
＜３．第３の実施の形態＞
［画像処理装置の構成例］
次に、図２０乃至図２３を参照して、本技術の第３の実施の形態について説明する。図２０は、第３の実施の形態における画像処理装置３００の一構成例を示すブロック図である。上述のように画像処理装置３００は、カメラ制御部３１０および撮像装置制御部３２０を備える。第３の実施の形態の画像処理装置３００は、係数供給部３１６が画像データの記録後に撮影モードに応じて係数を供給する点において第１の実施の形態と異なる。また、第３の実施の形態の操作信号解析部３２１は、撮影モードを奥行き画像データ付加部３２３にさらに出力する。第３の実施の形態の奥行き画像データ付加部３２３は、撮影モードを画像データにさらに付加して画像データ記憶部１９０に記録する。画像管理部３２４は、画像データを読み出したとき、画像データに付加された撮影モードを係数供給部３１６に出力する。
【００７７】
第３の実施の形態の係数供給部３１６は、画像管理部３２４から撮影モードを受け取り、その撮影モードに応じた係数βを平滑化処理部３１５へ出力する。
【００７８】
［データファイルの構造］
図２１は、第３の実施の形態におけるデータファイル内の付属情報のデータ構造の一例を示す図である。アプリケーション・マーカセグメント１（ＡＰＰ１）内の０ｔｈ ＩＦＤに画像データの付属情報（タグ）が記録される。付属情報は、バージョンに関するタグ、ユーザ情報に関するタグ、撮影条件に関するタグなどの区分に分けられる。バージョンに関するタグは、Ｅｘｉｆバージョンおよび対応フラッシュトピックスバーションである。ユーザ情報に関するタグは、メーカーノートおよびユーザコメントなどである。撮影条件に関するタグは、露出時間、Ｆナンバー、撮影シーンタイプ、および、被写体距離レンジなどである。ここで、撮影シーンタイプの領域には、撮影対象が標準、風景、および、人物などのうちのいずれであるかが記録される。また、被写体距離レンジの領域には、被写体までの距離が、マクロ、近景、および、遠景のうちのいずれに区分されるかが記録される。
【００７９】
第３の実施の形態においては、撮影モードとして、例えば、標準モード、風景撮影モード、および、マクロモードが設定される。これらの撮影モードに関する情報は、撮影シーンタイプおよび被写体距離レンジの領域に記録される。なお、画像処理装置３００は、撮影モードに関する情報を、メーカーノートの領域など、別の領域に記録してもよい。
【００８０】
［撮像装置の動作例］
図２２は、第３の実施の形態における撮像処理の一例を示すフローチャートである。第３の実施の形態における撮像処理は、ステップＳ９２６の後、画像処理装置３００が撮影モードを画像データに付加する（ステップＳ９２７）点において、第１の実施の形態と異なる。ステップＳ９２７の後、撮像装置１００は、撮像処理を終了する。
【００８１】
図２３は、第３の実施の形態における平滑化処理の一例を示すフローチャートである。第３の実施の形態における平滑化処理は、画像データが選択された場合に（ステップＳ９４２：Ｙｅｓ）画像処理装置３００が係数設定処理（ステップＳ９６０）をさらに実行する点において第１の実施の形態と異なる。この係数設定処理（ステップＳ９６０）は、第２の実施の形態における係数設定処理と同様の処理である。ステップＳ９６０の後、画像処理装置３００は、平滑化処理の度合いを設定する操作を受け付ける（ステップＳ９４３）。
【００８２】
このように、第３の実施の形態によれば、奥行き画像データ付加部３２３が撮影条件を画像データに付加して記録し、その撮影条件を係数供給部３１６が読み出して、撮影条件に応じた係数を供給する。係数βに応じて関数の特性が変化するため、撮影条件に応じた特性の関数により奥行きが変換される。この結果、変換後の奥行きに基づいて、撮影条件に適した平滑化処理が実行される。
【００８３】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【００８４】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））、フラッシュメモリなどの不揮発性メモリ等を用いることができる。
【００８５】
なお、本技術は以下のような構成もとることができる。
（１）画像を取得する画像取得部と、
前記画像内の画素に対応付けられた奥行きを取得する奥行き取得部と、
前記奥行きの増加に応じて非線形に所定値へ接近する特性を持つ関数に従って前記奥行きを変換する奥行き変換部と、
前記変換された奥行きを前記画像に対応付けて記録する記録部と
を具備する画像処理装置。
（２）前記画像内の所定の画素に対応する前記変換された奥行きを基準として前記画像内の画素に対応する前記変換された奥行きに応じた度合いの平滑化処理を前記画像に対して実行する平滑化処理部をさらに具備する
前記（１）記載の画像処理装置。
（３）前記関数は、係数に応じて前記特性が変化する関数であり、
前記平滑化処理部は、前記特性に従って変換された前記奥行きに基づいて前記平滑化処理を実行する
前記（２）記載の画像処理装置。
（４）前記関数は、前記奥行きをｘ、出力をｙ、自然対数の底をｅ、所定の定数をα、前記係数をβとして、次式
ｙ＝α×ｅ＾（−βｘ）
により定義される指数関数である
前記（３）記載の画像処理装置。
（５）前記関数は、前記奥行きをｘ、出力をｙ、自然対数の底をｅ、所定の定数をα、前記係数をβとして、次式
ｙ＝α×｛１−ｅ＾（−βｘ）｝
により定義される指数関数である
前記（３）記載の画像処理装置。
（６）前記画像が撮影された撮影条件に応じて前記係数の値を供給する係数供給部をさらに具備する
前記（３）乃至（５）のいずれかに記載の画像処理装置。
（７）前記記録部は、前記撮影条件をさらに前記画像に対応付けて記録し、
前記係数供給部は、前記記録された撮影条件に応じて前記係数を供給する
前記（６）記載の画像処理装置。
（８）前記奥行き変換部は、前記変換した奥行きの値を画素値とする画素の集合を奥行き画像として生成する
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）前記奥行き画像を所定の画像圧縮形式に従って圧縮する圧縮部をさらに具備し、
前記記録部は、前記圧縮された奥行き画像を前記画像に対応付けて記録する
前記（８）記載の画像処理装置。
（１０）画像取得部が、画像を取得する画像取得手順と、
奥行き取得部が、前記画像内の画素に対応付けられた奥行きを取得する奥行き取得手順と、
奥行き変換部が、前記奥行きの増加に応じて非線形に所定値へ接近する特性を持つ関数に従って前記奥行きを変換する奥行き変換手順と、
記録部が、前記変換された奥行きを前記画像に対応付けて記録する記録手順と
を具備する画像処理装置の制御方法。
（１１）画像取得部が、画像を取得する画像取得手順と、
奥行き取得部が、前記画像内の画素に対応付けられた奥行きを取得する奥行き取得手順と、
奥行き変換部が、前記奥行きの増加に応じて非線形に所定値へ接近する特性を持つ関数に従って前記奥行きを変換する奥行き変換手順と、
記録部が、前記変換された奥行きを前記画像に対応付けて記録する記録手順と
を実行させるためのプログラム。
【符号の説明】
【００８６】
１００ 撮像装置
１０１ ズームレバー
１０２ シャッターボタン
１０３ 再生ボタン
１０４ パワーボタン
１０５、１３０ 撮影レンズ
１０６ ＡＦイルミネータ
１０７ レンズカバー
１０８ タッチスクリーン
１１０ 操作部
１４０ 撮像素子
１５０ アナログ信号処理部
１６０ Ａ／Ｄ変換部
１７０ 画像メモリ
１８０ ワークメモリ
１９０ 画像データ記憶部
２００ 表示部
３００ 画像処理装置
３１０ カメラ制御部
３１１ レンズ駆動部
３１２ 画像取得部
３１３ 奥行き取得部
３１４ 奥行き変換部
３１５ 平滑化処理部
３１６ 係数供給部
３２０ 撮像装置制御部
３２１ 操作信号解析部
３２２ 画像圧縮部
３２３ 奥行き画像データ付加部
３２４ 画像管理部
【技術分野】
【０００１】
本技術は、画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるためのプログラムに関する。詳しくは、奥行きに基づいて画像処理を行う画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
近年、画像内の画素に対応づけて奥行きを測定することができる撮像装置が普及しつつある。撮像装置における画像処理装置は、その奥行きを使用して、ぼけを生じさせる処理であるぼかし処理（すなわち、平滑化処理）などの画像処理を実行することができる。
【０００３】
例えば、被写体までの奥行きを測定し、主たる被写体に焦点が合った状態のままで、その被写体の背景において、主たる被写体を基準とした奥行きに応じた度合いの平滑化処理を施す撮像装置が提案されている（例えば、特許文献１参照。）。このような平滑化処理は、例えば、ポートレート写真の背景において、人物を引き立てる目的で施されることが多い。また、受光面積の小さい撮像素子を備えた撮像装置においては、その撮像素子の特性上、比較的ぼけの少ない画像が撮像されるため、遠近感を強調する目的で平滑化処理がよく用いられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−３７７６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の従来技術では、平滑化処理において、遠近感をさらに強調することができなかった。上述の撮像装置は、合焦位置からの距離に対して線形に平滑化処理の度合いを変化させている。しかし、合焦位置からの距離に対して非線形に平滑化処理の度合いを変化させると、遠近感がさらに強調される。例えば、合焦位置からの距離Ｓ１と、そのＳ１の倍の長さの距離Ｓ２とにおいて、平滑化処理の度合い（すなわち、ぼかし量）を設定する場合を考える。ここで、Ｓ１における被写体のぼかし量Ｂ１をＳ２における被写体のぼかし量Ｂ２の半分より大きくすると、遠近感がさらに強調される。このような遠近感の強調をユーザが手動で行うこともできるが、それには煩雑な操作が必要になる。
【０００６】
本技術はこのような状況に鑑みて生み出されたものであり、画像における遠近感を画像処理によって強調する画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、画像を取得する画像取得部と、上記画像内の画素に対応付けられた奥行きを取得する奥行き取得部と、上記奥行きの増加に応じて非線形に所定値へ接近する特性を持つ関数に従って上記奥行きを変換する奥行き変換部と、上記変換された奥行きを上記画像に対応付けて記録する記録部とを具備する画像処理装置、および、その制御方法ならびに当該方法をコンピュータに実行させるためのプログラムである。これにより、奥行きの増加に応じて非線形に所定値へ接近する特性を持つ関数に従って変換された奥行きが画像に対応付けて記録されるという作用をもたらす。
【０００８】
また、この第１の側面において、上記画像内の所定の画素に対応する上記変換された奥行きを基準として上記画像内の画素に対応する上記変換された奥行きに応じた度合いの平滑化処理を上記画像に対して実行する平滑化処理部をさらに具備してもよい。これにより、変換された奥行きに応じた度合いの平滑化処理が画像に対して実行されるという作用をもたらす。
【０００９】
また、この第１の側面において、上記関数は、係数に応じて上記特性が変化する関数であり、上記平滑化処理部は、上記特性に従って変換された上記奥行きに基づいて上記平滑化処理を実行してもよい。これにより、係数に応じた特性に従って変換された奥行きに基づいて平滑化処理が実行されるという作用をもたらす。
【００１０】
また、この第１の側面において、上記関数は、上記奥行きをｘ、出力をｙ、自然対数の底をｅ、所定の定数をα、上記係数をβとして、次式
ｙ＝α×ｅ＾（−βｘ）
により定義される指数関数であってもよい。これにより、上式により定義される関数に従って奥行きが変換されるという作用をもたらす。
【００１１】
また、この第１の側面において、上記関数は、上記奥行きをｘ、出力をｙ、自然対数の底をｅ、所定の定数をα、上記係数をβとして、次式
ｙ＝α×｛１−ｅ＾（−βｘ）｝
により定義される指数関数であってもよい。これにより、上式により定義される関数に従って奥行きが変換されるという作用をもたらす。
【００１２】
また、この第１の側面において、上記画像が撮影された撮影条件に応じて上記係数の値を供給する係数供給部をさらに具備してもよい。これにより、撮影条件に応じた係数が供給されるという作用をもたらす。
【００１３】
また、この第１の側面において、上記記録部は、上記撮影条件をさらに上記画像に対応付けて記録し、上記係数供給部は、上記記録された撮影条件に応じて上記係数を供給してもよい。これにより、記録された撮影条件に応じた係数が供給されるという作用をもたらす。
【００１４】
また、この第１の側面において、上記奥行き変換部は、上記変換した奥行きの値を画素値とする画素の集合を奥行き画像として生成してもよい。これにより、変換した奥行きの値を画素値とする画素の集合が奥行き画像として生成されるという作用をもたらす。
【００１５】
また、この第１の側面において、上記奥行き画像を所定の画像圧縮形式に従って圧縮する圧縮部をさらに具備し、上記記録部は、上記圧縮された奥行き画像を上記画像に対応付けて記録してもよい。これにより、奥行き画像が画像圧縮されるという作用をもたらす。
【発明の効果】
【００１６】
本技術によれば、画像処理装置が画像における遠近感を画像処理によって強調することができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００１７】
【図１】第１の実施の形態における撮像装置の一構成例を示すブロック図である。
【図２】第１の実施の形態における画像処理装置の一構成例を示すブロック図である。
【図３】第１の実施の形態における階調値と被写体距離との関係の一例を示すグラフである。
【図４】第１の実施の形態における画像データおよび奥行き画像データの一例を示す図である。
【図５】第１の実施の形態における焦点距離と被写界深度との間の関係を説明するための図である。
【図６】第１の実施の形態における被写界深度と焦点距離、絞り値、被写体距離、および、係数βとの間の関係の一例を示す図である。
【図７】第１の実施の形態における被写界深度と焦点距離および被写体距離との間の関係の一例を示す図である。
【図８】第１の実施の形態におけるデータファイルのデータ構成の一例を示す図である。
【図９】第１の実施の形態における撮像装置の動作の一例を示すフローチャートである。
【図１０】第１の実施の形態における撮像処理の一例を示すフローチャートである。
【図１１】第１の実施の形態における平滑化処理の一例を示すフローチャートである。
【図１２】第１の実施の形態における係数の調整範囲の一例を示すグラフである。
【図１３】第１の実施の形態における撮像装置の一構成例を示す全体図である。
【図１４】第１の実施の形態における変形例の階調値と被写体距離との関係の一例を示すグラフである。
【図１５】第２の実施の形態における画像処理装置の一構成例を示すブロック図である。
【図１６】第２の実施の形態における撮影モードがマクロモードであるときの階調値と被写体距離との関係の一例を示すグラフである。
【図１７】第２の実施の形態における撮影モードが風景撮影モードであるときの階調値と被写体距離との関係の一例を示すグラフである。
【図１８】第２の実施の形態における撮像処理の一例を示すフローチャートである。
【図１９】第２の実施の形態における係数設定処理の一例を示すフローチャートである。
【図２０】第３の実施の形態における画像処理装置の一構成例を示すブロック図である。
【図２１】第３の実施の形態における付属情報のデータ構造の一例を示す図である。
【図２２】第３の実施の形態における撮像処理の一例を示すフローチャートである。
【図２３】第３の実施の形態における平滑化処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（画像処理：奥行きデータを奥行き画像データに変換する例）
２．第２の実施の形態（画像処理：撮影モードに応じて係数の値を変更する例）
３．第３の実施の形態（画像処理：画像データの記録後に係数の値を変更する例）
【００１９】
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。撮像装置１００は、操作部１１０、撮影レンズ１３０、撮像素子１４０、アナログ信号処理部１５０、Ａ／Ｄ（Analog/Digital）変換部１６０、画像メモリ１７０、および、ワークメモリ１８０を備える。さらに、撮像装置１００は、画像データ記憶部１９０、表示部２００、および、画像処理装置３００を備える。画像処理装置３００は、カメラ制御部３１０および撮像装置制御部３２０を備える。
【００２０】
操作部１１０は、タッチパネルやボタンなどに対するユーザの操作に応じて操作信号を画像処理装置３００に信号線１１１を介して出力するものである。操作の内容の詳細については後述する。
【００２１】
撮影レンズ１３０は、画像を撮像するためのレンズである。撮像素子１４０は、撮影レンズ１３０からの光を電気信号に変換するものである。この撮像素子１４０は、変換後の電気信号をアナログ信号処理部１５０へ信号線１４１を介して出力する。アナログ信号処理部１５０は、電気信号に対して所定のアナログ信号処理を実行するものである。アナログ信号処理としては、アンプ雑音およびリセット雑音を除去するＣＤＳ（Correlated Double Sampling）や、増幅率を自動的に調節するＡＧＣ（Automatic Gain Control）などが実行される。このアナログ信号処理部１５０は、処理後の電気信号をＡ／Ｄ変換部１６０に信号線１５１を介して出力する。
【００２２】
Ａ／Ｄ変換部１６０は、アナログの電気信号をデジタル信号に変換するものである。このＡ／Ｄ変換部１６０は、変換後のデジタル信号を画像データとして画像処理装置３００へ信号線１６１を介して出力する。Ａ／Ｄ変換部１６０から出力された時点の画像データには、デモザイク処理や圧縮処理などの画像処理が施されていないため、このような画像データはＲＡＷ画像データとも呼ばれる。
【００２３】
画像メモリ１７０は、画像データを一時的に保持するものである。ワークメモリ１８０は、撮像装置制御部３２０における作業内容を一時的に保持するものである。画像データ記憶部１９０は、画像データを記憶するものである。表示部２００は、画像データに基づいて画像を表示するものである。
【００２４】
カメラ制御部３１０は、撮像装置制御部３２０の制御に従ってズーム制御や露出制御を行ってＡ／Ｄ変換部１６０からの画像データを取得するものである。このカメラ制御部３１０は、取得した画像データから、その画像データにおける画素に対応付けて奥行きを取得する。カメラ制御部３１０は、その奥行きを所定の関数に従って変換する。変換方法の詳細については後述する。カメラ制御部３１０は、変換した奥行きを階調値とする画素から構成される画像を生成する。生成された画像は、画像内の被写体までの奥行きを、その被写体領域の画素の階調値により表した画像（以下、「奥行き画像」と称する。）となる。カメラ制御部３１０は、奥行き画像のデータを奥行き画像データとして画像データとともに撮像装置制御部３２０に出力する。
【００２５】
撮像装置制御部３２０は、撮像装置１００全体を制御するものである。詳細には、撮像装置制御部３２０は、操作部１１０からの操作信号に従ってカメラ制御部３１０を介してズーム制御や露出制御などを行う。そして、撮像装置制御部３２０は、カメラ制御部３１０から画像データおよび奥行き画像データを受け取り、その画像データに奥行き画像データを対応付けて画像データ記憶部１９０に記録する。また、撮像装置制御部３２０は、操作部１１０からの操作信号に従って、信号線３０２を介して画像データ記憶部１９０から画像データを読み出す。撮像装置制御部３２０は、対応する奥行き画像データに基づいて画像データに対して平滑化処理などの画像処理を実行する。画像処理の詳細については後述する。撮像装置制御部３２０は、画像処理後の画像データを画像データ記憶部１９０に記録するとともに、その画像データを表示部２００に信号線３０３を介して出力して表示させる。
【００２６】
［画像処理装置の構成例］
図２は、第１の実施の形態における画像処理装置３００の一構成例を示すブロック図である。上述のように画像処理装置３００は、カメラ制御部３１０および撮像装置制御部３２０を備える。カメラ制御部３１０は、レンズ駆動部３１１、画像取得部３１２、奥行き取得部３１３、奥行き変換部３１４、および、平滑化処理部３１５を備える。撮像装置制御部３２０は、操作信号解析部３２１、画像圧縮部３２２、奥行き画像データ付加部３２３、および、画像管理部３２４を備える。
【００２７】
操作信号解析部３２１は、操作部１１０からの操作信号を解析するものである。ここで、ユーザは、操作部１１０を操作することにより、ズーム倍率や、平滑化処理における遠近感の強調の程度などを変更することができる。操作信号解析部３２１は、操作信号を解析して、ズーム倍率が変更されると、変更後のズーム倍率の値をレンズ駆動部３１１に出力する。また、操作信号解析部３２１は、遠近感の強調の程度が変更されると、変更後の強調の度合いを画像管理部３２４に出力する。
【００２８】
レンズ駆動部３１１は、撮影レンズ１３０の位置を制御するものである。詳細には、レンズ駆動部３１１は、変更後のズーム倍率の値を操作信号解析部３２１から受け取ると、信号線３０１を介して撮影レンズ１３０の現在の位置を取得する。そして、レンズ駆動部３１１は、変更後のズーム倍率の値に基づいて撮影レンズ１３０の位置を制御する制御信号を撮影レンズ１３０に信号線３０１を介して出力する。
【００２９】
画像取得部３１２は、撮像された画像データを取得するものである。取得された画像データは画像メモリ１７０に一時的に保持される。この画像取得部３１２は、取得した画像データを画像圧縮部３２２へ出力する。
【００３０】
奥行き取得部３１３は、撮像された画像データにおける画素に対応付けて奥行きを取得するものである。例えば、奥行き取得部３１３は、セパレータレンズにより分けられた２つの画像における被写体のずれ（位相差）を検出して、検出した位相差から、その被写体までの距離を奥行きとして算出する。奥行き取得部３１３は、画素に対応付けて算出した奥行きを奥行きデータとして奥行き変換部３１４に出力する。なお、奥行き取得部３１３は、位相差検出以外の方法により奥行きを取得してもよい。例えば、奥行き取得部３１３は、被写体にレーザを照射し、そのレーザの反射光を検出して、照射時刻からの検出時刻の遅延時間に基づいて奥行きを計測してもよい。
【００３１】
奥行き変換部３１４は、所定の関数に従って奥行きを変換するものである。そのような関数は、例えば、以下の式１および式２により定義される。ただし、式１において、ｘは奥行き、ｙは関数の出力（すなわち、変換後の奥行き）、ｅは自然対数の底、βは０より大きい実数の係数である。以下の式２において、ｎは１以上の整数（例えば、「１６」）である。
ｙ＝αｅ＾（−βｘ） ・・・式１
α＝２＾ｎ−１ ・・・式２
【００３２】
なお、奥行き変換部３１４は、式１により定義される関数以外の関数を使用して奥行きを変換することもできる。使用する関数は、奥行きｘの増加に応じて出力ｙが所定値（例えば、０）に非線形に接近する特性を持つ関数が望ましい。例えば、奥行き変換部３１４は、式１を変形した式により定義される対数関数や後述する式１２により定義される関数を使用することができる。
【００３３】
奥行き変換部３１４は、係数βに所定の初期値を設定して奥行きｘをｙに変換し、ｙを階調値とする画素からなる画像データを生成する。奥行き変換部３１４は、その画像データを奥行き画像データとして奥行き画像データ付加部３２３へ出力する。なお、奥行き変換部３１４は、階調値に加えて色相（赤、緑、および、青など）をさらに含む画素値にｙを変換してもよい。例えば、奥行き変換部３１４は、ｙの値が小さいほど赤に近く、大きいほど青に近くするなど、ｙに応じて色ごとに階調値を変更してもよい。
【００３４】
画像圧縮部３２２は、所定の画像圧縮方式に従って画像データを必要に応じて圧縮するものである。画像圧縮処理において、画像圧縮部３２２は、ワークメモリ１８０を作業領域として使用する。また、画像圧縮方式としては、例えば、ＪＰＥＧ（Joint Photographic Experts Group）が使用される。画像圧縮部３２２は、圧縮した画像データを奥行き画像データ付加部３２３へ出力する。
【００３５】
なお、画像圧縮部３２２は、画像データを非圧縮のままで奥行き画像データ付加部３２３へ出力してもよい。また、画像圧縮部３２２は、奥行き画像データをさらに画像圧縮してもよい。この場合、奥行き画像データの圧縮方式は、画像データの圧縮方式と同一にすることが望ましい。
【００３６】
奥行き画像データ付加部３２３は、画像圧縮部３２２からの画像データに、奥行き変換部３１４からの奥行き画像データを対応付けて記録するものである。奥行き画像データ付加部３２３は、例えば、Ｅｘｉｆ（Exchangeable image file format）規格における付属情報（すなわち、タグ）として奥行き画像データを画像データに付加することにより、両者を関連付ける。奥行き画像データ付加部３２３は、奥行き画像データを対応付けた画像データをデータファイルとして画像管理部３２４に出力する。なお、奥行き画像データ付加部３２３は、特許請求の範囲に記載の記録部の一例である。
【００３７】
画像管理部３２４は、画像データを管理するものである。詳細には、画像管理部３２４は、奥行き画像データ付加部３２３が生成したデータファイルを画像データ記憶部１９０に記憶する。また、画像管理部３２４は、画像データ記憶部１９０から表示すべき画像データ含むデータファイルを読み出して、その画像データを表示部２００に出力して表示させる。さらに、画像管理部３２４は、操作信号解析部３２１により遠近感の強調の程度の設定値が設定されると、平滑化処理の対象の画像データを含むデータファイルを画像データ記憶部１９０から読み出して設定値とともに平滑化処理部３１５へ出力する。そして、画像管理部３２４は、平滑化された画像データを平滑化処理部３１５から受け取って、画像データ記憶部１９０および表示部２００に出力する。
【００３８】
平滑化処理部３１５は、画像データに対して平滑化処理を実行するものである。具体的には、平滑化処理部３１５は、画像管理部３２４からデータファイルおよび設定値を受け取ると、そのデータファイル内の画像データに対して、奥行き画像データに基づいて平滑化処理を実行する。ただし、前述したように、遠近感の強調の程度は操作部１１０を介してユーザにより変更されうる。平滑化処理部３１５は、遠近感の強調の程度が変更されると、その変更に応じて式１における係数βの値を更新する。具体的には、ユーザが遠近感の強調の程度を強くした場合に係数βを大きくし、ユーザが遠近感の強調の程度を弱くした場合に係数βを小さくする。そして、平滑化処理部３１５は、更新後の係数βに基づいて奥行き画像データを更新してから、平滑化処理を実行する。平滑化処理において、平滑化処理部３１５は、奥行き画像データにおいて焦点とされた画素の階調値を基準として、その基準の階調値とそれぞれの画素の階調値との差分に応じた度合いの平滑化処理を画像データに対して実行する。平滑化処理部３１５は、平滑化した画像データを画像管理部３２４に出力する。
【００３９】
図３は、第１の実施の形態における階調値と被写体距離との関係の一例を示すグラフである。同図における横軸は被写体距離、言い換えれば奥行きであり、縦軸は階調値である。奥行きの単位は、例えばメートル（ｍ）とする。実線は、式１により定義される関数のグラフであり、一点鎖線は、以下の式３により定義される関数のグラフである。ただし、以下の式３におけるｘは奥行き、ｙは関数の出力、γは０より大きい実数の係数である。
ｙ＝（２＾１６−１）−γｘ ・・・式３
式３により、奥行きは、奥行きの増加に応じて、線形に減少する階調値に変換される。
【００４０】
ここで、平滑化処理における合焦位置の奥行きをｘｆとする。また、ｘｆより長い奥行きをｘ１、そのｘ１よりさらに長い奥行きをｘ２とする。奥行きｘｆ、ｘ１、および、ｘ２を式１に代入することにより得られた階調値ｙをｙｆ＿ｅ、ｙ１＿ｅ、および、ｙ２＿ｅとする。一方、奥行きｘｆ、ｘ１、および、ｘ２を式３に代入することにより得られた
階調値ｙをｙｆ＿Ｌ、ｙ１＿Ｌ、および、ｙ２＿Ｌとする。そして、ｘｆおよびｘ１の差分をΔｘ１、ｘｆおよびｘ２の差分をΔｘ２とする。また、ｙｆ＿ｅおよびｙ１＿ｅの差分をΔｙ１＿ｅ、ｙｆ＿ｅおよびｙ２＿ｅの差分をΔｙ２＿ｅとする。一方、ｙｆ＿Ｌおよびｙ１＿Ｌの差分をΔｙ１＿Ｌ、ｙｆ＿Ｌおよびｙ２＿Ｌの差分をΔｙ２＿Ｌとする。
【００４１】
平滑化処理において、合焦位置の奥行きｘ＿ｆに対応する階調値を基準として、画像内のそれぞれの画素に対応する階調値に応じた度合いの平滑化処理が実行される。例えば、以下の式４から、平滑化の度合いである、ぼかし（Blur）量Ｂが算出される。ただし、以下の式４において、Ａは実数の係数であり、Δｙは、合焦位置の階調値と、平滑化を行う位置における階調値との間の差分である。具体的には、Δｙ１＿ｅ、Δｙ２＿ｅ、Δｙ１＿Ｌ、Δｙ２＿ＬなどがΔｙに入力される。
Ｂ＝Ａ×Δｙ ・・・式４
【００４２】
平滑化処理は、例えば、以下の式５乃至式７により定義されるガウシアンフィルタを使用して実行される。ただし、以下の式５におけるＩ（ｘｐ＋ｋ，ｙｐ＋ｌ）は、平滑化処理前の座標（ｘｐ＋ｋ，ｙｐ＋ｌ）における画素の画素値である。ｒは、ガウシアンフィルタの半径であり、０以上の整数である。ｗ（ｋ，ｌ）は、画素値Ｉ（ｘｐ＋ｋ，ｙｐ＋ｌ）に乗算すべき重み係数である。また、以下の式６におけるσは標準偏差であり、所定の実数が設定される。以下の式５および式６により、ガウシアンフィルタの中心に近いほど高く、周辺に近いほど小さい重み係数が設定される。以下の式７における「round（）」は、かっこ内の数値に対して所定の端数処理を実行して０以上の整数値を返す関数である。例えば、端数処理として、小数点以下を四捨五入する処理や小数点以下を切り捨てる処理が実行される。なお、平滑化処理部３１５は、ガウシアンフィルタ以外のフィルタ（例えば、平均フィルタ）を使用して平滑化処理を実行してもよい。
【数１】
【数２】
ｒ＝round(Ｂ／２) ・・・式７
【００４３】
式３を使用する場合、奥行きの差分に比例した度合いの平滑化処理が実行される。例えば、Δｙ１＿Ｌに対するΔｙ２＿Ｌの比率は、Δｘ１に対するΔｘ２の比率に等しい。このため、ｘ１における被写体のぼかし量Ｂ１＿Ｌに対するｘ２における被写体のぼかし量Ｂ２＿Ｌの比率は、Δｘ１に対するΔｘ２の比率と等しくなる。
【００４４】
一方、式１を使用する場合、奥行きの差分に対して非線形な、ぼかし量が設定される。例えば、Δｙ１＿Ｌに対するΔｙ２＿Ｌの比率は、Δｘ１に対するΔｘ２の比率より大きい。このため、ｘ１における被写体のぼかし量Ｂ１＿ｅに対するｘ２における被写体のぼかし量Ｂ２＿ｅの比率は、Δｘ１に対するΔｘ２の比率より大きくなる。この結果、式３を使用した場合と比較して、遠近感がさらに強調される。式１における係数βの値を変更することにより、式１の特性が変化し、遠近感の強調の程度が容易に変更される。具体的には、係数βを大きくするほど、遠近感の強調の程度が強くなり、小さくするほど、遠近感の強調の程度が弱くなる。
【００４５】
図４は、第１の実施の形態における画像データおよび奥行き画像データの一例を示す図である。図４（ａ）は、画像データ５００の一例である。図４（ｂ）は、式１を使用して生成された奥行き画像データ５１０の一例である。画像データ５００には、立方体５０１が写っている。奥行き画像データには、取得された奥行きに応じた階調値が設定される。例えば、立方体５０１に対応する立方体５１１の頂点は奥行きが最も小さいため、その部分の階調値に最大値が設定されて明るくなっている。一方、奥行きが最も大きい背景の階調値に最小値が設定されていて暗くなっている。
【００４６】
図５は、第１の実施の形態における焦点距離ｆと被写界深度ＤＯＦとの間の関係を説明するための図である。焦点距離ｆとは、撮影レンズ１３０の中心から焦点までの距離である。被写界深度ＤＯＦ（Depth of Field）とは、被写体を奥行き方向に沿って動かしても、画像において焦点が合った状態が維持される範囲である。焦点距離ｆおよび被写界深度ＤＯＦの範囲は、例えばメートル（ｍ）である。被写界深度ＤＯＦが浅いほど、焦点が合っていない領域において、ぼけ量が大きくなる。被写界深度ＤＯＦのうち、被写体の前方において焦点の合う範囲を前方被写界深度ＤＮという。一方、被写界深度ＤＯＦのうち、被写体の後方において焦点の合う範囲を後方被写界深度ＤＦという。
【００４７】
ここで、ある奥行きの被写体に焦点を合わせたときに、無限遠が被写界深度ＤＯＦの後端ぎりぎりにはいる奥行きを過焦点距離Ｈという。この過焦点距離Ｈは、以下の式８により表わされる。ただし、以下の式８において、Ｎは、絞り値である。また、ｃは、画像において、ぼけが許容される許容錯乱円の直径である。
Ｈ＝ｆ＾２／（Ｎｃ） ・・・式８
【００４８】
そして、被写界深度ＤＯＦは、以下の式９乃至式１１により求められる。
【数３】
【数４】
ＤＯＦ＝ＤＦ＋ＤＮ・・・式１１
【００４９】
図６は、第１の実施の形態における被写界深度ＤＯＦと焦点距離ｆ、絞り値Ｎ、被写体距離ｆ、および、係数βとの間の関係の一例を示す図である。式８乃至式１１より、焦点距離ｆが長いほど、また、絞り値Ｎが大きいほど、被写界深度ＤＯＦが浅くなり、ぼけ量が大きくなる。そして、被写体距離ｘが近いほど過焦点距離Ｈが小さくなり、式８乃至式１１より被写界深度ＤＯＦが浅くなる。一方、式１より、係数βが大きいほど、ぼけ量が大きくなる。このように、係数βを変えることにより、焦点距離ｆ、絞り値Ｎ、および、被写体距離ｘを変更することなく、ぼけ量を変更することができる。
【００５０】
図７は、式５乃至式７に基づいて、被写界深度ＤＯＦと焦点距離ｆおよび被写体距離ｘとの間の関係を図示したグラフである。円形のプロットは、焦点距離ｆが１００ｍの場合のプロットである。四角形のプロットは、焦点距離ｆが８０ｍの場合のプロットである。三角形のプロットは、焦点距離ｆが５０ｍの場合のプロットである。Ｆナンバーは、３．５で固定されている。同図に示すように、Ｆナンバーを一定値にした場合、被写体距離ｘが小さいほど、また、焦点距離ｆが長いほど、被写界深度ＤＯＦが浅くなることがわかる。
【００５１】
［データファイルの構造］
図８は、第１の実施の形態におけるデータファイルのデータ構成の一例を示す図である。このデータファイルは、例えば、Ｅｘｉｆ規格に従って作成されたデータファイルである。
【００５２】
データファイルには、圧縮データスタート（ＳＯＩ）、アプリケーション・マーカセグメント１（ＡＰＰ１）、量子化テーブル（ＤＱＴ）、ハフマンテーブル（ＤＨＴ）が順に記録される。そして、フレームヘッダ（ＳＯＦ）、スキャンヘッダ（ＳＯＳ）に続いて圧縮データの本体が記録され、圧縮データ終了（ＥＯＩ）が記録される。この圧縮データは、画像データをＪＥＰＧ規格などの圧縮形式に従って圧縮したデータである。そして、画像処理装置３００において生成された奥行き画像データは、圧縮データ終了（ＥＯＩ）の次に記録される。なお、画像処理装置３００は、奥行き画像データを、Ｅｘｉｆ規格におけるＥＯＩの次に記録しているが、画像データと関連付けることができるのであれば、奥行き画像データを他の領域に記録してもよい。
【００５３】
ＡＰＰ１は、Ｅｘｉｆ付属情報を記録する領域である。このＡＰＰ１では、ＡＰＰ１マーカー（ＡＰＰ１Ｍａｒｋｅｒ）に続いてＡＰＰ１長（ＡＰＰ１Ｌｅｎｇｔｈ）が定義される。そして、Ｅｘｉｆ識別コードに続いて、ＴＩＦＦヘッダー（ＴＩＦＦ Ｈｅａｄｅｒ）、主画像ＩＦＤ（０ｔｈ ＩＦＤ）、および、主画像ＩＦＤの値（０ｔｈ ＩＦＤ Ｖａｌｕｅ）などが記録される。
【００５４】
［撮像装置の動作例］
図９は、第１の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。この動作は、例えば、撮像装置１００に電源が投入されたときに開始する。撮像装置１００は、自身の現在の状態が静止画の撮影モードであるか否かを判断する（ステップＳ９１０）。静止画の撮影モードであれば（ステップＳ９１０：Ｙｅｓ）、撮像装置１００は、被写体の撮像を行うための撮像処理を実行する（ステップＳ９２０）。
【００５５】
静止画の撮影モードでない場合（ステップＳ９１０：Ｎｏ）、またはステップＳ９２０の後、撮像装置１００は、自身の現在の状態が静止画の編集モードであるか否かを判断する（ステップＳ９３０）。静止画の編集モードであれば（ステップＳ９３０：Ｙｅｓ）、撮像装置１００は、平滑化処理を実行する（ステップＳ９４０）。静止画の編集モードでない場合（ステップＳ９３０：Ｎｏ）、またはステップＳ９４０の後、撮像装置１００は、ステップＳ９１０に戻る。
【００５６】
図１０は、第１の実施の形態における撮像処理の一例を示すフローチャートである。撮像装置１００は、シャッターボタンが押下されたか否かを判断する（ステップＳ９２１）。シャッターボタンが押下されたのであれば（ステップＳ９２１：Ｙｅｓ）、撮像装置１００における画像処理装置３００が画像データを取得する（ステップＳ９２２）。
【００５７】
シャッターボタンが押下されていない場合（ステップＳ９２１：Ｎｏ）、またはステップＳ９２２の後、画像処理装置３００は、画像データに基づいて奥行きデータを生成する（ステップＳ９２３）。そして、画像処理装置３００は、式１を使用して、奥行きデータから奥行き画像データを生成する（ステップＳ９２４）。画像処理装置３００は、画像データを必要に応じて圧縮する（ステップＳ９２５）。画像処理装置３００は、奥行き画像データを画像データに付加して記録する（ステップＳ９２６）。ステップＳ９２６の後、撮像装置１００は、撮像処理を終了する。
【００５８】
図１１は、第１の実施の形態における平滑化処理の一例を示すフローチャートである。撮像装置１００は、平滑化処理を行うべき画像データを選択する処理を受け付ける（ステップＳ９４１）。撮像装置１００は、画像データが選択されたか否かを判断する（ステップＳ９４２）。画像データが選択されていなければ（ステップＳ９４２：Ｎｏ）、撮像装置１００はステップＳ９４２に戻る。画像データが選択されたのであれば（ステップＳ９４２：Ｙｅｓ）、撮像装置１００は、遠近感の強調の程度として、平滑化処理の度合いを設定する操作を受け付ける（ステップＳ９４３）。そして、撮像装置１００は、度合いが設定されたか否かを判断する（ステップＳ９４４）。
【００５９】
度合いが設定されたのであれば（ステップＳ９４４：Ｙｅｓ）、撮像装置１００における画像処理装置３００は、度合いの設定値に従って係数βを変更する（ステップＳ９４５）。画像処理装置３００は、変更後の係数βに基づいて奥行き画像データを更新する（ステップＳ９４６）。画像処理装置３００は、更新後の奥行き画像データに基づいて画像データに平滑化処理を施す（ステップＳ９４７）。撮像装置１００は、平滑化処理後の画像データを表示する（ステップＳ９４８）。
【００６０】
度合いが設定されていない場合（ステップＳ９４４：Ｎｏ）、または、ステップＳ９４８の後、撮像装置１００は、編集終了の操作が行われたか否かを判断する（ステップＳ９４９）。編集終了の操作が行われていなければ（ステップＳ９４９：Ｎｏ）、撮像装置１００はステップＳ９４４に戻る。編集終了の操作が行われていれば（ステップＳ９４９：Ｙｅｓ）、撮像装置１００は、平滑化処理後の画像データを保存する（ステップＳ９５０）。ステップＳ９５０の後、撮像装置１００は平滑化処理を終了する。
【００６１】
図１２は、第１の実施の形態における係数βの調整範囲の一例を示すグラフである。一定の範囲内で係数βの値を変更することにより、式１の関数の特性が変化する。係数βを大きくするほど、式１の関数の曲線がｙ＝０の直線に接近する。この結果、遠近感の強調の程度が強くなる。逆に、係数βを小さくするほど、遠近感の強調の程度が弱くなる。
【００６２】
図１３は、第１の実施の形態における撮像装置１００の一構成例を示す全体図である。図１３（ａ）は、撮像装置１００の上面および前面の一例を示す図であり、図１３（ｂ）は撮像装置１００の背面の一例を示す図である。撮像装置１００の上面には、ズームレバー１０１、シャッターボタン１０２、再生ボタン１０３、および、パワーボタン１０４が設けられている。撮像装置１００の前面には、撮影レンズ１０５、ＡＦ（Auto Focus）イルミネータ１０６、および、レンズカバー１０７が設けられている。撮像装置１００の背面には、タッチスクリーン１０８が設けられている。
【００６３】
ズームレバー１０１は、ズーム制御の操作を行うためのボタンである。シャッターボタン１０２は、被写体の撮像を行うためのボタンである。再生ボタン１０３は、画像データを表示させるためのボタンである。パワーボタン１０４は、撮像装置の電源をオンまたはオフするためのボタンである。撮影レンズ１０５は、画像を撮像するためのレンズである。ＡＦイルミネータ１０６は、オートフォーカス機能がオンであるときに発光するものである。レンズカバー１０７は、レンズを覆う位置まで可動可能な、レンズを保護するための部品である。タッチスクリーン１０８は、指などで触れることにより撮像装置１００の操作を行うことのできるディスプレイである。
【００６４】
図１３におけるズームレバー１０１、シャッターボタン１０２、再生ボタン１０３、および、パワーボタン１０４は、図１における操作部１１０を構成する。図１３におけるタッチスクリーン１０８は、図１３における操作部１１０および表示部２００を構成する。
【００６５】
このように、本技術の第１の実施の形態によれば、画像処理装置３００が、画像および奥行きを取得し、奥行きの増加に応じて非線形に所定値へ接近する特性を持つ関数に従って、その奥行きを変換する。画像処理装置３００は、変換した奥行きを画像に対応付けて記録する。この変換後の奥行きに基づいて画像処理装置３００が平滑化処理を行うことによって、奥行きに比例した度合いの平滑化処理を行うよりも、遠近感を強調することができる。
【００６６】
［第１の変形例］
図１４を参照して、第１の実施の形態における第１の変形例について説明する。第１の変形例の画像処理装置３００は、奥行きｘが増加するほど、階調値ｙが増加するように奥行きを変換する点において第１の実施の形態と異なる。第１の変形例の画像処理装置３００は、例えば式１に代えて以下の式１２を使用して奥行きを変換する。
ｙ＝α｛１−ｅ＾（−βｘ）｝ ・・・式１２
【００６７】
図１４は、第１の変形例の階調値ｙと被写体距離（奥行き）ｘとの関係の一例を示すグラフである。第１の実施の形態においては、式１を使用して、奥行きｘの増加に応じて非線形に減少する階調値ｙに奥行きが変換されていた。これに対して、式１２を使用した場合、図１４に示すように、奥行きｘの増加に応じて非線形に増加する階調値ｙに奥行きｘが変換される。
【００６８】
＜２．第２の実施の形態＞
［画像処理装置の構成例］
次に、図１５乃至図１９を参照して、本技術の第２の実施の形態について説明する。図１５は、第２の実施の形態における画像処理装置３００の一構成例を示すブロック図である。上述のように画像処理装置３００は、カメラ制御部３１０および撮像装置制御部３２０を備える。第２の実施の形態の画像処理装置３００は、カメラ制御部３１０において係数供給部３１６をさらに備える点において第１の実施の形態と異なる。また、第２の実施の形態の操作信号解析部３２１は、撮影条件のうちの撮影モードを、さらに係数供給部３１６に出力する。撮影モードは、撮影対象の種類や撮影対象までの距離などの撮影条件を示す情報である。例えば、撮影モードは、マクロモード、風景撮影モード、および、標準モードを含む。マクロモードは、レンズに近い被写体を撮影するためのモードである。風景撮影モードは、遠くの被写体を撮影するためのモードである。標準モードは、マクロモードおよび風景撮影モードの中間の距離における被写体を撮影するためのモードである。
【００６９】
係数供給部３１６は、撮影条件に応じて係数βを供給するものである。この係数供給部３１６には、予め、撮影モードごとに係数βの値が設定されている。係数供給部３１６は、操作信号解析部３２１から撮影モードを受け取り、その撮影モードに対応する係数βを奥行き変換部３１４に出力する。例えば、マクロモードの場合に標準モードにおける設定値より大きな値が設定され、風景撮影モードの場合に標準モードにおける設定値より小さな値が設定される。奥行き変換部３１４は、係数供給部３１６からの係数βの値を式１２に代入して奥行きを変換する。
【００７０】
図１６は、第２の実施の形態における撮影モードがマクロモードであるときの階調値と被写体距離との関係の一例を示すグラフである。前述したようにマクロモードにおいて係数βには、標準モードの設定値よりも大きい値が設定される。このため、遠近感の強調の程度が比較的強くなる。例えば、Δｙ１＿ｅに対するΔｙ２＿ｅの比率が標準モードの場合よりも大きくなり、ｘ１における被写体のぼかし量が相対的に大きくなる。
【００７１】
図１７は、第２の実施の形態における撮影モードが風景撮影モードであるときの階調値と被写体距離との関係の一例を示すグラフである。前述したように風景撮影モードにおいて係数βには、標準モードの設定値よりも小さい値が設定される。このため、遠近感の強調の程度が比較的弱くなる。例えば、Δｙ１＿ｅに対するΔｙ２＿ｅの比率が標準モードの場合よりも小さくなり、ｘ１における被写体のぼかし量が相対的に小さくなる。
【００７２】
［撮像装置の動作例］
図１８は、第２の実施の形態における撮像処理の一例を示すフローチャートである。第２の実施の形態における撮像処理は、ステップＳ９２３の後に係数設定処理（ステップＳ９６０）がさらに実行される点において第１の実施の形態と異なる。ステップＳ９６０の後、撮像装置１００は、ステップＳ９２４を実行する。
【００７３】
図１９は、第２の実施の形態における係数設定処理の一例を示すフローチャートである。画像処理装置３００は、係数βに初期値を設定する。ここで、初期値は、例えば、標準モードにおける設定値である（ステップＳ９６１）。画像処理装置３００は、撮影モードがマクロモードであるか否かを判断する（ステップＳ９６２）。マクロモードでなければ（ステップＳ９６２：Ｎｏ）、画像処理装置３００は、撮影モードが風景撮影モードであるか否かを判断する（ステップＳ９６２）。風景撮影モードであれば（ステップＳ９６２：Ｙｅｓ）、画像処理装置３００は、係数βの値を初期値より小さな値に変更する（ステップＳ９６４）。マクロモードであれば（ステップＳ９６２：Ｙｅｓ）、画像処理装置３００は、係数βの値を初期値より大きな値に変更する（ステップＳ９６５）。
【００７４】
風景撮影モードでない場合（ステップＳ９６３：Ｎｏ）、ステップＳ９６４、またはステップＳ９６５の後、画像処理装置３００は、係数設定処理を終了する。
【００７５】
このように、本技術の第２の実施の形態によれば、係数供給部３１６が撮影条件に応じて係数βを供給し、奥行き変換部３１４が、供給された係数βに基づいて奥行きを変換する。係数βに応じて関数の特性が変化するため、撮影条件に応じた特性の関数により奥行きが変換される。この結果、変換後の奥行きに基づいて、撮影条件に適した平滑化処理が実行される。
【００７６】
＜３．第３の実施の形態＞
［画像処理装置の構成例］
次に、図２０乃至図２３を参照して、本技術の第３の実施の形態について説明する。図２０は、第３の実施の形態における画像処理装置３００の一構成例を示すブロック図である。上述のように画像処理装置３００は、カメラ制御部３１０および撮像装置制御部３２０を備える。第３の実施の形態の画像処理装置３００は、係数供給部３１６が画像データの記録後に撮影モードに応じて係数を供給する点において第１の実施の形態と異なる。また、第３の実施の形態の操作信号解析部３２１は、撮影モードを奥行き画像データ付加部３２３にさらに出力する。第３の実施の形態の奥行き画像データ付加部３２３は、撮影モードを画像データにさらに付加して画像データ記憶部１９０に記録する。画像管理部３２４は、画像データを読み出したとき、画像データに付加された撮影モードを係数供給部３１６に出力する。
【００７７】
第３の実施の形態の係数供給部３１６は、画像管理部３２４から撮影モードを受け取り、その撮影モードに応じた係数βを平滑化処理部３１５へ出力する。
【００７８】
［データファイルの構造］
図２１は、第３の実施の形態におけるデータファイル内の付属情報のデータ構造の一例を示す図である。アプリケーション・マーカセグメント１（ＡＰＰ１）内の０ｔｈ ＩＦＤに画像データの付属情報（タグ）が記録される。付属情報は、バージョンに関するタグ、ユーザ情報に関するタグ、撮影条件に関するタグなどの区分に分けられる。バージョンに関するタグは、Ｅｘｉｆバージョンおよび対応フラッシュトピックスバーションである。ユーザ情報に関するタグは、メーカーノートおよびユーザコメントなどである。撮影条件に関するタグは、露出時間、Ｆナンバー、撮影シーンタイプ、および、被写体距離レンジなどである。ここで、撮影シーンタイプの領域には、撮影対象が標準、風景、および、人物などのうちのいずれであるかが記録される。また、被写体距離レンジの領域には、被写体までの距離が、マクロ、近景、および、遠景のうちのいずれに区分されるかが記録される。
【００７９】
第３の実施の形態においては、撮影モードとして、例えば、標準モード、風景撮影モード、および、マクロモードが設定される。これらの撮影モードに関する情報は、撮影シーンタイプおよび被写体距離レンジの領域に記録される。なお、画像処理装置３００は、撮影モードに関する情報を、メーカーノートの領域など、別の領域に記録してもよい。
【００８０】
［撮像装置の動作例］
図２２は、第３の実施の形態における撮像処理の一例を示すフローチャートである。第３の実施の形態における撮像処理は、ステップＳ９２６の後、画像処理装置３００が撮影モードを画像データに付加する（ステップＳ９２７）点において、第１の実施の形態と異なる。ステップＳ９２７の後、撮像装置１００は、撮像処理を終了する。
【００８１】
図２３は、第３の実施の形態における平滑化処理の一例を示すフローチャートである。第３の実施の形態における平滑化処理は、画像データが選択された場合に（ステップＳ９４２：Ｙｅｓ）画像処理装置３００が係数設定処理（ステップＳ９６０）をさらに実行する点において第１の実施の形態と異なる。この係数設定処理（ステップＳ９６０）は、第２の実施の形態における係数設定処理と同様の処理である。ステップＳ９６０の後、画像処理装置３００は、平滑化処理の度合いを設定する操作を受け付ける（ステップＳ９４３）。
【００８２】
このように、第３の実施の形態によれば、奥行き画像データ付加部３２３が撮影条件を画像データに付加して記録し、その撮影条件を係数供給部３１６が読み出して、撮影条件に応じた係数を供給する。係数βに応じて関数の特性が変化するため、撮影条件に応じた特性の関数により奥行きが変換される。この結果、変換後の奥行きに基づいて、撮影条件に適した平滑化処理が実行される。
【００８３】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【００８４】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））、フラッシュメモリなどの不揮発性メモリ等を用いることができる。
【００８５】
なお、本技術は以下のような構成もとることができる。
（１）画像を取得する画像取得部と、
前記画像内の画素に対応付けられた奥行きを取得する奥行き取得部と、
前記奥行きの増加に応じて非線形に所定値へ接近する特性を持つ関数に従って前記奥行きを変換する奥行き変換部と、
前記変換された奥行きを前記画像に対応付けて記録する記録部と
を具備する画像処理装置。
（２）前記画像内の所定の画素に対応する前記変換された奥行きを基準として前記画像内の画素に対応する前記変換された奥行きに応じた度合いの平滑化処理を前記画像に対して実行する平滑化処理部をさらに具備する
前記（１）記載の画像処理装置。
（３）前記関数は、係数に応じて前記特性が変化する関数であり、
前記平滑化処理部は、前記特性に従って変換された前記奥行きに基づいて前記平滑化処理を実行する
前記（２）記載の画像処理装置。
（４）前記関数は、前記奥行きをｘ、出力をｙ、自然対数の底をｅ、所定の定数をα、前記係数をβとして、次式
ｙ＝α×ｅ＾（−βｘ）
により定義される指数関数である
前記（３）記載の画像処理装置。
（５）前記関数は、前記奥行きをｘ、出力をｙ、自然対数の底をｅ、所定の定数をα、前記係数をβとして、次式
ｙ＝α×｛１−ｅ＾（−βｘ）｝
により定義される指数関数である
前記（３）記載の画像処理装置。
（６）前記画像が撮影された撮影条件に応じて前記係数の値を供給する係数供給部をさらに具備する
前記（３）乃至（５）のいずれかに記載の画像処理装置。
（７）前記記録部は、前記撮影条件をさらに前記画像に対応付けて記録し、
前記係数供給部は、前記記録された撮影条件に応じて前記係数を供給する
前記（６）記載の画像処理装置。
（８）前記奥行き変換部は、前記変換した奥行きの値を画素値とする画素の集合を奥行き画像として生成する
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）前記奥行き画像を所定の画像圧縮形式に従って圧縮する圧縮部をさらに具備し、
前記記録部は、前記圧縮された奥行き画像を前記画像に対応付けて記録する
前記（８）記載の画像処理装置。
（１０）画像取得部が、画像を取得する画像取得手順と、
奥行き取得部が、前記画像内の画素に対応付けられた奥行きを取得する奥行き取得手順と、
奥行き変換部が、前記奥行きの増加に応じて非線形に所定値へ接近する特性を持つ関数に従って前記奥行きを変換する奥行き変換手順と、
記録部が、前記変換された奥行きを前記画像に対応付けて記録する記録手順と
を具備する画像処理装置の制御方法。
（１１）画像取得部が、画像を取得する画像取得手順と、
奥行き取得部が、前記画像内の画素に対応付けられた奥行きを取得する奥行き取得手順と、
奥行き変換部が、前記奥行きの増加に応じて非線形に所定値へ接近する特性を持つ関数に従って前記奥行きを変換する奥行き変換手順と、
記録部が、前記変換された奥行きを前記画像に対応付けて記録する記録手順と
を実行させるためのプログラム。
【符号の説明】
【００８６】
１００ 撮像装置
１０１ ズームレバー
１０２ シャッターボタン
１０３ 再生ボタン
１０４ パワーボタン
１０５、１３０ 撮影レンズ
１０６ ＡＦイルミネータ
１０７ レンズカバー
１０８ タッチスクリーン
１１０ 操作部
１４０ 撮像素子
１５０ アナログ信号処理部
１６０ Ａ／Ｄ変換部
１７０ 画像メモリ
１８０ ワークメモリ
１９０ 画像データ記憶部
２００ 表示部
３００ 画像処理装置
３１０ カメラ制御部
３１１ レンズ駆動部
３１２ 画像取得部
３１３ 奥行き取得部
３１４ 奥行き変換部
３１５ 平滑化処理部
３１６ 係数供給部
３２０ 撮像装置制御部
３２１ 操作信号解析部
３２２ 画像圧縮部
３２３ 奥行き画像データ付加部
３２４ 画像管理部
【特許請求の範囲】
【請求項１】
画像を取得する画像取得部と、
前記画像内の画素に対応付けられた奥行きを取得する奥行き取得部と、
前記奥行きの増加に応じて非線形に所定値へ接近する特性を持つ関数に従って前記奥行きを変換する奥行き変換部と、
前記変換された奥行きを前記画像に対応付けて記録する記録部と
を具備する画像処理装置。
【請求項２】
前記画像内の所定の画素に対応する前記変換された奥行きを基準として前記画像内の画素に対応する前記変換された奥行きに応じた度合いの平滑化処理を前記画像に対して実行する平滑化処理部をさらに具備する
請求項１記載の画像処理装置。
【請求項３】
前記関数は、係数に応じて前記特性が変化する関数であり、
前記平滑化処理部は、前記特性に従って変換された前記奥行きに基づいて前記平滑化処理を実行する
請求項２記載の画像処理装置。
【請求項４】
前記関数は、前記奥行きをｘ、出力をｙ、自然対数の底をｅ、所定の定数をα、前記係数をβとして、次式
ｙ＝α×ｅ＾（−βｘ）
により定義される指数関数である
請求項３記載の画像処理装置。
【請求項５】
前記関数は、前記奥行きをｘ、出力をｙ、自然対数の底をｅ、所定の定数をα、前記係数をβとして、次式
ｙ＝α×｛１−ｅ＾（−βｘ）｝
により定義される指数関数である
請求項３記載の画像処理装置。
【請求項６】
前記画像が撮影された撮影条件に応じて前記係数の値を供給する係数供給部をさらに具備する
請求項３記載の画像処理装置。
【請求項７】
前記記録部は、前記撮影条件をさらに前記画像に対応付けて記録し、
前記係数供給部は、前記記録された撮影条件に応じて前記係数を供給する
請求項６記載の画像処理装置。
【請求項８】
前記奥行き変換部は、前記変換した奥行きの値を画素値とする画素の集合を奥行き画像として生成する
請求項１記載の画像処理装置。
【請求項９】
前記奥行き画像を所定の画像圧縮形式に従って圧縮する圧縮部をさらに具備し、
前記記録部は、前記圧縮された奥行き画像を前記画像に対応付けて記録する
請求項８記載の画像処理装置。
【請求項１０】
画像取得部が、画像を取得する画像取得手順と、
奥行き取得部が、前記画像内の画素に対応付けられた奥行きを取得する奥行き取得手順と、
奥行き変換部が、前記奥行きの増加に応じて非線形に所定値へ接近する特性を持つ関数に従って前記奥行きを変換する奥行き変換手順と、
記録部が、前記変換された奥行きを前記画像に対応付けて記録する記録手順と
を具備する画像処理装置の制御方法。
【請求項１１】
画像取得部が、画像を取得する画像取得手順と、
奥行き取得部が、前記画像内の画素に対応付けられた奥行きを取得する奥行き取得手順と、
奥行き変換部が、前記奥行きの増加に応じて非線形に所定値へ接近する特性を持つ関数に従って前記奥行きを変換する奥行き変換手順と、
記録部が、前記変換された奥行きを前記画像に対応付けて記録する記録手順と
を実行させるためのプログラム。
【請求項１】
画像を取得する画像取得部と、
前記画像内の画素に対応付けられた奥行きを取得する奥行き取得部と、
前記奥行きの増加に応じて非線形に所定値へ接近する特性を持つ関数に従って前記奥行きを変換する奥行き変換部と、
前記変換された奥行きを前記画像に対応付けて記録する記録部と
を具備する画像処理装置。
【請求項２】
前記画像内の所定の画素に対応する前記変換された奥行きを基準として前記画像内の画素に対応する前記変換された奥行きに応じた度合いの平滑化処理を前記画像に対して実行する平滑化処理部をさらに具備する
請求項１記載の画像処理装置。
【請求項３】
前記関数は、係数に応じて前記特性が変化する関数であり、
前記平滑化処理部は、前記特性に従って変換された前記奥行きに基づいて前記平滑化処理を実行する
請求項２記載の画像処理装置。
【請求項４】
前記関数は、前記奥行きをｘ、出力をｙ、自然対数の底をｅ、所定の定数をα、前記係数をβとして、次式
ｙ＝α×ｅ＾（−βｘ）
により定義される指数関数である
請求項３記載の画像処理装置。
【請求項５】
前記関数は、前記奥行きをｘ、出力をｙ、自然対数の底をｅ、所定の定数をα、前記係数をβとして、次式
ｙ＝α×｛１−ｅ＾（−βｘ）｝
により定義される指数関数である
請求項３記載の画像処理装置。
【請求項６】
前記画像が撮影された撮影条件に応じて前記係数の値を供給する係数供給部をさらに具備する
請求項３記載の画像処理装置。
【請求項７】
前記記録部は、前記撮影条件をさらに前記画像に対応付けて記録し、
前記係数供給部は、前記記録された撮影条件に応じて前記係数を供給する
請求項６記載の画像処理装置。
【請求項８】
前記奥行き変換部は、前記変換した奥行きの値を画素値とする画素の集合を奥行き画像として生成する
請求項１記載の画像処理装置。
【請求項９】
前記奥行き画像を所定の画像圧縮形式に従って圧縮する圧縮部をさらに具備し、
前記記録部は、前記圧縮された奥行き画像を前記画像に対応付けて記録する
請求項８記載の画像処理装置。
【請求項１０】
画像取得部が、画像を取得する画像取得手順と、
奥行き取得部が、前記画像内の画素に対応付けられた奥行きを取得する奥行き取得手順と、
奥行き変換部が、前記奥行きの増加に応じて非線形に所定値へ接近する特性を持つ関数に従って前記奥行きを変換する奥行き変換手順と、
記録部が、前記変換された奥行きを前記画像に対応付けて記録する記録手順と
を具備する画像処理装置の制御方法。
【請求項１１】
画像取得部が、画像を取得する画像取得手順と、
奥行き取得部が、前記画像内の画素に対応付けられた奥行きを取得する奥行き取得手順と、
奥行き変換部が、前記奥行きの増加に応じて非線形に所定値へ接近する特性を持つ関数に従って前記奥行きを変換する奥行き変換手順と、
記録部が、前記変換された奥行きを前記画像に対応付けて記録する記録手順と
を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図４】
【図１３】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図４】
【図１３】
【公開番号】特開２０１３−４６２０９（Ｐ２０１３−４６２０９Ａ）
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願番号】特願２０１１−１８２５１８（Ｐ２０１１−１８２５１８）
【出願日】平成２３年８月２４日（２０１１．８．２４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願日】平成２３年８月２４日（２０１１．８．２４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]