画像処理装置、画像処理プログラムおよびデジタルカメラ
【課題】 本発明は、いかなる撮影シーンにおいても、撮影シーンに最適なボカシがかかった画像を取得することができる、画像処理装置、画像処理プログラムおよびデジタルカメラを提供することを目的とする。
【解決手段】 本発明の画像処理装置は、撮影画像から被写体の領域(A領域)と被写体以外の領域(B領域)とを分離する分離手段(20)と、分離手段が分離したA領域とB領域のうち、少なくともB領域を対象にしてボカシ処理を施すボカシ手段(20)とを備える画像処理装置であって、ボカシ手段が、撮影画像の撮影時に取得した撮影シーンの明るさ又は撮影モードの種類の情報に応じてボカシ処理を変更する。
【解決手段】 本発明の画像処理装置は、撮影画像から被写体の領域(A領域)と被写体以外の領域(B領域)とを分離する分離手段(20)と、分離手段が分離したA領域とB領域のうち、少なくともB領域を対象にしてボカシ処理を施すボカシ手段(20)とを備える画像処理装置であって、ボカシ手段が、撮影画像の撮影時に取得した撮影シーンの明るさ又は撮影モードの種類の情報に応じてボカシ処理を変更する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラにより撮影された撮影画像の画像処理を行う画像処理装置、画像処理プログラムおよびそれらを備えたデジタルカメラに関する。
【背景技術】
【0002】
人物撮影や接写撮影などのように主要な被写体が存在するシーンを撮影する場合には、主要な被写体をできるだけ際立たせた絵作りの撮影画像が取得できることが望ましい。
【0003】
撮影画像の主要な被写体を際立たせる従来技術の一例として、例えば特許文献1には、主要な被写体を際立たせるために撮影画像の背景にボカシをかける技術が開示されている。
【特許文献1】特開2000−307935号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、従来技術では、撮影シーンによっては、撮影画像に対して最適にボカシをかけることができなかった。その結果、主要な被写体が際立った、見た目に映える絵作りの撮影画像を取得することができなかった。
【0005】
本発明は、上記従来技術の課題を解決するためのものである。本発明は、いかなる撮影シーンにおいても、撮影シーンに最適なボカシがかかった画像を取得することができる、画像処理装置、画像処理プログラムおよびデジタルカメラを提供することを目的とする。
【課題を解決するための手段】
【0006】
第1の発明の画像処理装置は、撮影画像から被写体の領域(A領域)と被写体以外の領域(B領域)とを分離する分離手段と、分離手段が分離したA領域とB領域のうち、少なくともB領域を対象にしてボカシ処理を施すボカシ手段とを備える画像処理装置であって、ボカシ手段が、撮影画像の撮影時に取得した撮影シーンの明るさ又は撮影モードの種類の情報に応じてボカシ処理を変更する。
【0007】
第2の発明は、第1の発明において、ボカシ手段は、前記情報を基に撮影画像のシーンが明るいか又は暗いかを判別して、ボカシ処理を、明るい場合と暗い場合とでそれぞれ専用のボカシ処理に変更する。
【0008】
第3の発明は、第2の発明において、明るいシーン用のボカシ処理は、ボカシ処理対象領域中の輝点領域に対しては、輝点領域の中心位置の輝度と略同等の輝度となる領域(等輝度領域)を狭く、かつ等輝度領域の周辺部分の領域の輝度変化を緩やかとするようにボカシを行う。
【0009】
第4の発明は、第2または第3の発明において、暗いシーン用のボカシ処理は、ボカシ処理対象領域中の輝点領域に対しては、輝点領域の中心位置の輝度と略同等の輝度となる領域(等輝度領域)を広く、かつ等輝度領域の周辺部分の領域の輝度変化を急峻とするようにボカシを行う。
【0010】
第5の発明は、第1〜第4の発明の何れか一の発明において、ボカシ手段は、ガンマ補正後の撮影画像におけるボカシ処理が施されたボカシ処理対象領域の輝度成分を、その輝度成分のレベルがボカシ処理の実施の前と後とで略同等になる増幅率で増幅する。
【0011】
第6の発明は、第1〜第5の発明の何れか一の発明において、ボカシ手段は、ボカシ処理が施されたボカシ処理対象領域中の飽和した輝点領域の画像信号を、予め定められた増幅率で増幅する。
【0012】
第7の発明は、第1〜第6の発明の何れか一の発明において、ボカシ手段は、ボカシ処理が施されたボカシ処理対象領域中の飽和した輝点領域の画像信号を、飽和した輝点領域の面積の大きさに応じた増幅率で増幅する。
【0013】
第8の発明は、第1〜第7の発明の何れか一の発明において、ボカシ手段は、ボカシ処理が施されたボカシ処理対象領域に対してコントラスト強調処理を施す。
【0014】
第9の発明のデジタルカメラは、被写界を撮影することにより撮影画像を取得する撮影手段と、第1〜第8の発明の何れか一の発明の画像処理装置とを備える。
【0015】
第10の発明の画像処理プログラムは、撮影画像から被写体の領域(A領域)と被写体以外の領域(B領域)とを分離する分離手順と、分離されたA領域とB領域のうち、少なくともB領域を対象にしてボカシ処理を施すボカシ手順とをコンピュータに実行させる画像処理プログラムであって、ボカシ手順では、撮影画像の撮影時に取得した撮影シーンの明るさ又は撮影モードの種類の情報に応じてボカシ処理を変更する。
【0016】
第11の発明は、第10の発明において、ボカシ手順では、前記情報を基に撮影画像のシーンが明るいか又は暗いかを判別して、ボカシ処理を、明るい場合と暗い場合とでそれぞれ専用のボカシ処理に変更する。
【0017】
第12の発明は、第11の発明において、明るいシーン用のボカシ処理は、ボカシ処理対象領域中の輝点領域に対しては、輝点領域の中心位置の輝度と略同等の輝度となる領域(等輝度領域)を狭く、かつ等輝度領域の周辺部分の領域の輝度変化を緩やかとするようにボカシを行う。
【0018】
第13の発明は、第11または第12の発明において、暗いシーン用のボカシ処理は、ボカシ処理対象領域中の輝点領域に対しては、輝点領域の中心位置の輝度と略同等の輝度となる領域(等輝度領域)を広く、かつ等輝度領域の周辺部分の領域の輝度変化を急峻とするようにボカシを行う。
【0019】
第14の発明は、第10〜第13の発明の何れか一の発明において、ボカシ手順では、ガンマ補正後の撮影画像におけるボカシ処理が施されたボカシ処理対象領域の輝度成分を、その輝度成分のレベルがボカシ処理の実施の前と後とで略同等になる増幅率で増幅する。
【0020】
第15の発明は、第10〜第14の発明の何れか一の発明において、ボカシ手順では、ボカシ処理が施されたボカシ処理対象領域中の飽和した輝点領域の画像信号を、予め定められた増幅率で増幅する。
【0021】
第16の発明は、第10〜第15の発明の何れか一の発明において、ボカシ手順では、ボカシ処理が施されたボカシ処理対象領域中の飽和した輝点領域の画像信号を、飽和した輝点領域の面積の大きさに応じた増幅率で増幅する。
【0022】
第17の発明は、第10〜第16の発明の何れか一の発明において、ボカシ手順では、ボカシ処理が施されたボカシ処理対象領域に対してコントラスト強調処理を施す。
【発明の効果】
【0023】
本発明では、撮影画像の撮影時に取得した撮影シーンの明るさ又は撮影モードの種類の情報に応じてボカシ処理が変更されるので、本発明を利用すれば、撮影画像に対して撮影シーンに最適なボカシ処理が施される。従って、いかなる撮影シーンにおいても、撮影シーンに最適なボカシがかかった画像を取得することが可能になる。
【発明を実施するための最良の形態】
【0024】
(第1実施形態)
以下、本発明の第1実施形態を説明する。本実施形態は、デジタルカメラの実施形態である。
【0025】
図1は、本発明のデジタルカメラのブロック図である。
【0026】
デジタルカメラは、撮像レンズ11およびレンズ駆動部12と、絞り13と、撮像素子14と、アナログ信号処理部15と、タイミングジェネレータ(TG)16と、バッファメモリ17と、画像処理部18と、圧縮/復号部19と、制御部20と、測光部21と、モニタ22と、記録媒体23と、発光部24と、操作部25と、バス26とを有している。ここで、バッファメモリ17、画像処理部18、圧縮/復号部19、制御部20、測光部21、モニタ22、記録媒体23は、バス26を介して接続されている。また、レンズ駆動部12、絞り13、アナログ信号処理部15、TG16、発光部24、操作部25は、それぞれ制御部20に接続されている。
【0027】
撮像レンズ11は、フォーカスレンズやズームレンズを含む複数のレンズ群で構成されている。なお、簡単のため、図1では撮像レンズ11を1枚のレンズとして図示している。
【0028】
レンズ駆動部12は、制御部20の指示に応じてレンズ駆動信号を発生し、撮像レンズ11を光軸方向に移動させてフォーカス調整やズーム調整を行うと共に、撮像レンズ11を通過した光束による被写体像を撮像素子14の受光面に形成する。
【0029】
絞り13は、制御部20の指示に応じてその開口量を調整することで、撮像素子14の受光面に到達する光束の光量を調整する。
【0030】
撮像素子14は、CCD型やCMOS型のエリアイメージセンサであり、撮像レンズ11の像空間側に配置されている。撮像素子14は、受光面に形成された被写体像を光電変換してアナログ画像信号を生成する。この撮像素子14の出力はアナログ信号処理部15に接続されている。
【0031】
アナログ信号処理部15は、制御部20の指示に応じて、撮像素子14から出力されたアナログ画像信号に対し、CDS(相関二重サンプリング)、ゲイン調整、A/D変換などのアナログ信号処理を施すと共に、処理後の画像信号を出力する。また、アナログ信号処理部15は、制御部20の指示に基づいてゲイン調整の調整量を設定し、それによってISO感度に相当する撮影感度の調整を行う。なお、アナログ信号処理部15の出力はバッファメモリ17に接続されている。
【0032】
TG16は、制御部20の指示に基づき撮像素子14およびアナログ信号処理部15に対してタイミングパルスを供給する。撮像素子14およびアナログ信号処理部15の駆動タイミングはそのタイミングパルスによって制御される。
【0033】
バッファメモリ17は、アナログ信号処理部15から出力される画像信号を画像データとして一時的に記憶する。また、バッファメモリ17は、制御部20による処理の過程で作成された画像データを一時的に記憶する。
【0034】
画像処理部18は、制御部20の指示に応じて、バッファメモリ17の画像データに対し、ホワイトバランス調整、色分離(補間)、ガンマ補正などの画像処理を施す。なお、画像処理部18は、ASICなどとして構成される。
【0035】
圧縮/復号部19は、制御部20の指示に応じて、画像データに圧縮処理を施す。なお、圧縮処理は、JPEG(Joint Photographic Experts Group)形式などによって行われる。
【0036】
測光部21は、制御部20の指示に応じて、バッファメモリ17に記録された画像データに基づき、多分割測光(マルチパターン測光)、中央部重点測光、スポット測光などの公知の測光方式により被写体や撮影シーン全体の明るさや撮影シーンの明るさ分布を示す評価値を算出する。
【0037】
モニタ22は、デジタルカメラ筐体の背面などに設けられたLCDモニタや、接眼部を備えた電子ファインダなどであり、制御部20の指示に応じて、撮影画像などの各種の画像やデジタルカメラが必要とする情報をユーザーに入力させるためのGUI画面等を表示する。
【0038】
記録媒体23には、制御部20によって、撮影画像の画像データ等が記録される。なお、記録媒体23は、半導体メモリを内蔵したメモリカードや、小型のハードディスクなどである。
【0039】
発光部24は、制御部20の指示に基づき、デジタルカメラ筐体に設けられたエレクトロニックフラッシュ等を駆動して、被写体を照明するためのストロボ光を被写界に向けて発光する。
【0040】
操作部25は、各種のモード設定釦、レリーズ釦などの操作部材を含み、ユーザーによる部材操作の内容に応じた操作信号を制御部20に送る。
【0041】
制御部20は、操作部25から送られた操作信号に応じてデジタルカメラの各部を統括制御する。例えば、デジタルカメラが撮影モードに設定されると、制御部20は、レンズ駆動部12、絞り13、アナログ信号処理部15およびTG16を駆動してスルー画像の撮影を開始する。このとき、撮像素子14はドラフトモードで駆動され、スルー画像の画像データがアナログ信号処理部15を介してバッファメモリ17へ順次記録される。制御部20は、そのスルー画像の画像データを基に、レンズ駆動部12と協働して撮像レンズ11の焦点調節制御(AF)を行う。また制御部20は、測光部21を駆動して、バッファメモリ17のスルー画像の画像データを基に撮影シーンの評価値を算出させると、その評価値に基づきアナログ信号処理部15などの設定内容を調節する。
【0042】
撮影時、制御部20は、測光部21が算出した評価値に基づき撮影条件(ストロボ発光の有無、絞り値、シャッター速度など)を決定すると共に、その決定した撮影条件の下でレンズ駆動部12、絞り13、アナログ信号処理部15およびTG16(撮影条件によっては更に発光部24も)を駆動して撮影を行う。このとき、撮像素子14はフレームモードで駆動され、撮影された撮影画像の画像データがアナログ信号処理部15を介してバッファメモリ17へ記録される。この記録の後、制御部20は、画像処理部18および圧縮/復号部19を駆動して、バッファメモリ17に記録された撮影画像の画像データに対し画像処理および圧縮処理を施すと共に、それら処理後の画像データを記録媒体23へ記録する。
【0043】
また、デジタルカメラが画像再生モードに設定されると、制御部20は、モニタ22を駆動して、記録媒体23に記録された撮影画像等の内容をLCDモニタなどに表示させる。
【0044】
以下、本実施形態のデジタルカメラのボカシ処理の動作を、図2の流れ図を参照して説明する。図2のフローチャートは、例えば、ユーザーがデジタルカメラのモードを「背景ボカシ処理モード」に設定して撮影を行った場合に実行される。
【0045】
ステップ101:制御部20は、測光部21が算出した評価値に基づき撮影条件(ストロボ発光の有無、絞り値、シャッター速度など)を決定する。
【0046】
ステップ102:制御部20は、決定した撮影条件の下で撮影を実施する。この撮影により取得された撮影画像の画像データはバッファメモリ17に記録される。
【0047】
ステップ103:制御部20は、バッファメモリ17の撮影画像から被写体の領域(被写体領域)と被写体以外の領域とを分離する。ここで、被写体以外の領域は、例えば背景の領域(背景領域)であるものとする。また、被写体領域と背景領域の分離には、例えば「特願2007−096724」などの従来の被写体抽出技術を利用することができる。なお、この被写体抽出技術を利用してそれらの領域の分離を行う場合には、上記ステップ102で撮影画像を撮影するときに、もう一枚別の画像(予備画像)を撮影しておく。但し、撮影時の撮影シーンが、例えば、明るく且つ順光撮影である場合、その予備画像の撮影は、撮影画像と同じ撮影条件で、かつストロボ光を強制的に発光させて実施する。そして、本ステップ103で、それら撮影画像と予備画像との輝度比較(輝度差または輝度比の比較)を行い、その結果に基づいて撮影画像から被写体領域と背景領域とを分離すればよい。
【0048】
ステップ104:制御部20は、上記ステップ101で決定した撮影条件のストロボ発光の有無の情報を撮影シーンの明るさの情報とし、その情報に基づき撮影シーンの明るさ、即ち撮影シーンが「明るい」か又は「暗い」かを判定する。具体的には、ストロボ発光の有無の情報が「ストロボ発光無し」の場合、制御部20は撮影シーンが「明るい」と判定(Yes側)してステップ105へ移行する。一方、ストロボ発光の有無の情報が「ストロボ発光有り」の場合には、制御部20は撮影シーンが「暗い」と判定(No側)してステップ106へ移行する。
【0049】
ステップ105:制御部20は、分離した背景領域に対して明るいシーン用のボカシ処理を施す。そして、そのボカシ処理が終わると、制御部20はステップ107へ移行する。
【0050】
ステップ106:制御部20は、分離した背景領域に対して暗いシーン用のボカシ処理を施す。
【0051】
ここで、明るいシーン用のボカシ処理と暗いシーン用のボカシ処理について説明する。
【0052】
画像(本実施形態では撮影画像の背景領域)にボカシ処理を施す場合、画像中の輝点のボカシ方が重要となる。なぜならば、その輝点のボカシ具合が画像全体の印象を左右することが多いからである。また、好適なボカシ具合の画像を得るためには、撮影シーンが明るい場合(例えば、晴れた日の昼間の屋外で撮影する場合など)と暗い場合(例えば、夜景を撮影する場合など)とで輝点のボカシ方(ボカシ度合い)を変更する必要がある。
【0053】
例えば、図3(a)に示すような、晴れた日の昼間に人物を撮影した画像では、背景中の白い花畑(2a)の部分が輝点となるが、このような撮影シーンが明るい場合の画像では、輝点(白い花畑)の部分の輪郭が不明瞭となるようにボカシが行われることが好まれる。そのようにしないと、輝点が浮き出したようになり、違和感を覚えるからである。
【0054】
一方、図3(b)に示すような、人物を夜景ポートレート撮影した画像では、背景中の街灯(2b)の部分が輝点となるが、このような撮影シーンが暗い場合の画像では、輝点の部分が円状に広がるように、即ち輝点(街灯)の部分の輪郭が明瞭となるようにボカシが行われることが好まれる。そのようにしないと、輝点がぼやけてしまい、違和感を覚えるからである。
【0055】
このため、ボカシ具合に違和感の無い画像を得るために、撮影シーンが明るい場合に行うボカシ処理(明るいシーン用のボカシ処理)では、図4(a)に示すように、画像中の輝点(輝点1)の領域に対しては、その輝点(輝点1)の領域の中心位置の輝度と略同等の輝度となる領域(等輝度領域)を狭く、かつ等輝度領域の周辺部分の領域の輝度変化を緩やかとするようにボカシを行う(輝点2)。
【0056】
また、撮影シーンが暗い場合に行うボカシ処理(暗いシーン用のボカシ処理)では、図4(b)に示すように、画像中の輝点(輝点1)の領域に対しては、その輝点(輝点1)の領域の中心位置の輝度と略同等の輝度となる領域(等輝度領域)を広く、かつ等輝度領域の周辺部分の領域の輝度変化を急峻とするようにボカシを行う(輝点3)。
【0057】
このように、撮影シーンが明るい場合と暗い場合とでそれぞれボカシ方(ボカシ度合い)が異なる専用のボカシ処理を画像(本実施形態では撮影画像の背景領域)に施すことで、如何なる撮影シーンにおいても、違和感の無い、撮影シーンに好適なボカシ具合の画像が得られるようになる。
【0058】
なお、ボカシ処理は、例えば、画像に対して点広がり関数を用いた畳み込み演算を施すことにより実行される。
【0059】
また、上述の明るいシーン用のボカシ処理、暗いシーン用のボカシ処理といったようなボカシ方の変更は、異なる点広がり関数を用いることによって実行される。
【0060】
また、点広がり関数の代わりに、ローパスフィルタ等の種々のデジタルフィルタを用いても、同様のボカシ処理を施すことができる。
【0061】
ステップ107:制御部20は、モニタ22を駆動して、背景部分にボカシがかかった撮影画像をLCDモニタ等に表示させる。これにより、ユーザーは、その撮影画像の出来映えを確認することができる。
【0062】
ステップ108:制御部20は、圧縮/復号部19を駆動して、背景部分にボカシがかかった撮影画像に対して圧縮処理を施させると共に、圧縮された画像を記録媒体23へ記録する。
【0063】
なお、より見た目が良好なボカシ具合の画像を得るためには、画像(本実施形態では撮影画像の背景領域)に対してボカシ処理を施す際に、以下の(1)〜(4)の何れかの処理を適用することが好ましい。
(1)ガンマ補正により生じるボカシの違和感を軽減する処理
一般的に、モニタやプリンタ等の出力装置は非線形のγ特性を有しているので、デジタルカメラ内では、人間の目に好適な階調特性の画像を得るために、出力装置との総合的なγ特性を線形(γ=1)とするように画像に対してガンマ補正を施している。このため、ガンマ補正後の画像は、出力装置とは逆のγ特性を有することとなる(図5参照)。
【0064】
このように、デジタルカメラにより撮影される画像は非線形のγ特性を有するので、撮影された画像に対して点広がり関数を用いた畳み込み演算処理、即ちボカシ処理を施すと、ボカシ処理の前後で画像の輝度情報が維持されないという問題が生じる。そのため、結果として、一眼レフカメラで撮影された画像に見られるようなレンズ効果によるボカシのかかった画像に比べて、輝点の明るさに違和感のある画像が作成されてしまう。なお、レンズ効果によるボカシとは、カメラの絞りの開度やレンズの焦点距離を調整して被写界深度を浅くすることにより、撮影される画像の背景などに光学的にボカシを行うことを指す。
【0065】
そこで、ボカシ処理の際には、デジタルカメラ内で非線形にガンマ補正された画像の輝度成分を、その色成分とは異なる増幅率で増幅することが望ましい。
【0066】
例えば、上述のとおり非線形にガンマ補正された画像に対してボカシ処理を施した後で、そのボカシ処理後の画像の色空間をRGB色空間からYCbCr色空間へ変換すると共に、変換後の画像の画像信号を輝度成分(Y信号)と色差成分(Cb信号およびCr信号)とに分離する。そして、Y信号,Cb信号,Cr信号の各々についてボカシ処理を施した後でY信号のみを増幅する。このとき、Y信号の増幅は、ボカシ処理の前後で画像の輝度成分のレベルが略同等になる増幅率で行うようにする。このように、ボカシ処理の前後で輝度成分のレベルが維持されるような増幅率でY信号を増幅することによって、ボカシ処理後の画像中の輝点の明るさをレンズ効果によるボカシのかかった画像中のそれと略同等のレベルにすることができるので、ガンマ補正により生じるボカシの違和感を軽減することができる。なお、この方法によれば、画像信号を輝度成分の信号(Y信号)と色差成分の信号(Cb信号,Cr信号)とに分離し、そのうちの1つの信号(Y信号)のみを増幅して画像の輝度成分を好ましいレベルに補正するので、3つの信号(R信号,G信号,B信号)を用いて輝度成分を補正する場合と比べると、処理負荷を低減させることができる。
【0067】
なお、上記では、画像にボカシ処理を施した後にその画像の輝度成分を増幅する例を説明したが、これに限定されず、画像の輝度成分を増幅した後にその画像にボカシ処理を施すようにしてもよい。
(2)ホワイトクリップにより生じるボカシの違和感を軽減する処理1
図6は、ホワイトクリップされた輝点を含む画像に対してボカシ処理を施す場合の画像の輝度分布の変化を説明する図である。なお、ホワイトクリップとは、デジタルカメラの撮影画像において、撮像素子のダイナミックレンジを超える輝度部分をクリップする機能のことを指す。
【0068】
図6(a)は、ボカシ処理を施す前の画像の輝度分布を示している。図6(a)では、簡単のため、画像には、ホワイトクリップレベル以上の信号レベルを有する輝点A1とホワイトクリップレベル未満の信号レベルを有する輝点B1とが含まれ、画像の輝点A1と輝点B1以外の部分は、信号レベルが極めて低いものと仮定する。なお、信号レベルとは、輝点の明るさ(輝度)を表すものであり、信号レベルが高いと輝点は明るくなり、信号レベルが低いと輝点は暗くなる。また、このような画像は、例えば、明るさの異なる2つの輝点を含む夜景のようなシーンを撮影した場合に取得される画像である。
【0069】
デジタルカメラでは、図6(a)の輝点A1のような撮像素子のダイナミックレンジを超える輝度を有する部分は、ホワイトクリップされてしまい、ホワイトクリップレベル以上の輝度情報が失われてしまう。
【0070】
ここで、レンズ効果によってボカシを行う場合について考える。
【0071】
図7は、レンズ効果によってボカシを行う場合に撮影される画像の輝度分布の変化を説明する図である。図7(a)は、デジタルカメラのレンズに入射した被写界からの光束の輝度分布を示している。なお、この場合も簡単のため、被写界には2つの輝点(A1’およびB1’)が含まれるものと仮定する。
【0072】
図7(a)に示すように、輝点A1’の光束は撮像素子のダイナミックレンジを超える輝度を有しているが、輝点A1’の光束による被写体像はレンズ効果によってボカシが行われた後に撮像素子の受光面に形成されるので、被写体像の画像を撮影したときにはその信号レベルは図7(b)の輝点A2’のようにホワイトクリップレベル未満となる。このため輝度情報が失われない。
【0073】
ところが、画像処理としてボカシを施す場合は、ホワイトクリップにより輝度情報が失われた輝点A1(図6(a))を含む画像に対してボカシ処理を施すことになるため、輝点A1のボカシ処理後の状態を示す輝点A2(図6(b))は、レンズ効果によりボカシを行った場合と比べて、失われた輝度情報の分だけ信号レベルが低下して暗くなってしまう。
【0074】
そこで、信号レベルが低下した輝点A2の画像信号に対して、図6(c)に示すような増幅処理を行うことが望ましい。そうすることで、輝点A2の信号レベルを図6(c)に示す輝点A3のように高めることができる。なお、輝点A2の画像信号の増幅は、予め定められた増幅率またはユーザーに指定させた増幅率で行うようにする。その結果、ホワイトクリップにより生じるボカシの違和感を軽減することができ、見た目に好ましいボカシがされた画像を作成することができる。
【0075】
なお、上記では、ボカシ処理後の画像中の輝点の画像信号に対して増幅処理を行う例を説明したが、これに限定されず、ボカシ処理前の画像中の輝点の画像信号を増幅した後で、画像にボカシ処理を施すようにしてもよい。
(3)ホワイトクリップにより生じるボカシの違和感を軽減する処理2
この(3)の処理は、前述の(2)の処理による効果の度合い、即ちボカシの違和感を軽減する度合いを更に高めるためのものである。
【0076】
図8は、ホワイトクリップされた輝点を含む画像に対してボカシ処理を施す場合の画像の輝度分布の変化を説明する図である。
【0077】
図8(a)は、ボカシ処理を施す前の画像の輝度分布を示している。図8(a)では、簡単のため、画像には、ホワイトクリップレベル以上の信号レベルを有し、かつ領域の面積が異なる3つの輝点(C1,D1,E1)が含まれるものと仮定する。また、画像中のそれら3つの輝点以外の部分は、信号レベルが極めて低いものと仮定する。
【0078】
一般的に、同一の輝度を有する被写体をデジタルカメラで撮影する場合、デジタルカメラと被写体との距離が近くなるほど、撮影された画像においては被写体が占める領域の面積が大きくなり、かつ、その輝度も高くなる。この原理から、図8(a)の3つの輝点は、その領域の面積が大きいほど、ホワイトクリップによって失われた輝度情報の量が大きくなると推測できる。すなわち、図8(a)の3つの輝点は、画像に占める領域の面積が「輝点C1 < 輝点E1 < 輝点D1」の順に大きいため、ホワイトクリップによって失われた輝度情報の量も「輝点C1 < 輝点E1 < 輝点D1」の順に大きくなると推測できる。また、このような推測から、図8(a)の3つの輝点についてレンズ効果によりボカシが行われた場合を考えると、それらを撮影した画像中において各輝点の信号レベルは「輝点C1 < 輝点E1 < 輝点D1」の順に大きくなるものと考えられる。
【0079】
ところが、それら3つの輝点を含む画像に対してボカシ処理を施す場合は、いずれの輝点もホワイトクリップにより輝度情報が失われているので、輝点C1,D1,E1(図8(a))のボカシ処理後の状態を示す輝点C2,D2,E2(図8(b))は、いずれも、レンズ効果によりボカシを行った場合と比べて、失われた輝度情報の分だけ信号レベルが低下して暗くなってしまう。
【0080】
そこで、信号レベルが低下した輝点C2,D2,E2の各領域の画像信号に対して、図8(c)に示すような増幅処理を行うことが望ましい。但し、その増幅処理は、ホワイトクリップされた輝点C1,D1,E1(図8(a))の各領域の面積の大きさに応じて決定した増幅率で行う。例えば、輝点C1,D1,E1の各領域の面積は「輝点C1 < 輝点E1 < 輝点D1」の順に大きいので、ボカシ処理後の輝点C2,D2,E2(図8(b))に対する増幅処理の増幅率を「輝点C2の増幅率=小、輝点E2の増幅率=中、輝点D2の増幅率=大」として決定する。そして、輝点C2,D2,E2の各領域の画像信号に対して、それら決定した増幅率でそれぞれ増幅処理を行う。そうすることで、信号レベルが低下した輝点C2,D2,E2の信号レベルを図8(c)に示す輝点C3,D3,E3のように高めることができ、ホワイトクリップにより生じるボカシの違和感を更に軽減することができる。
【0081】
このように、ホワイトクリップされた輝点の領域の面積の大きさに応じて増幅率を変更し、その増幅率でボカシ処理後の当該輝点の領域の画像信号に増幅処理を施すことにより、画像処理としてボカシ処理を施す場合においても、レンズ効果によってボカシを行った場合により近い画像を作成することができる。
【0082】
なお、上記では、ボカシ処理後の画像中の輝点領域の画像信号に対して増幅処理を行う例を説明したが、これに限定されず、ボカシ処理前の画像中の輝点領域の画像信号を増幅した後で、画像にボカシ処理を施すようにしてもよい。
(4)ボカシの違和感を更に改善するための処理
ボカシ処理を画像に施すと、画像の信号レベルが平均化される方向にシフトする。つまり、図9(a)に示す輝点F1,G1のような画像中の高輝度信号は、ボカシ処理後には信号レベルが下がり、それぞれ図9(b)に示す輝点F2,G2のような状態となる。また、図9(a)の輝点F1,G1以外の部分が示すような画像中の低輝度信号は、ボカシ処理後には信号レベルが上がり、図9(b)の輝点F2,G2以外の部分が示すような状態となる。このため、ボカシ処理が施された画像はコントラストが低くなり、リアルさの無い、見た目に映えない画像となる。
【0083】
そこで、ボカシ処理後の画像に対して、図9(c)に示すようなコントラスト強調処理を施すことが望ましい。但し、コントラスト強調処理では、例えば図10に示すようなトーンカーブによる階調処理を施す。つまり、ボカシ処理による信号レベルの変化と反対になるように、ボカシ処理後の画像に含まれる輝点F2,G2(図9(b))のような高輝度信号(信号レベルの高い信号)に対しては、図9(c)に示す輝点F3,G3のような状態となるようにそれぞれゲイン増幅して信号レベルを上げるための階調処理を施す。また、ボカシ処理後の画像に含まれる図9(b)の輝点F2,G2以外の部分が示すような低輝度信号(信号レベルの低い信号)に対しては、図9(c)の輝点F3,G3以外の部分が示すような状態となるようにゲイン抑制して信号レベルを下げるための階調処理を施す。そうすることで、ボカシ処理によって信号レベルを下げられた輝点F2,G2(夜の街灯のように、本来は明るくあって欲しい部分)は、それぞれゲイン増幅されて、図8(c)に示す輝点F3,G3のように本来のあるべき明るさに近づけられる。また、ボカシ処理によって信号レベルを上げられた輝点F2,G2以外の部分(夜景の黒のように、本来は暗くあって欲しい部分)は、ゲイン抑制されて、図8(c)の輝点F3,G3以外の部分が示すように本来のあるべき暗さに近づけられる。その結果、ボカシの違和感が更に改善されて、より現実に近く、見た目に映える画像を作成することができる。
【0084】
なお、上述したコントラスト強調処理は、図10に例示したトーンカーブに限定されず、高輝度信号をゲイン増幅し、かつ低輝度信号をゲイン抑制する手法であれば、いかなる手法であっても構わない。
【0085】
また、コントラスト強調処理に使用するトーンカーブは、予め用意した複数のトーンカーブの中からユーザーに選択させるようにしてもよい。また、テンプレートとなるトーンカーブを予め用意しておき、そのテンプレートを基にユーザーにトーンカーブの内容を自由に調整させるようにして、コントラスト強調処理に使用するトーンカーブをユーザーに作成させるようにしてもよい。
【0086】
なお、上記(1)〜(4)の処理は、それぞれ単独で実施しても良く、二つ以上の処理を組み合わせて実施しても良い。
【0087】
(第1実施形態の作用効果)
以上、第1実施形態のデジタルカメラでは、測光の評価値に基づき撮影条件が決定され、その撮影条件を基に判定した撮影シーンの明るさに応じて、撮影画像に施すボカシ処理が変更される。そして、撮影画像(本実施形態では撮影画像の背景領域)に対して、当該ボカシ処理が施される。
【0088】
この場合、ボカシ処理後の撮影画像の背景領域には、撮影シーンの明るさに応じた最適なボカシがかけられている。なお、このようなボカシのかかった撮影画像は、主要な被写体が際立った、見た目に映える絵作りの撮影画像である。
【0089】
例えば、第1実施形態のデジタルカメラは、撮影シーンの明るさを判定し、撮影シーンが「明るい」場合には、撮影画像に施すボカシ処理を明るいシーン用のボカシ処理に変更する。一方、撮影シーンが「暗い」場合には、撮影画像に施すボカシ処理を暗いシーン用のボカシ処理に変更する。そして、第1実施形態のデジタルカメラは、撮影画像(本実施形態では撮影画像の背景領域)に対して、当該ボカシ処理を施す。
【0090】
このように、第1実施形態のデジタルカメラでは、撮影画像(本実施形態では撮影画像の背景領域)に施すボカシ処理が、撮影シーンの明るさに応じて最適なものに変更される。
【0091】
したがって、いかなる撮影シーンにおいても、撮影シーンに最適なボカシがかかった撮影画像を確実に取得することが可能になる。
【0092】
(第2実施形態)
以下、本発明の第2実施形態を説明する。本実施形態も、デジタルカメラの実施形態である。なお、以下の説明では、第1実施形態と共通するデジタルカメラの構成要素については同一符号を付して重複説明を省略する。
【0093】
第1実施形態では、測光の評価値に基づき決定した撮影条件を基に撮影シーンの明るさを判別し、その撮影シーンの明るさに応じたボカシ処理を撮影画像(第1実施形態では撮影画像の背景領域)に対して施す。一方、第2実施形態では、ユーザーが選択した撮影モード(シーンモード)の種類を判別し、そのシーンモードの種類から推定される撮影シーンの明るさに応じたボカシ処理を撮影画像に対して施す。
【0094】
ここで、シーンモードとは、露出やカラー設定など、撮影のための各種条件(撮影条件)が各撮影シーンに合わせて予め最適な内容に決定されている撮影モードのことであり、その代表的な種類には、ポートレートモード、逆光モード、クローズアップモード、夜景ポートレートモードなどがある。
【0095】
この、ユーザーが選択したシーンモードの種類をデジタルカメラで検知すれば、ユーザーが撮影しようとしているシーン(ここでは、撮影シーンが「明るい」か又は「暗い」か、即ち撮影シーンの明るさ)を推定することができる。すなわち、選択されたシーンモードの種類が「ポートレートモード」、「逆光モード」、「クローズアップモード」の何れかであれば、撮影シーンが「明るい」と推定でき、またシーンモードの種類が「夜景ポートレートモード」であれば、撮影シーンが「暗い」と推定できる。これにより、シーンモードの種類から推定される撮影シーンの明るさに応じて、撮影画像に施すボカシ処理を変更すれば、各撮影シーンにとって好適なボカシ具合の画像を作成することができる。
【0096】
以下、この動作について、図11の流れ図を参照して説明する。図11のフローチャートは、例えば、ユーザーがデジタルカメラのモードを「背景ボカシ処理モード」に設定して撮影を行った場合に実行される。なお、本実施形態のステップ206、207、209及び210の処理については、第1実施形態のステップ105、106、107及び108の処理と同一であるため重複説明を省略する。
【0097】
ステップ201:制御部20は、ユーザーによりシーンモードが選択されているか否かを判定する。シーンモードが選択されている場合(Yes側)には、制御部20はステップ202へ移行する。一方、シーンモードが選択されていない場合(No側)には、制御部20はステップ214へ移行する。
【0098】
ステップ202:制御部20は、選択されたシーンモード用の撮影条件の下で撮影を実施する。この撮影により取得された撮影画像の画像データはバッファメモリ17に記録される。
【0099】
ステップ203:制御部20は、選択されたシーンモードの種類が「ポートレートモード」、「逆光モード」、「クローズアップモード」、「夜景ポートレートモード」の何れかであるかを判定する。これら4つのうちの何れかである場合(Yes側)には、制御部20はステップ204へ移行する。一方、これら以外のシーンモードである場合(No側)には、制御部20はステップ211へ移行する。
【0100】
ステップ204:制御部20は、バッファメモリ17の撮影画像から被写体の領域(被写体領域)と被写体以外の領域とを分離する。ここで、被写体以外の領域は、例えば背景の領域(背景領域)であるものとする。また、被写体領域と背景領域の分離には、例えば「特願2007−096724」などの従来の被写体抽出技術を利用することができる。なお、この被写体抽出技術を利用してそれらの領域の分離を行う場合には、上記ステップ202で撮影画像を撮影するときに、もう一枚別の画像(予備画像)を撮影しておく。但し、選択されたシーンモードが、例えば、「夜景ポートレートモード」である場合、その予備画像の撮影は、撮影画像と同じ撮影条件、即ち「夜景ポートレートモード」用の撮影条件で、かつストロボ光を強制的に発光さないようにして実施する。そして、本ステップ204で、それら撮影画像と予備画像との輝度比較(輝度差または輝度比の比較)を行い、その結果に基づいて撮影画像から被写体領域と背景領域とを分離すればよい。
【0101】
ステップ205:制御部20は、選択されたシーンモードの種類が「ポートレートモード」、「逆光モード」、「クローズアップモード」の何れかであるかを判定する。これら3つのうちの何れかである場合(Yes側)には、制御部20は、撮影シーンが「明るい」と推定して、明るいシーン用のボカシ処理を施すためにステップ206へ移行する。一方、これら以外のシーンモード、即ち「夜景ポートレートモード」である場合(No側)には、制御部20は、撮影シーンが「暗い」と推定して、暗いシーン用のボカシ処理を施すためにステップ207へ移行する。
【0102】
ステップ208:制御部20は、分離した背景領域に対してコントラスト強調処理を施す。なお、背景領域には、ステップ206またはステップ207での処理により、シーンモードの種類から推定された撮影シーンの明るさに応じたボカシ処理、すなわち、明るいシーン用のボカシ処理または暗いシーン用のボカシ処理の何れかの処理が施されている。また、コントラスト強調処理には、第1実施形態で説明した上述の(4)の処理を適用する。
【0103】
ステップ211:制御部20は、選択されたシーンモードの種類が「ポートレートモード」、「逆光モード」、「クローズアップモード」、「夜景ポートレートモード」の何れでもない場合には、「背景ボカシ処理の対象外のシーンモードである」旨をユーザーに警告した後に、処理を終了する。ユーザーへの警告は、例えば、背景ボカシ処理の対象外のシーンモードが選択されている旨のメッセージをモニタ22に表示させることにより行う。
【0104】
ステップ212:制御部20は、モニタ22を駆動して、バッファメモリ17の撮影画像(ボカシ処理は施されていない)をLCDモニタ等に表示させる。これにより、ユーザーは、その撮影画像の出来映えを確認することができる。
【0105】
ステップ213:制御部20は、圧縮/復号部19を駆動して、バッファメモリ17の撮影画像(ボカシ処理は施されていない)に対して圧縮処理を施させると共に、圧縮された画像を記録媒体23へ記録する。
【0106】
ステップ214:制御部20は、シーンモードが選択されていない場合には、第1実施形態で説明した図2のフローのステップ101〜ステップ106の処理を実施して、撮影画像に対して撮影シーンの明るさに応じたボカシ処理を施す。なお、ボカシ処理は、例えば、撮影画像の背景領域に対して施すこととする。そして、そのボカシ処理が終わると、制御部20はステップ208へ移行する。
【0107】
なお、より見た目が良好なボカシ具合の画像を得るためには、画像(本実施形態では撮影画像の背景領域)に対してボカシ処理を施す際に、第1実施形態で説明した上述の(1)〜(3)の一つ以上の処理を適用することが好ましい。
【0108】
(第2実施形態の作用効果)
以上、第2実施形態のデジタルカメラでは、撮影画像に施すボカシ処理が、ユーザーが選択した撮影モード(シーンモード)の種類に応じて変更される。そして、撮影画像(本実施形態では撮影画像の背景領域)に対して、当該ボカシ処理が施される。
【0109】
この場合、ボカシ処理後の撮影画像の背景領域には、シーンモードの種類に応じた最適なボカシがかけられている。なお、このようなボカシのかかった撮影画像は、主要な被写体が際立った、見た目に映える絵作りの撮影画像である。
【0110】
例えば、第2実施形態のデジタルカメラは、ユーザーがシーンモードとして「ポートレートモード」、「逆光モード」、「クローズアップモード」の何れかを選択した場合には、撮影シーンが「明るい」と推定して、撮影画像に施すボカシ処理を明るいシーン用のボカシ処理に変更する。一方、ユーザーがシーンモードとして「夜景ポートレートモード」を選択した場合は、撮影シーンが「暗い」と推定して、撮影画像に施すボカシ処理を暗いシーン用のボカシ処理に変更する。そして、第2実施形態のデジタルカメラは、撮影画像(本実施形態では撮影画像の背景領域)に対して、当該ボカシ処理を施す。
【0111】
このように、第2実施形態のデジタルカメラでは、撮影画像(本実施形態では撮影画像の背景領域)に施すボカシ処理が、ユーザーが選択したシーンモードの種類から推定された撮影シーンの明るさに応じて最適なものに変更される。
【0112】
したがって、ユーザーが撮影しようとしている撮影シーンにとって最適なボカシがかかった撮影画像を確実に取得することが可能になる。
【0113】
さらに、第2実施形態のデジタルカメラでは、撮影画像(本実施形態では撮影画像の背景領域)に対して、ボカシ処理が施された後に、コントラスト強調処理が施される。
【0114】
この場合、ボカシ処理によって信号レベルを下げられた撮影画像の背景領域に含まれる輝点の明るさが、ゲイン増幅により本来のあるべき明るさに近づけられる。また、ボカシ処理によって信号レベルを上げられた撮影画像の背景領域のうち輝点以外の部分の明るさが、ゲイン抑制により本来のあるべき暗さに近づけられる。
【0115】
したがって、ボカシ処理によって生じたボカシの違和感が更に改善されて、より現実に近く、見た目に映える撮影画像を確実に取得することが可能になる。
【0116】
(その他)
なお、第1実施形態のステップ103(第2実施形態ではステップ204)においては、撮影画像から被写体と背景を分離するための手法として、従来技術の「ストロボ発光画像とストロボ非発光画像との輝度比較に基づく被写体抽出技術」を利用する例を示したが、利用可能な被写体抽出の方法はこれに限定されない。例えば、焦点距離や合焦状態の異なる複数のフレーム(画像)に基づく方法、空間周波数解析に基づく方法、顔認識に基づく方法、肌色等の特定色に基づく方法、エッジ情報に基づく方法など、従来の被写体抽出技術から任意のものを利用することができる。
【0117】
また、第1実施形態のステップ104の説明では、測光部21が算出した評価値に基づいて撮影シーンの明るさを判定する自動判定の例を示したが、判定の方法はこれに限定されず、撮影シーンの明るさをユーザーの入力操作に基づいて判定する手動判定であってもよい。
【0118】
また、第1実施形態のステップ103以降の処理および第2実施形態のステップ204〜210の処理は、デジタルカメラが画像再生モードなどの非撮影モードに設定された時に実行するようにしても良い。そうした場合、第1実施形態のステップ103または第2実施形態のステップ204で得られた被写体と背景の分離情報と、第1実施形態のステップ101で得られた撮影条件(この撮影条件を基に撮影シーンの明るさが判定される)又は第2実施形態のステップ201で得られた撮影モード(シーンモード)の種類を、撮影画像と共に画像ファイルとして記録媒体23へ記録する。なお、その画像ファイルがExif規格の形式に基づくものであれば、被写体と背景の分離情報と、撮影条件又は撮影モード(シーンモード)の種類とは、画像ファイルのメーカーノート(MakerNote)タグなどの情報として記録する。そして、デジタルカメラが画像再生モードなどに設定された時に、記録媒体23に記録した当該画像ファイルを読み出して、第1実施形態のステップ103以降の処理および第2実施形態のステップ204〜210の処理を実行するとよい。あるいは、この、当該画像ファイルを読み出して行う処理については、デジタルカメラが実行するかわりにコンピュータなどの外部処理装置に実行させてもよい。
【0119】
また、第1実施形態のステップ107(第2実施形態ではステップ209)において、ボカシ処理後の画像をLCDモニタ等に表示させた後に、ユーザーからボカシ処理のやり直しの指示を受け付けるようにしてもよい。なお、その受け付けの際には、ユーザーに、上述したボカシの違和感を軽減又は改善する処理に用いるパラメータ、即ち(1)の処理ではY信号の増幅率、(2)の処理では輝点の画像信号の増幅率、(3)の処理では輝点の各領域の画像信号の増幅率、また(4)の処理ではコントラスト強調処理に用いるトーンカーブを指定させるようにする。そして、ユーザーがやり直しを指示した場合には、ユーザーが指定した上記のパラメータを用いて、再度、第1実施形態のステップ105または106(第2実施形態ではステップ206または207)から処理を実行し直して、ボカシ処理をやり直すようにしてもよい。さらに、このような処理は、ユーザーが望む結果が得られるまで繰り返して実行してもよい。そうすることで、ユーザーが望む、演出性の高い、より効果的な絵作りの画像を作成することができる。
【0120】
また、第2実施形態では、シーンモードの種類として、「ポートレートモード」、「逆光モード」、「クローズアップモード」、「夜景ポートレートモード」の4つのシーンモードについて説明したが、シーンモードの種類はこの4種類に限定されない。
【0121】
また、上記では、撮影画像から被写体と背景を分離して、その背景にのみボカシ処理を施す例を示したが、被写体と前景を分離したり、被写体,背景,及び前景を同時に分離して、被写体,背景,前景の一つ以上に対してボカシ処理を施すようにしてもよい。なお、それらの二つ以上に対してボカシ処理を施す場合は、ボカシの強度をそれぞれで変えるようにして施すとよい。例えば、被写体と背景にボカシ処理を施す場合、被写体に対しては背景よりも低い強度でボカシ処理を施すとよい。
【0122】
また、上述した撮影画像の背景領域に対するボカシ処理と併せて、被写体領域に対し、明るさ補正処理、彩度補正処理、コントラスト強調処理、鮮鋭化処理などの各種の画像処理を施すようにすれば、より被写体を際立たせることができ、演出性の高い絵作りの画像を作成することができる。
【0123】
また、撮影シーンの明るさ又は撮影モード(シーンモード)の種類に応じたボカシ処理の変更の手法は、図2および図11のフローチャートに示した内容に限定されない。
【図面の簡単な説明】
【0124】
【図1】本発明のデジタルカメラのブロック図である。
【図2】第1実施形態のデジタルカメラのボカシ処理の動作を示す流れ図である。
【図3】撮影画像中の輝点のイメージを示す図である。
【図4】明るいシーンと暗いシーンとでのボカシ処理の違いを示す図である。
【図5】デジタルカメラにより撮影される画像のγ特性を示す図である。
【図6】ホワイトクリップにより生じるボカシの違和感を軽減する処理(処理1)を説明する図である。
【図7】レンズ効果によりボカシを行う場合の画像の輝度分布の変化を示す図である。
【図8】ホワイトクリップにより生じるボカシの違和感を軽減する処理(処理2)を説明する図である。
【図9】ボカシの違和感を更に改善する処理を説明する図である。
【図10】コントラスト強調処理に用いるトーンカーブの例を示す図である。
【図11】第2実施形態のデジタルカメラのボカシ処理の動作を示す流れ図である。
【符号の説明】
【0125】
11…撮像レンズ,12…レンズ駆動部,13…絞り,14…撮像素子,15…アナログ信号処理部,16…タイミングジェネレータ(TG),17…バッファメモリ,18…画像処理部,19…圧縮/復号部,20…制御部,21…測光部,22…モニタ,23…記録媒体,24…発光部,25…操作部,26…バス
【技術分野】
【0001】
本発明は、カメラにより撮影された撮影画像の画像処理を行う画像処理装置、画像処理プログラムおよびそれらを備えたデジタルカメラに関する。
【背景技術】
【0002】
人物撮影や接写撮影などのように主要な被写体が存在するシーンを撮影する場合には、主要な被写体をできるだけ際立たせた絵作りの撮影画像が取得できることが望ましい。
【0003】
撮影画像の主要な被写体を際立たせる従来技術の一例として、例えば特許文献1には、主要な被写体を際立たせるために撮影画像の背景にボカシをかける技術が開示されている。
【特許文献1】特開2000−307935号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、従来技術では、撮影シーンによっては、撮影画像に対して最適にボカシをかけることができなかった。その結果、主要な被写体が際立った、見た目に映える絵作りの撮影画像を取得することができなかった。
【0005】
本発明は、上記従来技術の課題を解決するためのものである。本発明は、いかなる撮影シーンにおいても、撮影シーンに最適なボカシがかかった画像を取得することができる、画像処理装置、画像処理プログラムおよびデジタルカメラを提供することを目的とする。
【課題を解決するための手段】
【0006】
第1の発明の画像処理装置は、撮影画像から被写体の領域(A領域)と被写体以外の領域(B領域)とを分離する分離手段と、分離手段が分離したA領域とB領域のうち、少なくともB領域を対象にしてボカシ処理を施すボカシ手段とを備える画像処理装置であって、ボカシ手段が、撮影画像の撮影時に取得した撮影シーンの明るさ又は撮影モードの種類の情報に応じてボカシ処理を変更する。
【0007】
第2の発明は、第1の発明において、ボカシ手段は、前記情報を基に撮影画像のシーンが明るいか又は暗いかを判別して、ボカシ処理を、明るい場合と暗い場合とでそれぞれ専用のボカシ処理に変更する。
【0008】
第3の発明は、第2の発明において、明るいシーン用のボカシ処理は、ボカシ処理対象領域中の輝点領域に対しては、輝点領域の中心位置の輝度と略同等の輝度となる領域(等輝度領域)を狭く、かつ等輝度領域の周辺部分の領域の輝度変化を緩やかとするようにボカシを行う。
【0009】
第4の発明は、第2または第3の発明において、暗いシーン用のボカシ処理は、ボカシ処理対象領域中の輝点領域に対しては、輝点領域の中心位置の輝度と略同等の輝度となる領域(等輝度領域)を広く、かつ等輝度領域の周辺部分の領域の輝度変化を急峻とするようにボカシを行う。
【0010】
第5の発明は、第1〜第4の発明の何れか一の発明において、ボカシ手段は、ガンマ補正後の撮影画像におけるボカシ処理が施されたボカシ処理対象領域の輝度成分を、その輝度成分のレベルがボカシ処理の実施の前と後とで略同等になる増幅率で増幅する。
【0011】
第6の発明は、第1〜第5の発明の何れか一の発明において、ボカシ手段は、ボカシ処理が施されたボカシ処理対象領域中の飽和した輝点領域の画像信号を、予め定められた増幅率で増幅する。
【0012】
第7の発明は、第1〜第6の発明の何れか一の発明において、ボカシ手段は、ボカシ処理が施されたボカシ処理対象領域中の飽和した輝点領域の画像信号を、飽和した輝点領域の面積の大きさに応じた増幅率で増幅する。
【0013】
第8の発明は、第1〜第7の発明の何れか一の発明において、ボカシ手段は、ボカシ処理が施されたボカシ処理対象領域に対してコントラスト強調処理を施す。
【0014】
第9の発明のデジタルカメラは、被写界を撮影することにより撮影画像を取得する撮影手段と、第1〜第8の発明の何れか一の発明の画像処理装置とを備える。
【0015】
第10の発明の画像処理プログラムは、撮影画像から被写体の領域(A領域)と被写体以外の領域(B領域)とを分離する分離手順と、分離されたA領域とB領域のうち、少なくともB領域を対象にしてボカシ処理を施すボカシ手順とをコンピュータに実行させる画像処理プログラムであって、ボカシ手順では、撮影画像の撮影時に取得した撮影シーンの明るさ又は撮影モードの種類の情報に応じてボカシ処理を変更する。
【0016】
第11の発明は、第10の発明において、ボカシ手順では、前記情報を基に撮影画像のシーンが明るいか又は暗いかを判別して、ボカシ処理を、明るい場合と暗い場合とでそれぞれ専用のボカシ処理に変更する。
【0017】
第12の発明は、第11の発明において、明るいシーン用のボカシ処理は、ボカシ処理対象領域中の輝点領域に対しては、輝点領域の中心位置の輝度と略同等の輝度となる領域(等輝度領域)を狭く、かつ等輝度領域の周辺部分の領域の輝度変化を緩やかとするようにボカシを行う。
【0018】
第13の発明は、第11または第12の発明において、暗いシーン用のボカシ処理は、ボカシ処理対象領域中の輝点領域に対しては、輝点領域の中心位置の輝度と略同等の輝度となる領域(等輝度領域)を広く、かつ等輝度領域の周辺部分の領域の輝度変化を急峻とするようにボカシを行う。
【0019】
第14の発明は、第10〜第13の発明の何れか一の発明において、ボカシ手順では、ガンマ補正後の撮影画像におけるボカシ処理が施されたボカシ処理対象領域の輝度成分を、その輝度成分のレベルがボカシ処理の実施の前と後とで略同等になる増幅率で増幅する。
【0020】
第15の発明は、第10〜第14の発明の何れか一の発明において、ボカシ手順では、ボカシ処理が施されたボカシ処理対象領域中の飽和した輝点領域の画像信号を、予め定められた増幅率で増幅する。
【0021】
第16の発明は、第10〜第15の発明の何れか一の発明において、ボカシ手順では、ボカシ処理が施されたボカシ処理対象領域中の飽和した輝点領域の画像信号を、飽和した輝点領域の面積の大きさに応じた増幅率で増幅する。
【0022】
第17の発明は、第10〜第16の発明の何れか一の発明において、ボカシ手順では、ボカシ処理が施されたボカシ処理対象領域に対してコントラスト強調処理を施す。
【発明の効果】
【0023】
本発明では、撮影画像の撮影時に取得した撮影シーンの明るさ又は撮影モードの種類の情報に応じてボカシ処理が変更されるので、本発明を利用すれば、撮影画像に対して撮影シーンに最適なボカシ処理が施される。従って、いかなる撮影シーンにおいても、撮影シーンに最適なボカシがかかった画像を取得することが可能になる。
【発明を実施するための最良の形態】
【0024】
(第1実施形態)
以下、本発明の第1実施形態を説明する。本実施形態は、デジタルカメラの実施形態である。
【0025】
図1は、本発明のデジタルカメラのブロック図である。
【0026】
デジタルカメラは、撮像レンズ11およびレンズ駆動部12と、絞り13と、撮像素子14と、アナログ信号処理部15と、タイミングジェネレータ(TG)16と、バッファメモリ17と、画像処理部18と、圧縮/復号部19と、制御部20と、測光部21と、モニタ22と、記録媒体23と、発光部24と、操作部25と、バス26とを有している。ここで、バッファメモリ17、画像処理部18、圧縮/復号部19、制御部20、測光部21、モニタ22、記録媒体23は、バス26を介して接続されている。また、レンズ駆動部12、絞り13、アナログ信号処理部15、TG16、発光部24、操作部25は、それぞれ制御部20に接続されている。
【0027】
撮像レンズ11は、フォーカスレンズやズームレンズを含む複数のレンズ群で構成されている。なお、簡単のため、図1では撮像レンズ11を1枚のレンズとして図示している。
【0028】
レンズ駆動部12は、制御部20の指示に応じてレンズ駆動信号を発生し、撮像レンズ11を光軸方向に移動させてフォーカス調整やズーム調整を行うと共に、撮像レンズ11を通過した光束による被写体像を撮像素子14の受光面に形成する。
【0029】
絞り13は、制御部20の指示に応じてその開口量を調整することで、撮像素子14の受光面に到達する光束の光量を調整する。
【0030】
撮像素子14は、CCD型やCMOS型のエリアイメージセンサであり、撮像レンズ11の像空間側に配置されている。撮像素子14は、受光面に形成された被写体像を光電変換してアナログ画像信号を生成する。この撮像素子14の出力はアナログ信号処理部15に接続されている。
【0031】
アナログ信号処理部15は、制御部20の指示に応じて、撮像素子14から出力されたアナログ画像信号に対し、CDS(相関二重サンプリング)、ゲイン調整、A/D変換などのアナログ信号処理を施すと共に、処理後の画像信号を出力する。また、アナログ信号処理部15は、制御部20の指示に基づいてゲイン調整の調整量を設定し、それによってISO感度に相当する撮影感度の調整を行う。なお、アナログ信号処理部15の出力はバッファメモリ17に接続されている。
【0032】
TG16は、制御部20の指示に基づき撮像素子14およびアナログ信号処理部15に対してタイミングパルスを供給する。撮像素子14およびアナログ信号処理部15の駆動タイミングはそのタイミングパルスによって制御される。
【0033】
バッファメモリ17は、アナログ信号処理部15から出力される画像信号を画像データとして一時的に記憶する。また、バッファメモリ17は、制御部20による処理の過程で作成された画像データを一時的に記憶する。
【0034】
画像処理部18は、制御部20の指示に応じて、バッファメモリ17の画像データに対し、ホワイトバランス調整、色分離(補間)、ガンマ補正などの画像処理を施す。なお、画像処理部18は、ASICなどとして構成される。
【0035】
圧縮/復号部19は、制御部20の指示に応じて、画像データに圧縮処理を施す。なお、圧縮処理は、JPEG(Joint Photographic Experts Group)形式などによって行われる。
【0036】
測光部21は、制御部20の指示に応じて、バッファメモリ17に記録された画像データに基づき、多分割測光(マルチパターン測光)、中央部重点測光、スポット測光などの公知の測光方式により被写体や撮影シーン全体の明るさや撮影シーンの明るさ分布を示す評価値を算出する。
【0037】
モニタ22は、デジタルカメラ筐体の背面などに設けられたLCDモニタや、接眼部を備えた電子ファインダなどであり、制御部20の指示に応じて、撮影画像などの各種の画像やデジタルカメラが必要とする情報をユーザーに入力させるためのGUI画面等を表示する。
【0038】
記録媒体23には、制御部20によって、撮影画像の画像データ等が記録される。なお、記録媒体23は、半導体メモリを内蔵したメモリカードや、小型のハードディスクなどである。
【0039】
発光部24は、制御部20の指示に基づき、デジタルカメラ筐体に設けられたエレクトロニックフラッシュ等を駆動して、被写体を照明するためのストロボ光を被写界に向けて発光する。
【0040】
操作部25は、各種のモード設定釦、レリーズ釦などの操作部材を含み、ユーザーによる部材操作の内容に応じた操作信号を制御部20に送る。
【0041】
制御部20は、操作部25から送られた操作信号に応じてデジタルカメラの各部を統括制御する。例えば、デジタルカメラが撮影モードに設定されると、制御部20は、レンズ駆動部12、絞り13、アナログ信号処理部15およびTG16を駆動してスルー画像の撮影を開始する。このとき、撮像素子14はドラフトモードで駆動され、スルー画像の画像データがアナログ信号処理部15を介してバッファメモリ17へ順次記録される。制御部20は、そのスルー画像の画像データを基に、レンズ駆動部12と協働して撮像レンズ11の焦点調節制御(AF)を行う。また制御部20は、測光部21を駆動して、バッファメモリ17のスルー画像の画像データを基に撮影シーンの評価値を算出させると、その評価値に基づきアナログ信号処理部15などの設定内容を調節する。
【0042】
撮影時、制御部20は、測光部21が算出した評価値に基づき撮影条件(ストロボ発光の有無、絞り値、シャッター速度など)を決定すると共に、その決定した撮影条件の下でレンズ駆動部12、絞り13、アナログ信号処理部15およびTG16(撮影条件によっては更に発光部24も)を駆動して撮影を行う。このとき、撮像素子14はフレームモードで駆動され、撮影された撮影画像の画像データがアナログ信号処理部15を介してバッファメモリ17へ記録される。この記録の後、制御部20は、画像処理部18および圧縮/復号部19を駆動して、バッファメモリ17に記録された撮影画像の画像データに対し画像処理および圧縮処理を施すと共に、それら処理後の画像データを記録媒体23へ記録する。
【0043】
また、デジタルカメラが画像再生モードに設定されると、制御部20は、モニタ22を駆動して、記録媒体23に記録された撮影画像等の内容をLCDモニタなどに表示させる。
【0044】
以下、本実施形態のデジタルカメラのボカシ処理の動作を、図2の流れ図を参照して説明する。図2のフローチャートは、例えば、ユーザーがデジタルカメラのモードを「背景ボカシ処理モード」に設定して撮影を行った場合に実行される。
【0045】
ステップ101:制御部20は、測光部21が算出した評価値に基づき撮影条件(ストロボ発光の有無、絞り値、シャッター速度など)を決定する。
【0046】
ステップ102:制御部20は、決定した撮影条件の下で撮影を実施する。この撮影により取得された撮影画像の画像データはバッファメモリ17に記録される。
【0047】
ステップ103:制御部20は、バッファメモリ17の撮影画像から被写体の領域(被写体領域)と被写体以外の領域とを分離する。ここで、被写体以外の領域は、例えば背景の領域(背景領域)であるものとする。また、被写体領域と背景領域の分離には、例えば「特願2007−096724」などの従来の被写体抽出技術を利用することができる。なお、この被写体抽出技術を利用してそれらの領域の分離を行う場合には、上記ステップ102で撮影画像を撮影するときに、もう一枚別の画像(予備画像)を撮影しておく。但し、撮影時の撮影シーンが、例えば、明るく且つ順光撮影である場合、その予備画像の撮影は、撮影画像と同じ撮影条件で、かつストロボ光を強制的に発光させて実施する。そして、本ステップ103で、それら撮影画像と予備画像との輝度比較(輝度差または輝度比の比較)を行い、その結果に基づいて撮影画像から被写体領域と背景領域とを分離すればよい。
【0048】
ステップ104:制御部20は、上記ステップ101で決定した撮影条件のストロボ発光の有無の情報を撮影シーンの明るさの情報とし、その情報に基づき撮影シーンの明るさ、即ち撮影シーンが「明るい」か又は「暗い」かを判定する。具体的には、ストロボ発光の有無の情報が「ストロボ発光無し」の場合、制御部20は撮影シーンが「明るい」と判定(Yes側)してステップ105へ移行する。一方、ストロボ発光の有無の情報が「ストロボ発光有り」の場合には、制御部20は撮影シーンが「暗い」と判定(No側)してステップ106へ移行する。
【0049】
ステップ105:制御部20は、分離した背景領域に対して明るいシーン用のボカシ処理を施す。そして、そのボカシ処理が終わると、制御部20はステップ107へ移行する。
【0050】
ステップ106:制御部20は、分離した背景領域に対して暗いシーン用のボカシ処理を施す。
【0051】
ここで、明るいシーン用のボカシ処理と暗いシーン用のボカシ処理について説明する。
【0052】
画像(本実施形態では撮影画像の背景領域)にボカシ処理を施す場合、画像中の輝点のボカシ方が重要となる。なぜならば、その輝点のボカシ具合が画像全体の印象を左右することが多いからである。また、好適なボカシ具合の画像を得るためには、撮影シーンが明るい場合(例えば、晴れた日の昼間の屋外で撮影する場合など)と暗い場合(例えば、夜景を撮影する場合など)とで輝点のボカシ方(ボカシ度合い)を変更する必要がある。
【0053】
例えば、図3(a)に示すような、晴れた日の昼間に人物を撮影した画像では、背景中の白い花畑(2a)の部分が輝点となるが、このような撮影シーンが明るい場合の画像では、輝点(白い花畑)の部分の輪郭が不明瞭となるようにボカシが行われることが好まれる。そのようにしないと、輝点が浮き出したようになり、違和感を覚えるからである。
【0054】
一方、図3(b)に示すような、人物を夜景ポートレート撮影した画像では、背景中の街灯(2b)の部分が輝点となるが、このような撮影シーンが暗い場合の画像では、輝点の部分が円状に広がるように、即ち輝点(街灯)の部分の輪郭が明瞭となるようにボカシが行われることが好まれる。そのようにしないと、輝点がぼやけてしまい、違和感を覚えるからである。
【0055】
このため、ボカシ具合に違和感の無い画像を得るために、撮影シーンが明るい場合に行うボカシ処理(明るいシーン用のボカシ処理)では、図4(a)に示すように、画像中の輝点(輝点1)の領域に対しては、その輝点(輝点1)の領域の中心位置の輝度と略同等の輝度となる領域(等輝度領域)を狭く、かつ等輝度領域の周辺部分の領域の輝度変化を緩やかとするようにボカシを行う(輝点2)。
【0056】
また、撮影シーンが暗い場合に行うボカシ処理(暗いシーン用のボカシ処理)では、図4(b)に示すように、画像中の輝点(輝点1)の領域に対しては、その輝点(輝点1)の領域の中心位置の輝度と略同等の輝度となる領域(等輝度領域)を広く、かつ等輝度領域の周辺部分の領域の輝度変化を急峻とするようにボカシを行う(輝点3)。
【0057】
このように、撮影シーンが明るい場合と暗い場合とでそれぞれボカシ方(ボカシ度合い)が異なる専用のボカシ処理を画像(本実施形態では撮影画像の背景領域)に施すことで、如何なる撮影シーンにおいても、違和感の無い、撮影シーンに好適なボカシ具合の画像が得られるようになる。
【0058】
なお、ボカシ処理は、例えば、画像に対して点広がり関数を用いた畳み込み演算を施すことにより実行される。
【0059】
また、上述の明るいシーン用のボカシ処理、暗いシーン用のボカシ処理といったようなボカシ方の変更は、異なる点広がり関数を用いることによって実行される。
【0060】
また、点広がり関数の代わりに、ローパスフィルタ等の種々のデジタルフィルタを用いても、同様のボカシ処理を施すことができる。
【0061】
ステップ107:制御部20は、モニタ22を駆動して、背景部分にボカシがかかった撮影画像をLCDモニタ等に表示させる。これにより、ユーザーは、その撮影画像の出来映えを確認することができる。
【0062】
ステップ108:制御部20は、圧縮/復号部19を駆動して、背景部分にボカシがかかった撮影画像に対して圧縮処理を施させると共に、圧縮された画像を記録媒体23へ記録する。
【0063】
なお、より見た目が良好なボカシ具合の画像を得るためには、画像(本実施形態では撮影画像の背景領域)に対してボカシ処理を施す際に、以下の(1)〜(4)の何れかの処理を適用することが好ましい。
(1)ガンマ補正により生じるボカシの違和感を軽減する処理
一般的に、モニタやプリンタ等の出力装置は非線形のγ特性を有しているので、デジタルカメラ内では、人間の目に好適な階調特性の画像を得るために、出力装置との総合的なγ特性を線形(γ=1)とするように画像に対してガンマ補正を施している。このため、ガンマ補正後の画像は、出力装置とは逆のγ特性を有することとなる(図5参照)。
【0064】
このように、デジタルカメラにより撮影される画像は非線形のγ特性を有するので、撮影された画像に対して点広がり関数を用いた畳み込み演算処理、即ちボカシ処理を施すと、ボカシ処理の前後で画像の輝度情報が維持されないという問題が生じる。そのため、結果として、一眼レフカメラで撮影された画像に見られるようなレンズ効果によるボカシのかかった画像に比べて、輝点の明るさに違和感のある画像が作成されてしまう。なお、レンズ効果によるボカシとは、カメラの絞りの開度やレンズの焦点距離を調整して被写界深度を浅くすることにより、撮影される画像の背景などに光学的にボカシを行うことを指す。
【0065】
そこで、ボカシ処理の際には、デジタルカメラ内で非線形にガンマ補正された画像の輝度成分を、その色成分とは異なる増幅率で増幅することが望ましい。
【0066】
例えば、上述のとおり非線形にガンマ補正された画像に対してボカシ処理を施した後で、そのボカシ処理後の画像の色空間をRGB色空間からYCbCr色空間へ変換すると共に、変換後の画像の画像信号を輝度成分(Y信号)と色差成分(Cb信号およびCr信号)とに分離する。そして、Y信号,Cb信号,Cr信号の各々についてボカシ処理を施した後でY信号のみを増幅する。このとき、Y信号の増幅は、ボカシ処理の前後で画像の輝度成分のレベルが略同等になる増幅率で行うようにする。このように、ボカシ処理の前後で輝度成分のレベルが維持されるような増幅率でY信号を増幅することによって、ボカシ処理後の画像中の輝点の明るさをレンズ効果によるボカシのかかった画像中のそれと略同等のレベルにすることができるので、ガンマ補正により生じるボカシの違和感を軽減することができる。なお、この方法によれば、画像信号を輝度成分の信号(Y信号)と色差成分の信号(Cb信号,Cr信号)とに分離し、そのうちの1つの信号(Y信号)のみを増幅して画像の輝度成分を好ましいレベルに補正するので、3つの信号(R信号,G信号,B信号)を用いて輝度成分を補正する場合と比べると、処理負荷を低減させることができる。
【0067】
なお、上記では、画像にボカシ処理を施した後にその画像の輝度成分を増幅する例を説明したが、これに限定されず、画像の輝度成分を増幅した後にその画像にボカシ処理を施すようにしてもよい。
(2)ホワイトクリップにより生じるボカシの違和感を軽減する処理1
図6は、ホワイトクリップされた輝点を含む画像に対してボカシ処理を施す場合の画像の輝度分布の変化を説明する図である。なお、ホワイトクリップとは、デジタルカメラの撮影画像において、撮像素子のダイナミックレンジを超える輝度部分をクリップする機能のことを指す。
【0068】
図6(a)は、ボカシ処理を施す前の画像の輝度分布を示している。図6(a)では、簡単のため、画像には、ホワイトクリップレベル以上の信号レベルを有する輝点A1とホワイトクリップレベル未満の信号レベルを有する輝点B1とが含まれ、画像の輝点A1と輝点B1以外の部分は、信号レベルが極めて低いものと仮定する。なお、信号レベルとは、輝点の明るさ(輝度)を表すものであり、信号レベルが高いと輝点は明るくなり、信号レベルが低いと輝点は暗くなる。また、このような画像は、例えば、明るさの異なる2つの輝点を含む夜景のようなシーンを撮影した場合に取得される画像である。
【0069】
デジタルカメラでは、図6(a)の輝点A1のような撮像素子のダイナミックレンジを超える輝度を有する部分は、ホワイトクリップされてしまい、ホワイトクリップレベル以上の輝度情報が失われてしまう。
【0070】
ここで、レンズ効果によってボカシを行う場合について考える。
【0071】
図7は、レンズ効果によってボカシを行う場合に撮影される画像の輝度分布の変化を説明する図である。図7(a)は、デジタルカメラのレンズに入射した被写界からの光束の輝度分布を示している。なお、この場合も簡単のため、被写界には2つの輝点(A1’およびB1’)が含まれるものと仮定する。
【0072】
図7(a)に示すように、輝点A1’の光束は撮像素子のダイナミックレンジを超える輝度を有しているが、輝点A1’の光束による被写体像はレンズ効果によってボカシが行われた後に撮像素子の受光面に形成されるので、被写体像の画像を撮影したときにはその信号レベルは図7(b)の輝点A2’のようにホワイトクリップレベル未満となる。このため輝度情報が失われない。
【0073】
ところが、画像処理としてボカシを施す場合は、ホワイトクリップにより輝度情報が失われた輝点A1(図6(a))を含む画像に対してボカシ処理を施すことになるため、輝点A1のボカシ処理後の状態を示す輝点A2(図6(b))は、レンズ効果によりボカシを行った場合と比べて、失われた輝度情報の分だけ信号レベルが低下して暗くなってしまう。
【0074】
そこで、信号レベルが低下した輝点A2の画像信号に対して、図6(c)に示すような増幅処理を行うことが望ましい。そうすることで、輝点A2の信号レベルを図6(c)に示す輝点A3のように高めることができる。なお、輝点A2の画像信号の増幅は、予め定められた増幅率またはユーザーに指定させた増幅率で行うようにする。その結果、ホワイトクリップにより生じるボカシの違和感を軽減することができ、見た目に好ましいボカシがされた画像を作成することができる。
【0075】
なお、上記では、ボカシ処理後の画像中の輝点の画像信号に対して増幅処理を行う例を説明したが、これに限定されず、ボカシ処理前の画像中の輝点の画像信号を増幅した後で、画像にボカシ処理を施すようにしてもよい。
(3)ホワイトクリップにより生じるボカシの違和感を軽減する処理2
この(3)の処理は、前述の(2)の処理による効果の度合い、即ちボカシの違和感を軽減する度合いを更に高めるためのものである。
【0076】
図8は、ホワイトクリップされた輝点を含む画像に対してボカシ処理を施す場合の画像の輝度分布の変化を説明する図である。
【0077】
図8(a)は、ボカシ処理を施す前の画像の輝度分布を示している。図8(a)では、簡単のため、画像には、ホワイトクリップレベル以上の信号レベルを有し、かつ領域の面積が異なる3つの輝点(C1,D1,E1)が含まれるものと仮定する。また、画像中のそれら3つの輝点以外の部分は、信号レベルが極めて低いものと仮定する。
【0078】
一般的に、同一の輝度を有する被写体をデジタルカメラで撮影する場合、デジタルカメラと被写体との距離が近くなるほど、撮影された画像においては被写体が占める領域の面積が大きくなり、かつ、その輝度も高くなる。この原理から、図8(a)の3つの輝点は、その領域の面積が大きいほど、ホワイトクリップによって失われた輝度情報の量が大きくなると推測できる。すなわち、図8(a)の3つの輝点は、画像に占める領域の面積が「輝点C1 < 輝点E1 < 輝点D1」の順に大きいため、ホワイトクリップによって失われた輝度情報の量も「輝点C1 < 輝点E1 < 輝点D1」の順に大きくなると推測できる。また、このような推測から、図8(a)の3つの輝点についてレンズ効果によりボカシが行われた場合を考えると、それらを撮影した画像中において各輝点の信号レベルは「輝点C1 < 輝点E1 < 輝点D1」の順に大きくなるものと考えられる。
【0079】
ところが、それら3つの輝点を含む画像に対してボカシ処理を施す場合は、いずれの輝点もホワイトクリップにより輝度情報が失われているので、輝点C1,D1,E1(図8(a))のボカシ処理後の状態を示す輝点C2,D2,E2(図8(b))は、いずれも、レンズ効果によりボカシを行った場合と比べて、失われた輝度情報の分だけ信号レベルが低下して暗くなってしまう。
【0080】
そこで、信号レベルが低下した輝点C2,D2,E2の各領域の画像信号に対して、図8(c)に示すような増幅処理を行うことが望ましい。但し、その増幅処理は、ホワイトクリップされた輝点C1,D1,E1(図8(a))の各領域の面積の大きさに応じて決定した増幅率で行う。例えば、輝点C1,D1,E1の各領域の面積は「輝点C1 < 輝点E1 < 輝点D1」の順に大きいので、ボカシ処理後の輝点C2,D2,E2(図8(b))に対する増幅処理の増幅率を「輝点C2の増幅率=小、輝点E2の増幅率=中、輝点D2の増幅率=大」として決定する。そして、輝点C2,D2,E2の各領域の画像信号に対して、それら決定した増幅率でそれぞれ増幅処理を行う。そうすることで、信号レベルが低下した輝点C2,D2,E2の信号レベルを図8(c)に示す輝点C3,D3,E3のように高めることができ、ホワイトクリップにより生じるボカシの違和感を更に軽減することができる。
【0081】
このように、ホワイトクリップされた輝点の領域の面積の大きさに応じて増幅率を変更し、その増幅率でボカシ処理後の当該輝点の領域の画像信号に増幅処理を施すことにより、画像処理としてボカシ処理を施す場合においても、レンズ効果によってボカシを行った場合により近い画像を作成することができる。
【0082】
なお、上記では、ボカシ処理後の画像中の輝点領域の画像信号に対して増幅処理を行う例を説明したが、これに限定されず、ボカシ処理前の画像中の輝点領域の画像信号を増幅した後で、画像にボカシ処理を施すようにしてもよい。
(4)ボカシの違和感を更に改善するための処理
ボカシ処理を画像に施すと、画像の信号レベルが平均化される方向にシフトする。つまり、図9(a)に示す輝点F1,G1のような画像中の高輝度信号は、ボカシ処理後には信号レベルが下がり、それぞれ図9(b)に示す輝点F2,G2のような状態となる。また、図9(a)の輝点F1,G1以外の部分が示すような画像中の低輝度信号は、ボカシ処理後には信号レベルが上がり、図9(b)の輝点F2,G2以外の部分が示すような状態となる。このため、ボカシ処理が施された画像はコントラストが低くなり、リアルさの無い、見た目に映えない画像となる。
【0083】
そこで、ボカシ処理後の画像に対して、図9(c)に示すようなコントラスト強調処理を施すことが望ましい。但し、コントラスト強調処理では、例えば図10に示すようなトーンカーブによる階調処理を施す。つまり、ボカシ処理による信号レベルの変化と反対になるように、ボカシ処理後の画像に含まれる輝点F2,G2(図9(b))のような高輝度信号(信号レベルの高い信号)に対しては、図9(c)に示す輝点F3,G3のような状態となるようにそれぞれゲイン増幅して信号レベルを上げるための階調処理を施す。また、ボカシ処理後の画像に含まれる図9(b)の輝点F2,G2以外の部分が示すような低輝度信号(信号レベルの低い信号)に対しては、図9(c)の輝点F3,G3以外の部分が示すような状態となるようにゲイン抑制して信号レベルを下げるための階調処理を施す。そうすることで、ボカシ処理によって信号レベルを下げられた輝点F2,G2(夜の街灯のように、本来は明るくあって欲しい部分)は、それぞれゲイン増幅されて、図8(c)に示す輝点F3,G3のように本来のあるべき明るさに近づけられる。また、ボカシ処理によって信号レベルを上げられた輝点F2,G2以外の部分(夜景の黒のように、本来は暗くあって欲しい部分)は、ゲイン抑制されて、図8(c)の輝点F3,G3以外の部分が示すように本来のあるべき暗さに近づけられる。その結果、ボカシの違和感が更に改善されて、より現実に近く、見た目に映える画像を作成することができる。
【0084】
なお、上述したコントラスト強調処理は、図10に例示したトーンカーブに限定されず、高輝度信号をゲイン増幅し、かつ低輝度信号をゲイン抑制する手法であれば、いかなる手法であっても構わない。
【0085】
また、コントラスト強調処理に使用するトーンカーブは、予め用意した複数のトーンカーブの中からユーザーに選択させるようにしてもよい。また、テンプレートとなるトーンカーブを予め用意しておき、そのテンプレートを基にユーザーにトーンカーブの内容を自由に調整させるようにして、コントラスト強調処理に使用するトーンカーブをユーザーに作成させるようにしてもよい。
【0086】
なお、上記(1)〜(4)の処理は、それぞれ単独で実施しても良く、二つ以上の処理を組み合わせて実施しても良い。
【0087】
(第1実施形態の作用効果)
以上、第1実施形態のデジタルカメラでは、測光の評価値に基づき撮影条件が決定され、その撮影条件を基に判定した撮影シーンの明るさに応じて、撮影画像に施すボカシ処理が変更される。そして、撮影画像(本実施形態では撮影画像の背景領域)に対して、当該ボカシ処理が施される。
【0088】
この場合、ボカシ処理後の撮影画像の背景領域には、撮影シーンの明るさに応じた最適なボカシがかけられている。なお、このようなボカシのかかった撮影画像は、主要な被写体が際立った、見た目に映える絵作りの撮影画像である。
【0089】
例えば、第1実施形態のデジタルカメラは、撮影シーンの明るさを判定し、撮影シーンが「明るい」場合には、撮影画像に施すボカシ処理を明るいシーン用のボカシ処理に変更する。一方、撮影シーンが「暗い」場合には、撮影画像に施すボカシ処理を暗いシーン用のボカシ処理に変更する。そして、第1実施形態のデジタルカメラは、撮影画像(本実施形態では撮影画像の背景領域)に対して、当該ボカシ処理を施す。
【0090】
このように、第1実施形態のデジタルカメラでは、撮影画像(本実施形態では撮影画像の背景領域)に施すボカシ処理が、撮影シーンの明るさに応じて最適なものに変更される。
【0091】
したがって、いかなる撮影シーンにおいても、撮影シーンに最適なボカシがかかった撮影画像を確実に取得することが可能になる。
【0092】
(第2実施形態)
以下、本発明の第2実施形態を説明する。本実施形態も、デジタルカメラの実施形態である。なお、以下の説明では、第1実施形態と共通するデジタルカメラの構成要素については同一符号を付して重複説明を省略する。
【0093】
第1実施形態では、測光の評価値に基づき決定した撮影条件を基に撮影シーンの明るさを判別し、その撮影シーンの明るさに応じたボカシ処理を撮影画像(第1実施形態では撮影画像の背景領域)に対して施す。一方、第2実施形態では、ユーザーが選択した撮影モード(シーンモード)の種類を判別し、そのシーンモードの種類から推定される撮影シーンの明るさに応じたボカシ処理を撮影画像に対して施す。
【0094】
ここで、シーンモードとは、露出やカラー設定など、撮影のための各種条件(撮影条件)が各撮影シーンに合わせて予め最適な内容に決定されている撮影モードのことであり、その代表的な種類には、ポートレートモード、逆光モード、クローズアップモード、夜景ポートレートモードなどがある。
【0095】
この、ユーザーが選択したシーンモードの種類をデジタルカメラで検知すれば、ユーザーが撮影しようとしているシーン(ここでは、撮影シーンが「明るい」か又は「暗い」か、即ち撮影シーンの明るさ)を推定することができる。すなわち、選択されたシーンモードの種類が「ポートレートモード」、「逆光モード」、「クローズアップモード」の何れかであれば、撮影シーンが「明るい」と推定でき、またシーンモードの種類が「夜景ポートレートモード」であれば、撮影シーンが「暗い」と推定できる。これにより、シーンモードの種類から推定される撮影シーンの明るさに応じて、撮影画像に施すボカシ処理を変更すれば、各撮影シーンにとって好適なボカシ具合の画像を作成することができる。
【0096】
以下、この動作について、図11の流れ図を参照して説明する。図11のフローチャートは、例えば、ユーザーがデジタルカメラのモードを「背景ボカシ処理モード」に設定して撮影を行った場合に実行される。なお、本実施形態のステップ206、207、209及び210の処理については、第1実施形態のステップ105、106、107及び108の処理と同一であるため重複説明を省略する。
【0097】
ステップ201:制御部20は、ユーザーによりシーンモードが選択されているか否かを判定する。シーンモードが選択されている場合(Yes側)には、制御部20はステップ202へ移行する。一方、シーンモードが選択されていない場合(No側)には、制御部20はステップ214へ移行する。
【0098】
ステップ202:制御部20は、選択されたシーンモード用の撮影条件の下で撮影を実施する。この撮影により取得された撮影画像の画像データはバッファメモリ17に記録される。
【0099】
ステップ203:制御部20は、選択されたシーンモードの種類が「ポートレートモード」、「逆光モード」、「クローズアップモード」、「夜景ポートレートモード」の何れかであるかを判定する。これら4つのうちの何れかである場合(Yes側)には、制御部20はステップ204へ移行する。一方、これら以外のシーンモードである場合(No側)には、制御部20はステップ211へ移行する。
【0100】
ステップ204:制御部20は、バッファメモリ17の撮影画像から被写体の領域(被写体領域)と被写体以外の領域とを分離する。ここで、被写体以外の領域は、例えば背景の領域(背景領域)であるものとする。また、被写体領域と背景領域の分離には、例えば「特願2007−096724」などの従来の被写体抽出技術を利用することができる。なお、この被写体抽出技術を利用してそれらの領域の分離を行う場合には、上記ステップ202で撮影画像を撮影するときに、もう一枚別の画像(予備画像)を撮影しておく。但し、選択されたシーンモードが、例えば、「夜景ポートレートモード」である場合、その予備画像の撮影は、撮影画像と同じ撮影条件、即ち「夜景ポートレートモード」用の撮影条件で、かつストロボ光を強制的に発光さないようにして実施する。そして、本ステップ204で、それら撮影画像と予備画像との輝度比較(輝度差または輝度比の比較)を行い、その結果に基づいて撮影画像から被写体領域と背景領域とを分離すればよい。
【0101】
ステップ205:制御部20は、選択されたシーンモードの種類が「ポートレートモード」、「逆光モード」、「クローズアップモード」の何れかであるかを判定する。これら3つのうちの何れかである場合(Yes側)には、制御部20は、撮影シーンが「明るい」と推定して、明るいシーン用のボカシ処理を施すためにステップ206へ移行する。一方、これら以外のシーンモード、即ち「夜景ポートレートモード」である場合(No側)には、制御部20は、撮影シーンが「暗い」と推定して、暗いシーン用のボカシ処理を施すためにステップ207へ移行する。
【0102】
ステップ208:制御部20は、分離した背景領域に対してコントラスト強調処理を施す。なお、背景領域には、ステップ206またはステップ207での処理により、シーンモードの種類から推定された撮影シーンの明るさに応じたボカシ処理、すなわち、明るいシーン用のボカシ処理または暗いシーン用のボカシ処理の何れかの処理が施されている。また、コントラスト強調処理には、第1実施形態で説明した上述の(4)の処理を適用する。
【0103】
ステップ211:制御部20は、選択されたシーンモードの種類が「ポートレートモード」、「逆光モード」、「クローズアップモード」、「夜景ポートレートモード」の何れでもない場合には、「背景ボカシ処理の対象外のシーンモードである」旨をユーザーに警告した後に、処理を終了する。ユーザーへの警告は、例えば、背景ボカシ処理の対象外のシーンモードが選択されている旨のメッセージをモニタ22に表示させることにより行う。
【0104】
ステップ212:制御部20は、モニタ22を駆動して、バッファメモリ17の撮影画像(ボカシ処理は施されていない)をLCDモニタ等に表示させる。これにより、ユーザーは、その撮影画像の出来映えを確認することができる。
【0105】
ステップ213:制御部20は、圧縮/復号部19を駆動して、バッファメモリ17の撮影画像(ボカシ処理は施されていない)に対して圧縮処理を施させると共に、圧縮された画像を記録媒体23へ記録する。
【0106】
ステップ214:制御部20は、シーンモードが選択されていない場合には、第1実施形態で説明した図2のフローのステップ101〜ステップ106の処理を実施して、撮影画像に対して撮影シーンの明るさに応じたボカシ処理を施す。なお、ボカシ処理は、例えば、撮影画像の背景領域に対して施すこととする。そして、そのボカシ処理が終わると、制御部20はステップ208へ移行する。
【0107】
なお、より見た目が良好なボカシ具合の画像を得るためには、画像(本実施形態では撮影画像の背景領域)に対してボカシ処理を施す際に、第1実施形態で説明した上述の(1)〜(3)の一つ以上の処理を適用することが好ましい。
【0108】
(第2実施形態の作用効果)
以上、第2実施形態のデジタルカメラでは、撮影画像に施すボカシ処理が、ユーザーが選択した撮影モード(シーンモード)の種類に応じて変更される。そして、撮影画像(本実施形態では撮影画像の背景領域)に対して、当該ボカシ処理が施される。
【0109】
この場合、ボカシ処理後の撮影画像の背景領域には、シーンモードの種類に応じた最適なボカシがかけられている。なお、このようなボカシのかかった撮影画像は、主要な被写体が際立った、見た目に映える絵作りの撮影画像である。
【0110】
例えば、第2実施形態のデジタルカメラは、ユーザーがシーンモードとして「ポートレートモード」、「逆光モード」、「クローズアップモード」の何れかを選択した場合には、撮影シーンが「明るい」と推定して、撮影画像に施すボカシ処理を明るいシーン用のボカシ処理に変更する。一方、ユーザーがシーンモードとして「夜景ポートレートモード」を選択した場合は、撮影シーンが「暗い」と推定して、撮影画像に施すボカシ処理を暗いシーン用のボカシ処理に変更する。そして、第2実施形態のデジタルカメラは、撮影画像(本実施形態では撮影画像の背景領域)に対して、当該ボカシ処理を施す。
【0111】
このように、第2実施形態のデジタルカメラでは、撮影画像(本実施形態では撮影画像の背景領域)に施すボカシ処理が、ユーザーが選択したシーンモードの種類から推定された撮影シーンの明るさに応じて最適なものに変更される。
【0112】
したがって、ユーザーが撮影しようとしている撮影シーンにとって最適なボカシがかかった撮影画像を確実に取得することが可能になる。
【0113】
さらに、第2実施形態のデジタルカメラでは、撮影画像(本実施形態では撮影画像の背景領域)に対して、ボカシ処理が施された後に、コントラスト強調処理が施される。
【0114】
この場合、ボカシ処理によって信号レベルを下げられた撮影画像の背景領域に含まれる輝点の明るさが、ゲイン増幅により本来のあるべき明るさに近づけられる。また、ボカシ処理によって信号レベルを上げられた撮影画像の背景領域のうち輝点以外の部分の明るさが、ゲイン抑制により本来のあるべき暗さに近づけられる。
【0115】
したがって、ボカシ処理によって生じたボカシの違和感が更に改善されて、より現実に近く、見た目に映える撮影画像を確実に取得することが可能になる。
【0116】
(その他)
なお、第1実施形態のステップ103(第2実施形態ではステップ204)においては、撮影画像から被写体と背景を分離するための手法として、従来技術の「ストロボ発光画像とストロボ非発光画像との輝度比較に基づく被写体抽出技術」を利用する例を示したが、利用可能な被写体抽出の方法はこれに限定されない。例えば、焦点距離や合焦状態の異なる複数のフレーム(画像)に基づく方法、空間周波数解析に基づく方法、顔認識に基づく方法、肌色等の特定色に基づく方法、エッジ情報に基づく方法など、従来の被写体抽出技術から任意のものを利用することができる。
【0117】
また、第1実施形態のステップ104の説明では、測光部21が算出した評価値に基づいて撮影シーンの明るさを判定する自動判定の例を示したが、判定の方法はこれに限定されず、撮影シーンの明るさをユーザーの入力操作に基づいて判定する手動判定であってもよい。
【0118】
また、第1実施形態のステップ103以降の処理および第2実施形態のステップ204〜210の処理は、デジタルカメラが画像再生モードなどの非撮影モードに設定された時に実行するようにしても良い。そうした場合、第1実施形態のステップ103または第2実施形態のステップ204で得られた被写体と背景の分離情報と、第1実施形態のステップ101で得られた撮影条件(この撮影条件を基に撮影シーンの明るさが判定される)又は第2実施形態のステップ201で得られた撮影モード(シーンモード)の種類を、撮影画像と共に画像ファイルとして記録媒体23へ記録する。なお、その画像ファイルがExif規格の形式に基づくものであれば、被写体と背景の分離情報と、撮影条件又は撮影モード(シーンモード)の種類とは、画像ファイルのメーカーノート(MakerNote)タグなどの情報として記録する。そして、デジタルカメラが画像再生モードなどに設定された時に、記録媒体23に記録した当該画像ファイルを読み出して、第1実施形態のステップ103以降の処理および第2実施形態のステップ204〜210の処理を実行するとよい。あるいは、この、当該画像ファイルを読み出して行う処理については、デジタルカメラが実行するかわりにコンピュータなどの外部処理装置に実行させてもよい。
【0119】
また、第1実施形態のステップ107(第2実施形態ではステップ209)において、ボカシ処理後の画像をLCDモニタ等に表示させた後に、ユーザーからボカシ処理のやり直しの指示を受け付けるようにしてもよい。なお、その受け付けの際には、ユーザーに、上述したボカシの違和感を軽減又は改善する処理に用いるパラメータ、即ち(1)の処理ではY信号の増幅率、(2)の処理では輝点の画像信号の増幅率、(3)の処理では輝点の各領域の画像信号の増幅率、また(4)の処理ではコントラスト強調処理に用いるトーンカーブを指定させるようにする。そして、ユーザーがやり直しを指示した場合には、ユーザーが指定した上記のパラメータを用いて、再度、第1実施形態のステップ105または106(第2実施形態ではステップ206または207)から処理を実行し直して、ボカシ処理をやり直すようにしてもよい。さらに、このような処理は、ユーザーが望む結果が得られるまで繰り返して実行してもよい。そうすることで、ユーザーが望む、演出性の高い、より効果的な絵作りの画像を作成することができる。
【0120】
また、第2実施形態では、シーンモードの種類として、「ポートレートモード」、「逆光モード」、「クローズアップモード」、「夜景ポートレートモード」の4つのシーンモードについて説明したが、シーンモードの種類はこの4種類に限定されない。
【0121】
また、上記では、撮影画像から被写体と背景を分離して、その背景にのみボカシ処理を施す例を示したが、被写体と前景を分離したり、被写体,背景,及び前景を同時に分離して、被写体,背景,前景の一つ以上に対してボカシ処理を施すようにしてもよい。なお、それらの二つ以上に対してボカシ処理を施す場合は、ボカシの強度をそれぞれで変えるようにして施すとよい。例えば、被写体と背景にボカシ処理を施す場合、被写体に対しては背景よりも低い強度でボカシ処理を施すとよい。
【0122】
また、上述した撮影画像の背景領域に対するボカシ処理と併せて、被写体領域に対し、明るさ補正処理、彩度補正処理、コントラスト強調処理、鮮鋭化処理などの各種の画像処理を施すようにすれば、より被写体を際立たせることができ、演出性の高い絵作りの画像を作成することができる。
【0123】
また、撮影シーンの明るさ又は撮影モード(シーンモード)の種類に応じたボカシ処理の変更の手法は、図2および図11のフローチャートに示した内容に限定されない。
【図面の簡単な説明】
【0124】
【図1】本発明のデジタルカメラのブロック図である。
【図2】第1実施形態のデジタルカメラのボカシ処理の動作を示す流れ図である。
【図3】撮影画像中の輝点のイメージを示す図である。
【図4】明るいシーンと暗いシーンとでのボカシ処理の違いを示す図である。
【図5】デジタルカメラにより撮影される画像のγ特性を示す図である。
【図6】ホワイトクリップにより生じるボカシの違和感を軽減する処理(処理1)を説明する図である。
【図7】レンズ効果によりボカシを行う場合の画像の輝度分布の変化を示す図である。
【図8】ホワイトクリップにより生じるボカシの違和感を軽減する処理(処理2)を説明する図である。
【図9】ボカシの違和感を更に改善する処理を説明する図である。
【図10】コントラスト強調処理に用いるトーンカーブの例を示す図である。
【図11】第2実施形態のデジタルカメラのボカシ処理の動作を示す流れ図である。
【符号の説明】
【0125】
11…撮像レンズ,12…レンズ駆動部,13…絞り,14…撮像素子,15…アナログ信号処理部,16…タイミングジェネレータ(TG),17…バッファメモリ,18…画像処理部,19…圧縮/復号部,20…制御部,21…測光部,22…モニタ,23…記録媒体,24…発光部,25…操作部,26…バス
【特許請求の範囲】
【請求項1】
撮影画像から被写体の領域(A領域)と被写体以外の領域(B領域)とを分離する分離手段と、
前記分離手段が分離した前記A領域と前記B領域のうち、少なくとも前記B領域を対象にしてボカシ処理を施すボカシ手段とを備える画像処理装置であって、
前記ボカシ手段は、前記撮影画像の撮影時に取得した撮影シーンの明るさ又は撮影モードの種類の情報に応じて前記ボカシ処理を変更する
ことを特徴とする画像処理装置。
【請求項2】
請求項1に記載の画像処理装置において、
前記ボカシ手段は、前記情報を基に前記撮影画像のシーンが明るいか又は暗いかを判別して、前記ボカシ処理を、前記明るい場合と前記暗い場合とでそれぞれ専用のボカシ処理に変更する
ことを特徴とする画像処理装置。
【請求項3】
請求項2に記載の画像処理装置において、
前記明るいシーン用のボカシ処理は、前記対象の領域中の輝点領域に対しては、前記輝点領域の中心位置の輝度と略同等の輝度となる領域(等輝度領域)を狭く、かつ前記等輝度領域の周辺部分の領域の輝度変化を緩やかとするようにボカシを行う
ことを特徴とする画像処理装置。
【請求項4】
請求項2または請求項3に記載の画像処理装置において、
前記暗いシーン用のボカシ処理は、前記対象の領域中の輝点領域に対しては、前記輝点領域の中心位置の輝度と略同等の輝度となる領域(等輝度領域)を広く、かつ前記等輝度領域の周辺部分の領域の輝度変化を急峻とするようにボカシを行う
ことを特徴とする画像処理装置。
【請求項5】
請求項1ないし請求項4の何れか一項に記載の画像処理装置において、
前記ボカシ手段は、ガンマ補正後の前記撮影画像における前記ボカシ処理が施された前記対象の領域の輝度成分を、その輝度成分のレベルが前記ボカシ処理の実施の前と後とで略同等になる増幅率で増幅する
ことを特徴とする画像処理装置。
【請求項6】
請求項1ないし請求項5の何れか一項に記載の画像処理装置において、
前記ボカシ手段は、前記ボカシ処理が施された前記対象の領域中の飽和した輝点領域の画像信号を、予め定められた増幅率で増幅する
ことを特徴とする画像処理装置。
【請求項7】
請求項1ないし請求項6の何れか一項に記載の画像処理装置において、
前記ボカシ手段は、前記ボカシ処理が施された前記対象の領域中の飽和した輝点領域の画像信号を、前記飽和した輝点領域の面積の大きさに応じた増幅率で増幅する
ことを特徴とする画像処理装置。
【請求項8】
請求項1ないし請求項7の何れか一項に記載の画像処理装置において、
前記ボカシ手段は、前記ボカシ処理が施された前記対象の領域に対してコントラスト強調処理を施す
ことを特徴とする画像処理装置。
【請求項9】
被写界を撮影することにより撮影画像を取得する撮影手段と、
請求項1ないし請求項8の何れか一項に記載の画像処理装置と
を備えることを特徴とするデジタルカメラ。
【請求項10】
撮影画像から被写体の領域(A領域)と被写体以外の領域(B領域)とを分離する分離手順と、
前記分離された前記A領域と前記B領域のうち、少なくとも前記B領域を対象にしてボカシ処理を施すボカシ手順とをコンピュータに実行させる画像処理プログラムであって、
前記ボカシ手順では、前記撮影画像の撮影時に取得した撮影シーンの明るさ又は撮影モードの種類の情報に応じて前記ボカシ処理を変更する
ことを特徴とする画像処理プログラム。
【請求項11】
請求項10に記載の画像処理プログラムにおいて、
前記ボカシ手順では、前記情報を基に前記撮影画像のシーンが明るいか又は暗いかを判別して、前記ボカシ処理を、前記明るい場合と前記暗い場合とでそれぞれ専用のボカシ処理に変更する
ことを特徴とする画像処理プログラム。
【請求項12】
請求項11に記載の画像処理プログラムにおいて、
前記明るいシーン用のボカシ処理は、前記対象の領域中の輝点領域に対しては、前記輝点領域の中心位置の輝度と略同等の輝度となる領域(等輝度領域)を狭く、かつ前記等輝度領域の周辺部分の領域の輝度変化を緩やかとするようにボカシを行う
ことを特徴とする画像処理プログラム。
【請求項13】
請求項11または請求項12に記載の画像処理プログラムにおいて、
前記暗いシーン用のボカシ処理は、前記対象の領域中の輝点領域に対しては、前記輝点領域の中心位置の輝度と略同等の輝度となる領域(等輝度領域)を広く、かつ前記等輝度領域の周辺部分の領域の輝度変化を急峻とするようにボカシを行う
ことを特徴とする画像処理プログラム。
【請求項14】
請求項10ないし請求項13の何れか一項に記載の画像処理プログラムにおいて、
前記ボカシ手順では、ガンマ補正後の前記撮影画像における前記ボカシ処理が施された前記対象の領域の輝度成分を、その輝度成分のレベルが前記ボカシ処理の実施の前と後とで略同等になる増幅率で増幅する
ことを特徴とする画像処理プログラム。
【請求項15】
請求項10ないし請求項14の何れか一項に記載の画像処理プログラムにおいて、
前記ボカシ手順では、前記ボカシ処理が施された前記対象の領域中の飽和した輝点領域の画像信号を、予め定められた増幅率で増幅する
ことを特徴とする画像処理プログラム。
【請求項16】
請求項10ないし請求項15の何れか一項に記載の画像処理プログラムにおいて、
前記ボカシ手順では、前記ボカシ処理が施された前記対象の領域中の飽和した輝点領域の画像信号を、前記飽和した輝点領域の面積の大きさに応じた増幅率で増幅する
ことを特徴とする画像処理プログラム。
【請求項17】
請求項10ないし請求項16の何れか一項に記載の画像処理プログラムにおいて、
前記ボカシ手順では、前記ボカシ処理が施された前記対象の領域に対してコントラスト強調処理を施す
ことを特徴とする画像処理プログラム。
【請求項1】
撮影画像から被写体の領域(A領域)と被写体以外の領域(B領域)とを分離する分離手段と、
前記分離手段が分離した前記A領域と前記B領域のうち、少なくとも前記B領域を対象にしてボカシ処理を施すボカシ手段とを備える画像処理装置であって、
前記ボカシ手段は、前記撮影画像の撮影時に取得した撮影シーンの明るさ又は撮影モードの種類の情報に応じて前記ボカシ処理を変更する
ことを特徴とする画像処理装置。
【請求項2】
請求項1に記載の画像処理装置において、
前記ボカシ手段は、前記情報を基に前記撮影画像のシーンが明るいか又は暗いかを判別して、前記ボカシ処理を、前記明るい場合と前記暗い場合とでそれぞれ専用のボカシ処理に変更する
ことを特徴とする画像処理装置。
【請求項3】
請求項2に記載の画像処理装置において、
前記明るいシーン用のボカシ処理は、前記対象の領域中の輝点領域に対しては、前記輝点領域の中心位置の輝度と略同等の輝度となる領域(等輝度領域)を狭く、かつ前記等輝度領域の周辺部分の領域の輝度変化を緩やかとするようにボカシを行う
ことを特徴とする画像処理装置。
【請求項4】
請求項2または請求項3に記載の画像処理装置において、
前記暗いシーン用のボカシ処理は、前記対象の領域中の輝点領域に対しては、前記輝点領域の中心位置の輝度と略同等の輝度となる領域(等輝度領域)を広く、かつ前記等輝度領域の周辺部分の領域の輝度変化を急峻とするようにボカシを行う
ことを特徴とする画像処理装置。
【請求項5】
請求項1ないし請求項4の何れか一項に記載の画像処理装置において、
前記ボカシ手段は、ガンマ補正後の前記撮影画像における前記ボカシ処理が施された前記対象の領域の輝度成分を、その輝度成分のレベルが前記ボカシ処理の実施の前と後とで略同等になる増幅率で増幅する
ことを特徴とする画像処理装置。
【請求項6】
請求項1ないし請求項5の何れか一項に記載の画像処理装置において、
前記ボカシ手段は、前記ボカシ処理が施された前記対象の領域中の飽和した輝点領域の画像信号を、予め定められた増幅率で増幅する
ことを特徴とする画像処理装置。
【請求項7】
請求項1ないし請求項6の何れか一項に記載の画像処理装置において、
前記ボカシ手段は、前記ボカシ処理が施された前記対象の領域中の飽和した輝点領域の画像信号を、前記飽和した輝点領域の面積の大きさに応じた増幅率で増幅する
ことを特徴とする画像処理装置。
【請求項8】
請求項1ないし請求項7の何れか一項に記載の画像処理装置において、
前記ボカシ手段は、前記ボカシ処理が施された前記対象の領域に対してコントラスト強調処理を施す
ことを特徴とする画像処理装置。
【請求項9】
被写界を撮影することにより撮影画像を取得する撮影手段と、
請求項1ないし請求項8の何れか一項に記載の画像処理装置と
を備えることを特徴とするデジタルカメラ。
【請求項10】
撮影画像から被写体の領域(A領域)と被写体以外の領域(B領域)とを分離する分離手順と、
前記分離された前記A領域と前記B領域のうち、少なくとも前記B領域を対象にしてボカシ処理を施すボカシ手順とをコンピュータに実行させる画像処理プログラムであって、
前記ボカシ手順では、前記撮影画像の撮影時に取得した撮影シーンの明るさ又は撮影モードの種類の情報に応じて前記ボカシ処理を変更する
ことを特徴とする画像処理プログラム。
【請求項11】
請求項10に記載の画像処理プログラムにおいて、
前記ボカシ手順では、前記情報を基に前記撮影画像のシーンが明るいか又は暗いかを判別して、前記ボカシ処理を、前記明るい場合と前記暗い場合とでそれぞれ専用のボカシ処理に変更する
ことを特徴とする画像処理プログラム。
【請求項12】
請求項11に記載の画像処理プログラムにおいて、
前記明るいシーン用のボカシ処理は、前記対象の領域中の輝点領域に対しては、前記輝点領域の中心位置の輝度と略同等の輝度となる領域(等輝度領域)を狭く、かつ前記等輝度領域の周辺部分の領域の輝度変化を緩やかとするようにボカシを行う
ことを特徴とする画像処理プログラム。
【請求項13】
請求項11または請求項12に記載の画像処理プログラムにおいて、
前記暗いシーン用のボカシ処理は、前記対象の領域中の輝点領域に対しては、前記輝点領域の中心位置の輝度と略同等の輝度となる領域(等輝度領域)を広く、かつ前記等輝度領域の周辺部分の領域の輝度変化を急峻とするようにボカシを行う
ことを特徴とする画像処理プログラム。
【請求項14】
請求項10ないし請求項13の何れか一項に記載の画像処理プログラムにおいて、
前記ボカシ手順では、ガンマ補正後の前記撮影画像における前記ボカシ処理が施された前記対象の領域の輝度成分を、その輝度成分のレベルが前記ボカシ処理の実施の前と後とで略同等になる増幅率で増幅する
ことを特徴とする画像処理プログラム。
【請求項15】
請求項10ないし請求項14の何れか一項に記載の画像処理プログラムにおいて、
前記ボカシ手順では、前記ボカシ処理が施された前記対象の領域中の飽和した輝点領域の画像信号を、予め定められた増幅率で増幅する
ことを特徴とする画像処理プログラム。
【請求項16】
請求項10ないし請求項15の何れか一項に記載の画像処理プログラムにおいて、
前記ボカシ手順では、前記ボカシ処理が施された前記対象の領域中の飽和した輝点領域の画像信号を、前記飽和した輝点領域の面積の大きさに応じた増幅率で増幅する
ことを特徴とする画像処理プログラム。
【請求項17】
請求項10ないし請求項16の何れか一項に記載の画像処理プログラムにおいて、
前記ボカシ手順では、前記ボカシ処理が施された前記対象の領域に対してコントラスト強調処理を施す
ことを特徴とする画像処理プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2009−206585(P2009−206585A)
【公開日】平成21年9月10日(2009.9.10)
【国際特許分類】
【出願番号】特願2008−44317(P2008−44317)
【出願日】平成20年2月26日(2008.2.26)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】
【公開日】平成21年9月10日(2009.9.10)
【国際特許分類】
【出願日】平成20年2月26日(2008.2.26)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】
[ Back to top ]