説明

撮像装置

【課題】 主要被写体の解像感が高い好ましい画像を簡単に取得できる手段を提供する。
【解決手段】 撮像装置は、撮像部と、被写体抽出部と、画像処理部とを備える。撮像部は、被写体像を撮像して画像のデータを生成する。被写体抽出部は、画像から主要被写体を抽出する。画像処理部は、画像のうちで主要被写体の位置する領域に対してノイズを付加するノイズ付加処理を画像のデータに施す。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子カメラなどの撮像装置における画像処理に関する。
【背景技術】
【0002】
従来から、画像の解像感を向上させる一手法として、輪郭強調処理によって画像の輪郭を強調することが電子カメラでは一般的に行われている。例えば、特許文献1に上述の電子カメラの一例が開示されている。また、他の手法として、コンピュータ上での画像加工において撮像画像に対して意図的にノイズを付加し、ピントの合っている被写体の解像感をより高めることも試みられている。
【特許文献1】特開平7−30780号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかし、従来において画像にノイズを付加する場合は、画像全体に一律にノイズを付加するか、あるいはユーザーがノイズを付加する場所を指定する必要があった。そのため、前者の場合には、ユーザーの意図しない部分まで画像のノイズが増加してしまう点で問題があった。一方、後者の場合には、ユーザーが画像中の被写体を指定する操作が必要となるので、ユーザーにとって非常に煩雑であった。
【0004】
本発明は上記従来技術の課題を解決するためのものである。本発明の目的は、主要被写体の解像感が高い好ましい画像を簡単に取得できる手段を提供することである。
【課題を解決するための手段】
【0005】
第1の発明に係る撮像装置は、撮像部と、被写体抽出部と、画像処理部とを備える。撮像部は、被写体像を撮像して画像のデータを生成する。被写体抽出部は、画像から主要被写体を抽出する。画像処理部は、画像のうちで主要被写体の位置する領域に対してノイズを付加するノイズ付加処理を画像のデータに施す。
第2の発明に係る撮像装置は、撮像部と、被写体抽出部と、画像処理部とを備える。撮像部は、被写体像を撮像して画像のデータを生成する。被写体抽出部は、画像から主要被写体を抽出する。画像処理部は、画像からノイズを除去するノイズ除去処理を画像のデータに施すとともに、画像のうちで主要被写体を含まない領域に対しては、主要被写体の位置する領域と比べてノイズの除去の度合いを強める。
【0006】
第3の発明は、第1または第2の発明において、撮影画面内に設定された焦点検出エリアでの焦点調節状態を検出する焦点検出部を撮像装置がさらに備える。また、被写体抽出部は、撮像時の焦点検出エリアの位置に基づいて主要被写体を抽出する。
第4の発明は、第1または第2の発明において、被写体抽出部は、画像に含まれる特定の被写体を認識し、該認識結果に基づいて主要被写体を抽出する。
【0007】
第5の発明は、第3または第4の発明において、被写体抽出部は、画像を複数の領域に分割するとともに、該分割後の領域群から主要被写体の位置する領域を選択する。
第6の発明は、第1または第2の発明において、画像処理部は、被写体距離に応じて、画像に残されるノイズを調整する。
第7の発明は、第6の発明において、被写体像の焦点評価値を算出し、該焦点評価値が極大値となるレンズ位置を探索する焦点検出部を撮像装置がさらに備える。また、画像処理部は、焦点検出部の出力に基づいて被写体距離を取得する。
【0008】
第8の発明は、第1の発明において、画像処理部は、画像のデータに輪郭強調処理を施した後に、ノイズ付加処理を施す。
第9の発明は、第2の発明において、画像処理部は、画像のデータにノイズ除去処理を施した後に、輪郭強調処理を施す。
【発明の効果】
【0009】
本発明の撮像装置では、ユーザーによる領域指定を必要とすることなく、主要被写体の解像感が高い好ましい画像を簡単に取得できる。
【発明を実施するための最良の形態】
【0010】
(第1実施形態の説明)
図1は、第1実施形態の電子カメラの構成を説明するブロック図である。電子カメラは、撮像レンズ11と、レンズ駆動部12と、撮像素子13と、A/D変換部14と、バッファメモリ15と、画像処理部16と、記録I/F17と、モニタ18と、レリーズ釦19と、CPU20およびバス21とを有している。ここで、バッファメモリ15、画像処理部16、記録I/F17、モニタ18およびCPU20はバス21を介してそれぞれ接続されている。また、レンズ駆動部12およびレリーズ釦19は、それぞれCPU20に接続されている。
【0011】
撮像レンズ11は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成されている。撮像レンズ11のレンズ位置は、レンズ駆動部12によって光軸方向に調整される。また、レンズ駆動部12は、エンコーダ(不図示)によって撮像レンズ11のレンズ位置をCPU20に出力する。なお、簡単のため、図1では撮像レンズ11を1枚のレンズとして図示する。
【0012】
撮像素子13は、撮像レンズ11の像空間側に配置されている。この撮像素子13は、撮像レンズ11を通過した光束による被写体像を光電変換してアナログの画像信号を生成する。なお、撮像素子13の出力はA/D変換部14に接続されている。
ここで、撮像素子13はレリーズ時に記録用画像(本画像)を撮像する。また、撮像素子13は、撮影待機時(非レリーズ時)にも所定間隔毎に間引き読み出しでスルー画像を撮像する。上記のスルー画像のデータは、モニタ18での画像表示やCPU20による各種の演算処理などに使用される。
【0013】
A/D変換部14は、撮像素子13から出力される画像信号のA/D変換を行う。このA/D変換部14の出力はバッファメモリ15に接続されている。バッファメモリ15は、画像処理部16による画像処理の前工程や後工程で画像のデータを一時的に記録する。
画像処理部16は、1フレーム分の画像のデータに対して、各種の画像処理(色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整など)を施す。また、画像処理部16は、CPU20の指示に基づき、本画像のデータに対してノイズ付加処理またはノイズ除去処理を実行する。なお、画像処理部16は、本画像のデータの圧縮処理なども負担する。
【0014】
記録I/F17には、記録媒体22を接続するためのコネクタが形成されている。そして、記録I/F17は、コネクタに接続された記録媒体22に対してデータの書き込み/読み込みを実行する。上記の記録媒体22は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図1では記録媒体22の一例としてメモリカードを図示する。
【0015】
モニタ18は、CPU20の指示に応じて各種の画像を表示する。例えば、モニタ18には、撮影待機時にスルー画像が動画表示される。また、モニタ18には、撮像後に本画像を再生表示することもできる。
レリーズ釦19は、撮影前のオートフォーカス(AF)動作開始の指示入力と、撮影時の露光動作開始の指示入力とをユーザーから受け付ける。
【0016】
CPU20は、電子カメラの統括的な制御を行うプロセッサである。また、CPU20は、不図示のROMに格納されたプログラムを実行することで、焦点検出部20a、顔認識部20bおよび被写体抽出部20cとして機能する。
焦点検出部20aは、スルー画像のデータに基づいてコントラスト検出方式によるAF演算を行う。この焦点検出部20aは、スルー画像の高周波成分の絶対値を積分して、所定の被写体像に関する焦点評価値を生成する。また、焦点検出部20aは、フォーカシングレンズの移動前後の焦点評価値を比較して、焦点評価値が極大値となるレンズ位置(合焦位置)を探索する。なお、焦点検出部20aは、合焦時のレンズ位置から被写体距離を演算することもできる。
【0017】
顔認識部20bは、画像のデータに顔認識処理を施して撮影画面内から人物の顔領域を検出する。この顔認識処理は公知のアルゴリズムによって行われる。一例として、顔認識部20bは、公知の特徴点抽出処理によって、眉、目、鼻、唇の各端点などの特徴点を画像から抽出し、これらの特徴点に基づいて顔領域か否かを判定する。あるいは、顔認識部20bは、予め用意された顔画像と判定対象の画像との相関係数を求めて、この相関係数が一定の閾値を超えるときに顔領域と判定する。
【0018】
被写体抽出部20cは、画像に含まれる主要被写体を抽出する被写体抽出処理を実行する。なお、被写体抽出部20cは、上記の被写体抽出処理において画像を複数の領域に分割するとともに、分割した領域群から主要被写体の位置する領域を選択する。
以下、図2の流れ図を参照しつつ、第1実施形態の電子カメラにおける撮影動作の一例を説明する。なお、図2では、撮影時の顔認識機能がオンに設定された状態を前提として説明を行う。
【0019】
ステップ101:ユーザーが電子カメラの電源をオンにすると、CPU20は撮像素子13を駆動させてスルー画像の撮像処理を実行する。そして、撮像素子13は所定のフレームレートでスルー画像を撮像する。CPU20は、スルー画像のデータに基づいてシーンの解析を実行する。また、CPU20は画像処理部16にスルー画像の画像処理を指示するとともに、モニタ18にスルー画像を動画表示させる。したがって、ユーザーはモニタ18に表示されたスルー画像によって被写体のフレーミングを行うことができる。
【0020】
ステップ102:CPU20の顔認識部20bは、スルー画像のデータに対して顔認識処理を実行する。顔認識部20bは、撮影画面内に顔領域がある場合には顔認識情報(撮影画面内の顔の位置、大きさなど)を生成する。また、顔認識情報が生成された場合には、CPU20の焦点検出部20aは人物の顔の位置に焦点検出エリアを設定して顔認識AFを実行する。なお、人物の顔が複数検出されている場合、焦点検出部20aは最も面積が大きくて至近側にあると考えられる顔領域または撮影画面の中央に位置する顔領域にピントを合わせる顔認識AFを実行する。
【0021】
ステップ103:CPU20はレリーズ釦19が半押しされたか否かを判定する。レリーズ釦19が半押しされた場合(YES側)には、CPU20はS104に移行する。一方、レリーズ釦19が半押しされていない場合(NO側)には、CPU20はS101に戻って上記動作を繰り返す。
ステップ104:CPU20の焦点検出部20aは、スルー画像のデータに基づいてコントラスト検出方式のAFを実行する。このとき、焦点検出部20aは、中央優先、至近優先などのアルゴリズムにより焦点検出エリアを設定する。また、焦点検出部20aは、合焦時のフォーカシングレンズの位置に基づいて、焦点検出エリアの被写体についての被写体距離を求める。
【0022】
ここで、上記のS102で顔認識AFが行なわれている場合には、S104でのCPU20はレリーズ釦19の半押しに応じてAFロックを行なって顔認識AFの処理を停止する。なお、この場合の焦点検出部20aは、検出した各々の顔領域について被写体距離を求める。
ステップ105:CPU20はレリーズ釦19が全押しされたか否かを判定する。レリーズ釦19が全押しされた場合(YES側)には、CPU20はS107に移行する。一方、レリーズ釦19が全押しされていない場合(NO側)には、CPU20はS106に移行する。
【0023】
ステップ106:CPU20はレリーズ釦19の半押しが解除されたか否かを判定する。レリーズ釦19の半押しが解除された場合(YES側)には、CPU20はS101に戻って上記動作を繰り返す。一方、レリーズ釦19の半押しが継続している場合(NO側)には、CPU20はS105に戻る。
ステップ107:CPU20は、撮像素子13を駆動させて本画像の撮像処理を行う。その後、画像処理部16によって本画像のデータが生成される。
【0024】
ステップ108:画像処理部16は本画像のデータに対して輪郭強調処理を実行する。
ステップ109:CPU20の被写体抽出部20cは、本画像を解析して複数の領域に分割する。具体的には、被写体抽出部20cは、本画像において隣接する画素同士が同程度の輝度値または色相を有する場合に、これらの画素を同一の被写体のものとみなしてグループ化し、本画像を複数領域に分割する。また、被写体抽出部20cは、本画像の輪郭成分を抽出し、この輪郭に基づいて本画像を複数領域に分割してもよい。
【0025】
ステップ110:CPU20は、S102の顔認識処理で顔領域が検出されたか否かを判定する。顔領域が検出された場合(YES側)にはS111に移行する。一方、顔領域が検出されない場合(NO側)にはS112に移行する。
ステップ111:CPU20の被写体抽出部20cは、S109の分割された領域群のうちで、人物の顔が含まれる領域を主要被写体の領域として選択する。例えば、図3のシーンで顔認識部20bが人物の顔を検出した場合には、被写体抽出部20cは人物の顔を含む領域を主要被写体の領域として選択することとなる。なお、撮影画面内に複数の人物が検出されている場合には、被写体抽出部20cは複数の人物を主要被写体とすることもできる。
【0026】
ステップ112:CPU20の被写体抽出部20cは、S109で分割された領域群のうちで、焦点検出エリア(S104)の位置と重なる領域を主要被写体の領域として選択する。例えば、図4のシーンで図中の看板にピントを合わせて撮影した場合には、被写体抽出部20cは焦点検出エリアに対応する領域(看板)を主要被写体の領域として選択することとなる。
【0027】
ステップ113:CPU20は、画像処理部16に対してノイズ付加処理の実行を指示する。画像処理部16は、本画像のうちの主要被写体の領域(S111,S112)に対して、画像のデータに高周波成分のノイズをランダムに付加する。これにより、本画像の主要被写体の領域にのみ高周波成分のノイズが自動的に付加されることとなる。
このとき、画像処理部16は、S104で取得した被写体距離に応じて、画像に付加する高周波成分のノイズの振幅(ノイズとして付加する信号レベルの変動範囲)を調整してもよい。例えば、画像処理部16は被写体距離が近いほどノイズの振幅を大きく設定する一方で、被写体距離が遠いほどノイズの振幅を小さく設定する。なお、複数の人物を主要被写体とした場合には、画像処理部16は各々の顔領域の被写体距離に基づいて、それぞれの顔ごとにノイズの振幅を調整してもよい。
【0028】
ステップ114:CPU20は、ノイズ付加処理後の本画像のデータ(S113)を記録媒体22に記録する。以上で、図2の説明を終了する。
以下、第1実施形態の効果を説明する。第1実施形態の電子カメラは、焦点検出エリアの位置や顔認識結果に基づいて本画像から主要被写体を抽出し、その主要被写体の領域に高周波成分のノイズを付加する(S111〜S113)。そのため、第1実施形態の電子カメラによれば、高周波成分のノイズの付加によって、人間の視覚特性上、主要被写体の解像感が高まって見える好ましい画像を簡単に取得できる。
【0029】
特に、輪郭の少ない平坦な被写体を大きく撮像した場合には輪郭強調の効果は小さくなるが、第1実施形態の電子カメラでは上記の場合にも主要被写体の解像感を効果的に向上させることができる。また、第1実施形態の電子カメラにおいて、輪郭強調処理およびノイズ付加処理を併用する場合には輪郭強調の度合いを弱めても画像の解像感を高くできるので、強度の輪郭強調によって画像の輪郭が不自然になることを防ぐことができる。
【0030】
また、第1実施形態の電子カメラは、主要被写体の領域に高周波成分のノイズを自動的に付加するので、ユーザーが主要被写体を逐一指定する手間が不要となり、ユーザーの利便性が大きく向上する。
さらに、第1実施形態の電子カメラは、被写体距離に応じてノイズの振幅を調整するので、主要被写体の見映えをより自然にすることができる。また、第1実施形態の電子カメラでは、予め輪郭強調処理を行なった後に主要被写体の領域にノイズを付加するので、輪郭強調処理によってノイズ成分が増幅されるおそれは低減する。
【0031】
(第2実施形態の説明)
図5は、第2実施形態の電子カメラにおける撮影動作の一例を説明する流れ図である。ここで、第2実施形態での電子カメラの構成は、図1に示す第1実施形態の電子カメラと共通するので重複説明は省略する。なお、図5のS201〜S207は図2のS101〜S107にそれぞれ対応し、図5のS214は図2のS114に対応するので重複説明を省略する。
【0032】
ステップ208:CPU20の被写体抽出部20cは、本画像を解析して複数の領域に分割する。なお、S208での処理は、図2のS109と同様に行われるため重複説明は省略する。
ステップ209:CPU20は、S202の顔認識処理で顔領域が検出されたか否かを判定する。顔領域が検出された場合(YES側)にはS210に移行する。一方、顔領域が検出されない場合(NO側)にはS211に移行する。
【0033】
ステップ210:CPU20の被写体抽出部20cは、S208の分割された領域群のうちで、人物の顔が含まれる領域を主要被写体の領域として選択する。なお、S210での処理は、図2のS111と同様に行われるため重複説明は省略する。
ステップ211:CPU20の被写体抽出部20cは、S208で分割された領域群のうちで、焦点検出エリア(S204)の位置と重なる領域を主要被写体の領域として選択する。なお、S211での処理は、図2のS112と同様に行われるため重複説明は省略する。
【0034】
ステップ212:CPU20は、画像処理部16に対してノイズ除去処理の実行を指示する。画像処理部16は、本画像のうちの主要被写体の領域(S210,S211)以外の背景領域にローパスフィルタ処理やメディアンフィルタ処理などを施し、上記の背景領域からノイズ成分を除去する。これにより、本画像の主要被写体の領域には、背景領域と比べて相対的に高周波成分のノイズが多く含まれる状態となる。
【0035】
ここで、S212での画像処理部16は、背景領域と比べてノイズ除去効果の弱いフィルタを主要被写体の領域に適用し、主要被写体の領域にもノイズ除去処理を行なうようにしてもよい。このとき、画像処理部16は、S204で取得した被写体距離に応じて、主要被写体の領域に適用するフィルタのノイズ除去効果を調整してもよい。この場合には、画像処理部16は被写体距離が近いほど、主要被写体の領域に適用するフィルタのノイズ除去効果を弱くする。
【0036】
ステップ213:画像処理部16は本画像のデータに対して輪郭強調処理を実行する。このS213では、画像処理部16がノイズの除去後に輪郭強調を行うので、輪郭強調処理によってノイズ成分が増幅されるおそれは低減する。以上で、図5の説明を終了する。
以下、第2実施形態の効果を説明する。第2実施形態の電子カメラは、焦点検出エリアの位置や顔認識結果に基づいて本画像から主要被写体を抽出し、その主要被写体の領域を除く背景領域のノイズを除去する(S210〜S212)。そのため、第2実施形態の電子カメラによれば、背景領域と比べて主要被写体の領域のノイズ成分の量が相対的に高まるので、第1実施形態とほぼ同様の効果を得ることができる。
【0037】
(実施形態の補足事項)
(1)第1実施形態での画像処理部16は、主要被写体の領域にノイズを付加する場合に、領域の内側から外側に近づくにつれて除々にノイズを付加する量を減らして、輪郭の周辺で画像が滑らかに変化するようにしてもよい。
(2)上記実施形態ではコントラスト検出方式のAFを行う電子カメラの例を説明したが、本発明の撮像装置のAFは上記の実施形態に限定されることはない。例えば、本発明の撮像装置は、公知の位相差検出方式によるAFモジュールや、撮像レンズ11とは独立した光学系で焦点検出を行う公知のパッシブ型AFモジュールを内蔵するものでもよい(いずれも図示を省略する)。
【0038】
(3)上記実施形態での焦点検出部20aは、フォーカシングレンズを一定方向に走査させて撮影画面内の全ての領域の被写体距離を取得してもよい。そして、画像処理部16は、各々の領域の被写体距離に基づいて、ノイズ付加処理やノイズ除去処理のパラメータを各領域ごとに独立して調節してもよい。また、被写体抽出部20cは、主要被写体とは別の領域に位置するが、主要被写体と同程度の距離にある被写体も主要被写体に準じて扱うようにしてもよい。
【0039】
(4)上記実施形態でのCPU20は、顔認識ができたときに、顔のサイズから被写体距離を推定してノイズの振幅の大きさなどを変化させてもよい。
(5)本発明の撮像装置は、パターンマッチングなどで人間の顔以外の被写体を認識して主要被写体を抽出するものであってもよい。また、顔認識の対象は、人物の顔に限定されることなく、例えば、犬、猫などの動物の顔を検出対象とするものでもよい。
【0040】
なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
【図面の簡単な説明】
【0041】
【図1】第1実施形態の電子カメラの構成を説明するブロック図
【図2】第1実施形態の電子カメラにおける撮影動作の一例を説明する流れ図
【図3】人物のいるシーンでの主要被写体の領域を示す説明図
【図4】人物のいないシーンでの主要被写体の領域を示す説明図
【図5】第2実施形態の電子カメラにおける撮影動作の一例を説明する流れ図
【符号の説明】
【0042】
13…撮像素子、16…画像処理部、20…CPU、20a…焦点検出部、20b…顔認識部、20c…被写体抽出部


【特許請求の範囲】
【請求項1】
被写体像を撮像して画像のデータを生成する撮像部と、
前記画像から主要被写体を抽出する被写体抽出部と、
前記画像のうちで前記主要被写体の位置する領域に対してノイズを付加するノイズ付加処理を前記画像のデータに施す画像処理部と、
を備えることを特徴とする撮像装置。
【請求項2】
被写体像を撮像して画像のデータを生成する撮像部と、
前記画像から主要被写体を抽出する被写体抽出部と、
前記画像からノイズを除去するノイズ除去処理を前記画像のデータに施すとともに、前記画像のうちで前記主要被写体を含まない領域に対しては、前記主要被写体の位置する領域と比べて前記ノイズの除去の度合いを強める画像処理部と、
を備えることを特徴とする撮像装置。
【請求項3】
請求項1または請求項2に記載の撮像装置において、
撮影画面内に設定された焦点検出エリアでの焦点調節状態を検出する焦点検出部をさらに備え、
前記被写体抽出部は、撮像時の前記焦点検出エリアの位置に基づいて前記主要被写体を抽出することを特徴とする撮像装置。
【請求項4】
請求項1または請求項2に記載の撮像装置において、
前記被写体抽出部は、前記画像に含まれる特定の被写体を認識し、該認識結果に基づいて前記主要被写体を抽出することを特徴とする撮像装置。
【請求項5】
請求項3または請求項4に記載の撮像装置において、
前記被写体抽出部は、前記画像を複数の領域に分割するとともに、該分割後の領域群から前記主要被写体の位置する領域を選択することを特徴とする撮像装置。
【請求項6】
請求項1または請求項2に記載の撮像装置において、
前記画像処理部は、被写体距離に応じて、前記画像に残される前記ノイズを調整することを特徴とする撮像装置。
【請求項7】
請求項6に記載の撮像装置において、
前記被写体像の焦点評価値を算出し、該焦点評価値が極大値となるレンズ位置を探索する焦点検出部をさらに備え、
前記画像処理部は、前記焦点検出部の出力に基づいて前記被写体距離を取得することを特徴とする撮像装置。
【請求項8】
請求項1に記載の撮像装置において、
前記画像処理部は、前記画像のデータに輪郭強調処理を施した後に、前記ノイズ付加処理を施すことを特徴とする撮像装置。
【請求項9】
請求項2に記載の撮像装置において、
前記画像処理部は、前記画像のデータに前記ノイズ除去処理を施した後に、輪郭強調処理を施すことを特徴とする撮像装置。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2008−187260(P2008−187260A)
【公開日】平成20年8月14日(2008.8.14)
【国際特許分類】
【出願番号】特願2007−16751(P2007−16751)
【出願日】平成19年1月26日(2007.1.26)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】