説明

撮像装置及びプログラム

【課題】撮影した被写体画像に人物が含まれるか否かに係らず、被写体画像に歪みが少なく違和感の無い自然な画像を取得する。
【解決手段】撮像装置100が、被写体を撮像する電子撮像部2等と、電子撮像部2によって撮像された被写体画像の歪み補正処理を行う歪曲収差補正部7aと、電子撮像部2によって撮像された被写体画像の中の顔領域を認識する顔領域認識部6aと、顔領域認識部6aによって認識された顔領域の被写体画面内での位置を検出する顔領域位置検出部6bと、顔領域位置検出部6bによって検出された位置に基づいて、歪曲収差補正部7aによる歪み補正の度合を判定する判定部11bと、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置及びプログラムに関する。
【背景技術】
【0002】
近年、デジタルカメラで撮像した画像は、コンピュータの画像再生プログラムによって再生されて、ディスプレイに表示される。レンズの歪曲収差に起因して、デジタルカメラで撮像した画像はその周辺部が歪んでいる(図8参照)。そこで、撮像された画像を画像処理技術によって補正して、画像の周辺部の歪みを低減することが行われている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2003−110847号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、人物の顔が画像の周辺部等に写っている場合、その画像を画像処理技術によって補正すると、人物の顔が歪んでしまい、顔の歪みが目立ってしまう(図9参照)。
一方、顔の歪みを解消すべく、画像を補正しないとしたら、画像の周辺部等にある背景等が歪んだままになってしまう。
【0005】
そこで、本発明は、撮影した被写体画像に人物が含まれるか否かに係らず、被写体画像に歪みが少なく違和感の無い自然な画像を取得することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
以上の課題を解決するべく、本発明に係る撮像装置は、
被写体を撮像し、被写体画像を取得する撮像手段と、
前記撮像手段によって撮像された被写体画像の歪み補正処理を行う歪み補正処理手段と、
前記撮像手段によって撮像された被写体画像の中の顔領域を認識する顔領域認識手段と、
前記顔領域認識手段によって認識された顔領域の被写体画像内での位置を検出する位置検出手段と、
前記位置検出手段によって検出された位置に基づいて、前記歪み補正処理手段による歪み補正の度合を判定する判定手段と、を備える。
【0007】
本発明に係るプログラムは、
被写体を撮像する撮像手段を備える撮像装置のコンピュータを、
前記撮像手段によって撮像された被写体画像の歪み補正処理を行う歪み補正処理手段、
前記撮像手段によって撮像された被写体画像の中の顔領域を認識する顔領域認識手段、
前記顔領域認識手段によって認識された顔領域の被写体画像内の位置を検出する位置検出手段、
前記位置検出手段によって検出された位置に基づいて、前記歪み補正処理手段による歪み補正の度合を決定する判定手段、
として機能させる。
【発明の効果】
【0008】
本発明によれば、被写体に人物が含まれる場合には、その人物の顔が歪まず、背景等も歪みが少ない違和感の無い自然な画像を取得することができる。
【図面の簡単な説明】
【0009】
【図1】本発明の第1実施形態に係る撮像装置の概略構成を示すブロック図である。
【図2】撮像された画像に設定される領域を説明するための図面である。
【図3】撮像された画像に設定される領域を説明するための図面である。
【図4】撮像された画像に設定される領域を説明するための図面である。
【図5】同実施形態に係る撮像装置の動作順序を示したフローチャートである。
【図6】本発明の第2実施形態に係る撮像装置の概略構成を示すブロック図である。
【図7】同実施形態に係る撮像装置の動作順序を示したフローチャートである。
【図8】レンズの歪曲収差によって歪んで撮像された画像を示した図面である。
【図9】歪曲収差の補正処理が施された画像を示した図面である。
【発明を実施するための形態】
【0010】
以下に、本発明を実施するための形態について、図面を用いて説明する。但し、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の範囲を以下の実施形態及び図示例に限定するものではない。
【0011】
〔第1の実施の形態〕
撮像装置100は、レンズ部1、電子撮像部2、ユニット回路部3、撮像制御部4、レンズ駆動部5、顔検出部6、画像処理部7、表示制御部8、表示部9、リーダー・ライター10、中央制御部11、メモリ12、プログラムメモリ13、操作入力部14及びバスライン15等を備える。この撮像装置100には、外部記憶媒体としての記憶部10aが装着される。撮像装置100のコンピュータは、中央制御部11、メモリ12及びバスライン15から構成されている。
【0012】
ユニット回路部3、撮像制御部4、レンズ駆動部5、顔検出部6、画像処理部7、表示制御部8、リーダー・ライター10、メモリ12、プログラムメモリ13及び中央制御部11は、バスライン15を介して接続されている。バスライン15は、ユニット回路部3、撮像制御部4、レンズ駆動部5、顔検出部6、画像処理部7、表示制御部8、リーダー・ライター10、メモリ12、プログラムメモリ13及び中央制御部11の間の信号・データの転送を行う。
【0013】
操作入力部14は、ユーザーにより操作されると、その操作に伴う操作信号を中央制御部11に出力する。操作入力部14は、例えば撮像装置100の筐体等に設けられたシャッターボタン14a、電源スイッチ14b、モード切換ボタン14c及び焦点距離変更ボタン14d等を有する。シャッターボタン14aは、半押しされると信号を中央制御部11に出力するとともに、全押しされると信号を中央制御部11に出力する。シャッターボタン14aの半押しは、測光及びピント合わせ等を指示するためのものであり、シャッターボタン14aの全押しは、電子撮像部2等による撮像を指示するためのものである。電源スイッチ14b、モード切換ボタン14c及び焦点距離変更ボタン14dは、操作内容に応じた信号を中央制御部11に出力する。電源スイッチ14bは、撮像装置100の起動・停止を行うためのものである。モード切換ボタン14cは、再生モードや撮影モード等といった撮像装置100の動作モードを切り換えるためのものである。焦点距離変更ボタン14dは、レンズ部1の焦点距離を変更するためのものである。
【0014】
レンズ部1は、例えば、図示は省略するが、複数枚のレンズ及び絞り等を備える。レンズ部1は、各レンズの光軸方向の移動によるフォーカス機能及びズーム機能を有する。レンズ部1は、レンズ部1の前方の被写体の像を電子撮像部2に結像する。
【0015】
電子撮像部2は、レンズ部1の後ろ側においてレンズ部1の光軸に対して交差(具体的には、直交)するように配置されている。電子撮像部2は、CCD(Charge Coupled Device)型イメージセンサ、CMOS(Complementary Metal-oxide Semiconductor)イメージセンサその他のイメージセンサから構成されている。電子撮像部2は、レンズ部1によって結像された光学像をアナログの画像信号に変換し、アナログ画像信号をユニット回路部3に出力する。
【0016】
ユニット回路部3は、電子撮像部2によって出力されたアナログ画像信号を入力する。ユニット回路部3は、例えばCDS(Correlated Double Sampling:相関二重サンプリング回路)、AGC(Auto Gain Control:ゲイン調整アンプ)、ADC(Analog to Digital Converter:アナログ/デジタル変換器)等を具備する。ユニット回路部3は、電子撮像部2によって出力されたアナログ画像信号をCDSにより保持し、当該画像信号をAGCにより増幅した後、増幅した画像信号をADCによりデジタルの画像(RGB色空間の画像)に変換する。ユニット回路部3は、変換したデジタルの画像をバスライン15に出力する。ユニット回路部3によって出力された画像はメモリ12に一時記憶されたり、顔検出部6、画像処理部7及び表示制御部8に入力されたりする。
【0017】
撮像制御部4は、中央制御部11の指令に従って電子撮像部2及びユニット回路部3を駆動する制御を行う。具体的には、撮像制御部4は、TG(Timing Generator)、電子撮像部2を駆動するドライバ等(何れも図示略)を備え、TGによってドライバ及びユニット回路部3の動作タイミングを制御する。撮像制御部4によってユニット回路部3及び電子撮像部2が制御されることによって、光学像が電子撮像部2によってアナログ画像信号に変換される。
【0018】
電子撮像部2、ユニット回路部3及び撮像制御部4からなるユニットは、被写体を撮像する撮像手段を構成している。
【0019】
顔検出部6は、ユニット回路部3によって出力された画像の中の顔領域を認識し、画像内における顔領域の位置を検出する。顔領域とは、画像の中で被写体の顔の像が占める領域をいう。
【0020】
顔検出部6は、顔領域認識部6a及び顔領域位置検出部6bを有する。顔領域認識部6aは、ユニット回路部3によって出力された画像の中の顔領域を認識する。顔領域位置検出部6bは、顔領域認識部6aによって認識された顔領域の位置を検出する。画像の中の顔領域の位置は、例えば顔領域の中心の位置、鼻に相当する部分の位置、眉間に相当する部分の位置等によって定められる。顔検出部6が行う顔領域認識処理や顔領域位置検出処理は公知の技術であるので、ここでは、それらの処理の詳細な説明を省略する。
【0021】
レンズ駆動部5は、レンズ部1の各レンズを光軸方向に駆動する。具体的には、レンズ駆動部5は、レンズ部1の何れか一枚又は複数枚のレンズを光軸方向に動かしてレンズ部1のフォーカシングをするフォーカスモータと、レンズ部1の何れか一枚又は複数枚のレンズを光軸方向に動かしてレンズ部1の焦点距離を変更するズームモータと、レンズ部1の絞りを調整する絞りモータと、これらモータを駆動するドライバと、を備える。なお、図示は省略するが、ユニット回路部3によって出力された画像信号がオートフォーカス制御回路に入力されるとともに、顔検出部6によって検出された顔領域の位置を表す信号がオートフォーカス制御回路に入力され、オートフォーカス制御回路が画像信号及び画像信号に基づいてレンズ駆動部5のフォーカスモータを制御することによって、レンズ部1がレンズ駆動部5によって駆動されて、レンズ部1のフォーカシングが行われ、被写体の顔にピントが合う。
【0022】
メモリ12は、画像等を一時保存するバッファであるとともに、中央制御部11のワーキングメモリ等としても使用される。
プログラムメモリ13には、撮像装置100の機能に係るプログラム13aやデータが格納されている。このプログラム13aは、中央制御部11にとって読み取り可能なプログラムである。
【0023】
中央制御部11は、撮像装置100の各部を制御するCPUを具備する。プログラム13aが中央制御部11に各種の機能を持たせ、中央制御部11がプログラム13aに従って各種処理を行う。具体的には、プログラム13aは、中央制御部11を焦点距離設定部11a及び判定部11bとして機能させる。
【0024】
焦点距離設定部11aは、焦点距離変更ボタン14dの操作内容に応じてレンズ駆動部5のドライバ及びズームモータを制御することによってレンズ部1の焦点距離を設定するものである。
【0025】
判定部11bは、顔検出部6の顔領域位置検出部6bによって検出された位置が画像中の所定領域内に含まれているか否かを判別する。具体的には、図2に示すように、判定部11bは、ユニット回路部3によって出力された画像Aの中に、その画像Aの中心Bを中心とした領域Cを設定する。判定部11bは、顔検出部6の顔領域位置検出部6bによって検出された位置が領域C内に含まれているか否かを判別する。ここで、判定部11bは、焦点距離設定部11aによって設定されたレンズ部1の焦点距離に従って領域Cの大きさを決定する。具体的には、設定された焦点距離が長くなるにつれて、判定部11bが領域Cを大きく設定し、設定された焦点距離が短くなるにつれて、判定部11bが領域Cを小さく設定する。
【0026】
領域Cは、画像Aの中心Bを通る垂直ラインDに関して線対称であるとともに、中心Bを通る水平ラインEに関して線対称である。更に、領域Cは、菱形(正方形も含む意である。)Fの各辺を画像Aの中心Bに向けて湾曲させるように変形させて得られた閉曲線によって囲まれた領域である。ここで、菱形Fの中心は画像Aの中心Bに重なり、菱形Fの四つの頂点のうち一方の対角の頂点が垂直ラインDに重なり、他方の対角の頂点が水平ラインEに重なり、菱形Fの頂点を移動させずに各辺を変形させることで、領域Cを囲む閉曲線が得られる。菱形Fの2本の対角線のうち短い方の対角線と長い方の対角線の長さの比は、画像Aの縦(垂直方向の長さ)と横(水平方向の長さ)の長さの比に等しいことが好ましい。
【0027】
図3に示すように、領域Cが、画像Aの中心Bを中心とした菱形(正方形を含む意である。)の領域であってもよいし、図4に示すように、領域Cが、画像Aの中心Bを中心とした長方形又は正方形の領域であってもよい。更に、図示は省略するが、領域Cは、画像Aの中心Bを中心とした円形の領域であってもよいし、画像Aの中心Bを中心とするとともに焦点が垂直ラインD又は水平ラインEに重なった楕円形の領域であってもよい。
【0028】
図3に示す菱形の領域Cの一方の対角の頂点が垂直ラインDに重なり、他方の対角の頂点が水平ラインEに重なっている。好ましくは、領域Cの菱形の短い対角線と長い対角線の長さの比は、画像Aの縦と横の長さの比に等しいことが好ましい。図4に示す長方形又は正方形の一方の対辺が垂直ラインDに対して平行であり、他方の対辺が水平ラインEに対して平行である。好ましくは、画像Aが正方形であれば、領域Cが正方形の領域であり、画像Aが長方形であれば、領域Cが長方形であることが好ましい。更に好ましくは、領域C及び画像Aが長方形であれば、領域Cの短辺と長辺の長さの比が画像Aの短辺(縦)と画像Aの長辺(横)の長さの比に等しい。
【0029】
図1に示すように、画像処理部7は、ユニット回路部3によって出力された画像や記憶部10aに格納された画像に対して、各種の画像処理を行う。具体的には、画像処理部7は歪曲収差補正部7a及び圧縮伸張部7bを有する。
歪曲収差補正部(歪み補正処理部)7aは、ユニット回路部3によって出力された画像に対して、歪曲収差補正を行う。歪曲収差補正とは、ユニット回路部3によって出力された画像の歪み(歪曲収差に基づくもの)を補正して、レンズ部1によって生じた歪曲収差を低減させる処理である。歪曲収差補正部7aによって歪曲収差補正が行われるか否かは、中央制御部11の判定部11bによる判定結果に従う。具体的には、顔検出部6の顔領域位置検出部6bによって検出された位置が領域C内に含まれていると判定部11bによって判定された場合には、歪曲収差補正部7aが歪曲収差補正を行う。一方、顔検出部6の顔領域位置検出部6bによって検出された位置が領域C内に含まれていないと判定部11bによって判定された場合には、歪曲収差補正部7aが歪曲収差補正を行わない。
歪曲収差補正部7aによって歪曲収差補正が行われるのは、シャッターボタン14aが全押しされた結果、撮像制御部4が中央制御部11の指令に従って電子撮像部2及びユニット回路部3を駆動した時である。
【0030】
歪曲収差補正部7aは、焦点距離設定部11aによって設定されたレンズ部1の焦点距離に従って、画像の歪曲収差補正を行うための補正関数の補正パラメータを決定する。従って、レンズ部1の焦点距離が変更されれば、歪曲収差補正部7aによって歪曲収差補正に利用される補正関数も変更される。
【0031】
歪曲収差補正部7aは歪曲収差補正の度合を調整可能なものでもよい。具体的には、顔検出部6の顔領域位置検出部6bによって検出された位置が領域C内に含まれていると判定部11bによって判定された場合には、歪曲収差補正部7aが高い度合(以下、度合Hという。)の補正関数で歪曲収差補正を行う。一方、顔検出部6の顔領域位置検出部6bによって検出された位置が領域C内に含まれていないと判定部11bによって判定された場合には、歪曲収差補正部7aが度合Hよりも低い度合の補正関数で歪曲収差補正を行う。
【0032】
圧縮伸張部7bは、ユニット回路部3によって出力された画像や、歪曲収差補正部7aによって補正された画像を所定の符号化方式(JPEG方式)により符号化することで、その画像を圧縮する。圧縮伸張部7bによって圧縮処理が行われるのは、シャッターボタン14aが全押しされた結果、撮像制御部4が中央制御部11の指令に従って電子撮像部2及びユニット回路部3を駆動した時である。
また、圧縮伸張部7bは、記憶部10aに格納された画像を復号化することによって、その画像を伸張する。圧縮伸張部7bによって伸張処理が行われるのは、再生モードの際である。
【0033】
なお、画像処理部7は圧縮伸張、歪曲収差補正以外の各種の画像処理(例えば、欠陥補正、ホワイトバランス調整、色補間、階調補正、色分解、色空間変換等)の機能も有する。
【0034】
リーダー・ライター10は、画像処理部7の圧縮伸張部7bによって圧縮処理された画像を記憶部10aに記録する。また、リーダー・ライター10は、記憶部10aに格納された画像を読み出す。リーダー・ライター10が記憶部10aから画像を読み出して、その画像の伸張処理が圧縮伸張部7bによって行われるのは、再生モードの際である。
記憶部10aは、不揮発性半導体メモリ又はハードディスクである。
【0035】
表示部9は、液晶ディスプレイ、有機ELディスプレイその他のディスプレイである。
表示制御部8は、表示部9に表示動作を行わせる。具体的には、表示制御部8は、画像処理部7の圧縮伸張部7bによって伸張処理された画像やユニット回路部3によって出力された画像を映像信号に変換して、その映像信号を表示部9に出力する。これにより、表示部9に画像が表示される。画像処理部7の圧縮伸張部7bによって伸張処理された画像が表示制御部8によって映像信号に変換されて、その画像が再生画像として表示部9に表示されるのは、再生モードの際である。ユニット回路部3によって出力された画像が表示制御部8によって映像信号に変換されて、その画像がライブビュー画像として表示部9に表示されるのは、シャッターボタン14aが全押しされた結果、撮像制御部4が中央制御部11の指令に従って電子撮像部2及びユニット回路部3を駆動する前である。
【0036】
続いて、図5を参照して、撮像装置100の動作について説明する。図5は、撮像装置100の各部の動作を表わしたフローチャートである。
【0037】
ユーザーが電源スイッチ14bをオンに操作すると、その旨の信号が電源スイッチ14bから中央制御部11に出力され、中央制御部11が起動してプログラム13aを読み込む(ステップS1)。以後、中央制御部11の動作はプログラム13aに従う。
【0038】
そして、ユーザーがモード切換ボタン14cを操作して、撮影モードに切り換える(ステップS2)。そうすると、その旨の信号がモード切換ボタン14cから中央制御部11に出力され、中央制御部11がプログラム13aによってライブビュー制御部として機能させられる(ステップS3)。つまり、ライブビュー制御部として機能した中央制御部11は、撮像制御部4に撮像の指令をするとともに、顔検出部6及び表示制御部8を起動する。そうすると、撮像制御部4が電子撮像部2及びユニット回路部3を駆動し、電子撮像部2によって撮像された画像がユニット回路部3を介して顔検出部6、表示制御部8及びメモリ12等に出力される。表示制御部8に入力された画像は、表示制御部8によって映像信号に変換されて、ライブビュー画像として表示部9に表示される。顔検出部6は、顔領域認識部6aによって、ユニット回路部3から出力された画像の中の顔領域を認識する。
【0039】
また、中央制御部11がプログラム13aによって焦点距離設定部11aとして機能させられる。つまり、焦点距離設定部11aとして機能した中央制御部11がレンズ駆動部5のドライバ及びズームモータを制御することによってレンズ部1の焦点距離をデフォルトに設定する。更に、ユーザーが焦点距離変更ボタン14dを操作したら、中央制御部11が焦点距離変更ボタン14dの操作内容に応じてレンズ駆動部5のドライバ及びズームモータを制御して、レンズ部1の焦点距離が操作内容に応じた焦点距離に設定される。
【0040】
以後、シャッターボタン14aが全押しされるか、電源スイッチ14bがオフに操作されるか、モード切換ボタン14cによって撮影モードから他のモードに切り換えられるまで、ステップS3の動作が継続される。つまり、電子撮像部2、ユニット回路部3及び撮像制御部4が撮像動作を継続し、表示制御部8がライブビュー画像を表示部9に表示させることを継続し、顔検出部6の顔領域認識部6aが顔領域認識処理を継続する。その際、中央制御部11は、プログラム13aによって半押し判定部として機能させられて、シャッターボタン14aが半押しされたか否かを判定する(ステップS4)。
【0041】
ユーザーがシャッターボタン14aを半押しすると、その旨の信号が中央制御部11に出力される。そうすると、中央制御部11は、半押しの旨を認識して(ステップS4:YES)、フォーカシング動作をレンズ駆動部5及びオートフォーカス制御回路に行わせる(ステップS5)。したがって、レンズ駆動部5がレンズ部1を駆動しながら、オートフォーカス制御回路がユニット回路部3の画像信号や顔検出部6の顔検出結果に基づいてレンズ駆動部5をフィードバック制御することで、レンズ部1のフォーカシングが行われる。
【0042】
レンズ部1のフォーカシングが終了して、レンズ部1が停止した際に、顔検出部6がユニット回路部3の出力画像の中の顔領域を顔領域認識部6aによって認識する(ステップS6:YES)。そして、顔検出部6は、画像内における顔領域の位置を顔領域位置検出部6bによって検出する(ステップS7)。顔検出部6の顔領域位置検出部6bによって検出された顔領域の位置は、メモリ12に一時格納されたり、中央制御部11に出力されたりする。なお、画像の中の顔領域と他の領域が顔領域認識部6aによって識別されなかった場合には(ステップS6:NO)、顔領域の位置の検出処理は省略される。
【0043】
その後、中央制御部11は、シャッターボタン14aの半押し状態が継続されているか否かを判定する(ステップS8)。更に、中央制御部11は、プログラム13aによって全押し判定部として機能させられて、シャッターボタン14aが全押しされたか否かを判定する(ステップS9)。
【0044】
中央制御部11が全押しや半押しの有無を判定している際に(ステップS8、ステップS9)、ユーザーがシャッターボタン14aの半押しを解除した場合には(ステップS8:NO)、中央制御部11の処理がステップS4に戻る。一方、ユーザーがシャッターボタン14aを全押しすると、その旨の信号がシャッターボタン14aから中央制御部11に出力される。そうすると、中央制御部11がプログラム13aによって記録撮像制御部として機能させられる(ステップS10)。つまり、記録撮像制御部として機能した中央制御部11は、撮像制御部4に撮像の指令をする。そうすると、撮像制御部4が電子撮像部2及びユニット回路部3を駆動し、電子撮像部2によって撮像された画像がユニット回路部3を介して画像処理部7及びメモリ12等に出力される。
【0045】
次に、中央制御部11は、プログラム13aによって判定部11bとして機能させられる(ステップS12,S13)。つまり、判定部11bとして機能した中央制御部11は、ステップS3において設定されたレンズ部1の焦点距離に従って領域C(図2〜図4参照)の大きさを決定する(ステップS12)。そして、中央制御部11は、ステップS7において顔検出部6の顔領域位置検出部6bによって検出された顔領域の位置が領域C内に含まれているか否かを判定する(ステップS13)。
【0046】
顔領域の位置が領域C内に含まれていると中央制御部11によって判定された場合には(ステップS13:YES)、中央制御部11が歪曲収差補正指令を画像処理部7に出力する。そうすると、画像処理部7は、ステップS3において設定されたレンズ部1の焦点距離に従って補正関数の補正パラメータを決定し、その決定した補正パラメータの補正関数で画像(ステップS10において撮像された画像)の歪曲収差補正を歪曲収差補正部7aによって行う(ステップS14)。そして、画像処理部7は、歪曲収差補正された画像を圧縮伸張部7bによって圧縮する(ステップS14)。
一方、顔領域の位置が領域C内に含まれていないと中央制御部11によって判定された場合には(ステップS13:NO)、中央制御部11が歪曲収差補正無し指令を画像処理部7に出力する。そうすると、画像処理部7は、ステップS10において撮像された画像の歪曲収差補正を行わずに、その画像を圧縮伸張部7bによって圧縮する(ステップS15)。なお、画像処理部7がステップS15において画像の歪曲収差補正を行ってもよい。その場合、画像処理部7は、ステップS14において行われる歪曲収差補正の度合よりも低い度合いで画像の歪曲収差補正を行う(ステップS15)。
【0047】
先の処理において、顔検出部6が顔領域の認識及び位置検出をすることができなかった場合には、中央制御部11が判定処理を行わずに、画像処理部7に歪曲収差補正及び画像圧縮処理を行う(ステップS11:NO、ステップS14参照)。
【0048】
その後、中央制御部11がプログラム13aによって記録制御部として機能させられて、リーダー・ライター10に記録動作を行わせる。そうすると、画像処理部7の圧縮伸張部7bによって圧縮された画像が、リーダー・ライター10によって記憶部10aに記録される(ステップS16)。そして、ユーザーによって電源スイッチ14bがオフ操作されていなければ(ステップS17:NO)、中央制御部11の処理がステップS3に戻る。一方、ユーザーによって電源スイッチ14bがオフ操作されていれば(ステップS17:YES)、中央制御部11等が待機状態又は停止状態になる。
【0049】
以上の動作では、ユーザーがシャッターボタン14aを全押しする前に、電子撮像部2等によって撮像された画像(ライブビュー画像)の中の顔領域が顔検出部6の顔領域認識部6aによって認識されて、その認識された顔領域の位置が顔検出部6の顔領域位置検出部6bによって検出されていた(ステップS6、ステップS7参照)。それに対して、ユーザーがシャッターボタン14aを全押しした後に、電子撮像部2等によって撮像された画像(記録画像)の中の顔領域が顔検出部6の顔領域認識部6aによって認識されて、その認識された顔領域の位置が顔検出部6の顔領域位置検出部6bによって検出されてもよい。つまり、ステップS6、ステップS7の処理がステップS10の後であってステップS11の前に行われてもよい。
【0050】
本実施の形態によれば、以下のような効果が生ずる。
(1) 画像の歪曲収差補正を行うと、画像の周辺部が中心部よりも大きく補正される。そのため、顔の像が画像の周辺部にある場合にその画像が歪曲収差補正されると、顔の像が歪んでしまう。特に、画像の周辺部にある顔の像は左右対称に補正されるのではなく、顔の像のうち縁に近い部分が大きく補正され、中心部に近い部分が小さく補正される。その結果、顔の像の歪みが目立ってしまう。そこで、本実施形態によれば、顔領域が領域Cの外にあれば、つまり画像の周辺部にあれば、歪曲収差補正が行われないか、歪曲収差補正の度合が小さい(ステップS15)。よって、画像の周辺にある顔の像の歪みが無いか、そのような歪みがあったとしても目立たない。
【0051】
(2) 撮像されるどの画像も歪曲収差補正されていないわけではなく、顔の像が画像の中心部にある場合には、その画像が歪曲収差補正される(ステップS14)。画像が歪曲収差補正されるから、撮影された画像の背景部分の歪曲に違和感を覚えない。また、撮像された画像が歪曲収差補正されたものとしても、顔の像が画像の中心部にあるから、顔の像の歪みが目立たない。
【0052】
(3) 画像の中心部が図2に示すような形状の領域Cによって定められると、画像を歪曲収差補正しても顔の像の歪みが目立たないようにする効果と、画像を歪曲収差補正せずに顔の像の歪みを発生しないようにする効果とを良好に両立することができる。
【0053】
(4) ライブビュー画像について顔領域の認識・位置検出が行われたので(ステップS6,S7参照)、ユーザーがシャッターボタン14aを全押ししてから画像が記録されるまでの時間が短縮される。
【0054】
〔第2の実施の形態〕
図6は、本発明の第2実施形態に係る撮像装置100Aの概略構成を示すブロック図である。第2実施形態に係る撮像装置100Aと、第1実施形態に係る撮像装置100との間で互いに対応する部分には、同一の符号を付す。
【0055】
第2実施形態に係る撮像装置100Aと、第1実施形態に係る撮像装置100とは、顔検出部6の機能が相違する。更に、プログラムメモリ13に格納されたプログラム13a,13bが相違するとともに、プログラム13a,13bによる中央制御部11の機能が相違する。
【0056】
第2実施形態に係る撮像装置100Aでは、顔検出部6が顔領域認識部6a及び顔領域位置検出部6bに加えて、顔領域面積検出部6c及び顔向き検出部6dを有する。
顔領域面積検出部6cは、顔領域認識部6aによって認識された顔領域の面積(画素数)を検出する。
顔向き検出部6dは、顔領域認識部6aによって認識された顔領域内の顔の向きを検出する。例えば、顔向き検出部6dは、顔領域認識部6aによって認識された顔領域内の顔の両目若しくは鼻又はこれらの両方の位置を検出して、それらの位置から顔の向きを検出する。顔の向きを表す数値の絶対値は、顔が正面向きになるにつれて小さい値をとり、顔が横向きになるにつれて大きい値をとる。
【0057】
プログラム13bが中央制御部11に各種の機能を持たせ、中央制御部11がプログラム13bに従って各種処理を行う。具体的には、プログラム13bは、中央制御部11を焦点距離設定部11a、判定部11b及び検出位置補正部11cとして機能させる。焦点距離設定部11aは、第1実施形態における焦点距離設定部11aと同等の機能を有する。
【0058】
検出位置補正部11cは、顔領域面積検出部6cによって検出された顔領域の面積と、顔向き検出部6dによって検出された顔の向きとに基づいて、顔検出部6の顔領域位置検出部6bによって検出された位置を補正する。具体的には、検出位置補正部11cは、次式に従って補正を行う。
【数1】

【0059】
ここで、xは画像の中心の水平位置、yは画像の中心の垂直位置、xは顔領域位置検出部6bによって検出された顔領域の水平位置、yは顔領域位置検出部6bによって検出された顔領域の垂直位置、Aは顔領域面積検出部6cによって検出された顔領域の面積、Dは顔向き検出部dによって検出された顔の向きを表す数値、xは補正後の水平位置、yは補正後の垂直位置である。画像の中心を原点とすれば、x、yはともにゼロである。
【0060】
判定部11bは、検出位置補正部11cによって補正された位置が画像中の所定領域(例えば、図2〜図3に示す領域C)内に含まれているか否かを判別する。
【0061】
レンズ部1、ユニット回路部3、撮像制御部4、レンズ駆動部5、画像処理部7、表示制御部8、表示部9、リーダー・ライター10、記憶部10a、メモリ12、プログラムメモリ13、操作入力部14及びバスライン15は第1実施形態の場合と同様である。
【0062】
続いて、図7を参照して、撮像装置100Aの動作について説明する。図7は、撮像装置100Aの各部の動作を表わしたフローチャートである。
【0063】
ステップS31〜ステップS37までの撮像装置100Aの動作や操作は、第1実施形態におけるステップS1〜ステップS7までの撮像装置100の動作や操作と同様であるので説明を省略する。
【0064】
画像内の顔領域の位置がステップS37において顔領域位置検出部6bによって検出された後、顔検出部6は、顔領域認識部6aにより認識した顔領域の面積を顔領域面積検出部6cによって検出する(ステップS38)。
次に、顔検出部6は、顔領域認識部6aにより認識した顔領域内の顔の向きを顔向き検出部6dによって検出する(ステップS39)。顔検出部6によって検出された顔領域の位置、面積及び顔向きは、メモリ12に一時格納されたり、中央制御部11に出力されたりする。
【0065】
次に、中央制御部11がプログラム13bによって検出位置補正部11cとして機能させられる(ステップS40)。つまり、検出位置補正部11cとして機能した中央制御部11は、ステップS38において検出された顔領域の面積と、ステップS39において検出された顔の向きとに基づいて、ステップS37において検出された顔領域の位置を補正する(上述の式(1)参照)。なお、画像の中の顔領域と他の領域が顔領域認識部6aによって識別されなかった場合には(ステップS36:NO)、ステップS37〜ステップS40の処理・動作は省略される。
【0066】
その後、中央制御部11がシャッターボタン14aの半押し・全押しの有無を判定する(ステップS41,S42)。そして、ユーザーがシャッターボタン14aを全押したら、記録撮像制御部として機能した中央制御部11が撮像制御部4に撮像の指令をし、電子撮像部2によって撮像された画像がユニット回路部3を介して画像処理部7及びメモリ12等に出力される(ステップS43)。ステップS41〜ステップS43までの撮像装置100Aの動作や操作は、第1実施形態におけるステップS8〜ステップS10までの撮像装置100の動作や操作と同様であるので、これらの詳細な説明を省略する。
【0067】
その後、プログラム13bによって判定部11bとして機能させられた中央制御部11は、ステップS33において設定されたレンズ部1の焦点距離に従って領域Cの大きさを決定し(ステップS45)、ステップS40において補正された顔領域の位置が領域C内に含まれているか否かを判定する(ステップS46)。補正された顔領域の位置が領域C内に含まれている場合には(ステップS46:YES)、中央制御部11が画像処理部7に歪曲収差補正処理を行わせる。そうすると、画像処理部7は、ステップS33において設定されたレンズ部1の焦点距離に従って補正関数の補正パラメータを決定し、その決定した補正パラメータの補正関数で画像(ステップS43において撮像された画像)の歪曲収差補正を歪曲収差補正部7aによって行う(ステップS47)。そして、歪曲収差補正された画像が圧縮伸張部7bによって圧縮される。
一方、補正された顔領域の位置が領域C内に含まれていない場合には(ステップS46:NO)、中央制御部11が画像処理部7に歪曲収差補正を行わせない。そうすると、ステップS43において撮像された画像の歪曲収差補正が行われずに、その画像が圧縮伸張部7bによって圧縮される(ステップS48)。なお、画像処理部7が、ステップS47において行われる歪曲収差補正の度合よりも低い度合いで画像の歪曲収差補正を行ってもよい(ステップS48)。
【0068】
先のステップS36において顔領域が顔検出部6によって認識されなかった場合、中央制御部11が判定処理を行わずに、歪曲収差補正及び画像圧縮処理を画像処理部7に行わせる(ステップS44:NO、ステップS47参照)。
【0069】
その後、中央制御部11がリーダー・ライター10に記録動作を行わせ、画像処理部7の圧縮伸張部7bによって圧縮された画像がリーダー・ライター10によって記憶部10aに記録される(ステップS49)。
その後、ユーザーが電源スイッチ14bをオフ操作していなければ(ステップS50:NO)、中央制御部11の処理がステップS33に戻り、ユーザーが電源スイッチ14bをオフ操作していれば(ステップS50:YES)、中央制御部11等が待機状態又は停止状態になる。
【0070】
なお、ステップS36〜ステップS40の処理がステップS43の後であってステップS44の前に行われ、電子撮像部2等によって撮像された画像(記録画像)についての顔領域の認識、位置検出、面積検出、向き検出及び位置補正が行われてもよい。
【0071】
本発明の第2実施形態によれば、第1実施形態と同様の効果が生ずるとともに、更に次のような効果も生ずる。
【0072】
(1) 撮像された画像に含まれる顔の像が横顔の像であれば、その画像を歪曲収差補正しても、顔の像の歪みが目立たない。しかし、画像に含まれる顔の像が正面を向いた顔の像であれば、その画像の歪曲収差の補正をすると、顔の像の歪みが目立つ。一方、撮像された画像に含まれる顔の像が小さければ、その画像の歪曲収差の補正をしても、顔の像の歪みが目立たない。しかし、画像に含まれる顔の像が大きければ、その画像の歪曲収差の補正をすると、顔の像の歪みが目立つ。そのため、検出された顔領域の位置を顔領域の面積や顔向きによって補正することで、歪曲収差補正するか否かの判定基準がより理想的になる。
【0073】
〔変形例〕
なお、本発明は上記実施形態に限定されることなく、本発明の実施形態は本発明の趣旨を逸脱しない範囲において、上記第1又は第2の実施形態に対して種々の改良並びに設計の変更を行ったものでも良い。
【0074】
上述の第1、第2の実施の形態では、撮像された画像の歪み補正処理(ステップS14,S15,S47,S48)が歪曲収差補正処理であったが、他の歪み補正処理であってもよい。ここでいう歪み補正処理とは、撮像された画像の画素の座標変換をして画素間を補間することによって、画像の中の被写体や背景等が幾何学的に変形するような画像処理をいう。
【0075】
上述の第2の実施の形態では、中央制御部11が、ステップS38において検出された顔領域の面積と、ステップS39において検出された顔の向きとに基づいて、ステップS37において検出された顔領域の位置を式(1)に従って補正した。それに対して、中央制御部11が、ステップS38において検出された顔領域の面積に基づいて、ステップS37において検出された顔領域の位置を補正してもよい。その場合、式(1)のDが定数である。
また、中央制御部11が、ステップS39において検出された顔の向きに基づいて、ステップS37において検出された顔領域の位置を補正してもよい。その場合、式(1)のAが定数である。
【0076】
撮像装置100,100Aの構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。また、撮像装置100,100Aの一例としてデジタルカメラを例示したが、これに限られるものではなく、例えば、撮像手段を有した携帯電話機、タブレット、電子辞書、ノート型パーソナルコンピュータ(ラップトップパーソナルコンピュータ)その他の電子機器であってもよい。
【0077】
上記第1、第2の実施形態にあっては、顔検出部6や画像処理部7の各種機能は、中央制御部11の制御のもとにて画像処理部7及び顔検出部6が中央制御部11によって駆動されることによって実現される構成としたが、これに限られるものではない。つまり、中央制御部11がプログラムメモリ13に格納されたプログラム13a,13bを実行することによって、中央制御部11が顔検出部6や画像処理部7の各部と同等の機能を実現するものとしてもよい。
【0078】
さらに、プログラム13a,13bを格納したコンピュータ読み取り可能な媒体として、ROMやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、CD−ROM等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ(搬送波)も適用される。
【0079】
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
被写体を撮像し、被写体画像を取得する撮像手段と、
前記撮像手段によって撮像された被写体画像の歪み補正処理を行う歪み補正処理手段と、
前記撮像手段によって撮像された被写体画像の中の顔領域を認識する顔領域認識手段と、
前記顔領域認識手段によって認識された顔領域の被写体画像内での位置を検出する位置検出手段と、
前記位置検出手段によって検出された位置に基づいて、前記歪み補正処理手段による歪み補正の度合を判定する判定手段と、を備えることを特徴とする撮像装置。
<請求項2>
前記判定手段は、
前記位置検出手段によって検出された位置が前記撮像手段によって撮像された被写体画像の一部の領域内に含まれるか否かを判定し、その判定結果に従って前記歪み補正処理手段による歪み補正処理の有無又は歪み補正処理の度合を決定することを特徴とする請求項1に記載の撮像装置。
<請求項3>
前記撮像手段によって撮像された被写体画像の前記一部の領域が、その被写体画像の中心を中心として、その中心を通る水平ライン及び垂直ライン上に頂点を有した菱形の領域、又は、その菱形の各辺をその中心に向けて湾曲させるように変形させて得られた閉曲線によって囲まれる領域であることを特徴とする請求項2に記載の撮像装置。
<請求項4>
前記顔領域認識手段によって認識された顔領域の面積を検出する面積検出手段と、
前記面積検出手段によって検出された面積に基づいて、前記位置検出手段によって検出された位置を補正する検出位置補正手段と、を更に備え、
前記判定手段は、前記検出位置補正手段によって補正された位置が前記撮像手段によって撮像された被写体画像の一部の領域内に含まれるか否かを判定することを特徴とする請求項2又は3に記載の撮像装置。
<請求項5>
前記顔領域認識手段によって認識された顔領域の中の顔の向きを検出する顔向き検出手段と、
前記顔向き検出手段によって検出された顔の向きに基づいて、前記位置検出手段によって検出された位置を補正する検出位置補正手段と、を更に備え、
前記判定手段は、前記検出位置補正手段によって補正された位置が前記撮像手段によって撮像された被写体画像の一部の領域内に含まれるか否かを判定することを特徴とする請求項2又は3に記載の撮像装置。
<請求項6>
前記顔領域認識手段によって認識された顔領域の面積を検出する面積検出手段と、
前記顔領域認識手段によって認識された顔領域の中の顔の向きを検出する顔向き検出手段と、
前記面積検出手段によって検出された面積と前記顔向き検出手段によって検出された顔の向きとに基づいて、前記位置検出手段によって検出された位置を補正する検出位置補正手段と、を更に備え、
前記判定手段は、前記検出位置補正手段によって補正された位置が前記撮像手段によって撮像された被写体画像の一部の領域内に含まれるか否かを判定することを特徴とする請求項2又は3に記載の撮像装置。
<請求項7>
前記撮像手段に結像するレンズ部の焦点距離を設定する焦点距離設定手段を更に備え、
前記判定手段が、前記焦点距離設定手段によって設定された焦点距離に基づいて、前記撮像手段によって撮像された被写体画像の前記一部の領域の大きさを決定することを特徴とする請求項2から6の何れか一項に記載の撮像装置。
<請求項8>
前記歪み補正処理手段が行う歪み補正処理が歪曲収差補正処理であることを特徴とする請求項2から7の何れか一項に記載の撮像装置。
<請求項9>
被写体を撮像する撮像手段を備える撮像装置のコンピュータを、
前記撮像手段によって撮像された被写体画像の歪み補正処理を行う歪み補正処理手段、
前記撮像手段によって撮像された被写体画像の中の顔領域を認識する顔領域認識手段、
前記顔領域認識手段によって認識された顔領域の被写体画像内の位置を検出する位置検出手段、
前記位置検出手段によって検出された位置に基づいて、前記歪み補正処理手段による歪み補正の度合を決定する判定手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【0080】
1 レンズ部
2 電子撮像部(撮像手段)
3 ユニット回路部(撮像手段)
5 撮像制御部(撮像手段)
7 画像処理部
7a 歪曲収差補正部(歪み補正処理手段)
6 顔検出部
6a 顔領域認識部
6b 顔領域位置検出部(位置検出手段)
6c 顔領域面積検出部(面積検出手段)
6d 顔向き検出部(顔向き検出手段)
11 中央制御部
11a 焦点距離設定部(焦点距離設定手段)
11b 判定部(判定手段)
11c 検出位置補正部(検出位置補正手段)
12 メモリ
13a、13b プログラム
15 バスライン
100、100A 撮像装置

【特許請求の範囲】
【請求項1】
被写体を撮像し、被写体画像を取得する撮像手段と、
前記撮像手段によって撮像された被写体画像の歪み補正処理を行う歪み補正処理手段と、
前記撮像手段によって撮像された被写体画像の中の顔領域を認識する顔領域認識手段と、
前記顔領域認識手段によって認識された顔領域の被写体画像内での位置を検出する位置検出手段と、
前記位置検出手段によって検出された位置に基づいて、前記歪み補正処理手段による歪み補正の度合を判定する判定手段と、を備えることを特徴とする撮像装置。
【請求項2】
前記判定手段は、
前記位置検出手段によって検出された位置が前記撮像手段によって撮像された被写体画像の一部の領域内に含まれるか否かを判定し、その判定結果に従って前記歪み補正処理手段による歪み補正処理の有無又は歪み補正処理の度合を決定することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記撮像手段によって撮像された被写体画像の前記一部の領域が、その被写体画像の中心を中心として、その中心を通る水平ライン及び垂直ライン上に頂点を有した菱形の領域、又は、その菱形の各辺をその中心に向けて湾曲させるように変形させて得られた閉曲線によって囲まれる領域であることを特徴とする請求項2に記載の撮像装置。
【請求項4】
前記顔領域認識手段によって認識された顔領域の面積を検出する面積検出手段と、
前記面積検出手段によって検出された面積に基づいて、前記位置検出手段によって検出された位置を補正する検出位置補正手段と、を更に備え、
前記判定手段は、前記検出位置補正手段によって補正された位置が前記撮像手段によって撮像された被写体画像の一部の領域内に含まれるか否かを判定することを特徴とする請求項2又は3に記載の撮像装置。
【請求項5】
前記顔領域認識手段によって認識された顔領域の中の顔の向きを検出する顔向き検出手段と、
前記顔向き検出手段によって検出された顔の向きに基づいて、前記位置検出手段によって検出された位置を補正する検出位置補正手段と、を更に備え、
前記判定手段は、前記検出位置補正手段によって補正された位置が前記撮像手段によって撮像された被写体画像の一部の領域内に含まれるか否かを判定することを特徴とする請求項2又は3に記載の撮像装置。
【請求項6】
前記顔領域認識手段によって認識された顔領域の面積を検出する面積検出手段と、
前記顔領域認識手段によって認識された顔領域の中の顔の向きを検出する顔向き検出手段と、
前記面積検出手段によって検出された面積と前記顔向き検出手段によって検出された顔の向きとに基づいて、前記位置検出手段によって検出された位置を補正する検出位置補正手段と、を更に備え、
前記判定手段は、前記検出位置補正手段によって補正された位置が前記撮像手段によって撮像された被写体画像の一部の領域内に含まれるか否かを判定することを特徴とする請求項2又は3に記載の撮像装置。
【請求項7】
前記撮像手段に結像するレンズ部の焦点距離を設定する焦点距離設定手段を更に備え、
前記判定手段が、前記焦点距離設定手段によって設定された焦点距離に基づいて、前記撮像手段によって撮像された被写体画像の前記一部の領域の大きさを決定することを特徴とする請求項2から6の何れか一項に記載の撮像装置。
【請求項8】
前記歪み補正処理手段が行う歪み補正処理が歪曲収差補正処理であることを特徴とする請求項2から7の何れか一項に記載の撮像装置。
【請求項9】
被写体を撮像する撮像手段を備える撮像装置のコンピュータを、
前記撮像手段によって撮像された被写体画像の歪み補正処理を行う歪み補正処理手段、
前記撮像手段によって撮像された被写体画像の中の顔領域を認識する顔領域認識手段、
前記顔領域認識手段によって認識された顔領域の被写体画像内の位置を検出する位置検出手段、
前記位置検出手段によって検出された位置に基づいて、前記歪み補正処理手段による歪み補正の度合を決定する判定手段、
として機能させることを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2013−74555(P2013−74555A)
【公開日】平成25年4月22日(2013.4.22)
【国際特許分類】
【出願番号】特願2011−213651(P2011−213651)
【出願日】平成23年9月29日(2011.9.29)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】