説明

領域抽出装置、撮像装置、及び領域抽出プログラム

【課題】入力された画像から主要被写体の領域を適切に抽出することができる領域抽出装置、撮像装置、及び領域抽出プログラムを提供する。
【解決手段】領域抽出装置140は、入力された画像の画像データに含まれる色情報に基づいて、画像から所定領域を抽出する領域抽出部142と、領域抽出部142により抽出された領域に、予め定められた色情報に応じて優先度を定める優先度設定部143とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像から領域を抽出する領域抽出装置、撮像装置、及び領域抽出プログラムに関する。
【背景技術】
【0002】
画像の特徴量のヒストグラムに基づいて、撮像された画像から領域を抽出し、抽出した領域を識別する画像処理装置が開示されている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平4−10079号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に開示された画像処理装置は、入力された画像から、人が注目する領域を抽出すること、すなわち、主要被写体の領域を適切に抽出することができないという問題がある。
【0005】
本発明は、前記の点に鑑みてなされたものであり、入力された画像から主要被写体の領域を適切に抽出することができる領域抽出装置、撮像装置、及び領域抽出プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明は、上記の課題を解決するためになされたものであり、入力された画像の画像データに含まれる色情報に基づいて、前記画像から所定領域を抽出する領域抽出部と、前記領域抽出部により抽出された領域に、予め定められた色情報応じて優先度を定める優先度設定部と、を備えることを特徴とする領域抽出装置である。
【0007】
また、本発明は、入力された画像の画像データに含まれる彩度情報に基づいて、前記画像から所定領域を抽出する領域抽出部と、前記領域抽出部により抽出された領域に、予め定められた彩度に応じて優先度を定める優先度設定部と、を備えることを特徴とする領域抽出装置である。
【0008】
また、本発明は、入力された画像の画像データに含まれる輝度情報に基づいて、前記画像から所定領域を抽出する領域抽出部と、前記領域抽出部により抽出された領域に、予め定められた輝度に応じて優先度を定める優先度設定部と、を備えることを特徴とする領域抽出装置である。
【0009】
また、本発明は、入力された画像の画像データに含まれる色情報を表す均等色空間の座標系における、原点からの距離に基づいて、前記画像から所定領域を抽出する領域抽出部と、前記領域抽出部により抽出された領域に、前記距離に応じて優先度を定める優先度設定部と、を備えることを特徴とする領域抽出装置である。
【0010】
また、本発明は、領域抽出装置と、前記領域抽出装置が抽出した領域のうち、優先度が高い領域に合焦するよう光学系により焦点を調節する焦点調節部と、前記優先度が高い領域に合焦した状態で、前記優先度が高い領域を含む画像を撮像する撮像部と、を備えることを特徴とする撮像装置である。
【0011】
また、本発明は、コンピュータに、入力された画像の画像データに含まれる色情報に基づいて、前記画像から所定領域を抽出する手順と、前記所定領域に、予め定められた色情報に応じて優先度を定める手順と、を実行させるための領域抽出プログラムである。
【0012】
また、本発明は、コンピュータに、入力された画像の画像データに含まれる彩度情報に基づいて、前記画像から所定領域を抽出する手順と、前記所定領域に、予め定められた彩度に応じて優先度を定める手順と、を実行させるための領域抽出プログラムである。
【0013】
また、本発明は、コンピュータに、入力された画像の画像データに含まれる輝度情報に基づいて、前記画像から所定領域を抽出する手順と、前記所定領域に、予め定められた輝度に応じて優先度を定める手順と、を実行させるための領域抽出プログラムである。
【0014】
また、本発明は、コンピュータに、入力された画像の画像データに含まれる色情報を表す均等色空間の座標系における、原点からの距離に基づいて、前記画像から所定領域を抽出する手順と、前記所定領域に、前記距離に応じて優先度を定める手順と、を実行させるための領域抽出プログラムである。
【発明の効果】
【0015】
本発明によれば、領域抽出装置は、入力された画像から主要被写体の領域を適切に抽出することができる。
【図面の簡単な説明】
【0016】
【図1】本発明の一実施形態における、レンズ鏡筒と、領域抽出装置を備える撮像装置と、記憶媒体との構成を表すブロック図である。
【図2】本発明の一実施形態における、画像から抽出された領域の例を表す図である。
【図3】本発明の一実施形態における、変更された閾値に基づいて画像から抽出された領域の例を表す図である。
【図4】均等色空間の座標系を表す図である。
【図5】本発明の一実施形態における、領域に合焦させるまでの処理の手順を表すフローチャートである。
【図6】本発明の一実施形態における、赤色系領域に高い優先度を定める処理の手順を表すフローチャートである。
【図7】本発明の一実施形態における、赤色系領域、黄色系領域及び青色系領域に、高い優先度を定める処理の手順を表すフローチャートである。
【図8】本発明の一実施形態における、赤色系領域、黄色系領域、青色系領域の順に高い優先度を定める処理の手順を表すフローチャートである。
【図9】本発明の一実施形態における、赤色系領域、黄色系領域、青色系領域及び高輝度領域に、高い優先度を定める処理の手順を表すフローチャートである。
【図10】本発明の一実施形態における、他の抽出された領域と比較して低い優先度を、低輝度領域に定める処理の手順を表すフローチャートである。
【発明を実施するための形態】
【0017】
本発明の一実施形態について図面を参照して詳細に説明する。図1には、レンズ鏡筒111と、領域抽出装置140を備える撮像装置100と、記憶媒体200との構成が、ブロック図により表されている。撮像装置100は、レンズ鏡筒111から入射される光学像を撮像し、得られた画像を静止画又は動画の画像として、記憶媒体200に記憶させる。
【0018】
まず、レンズ鏡筒111の構成を説明する。
レンズ鏡筒111は、焦点調整レンズ(以下、「AF(Auto Focus)レンズ」という)112と、レンズ駆動部116と、AFエンコーダ117と、鏡筒制御部118を備える。なお、レンズ鏡筒111は、撮像装置100に着脱可能に接続されてもよいし、撮像装置100と一体であってもよい。
【0019】
AFレンズ112は、レンズ駆動部116により駆動され、後述する撮像部110の撮像素子119の受光面(光電変換面)に、光学像を導く。
【0020】
AFエンコーダ117は、AFレンズ112の移動を検出し、AFレンズ112の移動量に応じた信号を、鏡筒制御部118に出力する。ここで、AFレンズ112の移動量に応じた信号とは、例えば、AFレンズ112の移動量に応じて位相が変化するサイン(sin)波信号であってもよい。
【0021】
鏡筒制御部118は、撮像装置100のCPU190から入力される駆動制御信号に応じて、レンズ駆動部116を制御する。ここで、駆動制御信号とは、AFレンズ112を光軸方向に駆動させる制御信号である。鏡筒制御部118は、駆動制御信号に応じて、例えば、レンズ駆動部116に出力するパルス電圧のステップ数を変更する。
【0022】
また、鏡筒制御部118は、AFレンズ112の移動量に応じた信号に基づいて、レンズ鏡筒111におけるAFレンズ112の位置(フォーカスポジション)を、CPU190に出力する。ここで、鏡筒制御部118は、例えば、AFレンズ112の移動量に応じた信号を、AFレンズ112の移動方向に応じて積算することで、レンズ鏡筒111におけるAFレンズ112の移動量(位置)を算出してもよい。
【0023】
レンズ駆動部116は、鏡筒制御部118の制御に応じてAFレンズ112を駆動し、AFレンズ112をレンズ鏡筒111内で光軸方向に移動させる。
【0024】
次に、撮像装置100の構成を説明する。
撮像装置100は、撮像部110と、領域抽出装置140と、表示部150と、バッファメモリ部130と、操作部180と、記憶部160と、CPU190と、通信部170とを備える。
【0025】
撮像部110は、撮像素子119と、A/D(Analog/Digital)変換部120とを備える。撮像部110は、設定された撮像条件(例えば絞り値、露出値等)に従って、CPU190により制御される。
【0026】
撮像素子119は、光電変換面を備え、レンズ鏡筒111(光学系)により光電変換面に結像された光学像を電気信号に変換して、A/D変換部120に出力する。撮像素子119は、例えば、CMOS(Complementary Metal Oxide Semiconductor)で構成されていてもよい。また、撮像素子119は、光電変換面の一部の領域について、光学像を電気信号に変換するようにしてもよい(画像切り出し)。
【0027】
また、撮像素子119は、操作部180を介してユーザからの撮影指示を受け付けた際に得られる画像を、A/D変換部120を介して記憶媒体200に記憶させる。一方、撮像素子119は、操作部180を介してユーザからの撮影指示を受け付けていない状態において、連続的に得られる画像をスルー画像として、バッファメモリ部130及び表示部150に、A/D変換部120を介して出力する。
【0028】
A/D変換部120は、撮像素子119によって変換された電気信号をデジタル化して、デジタル信号である画像をバッファメモリ部130に出力する。
【0029】
操作部180は、例えば、電源スイッチ、シャッタボタン、マルチセレクタ(十字キー)、又はその他の操作キーを備え、ユーザによって操作されることでユーザの操作入力を受け付け、受け付けた操作入力に応じた信号をCPU190に出力する。
【0030】
領域抽出装置140は、記憶部160に記憶されている画像処理条件に基づいて、バッファメモリ部130に記憶されている画像を画像処理する。画像処理された画像は、通信部170を介して記憶媒体200に記憶される。
【0031】
また、領域抽出装置140は、画像特徴量に基づいて、バッファメモリ部130に記憶されている画像から領域を抽出し、抽出した領域に優先度を定める。また、領域抽出装置140は、抽出した領域を示す情報を記憶部160に記憶させる。ここで、領域を示す情報とは、例えば、領域の分布を表す情報、領域の画像特徴量を表す情報、及び領域に定められた優先度を表す情報である。
【0032】
表示部150は、撮像部110によって得られた画像、及び操作画面等を表示する。表示部150は、例えば、液晶ディスプレイである。
【0033】
バッファメモリ部130は、撮像部110によって撮像された画像を記憶する。
【0034】
記憶部160は、シーン判定の際にCPU190によって参照される判定条件と、シーン判定によって判断されたシーン毎に対応付けられた撮像条件と、領域を示す情報等とを記憶する。
【0035】
CPU190は、設定された撮像条件(例えば、絞り値、露出値)に従って、撮像部110を制御する。また、CPU190は、領域を示す情報を、領域抽出装置140から取得する。また、CPU190は、領域を示す情報に基づいてレンズ鏡筒111の鏡筒制御部118に駆動制御信号を出力することで、画像から抽出された領域のうち、領域抽出装置140が設定した優先度が高い領域に合焦させるよう焦点を調節する。これにより、優先度が高い領域を含む画像は、優先度が高い領域に光学系により合焦した状態で、撮像部110により撮像される。
【0036】
また、CPU190は、領域を示す情報に基づいて、画像処理のプレ処理又はポスト処理として、焦点調整(AF)の設定、露出調整(AE)の設定、ホワイトバランス調整(AWB)の設定、被写体像(オブジェクト)の追尾の設定、夜景か否かの判定の設定、色補正処理の設定、被写体像の拡大表示の設定、パンニング表示の設定、ズーム倍率に連動した明るさの最適化の設定、などを制御する。
【0037】
また、CPU190は、領域を示す情報に基づいて、トーンカーブ(階調カーブ)の設定、静止画及び動画の同時撮影を実行するか否かの設定などを制御する。
【0038】
また、CPU190は、領域を示す情報に基づいて、プレ処理又はポスト処理として、連写するか否かの設定、及び、連写において、合焦させる被写体像の切り替えの設定、焦点距離の連続変更の設定、撮像装置100の発光部(不図示)が発光する閃光の発光量の変更の設定、露光量の変更の設定、又はシャッタスピードの変更を実行するか否かの設定などを制御する。
【0039】
また、CPU190は、操作部180から入力された「操作入力に応じた信号」に基づいて、静止画形式又は動画形式の画像を、領域抽出装置140に画像処理させる。
【0040】
通信部170は、カードメモリ等の取り外しが可能な記憶媒体200と接続され、この記憶媒体200への情報(画像データ、領域を示す情報など)の書込み、読み出し、あるいは消去を行う。
【0041】
記憶媒体200は、撮像装置100に対して着脱可能に接続される記憶部であって、情報(画像データ、領域を示す情報など)を記憶する。なお、記憶媒体200は、撮像装置100と一体であってもよい。
【0042】
次に、領域抽出装置140の詳細について説明する。
領域抽出装置140は、特徴量算出部141と、領域抽出部142と、優先度設定部143とを備える。
【0043】
特徴量算出部141は、撮像部110が撮像した画像を、バッファメモリ部130から取得する。また、特徴量算出部141は、バッファメモリ部130から取得した画像における複数の特徴(例えば、色情報、彩度情報、輝度(明度)情報、テクスチャ、エッジ)毎に、その画像特徴量を算出し、算出した画像特徴量を領域抽出部142に出力する。
【0044】
領域抽出部142は、特徴量算出部141が算出した画像特徴量を取得する。また、領域抽出部142は、撮像部110が撮像した画像を、バッファメモリ部130から取得する。領域抽出部142は、撮像部110により撮像された画像から、画像特徴量(例えば、色情報、彩度情報、輝度情報)に基づいて領域を抽出する。ここで、領域抽出部142が抽出する領域とは、バッファメモリ部130から取得した画像に含まれる、被写体の領域である。
【0045】
また、領域抽出部142は、画像特徴量に定められた一定範囲と、その範囲外とに2値化された画像(以下、「2値画像」という)から領域を抽出し、抽出した領域にラベルを割り当てる(ラベリング)。ここで、一定範囲は、予め定められた閾値の上限及び下限により、画像特徴量が区分されることで定められる。また、閾値は、画像における画像特徴量の平均値(Ave)及び標準偏差(σ)に基づいて、例えば、「平均値+係数×標準偏差」と定められてもよい。
【0046】
図2には、画像から抽出された領域の例が表されている。領域抽出部142は、撮像部110が撮像した画像から、輝度に基づく画像(以下、「Y画像」という)を抽出する。領域抽出部142は、撮像部110が撮像した画像の輝度(入力値)を補正(例えば、ガンマ補正)し、補正した輝度(出力値)を算出する。
【0047】
領域抽出部142は、補正した輝度(出力値)を、複数の範囲に区分する。図2では、一例として、補正した輝度は、区分1〜4に区分されたとする。領域抽出部142は、区分毎に2値画像を生成する。これにより、区分1の範囲上限が「平均値+K1×標準偏差」であり、区分1の範囲下限が「平均値+K2×標準偏差」である場合、区分1の2値画像には、高輝度領域が含まれる。
【0048】
領域抽出部142は、区分1の2値画像に含まれている高輝度領域の分布を探索することにより、探索結果を表す2値画像(領域画像)に、高輝度領域300を抽出する。同様に、領域抽出部142は、区分2の2値画像に含まれている中輝度領域を探索することにより、領域画像に中輝度領域310を抽出する。また、領域抽出部142は、区分4の2値画像に含まれている低輝度領域を探索することにより、領域画像に低輝度領域320を抽出する。
【0049】
同様に、領域抽出部142は、補正した色情報Crを、複数の範囲に区分する。図2では、一例として、補正した色情報Crは、区分5〜8に区分されたとする。領域抽出部142は、区分毎に2値画像を生成する。これにより、区分5の範囲上限が「平均値+K3×標準偏差」であり、区分5の範囲下限が「平均値+K4×標準偏差」である場合、区分5の2値画像には、赤色系領域が含まれる。
【0050】
領域抽出部142は、区分5の2値画像に含まれる赤色系領域の分布を探索することにより、領域画像に、赤色系領域400を抽出する。同様に、領域抽出部142は、区分6の2値画像に含まれる桃色系領域を探索することにより、領域画像に桃色系領域410を抽出する。また、領域抽出部142は、区分8の2値画像に含まれる緑色系領域を探索することにより、領域画像に緑色系領域420を抽出する。
【0051】
同様に、領域抽出部142は、補正した色情報Cbを、複数の範囲に区分する。図2では、一例として、補正した色情報Cbは、区分9〜12に区分されたとする。領域抽出部142は、区分毎に2値画像を生成する。これにより、区分9の範囲上限が「平均値+K5×標準偏差」であり、区分9の範囲下限が「平均値+K6×標準偏差」である場合、区分9の2値画像には、青色系領域が含まれる。
【0052】
領域抽出部142は、区分9の2値画像に含まれる青色系領域の分布を探索することにより、領域画像に青色系領域500を抽出する。同様に、領域抽出部142は、区分10の2値画像に含まれる水色系領域を探索することにより、領域画像に水色系領域510を抽出する。また、領域抽出部142は、区分12の2値画像に含まれる黄色系領域を探索することにより、領域画像に黄色系領域520を抽出する。
【0053】
また、輝度領域については、輝度がより低い最低輝度領域を抽出するようにしてもよい。ここで、領域抽出部142は、閾値をより低い値に変更し、変更した閾値よりも低い輝度の領域を抽出する。このようにすれば、領域抽出部142は、例えば、影が撮像されている領域が含まれている低輝度領域320では無く、黒色の被写体が撮像されている最低輝度領域を抽出することができる。
【0054】
図3には、変更された閾値に基づいて画像から抽出された領域の例が表されている。図3では、区分3と区分4との境界を定める閾値が、より低い値に変更されたとする。これにより、影が撮像されている領域が低輝度領域320から除外され、黒色の被写体のみが撮像されている最低輝度領域321が、領域画像に抽出される。
【0055】
図1に戻り、領域抽出装置140の構成の説明を続ける。優先度設定部143は、領域抽出部142により抽出された領域に、人がより注目しているであろう領域を示す優先度を定める。優先度設定部143は、領域毎に算出される評価値に応じて、領域に優先度を定める。
【0056】
例えば、優先度設定部143は、画角中心から領域の重心までの距離に応じて、領域毎に評価値を定める。ここで、評点算出部143は、画角中心の近くに分布する領域ほど、その領域に高い評価値を定める。また、例えば、優先度設定部143は、領域の慣性モーメントに応じて、その領域に評価値を定める。優先度設定部143は、慣性モーメントが小さい(重心に集中している)領域には、高い評価値を定める。また、例えば、優先度設定部143は、領域の面積(画素数)に応じて、領域に評価値を定める。評点算出部143は、予め定められた面積に近い領域ほど、その領域に高い評価値を定める。
【0057】
また、優先度設定部143は、領域抽出部142により抽出された領域に、予め定められた色相に応じて優先度を定める。ここで、優先度設定部143は、領域抽出部142により抽出された領域に、均等色空間(L表色系)における色相角に応じて優先度を定める。
【0058】
図4には、均等色空間の座標系が表されている。Lは、明度指数である。また、a及びbは、色度指数(クロマティクネス指数)である。ここで、aの正方向は赤色を表し、aの負方向は緑色を表す。一方、bの正方向は黄色を表し、bの負方向は青色を表す。また、h(=tan−1(b/a))は、色相角(メトリック色相角)である。また、C(=√((a+(b))は、彩度である。また、R(=√((L+(a+(b)))は、原点からの距離(色差)である。
【0059】
優先度設定部143は、赤色(図2では、赤色系領域400)、黄色(図2では、黄色系領域520)及び青色(図2では、青色系領域500)の抽出された領域に、他の色の抽出された領域と比較して高い優先度を定める。ここで、優先度設定部143は、赤色の抽出された領域、黄色の抽出された領域、青色の抽出された領域の順に高い優先度を、抽出された各領域に定めてもよい。
【0060】
また、優先度設定部143は、領域抽出部142により抽出された領域に、彩度(C)に応じて優先度を定める。例えば、優先度設定部143は、彩度の高い抽出された領域に、高い優先度を定める。
【0061】
また、優先度設定部143は、領域抽出部142により輝度(Y)に基づいて抽出された領域に、輝度に応じた明度(L)に応じて優先度を定める。例えば、優先度設定部143は、明度の高い抽出された領域に、高い優先度を定める。
【0062】
また、優先度設定部143は、予め定められた第1閾値(図2では、区分1と区分2との境界となる閾値)よりも高い輝度の抽出された領域に、他の抽出された領域と比較して高い優先度を定める。また、優先度設定部143は、赤色の抽出された領域(図2では、赤色系領域400)、黄色の抽出された領域(図2では、黄色系領域520)、第1閾値よりも高い輝度の抽出された領域(図2では、高輝度領域300)、青色の抽出された領域(図2では、青色系領域500)の順に高い優先度を、抽出された各領域に定める。
【0063】
また、優先度設定部143は、予め定められた第2閾値(図2では、区分3と区分4との境界となる閾値)よりも低い輝度の抽出された領域(図2では、最低輝度領域320)に、他の抽出された領域と比較して低い優先度を定める。
【0064】
また、優先度設定部143は、領域抽出部142により変更された第2閾値よりも低い輝度の抽出された領域(図3では、低輝度領域320)に、他の抽出された領域と比較して低い優先度を定める。
【0065】
また、優先度設定部143は、均等色空間の座標系における原点からの距離R(図4を参照)に応じて、抽出された領域に優先度を定める。例えば、優先度設定部143は、均等色空間の座標系において、原点からの距離(色差)が長い位置に在る抽出された領域に、高い優先度を定める。
【0066】
優先度設定部143は、領域毎に定めた優先度を、領域を示す情報として記憶部160に記憶させる。
【0067】
次に、領域抽出装置の処理の手順を説明する。
図5は、領域に合焦させるまでの処理の手順を表すフローチャートである。特徴量算出部141は、撮像された画像(スルー画像、又はスルー画像列)を、バッファメモリ部130から取り込み(ステップS1)、取り込んだ画像に対して、基本的な画像処理を実行する(ステップS2)。
【0068】
領域抽出部142は、撮像された画像を、バッファメモリ部130を介して画像特徴量(例えば、YCrCb)毎に読み込む(ステップS3)。領域抽出部142は、読み込んだ画像における複数の画像特徴量に基づいて、2値化画像を作成する(ステップS4)。また、領域抽出部142は、2値化画像から領域を抽出し、抽出した領域にラベルを割り当てる(ステップS5)。
【0069】
領域抽出部142は、ノイズと推定される領域が画像にある場合、それらの領域を画像から除去する。また、領域抽出部142は、背景と推定される領域が画像にある場合、その領域を画像から除去する(ステップS6)。
【0070】
優先度設定部143は、領域抽出部142により抽出された領域に、優先度を定める(ステップS7)。また、領域抽出部142は、優先度設定部143が優先度を定めた領域を、AF評価領域に合うよう矩形に整形する(ステップS8)。CPU190は、AF評価領域のコントラスト値に基づいて、コントラスト・スキャン(焦点調整処理)を実行する(ステップS9)。また、CPU190は、コントラスト・スキャンの結果に基づいて、至近に在る被写体が撮像されている領域を優先し、その領域に合焦させる(ステップS10)。
【0071】
次に、領域抽出装置が優先度を定める処理(図5のステップS7を参照)の手順を説明する。
<赤色系領域に高い優先度を定める場合について>
図6は、赤色系領域に高い優先度を定める処理の手順を表すフローチャートである。ここで、領域は、一例として予め定められた最大3個まで選択されるものとする。優先度設定部143は、2値画像に基づいて抽出された領域(図2を参照)に、赤色系領域が在るか否かを判定する(ステップSa1)。
【0072】
赤色系領域が無い場合(ステップSa1−NO)、優先度設定部143は、赤色系領域以外の領域を、評価値の高い順に選択する(ステップSa2)。そして、優先度設定部143は、赤色系領域(在る場合)と、選択した領域とを、被写体の領域として記憶部160(図1を参照)に登録する(ステップSa3)。一方、ステップSa1において、赤色系領域が在る場合(ステップSa1−YES)、優先度設定部143は、赤色系領域の優先度を優先度1に定め、ステップSa2に処理を進める。
【0073】
これにより、図2に示された例では、赤色系領域400は、優先度1の主要被写体の領域と定められる。また、赤色系領域400以外の領域のうち、評価値が第1位である領域は、優先度2の主要被写体の領域と定められる。また、赤色系領域400以外の領域のうち、評価値が第2位である領域は、優先度3の主要被写体の領域と定められる。
【0074】
<赤色系領域、黄色系領域及び青色系領域に、高い優先度を定める場合について>
図7は、赤色系領域、黄色系領域及び青色系領域に、高い優先度を定める処理の手順を表すフローチャートである。ここで、領域は、一例として予め定められた最大3個まで選択されるものとする。優先度設定部143は、2値画像に基づいて抽出された領域(図2を参照)に、赤色系領域、黄色系領域又は青色系領域が在るか否かを判定する(ステップSb1)。
【0075】
赤色系領域、黄色系領域及び青色系領域がいずれも無い場合(ステップSb1−NO)、且つ、赤色系領域、黄色系領域、及び青色系領域の総数が3個未満である場合、優先度設定部143は、残りの領域を評価値の高い順に選択し、選択した領域に評価値順に高い優先度を定める(ステップSb2)。そして、優先度設定部143は、選択した全ての領域を、被写体の領域として記憶部160(図1を参照)に登録する(ステップSb3)。
【0076】
一方、ステップSb1において、赤色系領域、黄色系領域又は青色系領域が在る場合(ステップSb1−YES)、優先度設定部143は、これらの領域を評価値の高い順に選択し、選択した領域に評価値順に高い優先度を定め、ステップSb2に処理を進める(ステップSb4)。なお、赤色系領域、黄色系領域及び青色系領域には、同じ優先度が定められてもよい。
【0077】
これにより、図2に示された例では、赤色系領域400、黄色系領域520及び青色系領域500のうち最も評価値が高い領域、例えば、黄色系領域520は、優先度1の主要被写体の領域と定められる。また、赤色系領域400、黄色系領域520及び青色系領域500のうち評価値が2番目に高い領域、例えば、赤色系領域400は、優先度2の主要被写体の領域と定められる。また、赤色系領域400、黄色系領域520及び青色系領域500のうち評価値が3番目に高い領域、例えば、青色系領域500は、優先度3の主要被写体の領域と定められる。なお、例えば、青色系領域500が無い場合、最も評価値が高い領域が、優先度3の主要被写体の領域と定められてもよい。
【0078】
<赤色系領域、黄色系領域、青色系領域の順に、高い優先度を定める場合について>
図8は、赤色系領域、黄色系領域、青色系領域の順に高い優先度を定める処理の手順を表すフローチャートである。ここで、領域は、一例として予め定められた最大3個まで選択されるものとする。優先度設定部143は、2値画像に基づいて抽出された領域(図2を参照)に、赤色系領域が在るか否かを判定する(ステップSc1)。
【0079】
赤色系領域が無い場合(ステップSc1−NO)、優先度設定部143は、2値画像に基づいて抽出された領域に、黄色系領域が在るか否かを判定する(ステップSc2)。黄色系領域が無い場合(ステップSc2−NO)、優先度設定部143は、2値画像に基づいて抽出された領域に、青色系領域が在るか否かを判定する(ステップSc3)。
【0080】
青色系領域が無い場合(ステップSc3−NO)、且つ、赤色系領域、黄色系領域、及び青色系領域の総数が3個未満である場合、優先度設定部143は、残りの領域を評価値の高い順に選択し、選択した領域に評価値順に高い優先度を定める(ステップSc4)。そして、優先度設定部143は、選択した全ての領域を、被写体の領域として記憶部160(図1を参照)に登録する(ステップSc5)。
【0081】
一方、ステップSc1において、赤色系領域が在る場合(ステップSc1−YES)、優先度設定部143は、赤色系領域に優先度1を定め、ステップSc2に処理を進める(ステップSb6)。また、ステップSc2において、赤色系領域が在る場合(ステップSc1−YES)、優先度設定部143は、赤色系領域に優先度1を定め、ステップSc2に処理を進める(ステップSb6)。
【0082】
また、ステップSc2において、黄色系領域が在る場合(ステップSc2−YES)、優先度設定部143は、黄色系領域に優先度1又は2を定め、ステップSc3に処理を進める(ステップSb7)。また、ステップSc3において、青色系領域が在る場合(ステップSc3−YES)、優先度設定部143は、青色系領域に優先度1、2又は3を定め、ステップSc4に処理を進める(ステップSb8)。
【0083】
これにより、図2に示された例では、赤色系領域400は、優先度1の主要被写体の領域と定められる。また、黄色系領域520は、優先度2の主要被写体の領域と定められる。また、青色系領域500は、優先度3の主要被写体の領域と定められる。
【0084】
<赤色系領域、黄色系領域、青色系領域及び高輝度領域に、高い優先度を定める場合について>
図9は、赤色系領域、黄色系領域、青色系領域及び高輝度領域に、高い優先度を定める処理の手順を表すフローチャートである。ここで、領域は、一例として予め定められた最大3個まで選択されるものとする。優先度設定部143は、2値画像に基づいて抽出された領域(図2を参照)に、赤色系領域、黄色系領域又は青色系領域が在るか否かを判定する(ステップSd1)。
【0085】
赤色系領域、黄色系領域、青色系領域及び高輝度領域がいずれも無い場合(ステップSd1−NO)、且つ、赤色系領域、黄色系領域、青色系領域及び高輝度領域の総数が3個未満である場合、優先度設定部143は、残りの領域を評価値の高い順に選択し、選択した領域に評価値順に高い優先度を定める(ステップSd2)。そして、優先度設定部143は、選択した全ての領域を、被写体の領域として記憶部160(図1を参照)に登録する(ステップSd3)。
【0086】
一方、ステップSd1において、赤色系領域、黄色系領域、青色系領域又は高輝度領域が在る場合(ステップSd1−YES)、優先度設定部143は、これらの領域を評価値の高い順に選択し、選択した領域に評価値順に高い優先度を定め、ステップSd2に処理を進める(ステップSd4)。なお、赤色系領域、黄色系領域、青色系領域及び高輝度領域には、同じ優先度が定められてもよい。
【0087】
これにより、図2に示された例では、赤色系領域400、黄色系領域520、青色系領域500及び高輝度領域300のうち最も評価値が高い領域、例えば、赤色系領域400は、優先度1の主要被写体の領域と定められる。また、赤色系領域400、黄色系領域520、青色系領域500及び高輝度領域300のうち評価値が2番目に高い領域、例えば、黄色系領域520は、優先度2の主要被写体の領域と定められる。また、赤色系領域400、黄色系領域520、青色系領域500及び高輝度領域300のうち評価値が3番目に高い領域、例えば、高輝度領域300は、優先度3の主要被写体の領域と定められる。
【0088】
<他の抽出された領域と比較して低い優先度を、低輝度領域に定める場合について>
図10は、他の抽出された領域と比較して低い優先度を、低輝度領域に定める処理の手順を表すフローチャートである。ここで、領域は、一例として予め定められた最大3個まで選択されるものとする。優先度設定部143は、低輝度領域以外の領域を評価値の高い順に選択し、選択した領域に評価値順に高い優先度を定める(ステップSe1)。
【0089】
また、優先度設定部143は、低輝度領域以外の領域の総数が3個未満である場合、残りの領域を評価値の高い順に選択し、選択した領域に評価値順に高い優先度を定める(ステップSe2)。また、優先度設定部143は、選択した全ての領域を、被写体の領域として記憶部160(図1を参照)に登録する(ステップSe3)。
【0090】
これにより、図2に示された例では、区分3に含まれる低輝度領域では無い、黒色の被写体が撮像されている最低輝度領域320は、他の領域が画像から抽出されない場合、被写体の領域として記憶部160に登録される。
【0091】
以上のように、領域抽出装置140は、入力された画像の画像データに含まれる色情報に基づいて、前記画像から所定領域を抽出する領域抽出部142と、領域抽出部142により抽出された前記領域に、予め定められた色情報に応じて優先度を定める優先度設定部143と、を備える。
この構成により、領域抽出装置140は、画像から抽出された領域に、予め定められた色情報に応じて優先度を定める。これにより、領域抽出装置は、入力された画像から主要被写体の領域を適切に抽出することができる。
【0092】
また、優先度設定部143は、領域抽出部142により抽出された領域に、均等色空間(L表色系、CIELab色空間)における色相角(h)に応じて、優先度を定める。これにより、領域抽出装置は、入力された画像から、色相角に応じて主要被写体の領域を適切に抽出することができる。
【0093】
また、優先度設定部143は、領域抽出部142が、前記画像データに含まれる赤色成分、黄色成分及び青色成分の色情報に基づいて、前記画像から所定領域を抽出した場合、前記抽出された領域に、前記画像データに含まれる赤色成分、黄色成分及び青色成分以外の色情報に基づいて抽出された領域と比較して高い優先度を定める。これにより、領域抽出装置は、入力された画像から、赤色、黄色及び青色の主要被写体の領域を適切に抽出することができる。
【0094】
また、優先度設定部143は、前記画像データに含まれる、赤色成分の色情報基づいて抽出された領域、黄色成分の色情報基づいて抽出された領域、青色成分の色情報基づいて抽出された領域の順に、高い優先度を定める。これにより、領域抽出装置は、入力された画像から、赤色成分、黄色成分、青色成分の順に高い優先度の主要被写体の領域を、適切に抽出することができる。
【0095】
また、優先度設定部143は、領域抽出部142により抽出された領域の彩度(C)に応じて、優先度を定める。これにより、領域抽出装置は、入力された画像から、彩度が高い主要被写体の領域を適切に抽出することができる。
【0096】
また、領域抽出部142は、前記画像データに含まれる輝度情報に基づいて、前記画像から所定領域を抽出し、優先度設定部143は、領域抽出部142により抽出された領域の輝度に応じて、優先度を定める。これにより、領域抽出装置は、入力された画像から、輝度が高い主要被写体の領域を適切に抽出することができる。
【0097】
また、領域抽出部142は、予め定められた第1閾値よりも高い輝度の領域を抽出し、優先度設定部143は、前記第1閾値よりも高い輝度の前記抽出された領域に、他の抽出された領域と比較して高い優先度を定める。これにより、領域抽出装置は、入力された画像から、輝度が高い主要被写体の領域を適切に抽出することができる。
【0098】
また、優先度設定部143は、前記赤色成分の色情報基づいて抽出された領域、前記黄色成分の色情報基づいて抽出された領域、前記第1閾値よりも高い輝度の領域、前記青色成分の色情報基づいて抽出された領域の順に、高い優先度を定める。これにより、領域抽出装置は、入力された画像から、赤色成分、黄色成分、高輝度、青色成分の順に高い主要被写体の領域を、適切に抽出することができる。
【0099】
また、領域抽出部142は、予め定められた第2閾値よりも低い輝度の領域を抽出し、優先度設定部143は、前記第2閾値よりも低い輝度の前記抽出された領域に、他の抽出された領域と比較して低い優先度を定める。これにより、領域抽出装置は、入力された画像から、低い輝度の領域(例えば、影が撮像された領域)でない主要被写体の領域を適切に抽出することができる。
【0100】
また、領域抽出部142は、前記第2閾値をより低い値に変更し、変更した前記第2閾値よりも低い輝度の領域を抽出し、優先度設定部143は、前記変更した第2閾値よりも低い輝度の前記抽出された領域に、他の抽出された領域と比較して低い優先度を定める。これにより、領域抽出装置は、入力された画像から主要被写体の領域を適切に抽出することができる。
【0101】
また、優先度設定部143は、均等色空間の座標系における原点からの距離(色差)に応じて、優先度を定める。これにより、領域抽出装置は、入力された画像から、影が撮像された領域でない黒色の主要被写体の領域を、適切に抽出することができる。
【0102】
また、領域抽出装置140は、入力された画像の画像データに含まれる彩度情報に基づいて、前記画像から所定領域を抽出する領域抽出部142と、領域抽出部142により抽出された領域に、予め定められた彩度に応じて優先度を定める優先度設定部143と、を備える。これにより、領域抽出装置は、入力された画像から主要被写体の領域を適切に抽出することができる。
【0103】
また、領域抽出装置140は、入力された画像の画像データに含まれる輝度情報に基づいて、前記画像から所定領域を抽出する領域抽出部142と、領域抽出部142により抽出された領域に、予め定められた輝度に応じて優先度を定める優先度設定部143と、を備える。これにより、領域抽出装置は、入力された画像から主要被写体の領域を適切に抽出することができる。
【0104】
また、領域抽出装置140は、入力された画像の画像データに含まれる色情報を表す均等色空間(L表色系)の座標系における、原点からの距離(色差)に基づいて、前記画像から所定領域を抽出する領域抽出部142と、領域抽出部142により抽出された前記領域に、前記距離に応じて優先度を定める優先度設定部143と、を備える。
これにより、領域抽出装置は、撮像された画像から、色相、彩度及び明度のうち少なくとも1つに応じて、主要被写体の領域を適切に抽出することができる。
【0105】
また、撮像装置100は、領域抽出装置140と、領域抽出装置140が抽出した領域のうち、優先度が高い領域に合焦するよう光学系(例えば、AFレンズ112)により焦点を調節するCPU190と、前記優先度が高い領域に合焦した状態で、前記優先度が高い領域を含む画像を撮像する撮像部110とを備える。
この構成により、領域抽出装置140は、入力された画像から主要被写体の領域を適切に抽出する。これにより、撮像装置100は、主要被写体の領域に合焦した状態で、主要被写体の領域を含む画像を撮像することができる。
【0106】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【0107】
また、上記に説明した領域抽出装置、撮像装置を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。
【0108】
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【0109】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
【符号の説明】
【0110】
100…撮像装置、110…撮像部、111…レンズ鏡筒、140…領域抽出装置、141…特徴量算出部、142…領域抽出部、143…優先度設定部

【特許請求の範囲】
【請求項1】
入力された画像の画像データに含まれる色情報に基づいて、前記画像から所定領域を抽出する領域抽出部と、
前記領域抽出部により抽出された領域に、予め定められた色情報応じて優先度を定める優先度設定部と、
を備えることを特徴とする領域抽出装置。
【請求項2】
前記優先度設定部は、前記領域抽出部により抽出された領域に、均等色空間における色相角に応じて、優先度を定めることを特徴とする請求項1に記載の領域抽出装置。
【請求項3】
前記優先度設定部は、前記領域抽出部が、前記画像データに含まれる赤色成分、黄色成分及び青色成分の色情報に基づいて、前記画像から所定領域を抽出した場合、前記抽出された領域に、前記画像データに含まれる赤色成分、黄色成分及び青色成分以外の色情報に基づいて抽出された領域と比較して高い優先度を定めることを特徴とする請求項1又は請求項2に記載の領域抽出装置。
【請求項4】
前記優先度設定部は、前記画像データに含まれる、赤色成分の色情報基づいて抽出された領域、黄色成分の色情報基づいて抽出された領域、青色成分の色情報基づいて抽出された領域の順に、高い優先度を定めることを特徴とする請求項1から請求項3のいずれか一項に記載の領域抽出装置。
【請求項5】
前記優先度設定部は、前記領域抽出部により抽出された領域の彩度に応じて、優先度を定めることを特徴とする請求項1から請求項4のいずれか一項に記載の領域抽出装置。
【請求項6】
前記領域抽出部は、前記画像データに含まれる輝度情報に基づいて、前記画像から所定領域を抽出し、
前記優先度設定部は、前記領域抽出部により抽出された領域の輝度に応じて、優先度を定めることを特徴とする請求項1から請求項5のいずれか一項に記載の領域抽出装置。
【請求項7】
前記領域抽出部は、予め定められた第1閾値よりも高い輝度の領域を抽出し、
前記優先度設定部は、前記第1閾値よりも高い輝度の前記抽出された領域に、他の前記抽出された領域と比較して高い優先度を定めることを特徴とする請求項6に記載の領域抽出装置。
【請求項8】
前記優先度設定部は、前記赤色成分の色情報基づいて抽出された領域、前記黄色成分の色情報基づいて抽出された領域、前記第1閾値よりも高い輝度の領域、前記青色成分の色情報基づいて抽出された領域の順に、高い優先度を定めることを特徴とする請求項6又は請求項7に記載の領域抽出装置。
【請求項9】
前記領域抽出部は、予め定められた第2閾値よりも低い輝度の領域を抽出し、
前記優先度設定部は、前記第2閾値よりも低い輝度の前記抽出された領域に、他の前記抽出された領域と比較して低い優先度を定めることを特徴とする請求項6から請求項8のいずれか一項に記載の領域抽出装置。
【請求項10】
前記領域抽出部は、前記第2閾値をより低い値に変更し、変更した前記第2閾値よりも低い輝度の領域を抽出し、
前記優先度設定部は、前記変更した第2閾値よりも低い輝度の前記抽出された領域に、他の前記抽出された領域と比較して低い優先度を定めることを特徴とする請求項9に記載の領域抽出装置。
【請求項11】
前記優先度設定部は、均等色空間の座標系における原点からの距離に応じて、優先度を定めることを特徴とする請求項1から請求項10のいずれか一項に記載の領域抽出装置。
【請求項12】
入力された画像の画像データに含まれる彩度情報に基づいて、前記画像から所定領域を抽出する領域抽出部と、
前記領域抽出部により抽出された領域に、予め定められた彩度に応じて優先度を定める優先度設定部と、
を備えることを特徴とする領域抽出装置。
【請求項13】
入力された画像の画像データに含まれる輝度情報に基づいて、前記画像から所定領域を抽出する領域抽出部と、
前記領域抽出部により抽出された領域に、予め定められた輝度に応じて優先度を定める優先度設定部と、
を備えることを特徴とする領域抽出装置。
【請求項14】
入力された画像の画像データに含まれる色情報を表す均等色空間の座標系における、原点からの距離に基づいて、前記画像から所定領域を抽出する領域抽出部と、
前記領域抽出部により抽出された領域に、前記距離に応じて優先度を定める優先度設定部と、
を備えることを特徴とする領域抽出装置。
【請求項15】
請求項1から請求項14のいずれか一項に記載の領域抽出装置と、
前記領域抽出装置が抽出した領域のうち、優先度が高い領域に合焦するよう光学系により焦点を調節する焦点調節部と、
前記優先度が高い領域に合焦した状態で、前記優先度が高い領域を含む画像を撮像する撮像部と、
を備えることを特徴とする撮像装置。
【請求項16】
コンピュータに、
入力された画像の画像データに含まれる色情報に基づいて、前記画像から所定領域を抽出する手順と、
前記所定領域に、予め定められた色情報に応じて優先度を定める手順と、
を実行させるための領域抽出プログラム。
【請求項17】
コンピュータに、
入力された画像の画像データに含まれる彩度情報に基づいて、前記画像から所定領域を抽出する手順と、
前記所定領域に、予め定められた彩度に応じて優先度を定める手順と、
を実行させるための領域抽出プログラム。
【請求項18】
コンピュータに、
入力された画像の画像データに含まれる輝度情報に基づいて、前記画像から所定領域を抽出する手順と、
前記所定領域に、予め定められた輝度に応じて優先度を定める手順と、
を実行させるための領域抽出プログラム。
【請求項19】
コンピュータに、
入力された画像の画像データに含まれる色情報を表す均等色空間の座標系における、原点からの距離に基づいて、前記画像から所定領域を抽出する手順と、
前記所定領域に、前記距離に応じて優先度を定める手順と、
を実行させるための領域抽出プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2013−34154(P2013−34154A)
【公開日】平成25年2月14日(2013.2.14)
【国際特許分類】
【出願番号】特願2011−170059(P2011−170059)
【出願日】平成23年8月3日(2011.8.3)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】