撮像装置
【課題】 非可視光の情報に基づいて被写体認識を行う。
【解決手段】 紫外線量に応じて被写体が雲か雪かを判別する。あるいは、赤外線量に応じて葉か無彩色物体かを判別する。あるいは、テクスチャにより花か否かを判別する。あるいは特定の偏光方向の量に応じて被写体が雲か雪かを判別する。紫外線、赤外線、特定方向の偏光、あるいは可視光を選別して固体撮像素子へ結像するには、各種の光学フィルタを光路に挿抜することで行う。
【解決手段】 紫外線量に応じて被写体が雲か雪かを判別する。あるいは、赤外線量に応じて葉か無彩色物体かを判別する。あるいは、テクスチャにより花か否かを判別する。あるいは特定の偏光方向の量に応じて被写体が雲か雪かを判別する。紫外線、赤外線、特定方向の偏光、あるいは可視光を選別して固体撮像素子へ結像するには、各種の光学フィルタを光路に挿抜することで行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体に応じて各種設定をする撮像装置に関する。
【背景技術】
【０００２】
特許文献１では、被写体に向け所定の輻射光線を照射し、所定の輻射光線の反射光のみを撮像するとともに、この撮像情報から被写体の輪郭を識別する。特許文献２では、撮像部と記録部と表示部を備えた撮像装置において、撮像された被写体像を画像認識部でその被写体の種類を識別するとともに、表示部へ識別された被写体の説明データを表示することによって持ち歩きができ、かつ瞬時に被写体の種別が特定できるとともにその説明を見ることができる。
【特許文献１】特開平１０−２４３３８７号公報
【特許文献２】特開２００６−２７０１３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
自然界に存在する物体の多くは、可視光領域だけでなく非可視光領域にも渡る形で特有の分光反射率を持つから、可視光情報だけで物体を区別するが難しい場合がある。この点、特許文献１や２では、非可視光領域の分光反射率を用いた被写体認識については言及されていない。特に特許文献２では、主として可視光情報を利用して被写体を識別するため、人間が見て色が似ているが異なる物体を同じものと誤認識する可能性がある。
【０００４】
本発明の目的は、非可視光の情報に基づいて被写体認識を行うことにある。
【課題を解決するための手段】
【０００５】
本発明に係る撮像装置は、撮像レンズを介して撮像素子の受光面に結像された被写体光の非可視光成分および可視光成分を、撮像素子により光電変換することで得られた電気信号を画像データに変換して出力する撮像部と、撮像部の出力した画像データの画素の各々における被写体光の非可視光成分の強度を検出する強度検出部と、強度検出部の検出した各画素ごとの非可視光成分の強度に基づいて被写体の種類を判別する被写体種類判別部と、を備える。
【０００６】
被写体光の非可視光成分は、波長１０ｎｍないし４００ｎｍの紫外線を含む。
【０００７】
被写体種類判別部は、紫外線の強度に基づいて被写体が雪であるかまたは雲であるかを判別する。
【０００８】
被写体光の非可視光成分は、波長７００ｎｍないし１４００ｎｍの赤外線を含む。
【０００９】
被写体種類判別部は、赤外線の強度に基づいて被写体が葉であるか否かを判別する。
被写体種類判別部は、強度検出部の検出した各画素ごとの色成分に基づいて被写体の種類を判別し、強度検出部の検出した各画素ごとの色成分に基づいて被写体の種類を判別できなかった場合、強度検出部の検出した各画素ごとの非可視光成分の強度に基づいて被写体の種類を判別する。
【００１０】
被写体種類判別部は、撮像部から継続的に出力された画像データに基づいて画像データ間の動きベクトルを決定し、決定された動きベクトルに応じて被写体の種類を判別し、動きベクトルに応じて被写体の種類が判別できなかった場合、強度検出部の検出した各画素ごとの可視光成分の強度に基づいて被写体の種類を判別する。
【００１１】
被写体種類判別部は、撮像部から出力された画像データから所定の波長域にある可視光成分を検出することで被写体の種類を判別し、所定の波長域にある可視光成分を所定の時間内に検出できなかった場合、強度検出部の検出した各画素ごとの非可視光成分の強度に基づいて被写体の種類を判別する。
【００１２】
撮像部から出力された画像データから特定の周波数成分の強度を検出する特定周波数成分強度検出部を備え、被写体種類判別部は、特定周波数成分強度検出部の検出した特定の周波数成分の強度に応じて被写体の種類を判別する。
【００１３】
特定の周波数成分の強度はテクスチャ信号を含む。
【００１４】
被写体種類判別部は、特定周波数成分強度検出部の検出した特定の周波数成分の強度に応じて被写体が花弁であるか否かを判別する。
【００１５】
撮像部は、被写体光の非可視光成分または可視光成分の一方を、撮像素子により選択的に光電変換する。
【００１６】
撮像部は、赤外線カットフィルタおよび紫外線カットフィルタのうち少なくとも一方を撮像レンズから撮像素子までの光路に進退自在に挿入する機構を備える。
【００１７】
撮像部は、非可視光成分を光電変換する非可視光用撮像素子と、可視光成分を光電変換する可視光用撮像素子とを備える請求項１３に記載の撮像装置。
【００１８】
撮像部は、撮像レンズを介して受光した被写体光を非可視光用撮像素子および可視光用撮像素子の各々の受光面に導光して結像可能な機構を備える。
【００１９】
本発明に係る撮像装置は、撮像レンズを介して撮像素子の受光面に結像された被写体光を、撮像素子により光電変換することで得られた電気信号を画像データに変換して出力する撮像部と、撮像レンズから撮像素子までの光路に進退自在に偏光子を挿入する機構と、光路に偏光子が挿入された状態で出力された画像データと光路に偏光子が挿入されない状態で出力された画像データとの比較に応じて被写体の種類を判別する被写体種類判別部と、を備える。
【００２０】
被写体種類判別部は、光路に偏光子が挿入された状態で出力された画像データと光路に偏光子が挿入されない状態で出力された画像データとの比較に応じて被写体の種類を判別できなかった場合、強度検出部の検出した各画素ごとの非可視光成分の強度に基づいて被写体の種類を判別する。
【００２１】
偏光子は偏光フィルタを含む。
【発明の効果】
【００２２】
本発明によると、被写体光の可視光領域での波長が似ており、画像データの輝度、色相、彩度などを用いても区別がつかないような雪あるいは雲を被写体とした画像でも、紫外線量の違いで被写体の区別ができ、適切な撮影条件（シャッタスピードや絞り値）を設定でき、例えば空は暗めに、雪は明るめに撮れるような設定ができる。
【００２３】
また、被写体光の可視光領域での波長が似ており、画像データの輝度、色相、彩度などを用いても区別がつかないような葉を被写体とした画像あるいは他物体を被写体とした緑色かぶりの画像でも、赤外線量の違いで被写体の区別ができ、適切な撮影条件（ホワイトバランス）を設定できる。
【００２４】
また、偏光フィルタのある／ない状態で取得した画像データの画素値の差異に基づいて各画素ごとに被写体を判別することで、色情報だけでは区別がつかないような雲と雪を正確に判別できる。
【発明を実施するための最良の形態】
【００２５】
＜第１実施形態＞
図１は本発明の好ましい実施形態に係るデジタルカメラ１０の機能ブロック図である。まず、同図のデジタルカメラ１０において、中央処理装置（ＣＰＵ）１１２は、レリーズスイッチ２２、モードダイヤル１５０等を含む操作部１１３の各種のボタンやキーからの入力に基づいてデジタルカメラ１０内の各回路を統括制御する。ＣＰＵ１１２の実行するプログラムはＥＥＰＲＯＭ１１９に記憶される。
【００２６】
いま、モードダイヤル１５０によって静止画撮影モードが設定されると、ＣＰＵ１１２は、撮像回路１０２ｂから順次得られるコマ画像（スルー画）を表示部１１０に表示させ、撮影画角を確認可能にする。即ち、撮像レンズ１４を通過した光は、固体撮像素子１０２ａに入射する。固体撮像素子１０２ａの受光面には、フォトセンサが平面的に配列されており、該受光面に結像された被写体像（被写体に太陽、蛍光灯その他の光源から発せられた光が反射して受光面に形成される像および／または被写体自身が発光することで受光面に形成される像）は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。こうして蓄積された信号電荷は、図示せぬドライバ回路から与えられるパルス信号に基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出され、それぞれ撮像回路１０２ｂに加えられる。
【００２７】
また、固体撮像素子１０２ａの受光面前方には、被写体光の入射光路に対して挿入および退避自在に支持された所定の特性を持つ１または複数のフィルタ８６が配置されている。フィルタ８６の光路への挿入／退避動作は、モータ１９１によって駆動され、かつモータ５の動作は，ＣＰＵ１１２によって制御される。
【００２８】
本実施形態では、フィルタ８６は、紫外線の透過は許容するが可視光線の透過を阻止する紫外線透過フィルタ８６ａであるとする。
【００２９】
撮像回路１０２ｂは、ゲイン調整回路を含み、得られた画像データは、それぞれ画像処理回路１０８及びハイパスフィルタ（ＨＰＦ）１２５へ送られる。画像処理回路１０８は、Ａ／Ｄ変換部１０８ａ、ホワイトバランス補正回路１０８ｂ、ガンマ補正回路１０８ｃ、ＹＣ処理回路１０８ｄ、輝度・色差信号生成回路、シャープネス補正回路、コントラスト補正回路、撮影画像に対する輪郭補正を含む画像処理を行う輪郭処理部、画像のノイズ低減処理を行うノイズ低減処理部等を含む画像処理手段であり、ＣＰＵ１１２からのコマンドに従って画像信号を処理する。
【００３０】
画像処理回路１０８に入力された画像データは、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｌ信号）に変換されるとともに、ガンマ補正等の所定の処理が施された後、ＶＲＡＭ１３２に格納される。
【００３１】
一方、画像処理回路１０８のＡ／Ｄ変換部１０８ａでデジタル信号に変換された画像データは、ハイパスフィルタ（ＨＰＦ）１２５でＧ画素成分のみ抽出される。そして、積算処理部１２６で抽出されたＧ画素成分に積算処理が施されてＣＰＵ１１２に送られる。ＣＰＵ１１２は、積算処理部１２６から送られた１画面分の６４分割の画像データの内、十字キー８１で任意に設定された被写体中心付近の４エリアの平均値を算出し、これをオートフォーカス（ＡＦ）評価値とする。ＡＦ評価値は、所定周期の経過毎に算出され、算出の度にメモリ１２７に更新記憶される。ＣＰＵ１１２は、ＡＦ評価値に従って被写体の合焦を判定する。その判断方法は任意であるが、例えばＡＦ評価値が極大点の近傍に略到達しているか否かを判断し、極大点に略達している場合は合焦していると判断し、その他の場合は合焦していないと判断する。あるいは、ＡＦ評価値が所定の閾値を超えていれば合焦していると判断することもできる。
【００３２】
撮影画像を表示部１１０にモニタ出力する場合、ＶＲＡＭ１３２からＹＣ信号が読み出され、ビデオエンコーダ１３４に送られる。ビデオエンコーダ１３４は、入力されたＹＣ信号を表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して表示部１１０に出力する。表示部１１０の駆動はドライバ１１１を介して行われる。
【００３３】
所定のフレームレートで処理された各フレームのＹＣ信号は、ＶＲＡＭ１３２のＡ領域とＢ領域とに交互に書き込まれ、ＶＲＡＭ１３２のＡ領域及びＢ領域のうち、ＹＣ信号が書き込まれている方の領域以外の領域から、書き込まれているＹＣ信号が読み出される。このようにしてＶＲＡＭ１３２内のＹＣ信号が定期的に書き換えられ、そのＹＣ信号から生成される映像信号が表示部１１０に供給されることにより、撮像中の映像がリアルタイムに表示部１１０に表示される。ユーザは、表示部１１０に表示される映像（スルー）によって撮影画角を確認できる。
【００３４】
ここで、レリーズスイッチ２２が半押しされると、ＡＥ及びＡＦ処理が開始される。ＡＥ／ＡＦ処理が行われ、レリーズスイッチ２２が全押しされることによって記録用の撮影動作がスタートする。レリーズスイッチ２２の全押しに応動して取得された画像データは画像処理回路１０８において輝度／色差信号（Ｙ／Ｃ信号）に変換され、ガンマ補正等の所定の処理が施された後、ＶＲＡＭ１３２に格納される。
【００３５】
ＶＲＡＭ１３２に格納されたＹ／Ｃ信号は、圧縮伸長処理回路１４４によって所定のフォーマットに従って圧縮された後、メディアコントローラ１４６を介して記録媒体４０にExif（Exchangeable Image File Format）ファイルとして記録される。画像はExifファイルのデータ部分に記録される。ＣＰＵ１１２は上記Exifファイルのヘッダ部分の所定のタグ（Imagedescriptionタグなど）に撮影日時情報などを記録する。記録された画像は、通信インターフェース７６を介して接続されたプリンタ２００に送信することもできる。プリンタ２００は、受信した画像をプリントする。
【００３６】
ＣＰＵ１１２には、キセノン管からなるストロボ１８の発光を制御するストロボ制御回路１１５も接続されており、静止画撮影において、低照度であることが検出された場合や、ストロボボタンによって発光が指示された場合や、強制発光モードが設定された場合にタイミングジェネレータ１２０によって発生されたタイミング信号に同期したタイミングで短時間（例えば１秒以上の短時間）発光するようにストロボ１８を制御する。
【００３７】
モードダイヤル１５０によって動画撮影モードが設定されたときには、レリーズスイッチ２２の全押し操作に連動して動画記録動作がスタートし、もう一度レリーズスイッチ２２を押下すると動画記録動作が停止する。レリーズスイッチ２２を押下継続している期間、録画動作を行い、押下解除によって録画を停止するようにしてもよい。動画データは、例えばモーションＪＰＥＧ（ＭＰＥＧ）形式によって記録媒体４０に記録される。
【００３８】
モードダイヤル１５０により再生モードが選択されると、記録媒体４０に記録されている最終の画像ファイル（最後に記録されたファイル）の圧縮データが読み出される。最後の記録に係るファイルが静止画ファイルの場合、この読み出された画像圧縮データは、圧縮伸長処理回路１４４を介して非圧縮のＹＣ信号に伸長され、ＶＲＡＭ１３２に保存される。ＶＲＡＭ１３２に保存されたＹＣ信号は、ビデオエンコーダ１３４に加えられる。ビデオエンコーダ１３４は、入力するＹＣ信号からＮＴＳＣ方式のＲＧＢカラー複合映像信号を作成し、これを表示部１１０に出力する。これにより、表示部１１０には記録媒体４０に記録されている最終コマのコマ画像が表示される。
【００３９】
その後、十字キー８１の右キーが押されると、順方向にコマ送りされ、十字キー８１の左キーが押されると、逆方向にコマ送りされる。そして、コマ送りされたコマ位置の画像ファイルが記録媒体４０から読み出され、上記と同様にしてコマ画像が表示部１１０に再生される。尚、最終コマのコマ画像が表示されている状態で順方向にコマ送りされると、記録媒体４０に記録されている１コマ目の画像ファイルが読み出され、１コマ目のコマ画像が表示部１１０に再生される。
【００４０】
表示部１１０は、カメラ１０に内蔵されたＬＣＤ１１４、ファインダー又は映像出力端子等に接続された外部の表示装置に相当する。なお、ＣＰＵ１１２は、ＯＳＤ信号発生回路を含み、ＯＳＤ信号発生回路はシャッター速度や絞り値、撮影可能枚数、撮影日時、警告指示等の文字及びアイコン等の記号を表示するための信号を発生させる。このＯＳＤ信号発生回路から出力される信号は、必要に応じて画像信号に混合されて、ＬＣＤ１１４に供給される。これにより、スルー画像や再生画像に文字やアイコン等が合成された合成画像が表示される。
【００４１】
記録媒体４０は、撮影で得た画像データを保持する手段であり、例えばスマートメディアと呼ばれるメモリカードが使用される。記録メディアの形態はこれに限定されず、ＰＣカード、コンパクトフラッシュ（登録商標）、磁気ディスク、光ディスク、光磁気ディスク、メモリスティックなどでもよく、電子的、磁気的、もしくは光学的、又はこれらの組み合わせによる方式などに従って読み書き可能な媒体を用いることができる。異種・同種の記録メディアを問わず、複数の媒体を装着可能な構成にしてもよい。また、画像ファイルを保存する手段は、カメラ本体に着脱可能なリムーバブルメディアに限らず、カメラに内蔵された記録媒体（内蔵メモリ）であってもよい。
【００４２】
ＣＰＵ１１２は、カメラ１０の各回路を統括制御する制御回路であり、レリーズスイッチ２２、十字キー８１、電源スイッチ８２、モードダイヤル１５０、情報位置指定キー８３あるいは図示しないストロボボタン、ズームキー、メニュー／実行ボタンその他を含む操作部１１３から受信する信号に基づき、対応する回路の動作を制御するとともに、表示部１１０における表示制御、ストロボ発光制御、ＡＦ補助光の発光制御、オートフォーカス（ＡＦ）制御及び自動露出（ＡＥ）制御等を行う。
【００４３】
カメラ１０の電源が電源スイッチ８２でオンされる度に、カメラボディ内部に装着される電池からなる主要電源１６４から、デジタルカメラ１０の各回路に電源が供給される。
【００４４】
画像処理回路１０８からの画像データは、測光処理部１５７にも送られる。この測光処理部１５７は、外光の光量を測定する手段の一例である。測光処理部１５７は、入力される各画像データと、固体撮像素子１０２ａの電荷蓄積時間、すなわち電子シャッタのシャッタ秒時とに基づいて被写体輝度の測光値（ＥＶ値）を算出する測光値算出部により構成できる。これにより、固体撮像素子１０２ａの駆動が調節される。なお、電子シャッタのシャッタ秒時とともに絞り値を変化させてもよい。絞り値を変化させる場合には、絞り値を加味して被写体輝度に応じた測光値を算出する。このように、測光処理部１５７は、固体撮像素子１０２ａを受光センサとしてＴＴＬ（Through The Lens) 測光方式によって被写体の明るさ（被写体輝度）を検出する。測光処理部１５７は、フォトトランジスタで構成された測光センサであってもよく、測光が可能な手段であれば特に限定されない。
【００４５】
通信インターフェース７６は、プリンタ２００と接続可能であり、ＣＰＵ１１２からのコマンドに従い、プリントデータの送信を行う。
【００４６】
なお、デジタルカメラ１０とは、要するに被写体光を画像データに変換可能な機器であれば何でもよく、カメラ付き携帯電話、カメラ付きパソコン、デジタルビデオカメラ、デジタルスチルカメラなども含みうる。
【００４７】
図２は、雪、雲という２つの被写体に対応する画像データの輝度・色相・彩度の確率分布域をＹＣｒＣｂ（Y=0.29891×R+0.58661×G+0.11448×B、Cb=-0.16874×R-0.33126×G+0.50000×B、Cr=0.50000×R-0.41869×G-0.08131×B）空間で示している。雪、空ともにほぼ一様に白く、雪、雲の分布域は白（Ｒ＝255，Ｇ＝255，Ｂ＝255）の近傍領域となり、相当な部分が重なり合う。よって、画像データの輝度、色相、彩度を用いても、雪・雲という２つの被写体を区別するのは難しい。
【００４８】
図３は本実施形態で用いるフィルタ８６である紫外線透過フィルタ８６ａの透過率と光波長との関係を示す。紫外線透過フィルタ８６ａの透過する波長成分は１０〜４００ｎｍの紫外線である。長波長域（波長1-10nmの極紫外線）から中波長域（波長200-10nmの遠紫外線）にかけて透過率が増加し、波長200nm付近で透過率は６５％程度のピークに達する。さらに、そこから長波長側（波長200-380nmの近紫外線波長域）にかけて透過率が低減していき、近紫外線寄り（青色寄り）の４００ｎｍ付近で透過率は０になる。
【００４９】
なお、太陽光の中には、UVA (波長400〜315nm)、UVB (波長315〜280nm)、UVC(波長280nm未満)の波長の紫外線が含まれているが、そのうちUVA、UVBはオゾン層を通過して地表に到達する。UVCは、物質による吸収が著しく、通常は大気を通過することができない。地表に到達する紫外線の99%がUVAである。紫外線透過フィルタ８６ａの透過率のグラフは図３に示したものに限らず、UVAの波長域で分光感度が高まってもよい。
【００５０】
なお、必要であれば、フィルタ８６として、緑色光の波長域に透過波長域を有するＧのカラーフィルタ、青色光の波長域に透過波長域を有するＢのカラーフィルタ、および赤色光の波長域に透過波長域を有するＲのカラーフィルタを用いることもできる。例えば、Ｂのカラーフィルタであれば青色領域（波長４２０ｎｍ付近）、Ｇのカラーフィルタであれば青色領域（５１０ｎｍ付近）、Ｒのカラーフィルタであれば赤色領域（波長６０５ｎｍ付近）における透過率が高くなる。
【００５１】
固体撮像素子１０２ａは、フィルタ８６の透過率がピークに達する波長域において感度を有しているものとする。例えば、少なくともUVA、Ｒ，Ｇ，Ｂの波長域では感度があるものとする。固体撮像素子１０２ａを用いて紫外線受光量を測定する方法は公知のものが利用でき、例えば、特許公開２００４−１９８２８８号に記載されるようにすればよい。
【００５２】
図４は第１実施形態に係る撮影準備処理のフローチャートである。この処理をＣＰＵ１１２に指令させるプログラムはＥＥＰＲＯＭ１１９に記憶されている。この処理は静止画撮影モードが設定されたことに応じて開始する。
【００５３】
Ｓ１では、ＣＰＵ１１２は、測光処理部１５７に対し、撮像回路１０２ｂから入力された画像データに基づいてＡＥ制御に必要な物理量を算出するよう指令する。例えば、測光処理部１５７は、ＡＥ制御に必要な物理量として、１画面を複数のエリア（例えば、８×８）に分割し、分割したエリアごとにＲ、Ｇ、Ｂの画像信号の積算値を算出する。ＣＰＵ１１２は、この積算値および画像信号取得時の絞り値、シャッタ速度に基づいて被写体の明るさを検出してＥＶ値を求め、求めたＥＶ値に基づいて撮影時の露出を設定する。
【００５４】
Ｓ２では、レリーズスイッチ２２の半押しがあったか否かを判断する。Ｙｅｓの場合はＳ３に進み、Ｎｏの場合はＳ１に戻る。
【００５５】
Ｓ３では、レリーズスイッチ２２の半押しに応じて撮像回路１０２ｂから入力された画像データの中から、所定の輝度、色相および彩度（例えばＲＧＢ換算でＲ＝255，Ｇ＝255，Ｂ＝255）を有する画素を探索し、その画素に「被写体が雲か雪いずれか一方である」旨を示すフラグを立てる。
【００５６】
Ｓ４では、ＣＰＵ１１２は、測光処理部１５７に対し、フラグの立った各画素に対応する位置における受光紫外線量を測定するよう指令する。
【００５７】
Ｓ５では、予め規定された関数ｆを用いて、ＥＶ値に対応する予測受光紫外線量ｆ（ＥＶ）を算出する。そして、ある特定の画素において測定した紫外線量が、予め規定された関数ｆを用いて、ｆ（ＥＶ）以上であるか否かを判断する。Ｙｅｓの場合はＳ６、Ｎｏの場合はＳ７に進む。
【００５８】
ここでＥＶ値と紫外線量との関係を規定するｆは次のようなものが挙げられる。例えば、ある特定の場所（屋外）において、順光、正午、曇り空直視の撮影環境下でのＥＶ値が１０（ISO100）であれば、ｆ（１０）＝１．４０W/ｍ2であるとする。あるいは、当該特定の場所（屋外）において、順光、午前７：００、曇り空直視の撮影環境下でのＥＶ値＝５（ISO100）であれば、ｆ（５）＝１．００W/ｍ2であるとする。つまり、特定の撮影環境下での照度（ＥＶ値）と紫外線強度との関係を経験的に把握しておき、これをｆとする。撮影環境に応じて紫外線量と明るさとは大きく変わりうるから、ｆは撮影環境に応じて複数用意しておくとよい。例えば、撮影場所の緯度が０に近くなるほど（赤道に近くなるほど）紫外線量は増加する傾向にあるから、ｆを撮影場所の緯度に応じて変える。なお、ＵＶＡは雲を透過する傾向があるが、それでも曇っているとＵＶＡの紫外線量は晴れの日に比べて２０％程度減少することが知られており、照度と紫外線量とは相関関係があり、この関係を規定する関数ｆを用いて、ＥＶ値から紫外線量をある程度正確に推測できるといえる。
【００５９】
また、測定紫外線量が予測受光紫外線量以上とは、雪による太陽光の照り返しによって紫外線量が太陽光の直射のみを受けるよりも増加していることを意味する。雪面での紫外線の反射率は80−90％といわれているから、空からの紫外線と照り返しの紫外線を合わせると太陽から直射された紫外線を受けるよりも２倍近く紫外線量が増加することになる。
【００６０】
Ｓ６では、当該画素は雪を被写体とした画像データの一部であると判断する。
【００６１】
Ｓ７では、当該画素は雲の被写体とした画像データの一部であると判断する。
【００６２】
Ｓ８では、フラグの立っている全ての画素についてＳ５〜Ｓ７を実施したか否かを判断する。Ｙｅｓの場合はＳ１０、Ｎｏの場合はＳ９に進む。
【００６３】
Ｓ９では、Ｓ５の実施対象となる画素を、未だ判断対象としていないものの中から１つ選び、それについてＳ５〜Ｓ７を実施する。
【００６４】
Ｓ１０では、Ｓ５〜Ｓ７によって雲または雪と判断された結果を画素ごとに示したマップを作成する。このマップを基に、本撮像の絞り値、シャッタスピードを調整する。例えば、マップにおいて、「雪」の総画素数よりも「雲」の総画素数が多ければ、雪が被写体とされており、雪は暗く写りやすいため、シャッタスピードを遅くし、絞り径を大きくして、受光量を増加させる。逆に、マップにおいて、「雲」の総画素数よりも「雪」の総画素数が多ければ、雪が被写体とされており、雲は露光量過剰で写りやすいため、シャッタスピードを速くし、絞り径を小さくして、受光量を減少させる。なお、そのマップを表示データとして表示部１１０に出力してもよい。この後、レリーズスイッチ２２の全押しに応じて記録用の画像取得動作を行う。
【００６５】
以上のように、特定の紫外線波長域のみを紫外線透過フィルタ８６ａで透過して、これを固体撮像素子１０２ａで受光して画素ごとの紫外線量を測定し、画素ごとの紫外線量に応じて、当該画素が雲か雪の被写体の一部を構成するものであるかの判断を行う。こうすると、被写体光の可視光領域での波長が似ており、画像データの輝度、色相、彩度などの色情報を用いても区別がつかないような雪あるいは雲を被写体とした画像でも、紫外線量の違いで被写体の区別ができ、適切な撮影条件（シャッタスピードや絞り値）を設定でき、例えば雲は暗めに、雪は明るめに撮れるような設定ができる。よって、本当は雲を撮影しようとしているのに、受光量が高めに設定されて白飛びのひどい画像が得られたり、雪を撮影しようとしているのに、受光量が低めに設定されて暗い画像が得られるのを防げ、高画質の画像を撮影できる。
【００６６】
＜第２実施形態＞
図５は、太陽光下における葉と、水銀灯照明下における葉以外の無彩色物体という２つの被写体に対応する画像データの輝度・色相・彩度の確率分布域をＹＣｒＣｂ空間で示している。水銀灯や蛍光灯下で被写体を撮像すると、画像全体が緑がかったいわゆる「緑色かぶり」という現象が生じることが知られている。極端な場合、太陽光下における葉、水銀灯照明下における葉以外の無彩色物体ともにほぼ一様に緑色になり、それらの輝度・色相・彩度の分布域は、ともに緑色（Ｒ＝0，Ｇ＝255，Ｂ＝0）の近傍領域となり、相当な部分が重なり合う。よって、「緑色かぶり」が発生した場合、画像データの輝度、色相、彩度を用いても、葉とそれ以外の物体という２つの被写体を区別するのは難しい。
【００６７】
そこで本実施形態では、画像データの画素ごとに赤外線量を測定し、それに応じて葉と「緑色かぶり」が発生した物体との区別をつける。
【００６８】
図６は本実施形態で用いるフィルタ８６である赤外線透過フィルタ８６ｂの透過率と光波長との関係を示す。赤外線透過フィルタ８６ｂの透過する波長成分は0.7〜400μｍの赤外線である。
【００６９】
固体撮像素子１０２ａは、赤外線透過フィルタ８６ｂの透過率がピークに達する波長域において感度を有しており、赤外線を光電変換し、その強度に対応する電荷を発生し、蓄積するものとする。すなわち、赤外線の波長域では感度があるものとする。なお、固体撮像素子を用いた赤外線検知は公知のものを利用できる（例えば特開平６−２０５２９７号公報）。
【００７０】
図７は第２実施形態に係る撮影処理のフローチャートである。この処理をＣＰＵ１１２に指令させるプログラムはＥＥＰＲＯＭ１１９に記憶されている。この処理は静止画撮影モードが設定されたことに応じて開始する。
【００７１】
Ｓ１１では、レリーズスイッチ２２の半押しがあったか否かを判断する。Ｙｅｓの場合はＳ１２に進み、Ｎｏの場合はＳ１１に戻る。
【００７２】
Ｓ１２では、レリーズスイッチ２２の半押しに応じて撮像回路１０２ｂから入力された画像データの中から、所定の輝度、色相および彩度（例えばＲＧＢ換算でＲ＝0，Ｇ＝255，Ｂ＝0）を有する画素を探索し、その画素に「被写体が葉の可能性あり」を示すフラグを立てる。すなわちここでは、色情報を用いて大まかに葉の可能性のある画素を特定する。
【００７３】
Ｓ１３では、ＣＰＵ１１２は、測光処理部１５７に対し、フラグの立った各画素に対応する位置における受光赤外線量を測定するよう指令する。
【００７４】
Ｓ１４では、特定の画素において測定した赤外線量が、予め規定された閾値（例えば1W/ｍ2）以上であるか否かを判断する。Ｙｅｓの場合はＳ１５、Ｎｏの場合はＳ１６に進む。
【００７５】
Ｓ１５では、当該画素は葉を被写体とした画像データの一部であると判断する。
【００７６】
Ｓ１６では、当該画素は葉以外の物体を被写体とした画像データの一部であると判断する。すなわち、「緑かぶり」では、葉による赤外線の反射が受光されないし、また、蛍光灯はほどんど赤外線を発しないから、赤外線量が多ければ被写体が赤外線を多く反射するものであり、少なければ葉がないといえる。なお、白熱灯は蛍光灯に比して赤外線を多く発する傾向があるが、白熱灯下では「緑かぶり」は生じないため、葉の判断には影響しない。
【００７７】
Ｓ１７では、フラグの立っている全ての画素についてＳ１４〜Ｓ１６を実施したか否かを判断する。Ｙｅｓの場合はＳ１９、Ｎｏの場合はＳ１８に進む。
【００７８】
Ｓ１８では、Ｓ１４の実施対象となる画素を、未だ判断対象としていないものの中から１つ選び、それについてＳ１４〜Ｓ１６を実施する。
【００７９】
Ｓ１９では、Ｓ１４〜Ｓ１６によって葉または葉以外と判断された結果を画素ごとに示したマップを作成する。このマップを基に、本撮像のホワイトバランスを調整する。例えば、マップにおいて、「葉」の総画素数が「葉以外」の総画素数よりも多ければ、太陽光下での葉が被写体とされており、光源種を太陽光（Ｄ５５）としてホワイトバランスを合わせる。また、当然ながらシャッタ速度や絞り値、合焦位置の検出も行う。この後、レリーズスイッチ２２の全押しに応じて記録用の画像取得動作を行う。
【００８０】
以上のように、特定の赤外線波長域のみを赤外線透過フィルタ８６ｂで透過して、これを固体撮像素子１０２ａで受光して画素ごとの赤外線量を測定し、画素ごとの赤外線量に応じて半押し後の画像データの画素ごとに葉の一部かそれ以外かの判断を行う。こうすると、画像データの輝度、色相、彩度などの色情報を用いても区別がつかないような葉を被写体とした画像あるいは他物体を被写体とした緑色かぶりの画像でも、赤外線量の違いで被写体の区別ができ、適切な撮影条件（ホワイトバランス）を設定できる。よって、本当は太陽光下で葉を撮影しようとしているのに、ホワイトバランスが水銀灯や蛍光灯を光源としたものに設定されてしまうのを防げ、高画質の画像を撮影できる。
【００８１】
＜第３実施形態＞
第１実施形態では、紫外線量のみを用いて雲と雪を判別していたが、色情報のみで雲と雪を判別できる場合はこれにより判別し、色情報で判別できない場合は、紫外線量で判別してもよい。
【００８２】
図８は第３実施形態に係る撮影準備処理のフローチャートである。この処理をＣＰＵ１１２に指令させるプログラムはＥＥＰＲＯＭ１１９に記憶されている。この処理は静止画撮影モードが設定されたことに応じて開始する。
【００８３】
Ｓ２１−２２はＳ１−２と同様である。
【００８４】
Ｓ２３では、レリーズスイッチ２２の半押しに応じて撮像回路１０２ｂから入力された画像データの各画素について、輝度・色相・彩度が所定の閾値（１）以上である画素にのみ「雲」のフラグを立てる。
【００８５】
Ｓ２４では、当該画像データの各画素について、輝度・色相・彩度が所定の閾値（２）以上である画素にのみ「雲」のフラグを立てる。
【００８６】
ここで、閾値（１）および（２）は、特定の撮影条件下（例えば、３月上旬、正午、光源は太陽）における雲との輝度・色相・彩度の確率分布域を、予めＹＣｒＣｂ空間上に経験的に定めておき、かつ、これらの確率分布域を区切る線分もしくは平面あるいはこれらの組み合わせ（直方体や円筒など）を閾値とする。つまり、閾値とは必ずしも１次元の値に限らない。
【００８７】
図９はある特定の撮影条件下での雲および輝度・色相・彩度の確率分布域と、雲と判別するための閾値ｔｈ１、雪と判別するための閾値ｔｈ２を例示している。一般的には、雲は雪に比べ、色の偏りが少なく、また輝度は高いであろう。従って、閾値ｔｈ１は、閾値ｔｈ２よりも低い色相域・彩度域に設定され、かつ、高い輝度域に設定される。ｔｈ１は、例えばYCrCb空間において、100≦Y、120°≦tan-1 Cb/Cr≦140°、Cr^2 + Cb^2≦5 とする。ｔｈ２は、例えばYCrCb空間において、80≦Y、120°≦tan-1 Cb/Cr≦140°、Cr^2 + Cb^2≦15 とする。
【００８８】
Ｓ２５では、当該画像データの各画素について、輝度・色相・彩度が所定の値（例えばＲ＝１２８、Ｇ＝１２８、Ｂ＝１２８の灰色）を持つ画素にのみ「雲または雪」のフラグを立てる。なお、画像データの取得から輝度・色相・彩度が所定の閾値（１）あるいは閾値（２）以上である画素の特定に至るまでの時間がある一定時間以上かかった場合は、「雲」や「雪」のフラグは立てず、「雲または雪」のフラグを立ててもよい。これは、色情報に基づいた種類の判別が不明あるいは困難な画素について色情報による不正確な判別の続行に時間をかけ過ぎるよりも、速やかに紫外線量で判別したほうが効率的だからである。
【００８９】
Ｓ２６では、ＣＰＵ１１２は、測光処理部１５７に対し、「雲または雪」のフラグの立った各画素に対応する位置における受光紫外線量を測定するよう指令する。
【００９０】
Ｓ２７では、予め規定された関数ｆを用いて、ＥＶ値に対応する予測受光紫外線量ｆ（ＥＶ）を算出する。そして、ある特定の画素において測定した紫外線量が、予め規定された関数ｆを用いて、ｆ（ＥＶ）以上であるか否かを判断する。Ｙｅｓの場合はＳ２８、Ｎｏの場合はＳ２９に進む。
【００９１】
Ｓ２８では、当該画素は雪を被写体とした画像データの一部であると判断する。
【００９２】
Ｓ２９では、当該画素は雲の被写体とした画像データの一部であると判断する。
【００９３】
Ｓ３０では、「雲または雪」フラグの立っている全ての画素についてＳ２７〜Ｓ３０を実施したか否かを判断する。Ｙｅｓの場合はＳ３２、Ｎｏの場合はＳ３１に進む。
【００９４】
Ｓ３１では、Ｓ２７の実施対象となる画素を、未だ判断対象としていないものの中から１つ選び、それについてＳ２７〜Ｓ３０を実施する。
【００９５】
Ｓ３２では、Ｓ２７〜Ｓ３０によって雲または雪と判断された結果を画素ごとに示したマップを作成する。このマップを基に、本撮像の絞り値、シャッタスピードを調整する。例えば、マップにおいて、「雪」の総画素数よりも「雲」の総画素数が多ければ、雪が被写体とされており、雪は暗く写りやすいため、シャッタスピードを遅くし、絞り径を大きくして、受光量を増加させる。逆に、マップにおいて、「雲」の総画素数よりも「雪」の総画素数が多ければ、雪が被写体とされており、雲は露光量過剰で写りやすいため、シャッタスピードを速くし、絞り径を小さくして、受光量を減少させる。なお、そのマップを表示データとして表示部１１０に出力してもよい。この後、レリーズスイッチ２２の全押しに応じて記録用の画像取得動作を行う。
【００９６】
このように、まず、色情報に応じて被写体判別を行い、それで判別ができなかった画素についてのみ紫外線量を用いて被写体判別を行うから、全ての画素につき紫外線量のみで被写体判別をするよりも被写体判別に要する時間が短縮され、かつ、仮に色情報による判別ができなくても紫外線量で判別を行うから、判別の正確性が担保される。
【００９７】
＜第４実施形態＞
判別された被写体の種類を示す画像や音声などの情報を出力してユーザが認識できてもよい。
【００９８】
図１０は第４実施形態に係る撮影準備処理のフローチャートである。この処理をＣＰＵ１１２に指令させるプログラムはＥＥＰＲＯＭ１１９に記憶されている。この処理は静止画撮影モードが設定されたことに応じて開始する。また、フィルタ８６は、赤外線透過フィルタ８６ｂおよび可視光領域の波長のみを透過する可視光透過フィルタ８６ｃであるとする。
【００９９】
Ｓ４１はＳ２と同様である。
【０１００】
Ｓ４２では、赤外線透過フィルタ８６ｂのみを光路に挿入して赤外線領域の被写体光に相当する画像データ（以下「赤外線画像データ」という）を取得する。また、可視光透過フィルタ８６のみｃを光路に挿入して可視光線領域の被写体光に相当する画像データ（以下「可視光画像データ」という）を取得する。
【０１０１】
Ｓ４３では、可視光画像データにおける任意の１つの画素の彩度が、所定の閾値ｓ１以上であるか否かを判断する。Ｙｅｓの場合はＳ４４、Ｎｏの場合はＳ４８に進む。閾値ｓ１は、例えばYCrCb空間において、400≦Cr^2 + Cb^2 とする。
【０１０２】
Ｓ４４−Ｓ４５では、Ｓ４３で彩度と閾値ｓ１とを比較した画素に対応する赤外線画像データの画素（以下「対応画素」とする）とその周辺画素に対して、所定のフィルタリング処理を施すことでテクスチャ信号を抽出する。例えば、本出願人による特開2004-258751号公報に示すように、原画像データから生成された輝度信号に対して、図１１に示すようなマスクサイズが３×３の１次微分フィルタを用いて、対応画素とその周辺画素を含む６近傍画素群についてフィルタ処理を施し、その絶対値を求める。そして、ｘ方向の１次微分フィルタを用いてフィルタ処理を施した絶対値とｙ方向の１次微分フィルタを用いてフィルタ処理を施した絶対値とを求めて、これらを加算する。この加算値からなる信号が輝度信号から生成された高周波信号（テクスチャ信号）である。なお、フィルタは１次微分フィルタに限らず、２次微分フィルタやラプラシアンピラミッド、Ｗａｖｅｌｅｔ変換、ラプラシアンフィルタなどの公知のエッジ検出に用いられる演算であれば何でもよい。
【０１０３】
Ｓ４６では、上記加算値の個数を示すパラメータｎｕｍを１だけインクリメントする。ｎｕｍの初期値は０である。
【０１０４】
Ｓ４７では、可視光画像データに対応する赤外線画像データの全画素についてテクスチャ信号の生成が終了したか否かを判断する。Ｙｅｓの場合はＳ４９、Ｎｏの場合はＳ４８に進む。
【０１０５】
Ｓ４８では、未だテクスチャ信号の生成対象としていない画素を赤外線画像データの中から１つ選び、それについてＳ４３〜Ｓ４６を実施する。
【０１０６】
Ｓ４９では、各画素について生成したテクスチャ信号を加算し、これをｎｕｍで除算することでテクスチャ信号の平均値Ｔを算出する。
【０１０７】
Ｓ５０では、平均値Ｔが所定の閾値ｓ２以上であるか否かを判断する。Ｙｅｓの場合はＳ５１、Ｎｏの場合はＳ５２に進む。
【０１０８】
Ｓ５１では、被写体が花であると判別する。これは例えば、ヒマワリからの赤外線の照り返しによって、画像データからは花弁や葉脈などのテクスチャ（エッジの分布つまり筋模様）が検出されるから、このテクスチャがある程度以上の強度で現れていれば、花と判断する。
【０１０９】
Ｓ５２では、被写体が花ではないと判別する。つまり、ヒマワリと同じような黄色でもテクスチャがない物体は、花でないと判断する。
【０１１０】
Ｓ５３では、可視光線画像についての彩度がｓ１以上の画素群のＲ平均値、Ｇ平均値、Ｂ平均値および赤外線画像についてのテクスチャ平均値Ｔからなる座標値Ｍを、これらの４つのパラメータを軸とする４次元空間にプロットする。この４次元空間における座標値Ｍと、予め当該４次元空間に規定された各花の種類ごとの確率分布域とに基づいて、花の種類を認識する。
【０１１１】
例えば、チューリップ、ヒマワリ、コスモスなど花の種類ごとのＲＧＢ各平均値およびテクスチャ平均値の確率分布域のサンプルが予めＲＯＭなどに記憶されており、図１２に示すように、チューリップの確率分布域Ｒ１、ヒマワリの確率分布域Ｒ２、コスモスの確率分布域Ｒ３などが配置されている。なお図１２では都合上３次元空間が示されている。上記プロットされた座標値とこの確率分布域とをマッチングし、そのうち一致率の最も高い花の種類を最終的に認識された花の種類とする。花の種類ごとの確率分布域は、経験的に定めればよい。図１２では、一例としてヒマワリの確率分布域Ｒ２にパラメータＭが属しており、被写体はヒマワリと認識できる。
【０１１２】
昆虫の可視波長域（つまり、昆虫が見える光の波長域）は、約３００〜６５０ｎｍで、特に近紫外線寄り（青色寄り）の感度が高い。従って例えば、赤外線フィルタ８６ｂの透過する波長成分を約３００〜６５０ｎｍより長波長としておき、またテクスチャパターンもこれに合わせて昆虫の可視波長域で得られたものにすると、昆虫の視点から見たようなテクスチャパターンで花や葉の種類を認識できる。
【０１１３】
図１３に例示するように、この最終的に認識された花の種類を示す情報は、操作部１１３に設けられた「種類認識ボタン」を押下することで、表示部１１０に出力されてもよい。
【０１１４】
このように、可視光だけでなくテクスチャ解析結果を合わせて花の種類を認識することで、単に色だけで被写体の種類を判別し、彩度の高い壁を花弁領域などと誤認識することが防げ、正確な被写体種類の特定が可能となる。
【０１１５】
＜第５実施形態＞
上記第１−４実施形態において、被写体光の異なる波長域を選択的に撮像素子１０２ａに結像する機構は何でもよいが、例えば次のようにすることができる。
【０１１６】
図１４−図１６は上記第１−４実施形態のデジタルカメラ１０に適用可能な撮像系の詳細を示す。
【０１１７】
図１４では、撮像レンズ１４後の光路に挿抜可能に配置された１または複数のフィルタ８６、例えば紫外線カットフィルタおよび赤外線カットフィルタは、モータ１９１によってフィルタ８６の光路への挿入／退避動作が駆動される。撮像レンズ１４を介して固体撮像素子１０２ａに結像される被写体光は、フィルタ８６により所定の波長成分のみがカットされるかあるいは透過される。フィルタ８６の透過特性は何でもよく、紫外線波長域をカットしその他の波長域は透過する紫外線カットフィルタ、紫外線波長域のみを透過する紫外線透過フィルタ、赤外線波長域をカットしその他の波長域は透過する赤外線カットフィルタ、赤外線波長域のみを透過する赤外線透過フィルタ、可視光波長域のみを透過するＲＧＢフィルタなどが挙げられる。
【０１１８】
図１４のように紫外線カットフィルタと赤外線カットフィルタの双方を光路に挿入すれば、可視光域のみが結像される。赤外線カットフィルタのみを挿入すれば、可視光および紫外線光が結像される。紫外線カットフィルタのみを挿入すれば、可視光および赤外線が結像される。
【０１１９】
あるいは、図１５に例示するように、固体撮像素子１０５ａのベイヤ配列のＲＧＢカラーフィルタのうちＲＧの部分を、紫外線透過フィルタや赤外線透過フィルタに入れ換え、画素によってＲ、Ｇ、Ｂ、紫外線あるいは赤外線を受光するようにしてもよい。この際、紫外線あるいは赤外線を受光する画素については、通常のＲＧＢの画像を記録するのであれば、同時化処理の際に周囲のＲ、Ｇ、Ｂデータで紫外線あるいは赤外線しか受光しない画素のＲ、Ｇ、Ｂデータを作ってもよい。また同様にして、赤外線画像データや紫外線画像データを記録することもできる。
【０１２０】
あるいは、図１６に例示するように、撮像レンズ１４から３つの固体撮像素子１０５ａ−１、１０５ａ−２、１０５ａ−３までの間に、光軸に対してそれぞれ略−４５度および４５度の傾きを保った平面ハーフミラー１および平面ハーフミラー２を設け、平面ハーフミラー１の受光面１−１の反射光は固体撮像素子１０５ａ−１、平面ハーフミラー２の受光面２−１の反射光は固体撮像素子１０５ａ−２、平面ハーフミラー１および平面ハーフミラー２の透過光は固体撮像素子１０５ａ−３に結像させる。
【０１２１】
固体撮像素子１０５ａ−１の結像面には、赤外線透過フィルタのみを配置し、固体撮像素子１０５ａ−２の結像面には、紫外線透過フィルタのみを配置し、固体撮像素子１０５ａ−３の結像面には、通常のＲＧＢカラーフィルタのみを配置する。固体撮像素子１０５ａ−１・２・３の出力した画像データはそれぞれ別個にＡ／Ｄ変換、ホワイトバランス補正、ガンマ補正、ＹＣ処理などの各種画像処理が施され、別々の画像データとしてＶＲＡＭ１３２に出力される。
【０１２２】
後は、用途に応じて各固体撮像素子から得られた画像を使い分ければよい。例えば、紫外線量を取得したい場合は固体撮像素子１０５ａ−２からの画像データを、赤外線量を取得したい場合は固体撮像素子１０５ａ−１からの画像データを用いる。また、通常のカラー画像を記録したい場合は、固体撮像素子１０５ａ−３からの画像データを記録する。
【０１２３】
なお、各ハーフミラーの反射面に、スリットパターンなどの形成された光学フィルタを積層させて、各ハーフミラーの光の透過率を自在に変化させてもよい。例えば、記録用画像データの取得の際には、平面ハーフミラー１の反射面１−１および平面ハーフミラー２の反射面２−１に設けられた光学フィルタ双方の透過率を上げて、固体撮像素子１０５ａ−３に多くの光が結像するようにする。
【０１２４】
あるいは、赤外線による被写体判別（第２実施形態の撮像準備処理）を実施する場合は、平面ハーフミラー１に設けられた光学フィルタの透過率を下げ（反射率を上げ）かつ平面ハーフミラー２に設けられた光学フィルタの透過率を上げて（反射率を下げて）、固体撮像素子１０５ａ−１の結像面に多くの光が結像するようにする。
【０１２５】
あるいは、紫外線による被写体判別（第１実施形態の撮像準備処理）を実施する場合は、平面ハーフミラー１に設けられた光学フィルタの透過率を上げ（反射率を下げ）かつ平面ハーフミラー２に設けられた光学フィルタの透過率を下げて（反射率を上げて）、固体撮像素子１０５ａ−２の結像面に多くの光が結像するようにする。
【０１２６】
また、ハーフミラーを用いず、プリズムや回折格子などで赤外線、紫外線、可視光を分光し、分光された紫外線、赤外線、可視光をそれぞれ撮像素子１０５ａ−１・２・３に入射させてもよい。
【０１２７】
＜第６実施形態＞
フィルタ８６として偏光フィルタ８６ｃを用い、偏光フィルタの挿入状態または非挿入状態で得られた画像データを比較して、被写体を判別することもできる。
【０１２８】
図１７は第６実施形態に係る撮影準備処理のフローチャートである。この処理をＣＰＵ１１２に指令させるプログラムはＥＥＰＲＯＭ１１９に記憶されている。この処理は静止画撮影モードが設定されたことに応じて開始する。
【０１２９】
Ｓ６１はＳ２と同様である。
【０１３０】
Ｓ６２では、偏光フィルタ８６ｃを光路から退避して１枚分の画像データを取得し、ＶＲＡＭ１３２に記憶する。そして、取得した画像データについて、所定の輝度・色相・彩度を持つ画素にのみ、「雲または雪」というフラグを立てる。つまり、色情報上では被写体が雲か雪かどちらか一方であるのは確からしいが、そのいずれかまでは判別のつかない画素に「雲または雪」フラグが立つ。
【０１３１】
Ｓ６３では、偏光フィルタ８６ｃを光路に挿入して１枚分の画像データを取得し、ＶＲＡＭ１３２に記憶する。
【０１３２】
Ｓ６４では、偏光フィルタ８６ｃによる特定の偏光方向の透過によって画素値の変化があるか否か、すなわち、Ｌ＝｜偏光フィルタなしの画像データの画素値−ｋ×偏光フィルタありの画像データの画素値｜≧所定の閾値Ｘであるか否かを判断する。Ｙｅｓの場合はＳ６６に進み、Ｎｏの場合はＳ６７に進む。
【０１３３】
なお、偏光フィルタがあると画像全体が暗くなるため、偏光フィルタありの画像データの画素値を補正係数ｋで補正している。閾値Ｘと補正係数ｋは、例えばＸ=20、ｋ=2.0とする。
【０１３４】
Ｓ６６では、当該画素は雪を被写体とした画像データの一部であると判断する。すなわち、雪を被写体とすると、雪面での反射（偏光）により偏光方向が揃うため、Ｌの値が一定閾値Ｘよりも大きくなり、被写体は雪と判断できる。
【０１３５】
Ｓ６７では、当該画素は雲の被写体とした画像データの一部であると判断する。すなわち、雲を被写体とすると、自然光の乱反射がそのまま入射し、偏光方向が揃うこともないため、Ｌの値が閾値Ｘよりも小さくなり、被写体は雲と判断する。
【０１３６】
Ｓ６８−７０は、Ｓ８−１０と同様である。
【０１３７】
このように、偏光フィルタのある／ない状態で取得した画像データの画素値の差異に基づいて各画素ごとに被写体を判別することで、ＲＧＢの情報だけでは区別がつかないような雲と雪を正確に判別できる。
【０１３８】
なお、偏光フィルタとは要するに直線偏光が可能な偏光子（ポラライザー）であれば何でもよく、フィルム偏光子の他、方解石やフレネルロムなどを用いてもよい。
【０１３９】
また、特定の偏光方向を検知したか否かに応じて被写体を判別してもよい。例えば、水の反射光は横方向（振動方向に垂直な方向）に最も多く光を放出するから、横方向の光を検知した画素の被写体は水であると判別してもよい。なお、カゲロウは 人間の見えないこの横方向の偏光を頼りに水に集まることが知られている。
【０１４０】
また、水面やガラス越しの被写体を撮るなど、反射光で被写体が判別しにくくなる場合に本実施形態のような判別を用いても有効であろう。
【０１４１】
＜第７実施形態＞
第６実施形態では、画素値の差分値のみに基づいて被写体判別を行っていた。しかし、第３実施形態と同様、色情報のみで雲と雪を判別できる場合はこれにより判別し、色情報で判別できない場合は、画素値の差分値で判別してもよい。
【０１４２】
図１８は第７実施形態に係る撮影準備処理のフローチャートである。この処理をＣＰＵ１１２に指令させるプログラムはＥＥＰＲＯＭ１１９に記憶されている。この処理は静止画撮影モードが設定されたことに応じて開始する。
【０１４３】
Ｓ７１−Ｓ７５は、Ｓ２１−Ｓ２５と同様である。
【０１４４】
Ｓ７６−８２は、Ｓ６３−Ｓ７０と同様である。
【０１４５】
このように、まず、可視光域で生じた色に応じて被写体判別を行い、それで判別ができなかった画素についてのみ、画素値の差分値を用いて被写体判別を行うから、画素値の差分値のみで被写体判別をするよりも被写体判別に要する時間が短縮され、かつ、仮に色による判別ができなくても、特定の偏光方向の画素値の大きさで判別を行うから、判別の正確性が担保される。
【図面の簡単な説明】
【０１４６】
【図１】デジタルカメラの機能ブロック図
【図２】雪、雲という２つの被写体に対応する画像データの輝度・色相・彩度の確率分布域をＹＣｒＣｂ空間上で示した図
【図３】紫外線透過フィルタの透過率と光波長との関係を示す図
【図４】第１実施形態に係る撮影準備処理のフローチャート
【図５】太陽光下における葉と、水銀灯照明下における葉以外の無彩色物体という２つの被写体に対応する画像データの輝度・色相・彩度の確率分布域をＹＣｒＣｂ空間で示した図
【図６】赤外線透過フィルタ８６ｂの透過率と光波長との関係を示す図
【図７】第２実施形態に係る撮影処理のフローチャート
【図８】第３実施形態に係る撮影処理のフローチャート
【図９】ある特定の撮影条件下での雲および輝度・色相・彩度の確率分布域と、雲と判別するための閾値ｔｈ１、雪と判別するための閾値ｔｈ２を例示した図
【図１０】第４実施形態に係る撮影準備処理のフローチャート
【図１１】マスクサイズが３×３の１次微分フィルタを例示した図
【図１２】画素群のＲ平均値、Ｇ平均値、Ｂ平均値および赤外線画像についての平均値Ｔを、これらの４つのパラメータを軸とする４次元空間にプロットした様子を模式的に示した図
【図１３】認識された花の種類を示す情報を表示部に出力した様子を示す図
【図１４】撮像レンズ後の光路に挿抜可能に配置された１または複数のフィルタの一例を示す図
【図１５】一部が紫外線透過フィルタや赤外線透過フィルタに置換されたカラーフィルタの一例を示す図
【図１６】２枚の平面ハーフミラーで分光された３系統の被写体光を結像する複数の固体撮像素子の配置例を示す図
【図１７】第６実施形態に係る撮影準備処理のフローチャート
【図１８】第７実施形態に係る撮影準備処理のフローチャート
【符号の説明】
【０１４７】
１４：撮像レンズ、１０２ａ：固体撮像素子、８６：フィルタ、１９１：モータ
【技術分野】
【０００１】
本発明は、被写体に応じて各種設定をする撮像装置に関する。
【背景技術】
【０００２】
特許文献１では、被写体に向け所定の輻射光線を照射し、所定の輻射光線の反射光のみを撮像するとともに、この撮像情報から被写体の輪郭を識別する。特許文献２では、撮像部と記録部と表示部を備えた撮像装置において、撮像された被写体像を画像認識部でその被写体の種類を識別するとともに、表示部へ識別された被写体の説明データを表示することによって持ち歩きができ、かつ瞬時に被写体の種別が特定できるとともにその説明を見ることができる。
【特許文献１】特開平１０−２４３３８７号公報
【特許文献２】特開２００６−２７０１３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
自然界に存在する物体の多くは、可視光領域だけでなく非可視光領域にも渡る形で特有の分光反射率を持つから、可視光情報だけで物体を区別するが難しい場合がある。この点、特許文献１や２では、非可視光領域の分光反射率を用いた被写体認識については言及されていない。特に特許文献２では、主として可視光情報を利用して被写体を識別するため、人間が見て色が似ているが異なる物体を同じものと誤認識する可能性がある。
【０００４】
本発明の目的は、非可視光の情報に基づいて被写体認識を行うことにある。
【課題を解決するための手段】
【０００５】
本発明に係る撮像装置は、撮像レンズを介して撮像素子の受光面に結像された被写体光の非可視光成分および可視光成分を、撮像素子により光電変換することで得られた電気信号を画像データに変換して出力する撮像部と、撮像部の出力した画像データの画素の各々における被写体光の非可視光成分の強度を検出する強度検出部と、強度検出部の検出した各画素ごとの非可視光成分の強度に基づいて被写体の種類を判別する被写体種類判別部と、を備える。
【０００６】
被写体光の非可視光成分は、波長１０ｎｍないし４００ｎｍの紫外線を含む。
【０００７】
被写体種類判別部は、紫外線の強度に基づいて被写体が雪であるかまたは雲であるかを判別する。
【０００８】
被写体光の非可視光成分は、波長７００ｎｍないし１４００ｎｍの赤外線を含む。
【０００９】
被写体種類判別部は、赤外線の強度に基づいて被写体が葉であるか否かを判別する。
被写体種類判別部は、強度検出部の検出した各画素ごとの色成分に基づいて被写体の種類を判別し、強度検出部の検出した各画素ごとの色成分に基づいて被写体の種類を判別できなかった場合、強度検出部の検出した各画素ごとの非可視光成分の強度に基づいて被写体の種類を判別する。
【００１０】
被写体種類判別部は、撮像部から継続的に出力された画像データに基づいて画像データ間の動きベクトルを決定し、決定された動きベクトルに応じて被写体の種類を判別し、動きベクトルに応じて被写体の種類が判別できなかった場合、強度検出部の検出した各画素ごとの可視光成分の強度に基づいて被写体の種類を判別する。
【００１１】
被写体種類判別部は、撮像部から出力された画像データから所定の波長域にある可視光成分を検出することで被写体の種類を判別し、所定の波長域にある可視光成分を所定の時間内に検出できなかった場合、強度検出部の検出した各画素ごとの非可視光成分の強度に基づいて被写体の種類を判別する。
【００１２】
撮像部から出力された画像データから特定の周波数成分の強度を検出する特定周波数成分強度検出部を備え、被写体種類判別部は、特定周波数成分強度検出部の検出した特定の周波数成分の強度に応じて被写体の種類を判別する。
【００１３】
特定の周波数成分の強度はテクスチャ信号を含む。
【００１４】
被写体種類判別部は、特定周波数成分強度検出部の検出した特定の周波数成分の強度に応じて被写体が花弁であるか否かを判別する。
【００１５】
撮像部は、被写体光の非可視光成分または可視光成分の一方を、撮像素子により選択的に光電変換する。
【００１６】
撮像部は、赤外線カットフィルタおよび紫外線カットフィルタのうち少なくとも一方を撮像レンズから撮像素子までの光路に進退自在に挿入する機構を備える。
【００１７】
撮像部は、非可視光成分を光電変換する非可視光用撮像素子と、可視光成分を光電変換する可視光用撮像素子とを備える請求項１３に記載の撮像装置。
【００１８】
撮像部は、撮像レンズを介して受光した被写体光を非可視光用撮像素子および可視光用撮像素子の各々の受光面に導光して結像可能な機構を備える。
【００１９】
本発明に係る撮像装置は、撮像レンズを介して撮像素子の受光面に結像された被写体光を、撮像素子により光電変換することで得られた電気信号を画像データに変換して出力する撮像部と、撮像レンズから撮像素子までの光路に進退自在に偏光子を挿入する機構と、光路に偏光子が挿入された状態で出力された画像データと光路に偏光子が挿入されない状態で出力された画像データとの比較に応じて被写体の種類を判別する被写体種類判別部と、を備える。
【００２０】
被写体種類判別部は、光路に偏光子が挿入された状態で出力された画像データと光路に偏光子が挿入されない状態で出力された画像データとの比較に応じて被写体の種類を判別できなかった場合、強度検出部の検出した各画素ごとの非可視光成分の強度に基づいて被写体の種類を判別する。
【００２１】
偏光子は偏光フィルタを含む。
【発明の効果】
【００２２】
本発明によると、被写体光の可視光領域での波長が似ており、画像データの輝度、色相、彩度などを用いても区別がつかないような雪あるいは雲を被写体とした画像でも、紫外線量の違いで被写体の区別ができ、適切な撮影条件（シャッタスピードや絞り値）を設定でき、例えば空は暗めに、雪は明るめに撮れるような設定ができる。
【００２３】
また、被写体光の可視光領域での波長が似ており、画像データの輝度、色相、彩度などを用いても区別がつかないような葉を被写体とした画像あるいは他物体を被写体とした緑色かぶりの画像でも、赤外線量の違いで被写体の区別ができ、適切な撮影条件（ホワイトバランス）を設定できる。
【００２４】
また、偏光フィルタのある／ない状態で取得した画像データの画素値の差異に基づいて各画素ごとに被写体を判別することで、色情報だけでは区別がつかないような雲と雪を正確に判別できる。
【発明を実施するための最良の形態】
【００２５】
＜第１実施形態＞
図１は本発明の好ましい実施形態に係るデジタルカメラ１０の機能ブロック図である。まず、同図のデジタルカメラ１０において、中央処理装置（ＣＰＵ）１１２は、レリーズスイッチ２２、モードダイヤル１５０等を含む操作部１１３の各種のボタンやキーからの入力に基づいてデジタルカメラ１０内の各回路を統括制御する。ＣＰＵ１１２の実行するプログラムはＥＥＰＲＯＭ１１９に記憶される。
【００２６】
いま、モードダイヤル１５０によって静止画撮影モードが設定されると、ＣＰＵ１１２は、撮像回路１０２ｂから順次得られるコマ画像（スルー画）を表示部１１０に表示させ、撮影画角を確認可能にする。即ち、撮像レンズ１４を通過した光は、固体撮像素子１０２ａに入射する。固体撮像素子１０２ａの受光面には、フォトセンサが平面的に配列されており、該受光面に結像された被写体像（被写体に太陽、蛍光灯その他の光源から発せられた光が反射して受光面に形成される像および／または被写体自身が発光することで受光面に形成される像）は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。こうして蓄積された信号電荷は、図示せぬドライバ回路から与えられるパルス信号に基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出され、それぞれ撮像回路１０２ｂに加えられる。
【００２７】
また、固体撮像素子１０２ａの受光面前方には、被写体光の入射光路に対して挿入および退避自在に支持された所定の特性を持つ１または複数のフィルタ８６が配置されている。フィルタ８６の光路への挿入／退避動作は、モータ１９１によって駆動され、かつモータ５の動作は，ＣＰＵ１１２によって制御される。
【００２８】
本実施形態では、フィルタ８６は、紫外線の透過は許容するが可視光線の透過を阻止する紫外線透過フィルタ８６ａであるとする。
【００２９】
撮像回路１０２ｂは、ゲイン調整回路を含み、得られた画像データは、それぞれ画像処理回路１０８及びハイパスフィルタ（ＨＰＦ）１２５へ送られる。画像処理回路１０８は、Ａ／Ｄ変換部１０８ａ、ホワイトバランス補正回路１０８ｂ、ガンマ補正回路１０８ｃ、ＹＣ処理回路１０８ｄ、輝度・色差信号生成回路、シャープネス補正回路、コントラスト補正回路、撮影画像に対する輪郭補正を含む画像処理を行う輪郭処理部、画像のノイズ低減処理を行うノイズ低減処理部等を含む画像処理手段であり、ＣＰＵ１１２からのコマンドに従って画像信号を処理する。
【００３０】
画像処理回路１０８に入力された画像データは、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｌ信号）に変換されるとともに、ガンマ補正等の所定の処理が施された後、ＶＲＡＭ１３２に格納される。
【００３１】
一方、画像処理回路１０８のＡ／Ｄ変換部１０８ａでデジタル信号に変換された画像データは、ハイパスフィルタ（ＨＰＦ）１２５でＧ画素成分のみ抽出される。そして、積算処理部１２６で抽出されたＧ画素成分に積算処理が施されてＣＰＵ１１２に送られる。ＣＰＵ１１２は、積算処理部１２６から送られた１画面分の６４分割の画像データの内、十字キー８１で任意に設定された被写体中心付近の４エリアの平均値を算出し、これをオートフォーカス（ＡＦ）評価値とする。ＡＦ評価値は、所定周期の経過毎に算出され、算出の度にメモリ１２７に更新記憶される。ＣＰＵ１１２は、ＡＦ評価値に従って被写体の合焦を判定する。その判断方法は任意であるが、例えばＡＦ評価値が極大点の近傍に略到達しているか否かを判断し、極大点に略達している場合は合焦していると判断し、その他の場合は合焦していないと判断する。あるいは、ＡＦ評価値が所定の閾値を超えていれば合焦していると判断することもできる。
【００３２】
撮影画像を表示部１１０にモニタ出力する場合、ＶＲＡＭ１３２からＹＣ信号が読み出され、ビデオエンコーダ１３４に送られる。ビデオエンコーダ１３４は、入力されたＹＣ信号を表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して表示部１１０に出力する。表示部１１０の駆動はドライバ１１１を介して行われる。
【００３３】
所定のフレームレートで処理された各フレームのＹＣ信号は、ＶＲＡＭ１３２のＡ領域とＢ領域とに交互に書き込まれ、ＶＲＡＭ１３２のＡ領域及びＢ領域のうち、ＹＣ信号が書き込まれている方の領域以外の領域から、書き込まれているＹＣ信号が読み出される。このようにしてＶＲＡＭ１３２内のＹＣ信号が定期的に書き換えられ、そのＹＣ信号から生成される映像信号が表示部１１０に供給されることにより、撮像中の映像がリアルタイムに表示部１１０に表示される。ユーザは、表示部１１０に表示される映像（スルー）によって撮影画角を確認できる。
【００３４】
ここで、レリーズスイッチ２２が半押しされると、ＡＥ及びＡＦ処理が開始される。ＡＥ／ＡＦ処理が行われ、レリーズスイッチ２２が全押しされることによって記録用の撮影動作がスタートする。レリーズスイッチ２２の全押しに応動して取得された画像データは画像処理回路１０８において輝度／色差信号（Ｙ／Ｃ信号）に変換され、ガンマ補正等の所定の処理が施された後、ＶＲＡＭ１３２に格納される。
【００３５】
ＶＲＡＭ１３２に格納されたＹ／Ｃ信号は、圧縮伸長処理回路１４４によって所定のフォーマットに従って圧縮された後、メディアコントローラ１４６を介して記録媒体４０にExif（Exchangeable Image File Format）ファイルとして記録される。画像はExifファイルのデータ部分に記録される。ＣＰＵ１１２は上記Exifファイルのヘッダ部分の所定のタグ（Imagedescriptionタグなど）に撮影日時情報などを記録する。記録された画像は、通信インターフェース７６を介して接続されたプリンタ２００に送信することもできる。プリンタ２００は、受信した画像をプリントする。
【００３６】
ＣＰＵ１１２には、キセノン管からなるストロボ１８の発光を制御するストロボ制御回路１１５も接続されており、静止画撮影において、低照度であることが検出された場合や、ストロボボタンによって発光が指示された場合や、強制発光モードが設定された場合にタイミングジェネレータ１２０によって発生されたタイミング信号に同期したタイミングで短時間（例えば１秒以上の短時間）発光するようにストロボ１８を制御する。
【００３７】
モードダイヤル１５０によって動画撮影モードが設定されたときには、レリーズスイッチ２２の全押し操作に連動して動画記録動作がスタートし、もう一度レリーズスイッチ２２を押下すると動画記録動作が停止する。レリーズスイッチ２２を押下継続している期間、録画動作を行い、押下解除によって録画を停止するようにしてもよい。動画データは、例えばモーションＪＰＥＧ（ＭＰＥＧ）形式によって記録媒体４０に記録される。
【００３８】
モードダイヤル１５０により再生モードが選択されると、記録媒体４０に記録されている最終の画像ファイル（最後に記録されたファイル）の圧縮データが読み出される。最後の記録に係るファイルが静止画ファイルの場合、この読み出された画像圧縮データは、圧縮伸長処理回路１４４を介して非圧縮のＹＣ信号に伸長され、ＶＲＡＭ１３２に保存される。ＶＲＡＭ１３２に保存されたＹＣ信号は、ビデオエンコーダ１３４に加えられる。ビデオエンコーダ１３４は、入力するＹＣ信号からＮＴＳＣ方式のＲＧＢカラー複合映像信号を作成し、これを表示部１１０に出力する。これにより、表示部１１０には記録媒体４０に記録されている最終コマのコマ画像が表示される。
【００３９】
その後、十字キー８１の右キーが押されると、順方向にコマ送りされ、十字キー８１の左キーが押されると、逆方向にコマ送りされる。そして、コマ送りされたコマ位置の画像ファイルが記録媒体４０から読み出され、上記と同様にしてコマ画像が表示部１１０に再生される。尚、最終コマのコマ画像が表示されている状態で順方向にコマ送りされると、記録媒体４０に記録されている１コマ目の画像ファイルが読み出され、１コマ目のコマ画像が表示部１１０に再生される。
【００４０】
表示部１１０は、カメラ１０に内蔵されたＬＣＤ１１４、ファインダー又は映像出力端子等に接続された外部の表示装置に相当する。なお、ＣＰＵ１１２は、ＯＳＤ信号発生回路を含み、ＯＳＤ信号発生回路はシャッター速度や絞り値、撮影可能枚数、撮影日時、警告指示等の文字及びアイコン等の記号を表示するための信号を発生させる。このＯＳＤ信号発生回路から出力される信号は、必要に応じて画像信号に混合されて、ＬＣＤ１１４に供給される。これにより、スルー画像や再生画像に文字やアイコン等が合成された合成画像が表示される。
【００４１】
記録媒体４０は、撮影で得た画像データを保持する手段であり、例えばスマートメディアと呼ばれるメモリカードが使用される。記録メディアの形態はこれに限定されず、ＰＣカード、コンパクトフラッシュ（登録商標）、磁気ディスク、光ディスク、光磁気ディスク、メモリスティックなどでもよく、電子的、磁気的、もしくは光学的、又はこれらの組み合わせによる方式などに従って読み書き可能な媒体を用いることができる。異種・同種の記録メディアを問わず、複数の媒体を装着可能な構成にしてもよい。また、画像ファイルを保存する手段は、カメラ本体に着脱可能なリムーバブルメディアに限らず、カメラに内蔵された記録媒体（内蔵メモリ）であってもよい。
【００４２】
ＣＰＵ１１２は、カメラ１０の各回路を統括制御する制御回路であり、レリーズスイッチ２２、十字キー８１、電源スイッチ８２、モードダイヤル１５０、情報位置指定キー８３あるいは図示しないストロボボタン、ズームキー、メニュー／実行ボタンその他を含む操作部１１３から受信する信号に基づき、対応する回路の動作を制御するとともに、表示部１１０における表示制御、ストロボ発光制御、ＡＦ補助光の発光制御、オートフォーカス（ＡＦ）制御及び自動露出（ＡＥ）制御等を行う。
【００４３】
カメラ１０の電源が電源スイッチ８２でオンされる度に、カメラボディ内部に装着される電池からなる主要電源１６４から、デジタルカメラ１０の各回路に電源が供給される。
【００４４】
画像処理回路１０８からの画像データは、測光処理部１５７にも送られる。この測光処理部１５７は、外光の光量を測定する手段の一例である。測光処理部１５７は、入力される各画像データと、固体撮像素子１０２ａの電荷蓄積時間、すなわち電子シャッタのシャッタ秒時とに基づいて被写体輝度の測光値（ＥＶ値）を算出する測光値算出部により構成できる。これにより、固体撮像素子１０２ａの駆動が調節される。なお、電子シャッタのシャッタ秒時とともに絞り値を変化させてもよい。絞り値を変化させる場合には、絞り値を加味して被写体輝度に応じた測光値を算出する。このように、測光処理部１５７は、固体撮像素子１０２ａを受光センサとしてＴＴＬ（Through The Lens) 測光方式によって被写体の明るさ（被写体輝度）を検出する。測光処理部１５７は、フォトトランジスタで構成された測光センサであってもよく、測光が可能な手段であれば特に限定されない。
【００４５】
通信インターフェース７６は、プリンタ２００と接続可能であり、ＣＰＵ１１２からのコマンドに従い、プリントデータの送信を行う。
【００４６】
なお、デジタルカメラ１０とは、要するに被写体光を画像データに変換可能な機器であれば何でもよく、カメラ付き携帯電話、カメラ付きパソコン、デジタルビデオカメラ、デジタルスチルカメラなども含みうる。
【００４７】
図２は、雪、雲という２つの被写体に対応する画像データの輝度・色相・彩度の確率分布域をＹＣｒＣｂ（Y=0.29891×R+0.58661×G+0.11448×B、Cb=-0.16874×R-0.33126×G+0.50000×B、Cr=0.50000×R-0.41869×G-0.08131×B）空間で示している。雪、空ともにほぼ一様に白く、雪、雲の分布域は白（Ｒ＝255，Ｇ＝255，Ｂ＝255）の近傍領域となり、相当な部分が重なり合う。よって、画像データの輝度、色相、彩度を用いても、雪・雲という２つの被写体を区別するのは難しい。
【００４８】
図３は本実施形態で用いるフィルタ８６である紫外線透過フィルタ８６ａの透過率と光波長との関係を示す。紫外線透過フィルタ８６ａの透過する波長成分は１０〜４００ｎｍの紫外線である。長波長域（波長1-10nmの極紫外線）から中波長域（波長200-10nmの遠紫外線）にかけて透過率が増加し、波長200nm付近で透過率は６５％程度のピークに達する。さらに、そこから長波長側（波長200-380nmの近紫外線波長域）にかけて透過率が低減していき、近紫外線寄り（青色寄り）の４００ｎｍ付近で透過率は０になる。
【００４９】
なお、太陽光の中には、UVA (波長400〜315nm)、UVB (波長315〜280nm)、UVC(波長280nm未満)の波長の紫外線が含まれているが、そのうちUVA、UVBはオゾン層を通過して地表に到達する。UVCは、物質による吸収が著しく、通常は大気を通過することができない。地表に到達する紫外線の99%がUVAである。紫外線透過フィルタ８６ａの透過率のグラフは図３に示したものに限らず、UVAの波長域で分光感度が高まってもよい。
【００５０】
なお、必要であれば、フィルタ８６として、緑色光の波長域に透過波長域を有するＧのカラーフィルタ、青色光の波長域に透過波長域を有するＢのカラーフィルタ、および赤色光の波長域に透過波長域を有するＲのカラーフィルタを用いることもできる。例えば、Ｂのカラーフィルタであれば青色領域（波長４２０ｎｍ付近）、Ｇのカラーフィルタであれば青色領域（５１０ｎｍ付近）、Ｒのカラーフィルタであれば赤色領域（波長６０５ｎｍ付近）における透過率が高くなる。
【００５１】
固体撮像素子１０２ａは、フィルタ８６の透過率がピークに達する波長域において感度を有しているものとする。例えば、少なくともUVA、Ｒ，Ｇ，Ｂの波長域では感度があるものとする。固体撮像素子１０２ａを用いて紫外線受光量を測定する方法は公知のものが利用でき、例えば、特許公開２００４−１９８２８８号に記載されるようにすればよい。
【００５２】
図４は第１実施形態に係る撮影準備処理のフローチャートである。この処理をＣＰＵ１１２に指令させるプログラムはＥＥＰＲＯＭ１１９に記憶されている。この処理は静止画撮影モードが設定されたことに応じて開始する。
【００５３】
Ｓ１では、ＣＰＵ１１２は、測光処理部１５７に対し、撮像回路１０２ｂから入力された画像データに基づいてＡＥ制御に必要な物理量を算出するよう指令する。例えば、測光処理部１５７は、ＡＥ制御に必要な物理量として、１画面を複数のエリア（例えば、８×８）に分割し、分割したエリアごとにＲ、Ｇ、Ｂの画像信号の積算値を算出する。ＣＰＵ１１２は、この積算値および画像信号取得時の絞り値、シャッタ速度に基づいて被写体の明るさを検出してＥＶ値を求め、求めたＥＶ値に基づいて撮影時の露出を設定する。
【００５４】
Ｓ２では、レリーズスイッチ２２の半押しがあったか否かを判断する。Ｙｅｓの場合はＳ３に進み、Ｎｏの場合はＳ１に戻る。
【００５５】
Ｓ３では、レリーズスイッチ２２の半押しに応じて撮像回路１０２ｂから入力された画像データの中から、所定の輝度、色相および彩度（例えばＲＧＢ換算でＲ＝255，Ｇ＝255，Ｂ＝255）を有する画素を探索し、その画素に「被写体が雲か雪いずれか一方である」旨を示すフラグを立てる。
【００５６】
Ｓ４では、ＣＰＵ１１２は、測光処理部１５７に対し、フラグの立った各画素に対応する位置における受光紫外線量を測定するよう指令する。
【００５７】
Ｓ５では、予め規定された関数ｆを用いて、ＥＶ値に対応する予測受光紫外線量ｆ（ＥＶ）を算出する。そして、ある特定の画素において測定した紫外線量が、予め規定された関数ｆを用いて、ｆ（ＥＶ）以上であるか否かを判断する。Ｙｅｓの場合はＳ６、Ｎｏの場合はＳ７に進む。
【００５８】
ここでＥＶ値と紫外線量との関係を規定するｆは次のようなものが挙げられる。例えば、ある特定の場所（屋外）において、順光、正午、曇り空直視の撮影環境下でのＥＶ値が１０（ISO100）であれば、ｆ（１０）＝１．４０W/ｍ2であるとする。あるいは、当該特定の場所（屋外）において、順光、午前７：００、曇り空直視の撮影環境下でのＥＶ値＝５（ISO100）であれば、ｆ（５）＝１．００W/ｍ2であるとする。つまり、特定の撮影環境下での照度（ＥＶ値）と紫外線強度との関係を経験的に把握しておき、これをｆとする。撮影環境に応じて紫外線量と明るさとは大きく変わりうるから、ｆは撮影環境に応じて複数用意しておくとよい。例えば、撮影場所の緯度が０に近くなるほど（赤道に近くなるほど）紫外線量は増加する傾向にあるから、ｆを撮影場所の緯度に応じて変える。なお、ＵＶＡは雲を透過する傾向があるが、それでも曇っているとＵＶＡの紫外線量は晴れの日に比べて２０％程度減少することが知られており、照度と紫外線量とは相関関係があり、この関係を規定する関数ｆを用いて、ＥＶ値から紫外線量をある程度正確に推測できるといえる。
【００５９】
また、測定紫外線量が予測受光紫外線量以上とは、雪による太陽光の照り返しによって紫外線量が太陽光の直射のみを受けるよりも増加していることを意味する。雪面での紫外線の反射率は80−90％といわれているから、空からの紫外線と照り返しの紫外線を合わせると太陽から直射された紫外線を受けるよりも２倍近く紫外線量が増加することになる。
【００６０】
Ｓ６では、当該画素は雪を被写体とした画像データの一部であると判断する。
【００６１】
Ｓ７では、当該画素は雲の被写体とした画像データの一部であると判断する。
【００６２】
Ｓ８では、フラグの立っている全ての画素についてＳ５〜Ｓ７を実施したか否かを判断する。Ｙｅｓの場合はＳ１０、Ｎｏの場合はＳ９に進む。
【００６３】
Ｓ９では、Ｓ５の実施対象となる画素を、未だ判断対象としていないものの中から１つ選び、それについてＳ５〜Ｓ７を実施する。
【００６４】
Ｓ１０では、Ｓ５〜Ｓ７によって雲または雪と判断された結果を画素ごとに示したマップを作成する。このマップを基に、本撮像の絞り値、シャッタスピードを調整する。例えば、マップにおいて、「雪」の総画素数よりも「雲」の総画素数が多ければ、雪が被写体とされており、雪は暗く写りやすいため、シャッタスピードを遅くし、絞り径を大きくして、受光量を増加させる。逆に、マップにおいて、「雲」の総画素数よりも「雪」の総画素数が多ければ、雪が被写体とされており、雲は露光量過剰で写りやすいため、シャッタスピードを速くし、絞り径を小さくして、受光量を減少させる。なお、そのマップを表示データとして表示部１１０に出力してもよい。この後、レリーズスイッチ２２の全押しに応じて記録用の画像取得動作を行う。
【００６５】
以上のように、特定の紫外線波長域のみを紫外線透過フィルタ８６ａで透過して、これを固体撮像素子１０２ａで受光して画素ごとの紫外線量を測定し、画素ごとの紫外線量に応じて、当該画素が雲か雪の被写体の一部を構成するものであるかの判断を行う。こうすると、被写体光の可視光領域での波長が似ており、画像データの輝度、色相、彩度などの色情報を用いても区別がつかないような雪あるいは雲を被写体とした画像でも、紫外線量の違いで被写体の区別ができ、適切な撮影条件（シャッタスピードや絞り値）を設定でき、例えば雲は暗めに、雪は明るめに撮れるような設定ができる。よって、本当は雲を撮影しようとしているのに、受光量が高めに設定されて白飛びのひどい画像が得られたり、雪を撮影しようとしているのに、受光量が低めに設定されて暗い画像が得られるのを防げ、高画質の画像を撮影できる。
【００６６】
＜第２実施形態＞
図５は、太陽光下における葉と、水銀灯照明下における葉以外の無彩色物体という２つの被写体に対応する画像データの輝度・色相・彩度の確率分布域をＹＣｒＣｂ空間で示している。水銀灯や蛍光灯下で被写体を撮像すると、画像全体が緑がかったいわゆる「緑色かぶり」という現象が生じることが知られている。極端な場合、太陽光下における葉、水銀灯照明下における葉以外の無彩色物体ともにほぼ一様に緑色になり、それらの輝度・色相・彩度の分布域は、ともに緑色（Ｒ＝0，Ｇ＝255，Ｂ＝0）の近傍領域となり、相当な部分が重なり合う。よって、「緑色かぶり」が発生した場合、画像データの輝度、色相、彩度を用いても、葉とそれ以外の物体という２つの被写体を区別するのは難しい。
【００６７】
そこで本実施形態では、画像データの画素ごとに赤外線量を測定し、それに応じて葉と「緑色かぶり」が発生した物体との区別をつける。
【００６８】
図６は本実施形態で用いるフィルタ８６である赤外線透過フィルタ８６ｂの透過率と光波長との関係を示す。赤外線透過フィルタ８６ｂの透過する波長成分は0.7〜400μｍの赤外線である。
【００６９】
固体撮像素子１０２ａは、赤外線透過フィルタ８６ｂの透過率がピークに達する波長域において感度を有しており、赤外線を光電変換し、その強度に対応する電荷を発生し、蓄積するものとする。すなわち、赤外線の波長域では感度があるものとする。なお、固体撮像素子を用いた赤外線検知は公知のものを利用できる（例えば特開平６−２０５２９７号公報）。
【００７０】
図７は第２実施形態に係る撮影処理のフローチャートである。この処理をＣＰＵ１１２に指令させるプログラムはＥＥＰＲＯＭ１１９に記憶されている。この処理は静止画撮影モードが設定されたことに応じて開始する。
【００７１】
Ｓ１１では、レリーズスイッチ２２の半押しがあったか否かを判断する。Ｙｅｓの場合はＳ１２に進み、Ｎｏの場合はＳ１１に戻る。
【００７２】
Ｓ１２では、レリーズスイッチ２２の半押しに応じて撮像回路１０２ｂから入力された画像データの中から、所定の輝度、色相および彩度（例えばＲＧＢ換算でＲ＝0，Ｇ＝255，Ｂ＝0）を有する画素を探索し、その画素に「被写体が葉の可能性あり」を示すフラグを立てる。すなわちここでは、色情報を用いて大まかに葉の可能性のある画素を特定する。
【００７３】
Ｓ１３では、ＣＰＵ１１２は、測光処理部１５７に対し、フラグの立った各画素に対応する位置における受光赤外線量を測定するよう指令する。
【００７４】
Ｓ１４では、特定の画素において測定した赤外線量が、予め規定された閾値（例えば1W/ｍ2）以上であるか否かを判断する。Ｙｅｓの場合はＳ１５、Ｎｏの場合はＳ１６に進む。
【００７５】
Ｓ１５では、当該画素は葉を被写体とした画像データの一部であると判断する。
【００７６】
Ｓ１６では、当該画素は葉以外の物体を被写体とした画像データの一部であると判断する。すなわち、「緑かぶり」では、葉による赤外線の反射が受光されないし、また、蛍光灯はほどんど赤外線を発しないから、赤外線量が多ければ被写体が赤外線を多く反射するものであり、少なければ葉がないといえる。なお、白熱灯は蛍光灯に比して赤外線を多く発する傾向があるが、白熱灯下では「緑かぶり」は生じないため、葉の判断には影響しない。
【００７７】
Ｓ１７では、フラグの立っている全ての画素についてＳ１４〜Ｓ１６を実施したか否かを判断する。Ｙｅｓの場合はＳ１９、Ｎｏの場合はＳ１８に進む。
【００７８】
Ｓ１８では、Ｓ１４の実施対象となる画素を、未だ判断対象としていないものの中から１つ選び、それについてＳ１４〜Ｓ１６を実施する。
【００７９】
Ｓ１９では、Ｓ１４〜Ｓ１６によって葉または葉以外と判断された結果を画素ごとに示したマップを作成する。このマップを基に、本撮像のホワイトバランスを調整する。例えば、マップにおいて、「葉」の総画素数が「葉以外」の総画素数よりも多ければ、太陽光下での葉が被写体とされており、光源種を太陽光（Ｄ５５）としてホワイトバランスを合わせる。また、当然ながらシャッタ速度や絞り値、合焦位置の検出も行う。この後、レリーズスイッチ２２の全押しに応じて記録用の画像取得動作を行う。
【００８０】
以上のように、特定の赤外線波長域のみを赤外線透過フィルタ８６ｂで透過して、これを固体撮像素子１０２ａで受光して画素ごとの赤外線量を測定し、画素ごとの赤外線量に応じて半押し後の画像データの画素ごとに葉の一部かそれ以外かの判断を行う。こうすると、画像データの輝度、色相、彩度などの色情報を用いても区別がつかないような葉を被写体とした画像あるいは他物体を被写体とした緑色かぶりの画像でも、赤外線量の違いで被写体の区別ができ、適切な撮影条件（ホワイトバランス）を設定できる。よって、本当は太陽光下で葉を撮影しようとしているのに、ホワイトバランスが水銀灯や蛍光灯を光源としたものに設定されてしまうのを防げ、高画質の画像を撮影できる。
【００８１】
＜第３実施形態＞
第１実施形態では、紫外線量のみを用いて雲と雪を判別していたが、色情報のみで雲と雪を判別できる場合はこれにより判別し、色情報で判別できない場合は、紫外線量で判別してもよい。
【００８２】
図８は第３実施形態に係る撮影準備処理のフローチャートである。この処理をＣＰＵ１１２に指令させるプログラムはＥＥＰＲＯＭ１１９に記憶されている。この処理は静止画撮影モードが設定されたことに応じて開始する。
【００８３】
Ｓ２１−２２はＳ１−２と同様である。
【００８４】
Ｓ２３では、レリーズスイッチ２２の半押しに応じて撮像回路１０２ｂから入力された画像データの各画素について、輝度・色相・彩度が所定の閾値（１）以上である画素にのみ「雲」のフラグを立てる。
【００８５】
Ｓ２４では、当該画像データの各画素について、輝度・色相・彩度が所定の閾値（２）以上である画素にのみ「雲」のフラグを立てる。
【００８６】
ここで、閾値（１）および（２）は、特定の撮影条件下（例えば、３月上旬、正午、光源は太陽）における雲との輝度・色相・彩度の確率分布域を、予めＹＣｒＣｂ空間上に経験的に定めておき、かつ、これらの確率分布域を区切る線分もしくは平面あるいはこれらの組み合わせ（直方体や円筒など）を閾値とする。つまり、閾値とは必ずしも１次元の値に限らない。
【００８７】
図９はある特定の撮影条件下での雲および輝度・色相・彩度の確率分布域と、雲と判別するための閾値ｔｈ１、雪と判別するための閾値ｔｈ２を例示している。一般的には、雲は雪に比べ、色の偏りが少なく、また輝度は高いであろう。従って、閾値ｔｈ１は、閾値ｔｈ２よりも低い色相域・彩度域に設定され、かつ、高い輝度域に設定される。ｔｈ１は、例えばYCrCb空間において、100≦Y、120°≦tan-1 Cb/Cr≦140°、Cr^2 + Cb^2≦5 とする。ｔｈ２は、例えばYCrCb空間において、80≦Y、120°≦tan-1 Cb/Cr≦140°、Cr^2 + Cb^2≦15 とする。
【００８８】
Ｓ２５では、当該画像データの各画素について、輝度・色相・彩度が所定の値（例えばＲ＝１２８、Ｇ＝１２８、Ｂ＝１２８の灰色）を持つ画素にのみ「雲または雪」のフラグを立てる。なお、画像データの取得から輝度・色相・彩度が所定の閾値（１）あるいは閾値（２）以上である画素の特定に至るまでの時間がある一定時間以上かかった場合は、「雲」や「雪」のフラグは立てず、「雲または雪」のフラグを立ててもよい。これは、色情報に基づいた種類の判別が不明あるいは困難な画素について色情報による不正確な判別の続行に時間をかけ過ぎるよりも、速やかに紫外線量で判別したほうが効率的だからである。
【００８９】
Ｓ２６では、ＣＰＵ１１２は、測光処理部１５７に対し、「雲または雪」のフラグの立った各画素に対応する位置における受光紫外線量を測定するよう指令する。
【００９０】
Ｓ２７では、予め規定された関数ｆを用いて、ＥＶ値に対応する予測受光紫外線量ｆ（ＥＶ）を算出する。そして、ある特定の画素において測定した紫外線量が、予め規定された関数ｆを用いて、ｆ（ＥＶ）以上であるか否かを判断する。Ｙｅｓの場合はＳ２８、Ｎｏの場合はＳ２９に進む。
【００９１】
Ｓ２８では、当該画素は雪を被写体とした画像データの一部であると判断する。
【００９２】
Ｓ２９では、当該画素は雲の被写体とした画像データの一部であると判断する。
【００９３】
Ｓ３０では、「雲または雪」フラグの立っている全ての画素についてＳ２７〜Ｓ３０を実施したか否かを判断する。Ｙｅｓの場合はＳ３２、Ｎｏの場合はＳ３１に進む。
【００９４】
Ｓ３１では、Ｓ２７の実施対象となる画素を、未だ判断対象としていないものの中から１つ選び、それについてＳ２７〜Ｓ３０を実施する。
【００９５】
Ｓ３２では、Ｓ２７〜Ｓ３０によって雲または雪と判断された結果を画素ごとに示したマップを作成する。このマップを基に、本撮像の絞り値、シャッタスピードを調整する。例えば、マップにおいて、「雪」の総画素数よりも「雲」の総画素数が多ければ、雪が被写体とされており、雪は暗く写りやすいため、シャッタスピードを遅くし、絞り径を大きくして、受光量を増加させる。逆に、マップにおいて、「雲」の総画素数よりも「雪」の総画素数が多ければ、雪が被写体とされており、雲は露光量過剰で写りやすいため、シャッタスピードを速くし、絞り径を小さくして、受光量を減少させる。なお、そのマップを表示データとして表示部１１０に出力してもよい。この後、レリーズスイッチ２２の全押しに応じて記録用の画像取得動作を行う。
【００９６】
このように、まず、色情報に応じて被写体判別を行い、それで判別ができなかった画素についてのみ紫外線量を用いて被写体判別を行うから、全ての画素につき紫外線量のみで被写体判別をするよりも被写体判別に要する時間が短縮され、かつ、仮に色情報による判別ができなくても紫外線量で判別を行うから、判別の正確性が担保される。
【００９７】
＜第４実施形態＞
判別された被写体の種類を示す画像や音声などの情報を出力してユーザが認識できてもよい。
【００９８】
図１０は第４実施形態に係る撮影準備処理のフローチャートである。この処理をＣＰＵ１１２に指令させるプログラムはＥＥＰＲＯＭ１１９に記憶されている。この処理は静止画撮影モードが設定されたことに応じて開始する。また、フィルタ８６は、赤外線透過フィルタ８６ｂおよび可視光領域の波長のみを透過する可視光透過フィルタ８６ｃであるとする。
【００９９】
Ｓ４１はＳ２と同様である。
【０１００】
Ｓ４２では、赤外線透過フィルタ８６ｂのみを光路に挿入して赤外線領域の被写体光に相当する画像データ（以下「赤外線画像データ」という）を取得する。また、可視光透過フィルタ８６のみｃを光路に挿入して可視光線領域の被写体光に相当する画像データ（以下「可視光画像データ」という）を取得する。
【０１０１】
Ｓ４３では、可視光画像データにおける任意の１つの画素の彩度が、所定の閾値ｓ１以上であるか否かを判断する。Ｙｅｓの場合はＳ４４、Ｎｏの場合はＳ４８に進む。閾値ｓ１は、例えばYCrCb空間において、400≦Cr^2 + Cb^2 とする。
【０１０２】
Ｓ４４−Ｓ４５では、Ｓ４３で彩度と閾値ｓ１とを比較した画素に対応する赤外線画像データの画素（以下「対応画素」とする）とその周辺画素に対して、所定のフィルタリング処理を施すことでテクスチャ信号を抽出する。例えば、本出願人による特開2004-258751号公報に示すように、原画像データから生成された輝度信号に対して、図１１に示すようなマスクサイズが３×３の１次微分フィルタを用いて、対応画素とその周辺画素を含む６近傍画素群についてフィルタ処理を施し、その絶対値を求める。そして、ｘ方向の１次微分フィルタを用いてフィルタ処理を施した絶対値とｙ方向の１次微分フィルタを用いてフィルタ処理を施した絶対値とを求めて、これらを加算する。この加算値からなる信号が輝度信号から生成された高周波信号（テクスチャ信号）である。なお、フィルタは１次微分フィルタに限らず、２次微分フィルタやラプラシアンピラミッド、Ｗａｖｅｌｅｔ変換、ラプラシアンフィルタなどの公知のエッジ検出に用いられる演算であれば何でもよい。
【０１０３】
Ｓ４６では、上記加算値の個数を示すパラメータｎｕｍを１だけインクリメントする。ｎｕｍの初期値は０である。
【０１０４】
Ｓ４７では、可視光画像データに対応する赤外線画像データの全画素についてテクスチャ信号の生成が終了したか否かを判断する。Ｙｅｓの場合はＳ４９、Ｎｏの場合はＳ４８に進む。
【０１０５】
Ｓ４８では、未だテクスチャ信号の生成対象としていない画素を赤外線画像データの中から１つ選び、それについてＳ４３〜Ｓ４６を実施する。
【０１０６】
Ｓ４９では、各画素について生成したテクスチャ信号を加算し、これをｎｕｍで除算することでテクスチャ信号の平均値Ｔを算出する。
【０１０７】
Ｓ５０では、平均値Ｔが所定の閾値ｓ２以上であるか否かを判断する。Ｙｅｓの場合はＳ５１、Ｎｏの場合はＳ５２に進む。
【０１０８】
Ｓ５１では、被写体が花であると判別する。これは例えば、ヒマワリからの赤外線の照り返しによって、画像データからは花弁や葉脈などのテクスチャ（エッジの分布つまり筋模様）が検出されるから、このテクスチャがある程度以上の強度で現れていれば、花と判断する。
【０１０９】
Ｓ５２では、被写体が花ではないと判別する。つまり、ヒマワリと同じような黄色でもテクスチャがない物体は、花でないと判断する。
【０１１０】
Ｓ５３では、可視光線画像についての彩度がｓ１以上の画素群のＲ平均値、Ｇ平均値、Ｂ平均値および赤外線画像についてのテクスチャ平均値Ｔからなる座標値Ｍを、これらの４つのパラメータを軸とする４次元空間にプロットする。この４次元空間における座標値Ｍと、予め当該４次元空間に規定された各花の種類ごとの確率分布域とに基づいて、花の種類を認識する。
【０１１１】
例えば、チューリップ、ヒマワリ、コスモスなど花の種類ごとのＲＧＢ各平均値およびテクスチャ平均値の確率分布域のサンプルが予めＲＯＭなどに記憶されており、図１２に示すように、チューリップの確率分布域Ｒ１、ヒマワリの確率分布域Ｒ２、コスモスの確率分布域Ｒ３などが配置されている。なお図１２では都合上３次元空間が示されている。上記プロットされた座標値とこの確率分布域とをマッチングし、そのうち一致率の最も高い花の種類を最終的に認識された花の種類とする。花の種類ごとの確率分布域は、経験的に定めればよい。図１２では、一例としてヒマワリの確率分布域Ｒ２にパラメータＭが属しており、被写体はヒマワリと認識できる。
【０１１２】
昆虫の可視波長域（つまり、昆虫が見える光の波長域）は、約３００〜６５０ｎｍで、特に近紫外線寄り（青色寄り）の感度が高い。従って例えば、赤外線フィルタ８６ｂの透過する波長成分を約３００〜６５０ｎｍより長波長としておき、またテクスチャパターンもこれに合わせて昆虫の可視波長域で得られたものにすると、昆虫の視点から見たようなテクスチャパターンで花や葉の種類を認識できる。
【０１１３】
図１３に例示するように、この最終的に認識された花の種類を示す情報は、操作部１１３に設けられた「種類認識ボタン」を押下することで、表示部１１０に出力されてもよい。
【０１１４】
このように、可視光だけでなくテクスチャ解析結果を合わせて花の種類を認識することで、単に色だけで被写体の種類を判別し、彩度の高い壁を花弁領域などと誤認識することが防げ、正確な被写体種類の特定が可能となる。
【０１１５】
＜第５実施形態＞
上記第１−４実施形態において、被写体光の異なる波長域を選択的に撮像素子１０２ａに結像する機構は何でもよいが、例えば次のようにすることができる。
【０１１６】
図１４−図１６は上記第１−４実施形態のデジタルカメラ１０に適用可能な撮像系の詳細を示す。
【０１１７】
図１４では、撮像レンズ１４後の光路に挿抜可能に配置された１または複数のフィルタ８６、例えば紫外線カットフィルタおよび赤外線カットフィルタは、モータ１９１によってフィルタ８６の光路への挿入／退避動作が駆動される。撮像レンズ１４を介して固体撮像素子１０２ａに結像される被写体光は、フィルタ８６により所定の波長成分のみがカットされるかあるいは透過される。フィルタ８６の透過特性は何でもよく、紫外線波長域をカットしその他の波長域は透過する紫外線カットフィルタ、紫外線波長域のみを透過する紫外線透過フィルタ、赤外線波長域をカットしその他の波長域は透過する赤外線カットフィルタ、赤外線波長域のみを透過する赤外線透過フィルタ、可視光波長域のみを透過するＲＧＢフィルタなどが挙げられる。
【０１１８】
図１４のように紫外線カットフィルタと赤外線カットフィルタの双方を光路に挿入すれば、可視光域のみが結像される。赤外線カットフィルタのみを挿入すれば、可視光および紫外線光が結像される。紫外線カットフィルタのみを挿入すれば、可視光および赤外線が結像される。
【０１１９】
あるいは、図１５に例示するように、固体撮像素子１０５ａのベイヤ配列のＲＧＢカラーフィルタのうちＲＧの部分を、紫外線透過フィルタや赤外線透過フィルタに入れ換え、画素によってＲ、Ｇ、Ｂ、紫外線あるいは赤外線を受光するようにしてもよい。この際、紫外線あるいは赤外線を受光する画素については、通常のＲＧＢの画像を記録するのであれば、同時化処理の際に周囲のＲ、Ｇ、Ｂデータで紫外線あるいは赤外線しか受光しない画素のＲ、Ｇ、Ｂデータを作ってもよい。また同様にして、赤外線画像データや紫外線画像データを記録することもできる。
【０１２０】
あるいは、図１６に例示するように、撮像レンズ１４から３つの固体撮像素子１０５ａ−１、１０５ａ−２、１０５ａ−３までの間に、光軸に対してそれぞれ略−４５度および４５度の傾きを保った平面ハーフミラー１および平面ハーフミラー２を設け、平面ハーフミラー１の受光面１−１の反射光は固体撮像素子１０５ａ−１、平面ハーフミラー２の受光面２−１の反射光は固体撮像素子１０５ａ−２、平面ハーフミラー１および平面ハーフミラー２の透過光は固体撮像素子１０５ａ−３に結像させる。
【０１２１】
固体撮像素子１０５ａ−１の結像面には、赤外線透過フィルタのみを配置し、固体撮像素子１０５ａ−２の結像面には、紫外線透過フィルタのみを配置し、固体撮像素子１０５ａ−３の結像面には、通常のＲＧＢカラーフィルタのみを配置する。固体撮像素子１０５ａ−１・２・３の出力した画像データはそれぞれ別個にＡ／Ｄ変換、ホワイトバランス補正、ガンマ補正、ＹＣ処理などの各種画像処理が施され、別々の画像データとしてＶＲＡＭ１３２に出力される。
【０１２２】
後は、用途に応じて各固体撮像素子から得られた画像を使い分ければよい。例えば、紫外線量を取得したい場合は固体撮像素子１０５ａ−２からの画像データを、赤外線量を取得したい場合は固体撮像素子１０５ａ−１からの画像データを用いる。また、通常のカラー画像を記録したい場合は、固体撮像素子１０５ａ−３からの画像データを記録する。
【０１２３】
なお、各ハーフミラーの反射面に、スリットパターンなどの形成された光学フィルタを積層させて、各ハーフミラーの光の透過率を自在に変化させてもよい。例えば、記録用画像データの取得の際には、平面ハーフミラー１の反射面１−１および平面ハーフミラー２の反射面２−１に設けられた光学フィルタ双方の透過率を上げて、固体撮像素子１０５ａ−３に多くの光が結像するようにする。
【０１２４】
あるいは、赤外線による被写体判別（第２実施形態の撮像準備処理）を実施する場合は、平面ハーフミラー１に設けられた光学フィルタの透過率を下げ（反射率を上げ）かつ平面ハーフミラー２に設けられた光学フィルタの透過率を上げて（反射率を下げて）、固体撮像素子１０５ａ−１の結像面に多くの光が結像するようにする。
【０１２５】
あるいは、紫外線による被写体判別（第１実施形態の撮像準備処理）を実施する場合は、平面ハーフミラー１に設けられた光学フィルタの透過率を上げ（反射率を下げ）かつ平面ハーフミラー２に設けられた光学フィルタの透過率を下げて（反射率を上げて）、固体撮像素子１０５ａ−２の結像面に多くの光が結像するようにする。
【０１２６】
また、ハーフミラーを用いず、プリズムや回折格子などで赤外線、紫外線、可視光を分光し、分光された紫外線、赤外線、可視光をそれぞれ撮像素子１０５ａ−１・２・３に入射させてもよい。
【０１２７】
＜第６実施形態＞
フィルタ８６として偏光フィルタ８６ｃを用い、偏光フィルタの挿入状態または非挿入状態で得られた画像データを比較して、被写体を判別することもできる。
【０１２８】
図１７は第６実施形態に係る撮影準備処理のフローチャートである。この処理をＣＰＵ１１２に指令させるプログラムはＥＥＰＲＯＭ１１９に記憶されている。この処理は静止画撮影モードが設定されたことに応じて開始する。
【０１２９】
Ｓ６１はＳ２と同様である。
【０１３０】
Ｓ６２では、偏光フィルタ８６ｃを光路から退避して１枚分の画像データを取得し、ＶＲＡＭ１３２に記憶する。そして、取得した画像データについて、所定の輝度・色相・彩度を持つ画素にのみ、「雲または雪」というフラグを立てる。つまり、色情報上では被写体が雲か雪かどちらか一方であるのは確からしいが、そのいずれかまでは判別のつかない画素に「雲または雪」フラグが立つ。
【０１３１】
Ｓ６３では、偏光フィルタ８６ｃを光路に挿入して１枚分の画像データを取得し、ＶＲＡＭ１３２に記憶する。
【０１３２】
Ｓ６４では、偏光フィルタ８６ｃによる特定の偏光方向の透過によって画素値の変化があるか否か、すなわち、Ｌ＝｜偏光フィルタなしの画像データの画素値−ｋ×偏光フィルタありの画像データの画素値｜≧所定の閾値Ｘであるか否かを判断する。Ｙｅｓの場合はＳ６６に進み、Ｎｏの場合はＳ６７に進む。
【０１３３】
なお、偏光フィルタがあると画像全体が暗くなるため、偏光フィルタありの画像データの画素値を補正係数ｋで補正している。閾値Ｘと補正係数ｋは、例えばＸ=20、ｋ=2.0とする。
【０１３４】
Ｓ６６では、当該画素は雪を被写体とした画像データの一部であると判断する。すなわち、雪を被写体とすると、雪面での反射（偏光）により偏光方向が揃うため、Ｌの値が一定閾値Ｘよりも大きくなり、被写体は雪と判断できる。
【０１３５】
Ｓ６７では、当該画素は雲の被写体とした画像データの一部であると判断する。すなわち、雲を被写体とすると、自然光の乱反射がそのまま入射し、偏光方向が揃うこともないため、Ｌの値が閾値Ｘよりも小さくなり、被写体は雲と判断する。
【０１３６】
Ｓ６８−７０は、Ｓ８−１０と同様である。
【０１３７】
このように、偏光フィルタのある／ない状態で取得した画像データの画素値の差異に基づいて各画素ごとに被写体を判別することで、ＲＧＢの情報だけでは区別がつかないような雲と雪を正確に判別できる。
【０１３８】
なお、偏光フィルタとは要するに直線偏光が可能な偏光子（ポラライザー）であれば何でもよく、フィルム偏光子の他、方解石やフレネルロムなどを用いてもよい。
【０１３９】
また、特定の偏光方向を検知したか否かに応じて被写体を判別してもよい。例えば、水の反射光は横方向（振動方向に垂直な方向）に最も多く光を放出するから、横方向の光を検知した画素の被写体は水であると判別してもよい。なお、カゲロウは 人間の見えないこの横方向の偏光を頼りに水に集まることが知られている。
【０１４０】
また、水面やガラス越しの被写体を撮るなど、反射光で被写体が判別しにくくなる場合に本実施形態のような判別を用いても有効であろう。
【０１４１】
＜第７実施形態＞
第６実施形態では、画素値の差分値のみに基づいて被写体判別を行っていた。しかし、第３実施形態と同様、色情報のみで雲と雪を判別できる場合はこれにより判別し、色情報で判別できない場合は、画素値の差分値で判別してもよい。
【０１４２】
図１８は第７実施形態に係る撮影準備処理のフローチャートである。この処理をＣＰＵ１１２に指令させるプログラムはＥＥＰＲＯＭ１１９に記憶されている。この処理は静止画撮影モードが設定されたことに応じて開始する。
【０１４３】
Ｓ７１−Ｓ７５は、Ｓ２１−Ｓ２５と同様である。
【０１４４】
Ｓ７６−８２は、Ｓ６３−Ｓ７０と同様である。
【０１４５】
このように、まず、可視光域で生じた色に応じて被写体判別を行い、それで判別ができなかった画素についてのみ、画素値の差分値を用いて被写体判別を行うから、画素値の差分値のみで被写体判別をするよりも被写体判別に要する時間が短縮され、かつ、仮に色による判別ができなくても、特定の偏光方向の画素値の大きさで判別を行うから、判別の正確性が担保される。
【図面の簡単な説明】
【０１４６】
【図１】デジタルカメラの機能ブロック図
【図２】雪、雲という２つの被写体に対応する画像データの輝度・色相・彩度の確率分布域をＹＣｒＣｂ空間上で示した図
【図３】紫外線透過フィルタの透過率と光波長との関係を示す図
【図４】第１実施形態に係る撮影準備処理のフローチャート
【図５】太陽光下における葉と、水銀灯照明下における葉以外の無彩色物体という２つの被写体に対応する画像データの輝度・色相・彩度の確率分布域をＹＣｒＣｂ空間で示した図
【図６】赤外線透過フィルタ８６ｂの透過率と光波長との関係を示す図
【図７】第２実施形態に係る撮影処理のフローチャート
【図８】第３実施形態に係る撮影処理のフローチャート
【図９】ある特定の撮影条件下での雲および輝度・色相・彩度の確率分布域と、雲と判別するための閾値ｔｈ１、雪と判別するための閾値ｔｈ２を例示した図
【図１０】第４実施形態に係る撮影準備処理のフローチャート
【図１１】マスクサイズが３×３の１次微分フィルタを例示した図
【図１２】画素群のＲ平均値、Ｇ平均値、Ｂ平均値および赤外線画像についての平均値Ｔを、これらの４つのパラメータを軸とする４次元空間にプロットした様子を模式的に示した図
【図１３】認識された花の種類を示す情報を表示部に出力した様子を示す図
【図１４】撮像レンズ後の光路に挿抜可能に配置された１または複数のフィルタの一例を示す図
【図１５】一部が紫外線透過フィルタや赤外線透過フィルタに置換されたカラーフィルタの一例を示す図
【図１６】２枚の平面ハーフミラーで分光された３系統の被写体光を結像する複数の固体撮像素子の配置例を示す図
【図１７】第６実施形態に係る撮影準備処理のフローチャート
【図１８】第７実施形態に係る撮影準備処理のフローチャート
【符号の説明】
【０１４７】
１４：撮像レンズ、１０２ａ：固体撮像素子、８６：フィルタ、１９１：モータ
【特許請求の範囲】
【請求項１】
撮像レンズを介して撮像素子の受光面に結像された被写体光の非可視光成分および可視光成分を、前記撮像素子により光電変換することで得られた電気信号を画像データに変換して出力する撮像部と、
前記撮像部の出力した画像データの画素の各々における前記被写体光の非可視光成分の強度を検出する強度検出部と、
前記強度検出部の検出した各画素ごとの非可視光成分の強度に基づいて被写体の種類を判別する被写体種類判別部と、
を備える撮像装置。
【請求項２】
前記被写体光の非可視光成分は、波長１０ｎｍないし４００ｎｍの紫外線を含む請求項１に記載の撮像装置。
【請求項３】
前記被写体種類判別部は、前記紫外線の強度に基づいて被写体が雪であるかまたは雲であるかを判別する請求項２に記載の撮像装置。
【請求項４】
前記被写体光の非可視光成分は、波長７００ｎｍないし１４００ｎｍの赤外線を含む請求項１〜３のいずれかに記載の撮像装置。
【請求項５】
前記被写体種類判別部は、前記赤外線の強度に基づいて被写体が葉であるか否かを判別する請求項４に記載の撮像装置。
【請求項６】
前記被写体種類判別部は、前記強度検出部の検出した各画素ごとの色成分に基づいて被写体の種類を判別し、前記強度検出部の検出した各画素ごとの色成分に基づいて被写体の種類を判別できなかった場合、前記強度検出部の検出した各画素ごとの非可視光成分の強度に基づいて被写体の種類を判別する請求項１〜５のいずれかに記載の撮像装置。
【請求項７】
前記被写体種類判別部は、前記撮像部から継続的に出力された画像データに基づいて画像データ間の動きベクトルを決定し、前記決定された動きベクトルに応じて被写体の種類を判別し、前記動きベクトルに応じて被写体の種類が判別できなかった場合、前記強度検出部の検出した各画素ごとの可視光成分の強度に基づいて被写体の種類を判別する請求項６に記載の撮像装置。
【請求項８】
前記被写体種類判別部は、前記撮像部から出力された画像データから所定の波長域にある可視光成分を検出することで被写体の種類を判別し、前記所定の波長域にある可視光成分を所定の時間内に検出できなかった場合、前記強度検出部の検出した各画素ごとの非可視光成分の強度に基づいて被写体の種類を判別する請求項６または７に記載の撮像装置。
【請求項９】
前記撮像部から出力された画像データから特定の周波数成分の強度を検出する特定周波数成分強度検出部を備え、
前記被写体種類判別部は、特定周波数成分強度検出部の検出した特定の周波数成分の強度に応じて被写体の種類を判別する請求項１〜８のいずれかに記載の撮像装置。
【請求項１０】
前記特定の周波数成分の強度はテクスチャ信号を含む請求項９に記載の撮像装置。
【請求項１１】
前記被写体種類判別部は、特定周波数成分強度検出部の検出した特定の周波数成分の強度に応じて被写体が花弁であるか否かを判別する請求項１０に記載の撮像装置。
【請求項１２】
前記撮像部は、被写体光の非可視光成分または可視光成分の一方を、前記撮像素子により選択的に光電変換する請求項１〜１１のいずれかに記載の撮像装置。
【請求項１３】
前記撮像部は、赤外線カットフィルタおよび紫外線カットフィルタのうち少なくとも一方を前記撮像レンズから前記撮像素子までの光路に進退自在に挿入する機構を備える請求項１２に記載の撮像装置。
【請求項１４】
前記撮像部は、非可視光成分を光電変換する非可視光用撮像素子と、可視光成分を光電変換する可視光用撮像素子とを備える請求項１２に記載の撮像装置。
【請求項１５】
前記撮像部は、前記撮像レンズを介して受光した被写体光を前記非可視光用撮像素子および前記可視光用撮像素子の各々の受光面に導光して結像可能な機構を備える請求項１４に記載の撮像装置。
【請求項１６】
撮像レンズを介して撮像素子の受光面に結像された被写体光を、前記撮像素子により光電変換することで得られた電気信号を画像データに変換して出力する撮像部と、
前記撮像レンズから前記撮像素子までの光路に進退自在に偏光子を挿入する機構と、
前記光路に偏光子が挿入された状態で出力された画像データと前記光路に偏光子が挿入されない状態で出力された画像データとの比較に応じて被写体の種類を判別する被写体種類判別部と、
を備える撮像装置。
【請求項１７】
前記被写体種類判別部は、前記光路に偏光子が挿入された状態で出力された画像データと前記光路に偏光子が挿入されない状態で出力された画像データとの比較に応じて被写体の種類を判別できなかった場合、前記強度検出部の検出した各画素ごとの非可視光成分の強度に基づいて被写体の種類を判別する請求項１６に記載の撮像装置。
【請求項１８】
前記偏光子は偏光フィルタを含む請求項１６または１７に記載の撮像装置。
【請求項１】
撮像レンズを介して撮像素子の受光面に結像された被写体光の非可視光成分および可視光成分を、前記撮像素子により光電変換することで得られた電気信号を画像データに変換して出力する撮像部と、
前記撮像部の出力した画像データの画素の各々における前記被写体光の非可視光成分の強度を検出する強度検出部と、
前記強度検出部の検出した各画素ごとの非可視光成分の強度に基づいて被写体の種類を判別する被写体種類判別部と、
を備える撮像装置。
【請求項２】
前記被写体光の非可視光成分は、波長１０ｎｍないし４００ｎｍの紫外線を含む請求項１に記載の撮像装置。
【請求項３】
前記被写体種類判別部は、前記紫外線の強度に基づいて被写体が雪であるかまたは雲であるかを判別する請求項２に記載の撮像装置。
【請求項４】
前記被写体光の非可視光成分は、波長７００ｎｍないし１４００ｎｍの赤外線を含む請求項１〜３のいずれかに記載の撮像装置。
【請求項５】
前記被写体種類判別部は、前記赤外線の強度に基づいて被写体が葉であるか否かを判別する請求項４に記載の撮像装置。
【請求項６】
前記被写体種類判別部は、前記強度検出部の検出した各画素ごとの色成分に基づいて被写体の種類を判別し、前記強度検出部の検出した各画素ごとの色成分に基づいて被写体の種類を判別できなかった場合、前記強度検出部の検出した各画素ごとの非可視光成分の強度に基づいて被写体の種類を判別する請求項１〜５のいずれかに記載の撮像装置。
【請求項７】
前記被写体種類判別部は、前記撮像部から継続的に出力された画像データに基づいて画像データ間の動きベクトルを決定し、前記決定された動きベクトルに応じて被写体の種類を判別し、前記動きベクトルに応じて被写体の種類が判別できなかった場合、前記強度検出部の検出した各画素ごとの可視光成分の強度に基づいて被写体の種類を判別する請求項６に記載の撮像装置。
【請求項８】
前記被写体種類判別部は、前記撮像部から出力された画像データから所定の波長域にある可視光成分を検出することで被写体の種類を判別し、前記所定の波長域にある可視光成分を所定の時間内に検出できなかった場合、前記強度検出部の検出した各画素ごとの非可視光成分の強度に基づいて被写体の種類を判別する請求項６または７に記載の撮像装置。
【請求項９】
前記撮像部から出力された画像データから特定の周波数成分の強度を検出する特定周波数成分強度検出部を備え、
前記被写体種類判別部は、特定周波数成分強度検出部の検出した特定の周波数成分の強度に応じて被写体の種類を判別する請求項１〜８のいずれかに記載の撮像装置。
【請求項１０】
前記特定の周波数成分の強度はテクスチャ信号を含む請求項９に記載の撮像装置。
【請求項１１】
前記被写体種類判別部は、特定周波数成分強度検出部の検出した特定の周波数成分の強度に応じて被写体が花弁であるか否かを判別する請求項１０に記載の撮像装置。
【請求項１２】
前記撮像部は、被写体光の非可視光成分または可視光成分の一方を、前記撮像素子により選択的に光電変換する請求項１〜１１のいずれかに記載の撮像装置。
【請求項１３】
前記撮像部は、赤外線カットフィルタおよび紫外線カットフィルタのうち少なくとも一方を前記撮像レンズから前記撮像素子までの光路に進退自在に挿入する機構を備える請求項１２に記載の撮像装置。
【請求項１４】
前記撮像部は、非可視光成分を光電変換する非可視光用撮像素子と、可視光成分を光電変換する可視光用撮像素子とを備える請求項１２に記載の撮像装置。
【請求項１５】
前記撮像部は、前記撮像レンズを介して受光した被写体光を前記非可視光用撮像素子および前記可視光用撮像素子の各々の受光面に導光して結像可能な機構を備える請求項１４に記載の撮像装置。
【請求項１６】
撮像レンズを介して撮像素子の受光面に結像された被写体光を、前記撮像素子により光電変換することで得られた電気信号を画像データに変換して出力する撮像部と、
前記撮像レンズから前記撮像素子までの光路に進退自在に偏光子を挿入する機構と、
前記光路に偏光子が挿入された状態で出力された画像データと前記光路に偏光子が挿入されない状態で出力された画像データとの比較に応じて被写体の種類を判別する被写体種類判別部と、
を備える撮像装置。
【請求項１７】
前記被写体種類判別部は、前記光路に偏光子が挿入された状態で出力された画像データと前記光路に偏光子が挿入されない状態で出力された画像データとの比較に応じて被写体の種類を判別できなかった場合、前記強度検出部の検出した各画素ごとの非可視光成分の強度に基づいて被写体の種類を判別する請求項１６に記載の撮像装置。
【請求項１８】
前記偏光子は偏光フィルタを含む請求項１６または１７に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１３】
【公開番号】特開２００９−２９０６９４（Ｐ２００９−２９０６９４Ａ）
【公開日】平成２１年１２月１０日（２００９．１２．１０）
【国際特許分類】
【出願番号】特願２００８−１４２７７７（Ｐ２００８−１４２７７７）
【出願日】平成２０年５月３０日（２００８．５．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２１年１２月１０日（２００９．１２．１０）
【国際特許分類】
【出願日】平成２０年５月３０日（２００８．５．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]