撮像装置、撮像方法、撮像制御プログラム、及び携帯端末装置
【課題】 撮像素子で撮像した撮像画像にシェーディング（画像ムラ）が発生する不都合を防止する。
【解決手段】 撮像素子の受光面に設けられるＲ（赤色）、Ｇ（緑色）、Ｂ（青色）の各フィルタ部を二次元配列してなるカラーフィルタに対して、上記受光面の略中央、及び該受光面の周辺部に相当する位置に、それぞれ複数の赤外線透過フィルタ部を設ける。そして、この赤外線透過フィルタ部が設けられた画素からの撮像データに基づいて、撮像素子の受光面の各部の赤外線成分量を検出し、この検出量に対応する赤外線成分を、対応する上記ＲＧＢの各フィルタ部を介して得られた撮像データから除去する。これにより、撮像素子の受光面の各画素毎に最適な量の赤外線成分を除去することができ、撮像画像にシェーディング（画像ムラ）が発生する不都合を防止することができる。
【解決手段】 撮像素子の受光面に設けられるＲ（赤色）、Ｇ（緑色）、Ｂ（青色）の各フィルタ部を二次元配列してなるカラーフィルタに対して、上記受光面の略中央、及び該受光面の周辺部に相当する位置に、それぞれ複数の赤外線透過フィルタ部を設ける。そして、この赤外線透過フィルタ部が設けられた画素からの撮像データに基づいて、撮像素子の受光面の各部の赤外線成分量を検出し、この検出量に対応する赤外線成分を、対応する上記ＲＧＢの各フィルタ部を介して得られた撮像データから除去する。これにより、撮像素子の受光面の各画素毎に最適な量の赤外線成分を除去することができ、撮像画像にシェーディング（画像ムラ）が発生する不都合を防止することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子を用いて被写体の撮像を行う静止画撮像装置、動画撮像装置や、撮像素子を用いて被写体の撮像を行うカメラ機能を備えた携帯電話機、ＰＨＳ電話機（PHS：Personal Handyphone System）、ＰＤＡ装置（PDA：Personal Digital Assistant）、携帯ゲーム機、ノート型のパーソナルコンピュータ装置等に適用して好適な撮像装置、撮像方法、撮像制御プログラム、及び携帯端末装置に関する。
特には、撮像素子の受光面に設けられるＲ（赤色）、Ｇ（緑色）、Ｂ（青色）の各フィルタ部を二次元配列してなるカラーフィルタに対して、上記受光面の略中央、及び該受光面の周辺部に相当する位置に、それぞれ複数の赤外線透過フィルタ部を設ける。そして、この赤外線透過フィルタ部が設けられた画素からの撮像データに基づいて、撮像素子の受光面の各部の赤外線成分量を検出し、この検出量に対応する赤外線成分を、対応する上記ＲＧＢの各フィルタ部を介して得られた撮像データから除去することで、撮像素子の受光面の各画素毎に最適な赤外線成分除去処理を可能とした撮像装置、撮像方法、撮像制御プログラム、及び携帯端末装置に関する。
【背景技術】
【０００２】
今日において、主に携帯電話機等の携帯端末装置に設けられる小型のカメラモジュールが知られている。このカメラモジュールは、図７に示すようにカメラモジュールの筐体１００の最前面に設けられたレンズ部１０１と基板１０２上に設けられた撮像素子１０３との間に、絞り部１０４（アパーチャ部）及び赤外線カットフィルタ１０５を順に設けて形成されている。
【０００３】
撮像素子１０３としては、ＣＭＯＳ撮像素子（CMOS：Complementary Metal Oxide Semiconductor）やＣＣＤ撮像素子（CCD :Charge Coupled Devices）等の半導体撮像素子が設けられているが、この撮像素子１０３上の各画素は、図８（ａ）に示すように、人間の目で認識可能な可視光よりも波長が長い赤外光領域まで、非常に広域の波長感度特性を有している。
【０００４】
このため、一般的には、撮像素子１０３の受光面に対して、図８（ｂ）に示すように、人間の目の感度に対応する撮像光の赤色成分（Ｒ）、緑色成分（Ｇ）、及び青色成分（Ｂ）をそれぞれ抽出するカラーフィルタ１０６が設けられている。
【０００５】
このカラーフィルタ１０６は、図９に太線で囲んで示す４つの色フィルタ部を一塊りとするフィルタ部を有している。この一塊りのフィルタ部は、赤色フィルタ部（Ｒ）の列方向に隣接して第１の緑色フィルタ部（Ｇｂ）が配置され、この第１の緑色フィルタ部（Ｇｂ）の行方向に隣接して青色フィルタ部（Ｂ）が配置され、上記赤色フィルタ部（Ｒ）の行方向に隣接し、かつ、上記青色フィルタ部（Ｂ）の列方向に隣接して第２の緑色フィルタ部（Ｇｒ）が配置されて形成されている。そして、カラーフィルタ１０６は、このような一塊りのフィルタ部を、撮像素子１０３の受光面の行方向及び列方向に沿って多数配列することで形成されている。
【０００６】
しかし、このカラーフィルタ１０６のみでは赤外線を十分に除去できない。そして、赤外線を十分に除去できないと、この赤外線により上記ＲＧＢの各画素の出力がオフセットされ、色再現性にズレが発生してしまう。
【０００７】
これを防止するために、カラーフィルタ１０６の前段には赤外線カットフィルタ１０５が設けられており、この赤外線カットフィルタ１０５により赤外線成分を除去した撮像光をカラーフィルタ１０６に入射させるようになっている。
【０００８】
撮像素子１０３は、カラーフィルタ１０６の赤色フィルタ部（Ｒ）で抽出された赤色成分の撮像光、青色フィルタ部（Ｂ）で抽出された青色成分の撮像光、及び各緑色フィルタ部（Ｇｒ，Ｇｂ）で抽出された緑色成分の撮像光を、それぞれ各画素で受光し、撮像光の赤色成分に対応する撮像データ、撮像光の緑色成分に対応する撮像データ、及び撮像光の青色成分に対応する撮像データを形成して出力する。これら各色成分に対応する撮像データは、後段の合成回路で合成処理され、１枚のカラー画像として表示、記録等がなされる。
【０００９】
なお、特開２００８−９１５３５号の公開特許公報（特許文献１）に、赤外線を透過しないカラーフィルタと、赤外線のみを透過するカラーフィルタによって画素を構成し、赤外線画像と可視光線画像とを同時に同画角で撮影する固体撮像素子が開示されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００８−９１５３５号
【発明の概要】
【発明が解決しようとする課題】
【００１１】
ここで、携帯端末装置に設けられる小型のカメラモジュールは、薄型構造のため、光学長が非常に短く、図７に示すように撮像素子１０３の受光面の周辺部に対する撮像光の入射角度であるチーフレイ角（CRA：Chief Ray Angle）が非常に大きい角度となる。また、赤外線成分を除去するために設けられている上記赤外線カットフィルタ１０５は、透過する撮像光の入射角が大きくなるに連れ、赤外線成分の減衰率が大きくなる光学特性を有している。
【００１２】
このため、撮像素子１０３の受光面の中心部に対して垂直に近い角度で入射する撮像光の赤外線成分の減衰率よりも、撮像素子１０３の受光面の周辺部に対して大きな角度で入射する撮像光の赤外線成分の減衰率の方が大きな減衰率となる。そして、このような受光面の各部における赤外線成分の減衰率の違いから、図１０（ａ）に示すように撮像画像の中央が赤みを帯び、該撮像画像の周辺部が青みを帯びた画像となるシェーディング（画像ムラ）が発生する。なお、このようなシェーディングは、日本国の国旗に例えて「日の丸シェーディング」と呼ばれている。
【００１３】
このような日の丸シェーディングは、撮像素子１０３の後段に設けられた画像処理部（＝ISP：Image Signal Processor）において、撮像画像の中心部と周辺部とで色差信号の補正（日の丸シェーディング補正）を行うことで軽減可能である。
【００１４】
しかし、図８（ｃ）に示すように太陽光や白熱電球が発光する光には、赤外線成分が多く含まれるため、この太陽光環境下や白熱電球を光源とする屋内環境下で撮像された撮像画像に対して、上記日の丸シェーディング補正は有効に機能するのであるが、蛍光灯が発光する光には、赤外線成分が殆ど含まれていない。
【００１５】
このため、蛍光灯を光源とする屋内環境下で撮像された撮像画像に対して、上記日の丸シェーディング補正を施してしまうと、元々赤外線成分が殆ど含まれていない撮像画像から赤外線成分を除去することとなるため、図１０（ｂ）に示すように撮像画像の中央が青みを帯び、該撮像画像の周辺部が赤味を帯びた画像となるシェーディング（画像ムラ）が発生する。このようなシェーディングは、上記「日の丸シェーディング」に対して、シェーディングが発生している部分の色味が反転する現象であるため、「逆日の丸シェーディング」と呼ばれている。
【００１６】
なお、環境光の明るさや色温度を検出して光源環境を判別し、赤外線成分が多く含まれる光源環境下の撮像である場合には、上記日の丸シェーディング補正機能をオン制御し、赤外線成分が殆ど含まれていない光源環境下の撮像である場合には、上記日の丸シェーディング補正機能をオフ制御することで、日の丸シェーディング補正を有効に機能させると共に、逆日の丸シェーディングの発生を防止することが可能となる。
【００１７】
ただ、この場合、環境光の明るさや色温度で判別した光源環境に基づいて、日の丸シェーディング補正をオン／オフ制御しているため、必ずしも正確に日の丸シェーディング補正機能をオン／オフ制御できるとは限らず、逆日の丸シェーディングが発生する不安も残る制御方法である。
【００１８】
本発明は、上述の課題に鑑みてなされたものであり、どのような光源環境下においても、撮像素子の受光面の各画素毎に最適量の赤外線成分を除去可能として、日の丸シェーディングや逆日の丸シェーディングの発生を略々完全に防止することができるような撮像装置、撮像方法、撮像制御プログラム、及び携帯端末装置の提供を目的とする。
【課題を解決するための手段】
【００１９】
本発明に係る撮像装置は、上述の課題を解決するために、
撮像光の受光面に多数の画素を備え、該各画素で受光した撮像光に対応する電荷を撮像データとして出力する撮像素子と、
それぞれ所定の配置で同一平面上に設けられた、上記撮像光の赤色成分を抽出する多数の赤色フィルタ部と、上記撮像光の緑色成分を抽出する多数の緑色フィルタ部と、上記撮像光の青色成分を抽出する多数の青色フィルタ部と共に、少なくとも上記撮像素子の上記受光面の略中心部及び該受光面の周辺部における上記撮像光の赤外線成分を抽出するように、それぞれ配置された複数の赤外線透過フィルタ部とを備え、一つの上記画素上に上記いずれか一つのフィルタ部が位置するように、上記撮像素子の上記受光面に設けられるカラーフィルタと、
上記カラーフィルタの上記各フィルタ部を介して上記撮像素子の各画素で受光された撮像光に対応する上記撮像データを読み出すように、該撮像素子を読み出し制御する読み出し制御部と、
上記読み出し制御部により読み出された上記各画素の撮像データのうち、上記各赤外線透過フィルタ部に対応する画素から読み出された撮像データに基づいて、該各画素毎の上記撮像光の赤外線成分量を検出する赤外線成分量検出部と、
上記赤外線成分量検出部で検出された量の赤外線成分を、当該赤外線成分の検出を行った画素の周辺に位置する、上記赤色フィルタ部、上記緑色フィルタ部、及び上記青色フィルタ部を介した撮像光を受光した各画素から得られた上記各撮像データからそれぞれ除去して出力する赤外線成分除去部と
を有する。
【００２０】
このような本発明は、カラーフィルタに対して、赤色、緑色、及び青色の各フィルタ部と共に、撮像素子の受光面の略中心部及び該受光面の周辺部における撮像光の赤外線成分を抽出するように配置される複数の赤外線透過フィルタ部を設ける。
【００２１】
そして、読み出し制御部により撮像素子から読み出された各画素の撮像データのうち、上記各赤外線透過フィルタ部に対応する画素から読み出された撮像データに基づいて、赤外線成分量検出部が、該各画素毎の上記撮像光の赤外線成分量を検出し、赤外線成分除去部が、この赤外線成分量検出部で検出された量の赤外線成分を、当該赤外線成分の検出を行った画素の周辺に位置する、上記赤色フィルタ部、上記緑色フィルタ部、及び上記青色フィルタ部を介した撮像光を受光した各画素から得られた各撮像データからそれぞれ除去して出力する。
【００２２】
これにより、どのような光源環境下においても、撮像素子の受光面の各画素の撮像データ毎に最適量の赤外線成分を除去可能として、日の丸シェーディングや逆日の丸シェーディングの発生を略々完全に防止することができる。
【発明の効果】
【００２３】
本発明は、どのような光源環境下においても、撮像素子の受光面の各画素の撮像データ毎に最適量の赤外線成分を除去可能として、日の丸シェーディングや逆日の丸シェーディングの発生を略々完全に防止することができる。
【００２４】
また、カラーフィルタ内に多数の赤外線透過フィルタ部を設ける構成であるため、該カラーフィルタとは別個に設ける必要があった赤外線透過フィルタを省略可能とすることができ、本発明が適用されるカメラモジュールや携帯端末装置等の構造の簡略化、薄型化、及びコストダウンを図ることができる。
【図面の簡単な説明】
【００２５】
【図１】本発明を適用した実施例となる携帯電話機のブロック図である。
【図２】実施例となる携帯電話機に設けられているメインカメラ部の内部構造を示す図である。
【図３】実施例となる携帯電話機のメインカメラ部に設けられているカラーフィルタの模式図である。
【図４】実施例となる携帯電話機の赤外線除去処理の流れを示すフローチャートである。
【図５】実施例となる携帯電話機の赤外線除去処理時における制御部の機能ブロック図である。
【図６】実施例となる携帯電話機のメインカメラ部に設けられる他のカラーフィルタの模式図である。
【図７】従来のカメラモジュールの内部構造及びチーフレイ角を説明するための図である。
【図８】人間の目と撮像素子の感度差、各色のフィルタ部の光学特性、各光源からの光に含まれる赤外線成分量を示す図である。
【図９】従来のカメラモジュールに設けられているカラーフィルタの模式図である。
【図１０】小型のカメラモジュールで発生する日の丸シェーディング、及び日の丸シェーディングを補正することにより発生する逆日の丸シェーディングを説明するための図である。
【発明を実施するための形態】
【００２６】
本発明は、一例として、カメラ機能が設けられた折り畳み型の携帯電話機に適用することができる。
【００２７】
［携帯電話機の構成］
図１に、この本発明を適用した実施例となる携帯電話機のブロック図を示す。この図１に示す携帯電話機のプロジェクタ１は、例えば前面投影型のプロジェクタとなっており、投影する元画像を表示する液晶パネル、その液晶パネルに投影光を照射する光源、及び液晶パネル上に表示された投影元画像をスクリーン等に投影させるための投影光学系等を備えている。なお、プロジェクタを投影方式で大別すると、液晶方式とＤＬＰ（Digital Light Processing）方式との２つの方式があるが、上記プロジェクタ１としては、これら何れの方式であっても良い。
【００２８】
メイン表示部２は、当該携帯電話機の上筐体の非露出面側（＝当該携帯電話機を閉状態とした際に下筐体と相対向する面側）に設けられた表示部であり、液晶表示部（LCD:Liquid Crystal Display）、或いは有機ＥＬ表示部（OEL：Organic Electro Luminescence）で形成されている。また、補助表示部３は、上記上筐体の露出面側（＝上記メイン表示部２が設けられた面に対して反対側となる面側）に設けられた表示部であり、上記メイン表示部２と同様に、液晶表示部、或いは有機ＥＬ表示部で形成されている。発光部４（ＬＥＤ：発光ダイオード）は、例えば着信ランプや操作部（図１の符号２５）の照明ランプ等の、当該携帯電話機に備えられている各種照明光源である。
【００２９】
加速度センサ５は、当該携帯電話機に物理的な振動が加えられた時に、その振動の加速度の大きさ及び向きを検出する。ジャイロセンサ６は、この携帯電話機に物理的な振動が加えられた時に、その振動による回転方向の角速度と回転角度を検出する。照度センサ７は、この携帯電話機の周囲環境の明るさを検出する。
【００３０】
スピーカ部８は、上筐体の上端部近傍（＝ヒンジ部側の端部に対して反対側となる端部）に設けられた受話音声出力用のスピーカ部である。マイクロホン部９は、下筐体の下端部近傍（＝ヒンジ部側の端部に対して反対側となる端部）に設けられた送話音声出力用のマイクロホン部である。
【００３１】
外部インターフェイス部１０（外部ＩＦ）は、各種外部コネクタとその外部コネクタとの間で信号等を行うための外部接続部からなる。なお、上記外部コネクタにはいわゆるＵＳＢ２．０（Universal Serial Bus 2.0）規格のコネクタが含まれている。このため、当該携帯電話機は、ＵＳＢ２．０コントローラ１１も備えている。
【００３２】
ＵＳＩＭカードスロット１２は、当該携帯電話機の通信事業者の加入者情報（契約者情報）等が記憶されたいわゆるＵＳＩＭ（Universal Subscriber Identity Module）カードが装着されるＩＣカードスロットである。
【００３３】
振動モータ１３は、例えば発着信時等に当該携帯電話機の筐体を振動を発生させて、ユーザに発着信等を知らせるための、いわゆるバイブレータである。バッテリ１４は、当該携帯電話機の各部で使用する電力供給用の電源である。周辺ＩＣ＋電源ＩＣ１５は、上記ＵＳＩＭカードスロット１２、振動モータ１３、バッテリ１４、外部インターフェース部１０と接続されており、これら各部の制御や信号処理の他、バッテリ１４の充電制御、及び各部に対する電力供給制御等を行う。
【００３４】
メインカメラ部１６は、下筐体の露出面側（＝当該携帯電話機を閉状態とした際に上筐体と相対向する面側に対して反対側となる面側）に設けられたカメラ部であり、例えばＣＭＯＳイメージセンサ（CMOS：Complementary Metal Oxide Semiconductor）やＣＣＤイメージセンサ（CCD：Charge Coupled Device）等の撮影素子、光学系、撮像デバイス等からなる。
【００３５】
ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の撮影素子は、多数の画素を行方向（＝横方向）に連ねてなるラインを列方向（＝縦方向）に多数ライン分備え、該各ラインの画素で、被写体の撮像光に対応する電荷を蓄積し、読み出し時に、この各ラインの画素に蓄積した電荷を撮像データとして出力する。このような撮像素子を備えるメインカメラ部１６は、主に所望の被写体を撮像する際に用いられる。
【００３６】
補助カメラ部１７は、上筐体の上記非露出面の上記上端部近傍に、上記受話音声出力用のスピーカ部８と共に併設されたカメラ部であり、撮影素子、光学系、撮像デバイス等からなる。この補助カメラ部１７は、主にテレビ電話による通話時に当該携帯電話機のユーザ自身を撮影する、いわゆる自分撮り用のカメラ部として用いられる。
【００３７】
通信回路１８は、当該携帯電話機が、携帯電話網の無線基地局と通信する際の無線通信用回路である。アンテナ１９は、当該携帯電話機が無線基地局と無線通信を行う際の無線通信アンテナである。
【００３８】
非接触無線通信ユニット２０は、いわゆる電磁誘導方式により、外部のリーダライタ装置との間で、例えば通信距離が５０ｃｍ程度の非接触無線通信を行う。近距離無線通信ユニット２１は、例えばブルートゥース（Ｂｌｕｅｔｏｏｔｈ：登録商標）等の近距離無線通信方式により、通信距離が１０ｍ程度の近距離無線通信を行う。赤外線通信ユニット２２は、通信距離が数ｍ程度の赤外線無線通信を行う
メモリカードスロット２３は、例えばいわゆるＳＤカード（SD :Secure Digital:登録商標）等の外部メモリカードが着脱されるスロットである。メモリカードコントローラ２４は、メモリカードスロット２３に装着されたメモリカードに対するデータの書き込み／読み出し等の制御及び信号処理を行う。
【００３９】
操作部２５は、下筐体の非露出面側（＝当該携帯電話機を閉状態とした際に上筐体のメイン表示部２と相対向する面側）に設けられており、複数の操作キーを有している。内部メモリ２６は、例えばＤＤＲ ＳＤＲＡＭ２７（Double Data Rate SDRAM）と、ＮＡＮＤ型フラッシュメモリ２８（NAND-type flash memory）とを有してなる。
【００４０】
ＮＡＮＤ型フラッシュメモリ２８には、ＯＳ（Operating System）のプログラムや制御部２９が各部を制御するための制御プログラム、メインカメラ部１６及び補助カメラ部１７の撮像制御を行うための撮像制御プログラム、プロジェクタ１の投影制御を行うための投影制御プログラム等の各種のアプリケーションプログラム、圧縮符号化された楽曲・動画像・静止画データコンテンツの他、各種の設定値、フォントデータ、各辞書データ、機種名情報、端末識別情報等が記憶される。また、このＮＡＮＤ型フラッシュメモリ２８には、各ユーザの電話番号、電子メールアドレス、住所、氏名、顔写真等が登録された電話帳や、送受信した電子メール、当該携帯電話機のユーザのスケジュールが登録されたスケジュール帳等が記憶される。
【００４１】
ＤＤＲ ＳＤＲＡＭ２７は、制御部２９が各種のデータ処理や演算を行う際の作業領域として、随時データを記憶する。
【００４２】
制御部２９は、内部メモリ２６に記憶されている各種の制御プログラムやアプリケーションプログラムの実行及びそれに付随する各種データ処理を行うことで、例えば通信制御、上記撮像制御プログラムに基づく各カメラ部１６，１７の撮像制御、音声処理制御、画像処理制御、その他各種信号処理や各部の制御等を行う。
【００４３】
なお、この図１には図示を省略しているが、当該実施例の携帯電話機は、一般的な携帯電話機が備える各構成要素についても当然ながら備えているものと理解されたい。
【００４４】
［メインカメラ部の構成］
メインカメラ部１６は、図２に示すように当該メインカメラ部１６の筐体３１の最前面に設けられたレンズ部３２と基板３３上に設けられた撮像素子３４との間に、絞り部３５（アパーチャ部）を設けて形成されている。このメインカメラ部１６は、後述する理由により、赤外線カットフィルタを設けなくても良い分、レンズ部３２と撮像素子３４との間の距離を縮めることができ、大幅に小型化されたカメラ部となっている。
【００４５】
このようなメインカメラ部１６において、撮像素子３４の撮像光の受光面には、カラーフィルタ３６が設けられている。このカラーフィルタ３６は、図３に示すように一つの赤色フィルタ部（Ｒ）、一つの緑色フィルタ部（Ｇ）、及び一つの青色フィルタ部（Ｂ）を一塊りとし、この一塊りに対して一つの赤外線透過フィルタ部（Ｉｒ）を割り当てて形成されている。
【００４６】
具体的には、図３中、太線で囲んで示す上記一塊りの各フィルタ部は、赤色フィルタ部（Ｒ）の列方向に隣接して一つの緑色フィルタ部（Ｇ）が配置され、この緑色フィルタ部（Ｇ）の行方向に隣接して青色フィルタ部（Ｂ）が配置されており、この一塊りに対して一つ割り当てられる赤外線透過フィルタ部（Ｉｒ）は、赤色フィルタ部（Ｒ）の行方向に隣接し、かつ、青色フィルタ部（Ｂ）の列方向に隣接して配置されている。そして、カラーフィルタ３６は、このような一塊りのフィルタ部を、撮像素子３４の受光面の行方向及び列方向に沿って多数配列することで形成されている。
【００４７】
これにより、撮像素子３４の各画素は、上記ＲＧＢのいずれかの色のフィルタ部、或いは赤外線透過フィルタ部（Ｉｒ）を介した撮像光を受光することとなる。また、赤外線透過フィルタ部（Ｉｒ）は、撮像素子３４の受光面全体に点在するかたちで設けられることとなる。
【００４８】
なお、補助カメラ部１７も、このメインカメラ部１６と同じ構成を有している。詳しくは、このメインカメラ部１６の説明を参照されたい。
【００４９】
［メインカメラ部の赤外線除去動作］
このような携帯電話機に設けられている制御部２９は、動画像、或いは静止画像の撮像時となると、ＮＡＮＤ型フラッシュメモリ２８に記憶されている撮像制御プログラムに基づいて、撮像素子３４の各画素の撮像データから赤外線成分を除去する赤外線除去処理を行う。図４のフローチャートに、この制御部２９による赤外線除去処理の流れを示す。制御部２９は、操作部２９を介して動画像、或いは静止画像の撮像指定操作がなされると、撮像制御プログラムに基づいて、メインカメラ部１６を起動制御し、この図４のフローチャートに示す処理を開始する。
【００５０】
ステップＳ１では、制御部２９が、例えば１／６０秒等の撮像素子３４の各画素に蓄積された電荷の読み出し時刻となったか否かを、図示しないタイマから供給される計時情報に基づいて判別し、該電荷の読み出し時刻となったものと判別したタイミングで処理をステップＳ２に進める。そして、このステップＳ２において、制御部２９は、上記撮像制御プログラムに基づいて、図５に示す読み出し制御部４４として機能することで、撮像素子３４の各画素に蓄積された電荷である撮像データを読み出し制御して処理をステップＳ３に進める。
【００５１】
具体的には、被写体の撮像光は、メインカメラ部１６のレンズ部３２、絞り部３５（アパーチャ部）及びカラーフィルタ３６を順に介して撮像素子３４の各画素に入射される。
【００５２】
撮像素子３４の各画素に入射される撮像光のうち、カラーフィルタ３６の赤色フィルタ部（Ｒ）を介した撮像光は、該赤色フィルタ部（Ｒ）により当該撮像光の赤色成分が抽出される。これにより、各赤色フィルタ部（Ｒ）を介した撮像光を受光する撮像素子３４の各画素は、撮像光の赤色成分光を受光することとなる。
【００５３】
同様に、カラーフィルタ３６の緑色フィルタ部（Ｇ）を介した撮像光は、該緑色フィルタ部（Ｇ）により当該撮像光の緑色成分が抽出される。これにより、各緑色フィルタ部（Ｇ）を介した撮像光を受光する撮像素子３４の各画素は、撮像光の緑色成分光を受光することとなる。
【００５４】
同様に、カラーフィルタ３６の青色フィルタ部（Ｂ）を介した撮像光は、該青色フィルタ部（Ｂ）により当該撮像光の青色成分が抽出される。これにより、各青色フィルタ部（Ｂ）を介した撮像光を受光する撮像素子３４の各画素は、撮像光の青色成分光を受光することとなる。
【００５５】
このような各色のフィルタ部に対して、カラーフィルタ３６の赤外線透過フィルタ部（Ｉｒ）を介した撮像光は、該赤外線透過フィルタ部（Ｉｒ）により当該撮像光に含まれる赤外線成分が抽出される。これにより、各赤外線透過フィルタ部（Ｉｒ）を介した撮像光を受光する撮像素子３４の各画素は、撮像光に含まれる赤外線を受光することとなる。
【００５６】
このようなことから、上記ステップＳ２において、撮像素子３４の各画素から読み出される撮像データとしては、赤色フィルタ部（Ｒ）を介した撮像光を受光した各画素からは、該撮像光の赤色成分を示す撮像データが、緑色フィルタ部（Ｇ）を介した撮像光を受光した各画素からは、該撮像光の緑色成分を示す撮像データが、青色フィルタ部（Ｂ）を介した撮像光を受光した各画素からは、該撮像光の青色成分を示す撮像データが、赤外線透過フィルタ部（Ｉｒ）を介した撮像光を受光した各画素からは、該撮像光に含まれる赤外線成分量を示す撮像データが、それぞれ読み出されることとなる。
【００５７】
次に、このように撮像素子３４から撮像データの読み出しを行うと、制御部２９は、ステップＳ３において、図５に示す赤外線成分量算出部４２として機能することで、赤外線透過フィルタ部（Ｉｒ）を介した撮像光を受光した各画素から読み出した撮像データに基づいて、撮像光に含まれる各画素毎の赤外線成分量を算出して、処理をステップＳ４に進める。
【００５８】
そして、このステップＳ４に処理を進めると、制御部２９は、図５に示す赤外線成分除去部４３として機能することで、上記ステップＳ３で算出した各赤外線成分を、対応するＲＧＢの各フィルタ部を介して得られた撮像データから除去して出力する。この赤外線成分が除去された各撮像データは、後段の合成回路等で合成処理され、１枚のカラー画像としてメイン表示部２に表示され、或いは内部メモリ２６に記録される。
【００５９】
制御部２９は、このようなステップＳ１からステップＳ４の各処理を、ステップＳ５で、撮像終了の指定操作がなされるまでの間、繰り返し実行する。
【００６０】
ここで、上記ステップＳ３及び上記ステップＳ４の各処理を詳しく説明すると、制御部２９は、ステップＳ３で赤外線成分量算出部４２として機能し、また、ステップＳ４で赤外線成分除去部４３として機能した際に、上記ＲＧＢの各色のフィルタ部に対応する各画素からの撮像データをそれぞれＤＲ，ＤＧ，ＤＢ、赤外線透過フィルタ部（Ｉｒ）に対応する各画素からの撮像データをＤＩｒとして、以下に示す演算を行うことで、赤外線成分を除去したＲＧＢの各撮像データｔＤＲ，ｔＤＧ，ｔＤＢを得る。
【００６１】
ｔＤＲ＝ＤＲ−ｆＲ（ＤＩｒ）
ｔＤＧ＝ＤＧ−ｆＧ（ＤＩｒ）
ｔＤＢ＝ＤＢ−ｆＢ（ＤＩｒ）
上記各演算式におけるｆＲ（ＤＩｒ），ｆＧ（ＤＩｒ），ｆＢ（ＤＩｒ）は、赤外線透過フィルタ部（Ｉｒ）に対応する画素からの撮像データＤＩｒに基づいて、ＲＧＢの各画素からの撮像データＤＲ，ＤＧ，ＤＢに含まれる赤外線成分量を算出する演算式である。
【００６２】
なお、ＲＧＢの各画素からの撮像データＤＲ，ＤＧ，ＤＢに含まれる赤外線成分量を算出する上記演算式は、予め算出された係数に置き換えてもよい。
【００６３】
この実施例の携帯電話機の場合、図３中、太線の枠で囲んで示したように、カラーフィルタ３６は、一つの赤色フィルタ部（Ｒ）、一つの緑色フィルタ部（Ｇ）、及び一つの青色フィルタ部（Ｂ）を一塊りとし、この一塊りに対して一つの赤外線透過フィルタ部（Ｉｒ）を割り当てて形成されている。このため、上記一塊り毎に、該一塊りに対応する赤外線成分量が検出されることとなる。
【００６４】
従って、上述の演算式に基づく赤外線成分除去処理を行うことで、上記一塊り毎に、正確な量の赤外線成分を除去することができる（＝ＲＧＢの各画素毎に正確な量の赤外線成分を除去することができる。）。
【００６５】
［実施例の効果］
以上の説明から明らかなように、この実施例の携帯電話機は、メインカメラ部１６の撮像素子３４の受光面に設けるカラーフィルタ３６を、一つの赤色フィルタ部（Ｒ）、一つの緑色フィルタ部（Ｇ）、及び一つの青色フィルタ部（Ｂ）を一塊りとし、この一塊りに対して一つの赤外線透過フィルタ部（Ｉｒ）を割り当てて形成する。そして、各赤外線透過フィルタ部（Ｉｒ）を介した撮像データに基づいて、上記一塊り毎に赤外線成分量を検出し、この検出した成分量の赤外線成分を、当該一塊りに対応するＲＧＢの各撮像データから除去処理する。これにより、上記一塊り毎に、正確な量の赤外線成分を除去することができる。
【００６６】
また、上記一塊り毎に赤外線成分除去処理を行うため、太陽を光源とする撮像環境や蛍光灯を光源とする撮像環境にかかわらず、全ての光源に対応し、かつ、ＲＧＢの各画素の位置にそれぞれ対応して、最適な赤外線成分除去処理を行うことができる。
【００６７】
また、上記一塊り毎に正確な量の赤外線成分を除去することができるため、撮像素子３４の前段に必要とされていた赤外線カットフィルタを不要とすることができる。このため、メインカメラ部１６が小型であるがゆえに、光学長が非常に短くなった場合でも、赤外線カットフィルタを透過する撮像光の入射角の違いにより、赤外線カットフィルタの赤外線成分の減衰率が異なることで発生する日の丸シェーディングの発生を防止することができる。
【００６８】
また、太陽を光源とする撮像環境や蛍光灯を光源とする撮像環境にかかわらず、全ての光源に対応し、かつ、ＲＧＢの各画素の位置にそれぞれ対応して、最適な赤外線成分除去処理を行うことができるため、蛍光灯の光のように、赤外線成分をほとんど含まない光の下で撮像を行うことで得られた撮像データに対して上記日の丸シェーディング補正を施してしまうことで生ずる逆日の丸シェーディングの発生も防止することができる。
【００６９】
また、赤外線カットフィルタを不要とすることができ、また、日の丸シェーディングや逆日の丸シェーディングの発生も防止することができるため、メインカメラ部１６のさらなる小型化及び薄型化を図ることができ、携帯電話機の小型化及び薄型化にも貢献することができる。
【００７０】
ここで、携帯端末装置用のカメラ部のレンズは、大きさ、コスト、被写界深度等の問題で、Ｆ値が２．８を超える明るいレンズを使用することは困難であるのが現状である。そして、このような問題は、今後も続くものと考えられる。
【００７１】
これに対して、携帯端末装置用の撮像素子としては、現在、ＣＭＯＳイメージセンサが主流となっており、多画素化及び小型化が進むことで、画素ピッチが１．４ｕｍのＣＭＯＳイメージセンサも知られている。
【００７２】
ただ、ＣＭＯＳイメージセンサの画素ピッチをさらに狭くしても、上述の携帯端末装置用のカメラ部のレンズの光学性能では、この極小ピッチで配列された画素に対応する光学解像度が得られない。
【００７３】
すなわち、今日知られているＣＭＯＳイメージセンサの解像度は、携帯端末装置用のカメラ部のレンズの光学解像度を上回るものとなっている。
【００７４】
この実施例の携帯電話機に設けられているＣＭＯＳイメージセンサの解像度は、レンズ部３２の光学解像度を上回る解像度となっており、カラーフィルタ３６に対して上記赤外線透過フィルタ部（Ｉｒ）を設けても、レンズ部３２の光学解像度が維持されるものとなっている。このため、レンズ部３２の光学解像度を維持したうえで、なおかつ、各画素の位置に対応する赤外線成分量も検出し、この赤外線成分を除去することができる。従って、カラーフィルタ３６に対して上記赤外線透過フィルタ部（Ｉｒ）を設けることで撮像画像の画質が劣化する不都合も防止することができる。
【００７５】
［実施例の携帯電話機の第１の変形例］
上述の実施例の携帯電話機のメインカメラ部１６に設けられているカラーフィルタ３６は、図３に示したように一つの赤色フィルタ部（Ｒ）、一つの緑色フィルタ部（Ｇ）、及び一つの青色フィルタ部（Ｂ）を一塊りとし、この一塊りに対して一つの赤外線透過フィルタ部（Ｉｒ）を割り当てて形成したものであったが、このカラーフィルタ３６は、図６に示すように形成してもよい。
【００７６】
すなわち、この図６に示すカラーフィルタ３６は、一つの赤色フィルタ部（Ｒ）、二つの緑色フィルタ部（Ｇｒ，Ｇｂ）、及び一つの青色フィルタ部（Ｂ）を一塊りとし、この一塊りに対して一つの赤外線透過フィルタ部（Ｉｒ）を割り当てて形成されている。
【００７７】
具体的には、図６中、太線で囲んで示す上記一塊りの各フィルタ部は、赤色フィルタ部（Ｒ）の列方向に隣接して第１の緑色フィルタ部（Ｇｂ）が配置され、この第１の緑色フィルタ部（Ｇｂ）の行方向に隣接して青色フィルタ部（Ｂ）が配置され、赤色フィルタ部（Ｒ）の行方向に隣接し、かつ、青色フィルタ部（Ｂ）の列方向に隣接して第２の緑色フィルタ部（Ｇｒ）が配置されており、この一塊りに対して一つ割り当てられる赤外線透過フィルタ部（Ｉｒ）は、当該一塊りの略中心に配置されて形成されている。
【００７８】
この図６に示すカラーフィルタ３６を上記撮像素子３４に設けた場合における赤外線除去処理も上述と同様であり、各赤外線透過フィルタ部（Ｉｒ）を介した撮像データに基づいて、上記一塊り毎に赤外線成分量を検出し、この検出した成分量の赤外線成分を、当該一塊りに対応するＲ、Ｂ、及び２つのＧの各撮像データから除去処理する。これにより、上記一塊り毎に、正確な量の赤外線成分を除去することができる他、上述の実施例の携帯電話機と同じ効果を得ることができる。
【００７９】
また、この図６に示すカラーフィルタ３６の場合、図３に示したカラーフィルタ３６よりも緑色フィルタ部が多くなる。そして、人間の目は、緑色の光成分に対する感度が高い。このため、この図６に示すカラーフィルタ３６を設けることで、図３に示したカラーフィルタ３６を設けた場合よりも、高解像度の撮像画像を得ることができる。
【００８０】
［実施例の携帯電話機の第２の変形例］
上述の実施例の携帯電話機、及び第１の変形例となる携帯電話機は、カラーフィルタ３６に設けられている赤外線透過フィルタ部（Ｉｒ）は、撮像光に含まれる赤外線成分を抽出するものであったが、図３及び図６に示したカラーフィルタ３６の赤外線透過フィルタ部（Ｉｒ）を、全波長の光を透過するフィルタ部（＝フィルタ無し）特性として、この全波長の光を透過するフィルタ部に対応する画素から得られた撮像データに基づいて、演算により上記一塊り毎の赤外線成分を算出して除去してもよい。
【００８１】
この場合、制御部２９は、図４のフローチャートのステップＳ３で赤外線成分量算出部４２として機能し、また、ステップＳ４で赤外線成分除去部４３として機能した際に、上記ＲＧＢの各色のフィルタ部に対応する各画素からの撮像データをそれぞれＤＲ，ＤＧ，ＤＢ、赤外線透過フィルタ部（Ｉｒ）に対応する各画素からの撮像データをＤａｌｌとして、以下に示す演算を行うことで、赤外線成分を除去したＲＧＢの各撮像データｔＤＲ，ｔＤＧ，ｔＤＢを得る。
【００８２】
ｔＤＲ＝ＤＲ−ｆＲ（Ｄａｌｌ−ＤＲ−ＤＧ−ＤＢ）
ｔＤＧ＝ＤＧ−ｆＧ（Ｄａｌｌ−ＤＲ−ＤＧ−ＤＢ）
ｔＤＢ＝ＤＢ−ｆＢ（Ｄａｌｌ−ＤＲ−ＤＧ−ＤＢ）
上記各演算式におけるｆＲ（Ｄａｌｌ−ＤＲ−ＤＧ−ＤＢ），ｆＧ（Ｄａｌｌ−ＤＲ−ＤＧ−ＤＢ），ｆＢ（Ｄａｌｌ−ＤＲ−ＤＧ−ＤＢ）は、赤外線透過フィルタ部（Ｉｒ）に対応する画素からの撮像データＤａｌｌに基づいて、ＲＧＢの各画素からの撮像データＤＲ，ＤＧ，ＤＢに含まれる赤外線成分量を算出する演算式である。
【００８３】
なお、ＲＧＢの各画素からの撮像データＤＲ，ＤＧ，ＤＢに含まれる赤外線成分量を算出する上記演算式は、予め算出された係数に置き換えてもよい。
【００８４】
このような演算式に基づく赤外線成分除去処理を行うことで、上記一塊り毎に、正確な量の赤外線成分を除去することができる他、上述の実施例の携帯電話機、或いは上述の第１の変形例となる携帯電話機と同じ効果を得ることができる。
【００８５】
［他の変形例］
上述の実施例の携帯電話機、及び各変形例の携帯電話機の説明では、カラーフィルタ３６を、一つの赤色フィルタ部（Ｒ）、一つ或いは二つの緑色フィルタ部（ＧｏｒＧｒ，Ｇｂ）、及び一つの青色フィルタ部（Ｂ）を一塊りとし、この一塊りに対して一つの赤外線透過フィルタ部（Ｉｒ）を割り当てて形成することで、赤外線透過フィルタ部（Ｉｒ）は、撮像素子３４の受光面全体に点在することとしたが、各赤外線透過フィルタ部（Ｉｒ）が撮像素子３４の受光面の略中心部に点在すると共に、該撮像素子３４の周辺部にそれぞれ点在するように、該各赤外線透過フィルタ部（Ｉｒ）をカラーフィルタ３６に設けてもよい。
【００８６】
この場合、制御部２９は、撮像素子３４の受光面の略中心部に位置するＲＧＢの各撮像データからは、撮像素子３４の受光面の略中心部に点在するように設けられた各赤外線透過フィルタ部（Ｉｒ）を介して得られた撮像データに基づいて算出した成分量の赤外線成分を除去処理し、また、撮像素子３４の受光面の各周辺部に位置するＲＧＢの各撮像データからは、撮像素子３４の受光面の各周辺部に点在するように設けられた各赤外線透過フィルタ部（Ｉｒ）を介して得られた撮像データに基づいて算出した成分量の赤外線成分を除去処理する。
【００８７】
これにより、撮像素子３４の受光面の中心部と、該撮像素子３４の各周辺部とに分けて赤外線成分の除去処理を行うことができるため、上述と同様の効果を得ることができる。
【００８８】
また、上述の実施例の携帯電話機、及び各変形例の携帯電話機の説明では、カラーフィルタ３６を、一つの赤色フィルタ部（Ｒ）、一つ或いは二つの緑色フィルタ部（ＧｏｒＧｒ，Ｇｂ）、及び一つの青色フィルタ部（Ｂ）を一塊りとし、この一塊りに対して一つの赤外線透過フィルタ部（Ｉｒ）を割り当てて形成することとしたが、二塊りや三塊等の複数塊りに対して一つの赤外線透過フィルタ部（Ｉｒ）を割り当ててカラーフィルタ３６を形成してもよい。この場合でも、ＲＧＢの各画素の配置位置に対応して、効果的に赤外線成分を除去することができ、上述と同様の効果を得ることができる。
【００８９】
また、上述の実施例、及び各変形例の説明では、本発明をカメラ機能を備えた携帯電話機に適用することとしたが、本発明は、カメラ機能を備えたＰＨＳ電話機（PHS：Personal Handyphone System）、ＰＤＡ装置（PDA：Personal Digital Assistant）、携帯ゲーム機、ノート型のパーソナルコンピュータ装置の他、撮像素子を用いて被写体の撮像を行う静止画撮像装置、動画撮像装置等にも適用することができる。いずれの場合も、上述と同様の効果を得ることができる。
【００９０】
最後に、上述の各説明は、本発明の一例である。このため、本発明は上述の各説明に限定されることはなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論であることを付け加えておく。
【符号の説明】
【００９１】
１ プロジェクタ部、２ メイン表示部、３ 補助表示部、４ 発光部、５ 加速度センサ、 ６ ジャイロセンサ、７ 照度センサ、８ スピーカ部、９ マイクロホン部、１０ 外部インターフェイス部、１１ ＵＳＢ２．０コントローラ、１２ ＵＳＩＭカードスロット、１３ 振動モータ、１４ バッテリ、１５ 周辺ＩＣ＋電源ＩＣ、１６ メインカメラ部、１７ 補助カメラ部、１８ 通信回路、１９ アンテナ、２０ 非接触無線通信ユニット、２１ 近距離無線通信ユニット、２２ 赤外線通信ユニット、２３ メモリカードスロット、２４ メモリカードコントローラ、２５ 操作部、２６ 内部メモリ、２７ ＤＤＲ ＳＤＲＡＭ、２８ ＮＡＮＤ型フラッシュメモリ、２９ 制御部、３１ メインカメラ部の筐体、３２ メインカメラ部のレンズ部、３３ 基板、３４ 撮像素子、３５ 絞り部（アパーチャ）、３６ カラーフィルタ、４２ 赤外線成分算出部（制御部の赤外線成分算出機能）、４３ 赤外線成分除去部（制御部の赤外線成分除去機能）、４４ 読み出し制御部（制御部の読み出し制御機能）
【技術分野】
【０００１】
本発明は、撮像素子を用いて被写体の撮像を行う静止画撮像装置、動画撮像装置や、撮像素子を用いて被写体の撮像を行うカメラ機能を備えた携帯電話機、ＰＨＳ電話機（PHS：Personal Handyphone System）、ＰＤＡ装置（PDA：Personal Digital Assistant）、携帯ゲーム機、ノート型のパーソナルコンピュータ装置等に適用して好適な撮像装置、撮像方法、撮像制御プログラム、及び携帯端末装置に関する。
特には、撮像素子の受光面に設けられるＲ（赤色）、Ｇ（緑色）、Ｂ（青色）の各フィルタ部を二次元配列してなるカラーフィルタに対して、上記受光面の略中央、及び該受光面の周辺部に相当する位置に、それぞれ複数の赤外線透過フィルタ部を設ける。そして、この赤外線透過フィルタ部が設けられた画素からの撮像データに基づいて、撮像素子の受光面の各部の赤外線成分量を検出し、この検出量に対応する赤外線成分を、対応する上記ＲＧＢの各フィルタ部を介して得られた撮像データから除去することで、撮像素子の受光面の各画素毎に最適な赤外線成分除去処理を可能とした撮像装置、撮像方法、撮像制御プログラム、及び携帯端末装置に関する。
【背景技術】
【０００２】
今日において、主に携帯電話機等の携帯端末装置に設けられる小型のカメラモジュールが知られている。このカメラモジュールは、図７に示すようにカメラモジュールの筐体１００の最前面に設けられたレンズ部１０１と基板１０２上に設けられた撮像素子１０３との間に、絞り部１０４（アパーチャ部）及び赤外線カットフィルタ１０５を順に設けて形成されている。
【０００３】
撮像素子１０３としては、ＣＭＯＳ撮像素子（CMOS：Complementary Metal Oxide Semiconductor）やＣＣＤ撮像素子（CCD :Charge Coupled Devices）等の半導体撮像素子が設けられているが、この撮像素子１０３上の各画素は、図８（ａ）に示すように、人間の目で認識可能な可視光よりも波長が長い赤外光領域まで、非常に広域の波長感度特性を有している。
【０００４】
このため、一般的には、撮像素子１０３の受光面に対して、図８（ｂ）に示すように、人間の目の感度に対応する撮像光の赤色成分（Ｒ）、緑色成分（Ｇ）、及び青色成分（Ｂ）をそれぞれ抽出するカラーフィルタ１０６が設けられている。
【０００５】
このカラーフィルタ１０６は、図９に太線で囲んで示す４つの色フィルタ部を一塊りとするフィルタ部を有している。この一塊りのフィルタ部は、赤色フィルタ部（Ｒ）の列方向に隣接して第１の緑色フィルタ部（Ｇｂ）が配置され、この第１の緑色フィルタ部（Ｇｂ）の行方向に隣接して青色フィルタ部（Ｂ）が配置され、上記赤色フィルタ部（Ｒ）の行方向に隣接し、かつ、上記青色フィルタ部（Ｂ）の列方向に隣接して第２の緑色フィルタ部（Ｇｒ）が配置されて形成されている。そして、カラーフィルタ１０６は、このような一塊りのフィルタ部を、撮像素子１０３の受光面の行方向及び列方向に沿って多数配列することで形成されている。
【０００６】
しかし、このカラーフィルタ１０６のみでは赤外線を十分に除去できない。そして、赤外線を十分に除去できないと、この赤外線により上記ＲＧＢの各画素の出力がオフセットされ、色再現性にズレが発生してしまう。
【０００７】
これを防止するために、カラーフィルタ１０６の前段には赤外線カットフィルタ１０５が設けられており、この赤外線カットフィルタ１０５により赤外線成分を除去した撮像光をカラーフィルタ１０６に入射させるようになっている。
【０００８】
撮像素子１０３は、カラーフィルタ１０６の赤色フィルタ部（Ｒ）で抽出された赤色成分の撮像光、青色フィルタ部（Ｂ）で抽出された青色成分の撮像光、及び各緑色フィルタ部（Ｇｒ，Ｇｂ）で抽出された緑色成分の撮像光を、それぞれ各画素で受光し、撮像光の赤色成分に対応する撮像データ、撮像光の緑色成分に対応する撮像データ、及び撮像光の青色成分に対応する撮像データを形成して出力する。これら各色成分に対応する撮像データは、後段の合成回路で合成処理され、１枚のカラー画像として表示、記録等がなされる。
【０００９】
なお、特開２００８−９１５３５号の公開特許公報（特許文献１）に、赤外線を透過しないカラーフィルタと、赤外線のみを透過するカラーフィルタによって画素を構成し、赤外線画像と可視光線画像とを同時に同画角で撮影する固体撮像素子が開示されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００８−９１５３５号
【発明の概要】
【発明が解決しようとする課題】
【００１１】
ここで、携帯端末装置に設けられる小型のカメラモジュールは、薄型構造のため、光学長が非常に短く、図７に示すように撮像素子１０３の受光面の周辺部に対する撮像光の入射角度であるチーフレイ角（CRA：Chief Ray Angle）が非常に大きい角度となる。また、赤外線成分を除去するために設けられている上記赤外線カットフィルタ１０５は、透過する撮像光の入射角が大きくなるに連れ、赤外線成分の減衰率が大きくなる光学特性を有している。
【００１２】
このため、撮像素子１０３の受光面の中心部に対して垂直に近い角度で入射する撮像光の赤外線成分の減衰率よりも、撮像素子１０３の受光面の周辺部に対して大きな角度で入射する撮像光の赤外線成分の減衰率の方が大きな減衰率となる。そして、このような受光面の各部における赤外線成分の減衰率の違いから、図１０（ａ）に示すように撮像画像の中央が赤みを帯び、該撮像画像の周辺部が青みを帯びた画像となるシェーディング（画像ムラ）が発生する。なお、このようなシェーディングは、日本国の国旗に例えて「日の丸シェーディング」と呼ばれている。
【００１３】
このような日の丸シェーディングは、撮像素子１０３の後段に設けられた画像処理部（＝ISP：Image Signal Processor）において、撮像画像の中心部と周辺部とで色差信号の補正（日の丸シェーディング補正）を行うことで軽減可能である。
【００１４】
しかし、図８（ｃ）に示すように太陽光や白熱電球が発光する光には、赤外線成分が多く含まれるため、この太陽光環境下や白熱電球を光源とする屋内環境下で撮像された撮像画像に対して、上記日の丸シェーディング補正は有効に機能するのであるが、蛍光灯が発光する光には、赤外線成分が殆ど含まれていない。
【００１５】
このため、蛍光灯を光源とする屋内環境下で撮像された撮像画像に対して、上記日の丸シェーディング補正を施してしまうと、元々赤外線成分が殆ど含まれていない撮像画像から赤外線成分を除去することとなるため、図１０（ｂ）に示すように撮像画像の中央が青みを帯び、該撮像画像の周辺部が赤味を帯びた画像となるシェーディング（画像ムラ）が発生する。このようなシェーディングは、上記「日の丸シェーディング」に対して、シェーディングが発生している部分の色味が反転する現象であるため、「逆日の丸シェーディング」と呼ばれている。
【００１６】
なお、環境光の明るさや色温度を検出して光源環境を判別し、赤外線成分が多く含まれる光源環境下の撮像である場合には、上記日の丸シェーディング補正機能をオン制御し、赤外線成分が殆ど含まれていない光源環境下の撮像である場合には、上記日の丸シェーディング補正機能をオフ制御することで、日の丸シェーディング補正を有効に機能させると共に、逆日の丸シェーディングの発生を防止することが可能となる。
【００１７】
ただ、この場合、環境光の明るさや色温度で判別した光源環境に基づいて、日の丸シェーディング補正をオン／オフ制御しているため、必ずしも正確に日の丸シェーディング補正機能をオン／オフ制御できるとは限らず、逆日の丸シェーディングが発生する不安も残る制御方法である。
【００１８】
本発明は、上述の課題に鑑みてなされたものであり、どのような光源環境下においても、撮像素子の受光面の各画素毎に最適量の赤外線成分を除去可能として、日の丸シェーディングや逆日の丸シェーディングの発生を略々完全に防止することができるような撮像装置、撮像方法、撮像制御プログラム、及び携帯端末装置の提供を目的とする。
【課題を解決するための手段】
【００１９】
本発明に係る撮像装置は、上述の課題を解決するために、
撮像光の受光面に多数の画素を備え、該各画素で受光した撮像光に対応する電荷を撮像データとして出力する撮像素子と、
それぞれ所定の配置で同一平面上に設けられた、上記撮像光の赤色成分を抽出する多数の赤色フィルタ部と、上記撮像光の緑色成分を抽出する多数の緑色フィルタ部と、上記撮像光の青色成分を抽出する多数の青色フィルタ部と共に、少なくとも上記撮像素子の上記受光面の略中心部及び該受光面の周辺部における上記撮像光の赤外線成分を抽出するように、それぞれ配置された複数の赤外線透過フィルタ部とを備え、一つの上記画素上に上記いずれか一つのフィルタ部が位置するように、上記撮像素子の上記受光面に設けられるカラーフィルタと、
上記カラーフィルタの上記各フィルタ部を介して上記撮像素子の各画素で受光された撮像光に対応する上記撮像データを読み出すように、該撮像素子を読み出し制御する読み出し制御部と、
上記読み出し制御部により読み出された上記各画素の撮像データのうち、上記各赤外線透過フィルタ部に対応する画素から読み出された撮像データに基づいて、該各画素毎の上記撮像光の赤外線成分量を検出する赤外線成分量検出部と、
上記赤外線成分量検出部で検出された量の赤外線成分を、当該赤外線成分の検出を行った画素の周辺に位置する、上記赤色フィルタ部、上記緑色フィルタ部、及び上記青色フィルタ部を介した撮像光を受光した各画素から得られた上記各撮像データからそれぞれ除去して出力する赤外線成分除去部と
を有する。
【００２０】
このような本発明は、カラーフィルタに対して、赤色、緑色、及び青色の各フィルタ部と共に、撮像素子の受光面の略中心部及び該受光面の周辺部における撮像光の赤外線成分を抽出するように配置される複数の赤外線透過フィルタ部を設ける。
【００２１】
そして、読み出し制御部により撮像素子から読み出された各画素の撮像データのうち、上記各赤外線透過フィルタ部に対応する画素から読み出された撮像データに基づいて、赤外線成分量検出部が、該各画素毎の上記撮像光の赤外線成分量を検出し、赤外線成分除去部が、この赤外線成分量検出部で検出された量の赤外線成分を、当該赤外線成分の検出を行った画素の周辺に位置する、上記赤色フィルタ部、上記緑色フィルタ部、及び上記青色フィルタ部を介した撮像光を受光した各画素から得られた各撮像データからそれぞれ除去して出力する。
【００２２】
これにより、どのような光源環境下においても、撮像素子の受光面の各画素の撮像データ毎に最適量の赤外線成分を除去可能として、日の丸シェーディングや逆日の丸シェーディングの発生を略々完全に防止することができる。
【発明の効果】
【００２３】
本発明は、どのような光源環境下においても、撮像素子の受光面の各画素の撮像データ毎に最適量の赤外線成分を除去可能として、日の丸シェーディングや逆日の丸シェーディングの発生を略々完全に防止することができる。
【００２４】
また、カラーフィルタ内に多数の赤外線透過フィルタ部を設ける構成であるため、該カラーフィルタとは別個に設ける必要があった赤外線透過フィルタを省略可能とすることができ、本発明が適用されるカメラモジュールや携帯端末装置等の構造の簡略化、薄型化、及びコストダウンを図ることができる。
【図面の簡単な説明】
【００２５】
【図１】本発明を適用した実施例となる携帯電話機のブロック図である。
【図２】実施例となる携帯電話機に設けられているメインカメラ部の内部構造を示す図である。
【図３】実施例となる携帯電話機のメインカメラ部に設けられているカラーフィルタの模式図である。
【図４】実施例となる携帯電話機の赤外線除去処理の流れを示すフローチャートである。
【図５】実施例となる携帯電話機の赤外線除去処理時における制御部の機能ブロック図である。
【図６】実施例となる携帯電話機のメインカメラ部に設けられる他のカラーフィルタの模式図である。
【図７】従来のカメラモジュールの内部構造及びチーフレイ角を説明するための図である。
【図８】人間の目と撮像素子の感度差、各色のフィルタ部の光学特性、各光源からの光に含まれる赤外線成分量を示す図である。
【図９】従来のカメラモジュールに設けられているカラーフィルタの模式図である。
【図１０】小型のカメラモジュールで発生する日の丸シェーディング、及び日の丸シェーディングを補正することにより発生する逆日の丸シェーディングを説明するための図である。
【発明を実施するための形態】
【００２６】
本発明は、一例として、カメラ機能が設けられた折り畳み型の携帯電話機に適用することができる。
【００２７】
［携帯電話機の構成］
図１に、この本発明を適用した実施例となる携帯電話機のブロック図を示す。この図１に示す携帯電話機のプロジェクタ１は、例えば前面投影型のプロジェクタとなっており、投影する元画像を表示する液晶パネル、その液晶パネルに投影光を照射する光源、及び液晶パネル上に表示された投影元画像をスクリーン等に投影させるための投影光学系等を備えている。なお、プロジェクタを投影方式で大別すると、液晶方式とＤＬＰ（Digital Light Processing）方式との２つの方式があるが、上記プロジェクタ１としては、これら何れの方式であっても良い。
【００２８】
メイン表示部２は、当該携帯電話機の上筐体の非露出面側（＝当該携帯電話機を閉状態とした際に下筐体と相対向する面側）に設けられた表示部であり、液晶表示部（LCD:Liquid Crystal Display）、或いは有機ＥＬ表示部（OEL：Organic Electro Luminescence）で形成されている。また、補助表示部３は、上記上筐体の露出面側（＝上記メイン表示部２が設けられた面に対して反対側となる面側）に設けられた表示部であり、上記メイン表示部２と同様に、液晶表示部、或いは有機ＥＬ表示部で形成されている。発光部４（ＬＥＤ：発光ダイオード）は、例えば着信ランプや操作部（図１の符号２５）の照明ランプ等の、当該携帯電話機に備えられている各種照明光源である。
【００２９】
加速度センサ５は、当該携帯電話機に物理的な振動が加えられた時に、その振動の加速度の大きさ及び向きを検出する。ジャイロセンサ６は、この携帯電話機に物理的な振動が加えられた時に、その振動による回転方向の角速度と回転角度を検出する。照度センサ７は、この携帯電話機の周囲環境の明るさを検出する。
【００３０】
スピーカ部８は、上筐体の上端部近傍（＝ヒンジ部側の端部に対して反対側となる端部）に設けられた受話音声出力用のスピーカ部である。マイクロホン部９は、下筐体の下端部近傍（＝ヒンジ部側の端部に対して反対側となる端部）に設けられた送話音声出力用のマイクロホン部である。
【００３１】
外部インターフェイス部１０（外部ＩＦ）は、各種外部コネクタとその外部コネクタとの間で信号等を行うための外部接続部からなる。なお、上記外部コネクタにはいわゆるＵＳＢ２．０（Universal Serial Bus 2.0）規格のコネクタが含まれている。このため、当該携帯電話機は、ＵＳＢ２．０コントローラ１１も備えている。
【００３２】
ＵＳＩＭカードスロット１２は、当該携帯電話機の通信事業者の加入者情報（契約者情報）等が記憶されたいわゆるＵＳＩＭ（Universal Subscriber Identity Module）カードが装着されるＩＣカードスロットである。
【００３３】
振動モータ１３は、例えば発着信時等に当該携帯電話機の筐体を振動を発生させて、ユーザに発着信等を知らせるための、いわゆるバイブレータである。バッテリ１４は、当該携帯電話機の各部で使用する電力供給用の電源である。周辺ＩＣ＋電源ＩＣ１５は、上記ＵＳＩＭカードスロット１２、振動モータ１３、バッテリ１４、外部インターフェース部１０と接続されており、これら各部の制御や信号処理の他、バッテリ１４の充電制御、及び各部に対する電力供給制御等を行う。
【００３４】
メインカメラ部１６は、下筐体の露出面側（＝当該携帯電話機を閉状態とした際に上筐体と相対向する面側に対して反対側となる面側）に設けられたカメラ部であり、例えばＣＭＯＳイメージセンサ（CMOS：Complementary Metal Oxide Semiconductor）やＣＣＤイメージセンサ（CCD：Charge Coupled Device）等の撮影素子、光学系、撮像デバイス等からなる。
【００３５】
ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の撮影素子は、多数の画素を行方向（＝横方向）に連ねてなるラインを列方向（＝縦方向）に多数ライン分備え、該各ラインの画素で、被写体の撮像光に対応する電荷を蓄積し、読み出し時に、この各ラインの画素に蓄積した電荷を撮像データとして出力する。このような撮像素子を備えるメインカメラ部１６は、主に所望の被写体を撮像する際に用いられる。
【００３６】
補助カメラ部１７は、上筐体の上記非露出面の上記上端部近傍に、上記受話音声出力用のスピーカ部８と共に併設されたカメラ部であり、撮影素子、光学系、撮像デバイス等からなる。この補助カメラ部１７は、主にテレビ電話による通話時に当該携帯電話機のユーザ自身を撮影する、いわゆる自分撮り用のカメラ部として用いられる。
【００３７】
通信回路１８は、当該携帯電話機が、携帯電話網の無線基地局と通信する際の無線通信用回路である。アンテナ１９は、当該携帯電話機が無線基地局と無線通信を行う際の無線通信アンテナである。
【００３８】
非接触無線通信ユニット２０は、いわゆる電磁誘導方式により、外部のリーダライタ装置との間で、例えば通信距離が５０ｃｍ程度の非接触無線通信を行う。近距離無線通信ユニット２１は、例えばブルートゥース（Ｂｌｕｅｔｏｏｔｈ：登録商標）等の近距離無線通信方式により、通信距離が１０ｍ程度の近距離無線通信を行う。赤外線通信ユニット２２は、通信距離が数ｍ程度の赤外線無線通信を行う
メモリカードスロット２３は、例えばいわゆるＳＤカード（SD :Secure Digital:登録商標）等の外部メモリカードが着脱されるスロットである。メモリカードコントローラ２４は、メモリカードスロット２３に装着されたメモリカードに対するデータの書き込み／読み出し等の制御及び信号処理を行う。
【００３９】
操作部２５は、下筐体の非露出面側（＝当該携帯電話機を閉状態とした際に上筐体のメイン表示部２と相対向する面側）に設けられており、複数の操作キーを有している。内部メモリ２６は、例えばＤＤＲ ＳＤＲＡＭ２７（Double Data Rate SDRAM）と、ＮＡＮＤ型フラッシュメモリ２８（NAND-type flash memory）とを有してなる。
【００４０】
ＮＡＮＤ型フラッシュメモリ２８には、ＯＳ（Operating System）のプログラムや制御部２９が各部を制御するための制御プログラム、メインカメラ部１６及び補助カメラ部１７の撮像制御を行うための撮像制御プログラム、プロジェクタ１の投影制御を行うための投影制御プログラム等の各種のアプリケーションプログラム、圧縮符号化された楽曲・動画像・静止画データコンテンツの他、各種の設定値、フォントデータ、各辞書データ、機種名情報、端末識別情報等が記憶される。また、このＮＡＮＤ型フラッシュメモリ２８には、各ユーザの電話番号、電子メールアドレス、住所、氏名、顔写真等が登録された電話帳や、送受信した電子メール、当該携帯電話機のユーザのスケジュールが登録されたスケジュール帳等が記憶される。
【００４１】
ＤＤＲ ＳＤＲＡＭ２７は、制御部２９が各種のデータ処理や演算を行う際の作業領域として、随時データを記憶する。
【００４２】
制御部２９は、内部メモリ２６に記憶されている各種の制御プログラムやアプリケーションプログラムの実行及びそれに付随する各種データ処理を行うことで、例えば通信制御、上記撮像制御プログラムに基づく各カメラ部１６，１７の撮像制御、音声処理制御、画像処理制御、その他各種信号処理や各部の制御等を行う。
【００４３】
なお、この図１には図示を省略しているが、当該実施例の携帯電話機は、一般的な携帯電話機が備える各構成要素についても当然ながら備えているものと理解されたい。
【００４４】
［メインカメラ部の構成］
メインカメラ部１６は、図２に示すように当該メインカメラ部１６の筐体３１の最前面に設けられたレンズ部３２と基板３３上に設けられた撮像素子３４との間に、絞り部３５（アパーチャ部）を設けて形成されている。このメインカメラ部１６は、後述する理由により、赤外線カットフィルタを設けなくても良い分、レンズ部３２と撮像素子３４との間の距離を縮めることができ、大幅に小型化されたカメラ部となっている。
【００４５】
このようなメインカメラ部１６において、撮像素子３４の撮像光の受光面には、カラーフィルタ３６が設けられている。このカラーフィルタ３６は、図３に示すように一つの赤色フィルタ部（Ｒ）、一つの緑色フィルタ部（Ｇ）、及び一つの青色フィルタ部（Ｂ）を一塊りとし、この一塊りに対して一つの赤外線透過フィルタ部（Ｉｒ）を割り当てて形成されている。
【００４６】
具体的には、図３中、太線で囲んで示す上記一塊りの各フィルタ部は、赤色フィルタ部（Ｒ）の列方向に隣接して一つの緑色フィルタ部（Ｇ）が配置され、この緑色フィルタ部（Ｇ）の行方向に隣接して青色フィルタ部（Ｂ）が配置されており、この一塊りに対して一つ割り当てられる赤外線透過フィルタ部（Ｉｒ）は、赤色フィルタ部（Ｒ）の行方向に隣接し、かつ、青色フィルタ部（Ｂ）の列方向に隣接して配置されている。そして、カラーフィルタ３６は、このような一塊りのフィルタ部を、撮像素子３４の受光面の行方向及び列方向に沿って多数配列することで形成されている。
【００４７】
これにより、撮像素子３４の各画素は、上記ＲＧＢのいずれかの色のフィルタ部、或いは赤外線透過フィルタ部（Ｉｒ）を介した撮像光を受光することとなる。また、赤外線透過フィルタ部（Ｉｒ）は、撮像素子３４の受光面全体に点在するかたちで設けられることとなる。
【００４８】
なお、補助カメラ部１７も、このメインカメラ部１６と同じ構成を有している。詳しくは、このメインカメラ部１６の説明を参照されたい。
【００４９】
［メインカメラ部の赤外線除去動作］
このような携帯電話機に設けられている制御部２９は、動画像、或いは静止画像の撮像時となると、ＮＡＮＤ型フラッシュメモリ２８に記憶されている撮像制御プログラムに基づいて、撮像素子３４の各画素の撮像データから赤外線成分を除去する赤外線除去処理を行う。図４のフローチャートに、この制御部２９による赤外線除去処理の流れを示す。制御部２９は、操作部２９を介して動画像、或いは静止画像の撮像指定操作がなされると、撮像制御プログラムに基づいて、メインカメラ部１６を起動制御し、この図４のフローチャートに示す処理を開始する。
【００５０】
ステップＳ１では、制御部２９が、例えば１／６０秒等の撮像素子３４の各画素に蓄積された電荷の読み出し時刻となったか否かを、図示しないタイマから供給される計時情報に基づいて判別し、該電荷の読み出し時刻となったものと判別したタイミングで処理をステップＳ２に進める。そして、このステップＳ２において、制御部２９は、上記撮像制御プログラムに基づいて、図５に示す読み出し制御部４４として機能することで、撮像素子３４の各画素に蓄積された電荷である撮像データを読み出し制御して処理をステップＳ３に進める。
【００５１】
具体的には、被写体の撮像光は、メインカメラ部１６のレンズ部３２、絞り部３５（アパーチャ部）及びカラーフィルタ３６を順に介して撮像素子３４の各画素に入射される。
【００５２】
撮像素子３４の各画素に入射される撮像光のうち、カラーフィルタ３６の赤色フィルタ部（Ｒ）を介した撮像光は、該赤色フィルタ部（Ｒ）により当該撮像光の赤色成分が抽出される。これにより、各赤色フィルタ部（Ｒ）を介した撮像光を受光する撮像素子３４の各画素は、撮像光の赤色成分光を受光することとなる。
【００５３】
同様に、カラーフィルタ３６の緑色フィルタ部（Ｇ）を介した撮像光は、該緑色フィルタ部（Ｇ）により当該撮像光の緑色成分が抽出される。これにより、各緑色フィルタ部（Ｇ）を介した撮像光を受光する撮像素子３４の各画素は、撮像光の緑色成分光を受光することとなる。
【００５４】
同様に、カラーフィルタ３６の青色フィルタ部（Ｂ）を介した撮像光は、該青色フィルタ部（Ｂ）により当該撮像光の青色成分が抽出される。これにより、各青色フィルタ部（Ｂ）を介した撮像光を受光する撮像素子３４の各画素は、撮像光の青色成分光を受光することとなる。
【００５５】
このような各色のフィルタ部に対して、カラーフィルタ３６の赤外線透過フィルタ部（Ｉｒ）を介した撮像光は、該赤外線透過フィルタ部（Ｉｒ）により当該撮像光に含まれる赤外線成分が抽出される。これにより、各赤外線透過フィルタ部（Ｉｒ）を介した撮像光を受光する撮像素子３４の各画素は、撮像光に含まれる赤外線を受光することとなる。
【００５６】
このようなことから、上記ステップＳ２において、撮像素子３４の各画素から読み出される撮像データとしては、赤色フィルタ部（Ｒ）を介した撮像光を受光した各画素からは、該撮像光の赤色成分を示す撮像データが、緑色フィルタ部（Ｇ）を介した撮像光を受光した各画素からは、該撮像光の緑色成分を示す撮像データが、青色フィルタ部（Ｂ）を介した撮像光を受光した各画素からは、該撮像光の青色成分を示す撮像データが、赤外線透過フィルタ部（Ｉｒ）を介した撮像光を受光した各画素からは、該撮像光に含まれる赤外線成分量を示す撮像データが、それぞれ読み出されることとなる。
【００５７】
次に、このように撮像素子３４から撮像データの読み出しを行うと、制御部２９は、ステップＳ３において、図５に示す赤外線成分量算出部４２として機能することで、赤外線透過フィルタ部（Ｉｒ）を介した撮像光を受光した各画素から読み出した撮像データに基づいて、撮像光に含まれる各画素毎の赤外線成分量を算出して、処理をステップＳ４に進める。
【００５８】
そして、このステップＳ４に処理を進めると、制御部２９は、図５に示す赤外線成分除去部４３として機能することで、上記ステップＳ３で算出した各赤外線成分を、対応するＲＧＢの各フィルタ部を介して得られた撮像データから除去して出力する。この赤外線成分が除去された各撮像データは、後段の合成回路等で合成処理され、１枚のカラー画像としてメイン表示部２に表示され、或いは内部メモリ２６に記録される。
【００５９】
制御部２９は、このようなステップＳ１からステップＳ４の各処理を、ステップＳ５で、撮像終了の指定操作がなされるまでの間、繰り返し実行する。
【００６０】
ここで、上記ステップＳ３及び上記ステップＳ４の各処理を詳しく説明すると、制御部２９は、ステップＳ３で赤外線成分量算出部４２として機能し、また、ステップＳ４で赤外線成分除去部４３として機能した際に、上記ＲＧＢの各色のフィルタ部に対応する各画素からの撮像データをそれぞれＤＲ，ＤＧ，ＤＢ、赤外線透過フィルタ部（Ｉｒ）に対応する各画素からの撮像データをＤＩｒとして、以下に示す演算を行うことで、赤外線成分を除去したＲＧＢの各撮像データｔＤＲ，ｔＤＧ，ｔＤＢを得る。
【００６１】
ｔＤＲ＝ＤＲ−ｆＲ（ＤＩｒ）
ｔＤＧ＝ＤＧ−ｆＧ（ＤＩｒ）
ｔＤＢ＝ＤＢ−ｆＢ（ＤＩｒ）
上記各演算式におけるｆＲ（ＤＩｒ），ｆＧ（ＤＩｒ），ｆＢ（ＤＩｒ）は、赤外線透過フィルタ部（Ｉｒ）に対応する画素からの撮像データＤＩｒに基づいて、ＲＧＢの各画素からの撮像データＤＲ，ＤＧ，ＤＢに含まれる赤外線成分量を算出する演算式である。
【００６２】
なお、ＲＧＢの各画素からの撮像データＤＲ，ＤＧ，ＤＢに含まれる赤外線成分量を算出する上記演算式は、予め算出された係数に置き換えてもよい。
【００６３】
この実施例の携帯電話機の場合、図３中、太線の枠で囲んで示したように、カラーフィルタ３６は、一つの赤色フィルタ部（Ｒ）、一つの緑色フィルタ部（Ｇ）、及び一つの青色フィルタ部（Ｂ）を一塊りとし、この一塊りに対して一つの赤外線透過フィルタ部（Ｉｒ）を割り当てて形成されている。このため、上記一塊り毎に、該一塊りに対応する赤外線成分量が検出されることとなる。
【００６４】
従って、上述の演算式に基づく赤外線成分除去処理を行うことで、上記一塊り毎に、正確な量の赤外線成分を除去することができる（＝ＲＧＢの各画素毎に正確な量の赤外線成分を除去することができる。）。
【００６５】
［実施例の効果］
以上の説明から明らかなように、この実施例の携帯電話機は、メインカメラ部１６の撮像素子３４の受光面に設けるカラーフィルタ３６を、一つの赤色フィルタ部（Ｒ）、一つの緑色フィルタ部（Ｇ）、及び一つの青色フィルタ部（Ｂ）を一塊りとし、この一塊りに対して一つの赤外線透過フィルタ部（Ｉｒ）を割り当てて形成する。そして、各赤外線透過フィルタ部（Ｉｒ）を介した撮像データに基づいて、上記一塊り毎に赤外線成分量を検出し、この検出した成分量の赤外線成分を、当該一塊りに対応するＲＧＢの各撮像データから除去処理する。これにより、上記一塊り毎に、正確な量の赤外線成分を除去することができる。
【００６６】
また、上記一塊り毎に赤外線成分除去処理を行うため、太陽を光源とする撮像環境や蛍光灯を光源とする撮像環境にかかわらず、全ての光源に対応し、かつ、ＲＧＢの各画素の位置にそれぞれ対応して、最適な赤外線成分除去処理を行うことができる。
【００６７】
また、上記一塊り毎に正確な量の赤外線成分を除去することができるため、撮像素子３４の前段に必要とされていた赤外線カットフィルタを不要とすることができる。このため、メインカメラ部１６が小型であるがゆえに、光学長が非常に短くなった場合でも、赤外線カットフィルタを透過する撮像光の入射角の違いにより、赤外線カットフィルタの赤外線成分の減衰率が異なることで発生する日の丸シェーディングの発生を防止することができる。
【００６８】
また、太陽を光源とする撮像環境や蛍光灯を光源とする撮像環境にかかわらず、全ての光源に対応し、かつ、ＲＧＢの各画素の位置にそれぞれ対応して、最適な赤外線成分除去処理を行うことができるため、蛍光灯の光のように、赤外線成分をほとんど含まない光の下で撮像を行うことで得られた撮像データに対して上記日の丸シェーディング補正を施してしまうことで生ずる逆日の丸シェーディングの発生も防止することができる。
【００６９】
また、赤外線カットフィルタを不要とすることができ、また、日の丸シェーディングや逆日の丸シェーディングの発生も防止することができるため、メインカメラ部１６のさらなる小型化及び薄型化を図ることができ、携帯電話機の小型化及び薄型化にも貢献することができる。
【００７０】
ここで、携帯端末装置用のカメラ部のレンズは、大きさ、コスト、被写界深度等の問題で、Ｆ値が２．８を超える明るいレンズを使用することは困難であるのが現状である。そして、このような問題は、今後も続くものと考えられる。
【００７１】
これに対して、携帯端末装置用の撮像素子としては、現在、ＣＭＯＳイメージセンサが主流となっており、多画素化及び小型化が進むことで、画素ピッチが１．４ｕｍのＣＭＯＳイメージセンサも知られている。
【００７２】
ただ、ＣＭＯＳイメージセンサの画素ピッチをさらに狭くしても、上述の携帯端末装置用のカメラ部のレンズの光学性能では、この極小ピッチで配列された画素に対応する光学解像度が得られない。
【００７３】
すなわち、今日知られているＣＭＯＳイメージセンサの解像度は、携帯端末装置用のカメラ部のレンズの光学解像度を上回るものとなっている。
【００７４】
この実施例の携帯電話機に設けられているＣＭＯＳイメージセンサの解像度は、レンズ部３２の光学解像度を上回る解像度となっており、カラーフィルタ３６に対して上記赤外線透過フィルタ部（Ｉｒ）を設けても、レンズ部３２の光学解像度が維持されるものとなっている。このため、レンズ部３２の光学解像度を維持したうえで、なおかつ、各画素の位置に対応する赤外線成分量も検出し、この赤外線成分を除去することができる。従って、カラーフィルタ３６に対して上記赤外線透過フィルタ部（Ｉｒ）を設けることで撮像画像の画質が劣化する不都合も防止することができる。
【００７５】
［実施例の携帯電話機の第１の変形例］
上述の実施例の携帯電話機のメインカメラ部１６に設けられているカラーフィルタ３６は、図３に示したように一つの赤色フィルタ部（Ｒ）、一つの緑色フィルタ部（Ｇ）、及び一つの青色フィルタ部（Ｂ）を一塊りとし、この一塊りに対して一つの赤外線透過フィルタ部（Ｉｒ）を割り当てて形成したものであったが、このカラーフィルタ３６は、図６に示すように形成してもよい。
【００７６】
すなわち、この図６に示すカラーフィルタ３６は、一つの赤色フィルタ部（Ｒ）、二つの緑色フィルタ部（Ｇｒ，Ｇｂ）、及び一つの青色フィルタ部（Ｂ）を一塊りとし、この一塊りに対して一つの赤外線透過フィルタ部（Ｉｒ）を割り当てて形成されている。
【００７７】
具体的には、図６中、太線で囲んで示す上記一塊りの各フィルタ部は、赤色フィルタ部（Ｒ）の列方向に隣接して第１の緑色フィルタ部（Ｇｂ）が配置され、この第１の緑色フィルタ部（Ｇｂ）の行方向に隣接して青色フィルタ部（Ｂ）が配置され、赤色フィルタ部（Ｒ）の行方向に隣接し、かつ、青色フィルタ部（Ｂ）の列方向に隣接して第２の緑色フィルタ部（Ｇｒ）が配置されており、この一塊りに対して一つ割り当てられる赤外線透過フィルタ部（Ｉｒ）は、当該一塊りの略中心に配置されて形成されている。
【００７８】
この図６に示すカラーフィルタ３６を上記撮像素子３４に設けた場合における赤外線除去処理も上述と同様であり、各赤外線透過フィルタ部（Ｉｒ）を介した撮像データに基づいて、上記一塊り毎に赤外線成分量を検出し、この検出した成分量の赤外線成分を、当該一塊りに対応するＲ、Ｂ、及び２つのＧの各撮像データから除去処理する。これにより、上記一塊り毎に、正確な量の赤外線成分を除去することができる他、上述の実施例の携帯電話機と同じ効果を得ることができる。
【００７９】
また、この図６に示すカラーフィルタ３６の場合、図３に示したカラーフィルタ３６よりも緑色フィルタ部が多くなる。そして、人間の目は、緑色の光成分に対する感度が高い。このため、この図６に示すカラーフィルタ３６を設けることで、図３に示したカラーフィルタ３６を設けた場合よりも、高解像度の撮像画像を得ることができる。
【００８０】
［実施例の携帯電話機の第２の変形例］
上述の実施例の携帯電話機、及び第１の変形例となる携帯電話機は、カラーフィルタ３６に設けられている赤外線透過フィルタ部（Ｉｒ）は、撮像光に含まれる赤外線成分を抽出するものであったが、図３及び図６に示したカラーフィルタ３６の赤外線透過フィルタ部（Ｉｒ）を、全波長の光を透過するフィルタ部（＝フィルタ無し）特性として、この全波長の光を透過するフィルタ部に対応する画素から得られた撮像データに基づいて、演算により上記一塊り毎の赤外線成分を算出して除去してもよい。
【００８１】
この場合、制御部２９は、図４のフローチャートのステップＳ３で赤外線成分量算出部４２として機能し、また、ステップＳ４で赤外線成分除去部４３として機能した際に、上記ＲＧＢの各色のフィルタ部に対応する各画素からの撮像データをそれぞれＤＲ，ＤＧ，ＤＢ、赤外線透過フィルタ部（Ｉｒ）に対応する各画素からの撮像データをＤａｌｌとして、以下に示す演算を行うことで、赤外線成分を除去したＲＧＢの各撮像データｔＤＲ，ｔＤＧ，ｔＤＢを得る。
【００８２】
ｔＤＲ＝ＤＲ−ｆＲ（Ｄａｌｌ−ＤＲ−ＤＧ−ＤＢ）
ｔＤＧ＝ＤＧ−ｆＧ（Ｄａｌｌ−ＤＲ−ＤＧ−ＤＢ）
ｔＤＢ＝ＤＢ−ｆＢ（Ｄａｌｌ−ＤＲ−ＤＧ−ＤＢ）
上記各演算式におけるｆＲ（Ｄａｌｌ−ＤＲ−ＤＧ−ＤＢ），ｆＧ（Ｄａｌｌ−ＤＲ−ＤＧ−ＤＢ），ｆＢ（Ｄａｌｌ−ＤＲ−ＤＧ−ＤＢ）は、赤外線透過フィルタ部（Ｉｒ）に対応する画素からの撮像データＤａｌｌに基づいて、ＲＧＢの各画素からの撮像データＤＲ，ＤＧ，ＤＢに含まれる赤外線成分量を算出する演算式である。
【００８３】
なお、ＲＧＢの各画素からの撮像データＤＲ，ＤＧ，ＤＢに含まれる赤外線成分量を算出する上記演算式は、予め算出された係数に置き換えてもよい。
【００８４】
このような演算式に基づく赤外線成分除去処理を行うことで、上記一塊り毎に、正確な量の赤外線成分を除去することができる他、上述の実施例の携帯電話機、或いは上述の第１の変形例となる携帯電話機と同じ効果を得ることができる。
【００８５】
［他の変形例］
上述の実施例の携帯電話機、及び各変形例の携帯電話機の説明では、カラーフィルタ３６を、一つの赤色フィルタ部（Ｒ）、一つ或いは二つの緑色フィルタ部（ＧｏｒＧｒ，Ｇｂ）、及び一つの青色フィルタ部（Ｂ）を一塊りとし、この一塊りに対して一つの赤外線透過フィルタ部（Ｉｒ）を割り当てて形成することで、赤外線透過フィルタ部（Ｉｒ）は、撮像素子３４の受光面全体に点在することとしたが、各赤外線透過フィルタ部（Ｉｒ）が撮像素子３４の受光面の略中心部に点在すると共に、該撮像素子３４の周辺部にそれぞれ点在するように、該各赤外線透過フィルタ部（Ｉｒ）をカラーフィルタ３６に設けてもよい。
【００８６】
この場合、制御部２９は、撮像素子３４の受光面の略中心部に位置するＲＧＢの各撮像データからは、撮像素子３４の受光面の略中心部に点在するように設けられた各赤外線透過フィルタ部（Ｉｒ）を介して得られた撮像データに基づいて算出した成分量の赤外線成分を除去処理し、また、撮像素子３４の受光面の各周辺部に位置するＲＧＢの各撮像データからは、撮像素子３４の受光面の各周辺部に点在するように設けられた各赤外線透過フィルタ部（Ｉｒ）を介して得られた撮像データに基づいて算出した成分量の赤外線成分を除去処理する。
【００８７】
これにより、撮像素子３４の受光面の中心部と、該撮像素子３４の各周辺部とに分けて赤外線成分の除去処理を行うことができるため、上述と同様の効果を得ることができる。
【００８８】
また、上述の実施例の携帯電話機、及び各変形例の携帯電話機の説明では、カラーフィルタ３６を、一つの赤色フィルタ部（Ｒ）、一つ或いは二つの緑色フィルタ部（ＧｏｒＧｒ，Ｇｂ）、及び一つの青色フィルタ部（Ｂ）を一塊りとし、この一塊りに対して一つの赤外線透過フィルタ部（Ｉｒ）を割り当てて形成することとしたが、二塊りや三塊等の複数塊りに対して一つの赤外線透過フィルタ部（Ｉｒ）を割り当ててカラーフィルタ３６を形成してもよい。この場合でも、ＲＧＢの各画素の配置位置に対応して、効果的に赤外線成分を除去することができ、上述と同様の効果を得ることができる。
【００８９】
また、上述の実施例、及び各変形例の説明では、本発明をカメラ機能を備えた携帯電話機に適用することとしたが、本発明は、カメラ機能を備えたＰＨＳ電話機（PHS：Personal Handyphone System）、ＰＤＡ装置（PDA：Personal Digital Assistant）、携帯ゲーム機、ノート型のパーソナルコンピュータ装置の他、撮像素子を用いて被写体の撮像を行う静止画撮像装置、動画撮像装置等にも適用することができる。いずれの場合も、上述と同様の効果を得ることができる。
【００９０】
最後に、上述の各説明は、本発明の一例である。このため、本発明は上述の各説明に限定されることはなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論であることを付け加えておく。
【符号の説明】
【００９１】
１ プロジェクタ部、２ メイン表示部、３ 補助表示部、４ 発光部、５ 加速度センサ、 ６ ジャイロセンサ、７ 照度センサ、８ スピーカ部、９ マイクロホン部、１０ 外部インターフェイス部、１１ ＵＳＢ２．０コントローラ、１２ ＵＳＩＭカードスロット、１３ 振動モータ、１４ バッテリ、１５ 周辺ＩＣ＋電源ＩＣ、１６ メインカメラ部、１７ 補助カメラ部、１８ 通信回路、１９ アンテナ、２０ 非接触無線通信ユニット、２１ 近距離無線通信ユニット、２２ 赤外線通信ユニット、２３ メモリカードスロット、２４ メモリカードコントローラ、２５ 操作部、２６ 内部メモリ、２７ ＤＤＲ ＳＤＲＡＭ、２８ ＮＡＮＤ型フラッシュメモリ、２９ 制御部、３１ メインカメラ部の筐体、３２ メインカメラ部のレンズ部、３３ 基板、３４ 撮像素子、３５ 絞り部（アパーチャ）、３６ カラーフィルタ、４２ 赤外線成分算出部（制御部の赤外線成分算出機能）、４３ 赤外線成分除去部（制御部の赤外線成分除去機能）、４４ 読み出し制御部（制御部の読み出し制御機能）
【特許請求の範囲】
【請求項１】
撮像光の受光面に多数の画素を備え、該各画素で受光した撮像光に対応する電荷を撮像データとして出力する撮像素子と、
それぞれ所定の配置で同一平面上に設けられた、上記撮像光の赤色成分を抽出する多数の赤色フィルタ部と、上記撮像光の緑色成分を抽出する多数の緑色フィルタ部と、上記撮像光の青色成分を抽出する多数の青色フィルタ部と共に、少なくとも上記撮像素子の上記受光面の略中心部及び該受光面の周辺部における上記撮像光の赤外線成分を検出するために、それぞれ配置された複数の赤外線透過フィルタ部とを備え、一つの上記画素上に上記いずれか一つのフィルタ部が位置するように、上記撮像素子の上記受光面に設けられるカラーフィルタと、
上記カラーフィルタの上記各フィルタ部を介して上記撮像素子の各画素で受光された撮像光に対応する上記撮像データを読み出すように、該撮像素子を読み出し制御する読み出し制御部と、
上記読み出し制御部により読み出された上記各画素の撮像データのうち、上記各赤外線透過フィルタ部に対応する画素から読み出された撮像データに基づいて、該各画素毎の上記撮像光の赤外線成分量を検出する赤外線成分量検出部と、
上記赤外線成分量検出部で検出された量の赤外線成分を、当該赤外線成分の検出を行った画素の周辺に位置する、上記赤色フィルタ部、上記緑色フィルタ部、及び上記青色フィルタ部を介した撮像光を受光した各画素から得られた上記各撮像データからそれぞれ除去して出力する赤外線成分除去部と
を有する撮像装置。
【請求項２】
上記カラーフィルタは、一つの赤色フィルタ部、一つ或いは二つの緑色フィルタ部、及び一つの青色フィルタ部を一塊りとし、この一塊りに対して一つの赤外線透過フィルタ部を割り当てて形成されている
請求項１に記載の撮像装置。
【請求項３】
上記カラーフィルタの上記一塊りの各フィルタ部は、上記赤色フィルタ部の列方向に隣接して一つの上記緑色フィルタ部が配置され、上記緑色フィルタ部の行方向に隣接して上記青色フィルタ部が配置されており、この一塊りに対して一つ割り当てられる上記赤外線透過フィルタ部は、上記赤色フィルタ部の行方向に隣接し、かつ、上記青色フィルタ部の列方向に隣接して配置される
請求項２に記載の撮像装置。
【請求項４】
上記カラーフィルタの上記一塊りの各フィルタ部は、上記赤色フィルタ部の列方向に隣接して第１の緑色フィルタ部が配置され、上記第１の緑色フィルタ部の行方向に隣接して上記青色フィルタ部が配置され、上記赤色フィルタ部の行方向に隣接し、かつ、上記青色フィルタ部の列方向に隣接して第２の緑色フィルタ部が配置されており、この一塊りに対して一つ割り当てられる上記赤外線透過フィルタ部は、当該一塊りの略中心に配置される
請求項２に記載の撮像装置。
【請求項５】
撮像光の受光面に多数の画素を備え、該各画素で受光した撮像光に対応する電荷を撮像データとして出力する撮像素子の上記受光面に、それぞれ所定の配置で同一平面上に設けられた、上記撮像光の赤色成分を抽出する多数の赤色フィルタ部と、上記撮像光の緑色成分を抽出する多数の緑色フィルタ部と、上記撮像光の青色成分を抽出する多数の青色フィルタ部と共に、少なくとも上記撮像素子の上記受光面の略中心部及び該受光面の周辺部における上記撮像光の赤外線成分を抽出するように、それぞれ配置された複数の赤外線透過フィルタ部とを備え、一つの上記画素上に上記いずれか一つのフィルタ部が位置するようにカラーフィルタを設け、読み出し制御部が、上記カラーフィルタの上記各フィルタ部を介して上記撮像素子の各画素で受光された撮像光に対応する上記撮像データを読み出すように、該撮像素子を読み出し制御する読み出し制御ステップと、
赤外線成分量検出部が、上記読み出し制御ステップで読み出された上記各画素の撮像データのうち、上記各赤外線透過フィルタ部に対応する画素から読み出された撮像データに基づいて、該各画素毎の上記撮像光の赤外線成分量を検出する赤外線成分量検出ステップと、
赤外線成分除去部が、上記赤外線成分量検出ステップで検出された量の赤外線成分を、当該赤外線成分の検出を行った画素の周辺に位置する、上記赤色フィルタ部、上記緑色フィルタ部、及び上記青色フィルタ部を介した撮像光を受光した各画素から得られた上記各撮像データからそれぞれ除去して出力する赤外線成分除去ステップと
を有する撮像方法。
【請求項６】
撮像光の受光面に多数の画素を備え、該各画素で受光した撮像光に対応する電荷を撮像データとして出力する撮像素子の上記受光面に、それぞれ所定の配置で同一平面上に設けられた、上記撮像光の赤色成分を抽出する多数の赤色フィルタ部と、上記撮像光の緑色成分を抽出する多数の緑色フィルタ部と、上記撮像光の青色成分を抽出する多数の青色フィルタ部と共に、少なくとも上記撮像素子の上記受光面の略中心部及び該受光面の周辺部における上記撮像光の赤外線成分を抽出するように、それぞれ配置された複数の赤外線透過フィルタ部とを備え、一つの上記画素上に上記いずれか一つのフィルタ部が位置するようにカラーフィルタを設け、上記カラーフィルタの上記各フィルタ部を介して上記撮像素子の各画素で受光された撮像光に対応する上記撮像データを読み出すように、該撮像素子を読み出し制御する読み出し制御部としてコンピュータを機能させ、
コンピュータを上記読み出し制御部として機能させることで読み出された上記各画素の撮像データのうち、上記各赤外線透過フィルタ部に対応する画素から読み出された撮像データに基づいて、該各画素毎の上記撮像光の赤外線成分量を検出する赤外線成分量検出部としてコンピュータを機能させ、
コンピュータを上記赤外線成分量検出部として機能させることで検出された量の赤外線成分を、当該赤外線成分の検出を行った画素の周辺に位置する、上記赤色フィルタ部、上記緑色フィルタ部、及び上記青色フィルタ部を介した撮像光を受光した各画素から得られた上記各撮像データからそれぞれ除去して出力する赤外線成分除去部としてコンピュータを機能させる
撮像制御プログラム。
【請求項７】
撮像光の受光面に多数の画素を備え、該各画素で受光した撮像光に対応する電荷を撮像データとして出力する撮像素子と、
それぞれ所定の配置で同一平面上に設けられた、上記撮像光の赤色成分を抽出する多数の赤色フィルタ部と、上記撮像光の緑色成分を抽出する多数の緑色フィルタ部と、上記撮像光の青色成分を抽出する多数の青色フィルタ部と共に、少なくとも上記撮像素子の上記受光面の略中心部及び該受光面の周辺部における上記撮像光の赤外線成分を抽出するように、それぞれ配置された複数の赤外線透過フィルタ部とを備え、一つの上記画素上に上記いずれか一つのフィルタ部が位置するように、上記撮像素子の上記受光面に設けられるカラーフィルタと、
上記カラーフィルタの上記各フィルタ部を介して上記撮像素子の各画素で受光された撮像光に対応する上記撮像データを読み出すように、該撮像素子を読み出し制御する読み出し制御部と、
上記読み出し制御部により読み出された上記各画素の撮像データのうち、上記各赤外線透過フィルタ部に対応する画素から読み出された撮像データに基づいて、該各画素毎の上記撮像光の赤外線成分量を検出する赤外線成分量検出部と、
上記赤外線成分量検出部で検出された量の赤外線成分を、当該赤外線成分の検出を行った画素の周辺に位置する、上記赤色フィルタ部、上記緑色フィルタ部、及び上記青色フィルタ部を介した撮像光を受光した各画素から得られた上記各撮像データからそれぞれ除去して出力する赤外線成分除去部と
を備えた撮像装置を有する携帯端末装置。
【請求項１】
撮像光の受光面に多数の画素を備え、該各画素で受光した撮像光に対応する電荷を撮像データとして出力する撮像素子と、
それぞれ所定の配置で同一平面上に設けられた、上記撮像光の赤色成分を抽出する多数の赤色フィルタ部と、上記撮像光の緑色成分を抽出する多数の緑色フィルタ部と、上記撮像光の青色成分を抽出する多数の青色フィルタ部と共に、少なくとも上記撮像素子の上記受光面の略中心部及び該受光面の周辺部における上記撮像光の赤外線成分を検出するために、それぞれ配置された複数の赤外線透過フィルタ部とを備え、一つの上記画素上に上記いずれか一つのフィルタ部が位置するように、上記撮像素子の上記受光面に設けられるカラーフィルタと、
上記カラーフィルタの上記各フィルタ部を介して上記撮像素子の各画素で受光された撮像光に対応する上記撮像データを読み出すように、該撮像素子を読み出し制御する読み出し制御部と、
上記読み出し制御部により読み出された上記各画素の撮像データのうち、上記各赤外線透過フィルタ部に対応する画素から読み出された撮像データに基づいて、該各画素毎の上記撮像光の赤外線成分量を検出する赤外線成分量検出部と、
上記赤外線成分量検出部で検出された量の赤外線成分を、当該赤外線成分の検出を行った画素の周辺に位置する、上記赤色フィルタ部、上記緑色フィルタ部、及び上記青色フィルタ部を介した撮像光を受光した各画素から得られた上記各撮像データからそれぞれ除去して出力する赤外線成分除去部と
を有する撮像装置。
【請求項２】
上記カラーフィルタは、一つの赤色フィルタ部、一つ或いは二つの緑色フィルタ部、及び一つの青色フィルタ部を一塊りとし、この一塊りに対して一つの赤外線透過フィルタ部を割り当てて形成されている
請求項１に記載の撮像装置。
【請求項３】
上記カラーフィルタの上記一塊りの各フィルタ部は、上記赤色フィルタ部の列方向に隣接して一つの上記緑色フィルタ部が配置され、上記緑色フィルタ部の行方向に隣接して上記青色フィルタ部が配置されており、この一塊りに対して一つ割り当てられる上記赤外線透過フィルタ部は、上記赤色フィルタ部の行方向に隣接し、かつ、上記青色フィルタ部の列方向に隣接して配置される
請求項２に記載の撮像装置。
【請求項４】
上記カラーフィルタの上記一塊りの各フィルタ部は、上記赤色フィルタ部の列方向に隣接して第１の緑色フィルタ部が配置され、上記第１の緑色フィルタ部の行方向に隣接して上記青色フィルタ部が配置され、上記赤色フィルタ部の行方向に隣接し、かつ、上記青色フィルタ部の列方向に隣接して第２の緑色フィルタ部が配置されており、この一塊りに対して一つ割り当てられる上記赤外線透過フィルタ部は、当該一塊りの略中心に配置される
請求項２に記載の撮像装置。
【請求項５】
撮像光の受光面に多数の画素を備え、該各画素で受光した撮像光に対応する電荷を撮像データとして出力する撮像素子の上記受光面に、それぞれ所定の配置で同一平面上に設けられた、上記撮像光の赤色成分を抽出する多数の赤色フィルタ部と、上記撮像光の緑色成分を抽出する多数の緑色フィルタ部と、上記撮像光の青色成分を抽出する多数の青色フィルタ部と共に、少なくとも上記撮像素子の上記受光面の略中心部及び該受光面の周辺部における上記撮像光の赤外線成分を抽出するように、それぞれ配置された複数の赤外線透過フィルタ部とを備え、一つの上記画素上に上記いずれか一つのフィルタ部が位置するようにカラーフィルタを設け、読み出し制御部が、上記カラーフィルタの上記各フィルタ部を介して上記撮像素子の各画素で受光された撮像光に対応する上記撮像データを読み出すように、該撮像素子を読み出し制御する読み出し制御ステップと、
赤外線成分量検出部が、上記読み出し制御ステップで読み出された上記各画素の撮像データのうち、上記各赤外線透過フィルタ部に対応する画素から読み出された撮像データに基づいて、該各画素毎の上記撮像光の赤外線成分量を検出する赤外線成分量検出ステップと、
赤外線成分除去部が、上記赤外線成分量検出ステップで検出された量の赤外線成分を、当該赤外線成分の検出を行った画素の周辺に位置する、上記赤色フィルタ部、上記緑色フィルタ部、及び上記青色フィルタ部を介した撮像光を受光した各画素から得られた上記各撮像データからそれぞれ除去して出力する赤外線成分除去ステップと
を有する撮像方法。
【請求項６】
撮像光の受光面に多数の画素を備え、該各画素で受光した撮像光に対応する電荷を撮像データとして出力する撮像素子の上記受光面に、それぞれ所定の配置で同一平面上に設けられた、上記撮像光の赤色成分を抽出する多数の赤色フィルタ部と、上記撮像光の緑色成分を抽出する多数の緑色フィルタ部と、上記撮像光の青色成分を抽出する多数の青色フィルタ部と共に、少なくとも上記撮像素子の上記受光面の略中心部及び該受光面の周辺部における上記撮像光の赤外線成分を抽出するように、それぞれ配置された複数の赤外線透過フィルタ部とを備え、一つの上記画素上に上記いずれか一つのフィルタ部が位置するようにカラーフィルタを設け、上記カラーフィルタの上記各フィルタ部を介して上記撮像素子の各画素で受光された撮像光に対応する上記撮像データを読み出すように、該撮像素子を読み出し制御する読み出し制御部としてコンピュータを機能させ、
コンピュータを上記読み出し制御部として機能させることで読み出された上記各画素の撮像データのうち、上記各赤外線透過フィルタ部に対応する画素から読み出された撮像データに基づいて、該各画素毎の上記撮像光の赤外線成分量を検出する赤外線成分量検出部としてコンピュータを機能させ、
コンピュータを上記赤外線成分量検出部として機能させることで検出された量の赤外線成分を、当該赤外線成分の検出を行った画素の周辺に位置する、上記赤色フィルタ部、上記緑色フィルタ部、及び上記青色フィルタ部を介した撮像光を受光した各画素から得られた上記各撮像データからそれぞれ除去して出力する赤外線成分除去部としてコンピュータを機能させる
撮像制御プログラム。
【請求項７】
撮像光の受光面に多数の画素を備え、該各画素で受光した撮像光に対応する電荷を撮像データとして出力する撮像素子と、
それぞれ所定の配置で同一平面上に設けられた、上記撮像光の赤色成分を抽出する多数の赤色フィルタ部と、上記撮像光の緑色成分を抽出する多数の緑色フィルタ部と、上記撮像光の青色成分を抽出する多数の青色フィルタ部と共に、少なくとも上記撮像素子の上記受光面の略中心部及び該受光面の周辺部における上記撮像光の赤外線成分を抽出するように、それぞれ配置された複数の赤外線透過フィルタ部とを備え、一つの上記画素上に上記いずれか一つのフィルタ部が位置するように、上記撮像素子の上記受光面に設けられるカラーフィルタと、
上記カラーフィルタの上記各フィルタ部を介して上記撮像素子の各画素で受光された撮像光に対応する上記撮像データを読み出すように、該撮像素子を読み出し制御する読み出し制御部と、
上記読み出し制御部により読み出された上記各画素の撮像データのうち、上記各赤外線透過フィルタ部に対応する画素から読み出された撮像データに基づいて、該各画素毎の上記撮像光の赤外線成分量を検出する赤外線成分量検出部と、
上記赤外線成分量検出部で検出された量の赤外線成分を、当該赤外線成分の検出を行った画素の周辺に位置する、上記赤色フィルタ部、上記緑色フィルタ部、及び上記青色フィルタ部を介した撮像光を受光した各画素から得られた上記各撮像データからそれぞれ除去して出力する赤外線成分除去部と
を備えた撮像装置を有する携帯端末装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−２９８１０（Ｐ２０１１−２９８１０Ａ）
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願番号】特願２００９−１７１９６９（Ｐ２００９−１７１９６９）
【出願日】平成２１年７月２３日（２００９．７．２３）
【出願人】（５０２０８７５０７）ソニー エリクソン モバイル コミュニケーションズ， エービー (823)
【Ｆターム（参考）】
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願日】平成２１年７月２３日（２００９．７．２３）
【出願人】（５０２０８７５０７）ソニー エリクソン モバイル コミュニケーションズ， エービー (823)
【Ｆターム（参考）】
[ Back to top ]