撮像装置とその製造方法、携帯機器、及び撮像素子とその製造方法
複数の光学系（１０１〜１０４）に一対一に対応して、その各光軸上に、複数の撮像領域（１０５〜１０８）がそれぞれ配置されている。各撮像領域（１０５
〜１０８）は複数の画素を有している。撮像装置は、更に、撮像領域（１０５〜１０８）のそれぞれの原点を検出する原点検出手段と、原点を基準として各撮像領域（１０５〜１０８）に含まれる複数の画素の位置を特定する画素位置特定手段と、撮像領域（１０５〜１０８）のそれぞれが撮像した複数の画像を合成する合成手段とを備える。これにより、実装が容易で薄型の撮像装置を提供することができる。
〜１０８）は複数の画素を有している。撮像装置は、更に、撮像領域（１０５〜１０８）のそれぞれの原点を検出する原点検出手段と、原点を基準として各撮像領域（１０５〜１０８）に含まれる複数の画素の位置を特定する画素位置特定手段と、撮像領域（１０５〜１０８）のそれぞれが撮像した複数の画像を合成する合成手段とを備える。これにより、実装が容易で薄型の撮像装置を提供することができる。
【発明の詳細な説明】
【技術分野】
本発明は、小型で鮮明なカラー画像を得る事ができる撮像装置とその製造方法に関する。また、本発明は、撮像装置を備えた携帯機器に関する。更に、本発明は、撮像装置に用いられる撮像素子とその製造方法に関する。
【背景技術】
カメラが搭載された携帯電話などの携帯機器が普及し、その携帯機器のより小型化、薄型化、高機能化に伴い、小型、薄型、高機能の撮像装置が要求されている。
従来、組み合わせレンズと撮像素子とを用い、組み合わせレンズの一部を機械的に移動させることにより拡大写真（ズーム）を撮像する撮像装置が知られている（例えば、特開２００３−２５５２２５号公報参照）。
図３３は、従来の撮像装置の断面図である。
図３３において、２００１は凹レンズ、２００２は凸レンズ、２００３はフィルター、２００４は撮像素子、２００５はデジタル信号プロセッサー（ＤＳＰ）などの演算装置を含む基板である。レンズ系の光軸２００６が撮像素子２００４のほぼ中心を通過するように、凹レンズ２００１、凸レンズ２００２、フィルター２００３、撮像素子２００４、および基板２００５が筐体２００７に配置される。筐体の開口２００７ａを通過して筐体２００７内に入ってきた被写体からの光は、凹レンズ２００１および凸レンズ２００２によって、撮像素子２００４上に絞られる。フィルター２００３により赤外光などの不要な光が撮像素子２００４に入射するのが防止される。このとき、被写体からの光に含まれる赤色波長帯域の光、青色波長帯域の光および緑色波長帯域の光が、同じ撮像位置に且つ同じ像倍率で絞られるように、凹レンズ２００１および凸レンズ２００２を適切に組み合わせることにより、色収差による撮像画像の劣化を防止できる。撮像素子２００４上に絞られた光は、撮像素子２００４で電気信号に変換され、基板２００５中に含まれる演算装置によって処理される。この図３３には、アクチュエーターを示していないが、一般にレンズ系全体、または、レンズ系の一部を移動させ、被写体とレンズ系との間隔に応じて焦点制御することにより、鮮明な画像を得ることができる。また、凸レンズ２００２を移動させて光学系の倍率を変えることにより、拡大写真（ズーム）を撮像することができる。この様なレンズの移動は、永久磁石、電磁石、バネ材などで構成され、電磁的に駆動するアクチュエーターを用いて行われる。
しかしながら、前記従来の撮像装置では、組み合わせレンズを用いるために薄くすることができず、カメラを搭載する携帯機器が厚くなると云う課題を有していた。
【発明の開示】
本発明は、従来の課題を解決するもので、その第１の目的は、薄型の撮像装置を提供することにある。本発明の第２の目的は、実装が容易な撮像装置を提供することにある。本発明の第３の目的は、焦点制御、手振れ補正、拡大写真などの高機能を有する撮像装置を提供することにある。本発明の第４の目的は、撮像装置の薄型化を可能にする撮像素子を提供することにある。本発明の第５の目的は、手振れ補正機能を備えた携帯機器を提供することにある。
本発明の第１の撮像装置は、複数の光学系と、前記複数の光学系と一対一に対応する複数の撮像領域とを備え、前記撮像領域のそれぞれが複数の画素を有し、前記光学系のそれぞれの光軸上に前記撮像領域が１つずつ配置された撮像装置であって、更に、前記撮像領域のそれぞれの原点を検出する原点検出手段と、前記原点を基準として前記撮像領域に含まれる前記複数の画素の位置を特定する画素位置特定手段と、前記撮像領域のそれぞれが撮像した複数の画像を合成する合成手段とを備えることを特徴とする。
本発明の携帯機器は、上記の本発明の第１の撮像装置と、前記撮像装置に近接して設置された角速度センサーとを備え、前記角速度センサーにより検出した前記撮像装置の移動量を用いて手振れ補正を行う。
次に、本発明の第１の撮像装置の製造方法は、複数の光学系のそれぞれの光軸上に、それぞれが複数の画素を有する複数の撮像領域を１つずつ配置し、前記撮像領域のそれぞれの原点を検出し、前記原点を基準として前記撮像領域のそれぞれに含まれる前記複数の画素の位置を特定することを特徴とする。
本発明の撮像素子は、複数の画素と、前記複数の画素のそれぞれの受光部の、光が入射する部分に設けられた屈折率の高い光学材料と、前記屈折率の高い光学材料の周囲に設けられた屈折率の低い光学材料とを備えることを特徴とする。
本発明の第２の撮像装置は、上記の本発明の撮像素子と、少なくとも１つの光学系とを備える。
本発明の撮像素子の製造方法は、複数の画素のそれぞれの受光部の上に屈折率の低い光学材料からなる第１層を形成する工程と、前記第１層の前記受光部の上に第１穴を形成する工程と、前記第１穴に屈折率の高い光学材料を埋め込む工程と、前記第１穴に埋め込まれた前記屈折率の高い光学材料及び前記第１層の上に、屈折率の低い光学材料からなる第２層を形成する工程と、前記第２層の前記受光部が対向する位置に第２穴を形成する工程と、前記第２穴に屈折率の高い光学材料を埋め込む工程と備えることを特徴とする。
次に、本発明の第３の撮像装置は、少なくとも１つの光学系と、撮像素子と、前記少なくとも１つの光学系と前記撮像素子との相対的位置を、前記少なくとも１つの光学系の光軸に対して平行な方向又は垂直な方向に変化させる駆動手段とを備える撮像装置であって、前記駆動手段は、弾性体と、前記弾性体の少なくとも一方の面に貼り合わされた圧電素子とを備えた振動子、及び前記振動子に接続された弾性バネ部からなる少なくとも１つのアクチュエーターを含み、前記アクチュエーターの前記振動子側端は固定され、前記弾性バネ部側端は前記少なくとも１つの光学系又は前記撮像素子を支持していることを特徴とする。
【図面の簡単な説明】
図１は、本発明の実施形態１における撮像装置の概略構成図である。
図２は、本発明の実施形態１における撮像装置の断面図である。
図３は、本発明の実施形態１における撮像装置のレンズ側から見た平面図である。
図４は、本発明の実施形態１における撮像装置の４個の単レンズと４個の撮像素子の高精度な位置関係を示す図である。
図５は、本発明の実施形態１における撮像装置の４個の単レンズと４個の撮像素子の一般的な位置関係を示す図である。
図６Ａは、本発明の実施形態１における撮像装置の各撮像素子の原点検出方法を示す図である。図６Ｂは、本発明の実施形態１における撮像装置の各撮像素子の原点付近の光量分布を示す図である。
図７は、本発明の実施形態１における撮像装置の結像位置を示す図である。
図８は、本発明の実施形態１における撮像装置の視差の方向を示す図である。
図９は、本発明の実施形態１における撮像装置の視差定量化プログラムを示すフローチャートである。
図１０は、本発明の実施形態１における撮像装置の視差定量化過程に用いる画素群を示す図である。
図１１は、本発明の実施形態１における撮像装置の視差定量化過程に用いる光量分布を示す図である。
図１２は、本発明の実施形態１における撮像装置の視差定量化過程に用いる画素群の別の例を示す図である。
図１３は、本発明の実施形態１における撮像装置の画像処理プログラムを示すフローチャートである。
図１４は、本発明の実施形態１における撮像装置の３次元駆動手段の斜視図である。
図１５は、本発明の実施形態１における撮像装置の３次元駆動手段を構成するアクチュエーターの断面図である。
図１６は、本発明の実施形態１における撮像装置のアクチュエーターの一駆動方法を説明する図である。
図１７は、本発明の実施形態１における撮像装置のアクチュエーターの別の駆動方法を説明する図である。
図１８は、本発明の実施形態１における撮像装置のアクチュエーターの一動作を示す図である。
図１９は、本発明の実施形態１における撮像装置のアクチュエーターの別の動作を示す図である。
図２０は、本発明の実施形態１における撮像装置の別のアクチュエーターの断面図である。
図２１は、本発明の実施形態１における撮像装置の手振れ補正方法を説明する図である。
図２２Ａ及び図２２Ｂは、本発明の実施形態１における撮像装置の電子ズーム方法を説明する図である。
図２３Ａは、本発明の実施形態１における撮像装置の一実施例に係る撮像素子とレンズ系の平面図である。
図２３Ｂは、本発明の実施形態１における撮像装置の一実施例の断面図である。
図２４は、本発明の実施形態２における撮像装置の断面図である。
図２５は、本発明の実施形態３における撮像装置の概略構成図である。
図２６は、本発明の実施形態３における撮像装置のレンズ系と撮像素子を示す平面図である。
図２７は、本発明の実施形態３における撮像装置の断面図である。
図２８Ａ及び図２８Ｂは、レンズ系の焦点距離と撮像素子への光の入射角度の関係を示す図である。
図２９は、本発明の実施形態４における撮像装置に用いる撮像素子の断面図である。
図３０Ａ〜図３０Ｌは、本発明の実施形態４における撮像素子の製造プロセスを示した断面図である。
図３１Ａは、本発明の撮像装置を備えた携帯電話の一実施形態の正面図、図３１Ｂはその側面図である。
図３２は、本発明の実施形態６における撮像装置の断面図である。
図３３は、従来の撮像装置の断面図である。
【発明を実施するための最良の形態】
本発明の第１の撮像装置は、複数の光学系と、前記複数の光学系と一対一に対応する複数の撮像領域とを備え、前記撮像領域のそれぞれが複数の画素を有し、前記光学系のそれぞれの光軸上に前記撮像領域が１つずつ配置された撮像装置であって、更に、前記撮像領域のそれぞれの原点を検出する原点検出手段と、前記原点を基準として前記撮像領域に含まれる前記複数の画素の位置を特定する画素位置特定手段と、前記撮像領域のそれぞれが撮像した複数の画像を合成する合成手段とを備えることを特徴とする。
これにより、撮像装置の実装後にそれぞれの撮像領域の原点を検出し、それぞれの撮像領域に含まれる複数の画素の位置を特定することができるので、実装時点では、光学系のそれぞれの光軸と撮像領域の原点との位置関係を高精度に合わせる必要が無く、撮像装置の実装が容易になる。また、一対一に対応する複数の光学系と複数の撮像領域とを備えることにより、各光学系の色収差を緩和して光学系を薄くし、薄型の撮像装置を提供できる。
本発明の上記の第１の撮像装置において、前記原点検出手段は、前記複数の光学系と前記複数の撮像領域とを用いて撮像された被写体の複数の画像を用いて、前記撮像領域のそれぞれの前記原点を検出することが好ましい。これにより、前記原点検出が容易になる。
この場合において、前記被写体が実質的に無限遠に設置された略白色の略点光源であることが好ましい。これにより、前記原点検出の精度が向上する。
この場合において、前記原点検出手段は、前記撮像領域に含まれる前記複数の画素のうち、受光光量が最大となる画素の位置を前記原点として検出することが好ましい。これにより、前記原点検出の精度がより向上する。
あるいは、前記原点検出手段は、前記撮像領域に含まれる前記複数の画素がそれぞれ受光した光量に基づいて隣り合う画素間の光量を内挿し、受光光量が最大となる位置を前記原点として検出することが好ましい。これにより、前記原点検出の精度が更に向上する。
本発明の上記の第１の撮像装置において、前記光学系及び前記撮像領域の数がいずれも４個であり、前記合成手段は前記４個の撮像領域が撮像した４つの画像を合成することが好ましい。これにより、効率的な画像合成を実現できる。
この場合において、前記４個の撮像領域は碁盤状に配置されており、前記４個の撮像領域のうち、対角線上に配置された２個は緑色画像を撮像し、他の１個は赤色画像を撮像し、残りの１個は青色画像を撮像することが好ましい。これにより、前記被写体からの光を緑色、赤色、あるいは青色の波長帯域に分割して撮像するので、それぞれの波長帯域に対応する光学系に要求される色収差が緩和され、それぞれの光学系を薄くでき、撮像装置を薄くできる。
この場合、前記緑色画像を撮像する前記２個の撮像領域とこれらに対応する２個の前記光学系との間にそれぞれ配置された緑色のカラーフィルターと、前記赤色画像を撮像する前記１個の撮像領域とこれに対応する１個の前記光学系との間に配置された赤色のカラーフィルターと、前記青色画像を撮像する前記１個の撮像領域とこれに対応する１個の前記光学系との間に配置された青色のカラーフィルターと、それぞれの前記カラーフィルターの境界に設けられた遮光板とを更に備えることが好ましい。これにより、一つの波長帯域の光が、他の波長帯域を撮像する撮像領域に混入する事を防ぎ、鮮明なカラー画像を得ることができる。
また、２つの前記緑色画像のうち、一方を緑色基準画像とし、他方を緑色副画像とし、前記２つの緑色画像を比較して前記緑色副画像の視差を検出し、前記緑色副画像の前記視差を用いて前記赤色画像の視差及び前記青色画像の視差を求め、前記緑色副画像、前記赤色画像、及び前記青色画像のそれぞれの前記視差が減少し又は無くなるように前記緑色副画像、前記赤色画像、及び前記青色画像を補正する補正手段を更に備え、前記合成手段は、前記緑色基準画像と、補正された前記緑色副画像と、補正された前記赤色画像と、補正された前記青色画像とを合成してカラー画像を得ることが好ましい。これにより、前記複数の光学系を用いて撮像するために生じる視差を補正し、鮮明なカラー画像を得ることができる。
あるいは、２つの前記緑色画像のうち、一方を緑色基準画像とし、他方を緑色副画像とし、前記２つの緑色画像を比較して前記緑色副画像の視差を検出し、前記緑色副画像の前記視差を用いて前記赤色画像の視差及び前記青色画像の視差を求め、前記赤色画像、及び前記青色画像のそれぞれの前記視差が減少し又は無くなるように前記赤色画像及び前記青色画像を補正する補正手段を更に備え、前記合成手段は、前記緑色基準画像と、補正された前記赤色画像と、補正された前記青色画像とを合成してカラー画像を得ることが好ましい。これにより、前記複数の光学系を用いて撮像するために生じる視差を補正し、鮮明なカラー画像を得ることができる。しかも、前記緑色副画像の視差を補正する必要がなく、且つ、画像合成に補正後の緑色副画像が必要ではないので、画像合成が簡単である。
前記補正手段は、前記緑色基準画像を撮像する前記撮像領域の前記原点と前記緑色副画像を撮像する前記撮像領域の前記原点とを結ぶ方向をＧ方向とし、前記緑色基準画像を撮像する前記撮像領域の前記原点と前記赤色画像を撮像する前記撮像領域の前記原点とを結ぶ方向をＲ方向とし、前記緑色基準画像を撮像する前記撮像領域の前記原点と前記青色画像を撮像する前記撮像領域の前記原点とを結ぶ方向をＢ方向とし、前記緑色基準画像を基準にして、前記緑色副画像の視差を前記Ｇ方向のベクトルで定量化し、前記ベクトルで定量化された前記視差を基に、前記赤色画像の前記Ｒ方向の視差が減少し又は無くなるように前記赤色画像のデータを補正し、前記ベクトルで定量化された前記視差を基に、前記青色画像の前記Ｂ方向の視差が減少し又は無くなるように前記青色画像のデータを補正することが好ましい。これにより、前記視差を補正する精度が向上する。
また、前記補正手段は、前記緑色基準画像を構成する画素群の中から光量分布を求めるための基準となる複数の基準画素を選抜し、前記緑色副画像を構成する画素群の中から前記複数の基準画素に対応する、視差を調査するための複数の調査用画素を選抜し、前記複数の基準画素のそれぞれの光量を検出し、その元量の分布を第１光量分布として求め、前記複数の調査用画素のそれぞれの光量を検出し、その光量の分布を第２光量分布として求め、前記第１光量分布と前記第２光量分布とを比較し、それぞれの光量分布に含まれる共通する特徴的部分を認識し、前記第１光量分布に含まれる前記特徴的部分と前記第２光量分布に含まれる前記特徴的部分との間の変位を算出し、前記変位をもとに前記緑色副画像の視差の大きさを定量化することが好ましい。これにより、前記視差を補正する精度がより向上する。
この場合において、前記補正手段は、前記複数の基準画素間に仮想の画素を内挿して前記第１光量分布を求め、前記複数の調査用画素間に仮想の画素を内挿して前記第２光量分布を求めることが好ましい。これにより、視差を補正する精度が更に向上する。
本発明の上記の第１の撮像装置において、異なる時刻に複数回の撮像を行い、各撮像回ごとに前記複数の撮像領域がそれぞれ撮像した複数の画像を合成して前記複数回の撮像に一対一に対応する複数の第１合成画像を作り、前記複数の第１合成画像を比較し、前記複数の第１合成画像のうち一致する部分が重なるように前記複数の第１合成画像を移動して更に合成して第２合成画像を作ることが好ましい。これにより、手振れが補正された画像を得ることができる。
この場合において、前記複数の撮像領域がそれぞれ撮像した前記複数の画像のそれぞれは、緑色画像、赤色画像、又は青色画像であり、前記複数の第１合成画像はカラー画像であることが好ましい。これにより、手振れが補正され、且つ、前記視差が補正された鮮明なカラー画像を得ることができる。
あるいは、本発明の上記の第１の撮像装置において、異なる時刻に複数回の撮像を行い、同じ前記撮像領域が異なる時刻に撮像した複数の画像を比較し、前記複数の画像のうち一致する部分が重なるように前記複数の画像を移動して合成して、前記複数の撮像領域に一対一に対応する複数の第１合成画像を作り、前記複数の第１合成画像を更に合成して第２合成画像を作ることが好ましい。これにより、手振れが補正された画像を得ることができる。
この場合において、前記複数回の撮像を行った複数の時刻のうちの１つの時刻を前記複数の撮像領域に共通する基準時とし、前記基準時に撮像された画像の座標を維持しながら、前記基準時に撮像された画像に対して前記基準時以外の時刻に撮像された画像を移動して合成して前記複数の第１合成画像を作ることが好ましい。これにより、前記視差を補正する精度が向上する。
また、前記複数の第１合成画像のぞれぞれは緑色画像、赤色画像、又は青色画像であり、前記第２合成画像はカラー画像であることが好ましい。これにより、手振れが補正され、且つ、前記視差が補正された鮮明なカラー画像を得ることができる。
本発明の携帯機器は、上記の本発明の第１の撮像装置と、前記撮像装置に近接して設置された角速度センサーとを備え、前記角速度センサーにより検出した前記撮像装置の移動量を用いて手振れ補正を行う。これにより、高速に手振れを補正できる携帯機器を実現できる。
本発明の上記の第１の撮像装置において、前記複数の光学系及び前記複数の撮像領域のうちの一方を他方に対して一体的に移動して、前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の光学系のそれぞれの光軸に対して平行な方向又は垂直な方向に変化させる駆動手段を更に備えることが好ましい。これにより、焦点制御機能や拡大写真機能を実現できる。
この場合において、前記駆動手段は、前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の光学系のそれぞれの光軸に垂直で、且つ、互いに直交する２方向に変化させることが好ましい。これにより、前記拡大写真の品質を向上できる。
また、前記駆動手段は、前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の撮像領域にそれぞれ含まれる前記複数の画素の配列方向に対して略平行な方向に変化させることが好ましい。これにより、前記拡大写真の品質をより向上できる。
前記駆動手段は、弾性体と、前記弾性体の少なくとも一方の面に貼り合わされた圧電素子とを備えた振動子、及び前記振動子に接続された弾性バネ部からなる少なくとも１つのアクチュエーターを含み、前記アクチュエーターの前記振動子側端は固定され、前記弾性バネ部側端は前記複数の光学系又は前記複数の撮像領域を支持していることが好ましい。これにより、前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の光学系のそれぞれの光軸に対して平行な方向及び／又は垂直な方向に変化させることを可能にする具体的な駆動手段を提供でき、その結果、焦点制御機能や拡大写真機能を実現できる。
この場合において、前記圧電素子が前記弾性体の両面に貼り合わされており、両面の前記圧電素子は互いに独立した信号で駆動されることが好ましい。これにより、前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の光学系のそれぞれの光軸に対して平行な方向及び／又は垂直な方向に、独立に変化させることができる。
前記駆動手段は２つの前記アクチュエーターを含み、前記２つのアクチュエーターは、前記複数の光学系又は前記複数の撮像領域を挟んで対向して配置されていることが好ましい。これにより、前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の光学系のそれぞれの光軸に対して平行な方向及び／又は垂直な方向に、安定に変化させることができる。
あるいは、前記駆動手段は４つの前記アクチュエーターを含み、前記４つのアクチュエーターは、略同一平面内で、前記複数の光学系又は前記複数の撮像領域を中心として９０度間隔で配置されていることが好ましい。これにより、前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の光学系のそれぞれの光軸に対して平行な方向及び／又は垂直で且つ互いに直交する２方向に、安定に変化させることができる。
前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の光学系のそれぞれの光軸に対して垂直な方向に、隣り合う前記画素の中心間隔の半分だけ変化させて、異なる時刻に複数回の撮像を行い、各撮像回ごとに前記複数の撮像領域がそれぞれ撮像した複数の画像を合成して複数回の撮像に一対一に対応する複数の第１合成画像を作り、前記複数の第１合成画像を更に合成して第２合成画像を作ることが好ましい。これにより、拡大写真の撮像が可能になる。
この場合において、前記複数の撮像領域がそれぞれ撮像した前記複数の画像のそれぞれは、緑色画像、赤色画像、又は青色画像であり、前記複数の第１合成画像はカラー画像であることが好ましい。これにより、前記視差を補正した鮮明なカラー拡大写真の撮像が可能になる。
あるいは、前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の光学系のそれぞれの光軸に対して垂直な方向に、隣り合う前記画素の中心間隔の半分だけ変化させて、異なる時刻に複数回の撮像を行い、同じ前記撮像領域が異なる時刻に撮像した複数の画像を合成して前記複数の撮像領域に一対一に対応する複数の第１合成画像を作り、前記複数の第１合成画像を更に合成して第２合成画像を作ることが好ましい。これにより、拡大写真の撮像が可能になる。
この場合において、前記複数の第１合成画像のそれぞれは緑色画像、赤色画像、又は青色画像であり、前記第２合成画像はカラー画像であることが好ましい。これにより、前記視差を補正した鮮明なカラー拡大写真の撮像が可能になる。
本発明の上記の第１の撮像装置において、前記複数の光学系のそれぞれが単レンズからなることが好ましい。これにより、前記光学系を薄くして撮像装置を薄くできる。
この場合において、前記単レンズの少なくとも１面に回折格子が設けられていることが好ましい。これにより、撮像画像の品質を向上できる。
本発明の上記の第１の撮像装置において、前記複数の撮像領域のそれぞれが互いに別個の撮像素子からなることが好ましい。これにより、高速な信号処理が可能になる。
あるいは、本発明の上記の第１の撮像装置において、前記複数の撮像領域のうちの少なくとも２つは、共通する１つの撮像素子を分け合っていることが好ましい。これにより、撮像装置の実装がより簡略になる。
次に、本発明の第１の撮像装置の製造方法は、複数の光学系のそれぞれの光軸上に、それぞれが複数の画素を有する複数の撮像領域を１つずつ配置し、前記撮像領域のそれぞれの原点を検出し、前記原点を基準として前記撮像領域のそれぞれに含まれる前記複数の画素の位置を特定することを特徴とする。
これにより、撮像装置の実装後にそれぞれの撮像領域の原点を検出し、それぞれの撮像領域に含まれる複数の画素の位置を特定することができるので、実装時点では、光学系のそれぞれの光軸と撮像領域の原点との位置関係を高精度に合わせる必要が無く、撮像装置の実装が容易になる。
本発明の上記の第１の撮像装置の製造方法において、前記複数の光学系と前記複数の撮像領域とを用いて撮像された被写体の複数の画像を用いて、前記撮像領域のそれぞれの前記原点を検出することが好ましい。これにより、前記原点検出が容易になる。
この場合において、前記被写体が実質的に無限遠に設置された略白色の略点光源であることが好ましい。これにより、前記原点検出の精度が向上する。
この場合において、前記撮像領域に含まれる前記複数の画素のうち、受光光量が最大となる画素の位置を前記原点として検出することが好ましい。これにより、前記原点検出の精度がより向上する。
あるいは、前記撮像領域に含まれる前記複数の画素がそれぞれ受光した光量に基づいて隣り合う画素間の光量を内挿し、受光光量が最大となる位置を前記原点として検出することが好ましい。これにより、前記原点検出の精度が更に向上する。
本発明の撮像素子は、複数の画素と、前記複数の画素のそれぞれの受光部の、光が入射する部分に設けられた屈折率の高い光学材料と、前記屈折率の高い光学材料の周囲に設けられた屈折率の低い光学材料とを備えることを特徴とする。
これにより、広角度で斜入射の光を効率よく受光できるので、焦点距離を短くでき、撮像素子を薄くすることができる。
上記の本発明の撮像素子において、前記屈折率の高い光学材料の屈折率は１．８以上であり、前記屈折率の低い光学材料の屈折率は１．８以下であることが好ましい。これにより、広角度で斜入射の光を受光する効率がより向上する。
また、上記の本発明の撮像素子において、前記屈折率の高い光学材料の、前記受光部に近い側の径は、前記屈折率の高い光学材料の、光が入射する側の径より小さいことが好ましい。これにより、広角度で斜入射の光を受光する効率が更に向上する。
本発明の第２の撮像装置は、上記の本発明の撮像素子と、少なくとも１つの光学系とを備える。これにより、薄型の撮像装置を実現できる。
本発明の撮像素子の製造方法は、複数の画素のそれぞれの受光部の上に屈折率の低い光学材料からなる第１層を形成する工程と、前記第１層の前記受光部の上の位置に第１穴を形成する工程と、前記第１穴に屈折率の高い光学材料を埋め込む工程と、前記第１穴に埋め込まれた前記屈折率の高い光学材料及び前記第１層の上に、屈折率の低い光学材料からなる第２層を形成する工程と、前記第２層の前記受光部が対向する位置に第２穴を形成する工程と、前記第２穴に屈折率の高い光学材料を埋め込む工程と備えることを特徴とする。
これにより、広角度で斜入射の光を効率よく受光する、撮像素子を効率よく製造できる。
上記の本発明の撮像素子の製造方法において、前記屈折率の高い光学材料の屈折率は１．８以上であり、前記屈折率の低い光学材料の屈折率は１．８以下であることが好ましい。これにより、広角度で斜入射の光を受光する効率がより向上した撮像素子が得られる。
また、本発明の撮像素子の製造方法において、前記第１穴の開口径は、前記第２穴の開口径より小さいことが好ましい。これにより、広角度で斜入射の光を受光する効率が更に向上した撮像素子が得られる。
次に、本発明の第３の撮像装置は、少なくとも１つの光学系と、撮像素子と、前記少なくとも１つの光学系と前記撮像素子との相対的位置を、前記少なくとも１つの光学系の光軸に対して平行な方向又は垂直な方向に変化させる駆動手段とを備える撮像装置であって、前記駆動手段は、弾性体と、前記弾性体の少なくとも一方の面に貼り合わされた圧電素子とを備えた振動子、及び前記振動子に接続された弾性バネ部からなる少なくとも１つのアクチュエーターを含み、前記アクチュエーターの前記振動子側端は固定され、前記弾性バネ部側端は前記少なくとも１つの光学系又は前記撮像素子を支持していることを特徴とする。
これにより、前記少なくとも１つの光学系と前記撮像素子との相対的位置を、前記少なくとも１つの光学系の光軸に対して平行な方向又は垂直な方向に変化させることを可能にする具体的な駆動手段を提供でき、その結果、焦点制御機能、拡大写真機能、接写写真機能を実現できる。
上記の本発明の第３の撮像装置において、前記圧電素子が前記弾性体の両面に貼り合わされており、両面の前記圧電素子は互いに独立した信号で駆動されることが好ましい。これにより、前記少なくとも１つの光学系と前記撮像素子との相対的位置を、前記少なくとも１つの光学系の光軸に対して平行な方向及び／又は垂直な方向に、独立に変化させることができる。
前記駆動手段は２つの前記アクチュエーターを含み、前記２つのアクチュエーターは、前記少なくとも１つの光学系又は前記撮像素子を挟んで対向して配置されていることが好ましい。これにより、前記少なくとも１つの光学系と前記撮像素子との相対的位置を、前記少なくとも１つの光学系の光軸に対して平行な方向及び／又は垂直な方向に、安定に変化させることができる。
あるいは、前記駆動手段は４つの前記アクチュエーターを含み、前記４つのアクチュエーターは、略同一平面内で、前記少なくとも１つの光学系又は前記撮像素子を中心として９０度間隔で配置されていることが好ましい。これにより、前記少なくとも１つの光学系と前記撮像素子との相対的位置を、前記光学系の光軸に対して平行な方向及び／又は垂直で且つ互いに直交する２方向に、安定に変化させることができる。
以下、本発明を、好ましい実施形態を示しながら詳細に説明する。
（実施形態１）
本発明の実施形態１における撮像装置を説明する。
図１は、本発明の実施形態１における撮像装置の概略構成図である。図２は、本発明の実施形態１における撮像装置の断面図である。図３は、本発明の実施形態１における撮像装置のレンズ側から見た平面図である。
図１において、実施形態１の撮像装置は４個の単レンズ１０１、１０２、１０３、１０４と、これらと一対一に対応する４個の撮像素子１０５、１０６、１０７、１０８とを有する。図１に示す様に、単レンズ１０１、１０２、１０３、１０４の光軸１０９、１１０、１１１、１１２の方向をＺ軸、Ｚ軸と直交する一方向をＸ軸、Ｘ軸及びＺ軸と直交する方向をＹ軸とする。Ｘ軸、Ｙ軸、Ｚ軸の正の方向はそれぞれ図１の矢印の方向とする。４個の単レンズ１０１、１０２、１０３、１０４はほぼ同一平面（ＸＹ平面と平行な面）上に碁盤状に設置され、また、４個の撮像素子１０５、１０６、１０７、１０８もほぼ同一平面（ＸＹ平面と平行な面）上に碁盤状に設置されている。単レンズ１０１、１０２、１０３、１０４の各々の光軸１０９、１１０、１１１、１１２が各々の撮像素子１０５、１０６、１０７、１０８の中心付近を通過する様に、４個の単レンズ１０１、１０２、１０３、１０４及び４個の撮像素子１０５、１０６、１０７、１０８が配置されている。
図２において、４個の単レンズ１０１、１０２、１０３、１０４は、それぞれ少なくとも片面に非球面を備えた非球面レンズであって、これらは一体化されている。例えば、ガラスまたはプラスチックを用いて一体に成形する事ができる。対応する単レンズと撮像素子との間にそれぞれカラーフィルターが設置され、２０１は単レンズ１０１と撮像素子１０５との間に設置されたカラーフィルター、２０２は単レンズ１０２と撮像素子１０６との間に設置されたカラーフィルター、２０３は単レンズ１０３と撮像素子１０７との間に設置されたカラーフィルター、２０４は単レンズ１０４と撮像素子１０８との間に設置されたカラーフィルターである。各々のカラーフィルターは赤色波長帯域、緑色波長帯域、または青色波長帯域の光を透過させる。２０５は遮光板であり、各々の撮像素子が一つの波長帯域の光だけを受光し、また、カラーフィルターで反射された波長帯域の光が散乱して他のカラーフィルターに混入する事を防ぐ。２０６はデジタル信号プロセッサー（ＤＳＰ）などの演算装置を含む基板であり、その上に４個の撮像素子１０５、１０６、１０７、１０８が設置される。２０７は撮像装置の筐体であり、４個の単レンズの光軸がそれぞれ対応する撮像素子のほぼ中心を通過する様に、４個の単レンズ１０１、１０２、１０３、１０４、４個のカラーフィルター２０１，１０２，２０３，２０４、４個の撮像素子１０５、１０６、１０７、１０８、基板２０６を保持する。
図２では、撮像素子１０５、１０６、１０７、１０８および基板２０６は空中に浮いているように示されているが、実際にはアクチュエーター（後述）を介して筐体２０７に支持されている。４個の単レンズ１０１、１０２、１０３、１０４と４個の撮像素子１０５、１０６、１０７、１０８との相対位置は、各々の単レンズの光軸に垂直な方向及び／又は平行な方向に、このアクチュエーターを用いて変化させる事ができる。
図３において、１０１、１０２、１０３、１０４はそれぞれ単レンズ、２０１、２０２、２０３、２０４はそれぞれカラーフィルター、２０５は遮光板、２０７は筐体である。「Ｒ」、「Ｇ」、「Ｂ」は、各単レンズ１０１、１０２、１０３、１０４に対応して配置されたカラーフィルター２０１、２０２、２０３、２０４が透過させる光の波長帯域を示しており、順に、赤色波長帯域、緑色波長帯域、および青色波長帯域を示している。従って、図３の実施形態１の撮像装置は、一つの赤色波長帯域透過フィルター２０１、二つの緑色波長帯域透過フィルター２０２，２０３、および一つの青色波長帯域透過フィルター２０４を有し、二つの緑色波長帯域透過フィルター２０２，２０３は対角線上に配置されている。
図１、図２、図３で示した本発明の実施形態１では、単レンズ１０１に入射した被写体からの光のうち赤色波長帯域の光はカラーフィルター２０１を透過して撮像素子１０５に入射する。また、単レンズ１０２および１０３に入射した被写体からの光のうち緑色波長帯域の光はそれぞれカラーフィルター２０２および２０３を透過して撮像素子１０６および１０７に入射する。そして、単レンズ１０４に入射した被写体からの光のうち青色波長帯域の光はカラーフィルター２０４を透過して撮像素子１０８に入射する。このように、被写体からの光は赤色波長帯域光、緑色波長帯域光、および青色波長帯域光に分離されて、撮像素子１０５、１０６、１０７、および１０８で撮像されるので、各々のレンズ系に要求される色収差を緩和する事ができ、単レンズを用いても、赤色、青色、緑色のそれぞれの波長帯域では色収差の小さい画像が得られる。各々の波長領域光に対して複数枚の組み合わせレンズを用いる必要がなく光学系を薄くでき、従って撮像装置を薄くできる。本発明の実施形態１では１枚の非球面レンズを用いている。
［原点検出及び画素位置特定］
本発明の実施形態１においては、４個の撮像素子１０５、１０６、１０７、１０８で撮像された４個の画像を合成してカラー画像を得る。この画像合成はＤＳＰなどの演算装置を含む基板２０６が司る。各撮像素子は多数の画素で構成されているので、複数個の撮像素子の画像を合成するには、各々の撮像素子に含まれる各画素に、その位置に対応した座標を指定する必要があり、この各画素の座標指定を行うにあたっては、その基準となる原点が必要である。
次に、実施形態１の撮像装置について、各撮像素子の原点および複数画素の座標指定について説明する。
図４は、本発明の実施形態１における撮像装置の４個の単レンズと４個の撮像素子の高精度な位置関係を示す図である。図５は、本発明の実施形態１における撮像装置の４個の単レンズと４個の撮像素子の一般的な位置関係を示す図である。図４および図５において、図１〜図３と同じ構成要素については同じ符号を用い、それらの説明を省略する。
図４において、１０５、１０６、１０７、１０８は撮像素子であり、各撮像素子において格子枠で区分された正方形の一つ一つは画素を表す。図では、簡単のために９行１３列だけの画素を示しているが、実際にはより多くの画素で構成されている。単レンズ１０１、１０２、１０３、１０４の各々の光軸が、撮像素子１０５、１０６、１０７、１０８と交わる位置の画素に斜線を施している。図４の配置では単レンズ１０１、１０２、１０３、１０４の各々の光軸は対応する撮像素子１０５、１０６、１０７、１０８の中心を通過しており、このような場合では、各々の撮像素子の中心に位置する画素を原点とする事ができる。これらの原点を基準に、各々の撮像素子の各画素に座標を割り当てる。例えば、撮像素子１０５について、単レンズ１０１の光軸が通過する中心画素を座標（０、０）として、撮像素子１０５の各画素はＸ方向には（−６）〜（＋６）までの座標値を持ち、また、Ｙ方向には（−４）〜（＋４）までの座標値を持ち、合計１１７個の画素の各々の位置を座標で特定できる。同様に、撮像素子１０６、１０７、１０８についても、単レンズ１０２、１０３、１０４の光軸が通過する各撮像素子の中心画素を各々の撮像素子の座標（０、０）として、各画素に座標を割り当てることができる。
図４の様な、４個の単レンズの光軸が４個の撮像素子の中心を通過するような配置を実現するには、非常に高精度な実装を必要とする。従来にも、４個のレンズと４個の撮像素子とを用い、４個の画像を合成して一つのカラー画像を作る技術は提案されている。例えば、特開２００１−０７８２１３号公報、特開２００２−２０４４６２号公報、特開２００２−２０９２２６号公報には、レンズ光軸と撮像素子中心との高精度な位置関係を前提とする撮像装置が記載されている。
しかし、各画素の１辺は２〜３μｍ程度であり、常に図４の様な高精度配置を確保する事は困難である。一般には、４個の単レンズ、４個の撮像素子、その他のカラーフィルターなどの部品を組み立てた場合には、４個の単レンズの光軸が４個の撮像素子の各々の中心画素を通過するとは限らない。
図５において、４個の撮像素子１０５、１０６、１０７、１０８の配置は図４に比べて僅かにずれており、且つ、４個の単レンズ１０１、１０２、１０３、１０４の配置は図４に比べて僅かに回転している。一般的な実装精度では、各レンズ系の光軸が対応する撮像素子の中心を通過するとは限らない。本発明の実施形態１では、例として図５の状態を用いて説明する。各撮像素子１０５、１０６、１０７、１０８において格子枠で区分された正方形の一つ一つは画素を表す。図では、簡単のために９行１３列だけの画素を示しているが、実際にはより多くの画素で構成されている。単レンズ１０１、１０２、１０３、１０４の各々の光軸が、撮像素子１０５、１０６、１０７、１０８と交わる位置の画素に斜線を施している。これらの各光軸上の画素を各撮像素子の原点とし、これらの原点を基準に各撮像素子の各画素に座標を割り当てる。例えば、撮像素子１０５について、単レンズ１０１の光軸が通過する画素を座標（０、０）とすれば、撮像素子１０５の各画素はＸ方向に（−７）〜（＋５）の座標値を持ち、Ｙ方向には（−４）〜（＋４）の座標値を持つ。また、撮像素子１０６については、単レンズ１０２の光軸が通過する画素を座標（０、０）とすれば、撮像素子１０６の各画素はＸ方向に（−６）〜（＋６）の座標値を持ち、Ｙ方向には（−３）〜（＋５）の座標値を持つ。同様に、撮像素子１０７は座標（０、０）を基準にＸ方向に（−６）〜（＋６）、Ｙ方向に（−４）〜（＋４）の座標値を持ち、撮像素子１０８は座標（０、０）を基準にＸ方向に（−５）〜（＋７）、Ｙ方向に（−３）〜（＋５）の座標値を持つ。
実施形態１の撮像装置では、実装時点では、各単レンズの光軸と各撮像素子との位置関係を特別に指定しない。４個の単レンズ、４個の撮像素子、その他のカラーフィルターなどの部品を筐体に組み付けた後に、各撮像素子の原点（各レンズ光軸上の画素）を検出し、原点上の画素の座標を（０，０）と指定し、この原点を基準に他の多くの画素の座標を指定する。各撮像素子の原点は、実装後に、何らかの被写体を撮像し、各々の撮像素子が撮像した画像を用いて検出する事ができる。例えば、遠景の被写体を撮像し、その中の特徴的な点像を撮像する画素を原点とする方法が考えられる。
次に、実施形態１の撮像装置について、原点を検出する方法を説明する。
図６Ａは、本発明の実施形態１における撮像装置の各撮像素子の原点検出方法を示す図である。図６Ｂは、本発明の実施形態１における撮像装置の各撮像素子の原点付近の光量分布を示す図である。
図６Ａにおいて、６０１は実装後の撮像装置、６０２は略白色の略点光源である。実質的に無限遠（例えば１０ｍ離した距離）に置かれた略白色光源（例えば豆電球）６０２を各撮像素子で撮像する。略白色光源からは緑色、赤色、青色の光が放射されるので、４個の撮像素子の全てが光源像を撮像する。
略無限遠の略点光源でも、一つだけの画素がその像を撮像するわけではない。その略無限遠の略白色光源からの光の各々の撮像素子の受光面での光量分布は例えば図６Ｂのようになる。この場合には、光源からの光を受光する画素６１１，６１２，６１３のうち、受光光量が最大となる画素６１２を、この撮像素子の原点とする。このようにして、各撮像素子の原点を検出できる。例えば、これらの原点が、図５における斜線を施した画素、すなわち、各々の単レンズの光軸が撮像素子と交わる位置にある画素である。
画素間に仮想の画素を内挿（補間）するのが好ましい。内挿は、画素間を例えば２分割、３分割、または４分割（あるいはこれ以上）して行う。画素間に仮想の画素を内挿し、この仮想の画素を挟む実在する画素の光量から、仮想の画素の光量を見積もる。これにより、略無限遠の略白色光源からの光の光量分布をより正確に検出することができるので、より正確な原点位置を検出する事ができる。
このように、撮像素子の原点を、実装後に検出する事により、非常に高精度の実装が不要となり、撮像装置の製作が容易となる。
ここで、実施形態１の撮像装置の製造方法を工程順に示すと以下の通りである。
（１）一体となった４個の単レンズ１０１、１０２、１０３、１０４、４個の撮像素子１０５、１０６、１０７、１０８、演算装置などを含む基板２０６、カラーフィルター２０１、２０２、２０３、２０４などの部品、および筐体２０７を準備する。
（２）筐体中に、一体となった４個の単レンズ、４個の撮像素子、演算装置などを含む基板、およびカラーフィルターなどの部品を組み付ける。この時、同一平面に４個の撮像素子を碁盤状に配置し、その平面に対してできるだけ平行に一体となった４個の単レンズを配置する。しかし、各単レンズの光軸に対する各撮像素子の相対的位置に関して高い組立精度は必要としない。
（３）組み立て後の撮像装置を用いて、遠方に配置した略白色光源を撮像する。各撮像素子において、受光光量が最大となる画素（或いは画素間の光量を内挿し、受光光量が最大となる位置）を、その撮像素子の原点として検出する。この白色光源として豆電球などの点光源と見なしうる光源を用いる。
（４）各撮像素子のそれぞれの原点を基準として、各撮像素子の他の多数の画素の各位置を座標で特定する。
［視差及びこの検出］
次に、実施形態１の撮像装置について、各撮像素子上の画像位置について説明する。
図７は、本発明の実施形態１における撮像装置の結像位置を示す図である。図８は、本発明の実施形態１における撮像装置の視差の方向を示す図である。図７および図８において、図１〜図６と同じ構成要素については同じ符号を用い、それらの説明を省略する。
図７において、実施形態１の撮像装置を用いて被写体７００を撮像する。被写体７００の像は、単レンズ１０１を通じて撮像素子１０５上に光学像７０１として結ばれる。これと同時に、被写体７００の像は、単レンズ１０１に隣接する単レンズ１０２を通じて撮像素子１０６上に光学像７０２として結ばれる。この時、単レンズ１０１と単レンズ１０２とで、異なる位置から同一被写体７００を観察することになるので、光学像７０１と光学像７０２との間には視差が生じる。例えば、光学像７０１が単レンズ１０１の光軸上に結像されたとしても、光学像７０２は単レンズ１０２の光軸に対して視差Δだけ変位した位置に結像される。視差Δは、Δ＝Ｄ・ｆ／（Ａ−ｆ）≒Ｄ・ｆ／Ａで与えられる。ここで、Ｄは単レンズ１０１の光軸と単レンズ１０２の光軸との間隔、ｆは単レンズ１０１および１０２の焦点距離、Ａは被写体７００と単レンズ１０１および１０２との距離である。
図８において、各撮像素子１０５、１０６、１０７、１０８の原点は斜線を施した画素で表されている。図８の配置は図５と同じである。図７の説明から、視差が生じる方向は、各レンズの光軸が対応する撮像素子と交わる位置（原点）間を結ぶ方向に平行である事が分かる。２つの緑色画像を撮像する撮像素子１０７および１０６の両原点を結ぶ方向をＧ方向と定義する。また、緑色画像を撮像する撮像素子１０７の原点と青色画像を撮像する撮像素子１０８の原点とを結ぶ方向をＢ方向と定義し、緑色画像を撮像する撮像素子１０７の原点と赤色画像を撮像する撮像素子１０５の原点とを結ぶ方向をＲ方向と定義する。各撮像素子の画像の視差は、これらのＧ、Ｂ、Ｒ方向に平行に生じる。
被写体７００が単レンズ１０１、１０２、１０３、１０４から無限遠の位置にある場合（Ａ＝∞）は、実質的に視差は無い（Δ＝０）。この場合、図８において、被写体の特定点の像は各撮像素子の同じ座標値を持つ画素に作られ、例としてこの画素を「Ｋ」で示す。
被写体７００が単レンズ１０１、１０２、１０３、１０４に近づく（Ａが小さくなる）にしたがって、視差Δは大きくなり、各撮像素子上の被写体の像は互いに遠ざかる。即ち、図８において、撮像素子１０７（緑色）上の被写体像を基準とした場合は、他の撮像素子１０５（赤色）、１０６（緑色）、１０８（青色）上の被写体像は、Ｒ方向、Ｇ方向、およびＢ方向に平行にそれぞれ移動する。このような視差が生じている状態で４つの撮像素子がそれぞれ撮像した４つの被写体像の画像を、同一座標値を有する画素同士が重なるようにして合成すると、画像が劣化する。鮮明なカラー画像を得るためには、４つの被写体像の画像を合成する前に、これらの画像に含まれる視差が減少し又は無くなるように画像を補正する必要がある。
実施形態１の撮像装置では、図３の様に、緑色波長帯域の光を透過するカラーフィルター２０２，２０３が対角の象限に配置されている。これら二つのカラーフィルター２０２，２０３に対応する２つの撮像素子１０６，１０７が撮像した２つの緑色波長帯域の画像うち、撮像素子１０７による画像を緑色基準画像、撮像素子１０６による画像を緑色副画像とする。これら２つの緑色波長帯域の画像には、同じ画像が視差を含んで写っているので、これら２つの緑色画像を比較すれば、緑色副画像の視差を導き出す事ができる。緑色副画像の変位の量をＧ方向の視差ベクトルで表すと、赤色画像の変位はその視差ベクトルのＲ方向の成分量、青色画像の変位はその視差ベクトルのＢ方向の成分量である。
これらの視差を補正した後に、緑色波長帯域の基準画像、視差を補正した緑色波長帯域の副画像、視差を補正した赤色波長帯域の画像、および視差を補正した青色波長帯域の画像を合成すればカラー画像を得られる。
隣り合う画素の中心間隔は２〜３μｍである。レンズ、撮像素子、その他部品を一般的な実装方法を用いて組み立てても、その組立誤差がこの画素中心間隔の何倍にも達することはない。従って、実質的にはＲ方向は図１のＹ方向と殆ど同じであり、Ｂ方向は図１のＸ方向と殆ど同じである。また、Ｇ方向も緑色基準画像を撮像する撮像素子１０７の中心と緑色副画像を撮像する撮像素子１０６の中心とを結ぶ方向と殆ど同じである。
次に、実施形態１の撮像装置の視差検出について説明する。
図９は、本発明の実施形態１における撮像装置の視差定量化プログラムを示すフローチャートである。図１０は、本発明の実施形態１における撮像装置の視差定量化過程に用いる画素群を示す図である。図１１は、本発明の実施形態１における撮像装置の視差定量化過程に用いる光量分布を示す図である。図１２は、本発明の実施形態１における撮像装置の視差定量化過程に用いる画素群の別の例を示す図である。
図９に示すように、この視差定量化プログラムが開始されると、ステップＳ１１において、緑色基準画像を構成する画素群の中から、光量分布を求めるための基準となる複数の基準画素を選抜する。
ステップＳ１２において、緑色副画像を構成する画素群の中から上記複数の基準画素に対応する、視差を調査するための複数の調査用画素を選抜する。視差により、緑色副画像は緑色基準画像に対してＧ方向に変位するので、上記の複数の基準画素および複数の調査用画素は、図１０のように、緑色基準画像および緑色副画像の各々においてＧ方向に平行に並んだ画素群を選ぶ事が適切である。図１０では、原点（斜線を施した画素）を中心に斜めに一列に並んだ「１」〜「７」の符号を付した７つの画素を選抜している。
次にステップＳ１３において、上記複数の基準画素のそれぞれの光量を検出し、その光量分布を第１光量分布として求める。
ステップＳ１４において、上記複数の調査用画素のそれぞれの光量を検出し、その光量分布を第２光量分布として求める。
ステップＳ１５において、図１１を参照して、それぞれの光量分布に含まれる特徴的部分を認識し、第１光量分布に含まれる特徴的部分と第２光量分布に含まれる特徴的部分との間の変位を算出する。この変位が視差の大きさを表す。以上により、緑色基準画像を基準にした緑色副画像の視差がＧ方向の視差ベクトルとして定量化される。
図１１の例では、第１光量分布の特徴的部分と第２光量分布の特徴的部分とは、一画素分だけずれている。即ち、緑色副画像の緑色基準画像に対する視差は、Ｇ方向に一画素分の大きさを持つＧ方向ベクトルで表される。従って、青色画像の緑色基準画像に対する視差はＢ方向に一画素分の大きさを持つＢ方向ベクトルで表され、赤色画像の緑色基準画像に対する視差はＲ方向に一画素分の大きさを持つＲ方向ベクトルで表される。
緑色基準画像の複数の基準画素と緑色副画像の複数の調査用画素として、緑色基準画像の原点と緑色副画像の原点とを結ぶＧ方向に平行に並んだ画素を選択する事が望ましい。しかし、一般に、Ｇ方向に整然と並んだ画素群を選別できるとは限らない。図１０においても、７つの画素「１」〜「７」の配列方向は、Ｇ方向に対して僅かにずれている。このずれの程度によっては、図１２において灰色画素で示す様に、Ｇ方向に平行な領域内に２次元配列された複数の画素を選別する事が望ましい。基準画素及び調査用画素として、このような２次元配列された２つの画素群を選抜し、両画素群の光量分布を比較すると、より正確な視差を求める事ができる。
また、隣り合う基準画素間および隣り合う調査用画素間に、仮想の画素を内挿（補間）するのが好ましい。内挿は、画素間を例えば２分割、３分割、または４分割（あるいはこれ以上）して行う。画素間に仮想の画素を内挿し、この仮想の画素を挟む実在する画素の光量から、仮想の画素の光量を見積もる。これにより、第１光量分布および第２光量分布をより正確に求めることができる。従って、視差をより正確に定量化できる。
［画像合成］
次に、実施形態１の撮像装置の画像合成について説明する。
図１３は、本発明の実施形態１における撮像装置の画像処理プログラムを示すフローチャートである。
図１３に示すように、この画像処理プログラムが開始されると、ステップＳ２１において、図９の視差定量化プログラムにより、緑色基準画像を基準にして、緑色副画像の視差による変位をＧ方向の視差ベクトルで定量化する（視差定量化工程）。ステップＳ２２において、緑色副画像のＲ方向およびＢ方向の視差を補正する。ステップＳ２３において、青色画像のＢ方向の視差を補正する。ステップＳ２４で、赤色画像のＲ方向の視差を補正する。
図１１の様に視差が１画素の場合を用いてステップＳ２２〜Ｓ２４を具体的に説明する。前述した様に、Ｇ方向は対角線方向と殆ど同じ、Ｂ方向はＸ方向と殆ど同じ、また、Ｒ方向はＹ方向と殆ど同じである。従って、視差が１画素の様に小さい場合は、Ｇ方向の視差補正は対角線方向の補正と殆ど同じであり、Ｂ方向の視差補正はＸ方向の視差補正と殆ど同じであり、また、Ｒ方向の視差補正はＹ方向の視差補正と殆ど同じである。緑色副画像をＢ方向と反対方向（−Ｘ方向）に１画素移動し、且つ、Ｒ方向と反対方向（−Ｙ方向）に１画素移動して、緑色副画像の視差を補正する。即ち、緑色副画像の撮像素子１０６の座標（ｍ、ｎ）の画素データを、座標（ｍ−１、ｎ−１）の画素データとする事を意味する。また、青色画像をＢ方向と反対方向（−Ｘ方向）に１画素移動して青色画像の視差を補正する。即ち、青色画像の撮像素子１０８の座標（ｍ、ｎ）の画素データを、座標（ｍ−１、ｎ）の画素データとする事を意味する。更に、赤色画像をＲ方向と反対方向（−Ｙ方向）に１画素移動して赤色画像の視差を補正する。即ち、赤色画像の撮像素子１０５の座標（ｍ、ｎ）の画素データを、座標（ｍ、ｎ−１）の画素データとする事を意味する。
しかし、被写体が撮像装置に近づいて視差が大きい場合は、Ｂ方向とＸ方向の僅かな違い、Ｒ方向とＹ方向の僅かな違い、およびＧ方向と対角線方向の僅かな違いを考慮する必要がある。例えば、Ｂ方向がＸ方向に対して５度傾斜していれば、Ｘ方向に１１ないし１２画素の補正と同時に、Ｙ方向にも１画素分の補正を施す必要がある。
これにより、緑色副画像、赤色画像および青色画像の視差は無くなる、あるいは、非常に小さくなる。ステップＳ２５で、緑色基準画像、補正後の緑色副画像、青色画像および赤色画像を合成する。赤色画像、青色画像および緑色副画像のそれぞれにおいて視差を少なくする、あるいは、無くする様にそれぞれの画像の画素データを補正しているので、鮮明なカラー合成画像が得られる。
あるいは、緑色基準画像と緑色副画像とは実質的に同じ画像であるので、補正後の緑色副画像を用いずに、緑色基準画像、補正後の青色画像および補正後の赤色画像を合成しても実質的に同じ鮮明なカラー合成画像が得られる。
［駆動手段］
携帯電話などに搭載される撮像装置には、焦点制御、手振れ補正、拡大写真（ズーム）、接写写真（マクロ）などの機能も要求される。これらの機能を実現するには、レンズ系と撮像素子との相対位置を、レンズ系の光軸に垂直な方向または平行な方向に変化させる必要がある。実施形態１の撮像装置は、撮像素子を図１に示すＺ方向、Ｘ方向、およびＹ方向に、独立に微動できる３次元駆動手段を搭載する。図１４〜図１９を用いて、この３次元駆動手段の構造と機能を説明する。
図１４は、本発明の実施形態１における撮像装置の３次元駆動手段の斜視図である。図１５は、本発明の実施形態１における撮像装置の３次元駆動手段を構成するアクチュエーターの断面図である。図１６および図１７は、本発明の実施形態１における撮像装置のアクチュエーター駆動方法を説明する図である。図１８および図１９は、本発明の実施形態１における撮像装置のアクチュエーター動作を示す図である。図２０は、本発明の実施形態１における撮像装置の別のアクチュエーターの断面図である。図１４から図２０において、図１から図１３と同じ構成要素には同じ符号を用い、それらの説明を省略する。
図１４において、２０６は演算装置を含む基板で、その上に撮像素子１０５、１０６、１０７、１０８が配置されている。３１０，３２０は、Ｘ方向に基板２０６を挟んで配置された第１アクチュエーター、第２アクチュエーターである。３３０，３４０は、Ｙ方向に基板２０６を挟んで配置された第３アクチュエーター、第４アクチュエーターである。第１〜第４アクチュエーター３１０，３２０，３３０，３４０は、ＸＹ面と平行な面内において、基板２０６の中心を中心として９０度間隔で配置されている。
第１〜第４アクチュエーター３１０，３２０，３３０，３４０は同じ構成を有している。第１，第２，第３，第４アクチュエーター３１０，３２０，３３０，３４０は、相互に接続された振動子３１１，３２１，３３１，３４１と弾性バネ部３１２，３２２，３３２，３４２とからなる。第１，第２，第３，第４アクチュエーター３１０，３２０，３３０，３４０の振動子３１１，３２１，３３１，３４１側端は支持部３００に固定され、弾性バネ部３１２，３２２，３３２，３４２側端は基板２０６に接続されている。支持部３００は図２あるいは図３に示した筐体２０７の一部でもよい。
図１５において、振動子３１１は、導電性を有する弾性体よりなる弾性シム材３１４の両面に圧電素子３１３ａ，３１３ｂが貼り合わされてなる。弾性シム材３１４は、支持部３００と基板２０６との間に延びており、その振動子３１１より基板２０６側の一部に弾性バネ部３１２が形成されている。同様に、振動子３２１は、導電性を有する弾性体よりなる弾性シム材３２４の両面に圧電素子３２３ａ，３２３ｂが貼り合わされてなる。弾性シム材３２４は、支持部３００と基板２０６との間に延びており、その振動子３２１より基板２０６側の一部に弾性バネ部３２２が形成されている。
圧電素子３１３ａ、３１３ｂ、３２３ａ、３２３ｂは、厚み方向（Ｚ方向）に分極処理され、その表裏面に電極（図示せず）が形成されたのち、弾性シム材３１４、３２４に接着剤等で貼り合わされている。分極の方向は印加する電気信号との関係を考慮して決めれば良いが、本実施形態では、中性面として存在する弾性シム材３１４、３２４に向かう方向と分極の方向とを一致させている。従って、弾性シム材３１４、３２４の表裏面に貼り合わされている一対の圧電素子の分極方向は互いに逆方向となる。
弾性バネ部３１２，３２２は、弾性シム材３１４，３２４を波板状に曲げ加工することにより形成されている。ここでは、弾性バネ部３１２，３２２は波板形状としたが、コイルバネ形状でも同様の効果が得られる。また、エッチング等の工法を用いて弾性シム材３１４，３２４の一部を加工して、幅の狭いところや厚みの薄いところを作成して、バネ性を付与しても同様の効果が期待できる。
第１，第２アクチュエーター３１０，３２０の振動子３１１，３２１側端は、圧電素子が支持部３００に挟み込まれずに、弾性シム材３１４，３２４のみが支持部３００に挟持されるように、支持部３００に固定されている。これは、圧電素子が支持部３００に直接保持されていると、振動子３１１，３２１に振動を励振した際に、支持部３００の振動子３１１，３２１側のエッジ部で挟持された圧電素子内に著しく大きな応力が発生し、容易に圧電素子の破壊限界を越える可能性があるからである。弾性シム材３１４，３２４の圧電素子が貼り合わされていない部分を支持部３００で保持することにより、振動時の圧電素子の破損を防止して、装置の信頼性を著しく向上する事が出来る。
次に動作について説明する。第１アクチュエーター３１０の振動子３１１の表裏に貼り合わされた圧電素子３１３ａ、３１３ｂの外面側の電極と弾性シム材３１４との間に図１６（ａ）に示す信号を印加すると（圧電素子３１３ａ、３１３ｂの弾性シム材３１４側の電極は、弾性シム材３１４に貼り合わされることにより弾性シム材３１４と導通している）、圧電素子３１３ａ、３１３ｂはこの信号電位によりいずれも伸びる変位をするように分極処理が施されているため、図１８に示すように、振動子３１１は長さを伸ばすように変形する。一方、第２アクチュエーター３２０の振動子３２１の表裏に貼り合わされた圧電素子３２３ａ、３２３ｂの外面側の電極と弾性シム材３２４との間に図１６（ｂ）に示す信号を印加すると、圧電素子３２３ａ、３２３ｂはこの信号電位によりいずれも縮む変位をするように分極処理が施されているため、図１８に示すように、振動子３２１は長さを縮めるように変形する。以上の、振動子３１１，３２１の変形によって、両振動子３１１，３２１にＸ軸方向に挟まれ保持されている基板２０６およびその上の撮像素子１０５，１０６，１０７，１０８は図１８の矢印３５１の方向（Ｘ軸の正の方向）に、図１６（ｃ）に示される変位挙動で移動させられる。図１６（ｃ）にあるリンギング現象は、振動子３１１，３２１の共振によるものであり、圧電素子に印加する電圧の立ち上がりスピードを遅くすることにより、改善することが可能である。また、上記とは逆極性の駆動信号を圧電素子に印加すると図１８に示した矢印３５１の方向と逆方向に基板２０６と撮像素子を移動させることが出来る。
更に、第１アクチュエーター３１０の振動子３１１の一方の圧電素子３１３ａの外面側の電極と弾性シム材３１４との間に図１７（ａ）に示す信号を印加し、他方の圧電素子３１３ｂの外面側の電極と弾性シム材３１４との間に図１７（ｂ）に示す信号を印加すると、一方の圧電素子３１３ａは伸び、他方の圧電素子３１３ｂは縮むため、図１９に示したように振動子３１１は屈曲変形する。また、第２アクチュエーター３２０の振動子３２１の一方の圧電素子３２３ａの外面側の電極と弾性シム材３２４との間に図１７（ａ）に示す信号を印加し、他方の圧電素子３２３ｂの外面側の電極と弾性シム材３２４との間に図１７（ｂ）に示す信号を印加すると、一方の圧電素子３２３ａは伸び、他方の圧電素子３２３ｂは縮むため、図１９に示したように振動子３２１は振動子３１１と同一方向に屈曲変形する。振動子３１１，３２１の間に挟まれ保持されている基板２０６およびその上の撮像素子１０５，１０６，１０７，１０８は、弾性バネ部３１２，３２２の効果により水平状態を維持したまま、図１９の矢印３５２の方向（Ｚ軸の正の方向）に図１７（ｃ）に示した変位挙動で移動させられる。図１７（ｃ）にあるリンギング現象も、振動子３１１，３２１の共振によるものであり、圧電素子に印加する電圧の立ち上がりスピードを遅くすることにより、改善することが可能である。また、上記とは逆極性の駆動信号を圧電素子に印加すると図１９に示した矢印３５２の方向と逆方向に基板２０６と撮像素子を移動させることが出来る。
以上のことより、Ｘ方向に基板２０６を挟む第１及び第２アクチュエーター３１０，３２０により、レンズ系の光軸に垂直な一方向（Ｘ方向）と、レンズ系の光軸に平行な方向（Ｚ方向）とに、撮像素子１０５，１０６，１０７，１０８を移動させることが可能になる。
従って、図１４に示すように、基板２０６を中心としてＸＹ平面内において９０度間隔で配置された第１〜第４アクチュエーター３１０，３２０，３３０，３４０で基板２０６を保持することにより、レンズ系の光軸に平行な方向（Ｚ方向）と、レンズ系の光軸に垂直な、互いに垂直な二方向（Ｘ方向及びＹ方向）とに、撮像素子１０５，１０６，１０７，１０８を移動させることが可能になる。これにより、撮像装置に各種機能を付与することができる様になる。
振動の大きさや周波数によっては、圧電素子を支持部３００に挟み込んでも良い場合もある。図２０にその例を示す。
上記において、第１，第２アクチュエーター３１０，３２０及び第３，第４アクチュエーター３３０，３４０のいずれか一方を省略して、レンズ系の光軸に平行な方向（Ｚ方向）と、レンズ系の光軸に垂直な一方向（Ｘ方向又はＹ方向）とに、撮像素子１０５，１０６，１０７，１０８を移動させる構成とすることもできる。
また、上記のアクチュエータで単レンズ１０１、１０２、１０３、１０４を保持し、筐体２０７に対して、撮像素子１０５，１０６，１０７，１０８ではなく、単レンズ１０１、１０２、１０３、１０４を移動させてもよい。
［焦点制御機能］
実施形態１の撮像装置が備える各種機能のうち、先ず、焦点制御機能を説明する。
被写体が撮像装置から遠方にある場合には、各単レンズの焦点位置に設置された撮像素子を用いて、焦点の合った画像を撮像できる。被写体が撮像装置に近づくにつれて、撮像素子を各単レンズの焦点位置から移動する必要がある。図１４および図１５（あるいは図２０）に示した第１〜第４アクチュエーター３１０，３２０，３３０，３４０からなる３次元駆動手段を、図１９に示した様に撮像素子をＺ方向に移動させて、焦点の合った画像を撮像する事ができる。
［手振れ補正機能］
次に、実施形態１の撮像装置の手振れ補正機能を説明する。
図２１は、本発明の実施形態１における撮像装置の手振れ補正方法を説明する図である。
実施形態１の撮像装置では、手振れ補正には図１４から図２０で示した３次元駆動手段を用いる必要はなく、電子式手振れ補正方法を用いる。１秒間に３０フレームの撮像ができる場合を考える。１枚の画像の撮像に要する時間は約０．０３３秒になり、明るい環境ではこの撮影時間内に十分に鮮明な画像を撮像できる。しかし、暗い環境では約０．０３３秒の撮像時間では十分ではなく、これより長い撮像時間を要する。このような場合、この撮像時間内に手振れが生じる可能性が高く、鮮明な画像を撮れない可能性がある。そこで、以下の様な撮像方法を採用する。暗い環境では約０．０３３秒毎に複数回撮像し、それぞれの時刻で撮像素子１０５、１０６、１０７、および１０８がそれぞれ撮像した４つの画像を合成して、各回の撮像に一対一に対応した複数のカラー画像を得る。この複数時刻ごとの各々のカラー画像は、図８から図１３を用いて説明した画像合成を経て得る事ができる。次に、この複数時刻の複数のカラー画像を比較し、各画像中の一致する部分が互いに重なるようにして、複数時刻の複数のカラー画像を重ね合わせて合成する。この結果、鮮明で手振れのないカラー画像を得る。
図２１を用いて説明する。第１番目の撮像時（ｔ＝０秒）に撮像素子１０５、１０６、１０７、および１０８が撮像した４つの画像を合成して第１番目の合成カラー画像（Ａ）を作る。約０．０３３秒経過した第２番目の撮像時（ｔ＝０．０３３秒）に撮像素子１０５、１０６、１０７、および１０８が撮像した４つの画像を合成して第２番目の合成カラー画像（Ｂ）を作る。更に約０．０３３秒経過した第３番目の撮像時（ｔ＝０．０６６秒）に撮像素子１０５、１０６、１０７、および１０８が撮像した４つの画像を合成して第３番目の合成カラー画像（Ｃ）を作る。更に約０．０３３秒経過した第４番目の撮像時（ｔ＝０．０９９秒）に撮像素子１０５、１０６、１０７、および１０８が撮像した４つの画像を合成して第４番目の合成カラー画像（Ｄ）を作る。第１〜第４番目の合成カラー画像（Ａ）〜（Ｄ）内の被写体の位置は、手振れのために互いに異なっている。これら第１〜第４番目の合成カラー画像（Ａ）〜（Ｄ）を比較し、各画像中の一致する部分が互いに重なるように各々の合成カラー画像を移動させて更に合成する。これにより、被写体が第１番目の撮像から第４番目の撮像までの約０．１３２秒間に動いていても、（Ｆ）に示すように鮮明なカラー画像を得られる。これらの信号処理はデジタル信号プロセッサー（ＤＳＰ）などの演算装置を含む基板２０６が司る。比較のために、手振れ補正しないで単純に４つの時刻で撮像された画像を重ね合わせた画像（Ｅ）も示す。画像（Ｅ）は手振れの為に被写体は鮮明ではない。
あるいは、以下の様な撮像方法も可能である。約０．０３３秒毎に複数回撮像する。撮像素子１０５、１０６、１０７、および１０８の各々について、同じ撮像素子が撮像した複数時刻の複数の画像を比較し、各画像中の一致する部分が互いに重なるように各々の画像を移動させて更に合成して、４つの撮像素子に一対一に対応する手振れ補正が施された４つの単色画像を得る。次いで、この４つの単色画像を用いて、図８から図１３を用いて説明した画像合成を行い、手振れ補正が施されたカラー画像を得る。この場合、同じ撮像素子が異なる時刻に撮像した複数の画像を重ね合わせて手振れ補正された単色画像を得る際に、各撮像素子間で座標の関係を一致させなければならない。そのためには、例えば第１番目の撮像時刻を４つの撮像素子に共通する基準時とし、第１番目に撮像された画像の座標を維持しながら、第２番目以降の撮像時に撮像された各画像をこの第１番目の画像に合わせるように移動して、この第１番目の画像に順次重ね合わせる。このようにすることにより、４つの撮像素子間の座標関係を第１番目の時刻での座標に維持しながら、視差検出、視差補正、及び視差補正された画像の合成を行うことができる。言うまでもなく、基準時は第１番目の撮影時刻に限定されず、他の撮影時刻であってもよい。この手振れ補正方法を図２１を用いて示すとすれば、画像（Ａ）〜（Ｄ）は４つの撮像素子のいずれかに対する、第１〜第４番目の撮像時刻における撮像画像であり、画像（Ｆ）は第１番目の撮像画像（Ａ）の座標を維持しながら、画像（Ａ）〜（Ｄ）中の一致する部分を重なる様に合成して手振れ補正された単色の画像である。
上記の説明では互いに異なる時刻に４回撮像した画像を用いて手振れ補正する例を示したが、撮像回数は４回に限定されず、２回、３回、又は５回以上など、異なる時刻に複数回撮像して得た画像を用いて手振れ補正をしても良いことは言うまでもない。
［拡大写真機能］
次に、拡大写真（ズーム）機能について説明する。実施形態１の撮像装置では、光学的な倍率を大きくする事なしに電子的に鮮明な拡大画像を得る。そのためには、図１４から図２０に説明した３次元駆動手段を用いて、各撮像素子を各単レンズの光軸と垂直な方向に移動させる必要がある。
図２２Ａ及び図２２Ｂは、本発明の実施形態１における撮像装置の電子ズーム方法を説明する図である。図２２Ａ及び図２２Ｂにおいて、図１から図２０と同じ構成要素については同じ符号を用い、それらの説明を省略する。
図２２Ａ及び図２２Ｂにおいて、格子状の実線で仕切られた各正方形は１つの画素である。図２２Ａは撮像素子１０５、１０６、１０７、あるいは１０８の一部であり、その撮像素子に含まれる特定の一つの画素（この画素を「着目画素」という）の中心をこの撮像素子に対応するレンズ系から見た位置を「１」で表している。例えば、各画素の中心間隔を２μｍとする。各々の撮像素子１０５、１０６、１０７、および１０８を対応する単レンズの焦点位置に設置して非常に遠方を撮像できる状態にする。そして、撮像素子１０５〜１０８をＸ方向およびＹ方向に画素の中心間隔の半分（この例では１μｍ）だけ移動させながら複数回撮像する。１秒間に３０フレームの撮像ができる場合を考える。１回の撮像には約０．０３秒を要する。第１番目の画像の撮像を行う。このとき、レンズ系から見た上記の着目画素の中心は図２２Ａの「１」の位置にある。この時点で各々の撮像素子１０５、１０６、１０７、および１０８で撮像された４つの画像を合成して第１番目のカラー画像を作る。その後、高速に（例えば０．００３秒以内に）撮像素子１０５〜１０８をＸ方向に１μｍ移動させる。このとき、レンズ系から見た上記の着目画素の中心は図２２Ａの「２」の位置に移動する。この状態で第２番目の画像を撮像する。この時点で各々の撮像素子１０５、１０６、１０７、および１０８で撮像された４つの画像を合成して第２番目のカラー画像を作る。その後、高速に撮像素子１０５〜１０８を−Ｙ方向に１μｍ移動させる。このとき、レンズ系から見た上記の着目画素の中心は図２２Ａの「３」の位置に移動する。この状態で第３番目の画像を撮像する。この時点で各々の撮像素子１０５、１０６、１０７、および１０８で撮像された４つの画像を合成して第３番目のカラー画像を作る。更に、高速に撮像素子１０５〜１０８を−Ｘ方向に１μｍ移動させる。このとき、レンズ系から見た上記の着目画素の中心は図２２Ａの「４」の位置に移動する。この状態で第４番目の画像を撮像する。この時点で各々の撮像素子１０５、１０６、１０７、および１０８で撮像された４つの画像を合成して第４番目のカラー画像を作る。図２２Ｂは第１、第２、第３、および第４番目の画像撮像時における、全ての画素の中心をレンズ系から見た移動軌跡を重ねて示している。上下方向及び左右方向に隣り合う画素と画素との中間に画素が配置されているかの様に、擬似的に画素数が４倍になっている事が分かる。上記で得た第１、第２、第３、および第４番目のカラー撮像画像を更に合成すれば、撮像素子１０５〜１０８の解像度の４倍の解像度を有するカラー画像を得る事ができる。
即ち、非常に遠方の被写体を撮像する場合、撮像素子１０５〜１０８を結像位置においてＸ方向およびＹ方向に、隣り合う受光部の中心間隔の半分（隣り合う画素の中心間隔の半分）だけ移動させて４回撮像し、各撮像回ごとに単色の撮像画像をそれぞれ合成して４つのカラー画像を作成する。これらの画像合成には図９から図１３を用いて説明した方法を用いる。この４つのカラー画像を更に合成して４倍の解像度を有する合成カラー画像を得る。この合成カラー画像から例えば任意に４分の１の領域を取り出すと、撮像素子１０５〜１０８の解像度と同じ解像度を有する（即ち、解像度が劣化することなく）４倍の拡大カラー画像（ズーム）を作る事ができる。これらの信号処理はデジタル信号プロセッサー（ＤＳＰ）などの演算装置を含む基板２０６（図２参照）が司る。
あるいは、以下のようにして拡大画像を作成することも可能である。この場合も１秒間に３０フレームの撮像ができる場合を考える。１回の撮像には約０．０３秒を要する。第１番目の画像の撮像を行い、各々の撮像素子１０５、１０６、１０７、および１０８がそれぞれ撮像した４つの画像を得る。このとき、レンズ系から見た上記の着目画素の中心は図２２Ａの「１」の位置にある。その後、高速に（例えば０．００３秒以内に）撮像素子１０５〜１０８をＸ方向に１μｍ移動させる。このとき、レンズ系から見た上記の着目画素の中心は図２２Ａの「２」の位置に移動する。この状態で第２番目の画像の撮像を行い、各々の撮像素子１０５、１０６、１０７、および１０８がそれぞれ撮像した４つの画像を得る。その後、高速に撮像素子１０５〜１０８を−Ｙ方向に１μｍ移動させる。このとき、レンズ系から見た上記の着目画素の中心は図２２Ａの「３」の位置に移動する。この状態で第３番目の画像の撮像を行い、各々の撮像素子１０５、１０６、１０７、および１０８がそれぞれ撮像した４つの画像を得る。更に、高速に撮像素子１０５〜１０８を−Ｘ方向に１μｍ移動させる。このとき、レンズ系から見た上記の着目画素の中心は図２２Ａの「４」の位置に移動する。この状態で第４番目の画像の撮像を行い、各々の撮像素子１０５、１０６、１０７、および１０８がそれぞれ撮像した４つの画像を得る。次いで、各撮像素子１０５〜１０８ごとに、第１〜第４番目の画像を合成して、波長帯域が互いに異なる単色の４つの合成画像を作る。この４つの合成画像は、いずれも各撮像素子１０５〜１０８が各回で撮像した画像の４倍の解像度を有している。これらの４つの単色の高解像度合成画像を更に合成して、撮像素子１０５〜１０８の解像度の４倍の解像度を有するカラー画像を得る。この画像合成には図９から図１３を用いて説明した方法を用いる。この合成されたカラー画像から、例えば任意に４分の１の領域を取り出すと、撮像素子１０５〜１０８の解像度と同じ解像度を有する（即ち、解像度が劣化することなく）４倍の拡大カラー画像（ズーム）を作る事ができる。これらの信号処理はデジタル信号プロセッサー（ＤＳＰ）などの演算装置を含む基板２０６（図２参照）が司る。
上記では、着目画素が「１」，「２」，「３」，「４」と移動する様に、光学系と撮像素子の相対位置が４回移動する場合を説明したが、着目画素が「１」，「２」と２回移動する場合も考えられ、この場合はＸ方向に２倍の解像度を有する画像を作成できる。あるいは、着目画素が「１」，「４」と２回移動する場合も考えられ、この場合はＹ方向に２倍の解像度を有する画像を作成できる。また、「１」，「３」と２回移動する場合も考えられ、この場合はＸ方向およびＹ方向にそれぞれ擬似的に２倍の解像度を有する画像を作成できる。
【実施例】
ここで、実施形態１の撮像装置の具体的な形状、大きさの例を示す。
図２３Ａは、本発明の実施形態１における撮像装置の一実施例に係る撮像素子とレンズ系の平面図である。図２３Ｂは、本発明の実施形態１における撮像装置の一実施例の断面図である。図２３Ａおよび図２３Ｂにおいて、図１から図２２と同じ構成要素については同じ符号を用い、それらの説明を省略する。
図２３Ａおよび図２３Ｂにおいて、１０１、１０２、１０３、１０４の各々は非球面の単レンズであり、一体に成形されている。２０７は撮像装置の筐体であり、一体に成形されたレンズ系、カラーフィルター２０１、２０２、２０３、２０４を固定している。また、隣り合うカラーフィルターの境界には遮光板２０５が設置されて異なる波長帯域の光が混入する事を防いでいる。更に、筐体２０７は、振動子及び弾性バネ部から成る第１〜第４アクチュエーター３１０，３２０，３３０，３４０（図２３Ｂでは第１、第２アクチュエーター３１０，３２０のみ図示）をその一端で保持し、この第１〜第４アクチュエーター３１０，３２０，３３０，３４０の他端は演算装置を含む基板２０６を支持している。基板２０６上には撮像素子１０５、１０６、１０７、１０８が設置されている。各撮像素子は８３０行１２００列の画素を持つ、約１００万画素の撮像素子である。各画素は１辺が２μｍの正方形であり、従って、各撮像素子はＸ方向寸法が２．４ｍｍ、Ｙ方向寸法が１．６６ｍｍの長方形であり、各撮像素子の対角線長さは２．９ｍｍである。本実施例の撮像装置では、隣り合う単レンズの光軸間隔Ｄ、および、各単レンズの焦点距離ｆはいずれも２．９ｍｍとする。
被写体が無限遠にある場合は、各撮像素子を各単レンズの焦点位置に設置して撮像する。被写体が撮像装置に近づけば、各撮像素子を各単レンズの光軸に平行に、レンズから遠ざける方向に移動させて撮像する。この撮像素子の移動は、図１９の様に第１〜第４アクチュエーターの振動子３１１，３２１，３３１，３４１を湾曲させることにより実現する。例えば、撮像装置から被写体までの距離Ａが２０ｃｍの場合は、各単レンズの焦点距離ｆが２．９ｍｍであるから、各撮像素子を焦点位置から約４３μｍ移動させればよい。
４個の撮像素子で撮像された画像に対して、図９から図１３を用いて説明した画像合成（視差検出、視差補正、および視差補正された画像の合成）を行うことにより鮮明なカラー画像を得る。具体的に視差の量を見積もってみる。視差ΔはΔ＝Ｄ×（ｆ／Ａ）で計算され、被写体が撮像装置から２．９ｍ以上離れた場合（Ａ＞２．９ｍ）は、視差Δは３μｍ以下、即ち１．５画素分以下であり、視差補正の必要はなく、単純に撮像素子１０５、１０６、１０７、１０８の画像を合成すればよい。被写体が撮像装置から１．７ｍから２．９ｍの間にある場合は、視差Δは３〜５μｍ、即ち視差は１．５画素から２．５画素であり、１画素分の視差補正を施した後に各画像を合成する。一般的な人物写真は１画素分の視差補正により鮮明なカラー画像を得る事ができ、遠景は視差補正の必要は無い。
振動子３１１，３２１，３３１，３４１のうち基板２０６を挟んで対向する一対の振動子を図１８の様に伸縮させ、各撮像素子を一体に、各単レンズの光軸に垂直な方向に図２２Ａ及び図２２Ｂの様に移動させる。その移動量は画素間隔の半分である１μｍである。図２２Ａ及び図２２Ｂに示した様に、各撮像素子の画素数が擬似的に４００万画素となり、解像度を劣化させずに４倍の拡大画像を得る事ができる。
上記の実施形態１における撮像装置では、緑色基準画像及び緑色副画像を撮像する一対の撮像素子を対角線上に配置して視差を検出する場合を示したが、本発明はこれに限られるものでなく、赤色基準画像及び赤色副画像を撮像する一対の撮像素子を対角線上に配置して視差を検出しても良いし、青色基準画像及び青色副画像を撮像する一対の撮像素子を対角線上に配置して視差を検出しても良い。
また、上記の実施形態１における撮像装置では、１つの光学系と１つの撮像素子とからなる撮像ユニットを４組備えているが、この撮像ユニットの数が４以外の場合も考えられる。しかし、撮像ユニットの数が２の場合、被写体からの光を３原色である赤色、緑色、青色の波長帯域に分割して撮像する事ができず、鮮明なカラー画像が得られない。また、撮像ユニットの数が３の場合、被写体からの光を赤色、緑色、青色の各波長帯域に分割する事はできるが、赤色、緑色、青色の各波長帯域の画像はいずれも１つのみしか得られないので、２つの同じ波長帯域の画像を比較して視差を検出するという上記の実施形態の方法を行うことが困難であり、やはり鮮明なカラー画像を得る事は困難である。更に、撮像ユニットの数が５以上の場合、それらを配置する面積が大きくなり、また構成が冗長となり効率的ではない。
また、上記の実施形態１における撮像装置では、４個の別個の撮像素子を用いた。撮像素子は被写体からの光を受光して光電効果により信号を蓄積し、その蓄積信号は演算装置などに転送され、画像合成などの信号処理が行われる。一般に、蓄積信号が転送される速度は画素数が大きくなれば遅くなる。別個の撮像素子を用いる事で、個々の撮像素子の蓄積信号を独立に転送でき、高速な信号処理を実現できる。
（実施形態２）
レンズ表面に回折格子を形成した回折格子レンズについて考察する。回折格子の効率を向上させるにはブレーズ化する方法が望ましい。しかし、ある波長帯域（例えば緑色）に最適化されたブレーズ回折格子は、その波長帯域に対しては回折効率が高いが、他の波長帯域（例えば赤色または青色）に対しては効率が劣化して余分な光を生じる。撮像系では赤色、緑色、青色の全ての波長帯域に対して効率を高くする必要があり、そのために回折格子を撮像系に利用するには限界があった。
しかし、実施形態２の撮像装置では、実施形態１と同様に、複数のレンズ系と、レンズ系と同数の撮像素子を有し、各々のレンズ系の光軸上に撮像素子が一つずつ配置されている。レンズ系の各々は赤色、緑色、または青色の波長帯域のみに対応するので、各々の波長帯域に最適化されたブレーズ化された回折格子を用いる事ができる。
図２４は、本発明の実施形態２における撮像装置の断面図である。図１〜図２３と同じ構成要素については同じ符号を用い、それらの説明を省略する。
図２４において、８０１、８０２、８０３、８０４は単レンズの表面に回折格子を形成した回折格子レンズである。その他の構成部品は、図２３Ｂに示す実施形態１と同じであり、機能も同じである。
一般に、回折格子レンズは、非球面の単レンズよりも像面湾曲を改善できる。即ち、撮像素子の周辺でも高い解像度で撮像でき、鮮明な画像を得る事ができる。また、回折格子レンズの方が、非球面レンズよりも薄くする事ができ、撮像装置を薄くでき、従って、撮像装置を搭載する携帯電話などの携帯機器を薄くできる。
（実施形態３）
実施形態１では４個の撮像素子を用いたが、単一撮像素子を用い、それを４つの撮像領域に分割して用いる事もできる。
本発明の実施形態３における撮像装置の構成を説明する。
図２５は、本発明の実施形態３における撮像装置の概略構成図である。図２６は、本発明の実施形態３における撮像装置のレンズ系と撮像素子を示す平面図である。図２７は、本発明の実施形態３における撮像装置の断面図である。図２５から図２７において、図１〜図２４と同じ構成要素については同じ符号を用い、それらの説明を省略する。
図２５において、撮像装置は４個の単レンズ１０１、１０２、１０３、１０４と、単一の撮像素子９００を有する。図１と同様に、単レンズ１０１、１０２、１０３、１０４の光軸１０９、１１０、１１１、１１２の方向をＺ軸、Ｚ軸と直交する一方向をＸ軸、Ｘ軸及びＺ軸と直交する方向をＹ軸とする。４個の単レンズ１０１、１０２、１０３、１０４は一体に構成され、例えば、ガラスまたはプラスチックを用いて一体に成形する事ができる。実施形態３では、実施形態１と同様に、非球面レンズを用いる場合を示すが、実施形態２で説明した回折格子レンズ８０１、８０２、８０３、８０４を用いる事もできる。
図２６において、単一撮像素子９００は４つの撮像領域９０１、９０２、９０３、９０４に分割されている。図２６では、各々の撮像領域は９行１３列の画素のみを示したが、実際はより多くの画素から構成される。一般に、各撮像領域の間にも画素が存在するが、実施形態３では用いず、図示しない。単レンズ１０１、１０２、１０３、１０４の各々の光軸１０９、１１０、１１１、１１２が各々の撮像領域９０１、９０２、９０３、９０４の中心付近を通過する様に、４個の単レンズ１０１、１０２、１０３、１０４及び撮像素子９００を配置する。各撮像領域において、単レンズ１０１、１０２、１０３、１０４の光軸が通過する画素に斜線を施している。実施形態１と同様に、これらの光軸上の画素を原点として、各撮像領域の画素の座標を指定する。これらの原点は図６Ａ及び図６Ｂで示した方法を用いて検出できる。実施形態３の撮像装置においても、実施形態１における図３に示す様に、１つの赤色波長帯域透過フィルター、２つの緑色波長帯域透過フィルター、および１つの青色波長帯域透過フィルターを有する。
図２７において、各単レンズと各撮像領域との間にカラーフィルターが設置される。２０１は単レンズ１０１と撮像領域９０１との間に設置された赤色波長帯域透過フィルターであり、２０２は単レンズ１０２と撮像領域９０２との間に設置された緑色波長帯域透過フィルター、２０３は単レンズ１０３と撮像領域９０３との間に設置された緑色波長帯域透過フィルター、２０４は単レンズ１０４と撮像領域９０４との間に設置された青色波長帯域透過フィルターである。２０５は遮光板であり、各々の撮像領域が一つの波長帯域の光だけを受光し、また、カラーフィルターで反射された波長帯域の光が散乱して他のカラーフィルターに混入する事を防ぐ。２０６はデジタル信号プロセッサー（ＤＳＰ）などの演算装置を含む基板であり、その上に撮像素子９００が設置される。２０７は撮像装置の筐体である。
図２７では、基板２０６および撮像素子９００は空中に浮いているように示されているが、実際には、図１４から図２０を用いて説明した３次元駆動手段により支持されている。４個の単レンズ１０１、１０２、１０３、１０４と撮像素子９００との相対位置は、各々の単レンズの光軸に垂直及び／又は平行な方向に、この３次元駆動手段を用いて変化させることができる。
実施形態３の撮像装置において、４個の撮像領域９０１、９０２、９０３、および９０４で撮像された４個の画像を合成してカラー画像を得る。視差検出、視差補正、視差補正した画像の合成は、図９から図１３で示した方法で実現でき、また、焦点制御、手振れ補正、拡大写真（ズーム）撮影なども実施形態１で示した方法と同様に実現できる。その場合、実施形態１における撮像素子１０５、１０６、１０７、１０８の役割を、それぞれ撮像領域９０１、９０２、９０３、９０４が担い、これらの画像合成はＤＳＰなどの演算装置を含む基板２０６が司る。
実施形態３の様に、単一撮像素子を複数の撮像領域に分割して用いる事で、複数の撮像素子の位置合わせなどが不必要で、実装が容易になり、低コスト化できる。
上記の実施形態３では、単一撮像素子を４個の撮像領域に分割する。しかし、２個の撮像素子を用いて、それぞれの撮像素子を２個の撮像領域に分割し、合計４個の撮像領域とする事もできる。
（実施形態４）
実施形態１から３では、複数のレンズ系を持ち、各レンズ系を緑または赤または青の波長領域のみに対応させる事で、色収差への要求を緩和して、各レンズ系の焦点距離を短くできる。また、実施形態２では、レンズの表面に回折格子を形成して、像面湾曲を小さくして、更に焦点距離を短くできる。
図２８Ａ及び図２８Ｂは、レンズ系の焦点距離と撮像素子への光の入射角度の関係を示す図である。
図２８Ａは、比較的に焦点距離の長いレンズ９１１が撮像素子９２０の周辺部に光を絞る状態を示す。また、図２８Ｂは、比較的に焦点距離の短いレンズ９１２が撮像素子９２０の周辺部に光を絞る状態を示す。両図から明らかなように、レンズの焦点距離が短いほど、撮像素子９２０に入射する光の入射角は大きくなる。即ち、撮像装置を薄くするには、レンズ系を改善して焦点距離を短くすることが有効であるが、同時に、大きな入射角の光も受光できる様に、撮像素子を改善しなければならない。
次に、入射角の大きな光を受光できる撮像素子の構造を説明する。
図２９は、本発明の実施形態４における撮像装置に用いる撮像素子の断面図である。
図２９において、１００１はマイクロレンズ、１００２は屈折率の高い光学材料（以下、「高屈折率材料」という）、１００３は屈折率の低い光学材料（以下、「低屈折率材料」という）、１００４は遮光部、１００５は受光部、１００６はシリコン基板、１００７は配線部分である。一つの画素に、１つのマイクロレンズ１００１、１つの高屈折率材料１００２、１つの受光部１００５が設けられている。図２９は各画素の断面を示す。光は屈折率の高い部分に閉じ込められる傾向があり、マイクロレンズ１００１に入射する被写体からの光は高屈折率材料１００２内を通過して、受光部１００５に達する。図２９では、マイクロレンズ１００１も高屈折率材料１００２と同じ屈折率の高い光学材料で構成されている。光路１００８が示す様に、この様な井戸型導波路構造により、入射角の大きな光も受光部１００５に導く事ができる。一般に、高屈折率材料１００２の屈折率は１．８以上が好ましく、また、低屈折率材料１００３の屈折率は１．８以下が好ましい。
図２９の様な井戸型導波路構造の撮像素子は、実施形態１から４の複数のレンズ系と複数の撮像領域を有する撮像装置だけではなく、図３３の従来の撮像装置に用いても有効である。
図２９の様な構造を持つ撮像素子の製造プロセスについて説明する。
図３０Ａ〜図３０Ｌは、本発明の実施形態４における撮像素子の製造プロセスを順に示した断面図である。図３０Ａ〜図３０Ｌにおいて、図２９と同じ構成要素には同じ番号を付し、それらの説明を省略する。
図３０Ａに示すように、先ず、一般の撮像素子を製造するプロセスと同様に、シリコン基板１００６に受光部１００５、配線部１００７、および遮光部１００４を形成し、その上に低屈折率材料１００３の層（第１層）を形成する。低屈折率材料１００３として、例えば屈折率が約１．５である酸化シリコンを用いることができる。
次に、図３０Ｂに示すように、低屈折率材料１００３上にニッケルなどを用いてエッチングパターン１００９を形成する。このエッチングパターン１００９は円形或いは四角形の開口１０１０を除いて低屈折率材料１００３の上面を覆っている。開口１０１０は受光部１００５に相当する位置に形成される。
次に、図３０Ｃに示すように、エッチングパターン１００９を残して、開口１０１０内の低屈折率材料１００３を受光部１００５に達するまでエッチング除去する。
次に、図３０Ｄに示すように、残されたエッチングパターン１００９を除去し、円形或いは四角形の第１穴１０１１を形成する。
次に、図３０Ｅに示すように、第１穴１０１１内に高屈折率材料１００２を埋め込む。高屈折率材料として例えば屈折率が約２．０の窒化シリコンを用いることができ、埋め込みプロセスとして例えばＣＶＤ法を用いることができる。
次に、図３０Ｆに示すように、上面を平坦化する。この平坦化プロセスとして例えばエッチング或いは研磨を用いることができる。
次に、図３０Ｇに示すように、表面に低屈折率材料１００３の層（第２層）を形成する。
次に、図３０Ｂと同様にエッチングパターンを形成し、図３０Ｃと同様に低屈折率材料１００３に第２穴１０１２を形成し、図３０Ｄと同様にエッチングパターンを除去して、図３０Ｈに示すように、低屈折率材料１００３に円形或いは四角形の第２穴１０１２を形成する。この第２穴１０１２は、第１穴１０１１と同様に受光部１００５に相当する位置に形成されるが、第１穴１０１１より開口径が少し大きい。
次に、図３０Ｉに示すように、図３０Ｅと同様に第２穴１０１２に高屈折率材料１００２を埋め込み、図３０Ｆと同様に上面を平坦化する。
次に、図３０Ｊに示すように、高屈折率材料１００２上にフォトレジスト層１０１３を形成する。
次に、図３０Ｋに示すように、フォトレジスト層１０１３を熱処理して上面を丸く変形させる。
次に、図３０Ｌに示すように、フォトレジスト層１０１３、高屈折率材料１００２、および低屈折率材料１００３を同時に上部からエッチングする。それらのエッチングレートを適切に選択して、高屈折率材料１００２からなるマイクロレンズ１００１を形成する。
かくして、図２９に示した構造を有する撮像素子を作る事ができる。
図２９に示したような、低屈折率材料１００３に形成した穴に高屈折率材料１００２を埋め込んで井戸型導波路構造を形成する場合、この穴のアスペクト比（穴深さ／穴径）が大きいと、高屈折率材料１００２を穴内に隙間無く埋め込むことが困難になる。本実施形態に示した上記の製造方法によれば、図３０Ｅおよび図３０Ｉに示したように、高屈折率材料１００２を２回に分けて埋め込むので、一度に埋め込まれる穴のアスペクト比を小さくする事ができ、高屈折率材料１００２を隅々まで十分に埋め込む事ができる。
また、このように高屈折率材料１００２を埋め込む工程を２回に分けることにより、各回でそれぞれ埋め込まれる穴、即ち上記の実施形態では第１穴１０１１及び第２穴１０１２の径を互いに異ならせることができる。従って、上記の実施形態のように、受光部１００５に近い第１穴１０１１の径より、これより遠い第２穴１０１２の径を大きくすることができる。この構造により、受光部１００５の受光面積に比べて外光が入射する面積を大きくすることができ、マイクロレンズ１００１に斜入射した光を図２９の光路１００８のように高屈折率材料１００２内に閉じ込めながら受光部１００５に効率よく導くことができる。
（実施形態５）
本発明の撮像装置を備えた携帯機器の一例として携帯電話を説明する。
図３１Ａは、本発明の撮像装置を備えた携帯電話の一実施形態の正面図、図３１Ｂはその側面図である。
図３１Ａ及び図３１Ｂにおいて、１１００は携帯電話、１１０１は本発明の実施形態１から４のいずれかに示した撮像装置である。本発明の実施形態１から４に示した撮像装置は薄いため、これを搭載した携帯電話１１００の薄型化が可能である。また、本発明の撮像装置は、焦点制御機能を備えて遠景写真から接写写真まで撮像でき、レンズ系を変化させずに電子的に手振れ補正を施す事ができ、更に、解像度を劣化させずに電子的に拡大写真も撮像できる。従って、高機能な撮像装置１１０１を搭載した薄型の携帯電話１１００を提供する事ができる。
手振れ補正では、図２１で説明した様に、画像を複数回撮像し、これにより得た複数の画像のうち一致する部分が重なる様に複数の画像を合成することにより、鮮明な被写体画像を得る。この電子的手振れ補正機能を実現するためには、複数の画像内の一致する部分を認識するなどの高速な画像処理を行う必要がある。
図３１Ａにおいて、１１０２Ａおよび１１０２Ｂは角速度センサーであり、撮像装置１１０１に近接して設置される。これらの角速度センサーは、レンズ系の一部を機械的に移動させて行う一般的な手振れ補正機能を備えた光学系に用いるものと同じである。角速度センサーにより、手振れによる撮像装置の微妙な移動を検知し、撮像した画像中での被写体の移動量を演算し、この演算結果に基づいて複数の画像を移動し合成する際の画像の移動量を決定する。あるいは、この演算結果を、複数の画像を移動し合成する際の画像の移動量を計算する際の補助として用いる。これにより、撮像画像のみを用いて手振れ補正を行う場合に比べて、より高速な手振れ補正機能を実現できる。
（実施形態６）
図１４から図２０を用いて説明した３次元駆動手段は、実施形態１から３の様な、複数のレンズ系と複数の撮像領域を持つ撮像装置だけではなく、従来と同様に単一光軸上に組み合わせレンズ系を備えた撮像装置にも適用できる。
図３２は、本発明の実施形態６における撮像装置の断面図である。図３２において、図１から図３１および図３３と同じ構成要素については同じ符号を用い、それらの説明を省略する。
図３２において、２００１、２００２はそれぞれ単レンズであり、２００３はフィルター、２００４は撮像素子、２００５はデジタル信号プロセッサー（ＤＳＰ）などの演算装置を含む基板である。レンズ系の光軸２００６が撮像素子２００４のほぼ中心を通過する様に、単レンズ２００１、２００２、フィルター２００３、撮像素子２００４、及び基板２００５が筐体２００７に配置される。筐体２００７の開口２００７ａを通過して筐体２００７内に入ってきた被写体からの光は、レンズ２００１、２００２によって、撮像素子２００４上に絞られる。このとき、被写体からの光に含まれる赤色波長帯域の光、青色波長帯域の光および緑色波長帯域の光が、同じ撮像位置に同じ像倍率で絞られるように、単レンズ２００１、２００２を適切に組み合わせることにより、色収差による撮像画像の劣化が防止される。撮像素子２００４上に絞られた光は、撮像素子２００４で電気信号に変換され、基板２００５中に含まれる演算装置によって処理される。
遠景写真から接写写真までを撮像するには、レンズ系と撮像素子の相対位置を、レンズ系の光軸２００６に平行な方向に移動させる焦点制御が必要である。また、図３３の様な従来の撮像装置にも、図２２Ａ及び図２２Ｂで示した様に、レンズ系と撮像素子との相対位置をレンズ系の光軸２００６に垂直な方向に移動できれば、解像度を劣化させずに電子的に拡大写真（ズーム）を撮像できる。図３２においては、レンズ系と撮像素子の相対位置を変化させる方法として、撮像素子を光軸２００６に平行な方向および垂直な方向に移動させる、実施形態１で説明した駆動手段（図１４から図２０を参照）を用いている。振動子と弾性バネ部とからなるアクチュエーターを、撮像素子２００４を挟んで対向して２つ、又は、撮像素子２００４を中心として９０度間隔で４つ配置する。そして、これらのアクチュエーターを図１８および図１９に示した様に動作させる。この駆動手段を用いる事で、従来の組み合わせレンズを有する撮像装置に焦点制御機能、電子的拡大写真機能を付与することができる。
撮像素子２００４ではなく、レンズ系を構成する単レンズ２００１、２００２の全部又は一部を実施形態１で説明した駆動手段（図１４から図２０を参照）を用いて光軸２００６に平行な方向および垂直な方向に移動させてもよい。
以上に開示した実施形態１〜６はいずれも本発明の一例を示したに過ぎず、本発明はこれらの実施形態により制限的に解釈されない。本発明の範囲は上記の実施形態ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
産業上の利用の可能性
本発明の撮像装置の利用分野は特に限定はないが、薄型で、焦点制御機能、手振れ補正機能、拡大写真機能を備える事ができるので、携帯電話などの携帯機器に搭載する撮像装置などに有用である。また、監視カメラ、車載カメラなどの用途にも応用できる。
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２４】
【図２５】
【図２６】
【図２７】
【図２９】
【図３２】
【図３３】
【技術分野】
本発明は、小型で鮮明なカラー画像を得る事ができる撮像装置とその製造方法に関する。また、本発明は、撮像装置を備えた携帯機器に関する。更に、本発明は、撮像装置に用いられる撮像素子とその製造方法に関する。
【背景技術】
カメラが搭載された携帯電話などの携帯機器が普及し、その携帯機器のより小型化、薄型化、高機能化に伴い、小型、薄型、高機能の撮像装置が要求されている。
従来、組み合わせレンズと撮像素子とを用い、組み合わせレンズの一部を機械的に移動させることにより拡大写真（ズーム）を撮像する撮像装置が知られている（例えば、特開２００３−２５５２２５号公報参照）。
図３３は、従来の撮像装置の断面図である。
図３３において、２００１は凹レンズ、２００２は凸レンズ、２００３はフィルター、２００４は撮像素子、２００５はデジタル信号プロセッサー（ＤＳＰ）などの演算装置を含む基板である。レンズ系の光軸２００６が撮像素子２００４のほぼ中心を通過するように、凹レンズ２００１、凸レンズ２００２、フィルター２００３、撮像素子２００４、および基板２００５が筐体２００７に配置される。筐体の開口２００７ａを通過して筐体２００７内に入ってきた被写体からの光は、凹レンズ２００１および凸レンズ２００２によって、撮像素子２００４上に絞られる。フィルター２００３により赤外光などの不要な光が撮像素子２００４に入射するのが防止される。このとき、被写体からの光に含まれる赤色波長帯域の光、青色波長帯域の光および緑色波長帯域の光が、同じ撮像位置に且つ同じ像倍率で絞られるように、凹レンズ２００１および凸レンズ２００２を適切に組み合わせることにより、色収差による撮像画像の劣化を防止できる。撮像素子２００４上に絞られた光は、撮像素子２００４で電気信号に変換され、基板２００５中に含まれる演算装置によって処理される。この図３３には、アクチュエーターを示していないが、一般にレンズ系全体、または、レンズ系の一部を移動させ、被写体とレンズ系との間隔に応じて焦点制御することにより、鮮明な画像を得ることができる。また、凸レンズ２００２を移動させて光学系の倍率を変えることにより、拡大写真（ズーム）を撮像することができる。この様なレンズの移動は、永久磁石、電磁石、バネ材などで構成され、電磁的に駆動するアクチュエーターを用いて行われる。
しかしながら、前記従来の撮像装置では、組み合わせレンズを用いるために薄くすることができず、カメラを搭載する携帯機器が厚くなると云う課題を有していた。
【発明の開示】
本発明は、従来の課題を解決するもので、その第１の目的は、薄型の撮像装置を提供することにある。本発明の第２の目的は、実装が容易な撮像装置を提供することにある。本発明の第３の目的は、焦点制御、手振れ補正、拡大写真などの高機能を有する撮像装置を提供することにある。本発明の第４の目的は、撮像装置の薄型化を可能にする撮像素子を提供することにある。本発明の第５の目的は、手振れ補正機能を備えた携帯機器を提供することにある。
本発明の第１の撮像装置は、複数の光学系と、前記複数の光学系と一対一に対応する複数の撮像領域とを備え、前記撮像領域のそれぞれが複数の画素を有し、前記光学系のそれぞれの光軸上に前記撮像領域が１つずつ配置された撮像装置であって、更に、前記撮像領域のそれぞれの原点を検出する原点検出手段と、前記原点を基準として前記撮像領域に含まれる前記複数の画素の位置を特定する画素位置特定手段と、前記撮像領域のそれぞれが撮像した複数の画像を合成する合成手段とを備えることを特徴とする。
本発明の携帯機器は、上記の本発明の第１の撮像装置と、前記撮像装置に近接して設置された角速度センサーとを備え、前記角速度センサーにより検出した前記撮像装置の移動量を用いて手振れ補正を行う。
次に、本発明の第１の撮像装置の製造方法は、複数の光学系のそれぞれの光軸上に、それぞれが複数の画素を有する複数の撮像領域を１つずつ配置し、前記撮像領域のそれぞれの原点を検出し、前記原点を基準として前記撮像領域のそれぞれに含まれる前記複数の画素の位置を特定することを特徴とする。
本発明の撮像素子は、複数の画素と、前記複数の画素のそれぞれの受光部の、光が入射する部分に設けられた屈折率の高い光学材料と、前記屈折率の高い光学材料の周囲に設けられた屈折率の低い光学材料とを備えることを特徴とする。
本発明の第２の撮像装置は、上記の本発明の撮像素子と、少なくとも１つの光学系とを備える。
本発明の撮像素子の製造方法は、複数の画素のそれぞれの受光部の上に屈折率の低い光学材料からなる第１層を形成する工程と、前記第１層の前記受光部の上に第１穴を形成する工程と、前記第１穴に屈折率の高い光学材料を埋め込む工程と、前記第１穴に埋め込まれた前記屈折率の高い光学材料及び前記第１層の上に、屈折率の低い光学材料からなる第２層を形成する工程と、前記第２層の前記受光部が対向する位置に第２穴を形成する工程と、前記第２穴に屈折率の高い光学材料を埋め込む工程と備えることを特徴とする。
次に、本発明の第３の撮像装置は、少なくとも１つの光学系と、撮像素子と、前記少なくとも１つの光学系と前記撮像素子との相対的位置を、前記少なくとも１つの光学系の光軸に対して平行な方向又は垂直な方向に変化させる駆動手段とを備える撮像装置であって、前記駆動手段は、弾性体と、前記弾性体の少なくとも一方の面に貼り合わされた圧電素子とを備えた振動子、及び前記振動子に接続された弾性バネ部からなる少なくとも１つのアクチュエーターを含み、前記アクチュエーターの前記振動子側端は固定され、前記弾性バネ部側端は前記少なくとも１つの光学系又は前記撮像素子を支持していることを特徴とする。
【図面の簡単な説明】
図１は、本発明の実施形態１における撮像装置の概略構成図である。
図２は、本発明の実施形態１における撮像装置の断面図である。
図３は、本発明の実施形態１における撮像装置のレンズ側から見た平面図である。
図４は、本発明の実施形態１における撮像装置の４個の単レンズと４個の撮像素子の高精度な位置関係を示す図である。
図５は、本発明の実施形態１における撮像装置の４個の単レンズと４個の撮像素子の一般的な位置関係を示す図である。
図６Ａは、本発明の実施形態１における撮像装置の各撮像素子の原点検出方法を示す図である。図６Ｂは、本発明の実施形態１における撮像装置の各撮像素子の原点付近の光量分布を示す図である。
図７は、本発明の実施形態１における撮像装置の結像位置を示す図である。
図８は、本発明の実施形態１における撮像装置の視差の方向を示す図である。
図９は、本発明の実施形態１における撮像装置の視差定量化プログラムを示すフローチャートである。
図１０は、本発明の実施形態１における撮像装置の視差定量化過程に用いる画素群を示す図である。
図１１は、本発明の実施形態１における撮像装置の視差定量化過程に用いる光量分布を示す図である。
図１２は、本発明の実施形態１における撮像装置の視差定量化過程に用いる画素群の別の例を示す図である。
図１３は、本発明の実施形態１における撮像装置の画像処理プログラムを示すフローチャートである。
図１４は、本発明の実施形態１における撮像装置の３次元駆動手段の斜視図である。
図１５は、本発明の実施形態１における撮像装置の３次元駆動手段を構成するアクチュエーターの断面図である。
図１６は、本発明の実施形態１における撮像装置のアクチュエーターの一駆動方法を説明する図である。
図１７は、本発明の実施形態１における撮像装置のアクチュエーターの別の駆動方法を説明する図である。
図１８は、本発明の実施形態１における撮像装置のアクチュエーターの一動作を示す図である。
図１９は、本発明の実施形態１における撮像装置のアクチュエーターの別の動作を示す図である。
図２０は、本発明の実施形態１における撮像装置の別のアクチュエーターの断面図である。
図２１は、本発明の実施形態１における撮像装置の手振れ補正方法を説明する図である。
図２２Ａ及び図２２Ｂは、本発明の実施形態１における撮像装置の電子ズーム方法を説明する図である。
図２３Ａは、本発明の実施形態１における撮像装置の一実施例に係る撮像素子とレンズ系の平面図である。
図２３Ｂは、本発明の実施形態１における撮像装置の一実施例の断面図である。
図２４は、本発明の実施形態２における撮像装置の断面図である。
図２５は、本発明の実施形態３における撮像装置の概略構成図である。
図２６は、本発明の実施形態３における撮像装置のレンズ系と撮像素子を示す平面図である。
図２７は、本発明の実施形態３における撮像装置の断面図である。
図２８Ａ及び図２８Ｂは、レンズ系の焦点距離と撮像素子への光の入射角度の関係を示す図である。
図２９は、本発明の実施形態４における撮像装置に用いる撮像素子の断面図である。
図３０Ａ〜図３０Ｌは、本発明の実施形態４における撮像素子の製造プロセスを示した断面図である。
図３１Ａは、本発明の撮像装置を備えた携帯電話の一実施形態の正面図、図３１Ｂはその側面図である。
図３２は、本発明の実施形態６における撮像装置の断面図である。
図３３は、従来の撮像装置の断面図である。
【発明を実施するための最良の形態】
本発明の第１の撮像装置は、複数の光学系と、前記複数の光学系と一対一に対応する複数の撮像領域とを備え、前記撮像領域のそれぞれが複数の画素を有し、前記光学系のそれぞれの光軸上に前記撮像領域が１つずつ配置された撮像装置であって、更に、前記撮像領域のそれぞれの原点を検出する原点検出手段と、前記原点を基準として前記撮像領域に含まれる前記複数の画素の位置を特定する画素位置特定手段と、前記撮像領域のそれぞれが撮像した複数の画像を合成する合成手段とを備えることを特徴とする。
これにより、撮像装置の実装後にそれぞれの撮像領域の原点を検出し、それぞれの撮像領域に含まれる複数の画素の位置を特定することができるので、実装時点では、光学系のそれぞれの光軸と撮像領域の原点との位置関係を高精度に合わせる必要が無く、撮像装置の実装が容易になる。また、一対一に対応する複数の光学系と複数の撮像領域とを備えることにより、各光学系の色収差を緩和して光学系を薄くし、薄型の撮像装置を提供できる。
本発明の上記の第１の撮像装置において、前記原点検出手段は、前記複数の光学系と前記複数の撮像領域とを用いて撮像された被写体の複数の画像を用いて、前記撮像領域のそれぞれの前記原点を検出することが好ましい。これにより、前記原点検出が容易になる。
この場合において、前記被写体が実質的に無限遠に設置された略白色の略点光源であることが好ましい。これにより、前記原点検出の精度が向上する。
この場合において、前記原点検出手段は、前記撮像領域に含まれる前記複数の画素のうち、受光光量が最大となる画素の位置を前記原点として検出することが好ましい。これにより、前記原点検出の精度がより向上する。
あるいは、前記原点検出手段は、前記撮像領域に含まれる前記複数の画素がそれぞれ受光した光量に基づいて隣り合う画素間の光量を内挿し、受光光量が最大となる位置を前記原点として検出することが好ましい。これにより、前記原点検出の精度が更に向上する。
本発明の上記の第１の撮像装置において、前記光学系及び前記撮像領域の数がいずれも４個であり、前記合成手段は前記４個の撮像領域が撮像した４つの画像を合成することが好ましい。これにより、効率的な画像合成を実現できる。
この場合において、前記４個の撮像領域は碁盤状に配置されており、前記４個の撮像領域のうち、対角線上に配置された２個は緑色画像を撮像し、他の１個は赤色画像を撮像し、残りの１個は青色画像を撮像することが好ましい。これにより、前記被写体からの光を緑色、赤色、あるいは青色の波長帯域に分割して撮像するので、それぞれの波長帯域に対応する光学系に要求される色収差が緩和され、それぞれの光学系を薄くでき、撮像装置を薄くできる。
この場合、前記緑色画像を撮像する前記２個の撮像領域とこれらに対応する２個の前記光学系との間にそれぞれ配置された緑色のカラーフィルターと、前記赤色画像を撮像する前記１個の撮像領域とこれに対応する１個の前記光学系との間に配置された赤色のカラーフィルターと、前記青色画像を撮像する前記１個の撮像領域とこれに対応する１個の前記光学系との間に配置された青色のカラーフィルターと、それぞれの前記カラーフィルターの境界に設けられた遮光板とを更に備えることが好ましい。これにより、一つの波長帯域の光が、他の波長帯域を撮像する撮像領域に混入する事を防ぎ、鮮明なカラー画像を得ることができる。
また、２つの前記緑色画像のうち、一方を緑色基準画像とし、他方を緑色副画像とし、前記２つの緑色画像を比較して前記緑色副画像の視差を検出し、前記緑色副画像の前記視差を用いて前記赤色画像の視差及び前記青色画像の視差を求め、前記緑色副画像、前記赤色画像、及び前記青色画像のそれぞれの前記視差が減少し又は無くなるように前記緑色副画像、前記赤色画像、及び前記青色画像を補正する補正手段を更に備え、前記合成手段は、前記緑色基準画像と、補正された前記緑色副画像と、補正された前記赤色画像と、補正された前記青色画像とを合成してカラー画像を得ることが好ましい。これにより、前記複数の光学系を用いて撮像するために生じる視差を補正し、鮮明なカラー画像を得ることができる。
あるいは、２つの前記緑色画像のうち、一方を緑色基準画像とし、他方を緑色副画像とし、前記２つの緑色画像を比較して前記緑色副画像の視差を検出し、前記緑色副画像の前記視差を用いて前記赤色画像の視差及び前記青色画像の視差を求め、前記赤色画像、及び前記青色画像のそれぞれの前記視差が減少し又は無くなるように前記赤色画像及び前記青色画像を補正する補正手段を更に備え、前記合成手段は、前記緑色基準画像と、補正された前記赤色画像と、補正された前記青色画像とを合成してカラー画像を得ることが好ましい。これにより、前記複数の光学系を用いて撮像するために生じる視差を補正し、鮮明なカラー画像を得ることができる。しかも、前記緑色副画像の視差を補正する必要がなく、且つ、画像合成に補正後の緑色副画像が必要ではないので、画像合成が簡単である。
前記補正手段は、前記緑色基準画像を撮像する前記撮像領域の前記原点と前記緑色副画像を撮像する前記撮像領域の前記原点とを結ぶ方向をＧ方向とし、前記緑色基準画像を撮像する前記撮像領域の前記原点と前記赤色画像を撮像する前記撮像領域の前記原点とを結ぶ方向をＲ方向とし、前記緑色基準画像を撮像する前記撮像領域の前記原点と前記青色画像を撮像する前記撮像領域の前記原点とを結ぶ方向をＢ方向とし、前記緑色基準画像を基準にして、前記緑色副画像の視差を前記Ｇ方向のベクトルで定量化し、前記ベクトルで定量化された前記視差を基に、前記赤色画像の前記Ｒ方向の視差が減少し又は無くなるように前記赤色画像のデータを補正し、前記ベクトルで定量化された前記視差を基に、前記青色画像の前記Ｂ方向の視差が減少し又は無くなるように前記青色画像のデータを補正することが好ましい。これにより、前記視差を補正する精度が向上する。
また、前記補正手段は、前記緑色基準画像を構成する画素群の中から光量分布を求めるための基準となる複数の基準画素を選抜し、前記緑色副画像を構成する画素群の中から前記複数の基準画素に対応する、視差を調査するための複数の調査用画素を選抜し、前記複数の基準画素のそれぞれの光量を検出し、その元量の分布を第１光量分布として求め、前記複数の調査用画素のそれぞれの光量を検出し、その光量の分布を第２光量分布として求め、前記第１光量分布と前記第２光量分布とを比較し、それぞれの光量分布に含まれる共通する特徴的部分を認識し、前記第１光量分布に含まれる前記特徴的部分と前記第２光量分布に含まれる前記特徴的部分との間の変位を算出し、前記変位をもとに前記緑色副画像の視差の大きさを定量化することが好ましい。これにより、前記視差を補正する精度がより向上する。
この場合において、前記補正手段は、前記複数の基準画素間に仮想の画素を内挿して前記第１光量分布を求め、前記複数の調査用画素間に仮想の画素を内挿して前記第２光量分布を求めることが好ましい。これにより、視差を補正する精度が更に向上する。
本発明の上記の第１の撮像装置において、異なる時刻に複数回の撮像を行い、各撮像回ごとに前記複数の撮像領域がそれぞれ撮像した複数の画像を合成して前記複数回の撮像に一対一に対応する複数の第１合成画像を作り、前記複数の第１合成画像を比較し、前記複数の第１合成画像のうち一致する部分が重なるように前記複数の第１合成画像を移動して更に合成して第２合成画像を作ることが好ましい。これにより、手振れが補正された画像を得ることができる。
この場合において、前記複数の撮像領域がそれぞれ撮像した前記複数の画像のそれぞれは、緑色画像、赤色画像、又は青色画像であり、前記複数の第１合成画像はカラー画像であることが好ましい。これにより、手振れが補正され、且つ、前記視差が補正された鮮明なカラー画像を得ることができる。
あるいは、本発明の上記の第１の撮像装置において、異なる時刻に複数回の撮像を行い、同じ前記撮像領域が異なる時刻に撮像した複数の画像を比較し、前記複数の画像のうち一致する部分が重なるように前記複数の画像を移動して合成して、前記複数の撮像領域に一対一に対応する複数の第１合成画像を作り、前記複数の第１合成画像を更に合成して第２合成画像を作ることが好ましい。これにより、手振れが補正された画像を得ることができる。
この場合において、前記複数回の撮像を行った複数の時刻のうちの１つの時刻を前記複数の撮像領域に共通する基準時とし、前記基準時に撮像された画像の座標を維持しながら、前記基準時に撮像された画像に対して前記基準時以外の時刻に撮像された画像を移動して合成して前記複数の第１合成画像を作ることが好ましい。これにより、前記視差を補正する精度が向上する。
また、前記複数の第１合成画像のぞれぞれは緑色画像、赤色画像、又は青色画像であり、前記第２合成画像はカラー画像であることが好ましい。これにより、手振れが補正され、且つ、前記視差が補正された鮮明なカラー画像を得ることができる。
本発明の携帯機器は、上記の本発明の第１の撮像装置と、前記撮像装置に近接して設置された角速度センサーとを備え、前記角速度センサーにより検出した前記撮像装置の移動量を用いて手振れ補正を行う。これにより、高速に手振れを補正できる携帯機器を実現できる。
本発明の上記の第１の撮像装置において、前記複数の光学系及び前記複数の撮像領域のうちの一方を他方に対して一体的に移動して、前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の光学系のそれぞれの光軸に対して平行な方向又は垂直な方向に変化させる駆動手段を更に備えることが好ましい。これにより、焦点制御機能や拡大写真機能を実現できる。
この場合において、前記駆動手段は、前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の光学系のそれぞれの光軸に垂直で、且つ、互いに直交する２方向に変化させることが好ましい。これにより、前記拡大写真の品質を向上できる。
また、前記駆動手段は、前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の撮像領域にそれぞれ含まれる前記複数の画素の配列方向に対して略平行な方向に変化させることが好ましい。これにより、前記拡大写真の品質をより向上できる。
前記駆動手段は、弾性体と、前記弾性体の少なくとも一方の面に貼り合わされた圧電素子とを備えた振動子、及び前記振動子に接続された弾性バネ部からなる少なくとも１つのアクチュエーターを含み、前記アクチュエーターの前記振動子側端は固定され、前記弾性バネ部側端は前記複数の光学系又は前記複数の撮像領域を支持していることが好ましい。これにより、前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の光学系のそれぞれの光軸に対して平行な方向及び／又は垂直な方向に変化させることを可能にする具体的な駆動手段を提供でき、その結果、焦点制御機能や拡大写真機能を実現できる。
この場合において、前記圧電素子が前記弾性体の両面に貼り合わされており、両面の前記圧電素子は互いに独立した信号で駆動されることが好ましい。これにより、前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の光学系のそれぞれの光軸に対して平行な方向及び／又は垂直な方向に、独立に変化させることができる。
前記駆動手段は２つの前記アクチュエーターを含み、前記２つのアクチュエーターは、前記複数の光学系又は前記複数の撮像領域を挟んで対向して配置されていることが好ましい。これにより、前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の光学系のそれぞれの光軸に対して平行な方向及び／又は垂直な方向に、安定に変化させることができる。
あるいは、前記駆動手段は４つの前記アクチュエーターを含み、前記４つのアクチュエーターは、略同一平面内で、前記複数の光学系又は前記複数の撮像領域を中心として９０度間隔で配置されていることが好ましい。これにより、前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の光学系のそれぞれの光軸に対して平行な方向及び／又は垂直で且つ互いに直交する２方向に、安定に変化させることができる。
前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の光学系のそれぞれの光軸に対して垂直な方向に、隣り合う前記画素の中心間隔の半分だけ変化させて、異なる時刻に複数回の撮像を行い、各撮像回ごとに前記複数の撮像領域がそれぞれ撮像した複数の画像を合成して複数回の撮像に一対一に対応する複数の第１合成画像を作り、前記複数の第１合成画像を更に合成して第２合成画像を作ることが好ましい。これにより、拡大写真の撮像が可能になる。
この場合において、前記複数の撮像領域がそれぞれ撮像した前記複数の画像のそれぞれは、緑色画像、赤色画像、又は青色画像であり、前記複数の第１合成画像はカラー画像であることが好ましい。これにより、前記視差を補正した鮮明なカラー拡大写真の撮像が可能になる。
あるいは、前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の光学系のそれぞれの光軸に対して垂直な方向に、隣り合う前記画素の中心間隔の半分だけ変化させて、異なる時刻に複数回の撮像を行い、同じ前記撮像領域が異なる時刻に撮像した複数の画像を合成して前記複数の撮像領域に一対一に対応する複数の第１合成画像を作り、前記複数の第１合成画像を更に合成して第２合成画像を作ることが好ましい。これにより、拡大写真の撮像が可能になる。
この場合において、前記複数の第１合成画像のそれぞれは緑色画像、赤色画像、又は青色画像であり、前記第２合成画像はカラー画像であることが好ましい。これにより、前記視差を補正した鮮明なカラー拡大写真の撮像が可能になる。
本発明の上記の第１の撮像装置において、前記複数の光学系のそれぞれが単レンズからなることが好ましい。これにより、前記光学系を薄くして撮像装置を薄くできる。
この場合において、前記単レンズの少なくとも１面に回折格子が設けられていることが好ましい。これにより、撮像画像の品質を向上できる。
本発明の上記の第１の撮像装置において、前記複数の撮像領域のそれぞれが互いに別個の撮像素子からなることが好ましい。これにより、高速な信号処理が可能になる。
あるいは、本発明の上記の第１の撮像装置において、前記複数の撮像領域のうちの少なくとも２つは、共通する１つの撮像素子を分け合っていることが好ましい。これにより、撮像装置の実装がより簡略になる。
次に、本発明の第１の撮像装置の製造方法は、複数の光学系のそれぞれの光軸上に、それぞれが複数の画素を有する複数の撮像領域を１つずつ配置し、前記撮像領域のそれぞれの原点を検出し、前記原点を基準として前記撮像領域のそれぞれに含まれる前記複数の画素の位置を特定することを特徴とする。
これにより、撮像装置の実装後にそれぞれの撮像領域の原点を検出し、それぞれの撮像領域に含まれる複数の画素の位置を特定することができるので、実装時点では、光学系のそれぞれの光軸と撮像領域の原点との位置関係を高精度に合わせる必要が無く、撮像装置の実装が容易になる。
本発明の上記の第１の撮像装置の製造方法において、前記複数の光学系と前記複数の撮像領域とを用いて撮像された被写体の複数の画像を用いて、前記撮像領域のそれぞれの前記原点を検出することが好ましい。これにより、前記原点検出が容易になる。
この場合において、前記被写体が実質的に無限遠に設置された略白色の略点光源であることが好ましい。これにより、前記原点検出の精度が向上する。
この場合において、前記撮像領域に含まれる前記複数の画素のうち、受光光量が最大となる画素の位置を前記原点として検出することが好ましい。これにより、前記原点検出の精度がより向上する。
あるいは、前記撮像領域に含まれる前記複数の画素がそれぞれ受光した光量に基づいて隣り合う画素間の光量を内挿し、受光光量が最大となる位置を前記原点として検出することが好ましい。これにより、前記原点検出の精度が更に向上する。
本発明の撮像素子は、複数の画素と、前記複数の画素のそれぞれの受光部の、光が入射する部分に設けられた屈折率の高い光学材料と、前記屈折率の高い光学材料の周囲に設けられた屈折率の低い光学材料とを備えることを特徴とする。
これにより、広角度で斜入射の光を効率よく受光できるので、焦点距離を短くでき、撮像素子を薄くすることができる。
上記の本発明の撮像素子において、前記屈折率の高い光学材料の屈折率は１．８以上であり、前記屈折率の低い光学材料の屈折率は１．８以下であることが好ましい。これにより、広角度で斜入射の光を受光する効率がより向上する。
また、上記の本発明の撮像素子において、前記屈折率の高い光学材料の、前記受光部に近い側の径は、前記屈折率の高い光学材料の、光が入射する側の径より小さいことが好ましい。これにより、広角度で斜入射の光を受光する効率が更に向上する。
本発明の第２の撮像装置は、上記の本発明の撮像素子と、少なくとも１つの光学系とを備える。これにより、薄型の撮像装置を実現できる。
本発明の撮像素子の製造方法は、複数の画素のそれぞれの受光部の上に屈折率の低い光学材料からなる第１層を形成する工程と、前記第１層の前記受光部の上の位置に第１穴を形成する工程と、前記第１穴に屈折率の高い光学材料を埋め込む工程と、前記第１穴に埋め込まれた前記屈折率の高い光学材料及び前記第１層の上に、屈折率の低い光学材料からなる第２層を形成する工程と、前記第２層の前記受光部が対向する位置に第２穴を形成する工程と、前記第２穴に屈折率の高い光学材料を埋め込む工程と備えることを特徴とする。
これにより、広角度で斜入射の光を効率よく受光する、撮像素子を効率よく製造できる。
上記の本発明の撮像素子の製造方法において、前記屈折率の高い光学材料の屈折率は１．８以上であり、前記屈折率の低い光学材料の屈折率は１．８以下であることが好ましい。これにより、広角度で斜入射の光を受光する効率がより向上した撮像素子が得られる。
また、本発明の撮像素子の製造方法において、前記第１穴の開口径は、前記第２穴の開口径より小さいことが好ましい。これにより、広角度で斜入射の光を受光する効率が更に向上した撮像素子が得られる。
次に、本発明の第３の撮像装置は、少なくとも１つの光学系と、撮像素子と、前記少なくとも１つの光学系と前記撮像素子との相対的位置を、前記少なくとも１つの光学系の光軸に対して平行な方向又は垂直な方向に変化させる駆動手段とを備える撮像装置であって、前記駆動手段は、弾性体と、前記弾性体の少なくとも一方の面に貼り合わされた圧電素子とを備えた振動子、及び前記振動子に接続された弾性バネ部からなる少なくとも１つのアクチュエーターを含み、前記アクチュエーターの前記振動子側端は固定され、前記弾性バネ部側端は前記少なくとも１つの光学系又は前記撮像素子を支持していることを特徴とする。
これにより、前記少なくとも１つの光学系と前記撮像素子との相対的位置を、前記少なくとも１つの光学系の光軸に対して平行な方向又は垂直な方向に変化させることを可能にする具体的な駆動手段を提供でき、その結果、焦点制御機能、拡大写真機能、接写写真機能を実現できる。
上記の本発明の第３の撮像装置において、前記圧電素子が前記弾性体の両面に貼り合わされており、両面の前記圧電素子は互いに独立した信号で駆動されることが好ましい。これにより、前記少なくとも１つの光学系と前記撮像素子との相対的位置を、前記少なくとも１つの光学系の光軸に対して平行な方向及び／又は垂直な方向に、独立に変化させることができる。
前記駆動手段は２つの前記アクチュエーターを含み、前記２つのアクチュエーターは、前記少なくとも１つの光学系又は前記撮像素子を挟んで対向して配置されていることが好ましい。これにより、前記少なくとも１つの光学系と前記撮像素子との相対的位置を、前記少なくとも１つの光学系の光軸に対して平行な方向及び／又は垂直な方向に、安定に変化させることができる。
あるいは、前記駆動手段は４つの前記アクチュエーターを含み、前記４つのアクチュエーターは、略同一平面内で、前記少なくとも１つの光学系又は前記撮像素子を中心として９０度間隔で配置されていることが好ましい。これにより、前記少なくとも１つの光学系と前記撮像素子との相対的位置を、前記光学系の光軸に対して平行な方向及び／又は垂直で且つ互いに直交する２方向に、安定に変化させることができる。
以下、本発明を、好ましい実施形態を示しながら詳細に説明する。
（実施形態１）
本発明の実施形態１における撮像装置を説明する。
図１は、本発明の実施形態１における撮像装置の概略構成図である。図２は、本発明の実施形態１における撮像装置の断面図である。図３は、本発明の実施形態１における撮像装置のレンズ側から見た平面図である。
図１において、実施形態１の撮像装置は４個の単レンズ１０１、１０２、１０３、１０４と、これらと一対一に対応する４個の撮像素子１０５、１０６、１０７、１０８とを有する。図１に示す様に、単レンズ１０１、１０２、１０３、１０４の光軸１０９、１１０、１１１、１１２の方向をＺ軸、Ｚ軸と直交する一方向をＸ軸、Ｘ軸及びＺ軸と直交する方向をＹ軸とする。Ｘ軸、Ｙ軸、Ｚ軸の正の方向はそれぞれ図１の矢印の方向とする。４個の単レンズ１０１、１０２、１０３、１０４はほぼ同一平面（ＸＹ平面と平行な面）上に碁盤状に設置され、また、４個の撮像素子１０５、１０６、１０７、１０８もほぼ同一平面（ＸＹ平面と平行な面）上に碁盤状に設置されている。単レンズ１０１、１０２、１０３、１０４の各々の光軸１０９、１１０、１１１、１１２が各々の撮像素子１０５、１０６、１０７、１０８の中心付近を通過する様に、４個の単レンズ１０１、１０２、１０３、１０４及び４個の撮像素子１０５、１０６、１０７、１０８が配置されている。
図２において、４個の単レンズ１０１、１０２、１０３、１０４は、それぞれ少なくとも片面に非球面を備えた非球面レンズであって、これらは一体化されている。例えば、ガラスまたはプラスチックを用いて一体に成形する事ができる。対応する単レンズと撮像素子との間にそれぞれカラーフィルターが設置され、２０１は単レンズ１０１と撮像素子１０５との間に設置されたカラーフィルター、２０２は単レンズ１０２と撮像素子１０６との間に設置されたカラーフィルター、２０３は単レンズ１０３と撮像素子１０７との間に設置されたカラーフィルター、２０４は単レンズ１０４と撮像素子１０８との間に設置されたカラーフィルターである。各々のカラーフィルターは赤色波長帯域、緑色波長帯域、または青色波長帯域の光を透過させる。２０５は遮光板であり、各々の撮像素子が一つの波長帯域の光だけを受光し、また、カラーフィルターで反射された波長帯域の光が散乱して他のカラーフィルターに混入する事を防ぐ。２０６はデジタル信号プロセッサー（ＤＳＰ）などの演算装置を含む基板であり、その上に４個の撮像素子１０５、１０６、１０７、１０８が設置される。２０７は撮像装置の筐体であり、４個の単レンズの光軸がそれぞれ対応する撮像素子のほぼ中心を通過する様に、４個の単レンズ１０１、１０２、１０３、１０４、４個のカラーフィルター２０１，１０２，２０３，２０４、４個の撮像素子１０５、１０６、１０７、１０８、基板２０６を保持する。
図２では、撮像素子１０５、１０６、１０７、１０８および基板２０６は空中に浮いているように示されているが、実際にはアクチュエーター（後述）を介して筐体２０７に支持されている。４個の単レンズ１０１、１０２、１０３、１０４と４個の撮像素子１０５、１０６、１０７、１０８との相対位置は、各々の単レンズの光軸に垂直な方向及び／又は平行な方向に、このアクチュエーターを用いて変化させる事ができる。
図３において、１０１、１０２、１０３、１０４はそれぞれ単レンズ、２０１、２０２、２０３、２０４はそれぞれカラーフィルター、２０５は遮光板、２０７は筐体である。「Ｒ」、「Ｇ」、「Ｂ」は、各単レンズ１０１、１０２、１０３、１０４に対応して配置されたカラーフィルター２０１、２０２、２０３、２０４が透過させる光の波長帯域を示しており、順に、赤色波長帯域、緑色波長帯域、および青色波長帯域を示している。従って、図３の実施形態１の撮像装置は、一つの赤色波長帯域透過フィルター２０１、二つの緑色波長帯域透過フィルター２０２，２０３、および一つの青色波長帯域透過フィルター２０４を有し、二つの緑色波長帯域透過フィルター２０２，２０３は対角線上に配置されている。
図１、図２、図３で示した本発明の実施形態１では、単レンズ１０１に入射した被写体からの光のうち赤色波長帯域の光はカラーフィルター２０１を透過して撮像素子１０５に入射する。また、単レンズ１０２および１０３に入射した被写体からの光のうち緑色波長帯域の光はそれぞれカラーフィルター２０２および２０３を透過して撮像素子１０６および１０７に入射する。そして、単レンズ１０４に入射した被写体からの光のうち青色波長帯域の光はカラーフィルター２０４を透過して撮像素子１０８に入射する。このように、被写体からの光は赤色波長帯域光、緑色波長帯域光、および青色波長帯域光に分離されて、撮像素子１０５、１０６、１０７、および１０８で撮像されるので、各々のレンズ系に要求される色収差を緩和する事ができ、単レンズを用いても、赤色、青色、緑色のそれぞれの波長帯域では色収差の小さい画像が得られる。各々の波長領域光に対して複数枚の組み合わせレンズを用いる必要がなく光学系を薄くでき、従って撮像装置を薄くできる。本発明の実施形態１では１枚の非球面レンズを用いている。
［原点検出及び画素位置特定］
本発明の実施形態１においては、４個の撮像素子１０５、１０６、１０７、１０８で撮像された４個の画像を合成してカラー画像を得る。この画像合成はＤＳＰなどの演算装置を含む基板２０６が司る。各撮像素子は多数の画素で構成されているので、複数個の撮像素子の画像を合成するには、各々の撮像素子に含まれる各画素に、その位置に対応した座標を指定する必要があり、この各画素の座標指定を行うにあたっては、その基準となる原点が必要である。
次に、実施形態１の撮像装置について、各撮像素子の原点および複数画素の座標指定について説明する。
図４は、本発明の実施形態１における撮像装置の４個の単レンズと４個の撮像素子の高精度な位置関係を示す図である。図５は、本発明の実施形態１における撮像装置の４個の単レンズと４個の撮像素子の一般的な位置関係を示す図である。図４および図５において、図１〜図３と同じ構成要素については同じ符号を用い、それらの説明を省略する。
図４において、１０５、１０６、１０７、１０８は撮像素子であり、各撮像素子において格子枠で区分された正方形の一つ一つは画素を表す。図では、簡単のために９行１３列だけの画素を示しているが、実際にはより多くの画素で構成されている。単レンズ１０１、１０２、１０３、１０４の各々の光軸が、撮像素子１０５、１０６、１０７、１０８と交わる位置の画素に斜線を施している。図４の配置では単レンズ１０１、１０２、１０３、１０４の各々の光軸は対応する撮像素子１０５、１０６、１０７、１０８の中心を通過しており、このような場合では、各々の撮像素子の中心に位置する画素を原点とする事ができる。これらの原点を基準に、各々の撮像素子の各画素に座標を割り当てる。例えば、撮像素子１０５について、単レンズ１０１の光軸が通過する中心画素を座標（０、０）として、撮像素子１０５の各画素はＸ方向には（−６）〜（＋６）までの座標値を持ち、また、Ｙ方向には（−４）〜（＋４）までの座標値を持ち、合計１１７個の画素の各々の位置を座標で特定できる。同様に、撮像素子１０６、１０７、１０８についても、単レンズ１０２、１０３、１０４の光軸が通過する各撮像素子の中心画素を各々の撮像素子の座標（０、０）として、各画素に座標を割り当てることができる。
図４の様な、４個の単レンズの光軸が４個の撮像素子の中心を通過するような配置を実現するには、非常に高精度な実装を必要とする。従来にも、４個のレンズと４個の撮像素子とを用い、４個の画像を合成して一つのカラー画像を作る技術は提案されている。例えば、特開２００１−０７８２１３号公報、特開２００２−２０４４６２号公報、特開２００２−２０９２２６号公報には、レンズ光軸と撮像素子中心との高精度な位置関係を前提とする撮像装置が記載されている。
しかし、各画素の１辺は２〜３μｍ程度であり、常に図４の様な高精度配置を確保する事は困難である。一般には、４個の単レンズ、４個の撮像素子、その他のカラーフィルターなどの部品を組み立てた場合には、４個の単レンズの光軸が４個の撮像素子の各々の中心画素を通過するとは限らない。
図５において、４個の撮像素子１０５、１０６、１０７、１０８の配置は図４に比べて僅かにずれており、且つ、４個の単レンズ１０１、１０２、１０３、１０４の配置は図４に比べて僅かに回転している。一般的な実装精度では、各レンズ系の光軸が対応する撮像素子の中心を通過するとは限らない。本発明の実施形態１では、例として図５の状態を用いて説明する。各撮像素子１０５、１０６、１０７、１０８において格子枠で区分された正方形の一つ一つは画素を表す。図では、簡単のために９行１３列だけの画素を示しているが、実際にはより多くの画素で構成されている。単レンズ１０１、１０２、１０３、１０４の各々の光軸が、撮像素子１０５、１０６、１０７、１０８と交わる位置の画素に斜線を施している。これらの各光軸上の画素を各撮像素子の原点とし、これらの原点を基準に各撮像素子の各画素に座標を割り当てる。例えば、撮像素子１０５について、単レンズ１０１の光軸が通過する画素を座標（０、０）とすれば、撮像素子１０５の各画素はＸ方向に（−７）〜（＋５）の座標値を持ち、Ｙ方向には（−４）〜（＋４）の座標値を持つ。また、撮像素子１０６については、単レンズ１０２の光軸が通過する画素を座標（０、０）とすれば、撮像素子１０６の各画素はＸ方向に（−６）〜（＋６）の座標値を持ち、Ｙ方向には（−３）〜（＋５）の座標値を持つ。同様に、撮像素子１０７は座標（０、０）を基準にＸ方向に（−６）〜（＋６）、Ｙ方向に（−４）〜（＋４）の座標値を持ち、撮像素子１０８は座標（０、０）を基準にＸ方向に（−５）〜（＋７）、Ｙ方向に（−３）〜（＋５）の座標値を持つ。
実施形態１の撮像装置では、実装時点では、各単レンズの光軸と各撮像素子との位置関係を特別に指定しない。４個の単レンズ、４個の撮像素子、その他のカラーフィルターなどの部品を筐体に組み付けた後に、各撮像素子の原点（各レンズ光軸上の画素）を検出し、原点上の画素の座標を（０，０）と指定し、この原点を基準に他の多くの画素の座標を指定する。各撮像素子の原点は、実装後に、何らかの被写体を撮像し、各々の撮像素子が撮像した画像を用いて検出する事ができる。例えば、遠景の被写体を撮像し、その中の特徴的な点像を撮像する画素を原点とする方法が考えられる。
次に、実施形態１の撮像装置について、原点を検出する方法を説明する。
図６Ａは、本発明の実施形態１における撮像装置の各撮像素子の原点検出方法を示す図である。図６Ｂは、本発明の実施形態１における撮像装置の各撮像素子の原点付近の光量分布を示す図である。
図６Ａにおいて、６０１は実装後の撮像装置、６０２は略白色の略点光源である。実質的に無限遠（例えば１０ｍ離した距離）に置かれた略白色光源（例えば豆電球）６０２を各撮像素子で撮像する。略白色光源からは緑色、赤色、青色の光が放射されるので、４個の撮像素子の全てが光源像を撮像する。
略無限遠の略点光源でも、一つだけの画素がその像を撮像するわけではない。その略無限遠の略白色光源からの光の各々の撮像素子の受光面での光量分布は例えば図６Ｂのようになる。この場合には、光源からの光を受光する画素６１１，６１２，６１３のうち、受光光量が最大となる画素６１２を、この撮像素子の原点とする。このようにして、各撮像素子の原点を検出できる。例えば、これらの原点が、図５における斜線を施した画素、すなわち、各々の単レンズの光軸が撮像素子と交わる位置にある画素である。
画素間に仮想の画素を内挿（補間）するのが好ましい。内挿は、画素間を例えば２分割、３分割、または４分割（あるいはこれ以上）して行う。画素間に仮想の画素を内挿し、この仮想の画素を挟む実在する画素の光量から、仮想の画素の光量を見積もる。これにより、略無限遠の略白色光源からの光の光量分布をより正確に検出することができるので、より正確な原点位置を検出する事ができる。
このように、撮像素子の原点を、実装後に検出する事により、非常に高精度の実装が不要となり、撮像装置の製作が容易となる。
ここで、実施形態１の撮像装置の製造方法を工程順に示すと以下の通りである。
（１）一体となった４個の単レンズ１０１、１０２、１０３、１０４、４個の撮像素子１０５、１０６、１０７、１０８、演算装置などを含む基板２０６、カラーフィルター２０１、２０２、２０３、２０４などの部品、および筐体２０７を準備する。
（２）筐体中に、一体となった４個の単レンズ、４個の撮像素子、演算装置などを含む基板、およびカラーフィルターなどの部品を組み付ける。この時、同一平面に４個の撮像素子を碁盤状に配置し、その平面に対してできるだけ平行に一体となった４個の単レンズを配置する。しかし、各単レンズの光軸に対する各撮像素子の相対的位置に関して高い組立精度は必要としない。
（３）組み立て後の撮像装置を用いて、遠方に配置した略白色光源を撮像する。各撮像素子において、受光光量が最大となる画素（或いは画素間の光量を内挿し、受光光量が最大となる位置）を、その撮像素子の原点として検出する。この白色光源として豆電球などの点光源と見なしうる光源を用いる。
（４）各撮像素子のそれぞれの原点を基準として、各撮像素子の他の多数の画素の各位置を座標で特定する。
［視差及びこの検出］
次に、実施形態１の撮像装置について、各撮像素子上の画像位置について説明する。
図７は、本発明の実施形態１における撮像装置の結像位置を示す図である。図８は、本発明の実施形態１における撮像装置の視差の方向を示す図である。図７および図８において、図１〜図６と同じ構成要素については同じ符号を用い、それらの説明を省略する。
図７において、実施形態１の撮像装置を用いて被写体７００を撮像する。被写体７００の像は、単レンズ１０１を通じて撮像素子１０５上に光学像７０１として結ばれる。これと同時に、被写体７００の像は、単レンズ１０１に隣接する単レンズ１０２を通じて撮像素子１０６上に光学像７０２として結ばれる。この時、単レンズ１０１と単レンズ１０２とで、異なる位置から同一被写体７００を観察することになるので、光学像７０１と光学像７０２との間には視差が生じる。例えば、光学像７０１が単レンズ１０１の光軸上に結像されたとしても、光学像７０２は単レンズ１０２の光軸に対して視差Δだけ変位した位置に結像される。視差Δは、Δ＝Ｄ・ｆ／（Ａ−ｆ）≒Ｄ・ｆ／Ａで与えられる。ここで、Ｄは単レンズ１０１の光軸と単レンズ１０２の光軸との間隔、ｆは単レンズ１０１および１０２の焦点距離、Ａは被写体７００と単レンズ１０１および１０２との距離である。
図８において、各撮像素子１０５、１０６、１０７、１０８の原点は斜線を施した画素で表されている。図８の配置は図５と同じである。図７の説明から、視差が生じる方向は、各レンズの光軸が対応する撮像素子と交わる位置（原点）間を結ぶ方向に平行である事が分かる。２つの緑色画像を撮像する撮像素子１０７および１０６の両原点を結ぶ方向をＧ方向と定義する。また、緑色画像を撮像する撮像素子１０７の原点と青色画像を撮像する撮像素子１０８の原点とを結ぶ方向をＢ方向と定義し、緑色画像を撮像する撮像素子１０７の原点と赤色画像を撮像する撮像素子１０５の原点とを結ぶ方向をＲ方向と定義する。各撮像素子の画像の視差は、これらのＧ、Ｂ、Ｒ方向に平行に生じる。
被写体７００が単レンズ１０１、１０２、１０３、１０４から無限遠の位置にある場合（Ａ＝∞）は、実質的に視差は無い（Δ＝０）。この場合、図８において、被写体の特定点の像は各撮像素子の同じ座標値を持つ画素に作られ、例としてこの画素を「Ｋ」で示す。
被写体７００が単レンズ１０１、１０２、１０３、１０４に近づく（Ａが小さくなる）にしたがって、視差Δは大きくなり、各撮像素子上の被写体の像は互いに遠ざかる。即ち、図８において、撮像素子１０７（緑色）上の被写体像を基準とした場合は、他の撮像素子１０５（赤色）、１０６（緑色）、１０８（青色）上の被写体像は、Ｒ方向、Ｇ方向、およびＢ方向に平行にそれぞれ移動する。このような視差が生じている状態で４つの撮像素子がそれぞれ撮像した４つの被写体像の画像を、同一座標値を有する画素同士が重なるようにして合成すると、画像が劣化する。鮮明なカラー画像を得るためには、４つの被写体像の画像を合成する前に、これらの画像に含まれる視差が減少し又は無くなるように画像を補正する必要がある。
実施形態１の撮像装置では、図３の様に、緑色波長帯域の光を透過するカラーフィルター２０２，２０３が対角の象限に配置されている。これら二つのカラーフィルター２０２，２０３に対応する２つの撮像素子１０６，１０７が撮像した２つの緑色波長帯域の画像うち、撮像素子１０７による画像を緑色基準画像、撮像素子１０６による画像を緑色副画像とする。これら２つの緑色波長帯域の画像には、同じ画像が視差を含んで写っているので、これら２つの緑色画像を比較すれば、緑色副画像の視差を導き出す事ができる。緑色副画像の変位の量をＧ方向の視差ベクトルで表すと、赤色画像の変位はその視差ベクトルのＲ方向の成分量、青色画像の変位はその視差ベクトルのＢ方向の成分量である。
これらの視差を補正した後に、緑色波長帯域の基準画像、視差を補正した緑色波長帯域の副画像、視差を補正した赤色波長帯域の画像、および視差を補正した青色波長帯域の画像を合成すればカラー画像を得られる。
隣り合う画素の中心間隔は２〜３μｍである。レンズ、撮像素子、その他部品を一般的な実装方法を用いて組み立てても、その組立誤差がこの画素中心間隔の何倍にも達することはない。従って、実質的にはＲ方向は図１のＹ方向と殆ど同じであり、Ｂ方向は図１のＸ方向と殆ど同じである。また、Ｇ方向も緑色基準画像を撮像する撮像素子１０７の中心と緑色副画像を撮像する撮像素子１０６の中心とを結ぶ方向と殆ど同じである。
次に、実施形態１の撮像装置の視差検出について説明する。
図９は、本発明の実施形態１における撮像装置の視差定量化プログラムを示すフローチャートである。図１０は、本発明の実施形態１における撮像装置の視差定量化過程に用いる画素群を示す図である。図１１は、本発明の実施形態１における撮像装置の視差定量化過程に用いる光量分布を示す図である。図１２は、本発明の実施形態１における撮像装置の視差定量化過程に用いる画素群の別の例を示す図である。
図９に示すように、この視差定量化プログラムが開始されると、ステップＳ１１において、緑色基準画像を構成する画素群の中から、光量分布を求めるための基準となる複数の基準画素を選抜する。
ステップＳ１２において、緑色副画像を構成する画素群の中から上記複数の基準画素に対応する、視差を調査するための複数の調査用画素を選抜する。視差により、緑色副画像は緑色基準画像に対してＧ方向に変位するので、上記の複数の基準画素および複数の調査用画素は、図１０のように、緑色基準画像および緑色副画像の各々においてＧ方向に平行に並んだ画素群を選ぶ事が適切である。図１０では、原点（斜線を施した画素）を中心に斜めに一列に並んだ「１」〜「７」の符号を付した７つの画素を選抜している。
次にステップＳ１３において、上記複数の基準画素のそれぞれの光量を検出し、その光量分布を第１光量分布として求める。
ステップＳ１４において、上記複数の調査用画素のそれぞれの光量を検出し、その光量分布を第２光量分布として求める。
ステップＳ１５において、図１１を参照して、それぞれの光量分布に含まれる特徴的部分を認識し、第１光量分布に含まれる特徴的部分と第２光量分布に含まれる特徴的部分との間の変位を算出する。この変位が視差の大きさを表す。以上により、緑色基準画像を基準にした緑色副画像の視差がＧ方向の視差ベクトルとして定量化される。
図１１の例では、第１光量分布の特徴的部分と第２光量分布の特徴的部分とは、一画素分だけずれている。即ち、緑色副画像の緑色基準画像に対する視差は、Ｇ方向に一画素分の大きさを持つＧ方向ベクトルで表される。従って、青色画像の緑色基準画像に対する視差はＢ方向に一画素分の大きさを持つＢ方向ベクトルで表され、赤色画像の緑色基準画像に対する視差はＲ方向に一画素分の大きさを持つＲ方向ベクトルで表される。
緑色基準画像の複数の基準画素と緑色副画像の複数の調査用画素として、緑色基準画像の原点と緑色副画像の原点とを結ぶＧ方向に平行に並んだ画素を選択する事が望ましい。しかし、一般に、Ｇ方向に整然と並んだ画素群を選別できるとは限らない。図１０においても、７つの画素「１」〜「７」の配列方向は、Ｇ方向に対して僅かにずれている。このずれの程度によっては、図１２において灰色画素で示す様に、Ｇ方向に平行な領域内に２次元配列された複数の画素を選別する事が望ましい。基準画素及び調査用画素として、このような２次元配列された２つの画素群を選抜し、両画素群の光量分布を比較すると、より正確な視差を求める事ができる。
また、隣り合う基準画素間および隣り合う調査用画素間に、仮想の画素を内挿（補間）するのが好ましい。内挿は、画素間を例えば２分割、３分割、または４分割（あるいはこれ以上）して行う。画素間に仮想の画素を内挿し、この仮想の画素を挟む実在する画素の光量から、仮想の画素の光量を見積もる。これにより、第１光量分布および第２光量分布をより正確に求めることができる。従って、視差をより正確に定量化できる。
［画像合成］
次に、実施形態１の撮像装置の画像合成について説明する。
図１３は、本発明の実施形態１における撮像装置の画像処理プログラムを示すフローチャートである。
図１３に示すように、この画像処理プログラムが開始されると、ステップＳ２１において、図９の視差定量化プログラムにより、緑色基準画像を基準にして、緑色副画像の視差による変位をＧ方向の視差ベクトルで定量化する（視差定量化工程）。ステップＳ２２において、緑色副画像のＲ方向およびＢ方向の視差を補正する。ステップＳ２３において、青色画像のＢ方向の視差を補正する。ステップＳ２４で、赤色画像のＲ方向の視差を補正する。
図１１の様に視差が１画素の場合を用いてステップＳ２２〜Ｓ２４を具体的に説明する。前述した様に、Ｇ方向は対角線方向と殆ど同じ、Ｂ方向はＸ方向と殆ど同じ、また、Ｒ方向はＹ方向と殆ど同じである。従って、視差が１画素の様に小さい場合は、Ｇ方向の視差補正は対角線方向の補正と殆ど同じであり、Ｂ方向の視差補正はＸ方向の視差補正と殆ど同じであり、また、Ｒ方向の視差補正はＹ方向の視差補正と殆ど同じである。緑色副画像をＢ方向と反対方向（−Ｘ方向）に１画素移動し、且つ、Ｒ方向と反対方向（−Ｙ方向）に１画素移動して、緑色副画像の視差を補正する。即ち、緑色副画像の撮像素子１０６の座標（ｍ、ｎ）の画素データを、座標（ｍ−１、ｎ−１）の画素データとする事を意味する。また、青色画像をＢ方向と反対方向（−Ｘ方向）に１画素移動して青色画像の視差を補正する。即ち、青色画像の撮像素子１０８の座標（ｍ、ｎ）の画素データを、座標（ｍ−１、ｎ）の画素データとする事を意味する。更に、赤色画像をＲ方向と反対方向（−Ｙ方向）に１画素移動して赤色画像の視差を補正する。即ち、赤色画像の撮像素子１０５の座標（ｍ、ｎ）の画素データを、座標（ｍ、ｎ−１）の画素データとする事を意味する。
しかし、被写体が撮像装置に近づいて視差が大きい場合は、Ｂ方向とＸ方向の僅かな違い、Ｒ方向とＹ方向の僅かな違い、およびＧ方向と対角線方向の僅かな違いを考慮する必要がある。例えば、Ｂ方向がＸ方向に対して５度傾斜していれば、Ｘ方向に１１ないし１２画素の補正と同時に、Ｙ方向にも１画素分の補正を施す必要がある。
これにより、緑色副画像、赤色画像および青色画像の視差は無くなる、あるいは、非常に小さくなる。ステップＳ２５で、緑色基準画像、補正後の緑色副画像、青色画像および赤色画像を合成する。赤色画像、青色画像および緑色副画像のそれぞれにおいて視差を少なくする、あるいは、無くする様にそれぞれの画像の画素データを補正しているので、鮮明なカラー合成画像が得られる。
あるいは、緑色基準画像と緑色副画像とは実質的に同じ画像であるので、補正後の緑色副画像を用いずに、緑色基準画像、補正後の青色画像および補正後の赤色画像を合成しても実質的に同じ鮮明なカラー合成画像が得られる。
［駆動手段］
携帯電話などに搭載される撮像装置には、焦点制御、手振れ補正、拡大写真（ズーム）、接写写真（マクロ）などの機能も要求される。これらの機能を実現するには、レンズ系と撮像素子との相対位置を、レンズ系の光軸に垂直な方向または平行な方向に変化させる必要がある。実施形態１の撮像装置は、撮像素子を図１に示すＺ方向、Ｘ方向、およびＹ方向に、独立に微動できる３次元駆動手段を搭載する。図１４〜図１９を用いて、この３次元駆動手段の構造と機能を説明する。
図１４は、本発明の実施形態１における撮像装置の３次元駆動手段の斜視図である。図１５は、本発明の実施形態１における撮像装置の３次元駆動手段を構成するアクチュエーターの断面図である。図１６および図１７は、本発明の実施形態１における撮像装置のアクチュエーター駆動方法を説明する図である。図１８および図１９は、本発明の実施形態１における撮像装置のアクチュエーター動作を示す図である。図２０は、本発明の実施形態１における撮像装置の別のアクチュエーターの断面図である。図１４から図２０において、図１から図１３と同じ構成要素には同じ符号を用い、それらの説明を省略する。
図１４において、２０６は演算装置を含む基板で、その上に撮像素子１０５、１０６、１０７、１０８が配置されている。３１０，３２０は、Ｘ方向に基板２０６を挟んで配置された第１アクチュエーター、第２アクチュエーターである。３３０，３４０は、Ｙ方向に基板２０６を挟んで配置された第３アクチュエーター、第４アクチュエーターである。第１〜第４アクチュエーター３１０，３２０，３３０，３４０は、ＸＹ面と平行な面内において、基板２０６の中心を中心として９０度間隔で配置されている。
第１〜第４アクチュエーター３１０，３２０，３３０，３４０は同じ構成を有している。第１，第２，第３，第４アクチュエーター３１０，３２０，３３０，３４０は、相互に接続された振動子３１１，３２１，３３１，３４１と弾性バネ部３１２，３２２，３３２，３４２とからなる。第１，第２，第３，第４アクチュエーター３１０，３２０，３３０，３４０の振動子３１１，３２１，３３１，３４１側端は支持部３００に固定され、弾性バネ部３１２，３２２，３３２，３４２側端は基板２０６に接続されている。支持部３００は図２あるいは図３に示した筐体２０７の一部でもよい。
図１５において、振動子３１１は、導電性を有する弾性体よりなる弾性シム材３１４の両面に圧電素子３１３ａ，３１３ｂが貼り合わされてなる。弾性シム材３１４は、支持部３００と基板２０６との間に延びており、その振動子３１１より基板２０６側の一部に弾性バネ部３１２が形成されている。同様に、振動子３２１は、導電性を有する弾性体よりなる弾性シム材３２４の両面に圧電素子３２３ａ，３２３ｂが貼り合わされてなる。弾性シム材３２４は、支持部３００と基板２０６との間に延びており、その振動子３２１より基板２０６側の一部に弾性バネ部３２２が形成されている。
圧電素子３１３ａ、３１３ｂ、３２３ａ、３２３ｂは、厚み方向（Ｚ方向）に分極処理され、その表裏面に電極（図示せず）が形成されたのち、弾性シム材３１４、３２４に接着剤等で貼り合わされている。分極の方向は印加する電気信号との関係を考慮して決めれば良いが、本実施形態では、中性面として存在する弾性シム材３１４、３２４に向かう方向と分極の方向とを一致させている。従って、弾性シム材３１４、３２４の表裏面に貼り合わされている一対の圧電素子の分極方向は互いに逆方向となる。
弾性バネ部３１２，３２２は、弾性シム材３１４，３２４を波板状に曲げ加工することにより形成されている。ここでは、弾性バネ部３１２，３２２は波板形状としたが、コイルバネ形状でも同様の効果が得られる。また、エッチング等の工法を用いて弾性シム材３１４，３２４の一部を加工して、幅の狭いところや厚みの薄いところを作成して、バネ性を付与しても同様の効果が期待できる。
第１，第２アクチュエーター３１０，３２０の振動子３１１，３２１側端は、圧電素子が支持部３００に挟み込まれずに、弾性シム材３１４，３２４のみが支持部３００に挟持されるように、支持部３００に固定されている。これは、圧電素子が支持部３００に直接保持されていると、振動子３１１，３２１に振動を励振した際に、支持部３００の振動子３１１，３２１側のエッジ部で挟持された圧電素子内に著しく大きな応力が発生し、容易に圧電素子の破壊限界を越える可能性があるからである。弾性シム材３１４，３２４の圧電素子が貼り合わされていない部分を支持部３００で保持することにより、振動時の圧電素子の破損を防止して、装置の信頼性を著しく向上する事が出来る。
次に動作について説明する。第１アクチュエーター３１０の振動子３１１の表裏に貼り合わされた圧電素子３１３ａ、３１３ｂの外面側の電極と弾性シム材３１４との間に図１６（ａ）に示す信号を印加すると（圧電素子３１３ａ、３１３ｂの弾性シム材３１４側の電極は、弾性シム材３１４に貼り合わされることにより弾性シム材３１４と導通している）、圧電素子３１３ａ、３１３ｂはこの信号電位によりいずれも伸びる変位をするように分極処理が施されているため、図１８に示すように、振動子３１１は長さを伸ばすように変形する。一方、第２アクチュエーター３２０の振動子３２１の表裏に貼り合わされた圧電素子３２３ａ、３２３ｂの外面側の電極と弾性シム材３２４との間に図１６（ｂ）に示す信号を印加すると、圧電素子３２３ａ、３２３ｂはこの信号電位によりいずれも縮む変位をするように分極処理が施されているため、図１８に示すように、振動子３２１は長さを縮めるように変形する。以上の、振動子３１１，３２１の変形によって、両振動子３１１，３２１にＸ軸方向に挟まれ保持されている基板２０６およびその上の撮像素子１０５，１０６，１０７，１０８は図１８の矢印３５１の方向（Ｘ軸の正の方向）に、図１６（ｃ）に示される変位挙動で移動させられる。図１６（ｃ）にあるリンギング現象は、振動子３１１，３２１の共振によるものであり、圧電素子に印加する電圧の立ち上がりスピードを遅くすることにより、改善することが可能である。また、上記とは逆極性の駆動信号を圧電素子に印加すると図１８に示した矢印３５１の方向と逆方向に基板２０６と撮像素子を移動させることが出来る。
更に、第１アクチュエーター３１０の振動子３１１の一方の圧電素子３１３ａの外面側の電極と弾性シム材３１４との間に図１７（ａ）に示す信号を印加し、他方の圧電素子３１３ｂの外面側の電極と弾性シム材３１４との間に図１７（ｂ）に示す信号を印加すると、一方の圧電素子３１３ａは伸び、他方の圧電素子３１３ｂは縮むため、図１９に示したように振動子３１１は屈曲変形する。また、第２アクチュエーター３２０の振動子３２１の一方の圧電素子３２３ａの外面側の電極と弾性シム材３２４との間に図１７（ａ）に示す信号を印加し、他方の圧電素子３２３ｂの外面側の電極と弾性シム材３２４との間に図１７（ｂ）に示す信号を印加すると、一方の圧電素子３２３ａは伸び、他方の圧電素子３２３ｂは縮むため、図１９に示したように振動子３２１は振動子３１１と同一方向に屈曲変形する。振動子３１１，３２１の間に挟まれ保持されている基板２０６およびその上の撮像素子１０５，１０６，１０７，１０８は、弾性バネ部３１２，３２２の効果により水平状態を維持したまま、図１９の矢印３５２の方向（Ｚ軸の正の方向）に図１７（ｃ）に示した変位挙動で移動させられる。図１７（ｃ）にあるリンギング現象も、振動子３１１，３２１の共振によるものであり、圧電素子に印加する電圧の立ち上がりスピードを遅くすることにより、改善することが可能である。また、上記とは逆極性の駆動信号を圧電素子に印加すると図１９に示した矢印３５２の方向と逆方向に基板２０６と撮像素子を移動させることが出来る。
以上のことより、Ｘ方向に基板２０６を挟む第１及び第２アクチュエーター３１０，３２０により、レンズ系の光軸に垂直な一方向（Ｘ方向）と、レンズ系の光軸に平行な方向（Ｚ方向）とに、撮像素子１０５，１０６，１０７，１０８を移動させることが可能になる。
従って、図１４に示すように、基板２０６を中心としてＸＹ平面内において９０度間隔で配置された第１〜第４アクチュエーター３１０，３２０，３３０，３４０で基板２０６を保持することにより、レンズ系の光軸に平行な方向（Ｚ方向）と、レンズ系の光軸に垂直な、互いに垂直な二方向（Ｘ方向及びＹ方向）とに、撮像素子１０５，１０６，１０７，１０８を移動させることが可能になる。これにより、撮像装置に各種機能を付与することができる様になる。
振動の大きさや周波数によっては、圧電素子を支持部３００に挟み込んでも良い場合もある。図２０にその例を示す。
上記において、第１，第２アクチュエーター３１０，３２０及び第３，第４アクチュエーター３３０，３４０のいずれか一方を省略して、レンズ系の光軸に平行な方向（Ｚ方向）と、レンズ系の光軸に垂直な一方向（Ｘ方向又はＹ方向）とに、撮像素子１０５，１０６，１０７，１０８を移動させる構成とすることもできる。
また、上記のアクチュエータで単レンズ１０１、１０２、１０３、１０４を保持し、筐体２０７に対して、撮像素子１０５，１０６，１０７，１０８ではなく、単レンズ１０１、１０２、１０３、１０４を移動させてもよい。
［焦点制御機能］
実施形態１の撮像装置が備える各種機能のうち、先ず、焦点制御機能を説明する。
被写体が撮像装置から遠方にある場合には、各単レンズの焦点位置に設置された撮像素子を用いて、焦点の合った画像を撮像できる。被写体が撮像装置に近づくにつれて、撮像素子を各単レンズの焦点位置から移動する必要がある。図１４および図１５（あるいは図２０）に示した第１〜第４アクチュエーター３１０，３２０，３３０，３４０からなる３次元駆動手段を、図１９に示した様に撮像素子をＺ方向に移動させて、焦点の合った画像を撮像する事ができる。
［手振れ補正機能］
次に、実施形態１の撮像装置の手振れ補正機能を説明する。
図２１は、本発明の実施形態１における撮像装置の手振れ補正方法を説明する図である。
実施形態１の撮像装置では、手振れ補正には図１４から図２０で示した３次元駆動手段を用いる必要はなく、電子式手振れ補正方法を用いる。１秒間に３０フレームの撮像ができる場合を考える。１枚の画像の撮像に要する時間は約０．０３３秒になり、明るい環境ではこの撮影時間内に十分に鮮明な画像を撮像できる。しかし、暗い環境では約０．０３３秒の撮像時間では十分ではなく、これより長い撮像時間を要する。このような場合、この撮像時間内に手振れが生じる可能性が高く、鮮明な画像を撮れない可能性がある。そこで、以下の様な撮像方法を採用する。暗い環境では約０．０３３秒毎に複数回撮像し、それぞれの時刻で撮像素子１０５、１０６、１０７、および１０８がそれぞれ撮像した４つの画像を合成して、各回の撮像に一対一に対応した複数のカラー画像を得る。この複数時刻ごとの各々のカラー画像は、図８から図１３を用いて説明した画像合成を経て得る事ができる。次に、この複数時刻の複数のカラー画像を比較し、各画像中の一致する部分が互いに重なるようにして、複数時刻の複数のカラー画像を重ね合わせて合成する。この結果、鮮明で手振れのないカラー画像を得る。
図２１を用いて説明する。第１番目の撮像時（ｔ＝０秒）に撮像素子１０５、１０６、１０７、および１０８が撮像した４つの画像を合成して第１番目の合成カラー画像（Ａ）を作る。約０．０３３秒経過した第２番目の撮像時（ｔ＝０．０３３秒）に撮像素子１０５、１０６、１０７、および１０８が撮像した４つの画像を合成して第２番目の合成カラー画像（Ｂ）を作る。更に約０．０３３秒経過した第３番目の撮像時（ｔ＝０．０６６秒）に撮像素子１０５、１０６、１０７、および１０８が撮像した４つの画像を合成して第３番目の合成カラー画像（Ｃ）を作る。更に約０．０３３秒経過した第４番目の撮像時（ｔ＝０．０９９秒）に撮像素子１０５、１０６、１０７、および１０８が撮像した４つの画像を合成して第４番目の合成カラー画像（Ｄ）を作る。第１〜第４番目の合成カラー画像（Ａ）〜（Ｄ）内の被写体の位置は、手振れのために互いに異なっている。これら第１〜第４番目の合成カラー画像（Ａ）〜（Ｄ）を比較し、各画像中の一致する部分が互いに重なるように各々の合成カラー画像を移動させて更に合成する。これにより、被写体が第１番目の撮像から第４番目の撮像までの約０．１３２秒間に動いていても、（Ｆ）に示すように鮮明なカラー画像を得られる。これらの信号処理はデジタル信号プロセッサー（ＤＳＰ）などの演算装置を含む基板２０６が司る。比較のために、手振れ補正しないで単純に４つの時刻で撮像された画像を重ね合わせた画像（Ｅ）も示す。画像（Ｅ）は手振れの為に被写体は鮮明ではない。
あるいは、以下の様な撮像方法も可能である。約０．０３３秒毎に複数回撮像する。撮像素子１０５、１０６、１０７、および１０８の各々について、同じ撮像素子が撮像した複数時刻の複数の画像を比較し、各画像中の一致する部分が互いに重なるように各々の画像を移動させて更に合成して、４つの撮像素子に一対一に対応する手振れ補正が施された４つの単色画像を得る。次いで、この４つの単色画像を用いて、図８から図１３を用いて説明した画像合成を行い、手振れ補正が施されたカラー画像を得る。この場合、同じ撮像素子が異なる時刻に撮像した複数の画像を重ね合わせて手振れ補正された単色画像を得る際に、各撮像素子間で座標の関係を一致させなければならない。そのためには、例えば第１番目の撮像時刻を４つの撮像素子に共通する基準時とし、第１番目に撮像された画像の座標を維持しながら、第２番目以降の撮像時に撮像された各画像をこの第１番目の画像に合わせるように移動して、この第１番目の画像に順次重ね合わせる。このようにすることにより、４つの撮像素子間の座標関係を第１番目の時刻での座標に維持しながら、視差検出、視差補正、及び視差補正された画像の合成を行うことができる。言うまでもなく、基準時は第１番目の撮影時刻に限定されず、他の撮影時刻であってもよい。この手振れ補正方法を図２１を用いて示すとすれば、画像（Ａ）〜（Ｄ）は４つの撮像素子のいずれかに対する、第１〜第４番目の撮像時刻における撮像画像であり、画像（Ｆ）は第１番目の撮像画像（Ａ）の座標を維持しながら、画像（Ａ）〜（Ｄ）中の一致する部分を重なる様に合成して手振れ補正された単色の画像である。
上記の説明では互いに異なる時刻に４回撮像した画像を用いて手振れ補正する例を示したが、撮像回数は４回に限定されず、２回、３回、又は５回以上など、異なる時刻に複数回撮像して得た画像を用いて手振れ補正をしても良いことは言うまでもない。
［拡大写真機能］
次に、拡大写真（ズーム）機能について説明する。実施形態１の撮像装置では、光学的な倍率を大きくする事なしに電子的に鮮明な拡大画像を得る。そのためには、図１４から図２０に説明した３次元駆動手段を用いて、各撮像素子を各単レンズの光軸と垂直な方向に移動させる必要がある。
図２２Ａ及び図２２Ｂは、本発明の実施形態１における撮像装置の電子ズーム方法を説明する図である。図２２Ａ及び図２２Ｂにおいて、図１から図２０と同じ構成要素については同じ符号を用い、それらの説明を省略する。
図２２Ａ及び図２２Ｂにおいて、格子状の実線で仕切られた各正方形は１つの画素である。図２２Ａは撮像素子１０５、１０６、１０７、あるいは１０８の一部であり、その撮像素子に含まれる特定の一つの画素（この画素を「着目画素」という）の中心をこの撮像素子に対応するレンズ系から見た位置を「１」で表している。例えば、各画素の中心間隔を２μｍとする。各々の撮像素子１０５、１０６、１０７、および１０８を対応する単レンズの焦点位置に設置して非常に遠方を撮像できる状態にする。そして、撮像素子１０５〜１０８をＸ方向およびＹ方向に画素の中心間隔の半分（この例では１μｍ）だけ移動させながら複数回撮像する。１秒間に３０フレームの撮像ができる場合を考える。１回の撮像には約０．０３秒を要する。第１番目の画像の撮像を行う。このとき、レンズ系から見た上記の着目画素の中心は図２２Ａの「１」の位置にある。この時点で各々の撮像素子１０５、１０６、１０７、および１０８で撮像された４つの画像を合成して第１番目のカラー画像を作る。その後、高速に（例えば０．００３秒以内に）撮像素子１０５〜１０８をＸ方向に１μｍ移動させる。このとき、レンズ系から見た上記の着目画素の中心は図２２Ａの「２」の位置に移動する。この状態で第２番目の画像を撮像する。この時点で各々の撮像素子１０５、１０６、１０７、および１０８で撮像された４つの画像を合成して第２番目のカラー画像を作る。その後、高速に撮像素子１０５〜１０８を−Ｙ方向に１μｍ移動させる。このとき、レンズ系から見た上記の着目画素の中心は図２２Ａの「３」の位置に移動する。この状態で第３番目の画像を撮像する。この時点で各々の撮像素子１０５、１０６、１０７、および１０８で撮像された４つの画像を合成して第３番目のカラー画像を作る。更に、高速に撮像素子１０５〜１０８を−Ｘ方向に１μｍ移動させる。このとき、レンズ系から見た上記の着目画素の中心は図２２Ａの「４」の位置に移動する。この状態で第４番目の画像を撮像する。この時点で各々の撮像素子１０５、１０６、１０７、および１０８で撮像された４つの画像を合成して第４番目のカラー画像を作る。図２２Ｂは第１、第２、第３、および第４番目の画像撮像時における、全ての画素の中心をレンズ系から見た移動軌跡を重ねて示している。上下方向及び左右方向に隣り合う画素と画素との中間に画素が配置されているかの様に、擬似的に画素数が４倍になっている事が分かる。上記で得た第１、第２、第３、および第４番目のカラー撮像画像を更に合成すれば、撮像素子１０５〜１０８の解像度の４倍の解像度を有するカラー画像を得る事ができる。
即ち、非常に遠方の被写体を撮像する場合、撮像素子１０５〜１０８を結像位置においてＸ方向およびＹ方向に、隣り合う受光部の中心間隔の半分（隣り合う画素の中心間隔の半分）だけ移動させて４回撮像し、各撮像回ごとに単色の撮像画像をそれぞれ合成して４つのカラー画像を作成する。これらの画像合成には図９から図１３を用いて説明した方法を用いる。この４つのカラー画像を更に合成して４倍の解像度を有する合成カラー画像を得る。この合成カラー画像から例えば任意に４分の１の領域を取り出すと、撮像素子１０５〜１０８の解像度と同じ解像度を有する（即ち、解像度が劣化することなく）４倍の拡大カラー画像（ズーム）を作る事ができる。これらの信号処理はデジタル信号プロセッサー（ＤＳＰ）などの演算装置を含む基板２０６（図２参照）が司る。
あるいは、以下のようにして拡大画像を作成することも可能である。この場合も１秒間に３０フレームの撮像ができる場合を考える。１回の撮像には約０．０３秒を要する。第１番目の画像の撮像を行い、各々の撮像素子１０５、１０６、１０７、および１０８がそれぞれ撮像した４つの画像を得る。このとき、レンズ系から見た上記の着目画素の中心は図２２Ａの「１」の位置にある。その後、高速に（例えば０．００３秒以内に）撮像素子１０５〜１０８をＸ方向に１μｍ移動させる。このとき、レンズ系から見た上記の着目画素の中心は図２２Ａの「２」の位置に移動する。この状態で第２番目の画像の撮像を行い、各々の撮像素子１０５、１０６、１０７、および１０８がそれぞれ撮像した４つの画像を得る。その後、高速に撮像素子１０５〜１０８を−Ｙ方向に１μｍ移動させる。このとき、レンズ系から見た上記の着目画素の中心は図２２Ａの「３」の位置に移動する。この状態で第３番目の画像の撮像を行い、各々の撮像素子１０５、１０６、１０７、および１０８がそれぞれ撮像した４つの画像を得る。更に、高速に撮像素子１０５〜１０８を−Ｘ方向に１μｍ移動させる。このとき、レンズ系から見た上記の着目画素の中心は図２２Ａの「４」の位置に移動する。この状態で第４番目の画像の撮像を行い、各々の撮像素子１０５、１０６、１０７、および１０８がそれぞれ撮像した４つの画像を得る。次いで、各撮像素子１０５〜１０８ごとに、第１〜第４番目の画像を合成して、波長帯域が互いに異なる単色の４つの合成画像を作る。この４つの合成画像は、いずれも各撮像素子１０５〜１０８が各回で撮像した画像の４倍の解像度を有している。これらの４つの単色の高解像度合成画像を更に合成して、撮像素子１０５〜１０８の解像度の４倍の解像度を有するカラー画像を得る。この画像合成には図９から図１３を用いて説明した方法を用いる。この合成されたカラー画像から、例えば任意に４分の１の領域を取り出すと、撮像素子１０５〜１０８の解像度と同じ解像度を有する（即ち、解像度が劣化することなく）４倍の拡大カラー画像（ズーム）を作る事ができる。これらの信号処理はデジタル信号プロセッサー（ＤＳＰ）などの演算装置を含む基板２０６（図２参照）が司る。
上記では、着目画素が「１」，「２」，「３」，「４」と移動する様に、光学系と撮像素子の相対位置が４回移動する場合を説明したが、着目画素が「１」，「２」と２回移動する場合も考えられ、この場合はＸ方向に２倍の解像度を有する画像を作成できる。あるいは、着目画素が「１」，「４」と２回移動する場合も考えられ、この場合はＹ方向に２倍の解像度を有する画像を作成できる。また、「１」，「３」と２回移動する場合も考えられ、この場合はＸ方向およびＹ方向にそれぞれ擬似的に２倍の解像度を有する画像を作成できる。
【実施例】
ここで、実施形態１の撮像装置の具体的な形状、大きさの例を示す。
図２３Ａは、本発明の実施形態１における撮像装置の一実施例に係る撮像素子とレンズ系の平面図である。図２３Ｂは、本発明の実施形態１における撮像装置の一実施例の断面図である。図２３Ａおよび図２３Ｂにおいて、図１から図２２と同じ構成要素については同じ符号を用い、それらの説明を省略する。
図２３Ａおよび図２３Ｂにおいて、１０１、１０２、１０３、１０４の各々は非球面の単レンズであり、一体に成形されている。２０７は撮像装置の筐体であり、一体に成形されたレンズ系、カラーフィルター２０１、２０２、２０３、２０４を固定している。また、隣り合うカラーフィルターの境界には遮光板２０５が設置されて異なる波長帯域の光が混入する事を防いでいる。更に、筐体２０７は、振動子及び弾性バネ部から成る第１〜第４アクチュエーター３１０，３２０，３３０，３４０（図２３Ｂでは第１、第２アクチュエーター３１０，３２０のみ図示）をその一端で保持し、この第１〜第４アクチュエーター３１０，３２０，３３０，３４０の他端は演算装置を含む基板２０６を支持している。基板２０６上には撮像素子１０５、１０６、１０７、１０８が設置されている。各撮像素子は８３０行１２００列の画素を持つ、約１００万画素の撮像素子である。各画素は１辺が２μｍの正方形であり、従って、各撮像素子はＸ方向寸法が２．４ｍｍ、Ｙ方向寸法が１．６６ｍｍの長方形であり、各撮像素子の対角線長さは２．９ｍｍである。本実施例の撮像装置では、隣り合う単レンズの光軸間隔Ｄ、および、各単レンズの焦点距離ｆはいずれも２．９ｍｍとする。
被写体が無限遠にある場合は、各撮像素子を各単レンズの焦点位置に設置して撮像する。被写体が撮像装置に近づけば、各撮像素子を各単レンズの光軸に平行に、レンズから遠ざける方向に移動させて撮像する。この撮像素子の移動は、図１９の様に第１〜第４アクチュエーターの振動子３１１，３２１，３３１，３４１を湾曲させることにより実現する。例えば、撮像装置から被写体までの距離Ａが２０ｃｍの場合は、各単レンズの焦点距離ｆが２．９ｍｍであるから、各撮像素子を焦点位置から約４３μｍ移動させればよい。
４個の撮像素子で撮像された画像に対して、図９から図１３を用いて説明した画像合成（視差検出、視差補正、および視差補正された画像の合成）を行うことにより鮮明なカラー画像を得る。具体的に視差の量を見積もってみる。視差ΔはΔ＝Ｄ×（ｆ／Ａ）で計算され、被写体が撮像装置から２．９ｍ以上離れた場合（Ａ＞２．９ｍ）は、視差Δは３μｍ以下、即ち１．５画素分以下であり、視差補正の必要はなく、単純に撮像素子１０５、１０６、１０７、１０８の画像を合成すればよい。被写体が撮像装置から１．７ｍから２．９ｍの間にある場合は、視差Δは３〜５μｍ、即ち視差は１．５画素から２．５画素であり、１画素分の視差補正を施した後に各画像を合成する。一般的な人物写真は１画素分の視差補正により鮮明なカラー画像を得る事ができ、遠景は視差補正の必要は無い。
振動子３１１，３２１，３３１，３４１のうち基板２０６を挟んで対向する一対の振動子を図１８の様に伸縮させ、各撮像素子を一体に、各単レンズの光軸に垂直な方向に図２２Ａ及び図２２Ｂの様に移動させる。その移動量は画素間隔の半分である１μｍである。図２２Ａ及び図２２Ｂに示した様に、各撮像素子の画素数が擬似的に４００万画素となり、解像度を劣化させずに４倍の拡大画像を得る事ができる。
上記の実施形態１における撮像装置では、緑色基準画像及び緑色副画像を撮像する一対の撮像素子を対角線上に配置して視差を検出する場合を示したが、本発明はこれに限られるものでなく、赤色基準画像及び赤色副画像を撮像する一対の撮像素子を対角線上に配置して視差を検出しても良いし、青色基準画像及び青色副画像を撮像する一対の撮像素子を対角線上に配置して視差を検出しても良い。
また、上記の実施形態１における撮像装置では、１つの光学系と１つの撮像素子とからなる撮像ユニットを４組備えているが、この撮像ユニットの数が４以外の場合も考えられる。しかし、撮像ユニットの数が２の場合、被写体からの光を３原色である赤色、緑色、青色の波長帯域に分割して撮像する事ができず、鮮明なカラー画像が得られない。また、撮像ユニットの数が３の場合、被写体からの光を赤色、緑色、青色の各波長帯域に分割する事はできるが、赤色、緑色、青色の各波長帯域の画像はいずれも１つのみしか得られないので、２つの同じ波長帯域の画像を比較して視差を検出するという上記の実施形態の方法を行うことが困難であり、やはり鮮明なカラー画像を得る事は困難である。更に、撮像ユニットの数が５以上の場合、それらを配置する面積が大きくなり、また構成が冗長となり効率的ではない。
また、上記の実施形態１における撮像装置では、４個の別個の撮像素子を用いた。撮像素子は被写体からの光を受光して光電効果により信号を蓄積し、その蓄積信号は演算装置などに転送され、画像合成などの信号処理が行われる。一般に、蓄積信号が転送される速度は画素数が大きくなれば遅くなる。別個の撮像素子を用いる事で、個々の撮像素子の蓄積信号を独立に転送でき、高速な信号処理を実現できる。
（実施形態２）
レンズ表面に回折格子を形成した回折格子レンズについて考察する。回折格子の効率を向上させるにはブレーズ化する方法が望ましい。しかし、ある波長帯域（例えば緑色）に最適化されたブレーズ回折格子は、その波長帯域に対しては回折効率が高いが、他の波長帯域（例えば赤色または青色）に対しては効率が劣化して余分な光を生じる。撮像系では赤色、緑色、青色の全ての波長帯域に対して効率を高くする必要があり、そのために回折格子を撮像系に利用するには限界があった。
しかし、実施形態２の撮像装置では、実施形態１と同様に、複数のレンズ系と、レンズ系と同数の撮像素子を有し、各々のレンズ系の光軸上に撮像素子が一つずつ配置されている。レンズ系の各々は赤色、緑色、または青色の波長帯域のみに対応するので、各々の波長帯域に最適化されたブレーズ化された回折格子を用いる事ができる。
図２４は、本発明の実施形態２における撮像装置の断面図である。図１〜図２３と同じ構成要素については同じ符号を用い、それらの説明を省略する。
図２４において、８０１、８０２、８０３、８０４は単レンズの表面に回折格子を形成した回折格子レンズである。その他の構成部品は、図２３Ｂに示す実施形態１と同じであり、機能も同じである。
一般に、回折格子レンズは、非球面の単レンズよりも像面湾曲を改善できる。即ち、撮像素子の周辺でも高い解像度で撮像でき、鮮明な画像を得る事ができる。また、回折格子レンズの方が、非球面レンズよりも薄くする事ができ、撮像装置を薄くでき、従って、撮像装置を搭載する携帯電話などの携帯機器を薄くできる。
（実施形態３）
実施形態１では４個の撮像素子を用いたが、単一撮像素子を用い、それを４つの撮像領域に分割して用いる事もできる。
本発明の実施形態３における撮像装置の構成を説明する。
図２５は、本発明の実施形態３における撮像装置の概略構成図である。図２６は、本発明の実施形態３における撮像装置のレンズ系と撮像素子を示す平面図である。図２７は、本発明の実施形態３における撮像装置の断面図である。図２５から図２７において、図１〜図２４と同じ構成要素については同じ符号を用い、それらの説明を省略する。
図２５において、撮像装置は４個の単レンズ１０１、１０２、１０３、１０４と、単一の撮像素子９００を有する。図１と同様に、単レンズ１０１、１０２、１０３、１０４の光軸１０９、１１０、１１１、１１２の方向をＺ軸、Ｚ軸と直交する一方向をＸ軸、Ｘ軸及びＺ軸と直交する方向をＹ軸とする。４個の単レンズ１０１、１０２、１０３、１０４は一体に構成され、例えば、ガラスまたはプラスチックを用いて一体に成形する事ができる。実施形態３では、実施形態１と同様に、非球面レンズを用いる場合を示すが、実施形態２で説明した回折格子レンズ８０１、８０２、８０３、８０４を用いる事もできる。
図２６において、単一撮像素子９００は４つの撮像領域９０１、９０２、９０３、９０４に分割されている。図２６では、各々の撮像領域は９行１３列の画素のみを示したが、実際はより多くの画素から構成される。一般に、各撮像領域の間にも画素が存在するが、実施形態３では用いず、図示しない。単レンズ１０１、１０２、１０３、１０４の各々の光軸１０９、１１０、１１１、１１２が各々の撮像領域９０１、９０２、９０３、９０４の中心付近を通過する様に、４個の単レンズ１０１、１０２、１０３、１０４及び撮像素子９００を配置する。各撮像領域において、単レンズ１０１、１０２、１０３、１０４の光軸が通過する画素に斜線を施している。実施形態１と同様に、これらの光軸上の画素を原点として、各撮像領域の画素の座標を指定する。これらの原点は図６Ａ及び図６Ｂで示した方法を用いて検出できる。実施形態３の撮像装置においても、実施形態１における図３に示す様に、１つの赤色波長帯域透過フィルター、２つの緑色波長帯域透過フィルター、および１つの青色波長帯域透過フィルターを有する。
図２７において、各単レンズと各撮像領域との間にカラーフィルターが設置される。２０１は単レンズ１０１と撮像領域９０１との間に設置された赤色波長帯域透過フィルターであり、２０２は単レンズ１０２と撮像領域９０２との間に設置された緑色波長帯域透過フィルター、２０３は単レンズ１０３と撮像領域９０３との間に設置された緑色波長帯域透過フィルター、２０４は単レンズ１０４と撮像領域９０４との間に設置された青色波長帯域透過フィルターである。２０５は遮光板であり、各々の撮像領域が一つの波長帯域の光だけを受光し、また、カラーフィルターで反射された波長帯域の光が散乱して他のカラーフィルターに混入する事を防ぐ。２０６はデジタル信号プロセッサー（ＤＳＰ）などの演算装置を含む基板であり、その上に撮像素子９００が設置される。２０７は撮像装置の筐体である。
図２７では、基板２０６および撮像素子９００は空中に浮いているように示されているが、実際には、図１４から図２０を用いて説明した３次元駆動手段により支持されている。４個の単レンズ１０１、１０２、１０３、１０４と撮像素子９００との相対位置は、各々の単レンズの光軸に垂直及び／又は平行な方向に、この３次元駆動手段を用いて変化させることができる。
実施形態３の撮像装置において、４個の撮像領域９０１、９０２、９０３、および９０４で撮像された４個の画像を合成してカラー画像を得る。視差検出、視差補正、視差補正した画像の合成は、図９から図１３で示した方法で実現でき、また、焦点制御、手振れ補正、拡大写真（ズーム）撮影なども実施形態１で示した方法と同様に実現できる。その場合、実施形態１における撮像素子１０５、１０６、１０７、１０８の役割を、それぞれ撮像領域９０１、９０２、９０３、９０４が担い、これらの画像合成はＤＳＰなどの演算装置を含む基板２０６が司る。
実施形態３の様に、単一撮像素子を複数の撮像領域に分割して用いる事で、複数の撮像素子の位置合わせなどが不必要で、実装が容易になり、低コスト化できる。
上記の実施形態３では、単一撮像素子を４個の撮像領域に分割する。しかし、２個の撮像素子を用いて、それぞれの撮像素子を２個の撮像領域に分割し、合計４個の撮像領域とする事もできる。
（実施形態４）
実施形態１から３では、複数のレンズ系を持ち、各レンズ系を緑または赤または青の波長領域のみに対応させる事で、色収差への要求を緩和して、各レンズ系の焦点距離を短くできる。また、実施形態２では、レンズの表面に回折格子を形成して、像面湾曲を小さくして、更に焦点距離を短くできる。
図２８Ａ及び図２８Ｂは、レンズ系の焦点距離と撮像素子への光の入射角度の関係を示す図である。
図２８Ａは、比較的に焦点距離の長いレンズ９１１が撮像素子９２０の周辺部に光を絞る状態を示す。また、図２８Ｂは、比較的に焦点距離の短いレンズ９１２が撮像素子９２０の周辺部に光を絞る状態を示す。両図から明らかなように、レンズの焦点距離が短いほど、撮像素子９２０に入射する光の入射角は大きくなる。即ち、撮像装置を薄くするには、レンズ系を改善して焦点距離を短くすることが有効であるが、同時に、大きな入射角の光も受光できる様に、撮像素子を改善しなければならない。
次に、入射角の大きな光を受光できる撮像素子の構造を説明する。
図２９は、本発明の実施形態４における撮像装置に用いる撮像素子の断面図である。
図２９において、１００１はマイクロレンズ、１００２は屈折率の高い光学材料（以下、「高屈折率材料」という）、１００３は屈折率の低い光学材料（以下、「低屈折率材料」という）、１００４は遮光部、１００５は受光部、１００６はシリコン基板、１００７は配線部分である。一つの画素に、１つのマイクロレンズ１００１、１つの高屈折率材料１００２、１つの受光部１００５が設けられている。図２９は各画素の断面を示す。光は屈折率の高い部分に閉じ込められる傾向があり、マイクロレンズ１００１に入射する被写体からの光は高屈折率材料１００２内を通過して、受光部１００５に達する。図２９では、マイクロレンズ１００１も高屈折率材料１００２と同じ屈折率の高い光学材料で構成されている。光路１００８が示す様に、この様な井戸型導波路構造により、入射角の大きな光も受光部１００５に導く事ができる。一般に、高屈折率材料１００２の屈折率は１．８以上が好ましく、また、低屈折率材料１００３の屈折率は１．８以下が好ましい。
図２９の様な井戸型導波路構造の撮像素子は、実施形態１から４の複数のレンズ系と複数の撮像領域を有する撮像装置だけではなく、図３３の従来の撮像装置に用いても有効である。
図２９の様な構造を持つ撮像素子の製造プロセスについて説明する。
図３０Ａ〜図３０Ｌは、本発明の実施形態４における撮像素子の製造プロセスを順に示した断面図である。図３０Ａ〜図３０Ｌにおいて、図２９と同じ構成要素には同じ番号を付し、それらの説明を省略する。
図３０Ａに示すように、先ず、一般の撮像素子を製造するプロセスと同様に、シリコン基板１００６に受光部１００５、配線部１００７、および遮光部１００４を形成し、その上に低屈折率材料１００３の層（第１層）を形成する。低屈折率材料１００３として、例えば屈折率が約１．５である酸化シリコンを用いることができる。
次に、図３０Ｂに示すように、低屈折率材料１００３上にニッケルなどを用いてエッチングパターン１００９を形成する。このエッチングパターン１００９は円形或いは四角形の開口１０１０を除いて低屈折率材料１００３の上面を覆っている。開口１０１０は受光部１００５に相当する位置に形成される。
次に、図３０Ｃに示すように、エッチングパターン１００９を残して、開口１０１０内の低屈折率材料１００３を受光部１００５に達するまでエッチング除去する。
次に、図３０Ｄに示すように、残されたエッチングパターン１００９を除去し、円形或いは四角形の第１穴１０１１を形成する。
次に、図３０Ｅに示すように、第１穴１０１１内に高屈折率材料１００２を埋め込む。高屈折率材料として例えば屈折率が約２．０の窒化シリコンを用いることができ、埋め込みプロセスとして例えばＣＶＤ法を用いることができる。
次に、図３０Ｆに示すように、上面を平坦化する。この平坦化プロセスとして例えばエッチング或いは研磨を用いることができる。
次に、図３０Ｇに示すように、表面に低屈折率材料１００３の層（第２層）を形成する。
次に、図３０Ｂと同様にエッチングパターンを形成し、図３０Ｃと同様に低屈折率材料１００３に第２穴１０１２を形成し、図３０Ｄと同様にエッチングパターンを除去して、図３０Ｈに示すように、低屈折率材料１００３に円形或いは四角形の第２穴１０１２を形成する。この第２穴１０１２は、第１穴１０１１と同様に受光部１００５に相当する位置に形成されるが、第１穴１０１１より開口径が少し大きい。
次に、図３０Ｉに示すように、図３０Ｅと同様に第２穴１０１２に高屈折率材料１００２を埋め込み、図３０Ｆと同様に上面を平坦化する。
次に、図３０Ｊに示すように、高屈折率材料１００２上にフォトレジスト層１０１３を形成する。
次に、図３０Ｋに示すように、フォトレジスト層１０１３を熱処理して上面を丸く変形させる。
次に、図３０Ｌに示すように、フォトレジスト層１０１３、高屈折率材料１００２、および低屈折率材料１００３を同時に上部からエッチングする。それらのエッチングレートを適切に選択して、高屈折率材料１００２からなるマイクロレンズ１００１を形成する。
かくして、図２９に示した構造を有する撮像素子を作る事ができる。
図２９に示したような、低屈折率材料１００３に形成した穴に高屈折率材料１００２を埋め込んで井戸型導波路構造を形成する場合、この穴のアスペクト比（穴深さ／穴径）が大きいと、高屈折率材料１００２を穴内に隙間無く埋め込むことが困難になる。本実施形態に示した上記の製造方法によれば、図３０Ｅおよび図３０Ｉに示したように、高屈折率材料１００２を２回に分けて埋め込むので、一度に埋め込まれる穴のアスペクト比を小さくする事ができ、高屈折率材料１００２を隅々まで十分に埋め込む事ができる。
また、このように高屈折率材料１００２を埋め込む工程を２回に分けることにより、各回でそれぞれ埋め込まれる穴、即ち上記の実施形態では第１穴１０１１及び第２穴１０１２の径を互いに異ならせることができる。従って、上記の実施形態のように、受光部１００５に近い第１穴１０１１の径より、これより遠い第２穴１０１２の径を大きくすることができる。この構造により、受光部１００５の受光面積に比べて外光が入射する面積を大きくすることができ、マイクロレンズ１００１に斜入射した光を図２９の光路１００８のように高屈折率材料１００２内に閉じ込めながら受光部１００５に効率よく導くことができる。
（実施形態５）
本発明の撮像装置を備えた携帯機器の一例として携帯電話を説明する。
図３１Ａは、本発明の撮像装置を備えた携帯電話の一実施形態の正面図、図３１Ｂはその側面図である。
図３１Ａ及び図３１Ｂにおいて、１１００は携帯電話、１１０１は本発明の実施形態１から４のいずれかに示した撮像装置である。本発明の実施形態１から４に示した撮像装置は薄いため、これを搭載した携帯電話１１００の薄型化が可能である。また、本発明の撮像装置は、焦点制御機能を備えて遠景写真から接写写真まで撮像でき、レンズ系を変化させずに電子的に手振れ補正を施す事ができ、更に、解像度を劣化させずに電子的に拡大写真も撮像できる。従って、高機能な撮像装置１１０１を搭載した薄型の携帯電話１１００を提供する事ができる。
手振れ補正では、図２１で説明した様に、画像を複数回撮像し、これにより得た複数の画像のうち一致する部分が重なる様に複数の画像を合成することにより、鮮明な被写体画像を得る。この電子的手振れ補正機能を実現するためには、複数の画像内の一致する部分を認識するなどの高速な画像処理を行う必要がある。
図３１Ａにおいて、１１０２Ａおよび１１０２Ｂは角速度センサーであり、撮像装置１１０１に近接して設置される。これらの角速度センサーは、レンズ系の一部を機械的に移動させて行う一般的な手振れ補正機能を備えた光学系に用いるものと同じである。角速度センサーにより、手振れによる撮像装置の微妙な移動を検知し、撮像した画像中での被写体の移動量を演算し、この演算結果に基づいて複数の画像を移動し合成する際の画像の移動量を決定する。あるいは、この演算結果を、複数の画像を移動し合成する際の画像の移動量を計算する際の補助として用いる。これにより、撮像画像のみを用いて手振れ補正を行う場合に比べて、より高速な手振れ補正機能を実現できる。
（実施形態６）
図１４から図２０を用いて説明した３次元駆動手段は、実施形態１から３の様な、複数のレンズ系と複数の撮像領域を持つ撮像装置だけではなく、従来と同様に単一光軸上に組み合わせレンズ系を備えた撮像装置にも適用できる。
図３２は、本発明の実施形態６における撮像装置の断面図である。図３２において、図１から図３１および図３３と同じ構成要素については同じ符号を用い、それらの説明を省略する。
図３２において、２００１、２００２はそれぞれ単レンズであり、２００３はフィルター、２００４は撮像素子、２００５はデジタル信号プロセッサー（ＤＳＰ）などの演算装置を含む基板である。レンズ系の光軸２００６が撮像素子２００４のほぼ中心を通過する様に、単レンズ２００１、２００２、フィルター２００３、撮像素子２００４、及び基板２００５が筐体２００７に配置される。筐体２００７の開口２００７ａを通過して筐体２００７内に入ってきた被写体からの光は、レンズ２００１、２００２によって、撮像素子２００４上に絞られる。このとき、被写体からの光に含まれる赤色波長帯域の光、青色波長帯域の光および緑色波長帯域の光が、同じ撮像位置に同じ像倍率で絞られるように、単レンズ２００１、２００２を適切に組み合わせることにより、色収差による撮像画像の劣化が防止される。撮像素子２００４上に絞られた光は、撮像素子２００４で電気信号に変換され、基板２００５中に含まれる演算装置によって処理される。
遠景写真から接写写真までを撮像するには、レンズ系と撮像素子の相対位置を、レンズ系の光軸２００６に平行な方向に移動させる焦点制御が必要である。また、図３３の様な従来の撮像装置にも、図２２Ａ及び図２２Ｂで示した様に、レンズ系と撮像素子との相対位置をレンズ系の光軸２００６に垂直な方向に移動できれば、解像度を劣化させずに電子的に拡大写真（ズーム）を撮像できる。図３２においては、レンズ系と撮像素子の相対位置を変化させる方法として、撮像素子を光軸２００６に平行な方向および垂直な方向に移動させる、実施形態１で説明した駆動手段（図１４から図２０を参照）を用いている。振動子と弾性バネ部とからなるアクチュエーターを、撮像素子２００４を挟んで対向して２つ、又は、撮像素子２００４を中心として９０度間隔で４つ配置する。そして、これらのアクチュエーターを図１８および図１９に示した様に動作させる。この駆動手段を用いる事で、従来の組み合わせレンズを有する撮像装置に焦点制御機能、電子的拡大写真機能を付与することができる。
撮像素子２００４ではなく、レンズ系を構成する単レンズ２００１、２００２の全部又は一部を実施形態１で説明した駆動手段（図１４から図２０を参照）を用いて光軸２００６に平行な方向および垂直な方向に移動させてもよい。
以上に開示した実施形態１〜６はいずれも本発明の一例を示したに過ぎず、本発明はこれらの実施形態により制限的に解釈されない。本発明の範囲は上記の実施形態ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
産業上の利用の可能性
本発明の撮像装置の利用分野は特に限定はないが、薄型で、焦点制御機能、手振れ補正機能、拡大写真機能を備える事ができるので、携帯電話などの携帯機器に搭載する撮像装置などに有用である。また、監視カメラ、車載カメラなどの用途にも応用できる。
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２４】
【図２５】
【図２６】
【図２７】
【図２９】
【図３２】
【図３３】
【特許請求の範囲】
【請求項１】
複数の光学系と、前記複数の光学系と一対一に対応する複数の撮像領域とを備え、前記撮像領域のそれぞれが複数の画素を有し、前記光学系のそれぞれの光軸上に前記撮像領域が１つずつ配置された撮像装置であって、更に、
前記撮像領域のそれぞれの原点を検出する原点検出手段と、
前記原点を基準として前記撮像領域に含まれる前記複数の画素の位置を特定する画素位置特定手段と、
前記撮像領域のそれぞれが撮像した複数の画像を合成する合成手段と
を備えることを特徴とする撮像装置。
【請求項２】
前記原点検出手段は、前記複数の光学系と前記複数の撮像領域とを用いて撮像された被写体の複数の画像を用いて、前記撮像領域のそれぞれの前記原点を検出する請求項１に記載の撮像装置。
【請求項３】
前記被写体が実質的に無限遠に設置された略白色の略点光源である請求項２に記載の撮像装置。
【請求項４】
前記原点検出手段は、前記撮像領域に含まれる前記複数の画素のうち、受光光量が最大となる画素の位置を前記原点として検出する請求項３に記載の撮像装置。
【請求項５】
前記原点検出手段は、前記撮像領域に含まれる前記複数の画素がそれぞれ受光した光量に基づいて隣り合う画素間の光量を内挿し、受光光量が最大となる位置を前記原点として検出する請求項３に記載の撮像装置。
【請求項６】
前記光学系及び前記撮像領域の数がいずれも４個であり、
前記合成手段は前記４個の撮像領域が撮像した４つの画像を合成する請求項１に記載の撮像装置。
【請求項７】
前記４個の撮像領域は碁盤状に配置されており、
前記４個の撮像領域のうち、対角線上に配置された２個は緑色画像を撮像し、他の１個は赤色画像を撮像し、残りの１個は青色画像を撮像する請求項６に記載の撮像装置。
【請求項８】
前記緑色画像を撮像する前記２個の撮像領域とこれらに対応する２個の前記光学系との間にそれぞれ配置された緑色のカラーフィルターと、
前記赤色画像を撮像する前記１個の撮像領域とこれに対応する１個の前記光学系との間に配置された赤色のカラーフィルターと、
前記青色画像を撮像する前記１個の撮像領域とこれに対応する１個の前記光学系との間に配置された青色のカラーフィルターと、
それぞれの前記カラーフィルターの境界に設けられた遮光板と
を更に備える請求項７に記載の撮像装置。
【請求項９】
２つの前記緑色画像のうち、一方を緑色基準画像とし、他方を緑色副画像とし、前記２つの緑色画像を比較して前記緑色副画像の視差を検出し、前記緑色副画像の前記視差を用いて前記赤色画像の視差及び前記青色画像の視差を求め、前記緑色副画像、前記赤色画像、及び前記青色画像のそれぞれの前記視差が減少し又は無くなるように前記緑色副画像、前記赤色画像、及び前記青色画像を補正する補正手段を更に備え、
前記合成手段は、前記緑色基準画像と、補正された前記緑色副画像と、補正された前記赤色画像と、補正された前記青色画像とを合成してカラー画像を得る請求項７に記載の撮像装置。
【請求項１０】
２つの前記緑色画像のうち、一方を緑色基準画像とし、他方を緑色副画像とし、前記２つの緑色画像を比較して前記緑色副画像の視差を検出し、前記緑色副画像の前記視差を用いて前記赤色画像の視差及び前記青色画像の視差を求め、前記赤色画像、及び前記青色画像のそれぞれの前記視差が減少し又は無くなるように前記赤色画像及び前記青色画像を補正する補正手段を更に備え、
前記合成手段は、前記緑色基準画像と、補正された前記赤色画像と、補正された前記青色画像とを合成してカラー画像を得る請求項７に記載の撮像装置。
【請求項１１】
前記補正手段は、
前記緑色基準画像を撮像する前記撮像領域の前記原点と前記緑色副画像を撮像する前記撮像領域の前記原点とを結ぶ方向をＧ方向とし、
前記緑色基準画像を撮像する前記撮像領域の前記原点と前記赤色画像を撮像する前記撮像領域の前記原点とを結ぶ方向をＲ方向とし、
前記緑色基準画像を撮像する前記撮像領域の前記原点と前記青色画像を撮像する前記撮像領域の前記原点とを結ぶ方向をＢ方向とし、
前記緑色基準画像を基準にして、前記緑色副画像の視差を前記Ｇ方向のベクトルで定量化し、
前記ベクトルで定量化された前記視差を基に、前記赤色画像の前記Ｒ方向の視差が減少し又は無くなるように前記赤色画像のデータを補正し、
前記ベクトルで定量化された前記視差を基に、前記青色画像の前記Ｂ方向の視差が減少し又は無くなるように前記青色画像のデータを補正する
請求項９又は１０に記載の撮像装置。
【請求項１２】
前記補正手段は、
前記緑色基準画像を構成する画素群の中から光量分布を求めるための基準となる複数の基準画素を選抜し、
前記緑色副画像を構成する画素群の中から前記複数の基準画素に対応する、視差を調査するための複数の調査用画素を選抜し、
前記複数の基準画素のそれぞれの光量を検出し、その光量の分布を第１光量分布として求め、
前記複数の調査用画素のそれぞれの光量を検出し、その光量の分布を第２光量分布として求め、
前記第１光量分布と前記第２光量分布とを比較し、それぞれの光量分布に含まれる共通する特徴的部分を認識し、前記第１光量分布に含まれる前記特徴的部分と前記第２光量分布に含まれる前記特徴的部分との間の変位を算出し、
前記変位をもとに前記緑色副画像の視差の大きさを定量化する
請求項９又は１０に記載の撮像装置。
【請求項１３】
前記補正手段は、
前記複数の基準画素間に仮想の画素を内挿して前記第１光量分布を求め、
前記複数の調査用画素間に仮想の画素を内挿して前記第２光量分布を求める
請求項１２に記載の撮像装置。
【請求項１４】
異なる時刻に複数回の撮像を行い、各撮像回ごとに前記複数の撮像領域がそれぞれ撮像した複数の画像を合成して前記複数回の撮像に一対一に対応する複数の第１合成画像を作り、
前記複数の第１合成画像を比較し、
前記複数の第１合成画像のうち一致する部分が重なるように前記複数の第１合成画像を移動して更に合成して第２合成画像を作る
請求項１に記載の撮像装置。
【請求項１５】
前記複数の撮像領域がそれぞれ撮像した前記複数の画像のそれぞれは、緑色画像、赤色画像、又は青色画像であり、
前記複数の第１合成画像はカラー画像である請求項１４に記載の撮像装置。
【請求項１６】
異なる時刻に複数回の撮像を行い、同じ前記撮像領域が異なる時刻に撮像した複数の画像を比較し、前記複数の画像のうち一致する部分が重なるように前記複数の画像を移動して合成して、前記複数の撮像領域に一対一に対応する複数の第１合成画像を作り、
前記複数の第１合成画像を更に合成して第２合成画像を作る
請求項１に記載の撮像装置。
【請求項１７】
前記複数回の撮像を行った複数の時刻のうちの１つの時刻を前記複数の撮像領域に共通する基準時とし、前記基準時に撮像された画像の座標を維持しながら、前記基準時に撮像された画像に対して前記基準時以外の時刻に撮像された画像を移動して合成して前記複数の第１合成画像を作る請求項１６に記載の撮像装置。
【請求項１８】
前記複数の第１合成画像のぞれぞれは緑色画像、赤色画像、又は青色画像であり、
前記第２合成画像はカラー画像である請求項１６に記載の撮像装置。
【請求項１９】
請求項１４又は１６に記載の撮像装置と、前記撮像装置に近接して設置された角速度センサーとを備え、前記角速度センサーにより検出した前記撮像装置の移動量を用いて手振れ補正を行う携帯機器。
【請求項２０】
前記複数の光学系及び前記複数の撮像領域のうちの一方を他方に対して一体的に移動して、前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の光学系のそれぞれの光軸に対して平行な方向又は垂直な方向に変化させる駆動手段を更に備える請求項１に記載の撮像装置。
【請求項２１】
前記駆動手段は、前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の光学系のそれぞれの光軸に垂直で、且つ、互いに直交する２方向に変化させる請求項２０に記載の撮像装置。
【請求項２２】
前記駆動手段は、前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の撮像領域にそれぞれ含まれる前記複数の画素の配列方向に対して略平行な方向に変化させる請求項２０に記載の撮像装置。
【請求項２３】
前記駆動手段は、弾性体と、前記弾性体の少なくとも一方の面に貼り合わされた圧電素子とを備えた振動子、及び前記振動子に接続された弾性バネ部からなる少なくとも１つのアクチュエーターを含み、
前記アクチュエーターの前記振動子側端は固定され、前記弾性バネ部側端は前記複数の光学系又は前記複数の撮像領域を支持している請求項２０に記載の撮像装置。
【請求項２４】
前記圧電素子が前記弾性体の両面に貼り合わされており、両面の前記圧電素子は互いに独立した信号で駆動される請求項２３に記載の撮像装置。
【請求項２５】
前記駆動手段は２つの前記アクチュエーターを含み、前記２つのアクチュエーターは、前記複数の光学系又は前記複数の撮像領域を挟んで対向して配置されている請求項２３に記載の撮像装置。
【請求項２６】
前記駆動手段は４つの前記アクチュエーターを含み、前記４つのアクチュエーターは、略同一平面内で、前記複数の光学系又は前記複数の撮像領域を中心として９０度間隔で配置されている請求項２３に記載の撮像装置。
【請求項２７】
前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の光学系のそれぞれの光軸に対して垂直な方向に、隣り合う前記画素の中心間隔の半分だけ変化させて、異なる時刻に複数回の撮像を行い、
各撮像回ごとに前記複数の撮像領域がそれぞれ撮像した複数の画像を合成して複数回の撮像に一対一に対応する複数の第１合成画像を作り、
前記複数の第１合成画像を更に合成して第２合成画像を作る
請求項２０に記載の撮像装置。
【請求項２８】
前記複数の撮像領域がそれぞれ撮像した前記複数の画像のそれぞれは、緑色画像、赤色画像、又は青色画像であり、
前記複数の第１合成画像はカラー画像である請求項２７に記載の撮像装置。
【請求項２９】
前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の光学系のそれぞれの光軸に対して垂直な方向に、隣り合う前記画素の中心間隔の半分だけ変化させて、異なる時刻に複数回の撮像を行い、
同じ前記撮像領域が異なる時刻に撮像した複数の画像を合成して前記複数の撮像領域に一対一に対応する複数の第１合成画像を作り、
前記複数の第１合成画像を更に合成して第２合成画像を作る
請求項２０に記載の撮像装置。
【請求項３０】
前記複数の第１合成画像のそれぞれは緑色画像、赤色画像、又は青色画像であり、
前記第２合成画像はカラー画像である請求項２９に記載の撮像装置。
【請求項３１】
前記複数の光学系のそれぞれが単レンズからなる請求項１に記載の撮像装置。
【請求項３２】
前記単レンズの少なくとも１面に回折格子が設けられている請求項３１に記載の撮像装置。
【請求項３３】
前記複数の撮像領域のそれぞれが互いに別個の撮像素子からなる請求項１に記載の撮像装置。
【請求項３４】
前記複数の撮像領域のうちの少なくとも２つは、共通する１つの撮像素子を分け合っている請求項１に記載の撮像装置。
【請求項３５】
複数の光学系のそれぞれの光軸上に、それぞれが複数の画素を有する複数の撮像領域を１つずつ配置し、
前記撮像領域のそれぞれの原点を検出し、
前記原点を基準として前記撮像領域のそれぞれに含まれる前記複数の画素の位置を特定することを特徴とする撮像装置の製造方法。
【請求項３６】
前記複数の光学系と前記複数の撮像領域とを用いて撮像された被写体の複数の画像を用いて、前記撮像領域のそれぞれの前記原点を検出する請求項３５に記載の撮像装置の製造方法。
【請求項３７】
前記被写体が実質的に無限遠に設置された略白色の略点光源である請求項３６に記載の撮像装置の製造方法。
【請求項３８】
前記撮像領域に含まれる前記複数の画素のうち、受光光量が最大となる画素の位置を前記原点として検出する請求項３７に記載の撮像装置の製造方法。
【請求項３９】
前記撮像領域に含まれる前記複数の画素がそれぞれ受光した光量に基づいて隣り合う画素間の光量を内挿し、受光光量が最大となる位置を前記原点として検出する請求項３７に記載の撮像装置の製造方法。
【請求項４０】
複数の画素と、
前記複数の画素のそれぞれの受光部の、光が入射する部分に設けられた屈折率の高い光学材料と、
前記屈折率の高い光学材料の周囲に設けられた屈折率の低い光学材料と
を備えることを特徴とする撮像素子。
【請求項４１】
前記屈折率の高い光学材料の屈折率は１．８以上であり、前記屈折率の低い光学材料の屈折率は１．８以下である請求項４０に記載の撮像素子。
【請求項４２】
前記屈折率の高い光学材料の、前記受光部に近い側の径は、前記屈折率の高い光学材料の、光が入射する側の径より小さい請求項４０に記載の撮像素子。
【請求項４３】
請求項４０に記載の撮像素子と、少なくとも１つの光学系とを備えた撮像装置。
【請求項４４】
複数の画素のそれぞれの受光部の上に屈折率の低い光学材料からなる第１層を形成する工程と、
前記第１層の前記受光部の上の位置に第１穴を形成する工程と、
前記第１穴に屈折率の高い光学材料を埋め込む工程と、
前記第１穴に埋め込まれた前記屈折率の高い光学材料及び前記第１層の上に、屈折率の低い光学材料からなる第２層を形成する工程と、
前記第２層の前記受光部が対向する位置に第２穴を形成する工程と、
前記第２穴に屈折率の高い光学材料を埋め込む工程と
を備えることを特徴とする撮像素子の製造方法。
【請求項４５】
前記屈折率の高い光学材料の屈折率は１．８以上であり、前記屈折率の低い光学材料の屈折率は１．８以下である請求項４４に記載の撮像素子の製造方法。
【請求項４６】
前記第１穴の開口径は、前記第２穴の開口径より小さい請求項４４に記載の撮像素子の製造方法。
【請求項４７】
少なくとも１つの光学系と、撮像素子と、前記少なくとも１つの光学系と前記撮像素子との相対的位置を、前記少なくとも１つの光学系の光軸に対して平行な方向又は垂直な方向に変化させる駆動手段とを備える撮像装置であって、
前記駆動手段は、弾性体と、前記弾性体の少なくとも一方の面に貼り合わされた圧電素子とを備えた振動子、及び前記振動子に接続された弾性バネ部からなる少なくとも１つのアクチュエーターを含み、
前記アクチュエーターの前記振動子側端は固定され、前記弾性バネ部側端は前記少なくとも１つの光学系又は前記撮像素子を支持していることを特徴とする撮像装置。
【請求項４８】
前記圧電素子が前記弾性体の両面に貼り合わされており、両面の前記圧電素子は互いに独立した信号で駆動される請求項４７に記載の撮像装置。
【請求項４９】
前記駆動手段は２つの前記アクチュエーターを含み、前記２つのアクチュエーターは、前記少なくとも１つの光学系又は前記撮像素子を挟んで対向して配置されている請求項４７に記載の撮像装置。
【請求項５０】
前記駆動手段は４つの前記アクチュエーターを含み、前記４つのアクチュエーターは、略同一平面内で、前記少なくとも１つの光学系又は前記撮像素子を中心として９０度間隔で配置されている請求項４７に記載の撮像装置。
【請求項１】
複数の光学系と、前記複数の光学系と一対一に対応する複数の撮像領域とを備え、前記撮像領域のそれぞれが複数の画素を有し、前記光学系のそれぞれの光軸上に前記撮像領域が１つずつ配置された撮像装置であって、更に、
前記撮像領域のそれぞれの原点を検出する原点検出手段と、
前記原点を基準として前記撮像領域に含まれる前記複数の画素の位置を特定する画素位置特定手段と、
前記撮像領域のそれぞれが撮像した複数の画像を合成する合成手段と
を備えることを特徴とする撮像装置。
【請求項２】
前記原点検出手段は、前記複数の光学系と前記複数の撮像領域とを用いて撮像された被写体の複数の画像を用いて、前記撮像領域のそれぞれの前記原点を検出する請求項１に記載の撮像装置。
【請求項３】
前記被写体が実質的に無限遠に設置された略白色の略点光源である請求項２に記載の撮像装置。
【請求項４】
前記原点検出手段は、前記撮像領域に含まれる前記複数の画素のうち、受光光量が最大となる画素の位置を前記原点として検出する請求項３に記載の撮像装置。
【請求項５】
前記原点検出手段は、前記撮像領域に含まれる前記複数の画素がそれぞれ受光した光量に基づいて隣り合う画素間の光量を内挿し、受光光量が最大となる位置を前記原点として検出する請求項３に記載の撮像装置。
【請求項６】
前記光学系及び前記撮像領域の数がいずれも４個であり、
前記合成手段は前記４個の撮像領域が撮像した４つの画像を合成する請求項１に記載の撮像装置。
【請求項７】
前記４個の撮像領域は碁盤状に配置されており、
前記４個の撮像領域のうち、対角線上に配置された２個は緑色画像を撮像し、他の１個は赤色画像を撮像し、残りの１個は青色画像を撮像する請求項６に記載の撮像装置。
【請求項８】
前記緑色画像を撮像する前記２個の撮像領域とこれらに対応する２個の前記光学系との間にそれぞれ配置された緑色のカラーフィルターと、
前記赤色画像を撮像する前記１個の撮像領域とこれに対応する１個の前記光学系との間に配置された赤色のカラーフィルターと、
前記青色画像を撮像する前記１個の撮像領域とこれに対応する１個の前記光学系との間に配置された青色のカラーフィルターと、
それぞれの前記カラーフィルターの境界に設けられた遮光板と
を更に備える請求項７に記載の撮像装置。
【請求項９】
２つの前記緑色画像のうち、一方を緑色基準画像とし、他方を緑色副画像とし、前記２つの緑色画像を比較して前記緑色副画像の視差を検出し、前記緑色副画像の前記視差を用いて前記赤色画像の視差及び前記青色画像の視差を求め、前記緑色副画像、前記赤色画像、及び前記青色画像のそれぞれの前記視差が減少し又は無くなるように前記緑色副画像、前記赤色画像、及び前記青色画像を補正する補正手段を更に備え、
前記合成手段は、前記緑色基準画像と、補正された前記緑色副画像と、補正された前記赤色画像と、補正された前記青色画像とを合成してカラー画像を得る請求項７に記載の撮像装置。
【請求項１０】
２つの前記緑色画像のうち、一方を緑色基準画像とし、他方を緑色副画像とし、前記２つの緑色画像を比較して前記緑色副画像の視差を検出し、前記緑色副画像の前記視差を用いて前記赤色画像の視差及び前記青色画像の視差を求め、前記赤色画像、及び前記青色画像のそれぞれの前記視差が減少し又は無くなるように前記赤色画像及び前記青色画像を補正する補正手段を更に備え、
前記合成手段は、前記緑色基準画像と、補正された前記赤色画像と、補正された前記青色画像とを合成してカラー画像を得る請求項７に記載の撮像装置。
【請求項１１】
前記補正手段は、
前記緑色基準画像を撮像する前記撮像領域の前記原点と前記緑色副画像を撮像する前記撮像領域の前記原点とを結ぶ方向をＧ方向とし、
前記緑色基準画像を撮像する前記撮像領域の前記原点と前記赤色画像を撮像する前記撮像領域の前記原点とを結ぶ方向をＲ方向とし、
前記緑色基準画像を撮像する前記撮像領域の前記原点と前記青色画像を撮像する前記撮像領域の前記原点とを結ぶ方向をＢ方向とし、
前記緑色基準画像を基準にして、前記緑色副画像の視差を前記Ｇ方向のベクトルで定量化し、
前記ベクトルで定量化された前記視差を基に、前記赤色画像の前記Ｒ方向の視差が減少し又は無くなるように前記赤色画像のデータを補正し、
前記ベクトルで定量化された前記視差を基に、前記青色画像の前記Ｂ方向の視差が減少し又は無くなるように前記青色画像のデータを補正する
請求項９又は１０に記載の撮像装置。
【請求項１２】
前記補正手段は、
前記緑色基準画像を構成する画素群の中から光量分布を求めるための基準となる複数の基準画素を選抜し、
前記緑色副画像を構成する画素群の中から前記複数の基準画素に対応する、視差を調査するための複数の調査用画素を選抜し、
前記複数の基準画素のそれぞれの光量を検出し、その光量の分布を第１光量分布として求め、
前記複数の調査用画素のそれぞれの光量を検出し、その光量の分布を第２光量分布として求め、
前記第１光量分布と前記第２光量分布とを比較し、それぞれの光量分布に含まれる共通する特徴的部分を認識し、前記第１光量分布に含まれる前記特徴的部分と前記第２光量分布に含まれる前記特徴的部分との間の変位を算出し、
前記変位をもとに前記緑色副画像の視差の大きさを定量化する
請求項９又は１０に記載の撮像装置。
【請求項１３】
前記補正手段は、
前記複数の基準画素間に仮想の画素を内挿して前記第１光量分布を求め、
前記複数の調査用画素間に仮想の画素を内挿して前記第２光量分布を求める
請求項１２に記載の撮像装置。
【請求項１４】
異なる時刻に複数回の撮像を行い、各撮像回ごとに前記複数の撮像領域がそれぞれ撮像した複数の画像を合成して前記複数回の撮像に一対一に対応する複数の第１合成画像を作り、
前記複数の第１合成画像を比較し、
前記複数の第１合成画像のうち一致する部分が重なるように前記複数の第１合成画像を移動して更に合成して第２合成画像を作る
請求項１に記載の撮像装置。
【請求項１５】
前記複数の撮像領域がそれぞれ撮像した前記複数の画像のそれぞれは、緑色画像、赤色画像、又は青色画像であり、
前記複数の第１合成画像はカラー画像である請求項１４に記載の撮像装置。
【請求項１６】
異なる時刻に複数回の撮像を行い、同じ前記撮像領域が異なる時刻に撮像した複数の画像を比較し、前記複数の画像のうち一致する部分が重なるように前記複数の画像を移動して合成して、前記複数の撮像領域に一対一に対応する複数の第１合成画像を作り、
前記複数の第１合成画像を更に合成して第２合成画像を作る
請求項１に記載の撮像装置。
【請求項１７】
前記複数回の撮像を行った複数の時刻のうちの１つの時刻を前記複数の撮像領域に共通する基準時とし、前記基準時に撮像された画像の座標を維持しながら、前記基準時に撮像された画像に対して前記基準時以外の時刻に撮像された画像を移動して合成して前記複数の第１合成画像を作る請求項１６に記載の撮像装置。
【請求項１８】
前記複数の第１合成画像のぞれぞれは緑色画像、赤色画像、又は青色画像であり、
前記第２合成画像はカラー画像である請求項１６に記載の撮像装置。
【請求項１９】
請求項１４又は１６に記載の撮像装置と、前記撮像装置に近接して設置された角速度センサーとを備え、前記角速度センサーにより検出した前記撮像装置の移動量を用いて手振れ補正を行う携帯機器。
【請求項２０】
前記複数の光学系及び前記複数の撮像領域のうちの一方を他方に対して一体的に移動して、前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の光学系のそれぞれの光軸に対して平行な方向又は垂直な方向に変化させる駆動手段を更に備える請求項１に記載の撮像装置。
【請求項２１】
前記駆動手段は、前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の光学系のそれぞれの光軸に垂直で、且つ、互いに直交する２方向に変化させる請求項２０に記載の撮像装置。
【請求項２２】
前記駆動手段は、前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の撮像領域にそれぞれ含まれる前記複数の画素の配列方向に対して略平行な方向に変化させる請求項２０に記載の撮像装置。
【請求項２３】
前記駆動手段は、弾性体と、前記弾性体の少なくとも一方の面に貼り合わされた圧電素子とを備えた振動子、及び前記振動子に接続された弾性バネ部からなる少なくとも１つのアクチュエーターを含み、
前記アクチュエーターの前記振動子側端は固定され、前記弾性バネ部側端は前記複数の光学系又は前記複数の撮像領域を支持している請求項２０に記載の撮像装置。
【請求項２４】
前記圧電素子が前記弾性体の両面に貼り合わされており、両面の前記圧電素子は互いに独立した信号で駆動される請求項２３に記載の撮像装置。
【請求項２５】
前記駆動手段は２つの前記アクチュエーターを含み、前記２つのアクチュエーターは、前記複数の光学系又は前記複数の撮像領域を挟んで対向して配置されている請求項２３に記載の撮像装置。
【請求項２６】
前記駆動手段は４つの前記アクチュエーターを含み、前記４つのアクチュエーターは、略同一平面内で、前記複数の光学系又は前記複数の撮像領域を中心として９０度間隔で配置されている請求項２３に記載の撮像装置。
【請求項２７】
前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の光学系のそれぞれの光軸に対して垂直な方向に、隣り合う前記画素の中心間隔の半分だけ変化させて、異なる時刻に複数回の撮像を行い、
各撮像回ごとに前記複数の撮像領域がそれぞれ撮像した複数の画像を合成して複数回の撮像に一対一に対応する複数の第１合成画像を作り、
前記複数の第１合成画像を更に合成して第２合成画像を作る
請求項２０に記載の撮像装置。
【請求項２８】
前記複数の撮像領域がそれぞれ撮像した前記複数の画像のそれぞれは、緑色画像、赤色画像、又は青色画像であり、
前記複数の第１合成画像はカラー画像である請求項２７に記載の撮像装置。
【請求項２９】
前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の光学系のそれぞれの光軸に対して垂直な方向に、隣り合う前記画素の中心間隔の半分だけ変化させて、異なる時刻に複数回の撮像を行い、
同じ前記撮像領域が異なる時刻に撮像した複数の画像を合成して前記複数の撮像領域に一対一に対応する複数の第１合成画像を作り、
前記複数の第１合成画像を更に合成して第２合成画像を作る
請求項２０に記載の撮像装置。
【請求項３０】
前記複数の第１合成画像のそれぞれは緑色画像、赤色画像、又は青色画像であり、
前記第２合成画像はカラー画像である請求項２９に記載の撮像装置。
【請求項３１】
前記複数の光学系のそれぞれが単レンズからなる請求項１に記載の撮像装置。
【請求項３２】
前記単レンズの少なくとも１面に回折格子が設けられている請求項３１に記載の撮像装置。
【請求項３３】
前記複数の撮像領域のそれぞれが互いに別個の撮像素子からなる請求項１に記載の撮像装置。
【請求項３４】
前記複数の撮像領域のうちの少なくとも２つは、共通する１つの撮像素子を分け合っている請求項１に記載の撮像装置。
【請求項３５】
複数の光学系のそれぞれの光軸上に、それぞれが複数の画素を有する複数の撮像領域を１つずつ配置し、
前記撮像領域のそれぞれの原点を検出し、
前記原点を基準として前記撮像領域のそれぞれに含まれる前記複数の画素の位置を特定することを特徴とする撮像装置の製造方法。
【請求項３６】
前記複数の光学系と前記複数の撮像領域とを用いて撮像された被写体の複数の画像を用いて、前記撮像領域のそれぞれの前記原点を検出する請求項３５に記載の撮像装置の製造方法。
【請求項３７】
前記被写体が実質的に無限遠に設置された略白色の略点光源である請求項３６に記載の撮像装置の製造方法。
【請求項３８】
前記撮像領域に含まれる前記複数の画素のうち、受光光量が最大となる画素の位置を前記原点として検出する請求項３７に記載の撮像装置の製造方法。
【請求項３９】
前記撮像領域に含まれる前記複数の画素がそれぞれ受光した光量に基づいて隣り合う画素間の光量を内挿し、受光光量が最大となる位置を前記原点として検出する請求項３７に記載の撮像装置の製造方法。
【請求項４０】
複数の画素と、
前記複数の画素のそれぞれの受光部の、光が入射する部分に設けられた屈折率の高い光学材料と、
前記屈折率の高い光学材料の周囲に設けられた屈折率の低い光学材料と
を備えることを特徴とする撮像素子。
【請求項４１】
前記屈折率の高い光学材料の屈折率は１．８以上であり、前記屈折率の低い光学材料の屈折率は１．８以下である請求項４０に記載の撮像素子。
【請求項４２】
前記屈折率の高い光学材料の、前記受光部に近い側の径は、前記屈折率の高い光学材料の、光が入射する側の径より小さい請求項４０に記載の撮像素子。
【請求項４３】
請求項４０に記載の撮像素子と、少なくとも１つの光学系とを備えた撮像装置。
【請求項４４】
複数の画素のそれぞれの受光部の上に屈折率の低い光学材料からなる第１層を形成する工程と、
前記第１層の前記受光部の上の位置に第１穴を形成する工程と、
前記第１穴に屈折率の高い光学材料を埋め込む工程と、
前記第１穴に埋め込まれた前記屈折率の高い光学材料及び前記第１層の上に、屈折率の低い光学材料からなる第２層を形成する工程と、
前記第２層の前記受光部が対向する位置に第２穴を形成する工程と、
前記第２穴に屈折率の高い光学材料を埋め込む工程と
を備えることを特徴とする撮像素子の製造方法。
【請求項４５】
前記屈折率の高い光学材料の屈折率は１．８以上であり、前記屈折率の低い光学材料の屈折率は１．８以下である請求項４４に記載の撮像素子の製造方法。
【請求項４６】
前記第１穴の開口径は、前記第２穴の開口径より小さい請求項４４に記載の撮像素子の製造方法。
【請求項４７】
少なくとも１つの光学系と、撮像素子と、前記少なくとも１つの光学系と前記撮像素子との相対的位置を、前記少なくとも１つの光学系の光軸に対して平行な方向又は垂直な方向に変化させる駆動手段とを備える撮像装置であって、
前記駆動手段は、弾性体と、前記弾性体の少なくとも一方の面に貼り合わされた圧電素子とを備えた振動子、及び前記振動子に接続された弾性バネ部からなる少なくとも１つのアクチュエーターを含み、
前記アクチュエーターの前記振動子側端は固定され、前記弾性バネ部側端は前記少なくとも１つの光学系又は前記撮像素子を支持していることを特徴とする撮像装置。
【請求項４８】
前記圧電素子が前記弾性体の両面に貼り合わされており、両面の前記圧電素子は互いに独立した信号で駆動される請求項４７に記載の撮像装置。
【請求項４９】
前記駆動手段は２つの前記アクチュエーターを含み、前記２つのアクチュエーターは、前記少なくとも１つの光学系又は前記撮像素子を挟んで対向して配置されている請求項４７に記載の撮像装置。
【請求項５０】
前記駆動手段は４つの前記アクチュエーターを含み、前記４つのアクチュエーターは、略同一平面内で、前記少なくとも１つの光学系又は前記撮像素子を中心として９０度間隔で配置されている請求項４７に記載の撮像装置。
【国際公開番号】ＷＯ２００５／０４１５６２
【国際公開日】平成１７年５月６日（２００５．５．６）
【発行日】平成１９年４月２６日（２００７．４．２６）
【国際特許分類】
【出願番号】特願２００５−５１４９２４（Ｐ２００５−５１４９２４）
【国際出願番号】ＰＣＴ／ＪＰ２００４／０１４７９４
【国際出願日】平成１６年９月３０日（２００４．９．３０）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【国際公開日】平成１７年５月６日（２００５．５．６）
【発行日】平成１９年４月２６日（２００７．４．２６）
【国際特許分類】
【国際出願番号】ＰＣＴ／ＪＰ２００４／０１４７９４
【国際出願日】平成１６年９月３０日（２００４．９．３０）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]