撮像装置及び撮像方法
【課題】 周期的な模様のある被写体を撮影した場合に、局所的なＭＴＦ劣化を回避する。
【解決手段】 撮像に利用するイメージセンサに対し、画素配列の行方向又は列方向の少なくとも一の方向に、行方向と列方向で異なる長さに形成された２つの異なる画素開口の画素が一つおきに配置する。
そのイメージセンサを基準位置と該基準位置から１画素分より微小ステップで移動させる。そして、イメージセンサの基準位置で各画素の画素データを取得し、またイメージセンサの基準位置から１画素分より微小ステップ移動した位置で各画素の画素データを取得する。最後に、各画素位置それぞれに上記２つの異なる画素開口の画素より画素データを取得する。
【解決手段】 撮像に利用するイメージセンサに対し、画素配列の行方向又は列方向の少なくとも一の方向に、行方向と列方向で異なる長さに形成された２つの異なる画素開口の画素が一つおきに配置する。
そのイメージセンサを基準位置と該基準位置から１画素分より微小ステップで移動させる。そして、イメージセンサの基準位置で各画素の画素データを取得し、またイメージセンサの基準位置から１画素分より微小ステップ移動した位置で各画素の画素データを取得する。最後に、各画素位置それぞれに上記２つの異なる画素開口の画素より画素データを取得する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スウィングイメージセンサを備える撮像装置及びその撮像方法に関し、特にスウィングイメージセンサの位置を検知する技術に関する。
【背景技術】
【０００２】
一般に、デジタルスチルカメラ、カムコーダ、監視カメラなどのカメラシステム（撮像装置）では、最大に取得できる画像の解像度は、使用されるイメージセンサ（撮像素子）の画素数によって決定される。近年、高解像度の画像に対する要求の高まりを受けて、信号処理、もしくは機構的な工夫により、イメージセンサの画素数以上の解像度を生成する超解像技術が注目を浴びている。
【０００３】
超解像技術の手法としては、現在、さまざまなものが提案されている。その中で、信号処理とカメラシステムの機構的な制御との組み合わせにより、精度よく解像度を向上させる技術として、イメージセンサシフト方式（または画素ずらし方式）が知られている（例えば、非特許文献１参照）。この手法は、イメージセンサを画素ピッチ以下のサイズで振動させ、その時に取得される僅かにずれた複数の画像から画素間のデータを再構成し、画素数以上の解像度の画像を得るものである。イメージセンサシフト方式を適用したイメージセンサはスウィングイメージセンサと呼ばれている。
【０００４】
この方式のカメラシステムのイメージセンサを含む要部の構成を図１に示す。通常のカメラシステムでは、イメージセンサはカメラシステム本体に固定設置される。しかし、イメージセンサシフト方式を採用するカメラシステム１では、イメージセンサ２が駆動部となるＸ−Ｙステージ３に実装される。Ｘ−Ｙステージ３は、例えば縦及び横の側辺にピエゾ素子（圧電素子）４Ｙ，４Ｘが設けられ、Ｘ方向及びＹ方向の可動機構５Ｘ，５Ｙを介して支持板６に設置される。また、支持板６はカメラシステム１の筺体に固定設置される。この状態でピエゾ素子４Ｘ，４Ｙに印加する電圧を制御することにより、イメージセンサをＸ方向及びＹ方向それぞれに画素サイズの１／２、１／３…などの微小な距離を移動させることができる。
【０００５】
例えば図２（ａ）に示すように、イメージセンサ２を縦（Ｘ）方向、横（Ｙ）方向、斜め４５度の方向に１／２画素分ずつ移動させて、合計４枚の画像１１，１２，１３，１４を取得する。次に、得られた４つの画素データを図２（ｂ）のように画素数を４倍に拡張した画素配列の各画素１１ａ，１１ｂ，１１ｃ，１１ｄに対応させて合成を行う。それにより、はめ込み後の合成画像１５として、イメージセンサ２の画素数の４倍（２×２）の解像度を得ることができる。同様に画素サイズの１／３，１／４…などのステップで画像を取得すれば、それぞれ、９倍、１６倍…の解像度を得ることが可能となる。
【０００６】
イメージセンサシフト方式の一例として、光学平板ガラスを取り付けた光学平板ガラス保持機構の回転範囲を、２箇所の位置規制部材により制限し、イニシャル位置と１／２画素分ずらした結像位置での画像の読み取りを可能にする技術が提案されている（例えば、特許文献１参照）。微調整用ねじを用いて一の位置規制部材の位置を調整することにより、イメージセンサ上での結像位置を正確に１／２画素分ずらすことが可能になっている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０００−２７０１６５号公報
【非特許文献】
【０００８】
【非特許文献１】原田望他，「スウィングＣＣＤイメージセンサ」，テレビジョン学会誌，社団法人映像情報メディア学会，１９８３年１０月２０日，Ｖｏｌ．３７，Ｎｏ．１０，Ｐ．８２６−８３２
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記の超解像技術は、カメラの光学系の空間周波数特性（ＭＴＦ：Modulation Transfer Function）が十分高域まで確保されていれば、センサーの移動ステップを小さくすることによりその分解像度を向上させることが可能となる。ＭＴＦは変調伝達関数とも呼ばれる。その一方で、イメージセンサの画素の開口に起因して、局所的な周波数領域においてＭＴＦが０に落ち込むという問題がある。以下、その問題について説明する。
【００１０】
図３は、画素の開口による入射光のサンプリングについての説明図である（出展：ＣＣＤ／ＣＭＯＳイメージセンサの基礎と応用，ＣＱ出版社，Ｐ２４８）。図３（ａ）は、縞模様の光強度分布の一例を示している。また図３（ｂ）は、イメージセンサの１次元方向の画素配列について、画素位置に対する受光感度を模式的に描いたものである。画素開口のパターンを上から見た図を模式的に描いたものを図４に示す。図３（ｂ）は図４のＺ−Ｚ線に沿う断面に相当する。図４に示す例では、画素開口（画素開口３１Ａ）の形状が全ての画素において同等である。
【００１１】
イメージセンサの各画素は光を受光できる開口部と遮光される非開口部に分けられ、開口部に入射される光のみが情報として取得できる。図３（ｂ）では、画素サイズ（ピッチ）をｐ、開口部のサイズをａとする。このときのａ／ｐを一次元方向の開口率αと定義する。この状態で、図３（ａ）に示すような正弦波で表わされるようなパターンの入射光がイメージセンサ上に投影された場合、各画素の開口部のサイズａの領域において正弦波パターンは積分され、高周波の正弦波パターンほどコントラスト（ＭＴＦ）の劣化が生ずることとなる。この積分計算を実行すると、ＭＴＦの入射パターンの周波数ｆに対する様相は、数式１に示すｓｉｎｃ関数により表わすことができる。
【００１２】
【数１】
【００１３】
このｓｉｎｃ関数をコントラストに着目して絶対値として表すと図５のような曲線となる。図５中の周波数ｆｎはイメージセンサの画素ピッチにより決定されるナイキスト周波数１／（２＊ｐ）を示す。また、ＭＴＦは開口率αにより曲線の形状が変化し、図５では例として、０％、５０％、１００％の３種を示している。ここで例えば、α＝１００％に着目すると、ＭＴＦは２πｆｎの整数倍（この例では、２×ｆｎ，４×ｆｎ，６×ｆｎ）において０となる地点が存在する。ＭＴＦが０ということは、この近辺の周波数領域では、周波数情報が失われ、格子縞などの繰り返しパターンが再現できないことを意味する。これは、物理的には、図６に示すように、画素開口と画像（縞模様）の周期が一致した場合に相当し、画素をどの位置に動かしても、光の積分値は変化しないことによる。
【００１４】
図６の例では、３本の縞２１と４種類の画素開口（太線）との関係を示している。周波数ｆｎ，３×ｆｎに係る画素開口は、該画素開口を縞２１と直交方向に移動させたとき、それぞれの画素開口に含まれる縞２１の面積が変化する。これに対し、周波数２×ｆｎ，４×ｆｎに係る画素開口は、該画素開口を縞２１と直交方向に移動させたとき、それぞれの画素開口に含まれる縞２１の面積が移動の前後で同一である。
【００１５】
イメージセンサの画素開口率はイメージセンサによって異なり一概には言えないが、例えば、デジタルカメラ、カムコーダ、監視カメラなどで利用されるイメージセンサでは、開口形状は単純な矩形では表わされないが、およそ、α＝８０％程度と近似できる。よって、２πｆｎから少し高周波側に移動した箇所にＭＴＦが０となる点が存在する。
【００１６】
なお、以上のＭＴＦは画像の２次元平面内の各１次元の方向に対し、開口率に応じてそれぞれ算出される。つまり、図４に示す開口パターンのように縦と横で開口率が異なれば、縦、横それぞれでＭＴＦが０となる周波数領域は異なる。
【００１７】
以上説明した局所的なＭＴＦ劣化は、一般的な自然画像では問題とはならないが、周期的な格子パターンなどを撮影すると格子縞が解像されないといった問題が生ずる。
【００１８】
本発明は、上記の状況に鑑みてなされたものであり、周期的な模様のある被写体を撮影した場合に、局所的なＭＴＦ劣化を回避しようとするものである。
【課題を解決するための手段】
【００１９】
上記課題を解決するため、本発明は、イメージセンサに配列された各画素の画素開口のパターンを工夫している。
すなわち、光を電気信号に変換する複数の画素が配列されているイメージセンサと、前記イメージセンサを撮像面内で移動可能な駆動部とを備え、イメージセンサは、画素配列の行方向又は列方向の少なくとも一の方向に、行方向と列方向で異なる長さに形成された２つの異なる画素開口の画素が一つおきに配置されている撮像装置を用いて撮像を行う。
まず、このイメージセンサを基準位置と該基準位置から１画素分より微小ステップで移動させる。そして、イメージセンサの基準位置で各画素の画素データを取得し、またイメージセンサの基準位置から１画素分より微小ステップ移動した位置で各画素の画素データを取得する。最後に、各画素位置それぞれに２つの異なる画素開口の画素より画素データを取得する。
【００２０】
本発明によれば、イメージセンサに対し、画素配列の行方向又は列方向の少なくとも一の方向に、行方向と列方向で異なる長さに形成された２つの異なる画素開口の画素が一つおきに配置されている。それにより、画素ずらしを実行したときに、各画素位置それぞれに２つの異なる画素開口の画素より画素データを取得することができる。それゆえ、同じ画素位置において行方向、列方向で画素開口率が異なるため、それぞれ異なる周波数帯でＭＴＦが０となる領域を持つことになる。
【発明の効果】
【００２１】
本発明によれば、周期的な模様のある被写体を撮影した場合に、局所的なＭＴＦ劣化を回避することができる。
【図面の簡単な説明】
【００２２】
【図１】カメラシステムの要部を示す斜視図である。
【図２】イメージセンサシフト方式の原理の説明図である。
【図３】イメージセンサの画素の開口による入射光のサンプリングについての説明図である。
【図４】一般的な画素開口のパターン例を示す平面図である。
【図５】ＭＴＦ特性を示すグラフである。
【図６】画素開口と画像（縞模様）の周期についての説明図である。
【図７】本発明の第１の実施の形態における画素開口のパターン例を示す平面図である。
【図８】図７に示す画素開口のパターンにおけるＭＴＦ特性を示すグラフである。
【図９】本発明の第１の実施の形態におけるカメラシステムの内部構成を示すブロック図である。
【図１０】本発明の第１の実施の形態における画素ずらしの説明図である。
【図１１】本発明の第２の実施の形態における画素ずらしの説明図である。
【図１２】本発明の第３の実施の形態におけるベイヤー配列及び画素開口のパターン例を示す説明図である。
【図１３】本発明の第３の実施の形態における画素ずらしの説明図である。
【図１４】第１の実施の形態の変形例１に係る画素開口のパターン例を示す説明図である。
【図１５】第１の実施の形態の変形例２に係る画素開口のパターン例を示す説明図である。
【発明を実施するための形態】
【００２３】
以下、本発明を実施するための形態の例について、添付図面を参照しながら説明する。説明は下記の順序で行う。なお、各図において共通の構成要素には、同一の符号を付して重複する説明を省略する。
１．第１の実施の形態（２種の画素開口を市松状に配置した例）
２．第２の実施の形態（目的画素の近傍にある画素の画素データを利用する例）
３．第３の実施の形態（ベイヤー配列に適用した例）
４．変形例１（画素開口が長方形以外の例）
５．変形例２（９０度回転以外の画素開口の例）
【００２４】
＜１．第１の実施の形態＞
第１の実施の形態に係るイメージセンサの画素開口のパターン例を、図７に示す。
一般に、画素開口は画素ごとに対称に設計されるので、画素開口形状も全ての画素において同等であるが（図４参照）、本実施の形態では、新しい画素開口のパターンとして、画素開口３１Ａ，３１Ｂの２種類の画素を市松状に配置する。
【００２５】
画素開口３１Ａは、イメージセンサの行（Ｘ）方向のサイズａよりも列（Ｙ）方向のサイズｂの方が長い（例えば長方形）形状をしている。一方、画素開口３１Ｂは、列方向よりも行方向が長い形状をしており、長辺と短辺の長さはそれぞれ画素開口３１Ａと同等である。つまり、画素開口３１Ａと画素開口３１Ｂはそれぞれ９０°回転させた関係であり、開口の面積は等しい。
【００２６】
このように画素開口のパターンを設定すると、画素開口３１Ａを持つ画素と画素開口３１Ｂを持つ画素は、行方向、列方向で画素開口率が異なるため、それぞれ異なる周波数帯でＭＴＦが０となる領域を持つことになる。それぞれの開口によるＭＴＦ曲線は例えば、図８に示すようなものになる。なお、画素開口３１Ａを持つ画素と画素開口３１Ｂを持つ画素のそれぞれの開口面積は等しいので、画素の感度に関して両者は全く等しい。
【００２７】
ここで、本実施の形態に係るカメラシステムの構成について説明する。
本実施の形態に係るカメラシステムの要部の構成は、図１に示したカメラシステム１と同様である。イメージセンサ２は、図１に示したようにピエゾ素子４Ｘ，４Ｙの振動を利用して該イメージセンサ２の撮像面と平行な面内で駆動するＸ−Ｙステージに設置される。そのＸ−Ｙステージ３は駆動部の一例であり、イメージセンサ２全体を保持する支持板６の上に設置される。
【００２８】
図９は、カメラシステム１の信号処理ブロックの構成例を示している。
カメラシステム１の信号処理ブロックは主に、イメージセンサ２と、信号処理部４１と、駆動制御電圧印加部４２と、ピエゾ素子４Ｘ，４Ｙと、画像処理部４３を備える。イメージセンサ２から出力される電気信号（アナログ画像信号）は、図示しないフロントエンド部等によりゲインや露出が調整されてデジタル画像信号に変換され、信号処理部４１に入力される。
【００２９】
信号処理部４１は、複数のデジタル画像信号を合成するなど所定の信号処理を行うとともに、入力されるデジタル画像信号からイメージセンサ２の位置検知や駆動制御を行うものである。信号処理部４１には、ＤＳＰ（Digital Signal Processor）などが用いられる。
【００３０】
駆動制御電圧印加部４２は、駆動制御部の一例であり、信号処理部４１の制御の下でピエゾ素子４Ｘ，４Ｙ（図１参照）に駆動制御電圧を印加するものである。ピエゾ素子４Ｘ，４Ｙに印加する駆動制御電圧を調整して、可動機構５Ｘ，５Ｙを介したＸ−Ｙステージ３の駆動を制御する。駆動制御電圧の印加は、フレーム周期に同期したタイミングで行う。
【００３１】
画像処理部４３は、信号処理部４１から出力されるデジタル画像信号にカラー信号補間処理、カラー補正、ホワイト・バランス調整などの処理を行うものである。
【００３２】
本実施の形態における画素ずらしについて詳細に説明する。
図７に示した画素開口のパターンを持つイメージセンサをセンサシフト超解像に適応した場合の概要を、図１０に示す。説明の便宜上、画素開口３１Ａを持つ画素をＡ画素、画素、画素開口３１Ｂを持つ画素をＢ画素とし、図１０においてそれぞれ「Ａ」「Ｂ」で表記する。
【００３３】
従来のイメージセンサシフト方式では、例えば４倍（２×２）超解像を実行しようとした場合、イメージセンサ２を基準位置５１から縦、横、斜めにフレーム周期と同期して１／２画素分ずつずらす。そして、イメージセンサ２移動後のそれぞれの位置にてイメージセンサ２のフレーム走査を行う。それによりイメージセンサ２から画像信号が後段の信号処理部４１へ出力され、イメージセンサ２の各画素位置における１フレーム分の画像信号が信号処理部４１に取り込まれる。このようにしてイメージセンサ２を基準位置５１から縦、横、斜めに１／２画素分ずつずらした各画素位置における、合計４枚の画像を取得する（図１０（ａ）〜（ｄ））。しかし、本実施の形態では、基準位置５１から１／２画素分ずらした４枚の画像（図１０（ａ）〜（ｄ））に加え、さらにイメージセンサ２を基準位置５１から１画素分横（または縦）にずらして、その場所を新たな基準位置５２として画素ずらしを実行する。すなわち、イメージセンサ２を新たな基準位置５２からさらに縦、横、斜めに１／２画素分ずらして４枚の画像を取得し（図１０（ｅ）〜（ｈ））、合計８枚の画像を取得する。
【００３４】
このようにすることにより、各画素毎に、基準位置５１とそこから縦、横、斜めに１／２画素分ずらした位置に対し、Ａ画素による画素データとＢ画素による画素データの２種を取得することができる。つまり、画素ごとに開口率の異なる２つの画素開口から画素データを得ることが可能となる。例えば基準位置５１において右下の位置５１ＲＵにおいてＢ画素（図１０（ａ））の画素データとＡ画素（図１０（ｅ））の画素データが得られる。さらにイメージセンサ２を基準位置５１から横に１／２画素分ずらしたときの右下の位置５１ＲＵ´においても同様に、Ｂ画素（図１０（ｂ））の画素データとＡ画素（図１０（ｆ））の画素データが得られる。イメージセンサ２を基準位置５１から縦、斜めに１／２画素分ずらしたときも同様である（図１０（ｃ）（ｄ）（ｇ）（ｈ））。
【００３５】
以上の２種の画素データをイメージセンサ２の後段の信号処理部４１にて、例えば、Ａ画素（画素３１開口Ａ）の画素データとＢ画素（画素開口３１Ｂ）の画素データを加算平均して画素のデータとする処理を行う。このようにすると加算平均されたＭＴＦは、図８の破線で示す曲線となり、ＭＴＦが０となることが無くなる。これにより、いずれの周波数領域においても撮影した被写体の画像データを超解像画像で復元することが可能となる。よって、周期的な模様のある被写体を撮影した場合でも局所的なＭＴＦの劣化が抑えられる。なお、この例では、１／２画素分ずらしを行い２画素の画素データの加算平均を算出したが、１／３画素ずらしのときも同様に、Ａ画素のデータとＢ画素のデータの２画素の加算平均を行えばよい。
【００３６】
なお、上述の場合、１フレームごとにイメージセンサ２が基準位置５１から縦、横、斜め方向の４か所への１／２画素分の移動を行い、４フレームサイクルで合計４枚の画像を取得する。さらにイメージセンサ２は、基準位置５２から縦、横、斜め方向の４か所への１／２画素分の移動を行い、４フレームサイクルで合計４枚の画像を取得する。したがって、例えば、６０ｆｐｓ(frames per second)のイメージセンサ２の動作を、１／２画素サイズの駆動ステップで行う場合、この８枚の画像を後段の信号処理部４１にて合成すれば、８／６０ｓｅｃ間に１枚、４倍に解像度を向上させた画像の生成が可能となる。
【００３７】
＜２．第２の実施の形態＞
第１の実施の形態では、Ａ画素の画素データとＢ画素の画素データの平均値を最終的な画素データとした。これに対し、第２の実施の形態では、例えばＡ画素の画素データのＭＴＦが０になるような画素開口のパターンの場合は、Ａ画素の画素データの代わりにその近傍のＢ画素の画素データをＡ画素の画素データとして扱う。このとき、本実施の形態のイメージセンサは、図７に示した画素開口のパターンを持つものとする。
【００３８】
この場合、イメージセンサ２を移動させる手順として、基準位置６１から縦、横、斜め方向の４か所への１／２画素分の移動（図１１（ａ）〜（ｄ））の４通りのみを行う（図１０（ａ）〜（ｄ）と同じ）。ここで、例えば、図１１（ａ）と図１１（ｂ）におけるＡ２画素の画素データの値がおよそ同等であり、一方、それぞれのＢ１画素もしくはＢ２画素の画素データの値に差異があった場合（同等か否かは閾値設定による判定にて行う）を想定する。すなわち、画素ごとに移動前後で画素データの値を差分処理し、その差分値が設定された閾値よりも小さく、かつ近傍の異なる画素開口パターンにおけるデータの値が、その閾値よりも大きい場合である。この場合、信号処理部４１は、Ａ２画素の画素データは、ＭＴＦが０となる領域にあると判断し、またＢ１画素もしくはＢ２画素の画素データは、ＭＴＦが０とならない領域にあると判断する。一例としては、縦方向に縞が延在しているが、Ａ２画素の画素開口が移動しても得られる画素データの値が変わらないような状態である。
【００３９】
このように判断したとき、信号処理部４１は、ＭＴＦが０でないＢ１画素またはＢ２画素の画素データの値、もしくはＡ２画素の上下左右両隣のＢ１画素及びＢ２画素の画素データの値の平均値を算出し、Ａ２画素の画素データの値として採用する。なお、対象画素の上下両隣の画素の画素データの平均値を算出して置き換えるとしているが、上下のみ、左右のみでもよい。
【００４０】
このようにすることにより、第２の実施の形態では超解像を維持しながら、第１の実施の形態と比較してイメージセンサ２の移動のステップ数を少なくすることができる。
【００４１】
＜３．第３の実施の形態＞
第１の実施の形態は、イメージセンサ上にカラーフィルタが設定されていない白黒イメージセンサを前提としたものであるが、同様な手法をベイヤー配列のカラーフィルタを備えるイメージセンサにも適用可能である。
【００４２】
図１２（ａ）（ｂ）は、本発明の第３の実施の形態におけるベイヤー配列及び適用される画素開口のパターン例を示している。この例では、ベイヤー配列のカラーフィルタ７０として、２×２画素において、右上，左下にそれぞれ緑画素であるＧｒ画素，Ｇｂ画素、左上に赤画素のＲ画素、右下に青画素のＢ画素が配置されている。図１２（ａ）においてそれぞれ「Ｇｒ」「Ｇｂ」「Ｒ」「Ｂ」で表記する。
【００４３】
例えば、図１２（ａ）に示すベイヤー配列を仮定した場合、それに対応する画素の開口配列を図１２（ｂ）に示すようにする。つまり、ベイヤー配列を構成する２つの緑画素であるＧｒ画素とＧｂ画素については、第１の実施の形態のＢ画素，Ａ画素と同様に、それぞれ横長と縦長の画素開口３１Ｂ，３１Ａを割り当てる。一方、Ｒ画素とＢ画素については、例えば、Ｇｒ画素と同様に画素開口３１Ｂを割り当てる。
【００４４】
このような画素の開口配列において、第１の実施の形態（図１０（ａ）〜（ｈ））と同様に図１３で示すステップでイメージセンサの駆動を行う。すなわち、まずイメージセンサ２を基準位置８１から１／２画素分ずらした４枚の画像（図１３（ａ）〜（ｄ））を取得する。さらにイメージセンサ２を基準位置８１から１画素分横（または縦）にずらして、その場所を新たな基準位置８２とし、イメージセンサ２を該基準位置８２からさらに縦、横、斜めに１／２画素分ずらして４枚の画像を取得し（図１３（ｅ）〜（ｈ））、合計８枚の画像を取得する。そうすると、Ｇｒ画素と同じ画素の行は画素開口３１ＢによるＧｒｅｅｎデータが、Ｇｂ画素と同じ行は画素開口３１ＡによるＧｒｅｅｎデータが全ての画素位置に対応して取得することが可能となる。
【００４５】
ここで、第２の実施の形態と同様に、例えばＧｂ画素の画素データに関して、図１３（ａ）と図１３（ｂ）における画素データの値がおよそ同等であり、一方、図１３（ｅ）と図１３（ｆ）におけるＧｒ画素の画素データの値に差異があった場合を想定する。この場合、信号処理部４１は、Ｇｂ画素の画素データは、ＭＴＦが０となる領域にあると判断し、ＭＴＦが０でないＧｒ画素の画素データをＧｂ画素の画素データとして採用する。
【００４６】
なお、上記の方法では、図１３のＲ，Ｂ画素については、ＭＴＦが０となる領域を回避する処理はなされないが、一般に画像の解像度は緑（Ｇｒｅｅｎ）の色データによりおよそ決定されるので、緑画素であるＧｂ，Ｇｒ画素の画素データのみに着目すればよい。他の理由としては、図１１の場合はカラーフィルタがなく各画素を同系色として処理したが、本実施の形態ではカラーフィルタがあるため、他の同系色でない画素の画素データを置き換えてしまうと画像の品質が劣化してしまうということもある。
【００４７】
＜４．変形例１＞
上述した第１〜第３の実施の形態では、いずれも画素開口の形状が長方形であることを前提に説明をしたが、形状に関しては長方形に限定されない。例えば、図１４に示すような楕円形としてもよい。図１４に示す例では、画素開口９１Ａは、イメージセンサの行（Ｘ）方向が長軸（サイズａ）、列（Ｙ）方向が短軸（サイズｂ）の楕円形である。一方、画素開口９１Ｂは、列方向よりも行方向が長い形状をしており、長軸と短軸の長さはそれぞれ画素開口９１Ａと同等である。つまり、画素開口９１Ａと画素開口９１Ｂはそれぞれ９０°回転させた関係であり、開口の面積は等しい。
【００４８】
このように画素開口に楕円形を用いた場合、長軸方向と短軸方向で支配的な長さが異なるので、上記各実施の形態と同様な効果が得られる。また、一般に、それ以外の図形であっても、実効的に長軸（長辺）方向と短軸（短辺）方向で支配的な長さが異なれば、同様な効果を得ることが可能である。
【００４９】
＜５．変形例２＞
また、上述した第１〜第３の実施の形態では、異なる画素開口のうち一方の画素開口は、他方の画素開口を９０度回転させたことを前提に説明したが、２つの画素においてＸ方向とＹ方向で支配的な長さが異なるのであれば、回転角は９０度でなくとも構わない。
【００５０】
例えば、図１５に示すような画素開口のパターンとしてもよい。図１５の例では、２×２画素において、左上，右下にそれぞれ矩形の画素開口３１Ｂ、右上，左下に画素開口３１Ｂを反時計回りに３０度回転させた画素開口９２Ａが配置されている。
【００５１】
以上説明したように、本発明で用いられる画素開口のパターンは、異なる２種の画素開口を市松状（図７、図１４、図１５等）に配置した他、画素配列の少なくとも一の方向に異なる画素開口を一つおきに配置（例えば図１２（ｂ）等）したものであればよい。
【００５２】
なお、一般的なカメラシステムでは、レンズ系の後段に水晶ＬＰＦ（Low Pass Filter）を挿入することにより画像信号の高域成分を除去し、モアレが発生しないようにしている。しかし、上述した各実施の形態による超解像技術が適用されるカメラシステムでは、この水晶ＬＰＦは不要となり、モアレは超解像信号処理により除去される。
【００５３】
また、本明細書において、時系列的な処理を記述する処理ステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）をも含むものである。
【００５４】
以上、本発明は上述した各実施の形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨を逸脱しない限りにおいて、その他種々の変形例、応用例を取り得ることは勿論である。
【符号の説明】
【００５５】
１…カメラシステム、 ２…イメージセンサ、 ３…Ｘ−Ｙステージ、 ４Ｘ，４Ｙ…ピエゾ素子、 ５Ｘ，５Ｙ…可動機構、 ６…支持板、 ７…レンズ、 ８，８Ａ…遮光板、 １１〜１４…画像、 １１ａ〜１４ａ…画素、 １５…合成画像、 ２１…縞、 ３１Ａ，３１Ｂ…画素開口、 ４１…信号処理部、 ４２…駆動制御電圧印加部、 ４３…画像処理部、 ５１，５２…基準位置、５１ＲＵ，５１ＲＵ´…位置、 ６１…基準位置、７０…カラーフィルタ、 ８１…基準位置、８１ＲＵ，８１ＲＵ´…位置、 ９１Ａ，９１Ｂ…画素開口、 ９２Ａ…画素開口
【技術分野】
【０００１】
本発明は、スウィングイメージセンサを備える撮像装置及びその撮像方法に関し、特にスウィングイメージセンサの位置を検知する技術に関する。
【背景技術】
【０００２】
一般に、デジタルスチルカメラ、カムコーダ、監視カメラなどのカメラシステム（撮像装置）では、最大に取得できる画像の解像度は、使用されるイメージセンサ（撮像素子）の画素数によって決定される。近年、高解像度の画像に対する要求の高まりを受けて、信号処理、もしくは機構的な工夫により、イメージセンサの画素数以上の解像度を生成する超解像技術が注目を浴びている。
【０００３】
超解像技術の手法としては、現在、さまざまなものが提案されている。その中で、信号処理とカメラシステムの機構的な制御との組み合わせにより、精度よく解像度を向上させる技術として、イメージセンサシフト方式（または画素ずらし方式）が知られている（例えば、非特許文献１参照）。この手法は、イメージセンサを画素ピッチ以下のサイズで振動させ、その時に取得される僅かにずれた複数の画像から画素間のデータを再構成し、画素数以上の解像度の画像を得るものである。イメージセンサシフト方式を適用したイメージセンサはスウィングイメージセンサと呼ばれている。
【０００４】
この方式のカメラシステムのイメージセンサを含む要部の構成を図１に示す。通常のカメラシステムでは、イメージセンサはカメラシステム本体に固定設置される。しかし、イメージセンサシフト方式を採用するカメラシステム１では、イメージセンサ２が駆動部となるＸ−Ｙステージ３に実装される。Ｘ−Ｙステージ３は、例えば縦及び横の側辺にピエゾ素子（圧電素子）４Ｙ，４Ｘが設けられ、Ｘ方向及びＹ方向の可動機構５Ｘ，５Ｙを介して支持板６に設置される。また、支持板６はカメラシステム１の筺体に固定設置される。この状態でピエゾ素子４Ｘ，４Ｙに印加する電圧を制御することにより、イメージセンサをＸ方向及びＹ方向それぞれに画素サイズの１／２、１／３…などの微小な距離を移動させることができる。
【０００５】
例えば図２（ａ）に示すように、イメージセンサ２を縦（Ｘ）方向、横（Ｙ）方向、斜め４５度の方向に１／２画素分ずつ移動させて、合計４枚の画像１１，１２，１３，１４を取得する。次に、得られた４つの画素データを図２（ｂ）のように画素数を４倍に拡張した画素配列の各画素１１ａ，１１ｂ，１１ｃ，１１ｄに対応させて合成を行う。それにより、はめ込み後の合成画像１５として、イメージセンサ２の画素数の４倍（２×２）の解像度を得ることができる。同様に画素サイズの１／３，１／４…などのステップで画像を取得すれば、それぞれ、９倍、１６倍…の解像度を得ることが可能となる。
【０００６】
イメージセンサシフト方式の一例として、光学平板ガラスを取り付けた光学平板ガラス保持機構の回転範囲を、２箇所の位置規制部材により制限し、イニシャル位置と１／２画素分ずらした結像位置での画像の読み取りを可能にする技術が提案されている（例えば、特許文献１参照）。微調整用ねじを用いて一の位置規制部材の位置を調整することにより、イメージセンサ上での結像位置を正確に１／２画素分ずらすことが可能になっている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０００−２７０１６５号公報
【非特許文献】
【０００８】
【非特許文献１】原田望他，「スウィングＣＣＤイメージセンサ」，テレビジョン学会誌，社団法人映像情報メディア学会，１９８３年１０月２０日，Ｖｏｌ．３７，Ｎｏ．１０，Ｐ．８２６−８３２
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記の超解像技術は、カメラの光学系の空間周波数特性（ＭＴＦ：Modulation Transfer Function）が十分高域まで確保されていれば、センサーの移動ステップを小さくすることによりその分解像度を向上させることが可能となる。ＭＴＦは変調伝達関数とも呼ばれる。その一方で、イメージセンサの画素の開口に起因して、局所的な周波数領域においてＭＴＦが０に落ち込むという問題がある。以下、その問題について説明する。
【００１０】
図３は、画素の開口による入射光のサンプリングについての説明図である（出展：ＣＣＤ／ＣＭＯＳイメージセンサの基礎と応用，ＣＱ出版社，Ｐ２４８）。図３（ａ）は、縞模様の光強度分布の一例を示している。また図３（ｂ）は、イメージセンサの１次元方向の画素配列について、画素位置に対する受光感度を模式的に描いたものである。画素開口のパターンを上から見た図を模式的に描いたものを図４に示す。図３（ｂ）は図４のＺ−Ｚ線に沿う断面に相当する。図４に示す例では、画素開口（画素開口３１Ａ）の形状が全ての画素において同等である。
【００１１】
イメージセンサの各画素は光を受光できる開口部と遮光される非開口部に分けられ、開口部に入射される光のみが情報として取得できる。図３（ｂ）では、画素サイズ（ピッチ）をｐ、開口部のサイズをａとする。このときのａ／ｐを一次元方向の開口率αと定義する。この状態で、図３（ａ）に示すような正弦波で表わされるようなパターンの入射光がイメージセンサ上に投影された場合、各画素の開口部のサイズａの領域において正弦波パターンは積分され、高周波の正弦波パターンほどコントラスト（ＭＴＦ）の劣化が生ずることとなる。この積分計算を実行すると、ＭＴＦの入射パターンの周波数ｆに対する様相は、数式１に示すｓｉｎｃ関数により表わすことができる。
【００１２】
【数１】
【００１３】
このｓｉｎｃ関数をコントラストに着目して絶対値として表すと図５のような曲線となる。図５中の周波数ｆｎはイメージセンサの画素ピッチにより決定されるナイキスト周波数１／（２＊ｐ）を示す。また、ＭＴＦは開口率αにより曲線の形状が変化し、図５では例として、０％、５０％、１００％の３種を示している。ここで例えば、α＝１００％に着目すると、ＭＴＦは２πｆｎの整数倍（この例では、２×ｆｎ，４×ｆｎ，６×ｆｎ）において０となる地点が存在する。ＭＴＦが０ということは、この近辺の周波数領域では、周波数情報が失われ、格子縞などの繰り返しパターンが再現できないことを意味する。これは、物理的には、図６に示すように、画素開口と画像（縞模様）の周期が一致した場合に相当し、画素をどの位置に動かしても、光の積分値は変化しないことによる。
【００１４】
図６の例では、３本の縞２１と４種類の画素開口（太線）との関係を示している。周波数ｆｎ，３×ｆｎに係る画素開口は、該画素開口を縞２１と直交方向に移動させたとき、それぞれの画素開口に含まれる縞２１の面積が変化する。これに対し、周波数２×ｆｎ，４×ｆｎに係る画素開口は、該画素開口を縞２１と直交方向に移動させたとき、それぞれの画素開口に含まれる縞２１の面積が移動の前後で同一である。
【００１５】
イメージセンサの画素開口率はイメージセンサによって異なり一概には言えないが、例えば、デジタルカメラ、カムコーダ、監視カメラなどで利用されるイメージセンサでは、開口形状は単純な矩形では表わされないが、およそ、α＝８０％程度と近似できる。よって、２πｆｎから少し高周波側に移動した箇所にＭＴＦが０となる点が存在する。
【００１６】
なお、以上のＭＴＦは画像の２次元平面内の各１次元の方向に対し、開口率に応じてそれぞれ算出される。つまり、図４に示す開口パターンのように縦と横で開口率が異なれば、縦、横それぞれでＭＴＦが０となる周波数領域は異なる。
【００１７】
以上説明した局所的なＭＴＦ劣化は、一般的な自然画像では問題とはならないが、周期的な格子パターンなどを撮影すると格子縞が解像されないといった問題が生ずる。
【００１８】
本発明は、上記の状況に鑑みてなされたものであり、周期的な模様のある被写体を撮影した場合に、局所的なＭＴＦ劣化を回避しようとするものである。
【課題を解決するための手段】
【００１９】
上記課題を解決するため、本発明は、イメージセンサに配列された各画素の画素開口のパターンを工夫している。
すなわち、光を電気信号に変換する複数の画素が配列されているイメージセンサと、前記イメージセンサを撮像面内で移動可能な駆動部とを備え、イメージセンサは、画素配列の行方向又は列方向の少なくとも一の方向に、行方向と列方向で異なる長さに形成された２つの異なる画素開口の画素が一つおきに配置されている撮像装置を用いて撮像を行う。
まず、このイメージセンサを基準位置と該基準位置から１画素分より微小ステップで移動させる。そして、イメージセンサの基準位置で各画素の画素データを取得し、またイメージセンサの基準位置から１画素分より微小ステップ移動した位置で各画素の画素データを取得する。最後に、各画素位置それぞれに２つの異なる画素開口の画素より画素データを取得する。
【００２０】
本発明によれば、イメージセンサに対し、画素配列の行方向又は列方向の少なくとも一の方向に、行方向と列方向で異なる長さに形成された２つの異なる画素開口の画素が一つおきに配置されている。それにより、画素ずらしを実行したときに、各画素位置それぞれに２つの異なる画素開口の画素より画素データを取得することができる。それゆえ、同じ画素位置において行方向、列方向で画素開口率が異なるため、それぞれ異なる周波数帯でＭＴＦが０となる領域を持つことになる。
【発明の効果】
【００２１】
本発明によれば、周期的な模様のある被写体を撮影した場合に、局所的なＭＴＦ劣化を回避することができる。
【図面の簡単な説明】
【００２２】
【図１】カメラシステムの要部を示す斜視図である。
【図２】イメージセンサシフト方式の原理の説明図である。
【図３】イメージセンサの画素の開口による入射光のサンプリングについての説明図である。
【図４】一般的な画素開口のパターン例を示す平面図である。
【図５】ＭＴＦ特性を示すグラフである。
【図６】画素開口と画像（縞模様）の周期についての説明図である。
【図７】本発明の第１の実施の形態における画素開口のパターン例を示す平面図である。
【図８】図７に示す画素開口のパターンにおけるＭＴＦ特性を示すグラフである。
【図９】本発明の第１の実施の形態におけるカメラシステムの内部構成を示すブロック図である。
【図１０】本発明の第１の実施の形態における画素ずらしの説明図である。
【図１１】本発明の第２の実施の形態における画素ずらしの説明図である。
【図１２】本発明の第３の実施の形態におけるベイヤー配列及び画素開口のパターン例を示す説明図である。
【図１３】本発明の第３の実施の形態における画素ずらしの説明図である。
【図１４】第１の実施の形態の変形例１に係る画素開口のパターン例を示す説明図である。
【図１５】第１の実施の形態の変形例２に係る画素開口のパターン例を示す説明図である。
【発明を実施するための形態】
【００２３】
以下、本発明を実施するための形態の例について、添付図面を参照しながら説明する。説明は下記の順序で行う。なお、各図において共通の構成要素には、同一の符号を付して重複する説明を省略する。
１．第１の実施の形態（２種の画素開口を市松状に配置した例）
２．第２の実施の形態（目的画素の近傍にある画素の画素データを利用する例）
３．第３の実施の形態（ベイヤー配列に適用した例）
４．変形例１（画素開口が長方形以外の例）
５．変形例２（９０度回転以外の画素開口の例）
【００２４】
＜１．第１の実施の形態＞
第１の実施の形態に係るイメージセンサの画素開口のパターン例を、図７に示す。
一般に、画素開口は画素ごとに対称に設計されるので、画素開口形状も全ての画素において同等であるが（図４参照）、本実施の形態では、新しい画素開口のパターンとして、画素開口３１Ａ，３１Ｂの２種類の画素を市松状に配置する。
【００２５】
画素開口３１Ａは、イメージセンサの行（Ｘ）方向のサイズａよりも列（Ｙ）方向のサイズｂの方が長い（例えば長方形）形状をしている。一方、画素開口３１Ｂは、列方向よりも行方向が長い形状をしており、長辺と短辺の長さはそれぞれ画素開口３１Ａと同等である。つまり、画素開口３１Ａと画素開口３１Ｂはそれぞれ９０°回転させた関係であり、開口の面積は等しい。
【００２６】
このように画素開口のパターンを設定すると、画素開口３１Ａを持つ画素と画素開口３１Ｂを持つ画素は、行方向、列方向で画素開口率が異なるため、それぞれ異なる周波数帯でＭＴＦが０となる領域を持つことになる。それぞれの開口によるＭＴＦ曲線は例えば、図８に示すようなものになる。なお、画素開口３１Ａを持つ画素と画素開口３１Ｂを持つ画素のそれぞれの開口面積は等しいので、画素の感度に関して両者は全く等しい。
【００２７】
ここで、本実施の形態に係るカメラシステムの構成について説明する。
本実施の形態に係るカメラシステムの要部の構成は、図１に示したカメラシステム１と同様である。イメージセンサ２は、図１に示したようにピエゾ素子４Ｘ，４Ｙの振動を利用して該イメージセンサ２の撮像面と平行な面内で駆動するＸ−Ｙステージに設置される。そのＸ−Ｙステージ３は駆動部の一例であり、イメージセンサ２全体を保持する支持板６の上に設置される。
【００２８】
図９は、カメラシステム１の信号処理ブロックの構成例を示している。
カメラシステム１の信号処理ブロックは主に、イメージセンサ２と、信号処理部４１と、駆動制御電圧印加部４２と、ピエゾ素子４Ｘ，４Ｙと、画像処理部４３を備える。イメージセンサ２から出力される電気信号（アナログ画像信号）は、図示しないフロントエンド部等によりゲインや露出が調整されてデジタル画像信号に変換され、信号処理部４１に入力される。
【００２９】
信号処理部４１は、複数のデジタル画像信号を合成するなど所定の信号処理を行うとともに、入力されるデジタル画像信号からイメージセンサ２の位置検知や駆動制御を行うものである。信号処理部４１には、ＤＳＰ（Digital Signal Processor）などが用いられる。
【００３０】
駆動制御電圧印加部４２は、駆動制御部の一例であり、信号処理部４１の制御の下でピエゾ素子４Ｘ，４Ｙ（図１参照）に駆動制御電圧を印加するものである。ピエゾ素子４Ｘ，４Ｙに印加する駆動制御電圧を調整して、可動機構５Ｘ，５Ｙを介したＸ−Ｙステージ３の駆動を制御する。駆動制御電圧の印加は、フレーム周期に同期したタイミングで行う。
【００３１】
画像処理部４３は、信号処理部４１から出力されるデジタル画像信号にカラー信号補間処理、カラー補正、ホワイト・バランス調整などの処理を行うものである。
【００３２】
本実施の形態における画素ずらしについて詳細に説明する。
図７に示した画素開口のパターンを持つイメージセンサをセンサシフト超解像に適応した場合の概要を、図１０に示す。説明の便宜上、画素開口３１Ａを持つ画素をＡ画素、画素、画素開口３１Ｂを持つ画素をＢ画素とし、図１０においてそれぞれ「Ａ」「Ｂ」で表記する。
【００３３】
従来のイメージセンサシフト方式では、例えば４倍（２×２）超解像を実行しようとした場合、イメージセンサ２を基準位置５１から縦、横、斜めにフレーム周期と同期して１／２画素分ずつずらす。そして、イメージセンサ２移動後のそれぞれの位置にてイメージセンサ２のフレーム走査を行う。それによりイメージセンサ２から画像信号が後段の信号処理部４１へ出力され、イメージセンサ２の各画素位置における１フレーム分の画像信号が信号処理部４１に取り込まれる。このようにしてイメージセンサ２を基準位置５１から縦、横、斜めに１／２画素分ずつずらした各画素位置における、合計４枚の画像を取得する（図１０（ａ）〜（ｄ））。しかし、本実施の形態では、基準位置５１から１／２画素分ずらした４枚の画像（図１０（ａ）〜（ｄ））に加え、さらにイメージセンサ２を基準位置５１から１画素分横（または縦）にずらして、その場所を新たな基準位置５２として画素ずらしを実行する。すなわち、イメージセンサ２を新たな基準位置５２からさらに縦、横、斜めに１／２画素分ずらして４枚の画像を取得し（図１０（ｅ）〜（ｈ））、合計８枚の画像を取得する。
【００３４】
このようにすることにより、各画素毎に、基準位置５１とそこから縦、横、斜めに１／２画素分ずらした位置に対し、Ａ画素による画素データとＢ画素による画素データの２種を取得することができる。つまり、画素ごとに開口率の異なる２つの画素開口から画素データを得ることが可能となる。例えば基準位置５１において右下の位置５１ＲＵにおいてＢ画素（図１０（ａ））の画素データとＡ画素（図１０（ｅ））の画素データが得られる。さらにイメージセンサ２を基準位置５１から横に１／２画素分ずらしたときの右下の位置５１ＲＵ´においても同様に、Ｂ画素（図１０（ｂ））の画素データとＡ画素（図１０（ｆ））の画素データが得られる。イメージセンサ２を基準位置５１から縦、斜めに１／２画素分ずらしたときも同様である（図１０（ｃ）（ｄ）（ｇ）（ｈ））。
【００３５】
以上の２種の画素データをイメージセンサ２の後段の信号処理部４１にて、例えば、Ａ画素（画素３１開口Ａ）の画素データとＢ画素（画素開口３１Ｂ）の画素データを加算平均して画素のデータとする処理を行う。このようにすると加算平均されたＭＴＦは、図８の破線で示す曲線となり、ＭＴＦが０となることが無くなる。これにより、いずれの周波数領域においても撮影した被写体の画像データを超解像画像で復元することが可能となる。よって、周期的な模様のある被写体を撮影した場合でも局所的なＭＴＦの劣化が抑えられる。なお、この例では、１／２画素分ずらしを行い２画素の画素データの加算平均を算出したが、１／３画素ずらしのときも同様に、Ａ画素のデータとＢ画素のデータの２画素の加算平均を行えばよい。
【００３６】
なお、上述の場合、１フレームごとにイメージセンサ２が基準位置５１から縦、横、斜め方向の４か所への１／２画素分の移動を行い、４フレームサイクルで合計４枚の画像を取得する。さらにイメージセンサ２は、基準位置５２から縦、横、斜め方向の４か所への１／２画素分の移動を行い、４フレームサイクルで合計４枚の画像を取得する。したがって、例えば、６０ｆｐｓ(frames per second)のイメージセンサ２の動作を、１／２画素サイズの駆動ステップで行う場合、この８枚の画像を後段の信号処理部４１にて合成すれば、８／６０ｓｅｃ間に１枚、４倍に解像度を向上させた画像の生成が可能となる。
【００３７】
＜２．第２の実施の形態＞
第１の実施の形態では、Ａ画素の画素データとＢ画素の画素データの平均値を最終的な画素データとした。これに対し、第２の実施の形態では、例えばＡ画素の画素データのＭＴＦが０になるような画素開口のパターンの場合は、Ａ画素の画素データの代わりにその近傍のＢ画素の画素データをＡ画素の画素データとして扱う。このとき、本実施の形態のイメージセンサは、図７に示した画素開口のパターンを持つものとする。
【００３８】
この場合、イメージセンサ２を移動させる手順として、基準位置６１から縦、横、斜め方向の４か所への１／２画素分の移動（図１１（ａ）〜（ｄ））の４通りのみを行う（図１０（ａ）〜（ｄ）と同じ）。ここで、例えば、図１１（ａ）と図１１（ｂ）におけるＡ２画素の画素データの値がおよそ同等であり、一方、それぞれのＢ１画素もしくはＢ２画素の画素データの値に差異があった場合（同等か否かは閾値設定による判定にて行う）を想定する。すなわち、画素ごとに移動前後で画素データの値を差分処理し、その差分値が設定された閾値よりも小さく、かつ近傍の異なる画素開口パターンにおけるデータの値が、その閾値よりも大きい場合である。この場合、信号処理部４１は、Ａ２画素の画素データは、ＭＴＦが０となる領域にあると判断し、またＢ１画素もしくはＢ２画素の画素データは、ＭＴＦが０とならない領域にあると判断する。一例としては、縦方向に縞が延在しているが、Ａ２画素の画素開口が移動しても得られる画素データの値が変わらないような状態である。
【００３９】
このように判断したとき、信号処理部４１は、ＭＴＦが０でないＢ１画素またはＢ２画素の画素データの値、もしくはＡ２画素の上下左右両隣のＢ１画素及びＢ２画素の画素データの値の平均値を算出し、Ａ２画素の画素データの値として採用する。なお、対象画素の上下両隣の画素の画素データの平均値を算出して置き換えるとしているが、上下のみ、左右のみでもよい。
【００４０】
このようにすることにより、第２の実施の形態では超解像を維持しながら、第１の実施の形態と比較してイメージセンサ２の移動のステップ数を少なくすることができる。
【００４１】
＜３．第３の実施の形態＞
第１の実施の形態は、イメージセンサ上にカラーフィルタが設定されていない白黒イメージセンサを前提としたものであるが、同様な手法をベイヤー配列のカラーフィルタを備えるイメージセンサにも適用可能である。
【００４２】
図１２（ａ）（ｂ）は、本発明の第３の実施の形態におけるベイヤー配列及び適用される画素開口のパターン例を示している。この例では、ベイヤー配列のカラーフィルタ７０として、２×２画素において、右上，左下にそれぞれ緑画素であるＧｒ画素，Ｇｂ画素、左上に赤画素のＲ画素、右下に青画素のＢ画素が配置されている。図１２（ａ）においてそれぞれ「Ｇｒ」「Ｇｂ」「Ｒ」「Ｂ」で表記する。
【００４３】
例えば、図１２（ａ）に示すベイヤー配列を仮定した場合、それに対応する画素の開口配列を図１２（ｂ）に示すようにする。つまり、ベイヤー配列を構成する２つの緑画素であるＧｒ画素とＧｂ画素については、第１の実施の形態のＢ画素，Ａ画素と同様に、それぞれ横長と縦長の画素開口３１Ｂ，３１Ａを割り当てる。一方、Ｒ画素とＢ画素については、例えば、Ｇｒ画素と同様に画素開口３１Ｂを割り当てる。
【００４４】
このような画素の開口配列において、第１の実施の形態（図１０（ａ）〜（ｈ））と同様に図１３で示すステップでイメージセンサの駆動を行う。すなわち、まずイメージセンサ２を基準位置８１から１／２画素分ずらした４枚の画像（図１３（ａ）〜（ｄ））を取得する。さらにイメージセンサ２を基準位置８１から１画素分横（または縦）にずらして、その場所を新たな基準位置８２とし、イメージセンサ２を該基準位置８２からさらに縦、横、斜めに１／２画素分ずらして４枚の画像を取得し（図１３（ｅ）〜（ｈ））、合計８枚の画像を取得する。そうすると、Ｇｒ画素と同じ画素の行は画素開口３１ＢによるＧｒｅｅｎデータが、Ｇｂ画素と同じ行は画素開口３１ＡによるＧｒｅｅｎデータが全ての画素位置に対応して取得することが可能となる。
【００４５】
ここで、第２の実施の形態と同様に、例えばＧｂ画素の画素データに関して、図１３（ａ）と図１３（ｂ）における画素データの値がおよそ同等であり、一方、図１３（ｅ）と図１３（ｆ）におけるＧｒ画素の画素データの値に差異があった場合を想定する。この場合、信号処理部４１は、Ｇｂ画素の画素データは、ＭＴＦが０となる領域にあると判断し、ＭＴＦが０でないＧｒ画素の画素データをＧｂ画素の画素データとして採用する。
【００４６】
なお、上記の方法では、図１３のＲ，Ｂ画素については、ＭＴＦが０となる領域を回避する処理はなされないが、一般に画像の解像度は緑（Ｇｒｅｅｎ）の色データによりおよそ決定されるので、緑画素であるＧｂ，Ｇｒ画素の画素データのみに着目すればよい。他の理由としては、図１１の場合はカラーフィルタがなく各画素を同系色として処理したが、本実施の形態ではカラーフィルタがあるため、他の同系色でない画素の画素データを置き換えてしまうと画像の品質が劣化してしまうということもある。
【００４７】
＜４．変形例１＞
上述した第１〜第３の実施の形態では、いずれも画素開口の形状が長方形であることを前提に説明をしたが、形状に関しては長方形に限定されない。例えば、図１４に示すような楕円形としてもよい。図１４に示す例では、画素開口９１Ａは、イメージセンサの行（Ｘ）方向が長軸（サイズａ）、列（Ｙ）方向が短軸（サイズｂ）の楕円形である。一方、画素開口９１Ｂは、列方向よりも行方向が長い形状をしており、長軸と短軸の長さはそれぞれ画素開口９１Ａと同等である。つまり、画素開口９１Ａと画素開口９１Ｂはそれぞれ９０°回転させた関係であり、開口の面積は等しい。
【００４８】
このように画素開口に楕円形を用いた場合、長軸方向と短軸方向で支配的な長さが異なるので、上記各実施の形態と同様な効果が得られる。また、一般に、それ以外の図形であっても、実効的に長軸（長辺）方向と短軸（短辺）方向で支配的な長さが異なれば、同様な効果を得ることが可能である。
【００４９】
＜５．変形例２＞
また、上述した第１〜第３の実施の形態では、異なる画素開口のうち一方の画素開口は、他方の画素開口を９０度回転させたことを前提に説明したが、２つの画素においてＸ方向とＹ方向で支配的な長さが異なるのであれば、回転角は９０度でなくとも構わない。
【００５０】
例えば、図１５に示すような画素開口のパターンとしてもよい。図１５の例では、２×２画素において、左上，右下にそれぞれ矩形の画素開口３１Ｂ、右上，左下に画素開口３１Ｂを反時計回りに３０度回転させた画素開口９２Ａが配置されている。
【００５１】
以上説明したように、本発明で用いられる画素開口のパターンは、異なる２種の画素開口を市松状（図７、図１４、図１５等）に配置した他、画素配列の少なくとも一の方向に異なる画素開口を一つおきに配置（例えば図１２（ｂ）等）したものであればよい。
【００５２】
なお、一般的なカメラシステムでは、レンズ系の後段に水晶ＬＰＦ（Low Pass Filter）を挿入することにより画像信号の高域成分を除去し、モアレが発生しないようにしている。しかし、上述した各実施の形態による超解像技術が適用されるカメラシステムでは、この水晶ＬＰＦは不要となり、モアレは超解像信号処理により除去される。
【００５３】
また、本明細書において、時系列的な処理を記述する処理ステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）をも含むものである。
【００５４】
以上、本発明は上述した各実施の形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨を逸脱しない限りにおいて、その他種々の変形例、応用例を取り得ることは勿論である。
【符号の説明】
【００５５】
１…カメラシステム、 ２…イメージセンサ、 ３…Ｘ−Ｙステージ、 ４Ｘ，４Ｙ…ピエゾ素子、 ５Ｘ，５Ｙ…可動機構、 ６…支持板、 ７…レンズ、 ８，８Ａ…遮光板、 １１〜１４…画像、 １１ａ〜１４ａ…画素、 １５…合成画像、 ２１…縞、 ３１Ａ，３１Ｂ…画素開口、 ４１…信号処理部、 ４２…駆動制御電圧印加部、 ４３…画像処理部、 ５１，５２…基準位置、５１ＲＵ，５１ＲＵ´…位置、 ６１…基準位置、７０…カラーフィルタ、 ８１…基準位置、８１ＲＵ，８１ＲＵ´…位置、 ９１Ａ，９１Ｂ…画素開口、 ９２Ａ…画素開口
【特許請求の範囲】
【請求項１】
光を電気信号に変換する複数の画素が配列されているイメージセンサと、
前記イメージセンサを撮像面内で移動可能な駆動部と、を備え、
前記イメージセンサは、画素配列の行方向又は列方向の少なくとも一の方向に、行方向と列方向で異なる長さに形成された２つの異なる画素開口の画素が一つおきに配置されている
撮像装置。
【請求項２】
前記イメージセンサから出力される各画素の画素データを処理する信号処理部、を更に備え、
前記駆動部が、前記イメージセンサを基準位置と該基準位置から１画素分より微小ステップで移動させたとき、前記信号処理部は、前記イメージセンサより得られる任意の画素の基準位置における画素データと移動後の画素データの加算平均値を算出し、その平均値を当該任意の画素の画素データとする
請求項１に記載の撮像装置。
【請求項３】
前記駆動部が、前記イメージセンサを基準位置と該基準位置から１画素分より微小ステップで移動させたとき、
前記信号処理部は、画素ごとに移動前後で前記イメージセンサより得られる画素データの値を差分処理し、その差分値が設定された閾値よりも小さく、かつ近傍の異なる画素開口の画素における画素データの値が、その閾値よりも大きい場合、該当画素の画素データを前記近傍の異なる画素開口の画素の画素データを利用して置き換える
請求項１に記載の撮像装置。
【請求項４】
前記信号処理部は、該当画素の画素データを前記近傍の異なる画素開口の画素の画素データで置き換える
請求項３に記載の撮像装置。
【請求項５】
前記信号処理部は、前記近傍の異なる画素開口の２以上の画素の画素データから加算平均値を求め、該当画素の画素データを該加算平均値で置き換える
請求項３に記載の撮像装置。
【請求項６】
前記イメージセンサは、前記２つの異なる画素開口の画素が市松状に配置されている
請求項１乃至５に記載の撮像装置。
【請求項７】
前記イメージセンサがベイヤー配列のカラーフィルタを備え、
前記ベイヤー配列の２つの緑画素それぞれに、前記行方向と列方向で異なる長さに形成された２つの画素開口を配置する
請求項１に記載の撮像装置。
【請求項８】
光を電気信号に変換する複数の画素が配列されているイメージセンサと、前記イメージセンサを撮像面内で移動可能な駆動部とを備え、前記イメージセンサは、画素配列の行方向又は列方向の少なくとも一の方向に、行方向と列方向で異なる長さに形成された２つの異なる画素開口の画素が一つおきに配置されている撮像装置による撮像方法であって、
前記イメージセンサを基準位置と該基準位置から１画素分より微小ステップで移動させることと、
前記イメージセンサの基準位置で各画素の画素データを取得することと、
前記イメージセンサの基準位置から１画素分より微小ステップ移動した位置で各画素の画素データを取得することと、
各画素位置それぞれに前記２つの異なる画素開口の画素より画素データを取得すること
を含む撮像方法。
【請求項１】
光を電気信号に変換する複数の画素が配列されているイメージセンサと、
前記イメージセンサを撮像面内で移動可能な駆動部と、を備え、
前記イメージセンサは、画素配列の行方向又は列方向の少なくとも一の方向に、行方向と列方向で異なる長さに形成された２つの異なる画素開口の画素が一つおきに配置されている
撮像装置。
【請求項２】
前記イメージセンサから出力される各画素の画素データを処理する信号処理部、を更に備え、
前記駆動部が、前記イメージセンサを基準位置と該基準位置から１画素分より微小ステップで移動させたとき、前記信号処理部は、前記イメージセンサより得られる任意の画素の基準位置における画素データと移動後の画素データの加算平均値を算出し、その平均値を当該任意の画素の画素データとする
請求項１に記載の撮像装置。
【請求項３】
前記駆動部が、前記イメージセンサを基準位置と該基準位置から１画素分より微小ステップで移動させたとき、
前記信号処理部は、画素ごとに移動前後で前記イメージセンサより得られる画素データの値を差分処理し、その差分値が設定された閾値よりも小さく、かつ近傍の異なる画素開口の画素における画素データの値が、その閾値よりも大きい場合、該当画素の画素データを前記近傍の異なる画素開口の画素の画素データを利用して置き換える
請求項１に記載の撮像装置。
【請求項４】
前記信号処理部は、該当画素の画素データを前記近傍の異なる画素開口の画素の画素データで置き換える
請求項３に記載の撮像装置。
【請求項５】
前記信号処理部は、前記近傍の異なる画素開口の２以上の画素の画素データから加算平均値を求め、該当画素の画素データを該加算平均値で置き換える
請求項３に記載の撮像装置。
【請求項６】
前記イメージセンサは、前記２つの異なる画素開口の画素が市松状に配置されている
請求項１乃至５に記載の撮像装置。
【請求項７】
前記イメージセンサがベイヤー配列のカラーフィルタを備え、
前記ベイヤー配列の２つの緑画素それぞれに、前記行方向と列方向で異なる長さに形成された２つの画素開口を配置する
請求項１に記載の撮像装置。
【請求項８】
光を電気信号に変換する複数の画素が配列されているイメージセンサと、前記イメージセンサを撮像面内で移動可能な駆動部とを備え、前記イメージセンサは、画素配列の行方向又は列方向の少なくとも一の方向に、行方向と列方向で異なる長さに形成された２つの異なる画素開口の画素が一つおきに配置されている撮像装置による撮像方法であって、
前記イメージセンサを基準位置と該基準位置から１画素分より微小ステップで移動させることと、
前記イメージセンサの基準位置で各画素の画素データを取得することと、
前記イメージセンサの基準位置から１画素分より微小ステップ移動した位置で各画素の画素データを取得することと、
各画素位置それぞれに前記２つの異なる画素開口の画素より画素データを取得すること
を含む撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−１３８８０６（Ｐ２０１２−１３８８０６Ａ）
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願番号】特願２０１０−２９０４５８（Ｐ２０１０−２９０４５８）
【出願日】平成２２年１２月２７日（２０１０．１２．２７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願日】平成２２年１２月２７日（２０１０．１２．２７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]