画像高精細化方法と撮像装置
【課題】魚眼レンズ等で得られる全方位画像の正像変換においても、高精細画像を容易に安価に得ることができる画像高精細化方法と撮像装置を提供する。
【解決手段】ディジタルカメラに設けられ個々の画素を構成する撮像素子が縦横に複数形成された撮像デバイス１と、撮像デバイス１に対して所定の等しい角度傾斜して各々配置された２枚の平行透明板であるガラス板２２，２３を備える。ガラス板２２，２３を各々独立に、撮像デバイス１表面に対して直交する軸を中心に回転させるアダプタ１６である駆動装置を備える。アダプタ１６を制御して所定の周期で撮像素子の画素に対して複数の異なる光線を入射させる。
【解決手段】ディジタルカメラに設けられ個々の画素を構成する撮像素子が縦横に複数形成された撮像デバイス１と、撮像デバイス１に対して所定の等しい角度傾斜して各々配置された２枚の平行透明板であるガラス板２２，２３を備える。ガラス板２２，２３を各々独立に、撮像デバイス１表面に対して直交する軸を中心に回転させるアダプタ１６である駆動装置を備える。アダプタ１６を制御して所定の周期で撮像素子の画素に対して複数の異なる光線を入射させる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ディジタルカメラ等に用いられ、固体撮像素子により得られる画像の解像度を向上させる画像高精細化方法と撮像装置に関する。
【背景技術】
【０００２】
従来、画像の高精細化技術として、ハイビジョンカメラ等の高精細化技術の研究がなされ、その技術は大きく２つに分かれる。1つの流れはデバイスにおける撮像素子密度の上昇であり、他の1つは、複数のＣＣＤによる複数の画像を元に1つの高精細な画像を作る方法(多板化技術)である。前者の技術進歩は非常に速く、現在、横4000ピクセル、縦3000ピクセル、総ピクセル数が1200万画素を有するものが出ている。
【０００３】
固体撮像素子としては、一般に、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ等の半導体の単位撮像素子を２次元状に配置した撮像デバイスがある。この撮像デバイスは、撮像素子の各画素（ピクセル）毎に入射する光の量を取得するものである。従って、固体撮像素子は、撮影する物体を銀塩写真のようにフィルムの分子構造レベルに精細に撮影することができるものではなく、被写体を微小な区画に分けて、各区画を撮像素子の画素毎に切り取って光の量として捉えるものである。いわば物体を点の集合として描写するものである。また、カラー写真を撮る場合には、撮像素子は光の三原色のＲＧＢ色のそれぞれの量を取得する必要があり、カラー画像の１ピクセルは、撮像素子の１画素とは必ずしも対応せず、１ピクセルを複数の画素で表現することが一般的である。そして、ディジタルカメラ等では、各画素で取得した光の量は、ディジタルデータとして数値化してメモリに記憶される。
【０００４】
また、撮影される画像の精細度は単位面積あたりの画素（ピクセル）数、画素の密度により決まる。単位面積あたりの画素が多ければ高精細な画像、即ち緻密な画像を得ることが出来る。今日のＣＣＤやＣＭＯＳ素子は、技術の進歩と共に、単位面積あたりの画素数は年を追って増加している。
【０００５】
その他の高精細化技術として、特許文献１に開示されているように、機械的に各撮像素子に入射する光の被写体の領域を、透明な平行平板を揺動させて、入射光の光路を各撮像素子の半ピッチ分移動させ（画素ずらし）、イメージセンサである固体撮像素子の実際の画素数に対して、より高精細化することができる撮像装置が提案されている。特許文献２には、同様の方法により、撮像した画像データの各フレームを加算して出力し、縞模様の撮影時に発生するモアレを抑制したものが開示されている。同様に、特許文献３に開示された撮像装置は、透明平行平板を複数設けて、各々揺動させて解像度を向上させるようにしたものである。
【０００６】
また、二次元的に画素ずらしを行う方法として、特許文献４に開示されているように、透明な平行平板を、その面方向であって互いに直交する２軸で支持して揺動させる方法も提案されている。その他、二次元的に画素ずらしを行う方法として、特許文献５に開示されているように、１枚の平板ガラスを、１つの支持部と２つの作動部で支持し、２つの作動部を適宜に作動させるようにして、作動部によりガラスを傾斜させ、撮影レンズと撮像素子との間に設置したガラスを任意な角度に正確に傾斜させることができるようにした撮像装置も提案されている。
【０００７】
また、特許文献６に開示されているように、光学的に透明な電極と配向膜とを設けた複数の基体の間隙内に液晶が注入された位相変調光学素子と、光学的に透明な複屈折媒体とからなる素子を複数個組み合わせた光学装置が開示されている。この光学装置は、位相変調光学素子を設けて光の位相を変化させて偏光面をずらし、更に複屈折媒体によって入射光を選択的に屈折させ、二次元の画素ずらしを行い、解像度を向上させることが可能な装置である。その他、機械的画素ずらし機構を用いないものとして、特許文献７に開示されているように、小容量の記憶装置を用いて高解像度画像を実現することが可能な装置も提案されている。
【０００８】
これらの高精細化方法は、透明な平行平板を撮像素子の受光面に対して平行に配置するとともに、撮像に際して、所定の周期で光路をその素子の１／２画素分移動させ、見かけ上２倍以上の画素数と同様の精細度を得ることができるものである。
【特許文献１】特開昭６１−７５６７９号公報
【特許文献２】特開平６―９８２６３号公報
【特許文献３】特開平６―２６１２３６号公報
【特許文献４】特開平３―２３１５８９号公報
【特許文献５】特開平７―２３６０８６号公報
【特許文献６】特開平７―３６０５４号公報
【特許文献７】特開平１０―２９４９００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記背景技術の画素ずらしによる高精細化技術は場合、全方位画像としての特徴に着目して研究しているものではなく、既存の通常画像を高精細化するものであり、魚眼レンズ等による全方位画像を対象にした高精細化の技術は存在していない。
【００１０】
一方、魚眼レンズやパノラマ撮像レンズ等の全方位画像は、通常のレンズでは撮影し得ない３６０度の画像を1枚の像面上に映すことが可能である。全方位の情報を1枚の画像に収めることが出来ることから、この全方位画像を基にして通常カメラで撮影したと同様な画像を画像処理(以下、この画像処理を「正像変換処理」と称する)を用いて得ることが出来る。この場合、広範囲の画像情報を1枚の画像に収めているため、相対的に正像変換に利用される画像の単位面積当たりのピクセル数は少ないものにならざるを得ない。そのため、正像変換された画像は精細度の低いものにならざるを得ず、高精細化の必要性が大きい。
【００１１】
さらに、上記背景技術の画素ずらしを利用した高精細化方法は、機械的にガラス板を１軸または２軸方向に正確に揺動させる制御は難しいものであり、ビデオカメラ等の動画撮影には適用し難いものである。また、上記背景技術の電気的光学的に像をシフトする方法は、光学素子の構成や制御が複雑になり、コストがかかり容易に利用できるものではない。
【００１２】
本発明は、上記従来の技術の問題点に鑑みてなされたものであり、魚眼レンズ等で得られる全方位画像の正像変換においても、高精細画像を容易に安価に得ることができる画像高精細化方法と撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
この発明は、ディジタルカメラの画像高精細化方法において、個々の画素を構成する撮像素子を２次元状に配置して形成された撮像デバイスと撮像レンズの間に、所定の等しい角度傾斜した２枚の平行透明板を設け、この平行透明板を、前記撮像レンズの光軸を軸として回転させて、前記各撮像素子に対して、同一被写体の異なる画像を入射させて、前記撮像素子により前記２枚の平行透明板の所定の角度毎に異なる画像情報を取得し、取得した各画像を合成して一つの高精細画像を得る画像高精細化方法である。
【００１４】
前記２枚の平行透明板の回転角のみを制御することで、ｎ2倍（但し、ｎは２以上の任意の整数）の高精細画像を得るものである。
【００１５】
またこの発明は、ディジタルカメラに設けられ個々の画素を構成する撮像素子を２次元状に配置し形成した撮像デバイスと、この撮像デバイスに対して所定の等しい角度傾斜して各々配置された２枚の平行透明板と、この平行透明板を各々独立に、前記撮像デバイス表面に対して直交する軸を中心に回転させる駆動装置とにより構成され、前記駆動装置を制御して前記平行透明板を介して、前記撮像デバイスに同一被写体の異なる画像を入射させ、前記各撮像素子に高解像度の画像情報を得る撮像装置である。
【００１６】
前記撮像デバイスには、広角の撮像レンズが接続され、前記撮像デバイスと前記撮像レンズとの間に、前記２枚の平行透明板が設けられたものである。特に、前記撮像レンズは、３６０度全周を撮影可能なパノラマ撮像レンズである。
【００１７】
前記駆動装置は、前記２枚の平行透明板をそれぞれ独立に回転させる機構と、この機構を回転させるモータと、このモータを制御するソフトウェア制御装置とにより構成されているものである。
【発明の効果】
【００１８】
この発明は、ディジタルカメラ等の固体撮像素子を用いた撮像装置において、厚みが一定かつ傾きが等しい平行透明板をレンズと撮像デバイスの間に挿入し、その平行透明板を撮像レンズの光軸を軸として回転させることにより、画像情報を取得し、その画像情報を利用して、簡単に画像の精細化を行うことができる。これにより、高価な装置を必要とせず極めて安価に画像の高精細化を実現することができる。
【発明を実施するための最良の形態】
【００１９】
以下、この発明の実施形態について図面に基づいて説明する。まず、本発明における原理を図１に示す。ここでは、ＣＣＤあるいはＣＭＯＳの撮像デバイス１に、画素を構成する個々の撮像素子Ａ，Ｂ，Ｃ，Ｄが集積化されている。撮像デバイス１の光入射方向前方には、図示しない魚眼レンズからの撮像光が入射する平行透明板であるガラス板２が位置している。ガラス板２は厚みが一定のものである。図１では、ガラス板２を撮像デバイス１に対して平行に置かれた状態をαとし、ガラス板２が矢印に示す方向に傾けた状態をβとする。また、ａ，ｂ，ｃ，ｄは、撮像素子Ａ，Ｂ，Ｃ，Ｄに垂直に入射する光線を示す。入射光線ａ，ｂ，ｃ，ｄは、ガラス板２を挿入する前に撮像素子Ａ，Ｂ，Ｃ，Ｄに入射している光線であり、この垂直な光線ａ，ｂ，ｃ，ｄは、ガラス板２をαの状態に挿入してもガラス板の厚みが一定である限り挿入する前と同様に撮像素子Ａ，Ｂ，Ｃ，Ｄに入射する。従って、光線ａ，ｂ，ｃ，ｄは撮像素子Ａ，Ｂ，Ｃ，Ｄで受光される。
【００２０】
次に、αの状態にあったガラス板２を揺動し、βの状態にする。この時、傾きの角度を適当に制御することにより、撮像素子Ａ，Ｂ，Ｃ，Ｄには、光線ａ，ｂ，ｃ，ｄの間の光線で、α状態では受光されていなかった図１に破線で示す光線ａ’，ｂ’，ｃ’，ｄ’を受光することが出来る（図１の屈折量は、説明の都合上その量を実際以上に大きくしている）。即ち、まず、ガラス板２のα状態で光線ａ，ｂ，ｃ，ｄの画像を取得し、ついでガラス板２の状態βで光線ａ’，ｂ’，ｃ’，ｄ’の画像を取得し、これら２つの画像を合成することにより高精細画像を得ることが出来る。
【００２１】
ここで、図１では、光線ａ，ｂ，ｃ，ｄあるいはａ’，ｂ’，ｃ’，ｄ’が撮像デバイス１に対して垂直に入射する場合を示している。しかし、実際のレンズでは図２に示すごとく、レンズにより集光された垂直光を含む光線の束(光束)が撮像デバイス１の撮像素子Ａ，Ｂ，Ｃ，Ｄに集束されて入力され、それが画像情報として取得される(図２は簡単のため光束の表示はｂ，ｂ’についてのみ表示している)。従って、実際は、図２（ａ）に示すように、光束の広がりの最大角度ψを考慮した場合の画像の変移量を考える必要がある。
【００２２】
まず、ガラス板２を挿入した時、光の収束位置が移動する。ガラス板２を撮像デバイス１に対して平行に挿入したとき、ガラス板２の厚みをｄ、ガラス板の屈折率をｎt、空気の屈折率をｎi、光束の広がりの最大角度をψとすると、光束の収束位置の光軸方向の移動量ｓは、
【数１】
で与えられる。すなわち、ガラス板２を挿入する前と同じ画像情報を得るためには、撮像デバイスの位置を挿入前に位置からｓだけずらせる必要がある。この量の例について、ｎt=１．５、ｎi=１．０、またψ=１°〜１０°の場合を図３に示す。
【００２３】
厳密に考えると移動量ｓは光束の広がりの最大角度ψに依存する。しかし、光束の広がりが１０度程度であれば、実効的には約１％程度の誤差で、束の広がり最大角度ψに拘わらず一定のところに移動すればよいといえる。
【００２４】
さらに、式（１）で与える移動量ｓだけ撮像デバイス１を移動させた状態で、図２（ｂ）に示すように、ガラス板２をθi傾けた場合の画像の撮像面方向の変移量Ｄ（図２（ｂ）において、ガラス板２を傾けないときの結像点Ｂを有する平面βに平行で、距離ｓだけ離れた平面β’上の点Ｃからの点Ｃ’への移動量）は、簡単な計算によって、
【数２】
として与えられる。画像変移量Ｄはガラス板２の挿入位置には依存せず、レンズと撮像デバイス１の間のどこにおいてもこの原理は適用できる。式（２）について、ψ=0°、10°、20°、屈折率ｎt＝１．５ (ガラス)、ｎi＝１．０(空気)とした場合の、ガラス板の傾きθiとＤ／ｄとの関係を図４に示す。
【００２５】
ψ=0°の場合の画像変移量（即ち、光束を考えない図１における垂直光線ａ，ｂ，ｃ，ｄあるいはａ’，ｂ’，ｃ’，ｄ’の画像変移量）は、例えばＣＣＤ撮像デバイスの横方向の長さを12.8mm、その方向の撮像素子数が4992とした場合、ピクセルの間隔は2.564μmとなる。ここで、各ピクセル間の丁度中央の画像情報を取得すると仮定すると、画像変移量Ｄ=1.282μmとなる。角度を１°傾けてこの変移量を得るためにはガラス板の厚みd=220.3μmが必要であり、また、角度を2°傾けて得る場合のガラス板の厚みはd=110.1μm必要となり、具体的に実現できる数値である。
【００２６】
式（２）より解るごとく、ガラス板２の傾きを一定にしても、厳密には画像変移量Ｄは、光束広がりの最大角度ψに依存して変化する。ψ=20°とすると、ガラス板の傾きθiが大きくなるとψによる違いが大きい。しかし、図４からわかるように、ψ=10°程度であれば最大５％程度の誤差で一定、即ち垂直光線と考えて実効的には問題がない。
【００２７】
垂直光ではない場合は、ガラス板挿入以前の画像位置と、ガラス板挿入による画像位置とは異なる。従って、その量により基本的には挿入によって得られる画像には、たとえガラス板２を傾けない場合でも歪が発生する。この量は図４から、垂直光から３°傾いた入力光の場合本来の位置より、ｄ=200μmの場合には、3.5μm程度画像が変移する。
【００２８】
以上により、本発明における方法は、撮像デバイス１への入射角度が垂直に近く、且つできるだけ光の最大広がり角度ψが少ない光線を用いて画像を得るカメラシステムに対して適用できる。
【００２９】
以下、この発明の一実施形態について、図５〜図１４を基にして説明する。この実施形態で実際の撮像デバイス１における撮像素子１０の配置は、図５に示すごとく２次元配置になっている。この上にガラス板を挿入し、図１あるいは、図２に示すようにα状態からβ状態に傾けた時に、Ａ’，Ｂ’，Ｃ’，Ｄ’点の画像情報がＡ，Ｂ，Ｃ，Ｄ点に変移するだけではなく、撮像デバイス平面上の全ての点の情報が式（２）で与える変移量Ｄだけ左方向に変移する。その中で、図６の□の位置ある画像情報が、対応する撮像素子１０にて画像情報として取得される。この画像の変移操作は方向（図６では左方向）、と、その大きさ（変移量Ｄ）が決まっており、ベクトルとして表現される。例えば、図７（ａ）のように画像変移ベクトルをＤ１→、Ｄ２→、Ｄ３→（以下、この明細書では各ベクトルを便宜上このように表す。）として表現したとすると、実際は、図７（ｂ）の画像変移操作を示すものであり、△、◇、□で示す各位置の画像を３枚得ることを意味する。
【００３０】
図７（ａ）で示すベクトルによる画像では実際は均一に画像を高精細化することができないことは自明である。均一な高精細な画像を得るためには、撮像素子１０の２次元配列を考慮して、必要な画像情報位置を明確にして、それに必要なベクトルを生成する必要がある。
【００３１】
実際に４倍の高精細画像を作る場合の例を以下に示す。各撮像素子１０の間隔を、横方向ｐ、縦方向ｑとする場合、必要なベクトルは、図８に示すＤ１→、Ｄ２→、Ｄ３→である。Ｄ１→は長さがｐ／２で、横方向の撮像素子の並び方に平行なベクトル、Ｄ２→は、Ｄ１→と直交し、長さｑ／２のベクトル、Ｄ３→は２つのベクトルＤ１→、Ｄ２→と４５度の角度をなし、長さ（ｐ２＋ｑ２）１／２／２なるベクトルである。従って、ベクトルＤ１→、Ｄ２→、Ｄ３→を作り出すことによって必要な画像情報を得ることができる。
【００３２】
図９にはそれぞれのベクトルにより得られる画像と、それに基づいての高精細画像取得法を示している。ベクトルＤ１→により□位置の画像情報（図９（ｂ）に示す画像情報）、Ｄ２→ベクトルで表現される画像情報の変移操作により◇の位置にある画像情報（図９（ｃ）に示す画像情報）、またベクトルＤ３→で表現される画像情報の変移操作により△の位置の画像情報（図９(ｄ)に示す画像情報）が各々得られる。図９（ｂ），（ｃ），（ｄ）の３枚の画像情報を、図９（ａ）に示す元の画像（ガラス板を撮像デバイスに平行に挿入して得られる○印位置の画像）に対して、図９（ｅ）に示す□、◇、△のそれぞれの位置に挿入する操作を行うことによって、四倍の高精細化を実現することができる。この方法は倍率を大きくした場合も全く同様である。
【００３３】
次に、９倍の高精細化の場合のベクトル構成を図１０に示す。ベクトルの組み合わせは1通りではなく、図１０では２通りを示している。図１０（ａ）では撮像素子１０が素子間距離ｐで正方形に並べられているとすると、各ベクトルのなす角度は全て45°、長さはＤ１→、Ｄ３→、Ｄ５→、Ｄ７→は、（２／３）ｐ、また、Ｄ２→、Ｄ４→、Ｄ６→、Ｄ８→は、（２１／２／３）ｐなるベクトルの組を生成すればよい。また図１０（ｂ）においては、ベクトルのなす角は全て45°、長さはＤ１→、Ｄ３→、Ｄ５→、Ｄ７→は（１／３）ｐ、また、Ｄ２→、Ｄ４→、Ｄ６→、Ｄ８→は、（２１／２／３）ｐなる組のベクトルの組を生成すればよい。これらのベクトルにより得られたそれぞれの画像情報を逆向きに移動した位置で合成することにより高精細化した画像を得る。
【００３４】
図１１には、１６倍画像を得るためのベクトルの組の1例を示す。撮像素子１０の配置を正方形とした時、ベクトルＤ１→、Ｄ３→、Ｄ５→、Ｄ７→はそれぞれ直交し、長さはｐ／４、また、ベクトルＤ２→、Ｄ４→、Ｄ６→、Ｄ８→は、それぞれ直交し、Ｄ１→、Ｄ３→、Ｄ５→、Ｄ７→に対して45°の角度をなし、長さが（２１／２／４）ｐ、ベクトルＤ９→、Ｄ１１→、Ｄ１３→、Ｄ１５→は、縦軸、横軸とそれぞれ角度θ＝ｔａｎ−１（１／２）、長さが（５１／２／４）ｐ、Ｄ１０→、Ｄ１４は、縦軸、横軸に平行で、長さがｐ／２、また、ベクトルＤ１２→は縦軸横軸と45°をなし、長さがｐ／（２１／２）である。
【００３５】
次に、ベクトルを生成する具体的方法について述べる。例えば、図８の４倍化の場合は、まず、式（２）におけるni、nt、ψ、dを決め、
【数３】
を与えるそれぞれの回転軸回りの角度である回転角度θ1、θ2、θ3を求め、ガラス板を傾ける方向を図１２に示す様に、ベクトルＤ１→、Ｄ２→、Ｄ３→のそれぞれの方向に対して直角な軸(１)，(２)，(３)（軸の位置は問わない）を回転軸として回転角度θ1、θ2、θ3を実現すればよい。
【００３６】
この高精細化アダプタを装着した一実施形態としてディジタルカメラの概略構成を図１３（ａ）に示す。魚眼レンズ１２と、撮像デバイス１を内蔵したカメラ本体１４との中間にアダプタ１６を装着し、その中にガラス板２０を設け、画像情報の変移ベクトルを実現する。
【００３７】
図１３（ｂ）に示すアダプタ１６は、1枚のガラス板２０を持ち、そのガラス板２０を必要とするベクトルの方向に対応する箇所を特定し、その箇所を１軸方向に上下することによって、ベクトルの長さに対応する角度を得る構造である。図１３（ｂ）の方式は、上記背景技術と同様にガラス板の上下運動を必要とし、上下運動を正確に制御は難しい。
【００３８】
そこで、図１３（ｃ）に示す様に、光軸に対する傾き角度δを同一、かつ固定とし、互いに独立に回転する２枚のガラス板２２，２３を用いると良い。入射光線に対する画像情報の変移量Ｄは、２枚のガラス板２２，２３が作るそれぞれのベクトルの合成として与えられる。図１３（ｃ）では、２枚のガラス板２２，２３を、撮像光学系の光軸Ｌに対する所定の傾きδは同一で固定してあるため、ベクトルの長さは一定である。従って回転によって必要ベクトルを作る必要があり、全てのベクトルを作ることは不可能になるが、上下動は不要であり、回転のみにのみによってベクトルを作り出せるため制御が極めて簡略化される。
【００３９】
図１３（ｃ）に示すアダプタの方式による画像変移ベクトルの実現法を図１４に示す。図１４（ａ）に示すように、必要とする画像変移ベクトルをＤ０→とし、アダプタ１６ａ、アダプタ１６ｂで作られるベクトルをＤ１→、Ｄ２→としたとき
【数４】
として合成が出来る。図１４（ａ）における△ＡＢＣは、
【数５】
であるため、二等辺三角形である。この２つのベクトルＤ１→、Ｄ２→でＡ点まで変移させることの出来る画像位置を図１４（ｂ）に示す。Ａ点（即ち1つの撮像素子が存在する位置)から半径２ｒ内に存在する画像位置にある画像情報をＡ点の撮像素子に変移させることができる。このことから、角度を正確に作り出すことができるのであれば、ｒを大きくとれば、全ての倍率を1つの２枚ガラスアダプタにより実現することが出来る。
なお、
【数６】
の場合には、ガラス板挿入以前にＡ点で得られていた画像をガラス板２枚挿入によって、得ることができなくなるため、必ず、式（３）は成立しなければならない。
【００４０】
次に、この発明の他の実施形態を、図１５を基にして説明する。この実施形態では、カメラ本体３１は、撮像デバイスを収容し、それにより撮影された情報を外部に取り出すためのインタフェースを実装している。カメラ本体３１には、全方位画像を撮影するための魚眼レンズや３６０度の全方位パノラマ撮像するパノラマ撮像レンズ３２と、パノラマ撮像レンズ３２を本体に装着するためのレンズマウント部３３である。このレンズマウント部３３に対してパノラマ撮像レンズ３２を装着する際に、パノラマ撮像レンズ３２の最先端部と撮像デバイスとの間で、レンズマウント部３３内に存在するスペース部分に、歯車を有し回転できる構造とした傾斜ガラス板３４を装着する。傾斜ガラス板３４は、光軸に対して所定角度傾斜し、伝達歯車３５を介して駆動歯車３６と連結して、レンズ系の光軸と同軸の軸を中心として回転可能に設けられている。駆動歯車３６は駆動モータ３７により駆動することにより、傾斜ガラス板３４を目的とする任意の角度に、すなわち、任意の方向に変移ベクトルを設定する。
【００４１】
この実施形態では、２枚の傾斜ガラス板によって、必要な変移ベクトルを実現する。そのため、上述の傾斜ガラス板３４とまったく同じ構造をもつ傾斜ガラス板３８を上述のレンズマウント部３３内の空間に傾斜ガラス板３４と近接して実装し、伝達歯車３９、駆動歯車４０、さらに駆動モータ４１を用いて任意の角度に制御する。
【００４２】
駆動モータ３７，４１は同一のパソコン等のプログラムで制御される制御装置４２と制御インタフェース４３，４４によって接続され、パソコン内に存在するソフトウェアにより、それぞれの傾斜ガラス板３４，３８の角度を制御し、必要な変移ベクトルを合成する。
【００４３】
さらに、カメラ本体３１とも制御インタフェース４５で接続され、角度設定後、撮影の指示を出すことによって、変移ベクトル生成し、撮影を連動させ動画像を作成することも可能となる。
【００４４】
なお、この発明の画像高精細化方法と撮像装置とは、上記実施形態に限定されるものではなく、撮像装置の構造は適宜選択可能なものであり、平行透明板の回転方法適宜のモータやその他の駆動素子を選択し得るものである。
【図面の簡単な説明】
【００４５】
【図１】この発明の原理図である。
【図２】入射光の光束を考慮した場合の屈折状況を説明するための概念図（ａ）と、変移量D、結像点移動量を説明する概略図（ｂ）である。
【図３】光束広がり最大角度と撮像デバイス移動量との関係を示すグラフである。
【図４】ガラスの傾きと画像変移量との関係を示すグラフである。
【図５】撮像デバイス構造を示す概念図である。
【図６】この発明において1方向の変移により得られる画像についての説明図である。
【図７】この発明を解りやすく説明するためのベクトル合成表示を示す説明図である。
【図８】この発明において画像４倍化を行う場合のベクトル組を示す図である。
【図９】この発明において４倍の画像の合成法を示す概念図である。
【図１０】この発明により９倍化画像取得のためのベクトル組の例を示す図である。
【図１１】この発明により１６倍化画像を合成するために必要なベクトルの組を示す図である。
【図１２】この発明により４倍化画像合成を行うために必要な変移量、角度の説明図である。
【図１３】この発明の一実施形態のディジタルカメラ画像の高精細化装置の構成例である。
【図１４】この発明の２枚ガラスによる変移ベクトルの合成法を示す概念図である。
【図１５】この発明の他の実施形態の、パノラマ撮像レンズを装着したディジタルカメラ画像高精細化装置の構成例を示す概念図である。
【符号の説明】
【００４６】
１ 撮像デバイス
１０ 撮像素子
１２ 魚眼レンズ
１４ カメラ本体
１６ アダプタ
２０，２２，２３ ガラス板
【技術分野】
【０００１】
この発明は、ディジタルカメラ等に用いられ、固体撮像素子により得られる画像の解像度を向上させる画像高精細化方法と撮像装置に関する。
【背景技術】
【０００２】
従来、画像の高精細化技術として、ハイビジョンカメラ等の高精細化技術の研究がなされ、その技術は大きく２つに分かれる。1つの流れはデバイスにおける撮像素子密度の上昇であり、他の1つは、複数のＣＣＤによる複数の画像を元に1つの高精細な画像を作る方法(多板化技術)である。前者の技術進歩は非常に速く、現在、横4000ピクセル、縦3000ピクセル、総ピクセル数が1200万画素を有するものが出ている。
【０００３】
固体撮像素子としては、一般に、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ等の半導体の単位撮像素子を２次元状に配置した撮像デバイスがある。この撮像デバイスは、撮像素子の各画素（ピクセル）毎に入射する光の量を取得するものである。従って、固体撮像素子は、撮影する物体を銀塩写真のようにフィルムの分子構造レベルに精細に撮影することができるものではなく、被写体を微小な区画に分けて、各区画を撮像素子の画素毎に切り取って光の量として捉えるものである。いわば物体を点の集合として描写するものである。また、カラー写真を撮る場合には、撮像素子は光の三原色のＲＧＢ色のそれぞれの量を取得する必要があり、カラー画像の１ピクセルは、撮像素子の１画素とは必ずしも対応せず、１ピクセルを複数の画素で表現することが一般的である。そして、ディジタルカメラ等では、各画素で取得した光の量は、ディジタルデータとして数値化してメモリに記憶される。
【０００４】
また、撮影される画像の精細度は単位面積あたりの画素（ピクセル）数、画素の密度により決まる。単位面積あたりの画素が多ければ高精細な画像、即ち緻密な画像を得ることが出来る。今日のＣＣＤやＣＭＯＳ素子は、技術の進歩と共に、単位面積あたりの画素数は年を追って増加している。
【０００５】
その他の高精細化技術として、特許文献１に開示されているように、機械的に各撮像素子に入射する光の被写体の領域を、透明な平行平板を揺動させて、入射光の光路を各撮像素子の半ピッチ分移動させ（画素ずらし）、イメージセンサである固体撮像素子の実際の画素数に対して、より高精細化することができる撮像装置が提案されている。特許文献２には、同様の方法により、撮像した画像データの各フレームを加算して出力し、縞模様の撮影時に発生するモアレを抑制したものが開示されている。同様に、特許文献３に開示された撮像装置は、透明平行平板を複数設けて、各々揺動させて解像度を向上させるようにしたものである。
【０００６】
また、二次元的に画素ずらしを行う方法として、特許文献４に開示されているように、透明な平行平板を、その面方向であって互いに直交する２軸で支持して揺動させる方法も提案されている。その他、二次元的に画素ずらしを行う方法として、特許文献５に開示されているように、１枚の平板ガラスを、１つの支持部と２つの作動部で支持し、２つの作動部を適宜に作動させるようにして、作動部によりガラスを傾斜させ、撮影レンズと撮像素子との間に設置したガラスを任意な角度に正確に傾斜させることができるようにした撮像装置も提案されている。
【０００７】
また、特許文献６に開示されているように、光学的に透明な電極と配向膜とを設けた複数の基体の間隙内に液晶が注入された位相変調光学素子と、光学的に透明な複屈折媒体とからなる素子を複数個組み合わせた光学装置が開示されている。この光学装置は、位相変調光学素子を設けて光の位相を変化させて偏光面をずらし、更に複屈折媒体によって入射光を選択的に屈折させ、二次元の画素ずらしを行い、解像度を向上させることが可能な装置である。その他、機械的画素ずらし機構を用いないものとして、特許文献７に開示されているように、小容量の記憶装置を用いて高解像度画像を実現することが可能な装置も提案されている。
【０００８】
これらの高精細化方法は、透明な平行平板を撮像素子の受光面に対して平行に配置するとともに、撮像に際して、所定の周期で光路をその素子の１／２画素分移動させ、見かけ上２倍以上の画素数と同様の精細度を得ることができるものである。
【特許文献１】特開昭６１−７５６７９号公報
【特許文献２】特開平６―９８２６３号公報
【特許文献３】特開平６―２６１２３６号公報
【特許文献４】特開平３―２３１５８９号公報
【特許文献５】特開平７―２３６０８６号公報
【特許文献６】特開平７―３６０５４号公報
【特許文献７】特開平１０―２９４９００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記背景技術の画素ずらしによる高精細化技術は場合、全方位画像としての特徴に着目して研究しているものではなく、既存の通常画像を高精細化するものであり、魚眼レンズ等による全方位画像を対象にした高精細化の技術は存在していない。
【００１０】
一方、魚眼レンズやパノラマ撮像レンズ等の全方位画像は、通常のレンズでは撮影し得ない３６０度の画像を1枚の像面上に映すことが可能である。全方位の情報を1枚の画像に収めることが出来ることから、この全方位画像を基にして通常カメラで撮影したと同様な画像を画像処理(以下、この画像処理を「正像変換処理」と称する)を用いて得ることが出来る。この場合、広範囲の画像情報を1枚の画像に収めているため、相対的に正像変換に利用される画像の単位面積当たりのピクセル数は少ないものにならざるを得ない。そのため、正像変換された画像は精細度の低いものにならざるを得ず、高精細化の必要性が大きい。
【００１１】
さらに、上記背景技術の画素ずらしを利用した高精細化方法は、機械的にガラス板を１軸または２軸方向に正確に揺動させる制御は難しいものであり、ビデオカメラ等の動画撮影には適用し難いものである。また、上記背景技術の電気的光学的に像をシフトする方法は、光学素子の構成や制御が複雑になり、コストがかかり容易に利用できるものではない。
【００１２】
本発明は、上記従来の技術の問題点に鑑みてなされたものであり、魚眼レンズ等で得られる全方位画像の正像変換においても、高精細画像を容易に安価に得ることができる画像高精細化方法と撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
この発明は、ディジタルカメラの画像高精細化方法において、個々の画素を構成する撮像素子を２次元状に配置して形成された撮像デバイスと撮像レンズの間に、所定の等しい角度傾斜した２枚の平行透明板を設け、この平行透明板を、前記撮像レンズの光軸を軸として回転させて、前記各撮像素子に対して、同一被写体の異なる画像を入射させて、前記撮像素子により前記２枚の平行透明板の所定の角度毎に異なる画像情報を取得し、取得した各画像を合成して一つの高精細画像を得る画像高精細化方法である。
【００１４】
前記２枚の平行透明板の回転角のみを制御することで、ｎ2倍（但し、ｎは２以上の任意の整数）の高精細画像を得るものである。
【００１５】
またこの発明は、ディジタルカメラに設けられ個々の画素を構成する撮像素子を２次元状に配置し形成した撮像デバイスと、この撮像デバイスに対して所定の等しい角度傾斜して各々配置された２枚の平行透明板と、この平行透明板を各々独立に、前記撮像デバイス表面に対して直交する軸を中心に回転させる駆動装置とにより構成され、前記駆動装置を制御して前記平行透明板を介して、前記撮像デバイスに同一被写体の異なる画像を入射させ、前記各撮像素子に高解像度の画像情報を得る撮像装置である。
【００１６】
前記撮像デバイスには、広角の撮像レンズが接続され、前記撮像デバイスと前記撮像レンズとの間に、前記２枚の平行透明板が設けられたものである。特に、前記撮像レンズは、３６０度全周を撮影可能なパノラマ撮像レンズである。
【００１７】
前記駆動装置は、前記２枚の平行透明板をそれぞれ独立に回転させる機構と、この機構を回転させるモータと、このモータを制御するソフトウェア制御装置とにより構成されているものである。
【発明の効果】
【００１８】
この発明は、ディジタルカメラ等の固体撮像素子を用いた撮像装置において、厚みが一定かつ傾きが等しい平行透明板をレンズと撮像デバイスの間に挿入し、その平行透明板を撮像レンズの光軸を軸として回転させることにより、画像情報を取得し、その画像情報を利用して、簡単に画像の精細化を行うことができる。これにより、高価な装置を必要とせず極めて安価に画像の高精細化を実現することができる。
【発明を実施するための最良の形態】
【００１９】
以下、この発明の実施形態について図面に基づいて説明する。まず、本発明における原理を図１に示す。ここでは、ＣＣＤあるいはＣＭＯＳの撮像デバイス１に、画素を構成する個々の撮像素子Ａ，Ｂ，Ｃ，Ｄが集積化されている。撮像デバイス１の光入射方向前方には、図示しない魚眼レンズからの撮像光が入射する平行透明板であるガラス板２が位置している。ガラス板２は厚みが一定のものである。図１では、ガラス板２を撮像デバイス１に対して平行に置かれた状態をαとし、ガラス板２が矢印に示す方向に傾けた状態をβとする。また、ａ，ｂ，ｃ，ｄは、撮像素子Ａ，Ｂ，Ｃ，Ｄに垂直に入射する光線を示す。入射光線ａ，ｂ，ｃ，ｄは、ガラス板２を挿入する前に撮像素子Ａ，Ｂ，Ｃ，Ｄに入射している光線であり、この垂直な光線ａ，ｂ，ｃ，ｄは、ガラス板２をαの状態に挿入してもガラス板の厚みが一定である限り挿入する前と同様に撮像素子Ａ，Ｂ，Ｃ，Ｄに入射する。従って、光線ａ，ｂ，ｃ，ｄは撮像素子Ａ，Ｂ，Ｃ，Ｄで受光される。
【００２０】
次に、αの状態にあったガラス板２を揺動し、βの状態にする。この時、傾きの角度を適当に制御することにより、撮像素子Ａ，Ｂ，Ｃ，Ｄには、光線ａ，ｂ，ｃ，ｄの間の光線で、α状態では受光されていなかった図１に破線で示す光線ａ’，ｂ’，ｃ’，ｄ’を受光することが出来る（図１の屈折量は、説明の都合上その量を実際以上に大きくしている）。即ち、まず、ガラス板２のα状態で光線ａ，ｂ，ｃ，ｄの画像を取得し、ついでガラス板２の状態βで光線ａ’，ｂ’，ｃ’，ｄ’の画像を取得し、これら２つの画像を合成することにより高精細画像を得ることが出来る。
【００２１】
ここで、図１では、光線ａ，ｂ，ｃ，ｄあるいはａ’，ｂ’，ｃ’，ｄ’が撮像デバイス１に対して垂直に入射する場合を示している。しかし、実際のレンズでは図２に示すごとく、レンズにより集光された垂直光を含む光線の束(光束)が撮像デバイス１の撮像素子Ａ，Ｂ，Ｃ，Ｄに集束されて入力され、それが画像情報として取得される(図２は簡単のため光束の表示はｂ，ｂ’についてのみ表示している)。従って、実際は、図２（ａ）に示すように、光束の広がりの最大角度ψを考慮した場合の画像の変移量を考える必要がある。
【００２２】
まず、ガラス板２を挿入した時、光の収束位置が移動する。ガラス板２を撮像デバイス１に対して平行に挿入したとき、ガラス板２の厚みをｄ、ガラス板の屈折率をｎt、空気の屈折率をｎi、光束の広がりの最大角度をψとすると、光束の収束位置の光軸方向の移動量ｓは、
【数１】
で与えられる。すなわち、ガラス板２を挿入する前と同じ画像情報を得るためには、撮像デバイスの位置を挿入前に位置からｓだけずらせる必要がある。この量の例について、ｎt=１．５、ｎi=１．０、またψ=１°〜１０°の場合を図３に示す。
【００２３】
厳密に考えると移動量ｓは光束の広がりの最大角度ψに依存する。しかし、光束の広がりが１０度程度であれば、実効的には約１％程度の誤差で、束の広がり最大角度ψに拘わらず一定のところに移動すればよいといえる。
【００２４】
さらに、式（１）で与える移動量ｓだけ撮像デバイス１を移動させた状態で、図２（ｂ）に示すように、ガラス板２をθi傾けた場合の画像の撮像面方向の変移量Ｄ（図２（ｂ）において、ガラス板２を傾けないときの結像点Ｂを有する平面βに平行で、距離ｓだけ離れた平面β’上の点Ｃからの点Ｃ’への移動量）は、簡単な計算によって、
【数２】
として与えられる。画像変移量Ｄはガラス板２の挿入位置には依存せず、レンズと撮像デバイス１の間のどこにおいてもこの原理は適用できる。式（２）について、ψ=0°、10°、20°、屈折率ｎt＝１．５ (ガラス)、ｎi＝１．０(空気)とした場合の、ガラス板の傾きθiとＤ／ｄとの関係を図４に示す。
【００２５】
ψ=0°の場合の画像変移量（即ち、光束を考えない図１における垂直光線ａ，ｂ，ｃ，ｄあるいはａ’，ｂ’，ｃ’，ｄ’の画像変移量）は、例えばＣＣＤ撮像デバイスの横方向の長さを12.8mm、その方向の撮像素子数が4992とした場合、ピクセルの間隔は2.564μmとなる。ここで、各ピクセル間の丁度中央の画像情報を取得すると仮定すると、画像変移量Ｄ=1.282μmとなる。角度を１°傾けてこの変移量を得るためにはガラス板の厚みd=220.3μmが必要であり、また、角度を2°傾けて得る場合のガラス板の厚みはd=110.1μm必要となり、具体的に実現できる数値である。
【００２６】
式（２）より解るごとく、ガラス板２の傾きを一定にしても、厳密には画像変移量Ｄは、光束広がりの最大角度ψに依存して変化する。ψ=20°とすると、ガラス板の傾きθiが大きくなるとψによる違いが大きい。しかし、図４からわかるように、ψ=10°程度であれば最大５％程度の誤差で一定、即ち垂直光線と考えて実効的には問題がない。
【００２７】
垂直光ではない場合は、ガラス板挿入以前の画像位置と、ガラス板挿入による画像位置とは異なる。従って、その量により基本的には挿入によって得られる画像には、たとえガラス板２を傾けない場合でも歪が発生する。この量は図４から、垂直光から３°傾いた入力光の場合本来の位置より、ｄ=200μmの場合には、3.5μm程度画像が変移する。
【００２８】
以上により、本発明における方法は、撮像デバイス１への入射角度が垂直に近く、且つできるだけ光の最大広がり角度ψが少ない光線を用いて画像を得るカメラシステムに対して適用できる。
【００２９】
以下、この発明の一実施形態について、図５〜図１４を基にして説明する。この実施形態で実際の撮像デバイス１における撮像素子１０の配置は、図５に示すごとく２次元配置になっている。この上にガラス板を挿入し、図１あるいは、図２に示すようにα状態からβ状態に傾けた時に、Ａ’，Ｂ’，Ｃ’，Ｄ’点の画像情報がＡ，Ｂ，Ｃ，Ｄ点に変移するだけではなく、撮像デバイス平面上の全ての点の情報が式（２）で与える変移量Ｄだけ左方向に変移する。その中で、図６の□の位置ある画像情報が、対応する撮像素子１０にて画像情報として取得される。この画像の変移操作は方向（図６では左方向）、と、その大きさ（変移量Ｄ）が決まっており、ベクトルとして表現される。例えば、図７（ａ）のように画像変移ベクトルをＤ１→、Ｄ２→、Ｄ３→（以下、この明細書では各ベクトルを便宜上このように表す。）として表現したとすると、実際は、図７（ｂ）の画像変移操作を示すものであり、△、◇、□で示す各位置の画像を３枚得ることを意味する。
【００３０】
図７（ａ）で示すベクトルによる画像では実際は均一に画像を高精細化することができないことは自明である。均一な高精細な画像を得るためには、撮像素子１０の２次元配列を考慮して、必要な画像情報位置を明確にして、それに必要なベクトルを生成する必要がある。
【００３１】
実際に４倍の高精細画像を作る場合の例を以下に示す。各撮像素子１０の間隔を、横方向ｐ、縦方向ｑとする場合、必要なベクトルは、図８に示すＤ１→、Ｄ２→、Ｄ３→である。Ｄ１→は長さがｐ／２で、横方向の撮像素子の並び方に平行なベクトル、Ｄ２→は、Ｄ１→と直交し、長さｑ／２のベクトル、Ｄ３→は２つのベクトルＤ１→、Ｄ２→と４５度の角度をなし、長さ（ｐ２＋ｑ２）１／２／２なるベクトルである。従って、ベクトルＤ１→、Ｄ２→、Ｄ３→を作り出すことによって必要な画像情報を得ることができる。
【００３２】
図９にはそれぞれのベクトルにより得られる画像と、それに基づいての高精細画像取得法を示している。ベクトルＤ１→により□位置の画像情報（図９（ｂ）に示す画像情報）、Ｄ２→ベクトルで表現される画像情報の変移操作により◇の位置にある画像情報（図９（ｃ）に示す画像情報）、またベクトルＤ３→で表現される画像情報の変移操作により△の位置の画像情報（図９(ｄ)に示す画像情報）が各々得られる。図９（ｂ），（ｃ），（ｄ）の３枚の画像情報を、図９（ａ）に示す元の画像（ガラス板を撮像デバイスに平行に挿入して得られる○印位置の画像）に対して、図９（ｅ）に示す□、◇、△のそれぞれの位置に挿入する操作を行うことによって、四倍の高精細化を実現することができる。この方法は倍率を大きくした場合も全く同様である。
【００３３】
次に、９倍の高精細化の場合のベクトル構成を図１０に示す。ベクトルの組み合わせは1通りではなく、図１０では２通りを示している。図１０（ａ）では撮像素子１０が素子間距離ｐで正方形に並べられているとすると、各ベクトルのなす角度は全て45°、長さはＤ１→、Ｄ３→、Ｄ５→、Ｄ７→は、（２／３）ｐ、また、Ｄ２→、Ｄ４→、Ｄ６→、Ｄ８→は、（２１／２／３）ｐなるベクトルの組を生成すればよい。また図１０（ｂ）においては、ベクトルのなす角は全て45°、長さはＤ１→、Ｄ３→、Ｄ５→、Ｄ７→は（１／３）ｐ、また、Ｄ２→、Ｄ４→、Ｄ６→、Ｄ８→は、（２１／２／３）ｐなる組のベクトルの組を生成すればよい。これらのベクトルにより得られたそれぞれの画像情報を逆向きに移動した位置で合成することにより高精細化した画像を得る。
【００３４】
図１１には、１６倍画像を得るためのベクトルの組の1例を示す。撮像素子１０の配置を正方形とした時、ベクトルＤ１→、Ｄ３→、Ｄ５→、Ｄ７→はそれぞれ直交し、長さはｐ／４、また、ベクトルＤ２→、Ｄ４→、Ｄ６→、Ｄ８→は、それぞれ直交し、Ｄ１→、Ｄ３→、Ｄ５→、Ｄ７→に対して45°の角度をなし、長さが（２１／２／４）ｐ、ベクトルＤ９→、Ｄ１１→、Ｄ１３→、Ｄ１５→は、縦軸、横軸とそれぞれ角度θ＝ｔａｎ−１（１／２）、長さが（５１／２／４）ｐ、Ｄ１０→、Ｄ１４は、縦軸、横軸に平行で、長さがｐ／２、また、ベクトルＤ１２→は縦軸横軸と45°をなし、長さがｐ／（２１／２）である。
【００３５】
次に、ベクトルを生成する具体的方法について述べる。例えば、図８の４倍化の場合は、まず、式（２）におけるni、nt、ψ、dを決め、
【数３】
を与えるそれぞれの回転軸回りの角度である回転角度θ1、θ2、θ3を求め、ガラス板を傾ける方向を図１２に示す様に、ベクトルＤ１→、Ｄ２→、Ｄ３→のそれぞれの方向に対して直角な軸(１)，(２)，(３)（軸の位置は問わない）を回転軸として回転角度θ1、θ2、θ3を実現すればよい。
【００３６】
この高精細化アダプタを装着した一実施形態としてディジタルカメラの概略構成を図１３（ａ）に示す。魚眼レンズ１２と、撮像デバイス１を内蔵したカメラ本体１４との中間にアダプタ１６を装着し、その中にガラス板２０を設け、画像情報の変移ベクトルを実現する。
【００３７】
図１３（ｂ）に示すアダプタ１６は、1枚のガラス板２０を持ち、そのガラス板２０を必要とするベクトルの方向に対応する箇所を特定し、その箇所を１軸方向に上下することによって、ベクトルの長さに対応する角度を得る構造である。図１３（ｂ）の方式は、上記背景技術と同様にガラス板の上下運動を必要とし、上下運動を正確に制御は難しい。
【００３８】
そこで、図１３（ｃ）に示す様に、光軸に対する傾き角度δを同一、かつ固定とし、互いに独立に回転する２枚のガラス板２２，２３を用いると良い。入射光線に対する画像情報の変移量Ｄは、２枚のガラス板２２，２３が作るそれぞれのベクトルの合成として与えられる。図１３（ｃ）では、２枚のガラス板２２，２３を、撮像光学系の光軸Ｌに対する所定の傾きδは同一で固定してあるため、ベクトルの長さは一定である。従って回転によって必要ベクトルを作る必要があり、全てのベクトルを作ることは不可能になるが、上下動は不要であり、回転のみにのみによってベクトルを作り出せるため制御が極めて簡略化される。
【００３９】
図１３（ｃ）に示すアダプタの方式による画像変移ベクトルの実現法を図１４に示す。図１４（ａ）に示すように、必要とする画像変移ベクトルをＤ０→とし、アダプタ１６ａ、アダプタ１６ｂで作られるベクトルをＤ１→、Ｄ２→としたとき
【数４】
として合成が出来る。図１４（ａ）における△ＡＢＣは、
【数５】
であるため、二等辺三角形である。この２つのベクトルＤ１→、Ｄ２→でＡ点まで変移させることの出来る画像位置を図１４（ｂ）に示す。Ａ点（即ち1つの撮像素子が存在する位置)から半径２ｒ内に存在する画像位置にある画像情報をＡ点の撮像素子に変移させることができる。このことから、角度を正確に作り出すことができるのであれば、ｒを大きくとれば、全ての倍率を1つの２枚ガラスアダプタにより実現することが出来る。
なお、
【数６】
の場合には、ガラス板挿入以前にＡ点で得られていた画像をガラス板２枚挿入によって、得ることができなくなるため、必ず、式（３）は成立しなければならない。
【００４０】
次に、この発明の他の実施形態を、図１５を基にして説明する。この実施形態では、カメラ本体３１は、撮像デバイスを収容し、それにより撮影された情報を外部に取り出すためのインタフェースを実装している。カメラ本体３１には、全方位画像を撮影するための魚眼レンズや３６０度の全方位パノラマ撮像するパノラマ撮像レンズ３２と、パノラマ撮像レンズ３２を本体に装着するためのレンズマウント部３３である。このレンズマウント部３３に対してパノラマ撮像レンズ３２を装着する際に、パノラマ撮像レンズ３２の最先端部と撮像デバイスとの間で、レンズマウント部３３内に存在するスペース部分に、歯車を有し回転できる構造とした傾斜ガラス板３４を装着する。傾斜ガラス板３４は、光軸に対して所定角度傾斜し、伝達歯車３５を介して駆動歯車３６と連結して、レンズ系の光軸と同軸の軸を中心として回転可能に設けられている。駆動歯車３６は駆動モータ３７により駆動することにより、傾斜ガラス板３４を目的とする任意の角度に、すなわち、任意の方向に変移ベクトルを設定する。
【００４１】
この実施形態では、２枚の傾斜ガラス板によって、必要な変移ベクトルを実現する。そのため、上述の傾斜ガラス板３４とまったく同じ構造をもつ傾斜ガラス板３８を上述のレンズマウント部３３内の空間に傾斜ガラス板３４と近接して実装し、伝達歯車３９、駆動歯車４０、さらに駆動モータ４１を用いて任意の角度に制御する。
【００４２】
駆動モータ３７，４１は同一のパソコン等のプログラムで制御される制御装置４２と制御インタフェース４３，４４によって接続され、パソコン内に存在するソフトウェアにより、それぞれの傾斜ガラス板３４，３８の角度を制御し、必要な変移ベクトルを合成する。
【００４３】
さらに、カメラ本体３１とも制御インタフェース４５で接続され、角度設定後、撮影の指示を出すことによって、変移ベクトル生成し、撮影を連動させ動画像を作成することも可能となる。
【００４４】
なお、この発明の画像高精細化方法と撮像装置とは、上記実施形態に限定されるものではなく、撮像装置の構造は適宜選択可能なものであり、平行透明板の回転方法適宜のモータやその他の駆動素子を選択し得るものである。
【図面の簡単な説明】
【００４５】
【図１】この発明の原理図である。
【図２】入射光の光束を考慮した場合の屈折状況を説明するための概念図（ａ）と、変移量D、結像点移動量を説明する概略図（ｂ）である。
【図３】光束広がり最大角度と撮像デバイス移動量との関係を示すグラフである。
【図４】ガラスの傾きと画像変移量との関係を示すグラフである。
【図５】撮像デバイス構造を示す概念図である。
【図６】この発明において1方向の変移により得られる画像についての説明図である。
【図７】この発明を解りやすく説明するためのベクトル合成表示を示す説明図である。
【図８】この発明において画像４倍化を行う場合のベクトル組を示す図である。
【図９】この発明において４倍の画像の合成法を示す概念図である。
【図１０】この発明により９倍化画像取得のためのベクトル組の例を示す図である。
【図１１】この発明により１６倍化画像を合成するために必要なベクトルの組を示す図である。
【図１２】この発明により４倍化画像合成を行うために必要な変移量、角度の説明図である。
【図１３】この発明の一実施形態のディジタルカメラ画像の高精細化装置の構成例である。
【図１４】この発明の２枚ガラスによる変移ベクトルの合成法を示す概念図である。
【図１５】この発明の他の実施形態の、パノラマ撮像レンズを装着したディジタルカメラ画像高精細化装置の構成例を示す概念図である。
【符号の説明】
【００４６】
１ 撮像デバイス
１０ 撮像素子
１２ 魚眼レンズ
１４ カメラ本体
１６ アダプタ
２０，２２，２３ ガラス板
【特許請求の範囲】
【請求項１】
ディジタルカメラの画像高精細化方法において、個々の画素を構成する撮像素子を２次元状に配置して形成された撮像デバイスと撮像レンズの間に、所定の等しい角度傾斜した２枚の平行透明板を設け、この平行透明板を、前記撮像レンズの光軸を軸として回転させて、前記各撮像素子に対して、同一被写体の異なる画像を入射させて、前記撮像素子により前記２枚の平行透明板の所定の角度毎に異なる画像情報を取得し、取得した各画像を合成して一つの高精細画像を得ることを特徴とする画像高精細化方法。
【請求項２】
前記２枚の平行透明板の回転角のみを制御することで、ｎ2倍（但し、ｎは２以上の任意の整数）の高精細画像を得ることを特徴とする請求項１記載の画像高精細化方法。
【請求項３】
ディジタルカメラに設けられ個々の画素を構成する撮像素子を２次元状に配置し形成した撮像デバイスと、この撮像デバイスに対して所定の等しい角度傾斜して各々配置された２枚の平行透明板と、この平行透明板を各々独立に、前記撮像デバイス表面に対して直交する軸を中心に回転させる駆動装置とにより構成され、前記駆動装置を制御して前記平行透明板を介して、前記撮像デバイスに同一被写体の異なる画像を入射させ、前記各撮像素子に高解像度の画像情報を得ることを特徴とする撮像装置。
【請求項４】
前記撮像デバイスには、広角の撮像レンズが接続され、前記撮像デバイスと前記撮像レンズとの間に、前記２枚の平行透明板が設けられたことを特徴とする請求項３記載の撮像装置。
【請求項５】
前記撮像レンズは、３６０度全周を撮影可能なパノラマ撮像レンズであることを特徴とする請求項４記載の撮像装置。
【請求項６】
前記駆動装置は、前記２枚の平行透明板をそれぞれ独立に回転させる機構と、この機構を回転させるモータと、このモータを制御するソフトウェア制御装置とにより構成されていることを特徴とする請求項３記載の撮像装置。
【請求項１】
ディジタルカメラの画像高精細化方法において、個々の画素を構成する撮像素子を２次元状に配置して形成された撮像デバイスと撮像レンズの間に、所定の等しい角度傾斜した２枚の平行透明板を設け、この平行透明板を、前記撮像レンズの光軸を軸として回転させて、前記各撮像素子に対して、同一被写体の異なる画像を入射させて、前記撮像素子により前記２枚の平行透明板の所定の角度毎に異なる画像情報を取得し、取得した各画像を合成して一つの高精細画像を得ることを特徴とする画像高精細化方法。
【請求項２】
前記２枚の平行透明板の回転角のみを制御することで、ｎ2倍（但し、ｎは２以上の任意の整数）の高精細画像を得ることを特徴とする請求項１記載の画像高精細化方法。
【請求項３】
ディジタルカメラに設けられ個々の画素を構成する撮像素子を２次元状に配置し形成した撮像デバイスと、この撮像デバイスに対して所定の等しい角度傾斜して各々配置された２枚の平行透明板と、この平行透明板を各々独立に、前記撮像デバイス表面に対して直交する軸を中心に回転させる駆動装置とにより構成され、前記駆動装置を制御して前記平行透明板を介して、前記撮像デバイスに同一被写体の異なる画像を入射させ、前記各撮像素子に高解像度の画像情報を得ることを特徴とする撮像装置。
【請求項４】
前記撮像デバイスには、広角の撮像レンズが接続され、前記撮像デバイスと前記撮像レンズとの間に、前記２枚の平行透明板が設けられたことを特徴とする請求項３記載の撮像装置。
【請求項５】
前記撮像レンズは、３６０度全周を撮影可能なパノラマ撮像レンズであることを特徴とする請求項４記載の撮像装置。
【請求項６】
前記駆動装置は、前記２枚の平行透明板をそれぞれ独立に回転させる機構と、この機構を回転させるモータと、このモータを制御するソフトウェア制御装置とにより構成されていることを特徴とする請求項３記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００９−２９０２６６（Ｐ２００９−２９０２６６Ａ）
【公開日】平成２１年１２月１０日（２００９．１２．１０）
【国際特許分類】
【出願番号】特願２００８−１３７６８３（Ｐ２００８−１３７６８３）
【出願日】平成２０年５月２７日（２００８．５．２７）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２０年２月１４日 富山県立大学主催の「卒業論文発表会」に発表
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２０年３月８日 電気関係学会北陸支部学生会発行の「平成１９年度北陸地区 学生による研究発表会 講演論文集」に発表
【出願人】（０００２３６９２０）富山県 (197)
【出願人】（５９１０８２９１５）株式会社立山システム研究所 (8)
【Ｆターム（参考）】
【公開日】平成２１年１２月１０日（２００９．１２．１０）
【国際特許分類】
【出願日】平成２０年５月２７日（２００８．５．２７）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２０年２月１４日 富山県立大学主催の「卒業論文発表会」に発表
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２０年３月８日 電気関係学会北陸支部学生会発行の「平成１９年度北陸地区 学生による研究発表会 講演論文集」に発表
【出願人】（０００２３６９２０）富山県 (197)
【出願人】（５９１０８２９１５）株式会社立山システム研究所 (8)
【Ｆターム（参考）】
[ Back to top ]