撮像システム並びにこれに用いる画像処理装置、画像処理方法および画像処理プログラム
【課題】撮像位置の異なる複数の低解像度画像から高解像度画像を生成する画像処理装置において、超解像処理における無駄な位置合わせ処理を抑制することにより計算コストを低減する。
【解決手段】画像処理装置２は、低解像度画像を撮像位置に基づきシフトキャンセルしてシフトキャンセル画像を生成するシフトキャンセル部１０２と、シフトキャンセル画像と基準画像との比較により、低解像度画像における動きを検出する動き検出部１０３と、シフトキャンセル画像を基準画像と位置合わせして位置合わせ画像を生成する位置合わせ処理部１０６と、再構成処理により高解像度画像を生成する再構成処理部１０７とを備え、位置合わせ処理部は、所定の処理対象領域について、動きを検出した場合には、第１の範囲の動き検出に基づき位置合わせを実行する一方、動きを検出しなかった場合には、より小さい第２の範囲の動き検出に基づき位置合わせを実行する構成とする。
【解決手段】画像処理装置２は、低解像度画像を撮像位置に基づきシフトキャンセルしてシフトキャンセル画像を生成するシフトキャンセル部１０２と、シフトキャンセル画像と基準画像との比較により、低解像度画像における動きを検出する動き検出部１０３と、シフトキャンセル画像を基準画像と位置合わせして位置合わせ画像を生成する位置合わせ処理部１０６と、再構成処理により高解像度画像を生成する再構成処理部１０７とを備え、位置合わせ処理部は、所定の処理対象領域について、動きを検出した場合には、第１の範囲の動き検出に基づき位置合わせを実行する一方、動きを検出しなかった場合には、より小さい第２の範囲の動き検出に基づき位置合わせを実行する構成とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子の受光面上で結像する光像と撮像素子とを相対的に微小変位させながら撮像を行う、いわゆる画素ずらしによって取得した複数の原画像から超解像処理により高解像度画像を生成するのに適した撮像システム並びにこれに用いる画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
撮像装置には画素がマトリクス状に配置された２次元イメージセンサが採用されており、この２次元イメージセンサでは、解像度が画素の大きさや画素数に依存する。一方、撮像素子の受光面上で結像する光像と撮像素子とを相対的に微小変位させながら撮像を行う、いわゆる画素ずらしによって取得した複数の原画像から、撮像素子の本来の解像度より高い解像度の画像を生成する手法が従来から知られている。
【０００３】
このような画素ずらしによる高解像度化の手法においては、光像と撮像素子とを相対的に微小変位させるシフト機構（以下、「光学的シフト機構」という。なお、「光学的シフト」を「画素ずらし」と同義に用いる場合がある。）が必要であり、例えば、ピエゾ素子などからなるアクチュエータで撮像素子を微小変位させる技術が知られている（特許文献１参照）。
【０００４】
また、撮像光学系と撮像素子との間に撮像光学系の光軸に対して傾斜するように平行平板を配置し、この平行平板を光軸周りに回転させて、撮像素子の受光面上の光像の位置をずらす技術が存在する（特許文献２参照）。
【０００５】
また、画素ずらしによって取得した複数の原画像から高解像度画像を生成する画像処理法として、低解像度画像の画素値を高解像度画像の画素にマッピングするイメージシフト処理や、ＭＬ(Maximum-likelihood)法、ＭＡＰ(Maximum A Posterior)法や、ＰＯＣＳ(Projection On to Convex Sets)法などを用いた超解像処理の技術が知られている（特許文献１参照）。超解像処理の技術では、処理に用いる低解像度の原画像の枚数を増やし、撮像位置が微小に異なる原画像を多数用いることで、得られる高解像度画像の品質（実質的な解像度）を向上させることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−３０６４９２号公報
【特許文献２】特開２０００−１２５１７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、上記特許文献１では、液晶表示パネルの画面等の静止した状態にあるものを被写体としているが、撮像装置を監視カメラ等に適用する場合には、被写体（例えば、人物や自動車等）が移動する場合がある。一般的な超解像処理では、手ぶれ等により撮像位置が不規則に変化することを利用し、撮像によって得られた複数のフレーム画像から基準画像と他のフレーム画像とを高解像度空間で高精度にマッチングさせる、いわゆる「位置合わせ処理」が行なわれている。
【０００８】
しかしながら、この位置合わせ処理は、上述のような光学的シフトによって生じる既知の被写体の移動も、被写体自体が移動して生じる本来的に予測できない被写体の移動も区別されることなく実施されるため、膨大な繰り返し演算によって多くの無駄な演算処理が発生し、計算コストが嵩むという問題があった。
【０００９】
特に、上記位置合わせ処理において、光学的シフトによって生じる被写体の移動を考慮する場合には、回転時の振動やセンサ出力のバラツキ等に起因する光学的シフトの誤差を考慮する必要がある。
【００１０】
本発明は、このような従来技術の課題を鑑みて案出されたものであり、光学的シフトの誤差が生じ得る場合でも、超解像処理における位置合わせ処理を効率的に実施することにより、計算コストを低減することを可能とした撮像システム並びにこれに用いる画像処理装置、画像処理方法および画像処理プログラムを提供することを主目的とする。
【課題を解決するための手段】
【００１１】
本発明の撮像装置は、撮像素子と当該撮像素子の受光面上で結像する光像との相対的な円運動を行わせることにより撮像された複数の低解像度画像を取得し、これら撮像位置の異なる複数の低解像度画像から高解像度画像を生成する画像処理装置であって、前記低解像度画像の撮像位置の情報に基づき、当該低解像度画像の位置を基準となる基準低解像度画像の位置に一致させたシフトキャンセル画像を生成するシフトキャンセル部と、前記シフトキャンセル画像と前記基準低解像度画像との比較により、前記低解像度画像における動きを検出する動き検出部と、前記動き検出の結果に基づき、前記シフトキャンセル画像を前記基準低解像度画像と位置合わせすることにより、位置合わせ画像を生成する位置合わせ処理部と、前記位置合わせ画像を用いて再構成処理を実施することによって高解像度画像を生成する再構成処理部とを備え、前記位置合わせ処理部は、前記シフトキャンセル画像の所定の処理対象領域について、前記動き検出部で動きを検出した場合には、第１の範囲の動き検出に基づき前記位置合わせを実行し、一方、前記動き検出部で動きを検出しなかった場合には、前記第１の範囲よりも小さい第２の範囲の動き検出に基づき前記位置合わせを実行する構成とする。
【発明の効果】
【００１２】
このように本発明によれば、撮像位置の情報に基づき低解像度空間においてシフトキャンセル画像を生成すると共に、動き検出部で基準となる低解像度画像とシフトキャンセル画像の間で動きを検出しなかった場合には、動きを検出した場合よりも狭い探索範囲での動き検出に基づき位置合わせを実行する構成としたため、光学的シフトによる光像のシフト位置に誤差が生じ得る場合でも、超解像処理における位置合わせ処理を効率的に実施することにより、計算コストを低減することが可能となるという優れた効果を奏する。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１実施形態に係るネットワークカメラシステムの全体構成図
【図２】第１実施形態に係る撮像装置及び画像処理装置の概略構成を示すブロック図
【図３】第１実施形態に係る撮像装置及び画像処理装置における処理状況を示す模式図
【図４】第１実施形態に係る撮像装置の撮像部を示す断面図
【図５】第１実施形態に係る光学的シフト機構の分解斜視図
【図６】第１実施形態に係る光学的シフト機構の斜視図
【図７】第１実施形態に係る光学的シフト機構の平面図
【図８】第１実施形態に係る光学的シフト機構の要部断面図
【図９】第１実施形態に係る撮像素子への光の入射状況を示す断面図
【図１０】第１実施形態に係る光学的シフト機構におけるシフト制御部１４の構成図
【図１１】第１実施形態に係る原点センサ６５および径方向磁気センサ３９によるマーカ６６および着磁部６８の検出結果を示す図
【図１２】第１実施形態に係るシフト制御部１４による位置検出方法の説明図
【図１３】第１実施形態に係る光像に対する画素の相対的な円運動の状況を示す模式図
【図１４】第１実施形態に係る撮像周期と円運動周期との比率の一例での撮像基準位置の状況を示す模式図
【図１５】第１実施形態に係る画像処理装置２における超解像処理部２４の機能ブロック図
【図１６】第１実施形態に係る超解像処理部２４による超解像処理の流れを示すフロー図
【図１７】第１実施形態に係る超解像処理における撮像画像の処理の一例を示す説明図
【図１８】第１実施形態に係る超解像処理における各フレーム画像の処理を示すブロック図
【図１９】第２実施形態に係る超解像処理部２４の機能ブロック図
【図２０】第２実施形態に係る超解像処理における撮像画像の処理の一例を示す説明図
【図２１ａ】第３実施形態に係る光像に対する画素の相対的な円運動において生じる撮像位置の位置ずれを示す説明図
【図２１ｂ】第３実施形態に係る光像に対する画素の相対的な円運動において生じる撮像位置の位置ずれを示す説明図
【図２２】第３実施形態に係る超解像処理部２４の機能ブロック図
【図２３】第３実施形態に超解像処理部２４による超解像処理の流れを示すフロー図
【発明を実施するための形態】
【００１４】
上記課題を解決するためになされた第１の発明は、撮像素子と当該撮像素子の受光面上で結像する光像との相対的な円運動を行わせることにより撮像された複数の低解像度画像を取得し、これら撮像位置の異なる複数の低解像度画像から高解像度画像を生成する画像処理装置であって、前記低解像度画像の撮像位置の情報に基づき、当該低解像度画像の位置を基準となる基準低解像度画像の位置に一致させたシフトキャンセル画像を生成するシフトキャンセル部と、前記シフトキャンセル画像と前記基準低解像度画像との比較により、前記低解像度画像における動きを検出する動き検出部と、前記動き検出の結果に基づき、前記シフトキャンセル画像を前記基準低解像度画像と位置合わせすることにより、位置合わせ画像を生成する位置合わせ処理部と、前記位置合わせ画像を用いて再構成処理を実施することによって高解像度画像を生成する再構成処理部とを備え、前記位置合わせ処理部は、前記シフトキャンセル画像の所定の処理対象領域について、前記動き検出部で動きを検出した場合には、第１の範囲の動き検出に基づき前記位置合わせを実行し、一方、前記動き検出部で動きを検出しなかった場合には、前記第１の範囲よりも小さい第２の範囲の動き検出に基づき前記位置合わせを実行する構成とする。
【００１５】
これによると、撮像位置の情報に基づき低解像度空間においてシフトキャンセル画像を生成すると共に、動き検出部で基準となる低解像度画像とシフトキャンセル画像の間で動きを検出しなかった場合には、動きを検出した場合よりも狭い探索範囲での動き検出に基づき位置合わせを実行する構成としたため、光学的シフトによる光像のシフト位置に誤差が生じ得る場合でも、超解像処理における位置合わせ処理を効率的に実施することにより、計算コストを低減することが可能となる。
【００１６】
また、第２の発明は、前記低解像度画像において前記処理対象領域となり得る範囲を指定する範囲指定部を更に備えた構成とする。
【００１７】
これによると、超解像処理が必要な範囲を予め指定することにより、超解像処理における無駄な位置合わせ処理を効果的に抑制することができる。
【００１８】
また、第３の発明は、前記動き検出部は、前記シフトキャンセル画像について動きの有無を判定する第１検出部と、前記第１検出部が動き有りと判定した場合に、前記シフトキャンセル画像について前記第１の範囲で動きベクトルを検出する第２検出部と、前記第１検出部が動きなしと判定した場合に、前記シフトキャンセル画像について前記第２の範囲で動きベクトル検出する第３検出部とを有する構成とする。
【００１９】
これによると、第１検出部で動きを検出しなかった場合には、第３検出部による動きベクトルの検出をより狭い探索範囲で効率的に実行することが可能となり、計算コストを低減することができる。
【００２０】
また、第４の発明は、前記シフトキャンセル部は、前記低解像度画像を画素単位でシフトさせて前記シフトキャンセル画像を生成することを特徴とする構成とする。
【００２１】
これによると、シフトキャンセル画像を精度良く生成することができる。
【００２２】
また、第５の発明は、上記第１から第４の発明のいずれかに係る画像処理装置と、前記低解像度画像を撮像する撮像装置とを備えた撮像システムであって、前記撮像装置は、被写体からの光を光電変換して画素信号を出力する撮像素子と、前記被写体からの光を前記撮像素子に導く光学系と、前記撮像素子の受光面上で結像する光像と前記撮像素子との相対的な円運動を行わせる光学的シフト機構と、前記光学的シフト機構による円運動を指定の周期で行わせるシフト制御部と、前記撮像素子の前記撮像位置の情報を取得する位置情報取得部とを備えた構成とする。
【００２３】
また、第６の発明は、撮像素子と当該撮像素子の受光面上で結像する光像との相対的な円運動を行わせることにより撮像された複数の低解像度画像を取得し、これら撮像位置の異なる複数の低解像度画像から高解像度画像を生成する画像処理方法であって、前記低解像度画像の撮像位置の情報に基づき、当該低解像度画像の位置を基準となる基準低解像度画像の位置に一致させたシフトキャンセル画像を生成するシフトキャンセル生成ステップと、前記シフトキャンセル画像と前記基準低解像度画像との比較により、前記低解像度画像における動きを検出する動き検出ステップと、前記動き検出の結果に基づき、前記シフトキャンセル画像を前記基準低解像度画像と位置合わせすることにより、位置合わせ画像を生成する位置合わせ処理ステップと、前記位置合わせ画像を用いて再構成処理を実施することによって高解像度画像を生成する再構成処理ステップとを有し、前記位置合わせ処理ステップは、前記シフトキャンセル画像の所定の処理対象領域について、前記動き検出部で動きを検出した場合には、第１の範囲の動き検出に基づき前記位置合わせを実行し、一方、前記動き検出部で動きを検出しなかった場合には、前記第１の範囲よりも小さい第２の範囲の動き検出に基づき前記位置合わせを実行する構成とする。
【００２４】
また、第７の発明は、画像処理装置を制御することにより、上記第６の発明に係る画像処理方法を実行する画像処理プログラムである。
【００２５】
以下、本発明の実施の形態について図面を参照しながら説明する。以下の説明では、用語「軸方向」は光軸方向（図４中の上下方向に相当）を示す共に、用語「径方向」は光軸と直交する方向（図４中の左右方向に相当）を示すものとする。径方向は、光軸を中心とした３６０゜内の任意の角度を取り得る。
【００２６】
（第１実施形態）
図１は、本発明の第１実施形態に係るネットワークカメラシステムの全体構成図である。図１に示すように、本発明が適用される撮像システムとしてのネットワークカメラシステムは、少なくとも１台の撮像装置（ここでは、ネットワークカメラ）１と、画像処理装置２とで構成される。撮像装置１と画像処理装置２とは、インターネット３を介して接続され、撮像装置１で生成した撮像データが、例えば遠隔地に存する画像処理装置２に送信されて、画像処理装置２で映像が表示される。また、撮像装置１を制御する各種のコマンド信号が画像処理装置２から撮像装置１に送信される。
【００２７】
なお、撮像データは、例えばＴＣＰ（ＵＤＰ）／ＩＰといった、いわゆるインターネットプロトコルを利用して撮像装置から画像処理装置に送信されるが、撮像データを、例えば暗号化、カプセル化してＶＰＮ（Vertual Private Network）を利用して送信してもよく、専用回線によって撮像装置１と画像処理装置２が１対１の関係で接続される、いわゆるＣＣＴＶ（Closed Circuit TV）と称されるネットワークカメラシステムとしてもよい。
【００２８】
図２は、図１に示した撮像装置及び画像処理装置の概略構成を示すブロック図である。図２に示すように、撮像装置１は、撮像部１１と、画像処理部１２と、データ圧縮送信部１３と、シフト制御部１４とを備えている。撮像部１１は、被写体からの光を光電変換してアナログの画素信号を出力する撮像素子３１を備えている。この撮像素子３１は、２次元ＣＭＯＳイメージセンサである。撮像素子３１は、例えばＱｕａｄ ＶＧＡ（1280×960画素）の画素構成を備え、センササイズは１／３インチ、隣接画素との間隔である画素ピッチＬは主走査方向、副走査方向ともに３．７５μｍである。なお、これに替えて２次元ＣＣＤイメージセンサを撮像素子３１に用いてもよい。
【００２９】
撮像素子３１から出力されるアナログ信号はＡ／Ｄ変換器３２でディジタル信号に変換され、このディジタル信号は画像処理部１２に入力され、ここで色補正、デモザイク処理、階調補正（γ補正）、ＹＣ分離処理等を施されて画像データに変換される。この画像データは、データ圧縮送信部１３において例えばＨ．２６４やＭＰＥＧ４等の圧縮処理を施された上で画像処理装置２に送信される。
【００３０】
また、撮像部１１は、後に詳述するが、撮像素子３１の受光面上で結像する光像と撮像素子３１とを相対的に微小変位させる光学的シフト機構３５を備えている。光学的シフト機構３５には、光像を微小変位させる光学部材（図４中の符号５１参照）を磁力により回転駆動する磁気回転駆動部３６と、光学部材の径方向および軸方向の位置をそれぞれ制御する位置制御部３８と、光学部材の径方向および軸方向の位置をそれぞれ検出する径方向磁気センサ３９および軸方向磁気センサ４０とを備えている。
【００３１】
光学的シフト機構３５は、シフト制御部１４により制御される。光学的シフト機構３５の回転部分にはここでは図示しない着磁部が設けられており、両磁気センサ３９、４０は着磁部の位置情報を検出してシフト制御部１４に出力する。シフト制御部１４は、この位置情報に基づいて磁気回転駆動部３６を制御して光学部材を回転させると共に、位置制御部３８を制御して光学部材を所定の位置に保持する。
【００３２】
画像処理装置２は、データ受信復号部２１と、表示部２２と、記憶部２３と、超解像処理部２４と、周期設定部２５と、入力部２６とを備えている。なお、この画像処理装置２は、パソコンやワークステーション等の情報処理装置に所要のアプリケーションソフトウェアを導入することで構成される他、ＣＣＴＶレコーダなど専用の装置であってもよい。
【００３３】
画像処理装置２では、撮像装置１から送信された圧縮画像データが、データ受信復号部２１にて受信されて復号された後、ＲＧＢの画像データに変換されて、リアルタイムにディスプレイ等からなる表示部２２に表示される。さらに、ＲＧＢの画像データは、ハードディスクドライブ装置等からなる記憶部２３に送られて、ここに一時的に蓄積され、必要に応じて記憶部２３から読み出して表示部２２で再生することができる。
【００３４】
また、例えば交通事故の検証の用途等で高解像度画像の必要が生じた場合には、記憶部２３から画像データを読み出して超解像処理部２４にて超解像処理を施して高解像度画像（静止画像）を生成し、その高解像度画像を表示部２２に表示させることができる。
【００３５】
また、入力部２６は、後に詳述するが、ユーザからの撮像周期の入力を受け付けて、これを周期設定部２５に送る。周期設定部２５は、入力部２６から送られてきた撮像周期に基づいて円運動周期を決定し、円運動周期に関するコマンド信号を撮像装置１に送信する。撮像装置１のシフト制御部１４は、円運動周期に関するコマンド信号に基づいて、光学的シフト機構３５を動作させることにより、指定された円運動周期に対応する回転速度で光学部材を回転駆動する。
【００３６】
また、周期設定部２５は、駆動回路３３に対して撮像タイミングに関する情報を送信し、これにより、駆動回路３３のタイミングジェネレータ（図示せず）は制御用の同期パルスを所定間隔で発生する。この同期パルスは、撮像素子３１に出力され、これにより、撮像素子３１の電荷蓄積期間（電子シャッタ期間）の始期および終期が決定される。また、同期パルスは、シフト制御部１４にも出力され、これにより、シフト制御部１４では、撮像素子３１が実際に露光されている期間を把握することができる。
【００３７】
図３は、撮像装置１及び画像処理装置２における処理状況を示す模式図である。図３に示すように、撮像素子３１は駆動回路３３によって駆動され、駆動回路３３が生成するタイミング信号に応じて一定の周期（以下、撮像周期）で撮像（サンプリング）が行われる。例えばフレームレートを３０frame/secとして１秒あたり３０枚のフレーム画像を生成する場合、撮像周期は３０ｍｓ程度に設定される。
【００３８】
画像処理装置２の超解像処理部２４では、時間的に連続する複数のフレーム画像から高解像度画像を生成する超解像処理が行われる。この超解像処理では、まず、記憶部２３に蓄積されたフレーム画像がコマ送りで静止画として表示される。そして、その中からユーザにより基準画像（基準低解像度画像）が指定されると、その基準画像となるフレーム画像とその前後の複数のフレーム画像が記憶部２３から読み出されて超解像処理部２４に送られて超解像処理が行われる。
【００３９】
超解像処理としては、例えば、ＭＬ（Maximum-likelihood）法、ＭＡＰ（Maximum A Posterior）法や、ＰＯＣＳ（Projection On to Convex Sets）法などが採用され、アプリケーションソフトウェアをＣＰＵで実行することで実現される。一般に超解像処理は演算量が多いため、処理の一部をＧＰＵ（Graphics Processing Unit）や、専用ハードウェアを用いて行うようにしてもよい。
【００４０】
ここで、ＭＬ法とは、高解像度画像から推定された低解像度画像の画素値と、実際に観測された画素値との二乗誤差を評価関数とし、この評価関数を最小化するような高解像度画像を推定画像とする方法である。つまり、ＭＬ法とは、最尤推定の原理に基づく超解像処理方法である。また、ＭＡＰ法とは、二乗誤差に高解像度画像の確率情報を付加した評価関数を最小化するような高解像度画像を推定する方法である。つまり、ＭＡＰ法とは、高解像度画像に対するある先見情報を利用して、事後確率を最大化する最適化問題として高解像度画像を推定する超解像処理方法である。ＰＯＣＳ法とは、高解像度画像と低解像度画像との画素値に関して連立方程式を作成し、その方程式を逐次的に解くことにより、高解像度画像を得る超解像処理方法である。
【００４１】
これらの超解像処理は、まず、高解像度画像を仮定し、そして仮定した高解像度画像から、カメラモデルから得られる点広がり関数（ＰＳＦ関数）に基づき、低解像度画像の画素について、その画素値を推定し、その推定値と観測された画素値（観測値）との差が小さくなるような高解像度画像を探索するという処理を有している。そのため、これらの超解像処理は、再構成型超解像処理と呼ばれている。
【００４２】
さて、ここで高解像度画像を探索する処理は、低解像度画像として得られた画素が高解像度画像においてどの位置に対応するのかを探索するものであり、いわゆる「位置合わせ（レジストレーション）」と呼ばれる処理である。一般に超解像処理では、複数の低解像度画像間の画素位置の変化が不明であっても高解像度化を可能とするため、着目画素の周囲に対して広範囲に位置合わせ処理を繰り返し実行する。このため計算コストが極めて大きくなることが知られている。一方、後に詳しく説明するように、本発明では光学的シフト機構３５によってシフトされた画素の位置は既知であり、そして、その既知の位置で各フレーム画像、すなわち低解像度画像を撮像するようにしたため、少なくとも静止している被写体については、光学的シフトによって位置合わせ処理の多くを省略することが可能となり、計算コストを大幅に削減することができる。
【００４３】
なお、時間的に連続する複数のフレーム間に及ぶ画像情報を利用する超解像処理は、特にフレーム間再構成型超解像処理と呼称されることもある。一方で、１つのフレーム内で再構成型超解像処理を行う場合は、フレーム内再構成型超解像と呼称される。本実施形態では、フレーム間再構成型超解像を採用している。
【００４４】
なお、ここでは、画像処理装置２において超解像処理によって高解像度化された静止画像を再生するものとしているが、画像処理装置２の処理能力が十分に高ければ、超解像処理で得られた高解像度画像をフレーム画像として動画を再生することも可能である。
【００４５】
図４は、図２に示した撮像装置１の撮像部１１を示す断面図であり、図５は、図４に示した撮像装置１の光学的シフト機構３５の分解斜視図であり、図６は、光学的シフト機構３５の斜視図であり、図７は、光学的シフト機構３５の平面図であり、図８は、光学的シフト機構の要部断面図である。なお、図５では、説明の便宜上、光学カプセル（カプセル部材）５０の内部に収容される各部材（光学部材５１等）を外部に取り出した態様で示している。また、図５および図６では、図７に示す回転駆動コイル８１を省略してある。
【００４６】
図４に示すように、撮像装置１の撮像部１１は、撮像素子３１が設けられたセンサモジュール４１と、被写体（図示せず）からの光を撮像素子３１の受光面３１ａ上で結像させるレンズユニット（光学系）４２と、撮像素子３１の受光面３１ａ上で結像される光像を光軸Ｃに対して垂直な方向に変位させる光学的シフト機構３５とを有している。レンズユニット４２はレンズホルダ４５を介して基板４６に支持されている。センサモジュール４１及び光学的シフト機構３５も基板４６に支持されている。なお、基板４６には、必要に応じてその他電気部品等が搭載される。
【００４７】
光学的シフト機構３５は、例えば透明樹脂あるいは硝材から形成された光学カプセル５０と、この光学カプセル５０に収容された光学部材５１とを主として備える。光学カプセル５０の内部には、空気よりも高い屈折率を有する液体（流体）５２が封入されている。また、液体５２の屈折率は、後述する平行平板５３の屈折率よりも小さく設定されている。
【００４８】
光学部材５１は、略円板状を呈しており、その中央部にはレンズユニット４２の光軸Ｃに対して所定角度傾斜した平行平板５３が設けられている。平行平板５３は、光学ガラスやアクリル樹脂等の材料から形成することができる。また、光学部材５１の外周側には、その外周部を支持する円環状のバックヨーク５４と、バックヨーク５４の外周部に取り付けられた円環状の径側マグネット５５と、バックヨーク５４における光学部材５１の光入射側および光出射側の部位（ここでは、バックヨーク５４の上下面）にそれぞれ固定された上マグネット（第１軸側マグネット）５６および下マグネット（第２軸側マグネット）５７が設けられている。上マグネット５６および下マグネット５７は、共に同一径の円環状を呈している。これら各部材５４〜５７は、光軸Ｃを中心として同軸的に配置されており、液体５２が充填された光学カプセル５０内に光学部材５１と共に収容されている。
【００４９】
光学カプセル５０は、上下方向に重ね合わされた２つの部材５０ａ、５０ｂから構成され、これにより、液体５２が封入される密閉空間が形成されている。光学カプセル５０は、中央がくびれた断面を呈しており、光軸Ｃを中心とした円板状の空間を画成する中央部６０と、この中央部６０の外周側に連なると共に、矩形断面を有する円環状の空間を画成する円環部６１とを有している。中央部６０には平行平板５３が収容される一方、上下方向に拡幅された円環部６１には、光学部材５１の外周部およびバックヨーク５４等が収容されている。ここで、光学カプセル５０の内面と光学部材５１の表面との間隔は０．５ｍｍに設定されている。なお、光学カプセル５０は、少なくとも中央部６０における光軸Ｃ周辺の光路部分（レンズユニット４２からの入射光が通過する領域）が上述のような透明材料で形成されていればよい。
【００５０】
ここで、光学カプセル５０（中央部６０）が配置されるレンズユニット４２とセンサモジュール４１との間の間隔Ｄは、通常は非常に狭く（例えば、約３ｍｍ）、撮影範囲が広角になるのに応じてさらに狭くなる。しかしながら、光学部材５１（平行平板５３）のみを光路に配置するようにすれば、間隔Ｄが狭いにも拘わらず支障なく装置を構成することができる。
【００５１】
また、光学カプセル５０の中央部６０の上面６０ａはレンズユニット４２の下面４２ａに当接しており、これにより、光学カプセル５０とレンズユニット４２との間の光路（厳密には、入射光が通過する空間）が密閉される。さらに、円環部６１の下面６１ａは基板４６の上面４６ａに当接しており、これにより、光学カプセル５０とセンサモジュール４１との間の光路（すなわち、光学カプセル５０、センサモジュール４１および基板４６で画成される空間Ｖ）が密閉されている。このような構成により、レンズユニット４２から撮像素子３１までの光路中への塵埃等の侵入に起因する画質の劣化を防止することができる。なお、上記のように光路を密閉する方法としては、撮像素子３１をモールドされたイメージセンサそのものとして捉えるならば、光学カプセル５０をイメージセンサに直接当接させる構成としてもよい。
【００５２】
なお、光学カプセル５０の光路に対応する部分以外を不透明（例えば、黒色）としてもよい。このようにすることで、撮像素子３１に不要な光が入る、いわゆる迷光を遮断することができる。
【００５３】
本実施形態では、液体５２として不凍液（ポリピレングリコールと水との混合物）を用いている。液体５２が水を含む場合、磁性体（例えば、鉄系の材料）で形成されたバックヨーク５４には錆が生じ得る。これを防止するため、バックヨーク５４の表面には樹脂コーティングが施されている。なお、不凍液は水系である必要性はなく、例えば、透明なシリコンオイルを採用してもよい。この場合は径側マグネット５５等に錆が生じるおそれはなく、樹脂コーティングといった防錆処理は不要となる。また、撮像装置１の設置環境が室内に限定されるような場合は、必ずしも不凍液を用いる必要はない。また、磁気特性は若干劣るが、バックヨーク５４を例えばＳＵＳ３１６等の非磁性金属材料や樹脂等で形成することにより、錆の発生を抑えることもできる。
【００５４】
図５に示すように、光学的シフト機構３５において、光学カプセル５０の周辺には、径側マグネット５５に磁力を作用させることによって光学部材５１及び径側マグネット５５を流体以外と非接触状態、即ちこれらを光学カプセル５０の内壁と非接触で回転させる６つの磁気回転駆動部３６と、径側マグネット５５、上マグネット５６、及び下マグネット５７にそれぞれ磁力を作用させることにより、光学部材５１の径方向および軸方向の位置を正規位置（平行平板５３が光学カプセル５０に接触することなく回転可能な定位置）に保持する３つの位置制御部３８（以下、各々を区別する必要がある場合には、図７に示すように位置制御部３８ａ、３８ｂ、３８ｃと称する。）とが設けられている。このように光学部材５１の径側マグネット５５、上マグネット５６、及び下マグネット５７はいずれも永久磁石であり、これらに磁力を作用させる位置制御部３８に電磁石を採用しているが、これによって光学カプセル５０内部には一切の信号線が引き込まれず、光学カプセル５０の密閉性を高めることを可能としている。
【００５５】
後に詳述するように、光学部材５１の回転駆動および径方向の位置制御は、図６に示す位置検出部としての３つの径方向磁気センサ３９（以下、各々を区別する必要がある場合には、図７に示すように径方向磁気センサ３９ａ、３９ｂ、３９ｃと称する。）の出力する情報に基づいて行われる。また、光学部材５１の軸方向の位置制御は、図６に示す位置検出部としての軸方向磁気センサ４０が出力する情報に基づいて行われる。
【００５６】
このような構成により、光学部材５１は、液体５２を満たした光学カプセル５０内で非接触状態で回転する。この磁力を利用した構成は、いわゆるベアリングレスモータの構成に準ずるものであり、摺動部が全く存在せず、光学的シフト機構３５は極めて低振動で駆動され、かつ長寿命を達成することができる。
【００５７】
また、図６に示すように、光学カプセル５０の周辺には、光学部材５１の回転に伴う原点位置を定期的に検出する原点センサ６５が設けられている。原点センサ６５は、反射型フォトセンサ（フォトリフレクタ）からなり、径側マグネット５５の上部に設けられたマーカ６６（図４参照）を検出する。原点センサ６５としては、反射型フォトセンサに限らず、他の光学センサを含む周知のセンサを用いることができる。この原点センサ６５の出力と、径方向磁気センサ３９の出力とによって検出される径側マグネット５５の着磁部６８（図７参照）の磁極位置によって、光軸Ｃに対して傾斜した平行平板５３による光のシフト方向を確実に把握することができる。
【００５８】
マーカ６６は、図４に示すように、光学カプセル５０を挟んで原点センサ６５と対向するように配置される。マーカ６６は、平行平板５３の傾斜方向の延長線上に配置され、矢印Ａで示すように、平行平板５３に入射した光はマーカ６６が付されている方向にシフトする。したがって、原点センサ６５により、平行平板５３による入射光のシフト方向（すなわち、光学部材５１の回転位置）を検出することができる。マーカ６６は、光学的に識別されるものであり、例えば、径側マグネット５５にマグネットと異なる色で印刷されていてもよいし、マグネットの表面粗さを変えて結果的に異なる反射率が得られるようにされていてもよい。原点センサ６５は、マーカ６６と径側マグネット５５との反射率の違いを利用してマーカ６６を検出する。
【００５９】
光学部材５１の回転方向において、平行平板５３の傾斜方向と回転方向におけるマーカ６６の位置との関係を予め把握しておくことにより、マーカ６６を検出したタイミングで平行平板５３の方向（すなわち、光学的シフトの方向）が検出できる。つまり、マーカ６６検出時に平行平板５３の回転角度を知ることができるため、光学的シフトがなされる方向を特定することが可能である。ここで、平行平板５３による光学的シフト量は、光軸に対する平行平板５３の角度に依存するが、この角度は軸方向磁気センサ４０で検出され、図８に示す磁気回路で一定になるように制御される。また、バックヨーク５４を含む回転体が回転することで、コマの回転と同様にジャイロ効果により軸ブレは小さく抑えられるから、光軸に対する平行平板５３の角度（すなわち、光学的シフト量）は略一定となる。したがって、平行平板５３の回転角度から光学的シフトによる光像ずれの座標を算出することができる。
【００６０】
ところで、図２に示した超解像処理部２４にて実施される超解像処理では、撮像位置をサブミクロンオーダ（例えば、画素ピッチＬは５．６μｍとして、これを超解像処理で４×４倍に拡大する場合、新たに生成される画素ピッチＬは５．６／４＝１．４μｍとなり、サブミクロンオーダの変位が必要となる）で決定することができれば、いわゆる「位置合わせ処理」の演算コストを大幅に低減できることが知られている。本発明に係る撮像装置及びネットワークカメラシステムでは、上記のような原点センサ６５を採用し、駆動回路３３が生成するタイミング信号（同期パルス）に応じて撮像素子３１で撮像が行われたときの光像のシフト位置が決定されるため、超解像処理の演算コストを低減することができる。つまり、本発明によれば、画像のシフト位置を確実に把握できるため、上述の高解像度画像の探索量が減少し、光学的シフトの撮像対象のうち静止部分についての超解像処理の演算コストが大幅に減少する。
【００６１】
図７に示すように、径側マグネット５５は、その周方向に沿って交互にＮ極及びＳ極に着磁された１６の磁極からなる着磁部６８を備えている。径側マグネット５５は、微小な磁性体粒子を分散混合したポリフェニレンサルファイド樹脂（ＰＰＳ）によって形成された、いわゆるプラスチックマグネットであり、これにより、水を含む液体５２中にあっても吸水および膨潤が防止される。ここでは、磁性体粒子としてネオジムを採用している。磁力が極めて大きいネオジム磁石は、大きな駆動トルクを得ることができるため、低温時に液体５２の粘性が大きくなった場合等に有効である。一方、ネオジムは水によって酸化されて錆を生じ得るため、径側マグネット５５は、その表面が樹脂材料でコーティングされ、液体５２との接触が防止されている。なお、上マグネット５６、下マグネット５７も同様にネオジム磁性体粒子を分散混合したＰＰＳで形成され、これらにも樹脂コーティングが施されている。径側マグネット５５、上マグネット５６、下マグネット５７として用いる磁性体粒子としては、ネオジムに限らず、例えば、フェライトやサマリウムコバルト等を用いることもできる。
【００６２】
磁気回転駆動部３６は、電磁鋼帯を複数積層してなるステータコア８０と、ステータコア８０に巻回された導線からなる回転駆動コイル８１とによって構成されている。略Ｕ字状をなすステータコア８０は、両端が光学カプセル５０の外壁に当接した状態でその外周面に沿って等間隔に配置されており、また、光学カプセル５０を介して径側マグネット５５の着磁部６８に対向配置されている。これにより、光学的シフト機構３５は、いわゆるインナロータ型の３相モータ（本実施形態では、１２スロット１６ポール）と同様の構成を有する。磁気回転駆動部３６は、回転駆動コイル８１に電流を流すことで生じる磁界によって着磁部６８に作用する引力および斥力により、着磁部６８を所定の方向に回転させる。これにより、バックヨーク５４と光学部材５１（平行平板５３）とが光軸Ｃ周りに回転する。
【００６３】
径方向磁気センサ３９ａ、３９ｂ、３９ｃは、ホール素子からなり、光学カプセル５０の外壁に当接した状態でその外周面に沿って周方向に等間隔で配置されており、それぞれは、隣接する２つの磁気回転駆動部３６の間に位置する。このような径方向磁気センサ３９ａ、３９ｂ、３９ｃの配置により、光学部材５１の径方向の変位量を精度良く検出することができる。径方向磁気センサ３９としてホール素子を用いることで、光学カプセル５０内の光学部材５１の位置を約１μｍの精度で検出することができる。より高い精度が必要となる場合はホール素子に替えて光位置センサ（PSD:Position Sensitive Detector）を用いてもよい。ＰＳＤを用いることで位置検出精度は０．１μｍ程度まで改善される。
【００６４】
なお、位置検出手段としてホール素子を用いた場合の検出精度が１μｍである点と、上述した「撮像位置をサブミクロンオーダで決定する」という点は矛盾するものではない。本実施形態の光学的シフト機構３５において、光学部材５１（平行平板５３）は、単に入射光を平行シフトさせるパワーしか有さず、光像のシフト位置はもっぱら光学部材５１の回転角度によって決定される。光学部材５１が光軸方向や径方向に対して平行に変位しても、平行平板５３によるシフト位置は全く影響を受けず、影響を受けるとすれば、光学部材５１の光軸Ｃに対する傾斜角が変動する場合である。本実施形態では、後に詳細に説明するように傾斜角変動による影響を小さくしており、結果的に検出精度が１μｍ程度であっても、サブミクロンオーダの精度でシフト位置が決定される。
【００６５】
図７に示した１２スロット１６ポールの構成では、光学カプセル５０の外周部には、隣接する磁気回転駆動部３６の間に６つの空間が生じることになる。したがって、これらの空間に、３つの径方向磁気センサ３９ａ、３９ｂ、３９ｃを、それぞれ３つの位置制御部３８ａ、３８ｂ、３８ｃと光軸Ｃを中心として１８０度回転した位置に配置することができる。これにより、光学カプセル５０の外側のスペースを有効利用して装置の小型化を実現しつつ、光学部材５１の径方向の位置制御を容易に行うことが可能となる。
【００６６】
径方向磁気センサ３９は、径側マグネット５５の着磁部６８から生じた磁力を検出することで、着磁部６８の磁極（Ｎ極とＳ極）の位置情報を出力する。より詳細には、径方向磁気センサ３９は、自身に対して径側マグネット５５のＮ極とＳ極の１組が相対移動すると、これを１周期とする正弦波を位置情報としてシフト制御部１４（図２参照）に出力する。シフト制御部１４は、この位相情報を処理することで、光学部材５１の回転速度を計算する。すなわち、径方向磁気センサ３９及びシフト制御部１４は、光学部材５１の回転位置検出部及び回転速度検出部として機能する。
【００６７】
このような回転速度の検出方法に替えて、例えば、光学部材５１又は径側マグネット５５の外周部（着磁部等）にマーキングを施し、これを光学式センサ（フォトリフレクタ）で検出するようにしてもよい。その場合、白黒のマーキングとすれば、比較的狭ピッチで描けるため、より高いサンプリングレートで回転角速度の検出が可能となる。
【００６８】
軸方向磁気センサ４０は、光学カプセル５０の上面外壁に当接して位置制御部３８の近傍に配置されている。軸方向磁気センサ４０は、図４中に２点鎖線で示すように、光学カプセル５０を介して上マグネット５６に対向するように配置されているが、場合によっては、下マグネット５７に対向するように軸方向磁気センサ４０を配置してもよい。軸方向磁気センサ４０は、上マグネット５６から生じる磁力の大きさを検出することにより、上マグネット５６が取り付けられたバックヨーク５４（すなわち、光学部材５１）の軸方向の位置情報を出力する。この位置情報に基づき、シフト制御部１４（図２参照）は、軸方向位置制御コイル７１（図８参照）に流す電流を制御し、光学部材５１の軸方向の位置制御を行う。
【００６９】
図８に示すように、位置制御部３８は、電磁鋼帯を複数積層した略Ｅ形を呈するステータコア７０と、ステータコア７０の下側端部において上方（光軸方向に平行な方向）に突出する突部７０ａに捲回された軸方向位置制御コイル７１と、ステータコア７０の中間部において側方（光軸方向に垂直な方向）に突出する突部７０ｂに捲回された径方向位置制御コイル７２とを有している。突部７０ａおよび突部７０ｂの先端は、光学カプセル５０の下面および外周面にそれぞれ当接した状態にある。
【００７０】
軸方向位置制御コイル７１によって突部７０ａに形成される電磁石７４は、下マグネット５７に対して作用する磁力を発生する軸方向磁力発生手段として機能し、光学部材５１の軸方向の位置制御に用いられる。また、径方向位置制御コイル７２によって突部７０ｂに形成される電磁石７５は、径側マグネット５５に対して作用する磁力を発生する径方向磁力発生手段として機能し、光学部材５１の径方向の位置制御に用いられる。
【００７１】
また、ステータコア７０の上側端部には、光学カプセル５０を挟んで突部７０ａと対向配置された下方（光軸方向に平行な方向）に突出する突部７０ｃが設けられている。突部７０ｃは、永久磁石７６の一部として形成されており、その先端が光学カプセル５０の上面に当接した状態にある。永久磁石７６は、上マグネット５６に対して作用する磁力を発生する軸方向磁力発生手段として機能し、対向する下方の電磁石７４と協働し、光学部材５１の軸方向の位置制御に用いられる。この場合、永久磁石７６と上マグネット５６とは同磁極（ここでは、共にＮ極）であり、これらの間には斥力が作用する。なお、永久磁石７６としてはネオジム磁石を採用しているが、下方の電磁石７４による磁力とのバランスを考慮して、他の磁石（例えば、フェライト磁石等）を用いてもよい。
【００７２】
突部７０ｂは、ステータコア７０の上部と下部とを連結する連結部材７７の一部として形成されている。連結部材７７は、電磁石７４、電磁石７５、及び永久磁石７６の間に磁気的な相互作用が生じないようにするために、非磁性体（例えば、樹脂、セラミック等）から形成されている。
【００７３】
なお、本実施形態では、位置制御部３８は、光学部材５１の径方向および軸方向の位置を制御する手段として機能するが、径方向の位置を制御する位置制御部と軸方向の位置を制御する位置制御部とをそれぞれ個別に設けた構成も可能である。
【００７４】
軸方向の位置制御においては、軸方向位置制御コイル７１に電流を流すことにより電磁石７４が励磁され、互いに同磁極（ここでは、Ｓ極）の電磁石７４と下マグネット５７との間に斥力が生じる。この斥力の大きさを、光学カプセル５０を挟んで電磁石７４とは反対側に位置する永久磁石７６と上マグネット５６との間に作用する斥力との釣り合わせることにより、光学部材５１の軸方向位置が正規位置に保持される。
【００７５】
一方、電磁石７４が励磁されない場合には、光学部材５１には永久磁石７６からの斥力が作用して光学部材５１は下方に移動し、かつ下マグネット５７と無通電状態のステータコア間の引力によって（すなわち、下マグネット５７の下端が光学カプセル５０に当接した状態）で固定される。このように、撮像装置に電源を投入していない場合（例えば、撮像装置の運搬等の際）には、光学部材５１が確実に固定されるため、平行平板５３の破損を防止することができる。この場合、光学部材５１（平行平板５３）は、上記固定状態においても、破損防止等の観点から光学カプセル５０に接触しないことが好ましい。したがって、光学部材５１が図８に示す正規位置にある場合には、下マグネット５７と光学カプセル５０との間隔ｄ１は、光学部材５１と光学カプセル５０との間隔ｄ２よりも小さくなるように設定される。
【００７６】
なお、光学的シフト機構３５では、永久磁石７６と上マグネット５６との間ならびに電磁石７４と下マグネット５７との間にそれぞれ引力を作用させて、それらを釣り合わせる構成も可能である。しかしながら、上述のように斥力を作用させることで、初期起動時等に上マグネット５６または下マグネット５７による磁力（吸着力）の影響により、光学部材５１に摩擦力が生じて装置が起動できなくなる等のトラブルを防止できるという利点がある。
【００７７】
また、径方向の位置制御においては、径方向位置制御コイル７２に電流を流すことにより電磁石７５が励磁され、径側マグネット５５との間に斥力が生じる。この斥力は、図７に示す位置制御部３８ａ、３８ｂ、３８ｃの配置により、径側マグネット５５の周囲の三方向から作用し、それらを釣り合わせることにより、光学部材５１の径方向位置が定位置に保持される。
【００７８】
上記光学的シフト機構３５では、図７に示したように、位置制御部３８ａと径方向磁気センサ３９ａ、位置制御部３８ｂと径方向磁気センサ３９ｂ、並びに位置制御部３８ｃと径方向磁気センサ３９ｃは、それぞれ互いに光軸Ｃを中心として１８０゜回転した位置に配置されている。そして、位置制御部３８ａ、３８ｂ、３８ｃの径方向位置制御コイル７２（図８参照）は、それぞれ径方向磁気センサ３９ａ、３９ｂ、３９ｃが検出した位置情報に基づき駆動される。つまり、各置制御部３８ａ、３８ｂ、３８ｃの径方向位置制御コイル７２は、それぞれ光学カプセル５０を挟んで対向する位置で検出された位置情報に基づき駆動される。このような構成により、径方向磁気センサ３９の出力の増大が、対応する位置制御部３８と光学部材５１（径側マグネット５５）との離間距離の増大に直接的に関連づけられ、位置制御の処理が容易となる。
【００７９】
また、上記光学的シフト機構３５では、図６および図７に示したように、磁気回転駆動部３６、径方向磁気センサ３９、軸方向磁気センサ４０、及び位置制御部３８を、それぞれ光学カプセル５０の外面に当接させている。このように、光学部材５１の回転駆動制御および位置制御に必要な構成要素を光学カプセル５０に当接させて配置する。これにより、光学カプセル５０自体の寸法精度を良好に管理すれば、各構成要素の位置関係（すなわち、距離関係）を極めて高精度に定めることが可能となり、高い制御性能を実現することができる。ここでは、好適な例として、回転駆動制御および位置制御に必要な全ての構成要素が光学カプセル５０に当接する構成としたが、これに限らず、それら構成要素の一部が光学カプセル５０に当接する構成も可能である。
【００８０】
また、上記光学的シフト機構３５では、光学部材５１を回転させるために、いわゆる３相モータに準ずる構成を適用した例を示したが、これを単相モータに準ずる構成を適用しても同様の効果を得ることができる。
【００８１】
図９は、撮像素子への光の入射状況を示す断面図であり、図９（Ａ）は入射した光の光路が最も右側にシフトした状態を示し、図９（Ｂ）は図９（Ａ）の状態から平行平板５３が１８０゜回転した状態を示している。なお、図９（Ｂ）の状態から、平行平板がさらに１８０゜回転すると、図９（Ａ）の状態に復帰する。
【００８２】
図９に示すように、光学部材５１の平行平板５３は、レンズユニット４２の光軸Ｃに対して傾斜しているため、レンズユニット４２を経て入射する光を屈折させ、撮像素子３１の受光面に入射する光の位置が平行平板５３の回転位置に応じて変化し、光学的シフト機構３５により光学部材５１を回転させると、撮像素子３１の受光面上で結像する光像が、光学部材５１の回転速度に応じた周期（円運動周期）で円を描くように移動し、これにより撮像素子３１に対して光像を相対的に微小変位させることができる。
【００８３】
図１０は、図４に示した光学的シフト機構３５におけるシフト制御部１４の構成図である。以下では、シフト制御部１４による光学部材５１の回転駆動制御及び位置制御について、図１０と図７とを併用して説明する。
【００８４】
まず、光学部材５１の回転駆動制御に関して説明する。光学部材５１の径側マグネット５５には、図７に示したように、１６極（８対のＮ極及びＳ極）の着磁部６８が設けられており、着磁部６８が発生する磁気は周方向に１２０°間隔で配置された３つの径方向磁気センサ３９により検出される。この径方向磁気センサ３９の検出出力（アナログ信号）は、コンパレータ９１ａに入力されるが、その入力前に、図示しない増幅器及びアナログオフセット回路によって、その信号レベルが接地レベルに対して±に変化するようアナログ的にシフトされる。そして、コンパレータ９１ａは、このアナログ信号のゼロクロスを検出するとＦＧ信号（パルス信号）を出力する。このＦＧ信号は、割り込み信号（ＩＲＱ）として演算処理部９２に入力される。上述のように径方向磁気センサ３９は３系統あるから、演算処理部９２はそれぞれのセンサについてゼロクロスに基づく割り込み信号を受け取る。また、原点センサ６５の検出出力は、コンパレータ（ＣＭＰ）９１ｂにおいて所定のレベルと比較されることにより２値化されたパルス信号に変換された後、割り込み信号（ＩＲＱ）として演算処理部９２に出力される。さらに、駆動回路３３から出力される同期パルスは、シフト制御部１４の演算処理部９２に対して割り込み信号（ＩＲＱ）として入力される。
【００８５】
ここで、着磁部６８の各磁極の間隔は同一に設定されているため、磁極間の距離は既知である。そこで、この距離をシフト制御部１４に設けられた高速カウンタで計数したパルス間（例えば、隣接するゼロクロスの間隔）の時間で除算すれば速度算出値Ｖｎが得られる。つまり、本実施形態では演算処理部９２は、速度算出部としても機能し、径方向磁気センサ３９の出力に基づいて光学部材５１の回転速度を算出する。このような構成により、径方向磁気センサ３９で光学部材５１の速度検出と位置検出とを行うことが可能となり、装置の低コスト化が図れる。
【００８６】
ここで、演算処理部９２における処理の詳細について説明する。演算処理部９２は、演算処理を実行するＣＰＵ９３と、ＣＰＵ９３の処理に必要なプログラムを記憶するＲＯＭ９４と、ＣＰＵ９３がプログラムを実行する際のワークエリアとして機能するＲＡＭ９５とを有する。演算処理部９２では、算出された光学部材５１の回転速度に基づきＰＩ制御（比例積分制御）を行うことにより、光学部材５１を等角速度で回転させる。光学部材５１が等速で回転するときのＦＧパルスの間隔（時間）は既知であるため、これを速度理論値Ｖｒ（設定された角速度、即ち速度目標値）として、当該速度理論値Ｖｒに対する速度算出値Ｖｎの誤差δＶを次式のように算出する。
δＶ＝Ｖｒ−Ｖｎ
【００８７】
なお、速度理論値Ｖｒおよび速度算出値Ｖｎは、本来は実数であるが、ＣＰＵ９３による演算を高速化するために、例えば、予め１６ｂｉｔの整数値として正規化することができる。ＰＩ制御のうち比例項であるＰ項は、δＶに適切なゲインＧｐを乗じて次式のように算出する。
Ｐ＝Ｇｐ×δＶ
【００８８】
ここで、ゲインが無限大であれば、Ｐ項のみを用いて速度制御が可能となるが、一般にゲインは有限であり、このとき速度オフセットを生じることから、誤差δＶを積分し、これに適切なゲインＧｉを乗じて積分項であるＩ（Ｉｎｔｅｇｒａｌ）項を次式のように算出する。
Ｉ＝Ｇｉ×Σ（δＶ）
【００８９】
このＰ＋Ｉがいわゆる速度指令値であり、ＣＰＵ９３は速度指令値をパルス幅変調器（ＰＷＭ）９６に送出する。この速度指令値に基づき、パルス幅変調器９６は所定周期におけるＯＮデューティ比を算出し、このデューティ比に基づきパルス幅変調された信号（ＰＷＭ信号）が３相ドライバ９７に出力される。３相ドライバ９７は、内部に３系統のプッシュプル型のトランジスタ回路９８を備え、シフト制御部１４から出力されたＰＷＭ信号に基づきスター結線された各回転駆動コイル８１に流す電流を制御して回転駆動を行う。ここで、各回転駆動コイル８１から取り出されたコモン信号は３相ドライバ９７に入力され、各プッシュプル型のトランジスタ回路９８の相励磁（ＯＮ／ＯＦＦ）が制御される。この相励磁の切り替えによって光学的シフト機構の回転が制御される。なお、この電流の制御には、パルス幅変調器９６の替わりに周知の電圧調整器を用いてもよい。いずれの構成を採用したとしても、速度理論値Ｖｒとして用いる速度目標値を変更することによって、光学部材５１を複数の異なる一定の角速度で回転させることが可能である。これによって周期設定部２５（図２参照）から指示された円運動周期で回転駆動制御が実行される。
【００９０】
次に、光学部材５１の位置制御について説明する。上述のように、光学部材５１の位置検出は、３つの軸方向磁気センサ４０と、ＦＧ信号（速度情報）の入力源を兼ねる３つの径方向磁気センサ３９とで行われる。これらのセンサ群は、上マグネット５６および径側マグネット５５に設けられた着磁部の磁気をそれぞれ検出する。この検出値は、Ａ／Ｄ変換器１０１ａ、１０１ｂによってディジタル信号へ変換される。各Ａ／Ｄ変換器１０１ａ、１０１ｂの出力は８ｂｉｔであり、演算処理部９２のＣＰＵ９３は合計８×３×２ｂｉｔの位置情報信号を受け取る。
【００９１】
そして、ＣＰＵ９３は、取得した位置情報信号に基づき理論値（光学部材５１が正規位置にある場合の径方向磁気センサ３９および軸方向磁気センサ４０との位置関係（既知の値））とのずれを修正する修正値を計算し、この修正値（ディジタル信号）をＤ／Ａ変換器１０２ａ、１０２ｂに送出する。Ｄ／Ａ変換器１０２ａ、１０２ｂにおいてディジタル信号がアナログ信号に変換される。このアナログ信号に基づき、径方向駆動用ドライバ９９及び軸方向駆動用ドライバ１００は、それぞれ径方向位置制御コイル７２および軸方向位置制御コイル７１を駆動し、光学カプセル５０内の光学部材５１の位置を制御する。
【００９２】
なお、本実施形態では、径方向磁気センサ３９および軸方向磁気センサ４０の出力は直接的に距離情報を示す。したがって、ＰＩ制御のうちＩ項についてのみ演算を行えばよい。
【００９３】
次に、上述の回転駆動制御及び位置制御における光学部材の回転位置の検出方法の詳細について説明する。図１１は、原点センサ６５および径方向磁気センサ３９によるマーカ６６および着磁部６８の検出結果を示す図であり、図１２は、図１１の検出結果に基づくシフト制御部１４による位置検出方法の詳細を示す説明図である。図１２では、横軸の経過時間ｔに対する原点センサ出力、高速カウンタ値およびゼロクロスカウント値の変化が示されている。
【００９４】
着磁部６８（図７参照）では、１６極の磁力が各径方向磁気センサ３９ａ〜３９ｃによって図１１に示すような正弦波として検出されるように着磁パターンが設定されている。そして、コンパレータ９１ａ（図１０参照）は、これら各径方向磁気センサ３９ａ〜３９ｃの検出出力において、磁極がＮ極からＳ極（或いはＳ極からＮ極）に変化する際のゼロクロス（図１１中に○印で示す）を検出するとＦＧ信号（パルス信号）を出力し、このＦＧ信号は、割り込み信号（以下、「ゼロクロス割り込み信号」という。）として演算処理部９２に入力される。
【００９５】
ゼロクロスは、光学部材５１（図７参照）の１回転あたり１６回検出される。例えば、定速回転する光学部材５１の回転周期を２２５ｍｓとした場合、１つの径方向磁気センサ３９は２２５／１６＝１４．０６２５ｍｓ周期でゼロクロスを検出することになる。また、着磁部６８の各磁極の間隔は同一（すなわち、周方向に２２．５°の間隔）に設定されているため、図１１に示すように、各径方向磁気センサ３９の検出出力は、位相が１／３周期ずつずれたものとなる。したがって、３つの径方向磁気センサ３９ａ〜３９ｃは、全体として光学部材５１が１回転する（２２５ｍｓ）ごとに４８（１６×３）個のゼロクロスを検出し、その検出周期の理論値は４．６８７５ｍｓ（２２５ｍｓ／４８）となる。ここで、各ゼロクロス間の変位角度は、７．５°（３６０°／４８）である。
【００９６】
また、原点センサ６５（図１０参照）では、図１１に示すように、２２５ｍｓ周期でパルス信号を出力し、このパルス信号の立ち上がりエッジが、演算処理部９２のＣＰＵ９３（図１０参照）に対する割り込み信号（ＩＲＱ）として機能する。
【００９７】
ＣＰＵ９３では、上記ゼロクロスを検出することにより、光学部材５１の７．５°の回転を認識できるが、本実施形態では、図１２に示すように、ゼロクロス間の経過時間をＣＰＵ９３に内蔵された１６ｂｉｔの高速カウンタで計数することにより、より高精度に光学部材５１の回転位置を検出している。
【００９８】
図１２において、ＣＰＵ９３は、原点センサ６５の出力に基づく割り込み信号（ＩＲＱ１）の直後に、ゼロクロス割り込み信号（ＩＲＱ２）を検出すると、プログラム変数であるゼロクロスカウント値を０にリセットする。その後、ＣＰＵ９３は、ゼロクロス割り込み信号（ＩＲＱ３，ＩＲＱ４等）を検出する度にゼロクロスカウント値をカウントアップし、ゼロクロスカウント値が４７まで到達すると、次のコンパレータ９１ａの割り込み信号（ここでは、ＩＲＱ２）の検出時にゼロクロスカウント値を０にリセットする。つまり、ゼロクロスカウント値は、０〜４７の間で周期的にリセットとカウントアップが繰り返される。ＣＰＵ９３は、このゼロクロスカウント値の値をモニタすることにより、光学部材５１の回転角度（回転位置）をより高精度に把握することができる。
【００９９】
ゼロクロス割り込み信号（図１２中のＩＲＱ１〜ＩＲＱ４等）は、高速カウンタに対しては直接的にリセットパルスとして機能する。つまり、高速カウンタは、各ゼロクロス割り込み信号により、カウント値が０にリセットされ、再びカウントアップを繰り返す。ここで、高速カウンタのカウントクロックを例えば１ＭＨｚとし、ゼロクロス割り込み信号の周期を４．６８７５ｍｓとすると、隣接するゼロクロス割り込み信号の間に４６８７（４．６８７５×１０−３×１０６）のカウントが行われる。すなわち、高速カウンタのカウント値は理論値として０〜４６８７をとる。
【０１００】
また、シフト制御部１４（図１０参照）では、図１２において、電荷蓄積期間の開始（または終了）を指示する割り込み信号（ＩＲＱ５）を駆動回路３３から受信する。図１２では、ＩＲＱ５が発生した時のゼロクロスカウント値は１であり、このとき、ＣＰＵ９３が取得した高速カウンタの値が２１００であるとすると、光学部材５１の回転角度θrotは、１０．８６°（（１＋２１００／４６８７）×７．５°）となる。なお、ここでは、電荷蓄積期間の開始時点における光学部材５１の回転角度を検出しているが、電荷蓄積が行われている間も光学部材５１は回転を続けている。この回転速度は一定かつ既知であるから、例えば、電荷蓄積期間に応じて電荷蓄積期間の開始と終了の中間時点の回転位置を求めて、これを代表値として用いてもよい。
【０１０１】
上述のように、光学的シフトが行われる方向は、原点センサ６５によるマーカ６６の検出位置が基準となっているが、図１２に示すように、原点センサ６５の出力とゼロクロスが発生するタイミングにはオフセット（時間差）が存在する。このようなオフセットを意図的に設けることで、原点センサ６５に基づく割り込み（ＩＲＱ１）とゼロクロスによる割り込み（ＩＲＱ２）との競合を回避している。
【０１０２】
一方で、このオフセットを考慮しないと光学部材５１の正確な回転位置は算出できない。つまり、上記回転角度θrotは、原点センサ６５がマーカ６６を検出した後に発生した最初のゼロクロス（ＩＲＱ２）から電荷蓄積期間の開始までに光学部材５１が回転した角度を表すものであるから、実際に光学的シフトが行われるのは、θrotにオフセットによる角度を加算したものとなる。ただし、ゼロクロスカウント値が４７の場合には、オフセットを考慮することで回転角度が３６０°を超える場合があるが、この場合には、計算結果から３６０°を減算すればよい。
【０１０３】
なお、上記オフセットによる角度は、予め原点センサ６５によるマーカ６６の検出から最初のゼロクロス（径方向磁気センサ３９ｃの出力を処理して得られたゼロクロス）の検出までの時間差（例えば、２ｍｓ）を実測しておくことにより、光学部材の理論的な回転周期（ここでは、２２５ｍｓ）から、３．２°（２／２２５×３６０°）と計算することができる。
【０１０４】
また、場合によっては、原点センサ６５の出力を高速カウンタのリセットパルスとして用いることができ、その場合、次のゼロクロス割り込み信号をＣＰＵ９３が有するインプットキャプチャ機能におけるイベント情報として利用して、オフセットの値を更新することも可能である。このオフセット更新処理は、例えば、撮像装置の電源投入時や所定期間内の温度変化が大きいような場合に行うとよい。
【０１０５】
光学的シフト機構３５（図２参照）による光学的シフトは、撮像素子３１の撮像面上において光像が円弧を描くようにして行われるが、この円弧の半径（以下、「シフト半径」という。）は平行平板５３の傾斜角度によって一意に定まる。したがって、上記のように回転角度θrotを高精度に計測可能としたことで、単純な三角関数の演算によって、光学的シフトが行われる位置情報（光学的シフトによりシフトされた光像のＸ、Ｙ座標位置）を高精度に算出することが可能となる。位置情報は、具体的には、超解像処理によって得るべき高解像度空間における画素（ピクセル）よりも細かい、いわゆるサブピクセルの精度で算出される。取得した光学的シフトの位置情報は、上述のように、シフト制御部１４から画像処理装置２の記憶部２３に送出され、撮像したフレーム画像と関連付けられて保存される。なお、図２では、シフト位置情報を画像データとは分離したルートで記憶部２３に伝送しているが、例えば、シフト位置情報をシフト制御部１４から画像処理部１２に送出し、画像処理部１２において画像データにパッキングして伝送するようにしてもよい。
【０１０６】
このように、ゼロクロスを検出することによって、光学部材５１の相対的な回転位置（回転角度）を検出することができる。本実施形態のように、液体中に回転体を磁気保持するような構成では、径方向磁気センサ３９と径側マグネット５５の距離の変化に応じて、回転体側の磁極と磁気センサ間の距離が変化する蓋然性が高い。しかしながら、光学部材５１の回転位置検出にゼロクロスを採用したため、径方向磁気センサ３９と径側マグネット５５の距離の影響を受けにくい（すなわち、磁極が切り替わる部分では距離変動の影響を受けにくい）という利点がある。
【０１０７】
図１３は、光像に対する画素の相対的な円運動の状況を示す模式図である。ここでは、撮像装置の光学的シフト機構においてシフト半径ｒを撮像素子３１の画素ピッチと同じ大きさに設定した例を示す。光像に対する画素の相対的な円運動は、図９に示したように、固定された撮像素子３１の画素に対して光像が変位するものであるが、ここでは、便宜上、画素に対する光像の相対的な移動を、静止した光像に対して撮像素子３１の画素が移動するように図示する。さらに、各画素は、光を受光する所定のサイズの受光領域を有するが、以下の説明では、便宜上、各画素の中心位置（画素中心）のみを図１３中に実線で示された複数の直線の交点として図示する。
【０１０８】
図１３において、Ｘ軸は主走査方向、Ｙ軸は副走査方向をそれぞれ示す。また、図中に実線で示されたＸ軸方向およびＹ軸方向における複数の直線は、それぞれ画素ピッチの間隔で配置されている。さらに、図中に破線で示されたＸ軸およびＹ軸方向における複数の直線は、上述した超解像処理における高解像度空間の画素を示すためのものであり、ここで、高解像度空間の画素は、画素ピッチを主走査および副走査をともに４分割したサブピクセル（すなわち、４×４倍の超解像処理を行う場合）として規定されている。なお、４×４倍の超解像処理で得られる有利な効果は、これよりも分割数が小さい場合（例えば、画素ピッチＬを３分割、即ち３×３倍の超解像）であっても、同様に得られる。
【０１０９】
撮像素子３１は、入射光のうちＲ（Red）成分を受光するＲ画素と、Ｂ（Blue）成分を受光するＢ画素と、Ｇ（Green）成分を受光するＧ画素の各画素がいわゆるベイヤ配列に基づいて配列された、いわゆる単板式のカラー撮像素子である。このベイヤ配列では、Ｇ画素が全画素数の１／２の画素数で千鳥状（チェッカフラッグ状）に配置され、Ｒ画素及びＢ画素が各全画素数の１／４ずつの画素数でＧ画素の配置位置を除く位置に分散配置されている。
【０１１０】
なお、シフト半径ｒは、平行平板５３における光路部分の厚みおよび傾斜角度ならびにポリピレングリコール濃度を調整することによって変更することができる。例えば、シフト半径ｒを画素ピッチと同一とした場合、平行平板５３の厚みは０．１ｍｍ、傾斜角度は傾斜角度＝２０°、ポリピレングリコール濃度は６０ｗｔ％（６０ｗｔ％（ＰＧと水の混合比が６：４であり、屈折率は約１．３８）となる。
【０１１１】
図１３中に実線の円で示すように、各画素（例えば、Ｇ画素）の画素中心は、各黒丸（●）を回転中心として画素ピッチと同じ大きさの半径を有する円軌道を描いて運動する。ここでは、光像に対する画素の相対的な円運動を１方向に一定速度で連続して行わせながら撮像が行われる。図１３中に○印で示した撮像基準位置Ｐ１〜Ｐ１５は撮像のタイミングを示すものであり、これら少しずつずれた各撮像基準位置において１枚のフレーム画像が順次生成される。特に、ここでは、円軌道を移動する画素（例えば、Ｇ画素）の中心位置を撮像基準位置（実質的な撮像位置）として示しており、各撮像基準位置で電荷蓄積が開始され、直後の撮像基準位置の手前で電荷蓄積が完了して画素信号が出力される。
【０１１２】
この円運動の回転速度は上述したＰＩ制御によって安定して保たれ、平行平板５３（図９等参照）の回転位置の基準は上述した原点センサ６５（図６参照）によって管理され、また平行平板５３の傾斜角変動のシフト幅（シフト位置）に対する影響は小さく抑えられているから、各タイミングで撮像されるフレーム画像の撮像位置（すなわち、撮像素子と光像との相対位置）は極めて高精度に把握されることとなる。
【０１１３】
以降、図１０、図２を併用して説明する。
【０１１４】
上述の撮像位置に関する情報（以下、単に「位置情報」という。）は径方向磁気センサ３９及び原点センサ６５の出力に基づき演算処理部９２で逐次生成され（いずれも図１０参照）、演算処理部９２を含むシフト制御部（位置情報取得部）１４から記憶部２３へ出力され、撮像部１１から出力されたフレーム単位の画像データと関連づけて記憶される。そして超解像処理の過程で、位置情報は超解像処理部２４で参照され、この際に位置合わせ処理が簡略化される（いずれも図２参照）。
【０１１５】
なお、超解像処理で適切な高解像化を行うには、全ての画素における撮像タイミングは均一とすることが望ましく、本実施形態では各画素ライン間で電荷蓄積タイミングに時間差が生じないグローバルシャッタ方式を採用した。
【０１１６】
また、画素が１回の円運動を行う間に数多くの撮像（サンプリング）を行うことで、超解像処理で得られる高解像度画像の品質を高めることができ、特にここでは、円運動周期を撮像周期の非整数倍に設定する。このようにすると、円運動を繰り返すことで、多数の異なる位置での撮像が可能となるため、撮像位置が微小に異なる画像を多数生成することができるので、超解像処理で得られる高解像度画像の品質を向上させることができる。これに対して、円運動周期を撮像周期の整数倍とすると、円運動を繰り返しても撮像基準位置に変化がなく、１回の円運動で設定可能な撮像基準位置の数に限定される。
【０１１７】
以下、円運動周期と撮像周期との比率を具体的に定めて、撮像基準位置の例について図１４を用いて説明する。図１４は、撮像周期と円運動周期との比率の一例での撮像基準位置の状況を示す模式図である。なお、図１４では、画素ピッチを１として図示している。
【０１１８】
図１４に示す例では、円運動周期を撮像周期の７．５倍に設定している。ここで、撮像周期を例えば３０ms（約３０frame/s）とすると、円運動周期は２２５msとなる（＝３０ms×７．５）。この場合、円運動の２回目で撮像基準位置が原位置に復帰し、円運動が２回行われる間に１５回の撮像（サンプリング）が行われる。各撮像基準位置は４８°（＝３６０°／７．５）の相対角度をもって離間している。なお、超解像効果は画像にブレ（積分効果）があると抑制されるため、撮像素子３１における電荷蓄積期間（シャッタ速度）の選定は重要である。この観点からすれば、シャッタ速度は可能な限り高速にすべきである。しかし、一方でシャッタ速度を高速にすると感度不足となりやすいため、被写体の光量に応じてシャッタ速度優先でゲインを補償するのが望ましい。本実施形態ではシャッタ速度を１／２５０sec（４ms）に設定している。撮像周期＝３０msに対してシャッタ速度をこの程度にすると、超解像処理における画像のブレによる悪影響は目視上観測されなかった。
【０１１９】
円運動の１回目では、図１４（Ａ）に示すように、撮像基準位置Ｐ１〜Ｐ８で撮像が行われ、円運動の２回目では、図１４（Ｂ）に示すように、撮像基準位置Ｐ９〜Ｐ１５で撮像が行われ、各撮像基準位置Ｐ９〜Ｐ１５は、円運動の１回目における隣り合う撮像基準位置（例えばＰ１とＰ２）の中間位置となる。円運動の１回目と２回目とを合わせると、図１４（Ｃ）に示すように、各撮像基準位置Ｐ１〜Ｐ１５が２４°の相対角度をもって離間する。
【０１２０】
ここで、円運動の１回目の撮像基準位置Ｐ１〜Ｐ８での撮像で得られた８枚の画像に基づいて超解像処理を行う第１の処理モードと、円運動の１回目と２回目とを合わせた撮像基準位置Ｐ１〜Ｐ１５での撮像で得られた１５枚の画像に基づいて超解像処理を行う第２の処理モードとの２つの処理モードを選択することができる。
【０１２１】
第１の処理モードでは、本来の１画素の範囲内に、Ｘ軸、Ｙ軸の両方向で位置の異なる２つの撮像基準位置が設定されるため、Ｘ軸、Ｙ軸のそれぞれの方向について撮像素子３１の本来の解像度のほぼ２倍の解像度で高解像度化を行うことができる。一方、第２の処理モードでは、本来の１画素の範囲内に、Ｘ軸、Ｙ軸の両方向で位置の異なる４つの撮像基準位置が設定されるため、Ｘ軸、Ｙ軸のそれぞれの方向について撮像素子３１の本来の解像度のほぼ４倍の解像度で高解像度化を行うことができる。
【０１２２】
特に、この第２の処理モードでは、円運動の２回目で設定される撮像基準位置Ｐ９〜Ｐ１５の各々が、円運動の１回目で設定される撮像基準位置Ｐ１〜Ｐ８の互いに隣り合うもの同士の中心位置になり、撮像基準位置が偏ることなく均等に分散された状態となるため、超解像処理との適合性に優れた画像を生成することができる。
【０１２３】
また、撮像装置１で撮像が行われている最中に撮像装置１で超解像処理を行うことも可能であり、この場合、第２の処理モードでは、円運動が２回行われて１５枚の画像が揃う度に１回の超解像処理を行えばよい。
【０１２４】
一方、第１の処理モードでは、撮像基準位置を順次シフトさせながら８枚の画像が揃う度に超解像処理を行うとよい。具体的には、１回目で、撮像基準位置Ｐ１〜Ｐ８での撮像で得られた８枚の画像を用いて超解像処理を行い、２回目で、撮像基準位置Ｐ９〜Ｐ１５、Ｐ１での撮像で得られた８枚の画像を用いて超解像処理を行い、以降、３回目では撮像基準位置Ｐ２〜Ｐ９、４回目では撮像基準位置Ｐ１０〜Ｐ１５、Ｐ１、Ｐ２というように撮像基準位置を１つずつずらすようにする。
【０１２５】
このように２つの処理モードを設定することができ、両モードでは、円運動周期（光学的シフト機構３５の回転速度）や撮像周期を変化させる必要がないため、制御が容易である。
【０１２６】
なお、各モードでの超解像処理に用いる最初の画像は原位置Ｐ１の撮像で得られた画像に限定する必要がなく、第１の処理モードでは、任意の位置から１回の円運動が行われる間に撮像された８枚の画像を用いて超解像処理を行い、第２の処理モードでは、任意の位置から２回の円運動が行われる間に撮像された１５枚の画像を用いて超解像処理を行うようにしてもよい。
【０１２７】
このような処理は、図３に示したように、画像処理装置２の記憶部２３に蓄積されたフレーム画像を用いて超解像処理を行う場合にも、また撮像装置１での撮像の最中に超解像処理を行う場合にも適用することができ、特に後者の場合には、処理モードの切り替えに伴って撮像開始位置を原位置Ｐ１に戻す操作が必要でないため、直ちに処理モードを切り替えて解像度が異なる高解像度画像を生成することが可能になる。
【０１２８】
図２に示したように、撮像周期は、画像処理装置２において入力部２６を用いてユーザにより指定され、周期設定部２５にて、指定された撮像周期に基づいて円運動周期が決定され、ここで決定された円運動周期に関するコマンド信号が撮像装置１に送信される。撮像装置１のシフト制御部１４では、画像処理装置２から取得した円運動周期に関するコマンド信号に基づいて、指定された円運動周期に対応する回転速度で光学的シフト機構３５を動作させる。
【０１２９】
また、ユーザは処理モード（第１の処理モードと第２の処理モード）を指定することができ、図３に示したように、画像処理装置２の記憶部２３に蓄積されたフレーム画像を用いて超解像処理を行う場合には、基準画像と共に処理モードをユーザに指定させ、ここで指定された処理モードに応じた数のフレーム画像を、基準画像として指定されたフレーム画像を基準にして読み出して超解像処理を行わせればよい。
【０１３０】
なお、上記円運動周期は、適宜変更することが可能である。例えば、円運動周期を撮像周期の７．２倍に設定することにより、円運動の５回目で撮像基準位置が原位置に復帰し、円運動が５回行われる間に３６回の撮像（サンプリング）が行われる構成も可能である。その場合、各撮像基準位置は５０°（＝３６０°／７．２）の相対角度をもって離間する。
【０１３１】
次に、図１５〜図１８を参照して、上記第１実施形態に係る画像処理装置２において、所定の被写体について、光学的シフトにより撮像位置の異なる複数の低解像度画像から１枚の高解像画像を生成するための超解像処理について説明する。
【０１３２】
図１５は図２の画像処理装置２における超解像処理部２４の機能ブロック図であり、図１６は超解像処理部２４による超解像処理の流れを示すフロー図であり、図１７は超解像処理における撮像画像の処理の一例を示す説明図であり、図１８は、超解像処理における各フレーム画像の処理を示すブロック図である。
【０１３３】
図１６において、まず、範囲指定部１０１（図１５参照）は、撮像画像において超解像処理が必要となるユーザが指定した範囲（指定範囲）を設定する（Ｓ１０１）。ユーザは、入力部２６（図２参照）から予めこの指定範囲を入力することができる。
【０１３４】
次に、シフトキャンセル部１０２（図１５参照）は、記憶部２３から連続的に撮像された一連の低解像度画像とこれら各画像に対応する位置情報（撮像位置の座標。上述したように、高解像度空間における画素の位置より細かい精度を持つ）とを取得し、上記指定範囲について、低解像度空間においてシフトキャンセル処理を実施する（Ｓ１０２）。
【０１３５】
シフトキャンセル処理とは、撮像画像に対して上述した光学的シフト機構３５によって付与された光学的シフトの影響（即ち画像の移動）をキャンセル、即ちシフト位置をもとに戻す処理を意味する。但し、シフトキャンセルは上述のように低解像度空間における画素単位に行われるから、光学的シフトが低解像度空間におけるピクセルサイズより小さい範囲で行われた場合等は、シフトキャンセル処理によって画像がシフト前の状態に完全に戻る訳ではない。
【０１３６】
ここで、シフトキャンセル部１０２は、例えば、図１７に示すように、低解像度画像として、高解像度化したい基準画像となるシフト位置情報（０，０）を有する撮像画像と、この基準画像に対して光学的シフトにより位置（Ｘ軸、Ｙ軸）が異なる複数の低解像度画像（ここでは、基準画像から下方にシフトしたシフト位置情報（０，１）有する撮像画像と、基準画像から左方にシフトしたシフト位置情報（１，０）有する撮像画像と、基準画像から下方及び左方にシフトしたシフト位置情報（１，１）有する撮像画像との３枚）とを取得する。そして、シフトキャンセル部１０２は、基準画像を除く各撮像画像に対して、位置情報に基づき光学的シフトを解消するシフトキャンセル処理を行うことにより、撮像画像（図１７中では、建物等の静止部分）の位置を基準画像の位置（光学的シフトの基準位置）と一致させたシフトキャンセル画像をそれぞれ生成する。この場合、シフトキャンセル部１０２は、低解像度画像を複数の画素または１画素単位でシフトさせてシフトキャンセル画像を生成することができる。
【０１３７】
なお、説明を簡単にするために、図１７には光学的シフトは上下左右に行われている例を示しているが、上述したシフト機構による円運動であっても、考え方は全く同じである。
【０１３８】
次に、動き検出部１０３（図１５参照）は、シフトキャンセル部１０２からシフトキャンセル画像を取得すると、第１検出部１０４により、各シフトキャンセル画について基準画像に対して静止・動き判定を実施する（Ｓ１０３）。ここで、第１検出部１０４は、１または複数の画素からなる着目する画素ブロック（処理対象領域）における画素の平均輝度変化（基準画像との差分）が所定量を越えた場合に当該画素ブロック内で被写体に動きがあったと判定する。このように平均的な値を参照する理由は、上述のようにシフトキャンセル処理によって、画像がシフト前の状態に完全に戻らない場合があり（なお、光学的シフトを円形とした場合、円運動は複数の角度ベクトルを含むため、通常、シフトキャンセル処理によって、シフト前の状態に戻る場合は殆どない）、誤判定の原因となるからである。
【０１３９】
動き検出部１０３は、動きありと判定すると（Ｓ１０４；Ｙｅｓ）、第２検出部１０５により、各シフトキャンセル画において動きベクトルを検出する（Ｓ１０５）。ここで、動きベクトルの検出方法としては、例えば、ＰＯＣ（Phase Only Correlation：位相限定相関法）、ブロックマッチング法および勾配法等を用いることができる。これらは公知の手法であるため詳細な説明は省略するが、例えば、ＰＯＣについては特許第３０３５６５４号公報、ブロックマッチング法については特開２００１−１９５５９７号公報、勾配法については特公平５−４０５１３号公報をそれぞれ参照されたい。
【０１４０】
次に、位置合わせ処理部１０６（図１５参照）は、第２検出部１０５から動きベクトルの情報を取得すると、基準画像との位置合わせをするための位置合わせ処理を実施する（Ｓ１０６）。すなわち、位置合わせ処理部１０６は、各シフトキャンセル画像において動いた部分（図１７では、建物の前を左から右へ走行する自動車の部分）ついて、高解像度画像空間上おいて基準画像の対応部分と一致するように上記動きベクトルに基づき公知の動き補償を実施し、当該動いた部分についての位置合わせ画像を生成する。なお、これらの処理は着目する画素ブロック単位に行われる。そして、図１５において、選択部１１１は、その位置合わせ画像を再構成処理部１０７に送出する。
【０１４１】
一方、ステップＳ１０４において、着目する画素ブロックが動きなし（Ｎｏ）と判定された場合、ステップＳ１０５、Ｓ１０６は省略される。そして、図１５において、選択部１１１は、上記位置合わせ画像の代わりに、記憶部２３からの低解像度画像を再構成処理部１０７に送出する。
【０１４２】
その後、再構成処理部１０７（図１５参照）は、動きのある部分の位置合わせ画像および、静止部分の低解像度画像と撮像位置情報を用いて再構成処理を実行し、高解像度画像を生成する（Ｓ１０７）。より詳細には、再構成処理部１０７は、高解像度推定処理部１０８により、公知の手法で複数枚の低解像度画像の各画素について高解像度空間の画素（サブピクセル）への当てはめを行う。特に、着目する画素ブロックに動きがない場合、当該画素ブロックには光学的シフトのみが作用しているため、低解像度画像は撮像位置の情報が高解像度空間のサブピクセル精度で既知であるから、再構成処理部１０７は、取得した低解像度画像と撮像位置情報に基づき、当該画素ブロックの画素を、高解像度空間に直接的に当てはめることができる。
【０１４３】
さらに、高解像度推定処理部１０８にて、必要に応じて不足領域についての補間処理（例えば、距離に応じた重み付け補間）を行う。
【０１４４】
次に、逆フィルタ（Inverse Filter）１０９により、公知の手法で生成された劣化関数の逆関数で画像を復元する。
【０１４５】
なお、図１５に示す機能はハードウェア又はハードウェアとソフトウェアの結合又はソフトウェア（画像処理プログラム）によって実現することができる。そして着目する画素ブロックにおいて動きがない場合は、ステップＳ１０５、Ｓ１０６を容易に省略することができ、高速化が図られ、超解像処理における計算コストが大幅に低減される。
【０１４６】
上述のような超解像処理は、図１８に示すように、複数（ここでは、Ｎ枚）の低解像度画像に対し、順次実行される。図１８は、Ｎ枚の低解像度画像それぞれについて同一部分を占める画素ブロックに対して、並列に動き検出及び位置合わせ処理を行なう状況を示しているが、このような構成を用いた場合でも、着目する画素ブロックに動きがない場合、動き検出部１０３に該当する処理及び位置合わせ処理部１０６に該当する処理を容易に省略することができ、高速化が図られ、計算コストの低減が達成される。
【０１４７】
（第２実施形態）
次に、図１９、図２０及び上述の図１６を併せて参照して、本発明の第２実施形態に係るネットワークカメラシステムについて説明する。第２実施形態では、以下で特に言及する事項を除いて上述の第１実施形態の場合と同様とする。また、図１９、図２０では、第１実施形態と同様の構成要素については同一の符号を付してある。
【０１４８】
図１９は第２実施形態に係る超解像処理部２４の機能ブロック図であり、図２０は第２実施形態に係る超解像処理における撮像画像の処理の一例を示す説明図である。
【０１４９】
第２実施形態における超解像処理は、図１６中に２点鎖線で示すように、ステップＳ１０７の再構成処理において、低解像度画像の代わりにシフトキャンセル画像を用いる点において、第１実施形態の場合とは異なる。位置合わせ処理部１０６は、図２０に示すように、各シフトキャンセル画像の動きのある部分ついて、基準画像の対応部分と一致するように上記動きベクトルに基づき動き補償を実施し、位置合わせ画像を生成する（Ｓ１０６）そして、図１６中のステップＳ１０４において、着目する画素ブロックが動きなし（Ｎｏ）と判定された場合、図１９において、選択部１１１は、上記位置合わせ画像の代わりに、シフトキャンセル部１０２からのシフトキャンセル画像を再構成処理部１０７に送出する。この場合、第１実施形態における低解像度画像の場合とは、位置情報の有する意味が若干異なる。
【０１５０】
即ち、第１実施形態における低解像度画像の「位置情報」は、撮像された画像の高解像度空間における絶対的な座標を意味するが、第２実施形態におけるシフトキャンセル画像の「位置情報」は、低解像度空間の１画素内の相対的な位置情報を意味する。もっとも、第１実施形態と第２実施形態との間で「位置情報」の表現形式は同じでよく、各形態で「位置情報」をどのように解釈するかの違いでしかない。
【０１５１】
以上述べてきたように、第１実施形態と第２実施形態においては、撮像位置の情報に基づき低解像度空間において光学的シフト機構による光学シフトをキャンセルするシフトキャンセル画像を生成すると共に、動き検出部で、基準となる低解像度画像とシフトキャンセル画像の間で動きを検出しなかった場合には、低解像度画像またはシフトキャンセル画像（いずれも撮像位置が既知）を用いて高解像度空間における再構成処理を実行する構成としている。
【０１５２】
（第３実施形態）
次に、図２１ａ，ｂ〜図２３を参照して、本発明の第３実施形態に係るネットワークカメラシステムについて説明する。第３実施形態では、以下で特に言及する事項を除いて上述の第１実施形態の場合と同様とする。また、図２１〜図２３では、第１実施形態と同様の構成要素については同一の符号を付してある。
【０１５３】
図２１ａ，ｂは光像に対する画素の相対的な円運動において生じる撮像位置の位置ずれを示す説明図であり、図２２は第３実施形態に係る超解像処理部２４の機能ブロック図であり、図２３は第３実施形態に係る超解像処理部２４による超解像処理の流れを示すフロー図である。
【０１５４】
図１３、図１４について上述したように、各撮像基準位置は、所定のシフト半径の円軌道上に位置するのが理想である。例えば図２１ａは光学的シフト機構３５のシフト半径として約３．８画素、３０フレーム／秒で、シフト機構一周あたり６４画像を撮像するように、シフト機構の回転速度を調整して得た撮像位置の軌跡を示している。光学的シフト機構３５を駆動し続けても、撮像位置の座標には全く変化がみられず、高度な繰り返し再現性を備えている。部品精度を適切に管理して光学的シフト機構を設計・作成し、更にフィードバック制御の変数等を最適化することで、現実に図２１ａに示す特性を得ることが可能であり、この程度の性能を備えるならば、第１実施形態、第２実施形態で説明したように、光学的シフト機構３５から得られた撮像位置の情報に基づき、位置合わせ処理（図１６のステップＳ１０５，Ｓ１０６）を省略することができる。
【０１５５】
しかしながら、例えば光学的シフト機構３５を低コストで作成したような場合は、図２１ｂに示すように撮像位置の軌跡（図中に◆印で示す）には、回転時における光学的シフト機構３５の構成要素の振動や、径方向磁気センサ３９の出力のバラツキや経時変化等によって位置ずれ（光学的シフトの誤差）が生じる場合がある。例えば、図２１ｂにおいて、光学部材５１が原点センサ基準位置Ｐｏから角度θだけ回転した場合、シフト制御部１４は円軌道上の位置Ｐｐを撮像位置として出力するが、実際に画像から判断された撮像位置は位置Ｐｒとなる。
【０１５６】
このような実際の撮像位置の誤差について発明者らが鋭意調査したところ、シフト制御部１４が出力する撮像位置（撮像基準位置）と、実際に画像から判断された撮像位置との間には明らかな空間的相関があり、発生する誤差は高解像度空間における所定の範囲内に収まることがわかった。つまり、撮像位置の位置ずれが生じた場合でも、発生する誤差の範囲（ここでは、高解像度空間における１画素幅の範囲Ｗ）に探索範囲を限定した位置合わせ処理を行うことにより、演算量を大幅に低減することができることが分かった。
【０１５７】
図２３において、動き検出部１０３（図２２参照）が動きありと判定すると（Ｓ１０４；Ｙｅｓ）、第２検出部１０５により、各シフトキャンセル画について所定の探索範囲（第１の範囲）で動きベクトルを検出し（Ｓ１０５）、更に、第１位置合わせ処理部１０６（図２２参照）は、第１実施形態の場合と同様に位置合わせ処理を実施し、位置合わせ画像を生成する（Ｓ１０６）。
【０１５８】
一方、ステップＳ１０４において、着目する画素ブロックが動きなし（Ｎｏ）と判定された場合、第３検出部１２１（図２２参照）は、記憶部２３からの位置情報に基づいて動きベクトルを検出する（Ｓ１０８）。このとき、第３検出部１２１の探索範囲（第２の範囲）は、高解像度空間における１画素（サブピクセル）幅の範囲内に設定され、第２検出部１０５の探索範囲（例えば、高解像度空間における１００画素以上）に比べて小さい。そして、第２位置合わせ処理部１２２（図２２参照）は、第３検出部１２１が検出した動きベクトルに基づき動き補償を実施し、当該動いた部分についての位置合わせ画像を生成する（Ｓ１０９）
【０１５９】
この場合、選択部１１１は、第１検出部１０４が、第１検出部１０４が動きありと判定すると（Ｓ１０４；Ｙｅｓ）、第１位置合わせ処理部１０６で動き補償を行った位置合わせ画像を再構成処理部１０７に出力する一方、動きなしと判定すると（Ｓ１０４；Ｎｏ）、第２位置合わせ処理部１２２で動き補償を行った位置合わせ画像を再構成処理部１０７に出力する。
【０１６０】
本発明について実施例を含む特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。なお、上記実施形態に示した本発明に係る撮像装置の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
【産業上の利用可能性】
【０１６１】
本発明に係る撮像システム並びにこれに用いる画像処理装置、画像処理方法および画像処理プログラムは、光学的シフトの誤差が生じ得る場合でも、超解像処理における無駄な位置合わせ処理を抑制することにより、計算コストを低減することを可能とし、撮像素子の受光面上で結像する光像と撮像素子とを相対的に微小変位させながら撮像を行う、いわゆる画素ずらしによって取得した複数の低解像度画像から超解像処理により高解像度画像を生成するのに適した撮像システム並びにこれに用いる画像処理装置、画像処理方法および画像処理プログラムとして有用である。
【符号の説明】
【０１６２】
１ 撮像装置
２ 画像処理装置
１１ 撮像部
１２ 画像処理部
１４ シフト制御部（位置情報取得部）
３１ 撮像素子
３５ 光学的シフト機構
３６ 磁気回転駆動部
３８ 位置制御部
３９ 径方向磁気センサ
４０ 軸方向磁気センサ
４１ センサモジュール
４２ レンズユニット（光学系）
５０ 光学カプセル
５１ 光学部材
５２ 液体（流体）
５３ 平行平板
５４ バックヨーク
５５ 径側マグネット
５６ 上マグネット
５７ 下マグネット
６５ 原点センサ
７２ 位置制御コイル
７５ 電磁石
７６ 永久磁石
７７ 連結部材
１０２ シフトキャンセル部
１０３ 動き検出部
１０６ （第１）位置合わせ処理部
１０７ 再構成処理部
１２２ 第２位置合わせ処理部
Ｃ 光軸
【技術分野】
【０００１】
本発明は、撮像素子の受光面上で結像する光像と撮像素子とを相対的に微小変位させながら撮像を行う、いわゆる画素ずらしによって取得した複数の原画像から超解像処理により高解像度画像を生成するのに適した撮像システム並びにこれに用いる画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
撮像装置には画素がマトリクス状に配置された２次元イメージセンサが採用されており、この２次元イメージセンサでは、解像度が画素の大きさや画素数に依存する。一方、撮像素子の受光面上で結像する光像と撮像素子とを相対的に微小変位させながら撮像を行う、いわゆる画素ずらしによって取得した複数の原画像から、撮像素子の本来の解像度より高い解像度の画像を生成する手法が従来から知られている。
【０００３】
このような画素ずらしによる高解像度化の手法においては、光像と撮像素子とを相対的に微小変位させるシフト機構（以下、「光学的シフト機構」という。なお、「光学的シフト」を「画素ずらし」と同義に用いる場合がある。）が必要であり、例えば、ピエゾ素子などからなるアクチュエータで撮像素子を微小変位させる技術が知られている（特許文献１参照）。
【０００４】
また、撮像光学系と撮像素子との間に撮像光学系の光軸に対して傾斜するように平行平板を配置し、この平行平板を光軸周りに回転させて、撮像素子の受光面上の光像の位置をずらす技術が存在する（特許文献２参照）。
【０００５】
また、画素ずらしによって取得した複数の原画像から高解像度画像を生成する画像処理法として、低解像度画像の画素値を高解像度画像の画素にマッピングするイメージシフト処理や、ＭＬ(Maximum-likelihood)法、ＭＡＰ(Maximum A Posterior)法や、ＰＯＣＳ(Projection On to Convex Sets)法などを用いた超解像処理の技術が知られている（特許文献１参照）。超解像処理の技術では、処理に用いる低解像度の原画像の枚数を増やし、撮像位置が微小に異なる原画像を多数用いることで、得られる高解像度画像の品質（実質的な解像度）を向上させることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−３０６４９２号公報
【特許文献２】特開２０００−１２５１７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、上記特許文献１では、液晶表示パネルの画面等の静止した状態にあるものを被写体としているが、撮像装置を監視カメラ等に適用する場合には、被写体（例えば、人物や自動車等）が移動する場合がある。一般的な超解像処理では、手ぶれ等により撮像位置が不規則に変化することを利用し、撮像によって得られた複数のフレーム画像から基準画像と他のフレーム画像とを高解像度空間で高精度にマッチングさせる、いわゆる「位置合わせ処理」が行なわれている。
【０００８】
しかしながら、この位置合わせ処理は、上述のような光学的シフトによって生じる既知の被写体の移動も、被写体自体が移動して生じる本来的に予測できない被写体の移動も区別されることなく実施されるため、膨大な繰り返し演算によって多くの無駄な演算処理が発生し、計算コストが嵩むという問題があった。
【０００９】
特に、上記位置合わせ処理において、光学的シフトによって生じる被写体の移動を考慮する場合には、回転時の振動やセンサ出力のバラツキ等に起因する光学的シフトの誤差を考慮する必要がある。
【００１０】
本発明は、このような従来技術の課題を鑑みて案出されたものであり、光学的シフトの誤差が生じ得る場合でも、超解像処理における位置合わせ処理を効率的に実施することにより、計算コストを低減することを可能とした撮像システム並びにこれに用いる画像処理装置、画像処理方法および画像処理プログラムを提供することを主目的とする。
【課題を解決するための手段】
【００１１】
本発明の撮像装置は、撮像素子と当該撮像素子の受光面上で結像する光像との相対的な円運動を行わせることにより撮像された複数の低解像度画像を取得し、これら撮像位置の異なる複数の低解像度画像から高解像度画像を生成する画像処理装置であって、前記低解像度画像の撮像位置の情報に基づき、当該低解像度画像の位置を基準となる基準低解像度画像の位置に一致させたシフトキャンセル画像を生成するシフトキャンセル部と、前記シフトキャンセル画像と前記基準低解像度画像との比較により、前記低解像度画像における動きを検出する動き検出部と、前記動き検出の結果に基づき、前記シフトキャンセル画像を前記基準低解像度画像と位置合わせすることにより、位置合わせ画像を生成する位置合わせ処理部と、前記位置合わせ画像を用いて再構成処理を実施することによって高解像度画像を生成する再構成処理部とを備え、前記位置合わせ処理部は、前記シフトキャンセル画像の所定の処理対象領域について、前記動き検出部で動きを検出した場合には、第１の範囲の動き検出に基づき前記位置合わせを実行し、一方、前記動き検出部で動きを検出しなかった場合には、前記第１の範囲よりも小さい第２の範囲の動き検出に基づき前記位置合わせを実行する構成とする。
【発明の効果】
【００１２】
このように本発明によれば、撮像位置の情報に基づき低解像度空間においてシフトキャンセル画像を生成すると共に、動き検出部で基準となる低解像度画像とシフトキャンセル画像の間で動きを検出しなかった場合には、動きを検出した場合よりも狭い探索範囲での動き検出に基づき位置合わせを実行する構成としたため、光学的シフトによる光像のシフト位置に誤差が生じ得る場合でも、超解像処理における位置合わせ処理を効率的に実施することにより、計算コストを低減することが可能となるという優れた効果を奏する。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１実施形態に係るネットワークカメラシステムの全体構成図
【図２】第１実施形態に係る撮像装置及び画像処理装置の概略構成を示すブロック図
【図３】第１実施形態に係る撮像装置及び画像処理装置における処理状況を示す模式図
【図４】第１実施形態に係る撮像装置の撮像部を示す断面図
【図５】第１実施形態に係る光学的シフト機構の分解斜視図
【図６】第１実施形態に係る光学的シフト機構の斜視図
【図７】第１実施形態に係る光学的シフト機構の平面図
【図８】第１実施形態に係る光学的シフト機構の要部断面図
【図９】第１実施形態に係る撮像素子への光の入射状況を示す断面図
【図１０】第１実施形態に係る光学的シフト機構におけるシフト制御部１４の構成図
【図１１】第１実施形態に係る原点センサ６５および径方向磁気センサ３９によるマーカ６６および着磁部６８の検出結果を示す図
【図１２】第１実施形態に係るシフト制御部１４による位置検出方法の説明図
【図１３】第１実施形態に係る光像に対する画素の相対的な円運動の状況を示す模式図
【図１４】第１実施形態に係る撮像周期と円運動周期との比率の一例での撮像基準位置の状況を示す模式図
【図１５】第１実施形態に係る画像処理装置２における超解像処理部２４の機能ブロック図
【図１６】第１実施形態に係る超解像処理部２４による超解像処理の流れを示すフロー図
【図１７】第１実施形態に係る超解像処理における撮像画像の処理の一例を示す説明図
【図１８】第１実施形態に係る超解像処理における各フレーム画像の処理を示すブロック図
【図１９】第２実施形態に係る超解像処理部２４の機能ブロック図
【図２０】第２実施形態に係る超解像処理における撮像画像の処理の一例を示す説明図
【図２１ａ】第３実施形態に係る光像に対する画素の相対的な円運動において生じる撮像位置の位置ずれを示す説明図
【図２１ｂ】第３実施形態に係る光像に対する画素の相対的な円運動において生じる撮像位置の位置ずれを示す説明図
【図２２】第３実施形態に係る超解像処理部２４の機能ブロック図
【図２３】第３実施形態に超解像処理部２４による超解像処理の流れを示すフロー図
【発明を実施するための形態】
【００１４】
上記課題を解決するためになされた第１の発明は、撮像素子と当該撮像素子の受光面上で結像する光像との相対的な円運動を行わせることにより撮像された複数の低解像度画像を取得し、これら撮像位置の異なる複数の低解像度画像から高解像度画像を生成する画像処理装置であって、前記低解像度画像の撮像位置の情報に基づき、当該低解像度画像の位置を基準となる基準低解像度画像の位置に一致させたシフトキャンセル画像を生成するシフトキャンセル部と、前記シフトキャンセル画像と前記基準低解像度画像との比較により、前記低解像度画像における動きを検出する動き検出部と、前記動き検出の結果に基づき、前記シフトキャンセル画像を前記基準低解像度画像と位置合わせすることにより、位置合わせ画像を生成する位置合わせ処理部と、前記位置合わせ画像を用いて再構成処理を実施することによって高解像度画像を生成する再構成処理部とを備え、前記位置合わせ処理部は、前記シフトキャンセル画像の所定の処理対象領域について、前記動き検出部で動きを検出した場合には、第１の範囲の動き検出に基づき前記位置合わせを実行し、一方、前記動き検出部で動きを検出しなかった場合には、前記第１の範囲よりも小さい第２の範囲の動き検出に基づき前記位置合わせを実行する構成とする。
【００１５】
これによると、撮像位置の情報に基づき低解像度空間においてシフトキャンセル画像を生成すると共に、動き検出部で基準となる低解像度画像とシフトキャンセル画像の間で動きを検出しなかった場合には、動きを検出した場合よりも狭い探索範囲での動き検出に基づき位置合わせを実行する構成としたため、光学的シフトによる光像のシフト位置に誤差が生じ得る場合でも、超解像処理における位置合わせ処理を効率的に実施することにより、計算コストを低減することが可能となる。
【００１６】
また、第２の発明は、前記低解像度画像において前記処理対象領域となり得る範囲を指定する範囲指定部を更に備えた構成とする。
【００１７】
これによると、超解像処理が必要な範囲を予め指定することにより、超解像処理における無駄な位置合わせ処理を効果的に抑制することができる。
【００１８】
また、第３の発明は、前記動き検出部は、前記シフトキャンセル画像について動きの有無を判定する第１検出部と、前記第１検出部が動き有りと判定した場合に、前記シフトキャンセル画像について前記第１の範囲で動きベクトルを検出する第２検出部と、前記第１検出部が動きなしと判定した場合に、前記シフトキャンセル画像について前記第２の範囲で動きベクトル検出する第３検出部とを有する構成とする。
【００１９】
これによると、第１検出部で動きを検出しなかった場合には、第３検出部による動きベクトルの検出をより狭い探索範囲で効率的に実行することが可能となり、計算コストを低減することができる。
【００２０】
また、第４の発明は、前記シフトキャンセル部は、前記低解像度画像を画素単位でシフトさせて前記シフトキャンセル画像を生成することを特徴とする構成とする。
【００２１】
これによると、シフトキャンセル画像を精度良く生成することができる。
【００２２】
また、第５の発明は、上記第１から第４の発明のいずれかに係る画像処理装置と、前記低解像度画像を撮像する撮像装置とを備えた撮像システムであって、前記撮像装置は、被写体からの光を光電変換して画素信号を出力する撮像素子と、前記被写体からの光を前記撮像素子に導く光学系と、前記撮像素子の受光面上で結像する光像と前記撮像素子との相対的な円運動を行わせる光学的シフト機構と、前記光学的シフト機構による円運動を指定の周期で行わせるシフト制御部と、前記撮像素子の前記撮像位置の情報を取得する位置情報取得部とを備えた構成とする。
【００２３】
また、第６の発明は、撮像素子と当該撮像素子の受光面上で結像する光像との相対的な円運動を行わせることにより撮像された複数の低解像度画像を取得し、これら撮像位置の異なる複数の低解像度画像から高解像度画像を生成する画像処理方法であって、前記低解像度画像の撮像位置の情報に基づき、当該低解像度画像の位置を基準となる基準低解像度画像の位置に一致させたシフトキャンセル画像を生成するシフトキャンセル生成ステップと、前記シフトキャンセル画像と前記基準低解像度画像との比較により、前記低解像度画像における動きを検出する動き検出ステップと、前記動き検出の結果に基づき、前記シフトキャンセル画像を前記基準低解像度画像と位置合わせすることにより、位置合わせ画像を生成する位置合わせ処理ステップと、前記位置合わせ画像を用いて再構成処理を実施することによって高解像度画像を生成する再構成処理ステップとを有し、前記位置合わせ処理ステップは、前記シフトキャンセル画像の所定の処理対象領域について、前記動き検出部で動きを検出した場合には、第１の範囲の動き検出に基づき前記位置合わせを実行し、一方、前記動き検出部で動きを検出しなかった場合には、前記第１の範囲よりも小さい第２の範囲の動き検出に基づき前記位置合わせを実行する構成とする。
【００２４】
また、第７の発明は、画像処理装置を制御することにより、上記第６の発明に係る画像処理方法を実行する画像処理プログラムである。
【００２５】
以下、本発明の実施の形態について図面を参照しながら説明する。以下の説明では、用語「軸方向」は光軸方向（図４中の上下方向に相当）を示す共に、用語「径方向」は光軸と直交する方向（図４中の左右方向に相当）を示すものとする。径方向は、光軸を中心とした３６０゜内の任意の角度を取り得る。
【００２６】
（第１実施形態）
図１は、本発明の第１実施形態に係るネットワークカメラシステムの全体構成図である。図１に示すように、本発明が適用される撮像システムとしてのネットワークカメラシステムは、少なくとも１台の撮像装置（ここでは、ネットワークカメラ）１と、画像処理装置２とで構成される。撮像装置１と画像処理装置２とは、インターネット３を介して接続され、撮像装置１で生成した撮像データが、例えば遠隔地に存する画像処理装置２に送信されて、画像処理装置２で映像が表示される。また、撮像装置１を制御する各種のコマンド信号が画像処理装置２から撮像装置１に送信される。
【００２７】
なお、撮像データは、例えばＴＣＰ（ＵＤＰ）／ＩＰといった、いわゆるインターネットプロトコルを利用して撮像装置から画像処理装置に送信されるが、撮像データを、例えば暗号化、カプセル化してＶＰＮ（Vertual Private Network）を利用して送信してもよく、専用回線によって撮像装置１と画像処理装置２が１対１の関係で接続される、いわゆるＣＣＴＶ（Closed Circuit TV）と称されるネットワークカメラシステムとしてもよい。
【００２８】
図２は、図１に示した撮像装置及び画像処理装置の概略構成を示すブロック図である。図２に示すように、撮像装置１は、撮像部１１と、画像処理部１２と、データ圧縮送信部１３と、シフト制御部１４とを備えている。撮像部１１は、被写体からの光を光電変換してアナログの画素信号を出力する撮像素子３１を備えている。この撮像素子３１は、２次元ＣＭＯＳイメージセンサである。撮像素子３１は、例えばＱｕａｄ ＶＧＡ（1280×960画素）の画素構成を備え、センササイズは１／３インチ、隣接画素との間隔である画素ピッチＬは主走査方向、副走査方向ともに３．７５μｍである。なお、これに替えて２次元ＣＣＤイメージセンサを撮像素子３１に用いてもよい。
【００２９】
撮像素子３１から出力されるアナログ信号はＡ／Ｄ変換器３２でディジタル信号に変換され、このディジタル信号は画像処理部１２に入力され、ここで色補正、デモザイク処理、階調補正（γ補正）、ＹＣ分離処理等を施されて画像データに変換される。この画像データは、データ圧縮送信部１３において例えばＨ．２６４やＭＰＥＧ４等の圧縮処理を施された上で画像処理装置２に送信される。
【００３０】
また、撮像部１１は、後に詳述するが、撮像素子３１の受光面上で結像する光像と撮像素子３１とを相対的に微小変位させる光学的シフト機構３５を備えている。光学的シフト機構３５には、光像を微小変位させる光学部材（図４中の符号５１参照）を磁力により回転駆動する磁気回転駆動部３６と、光学部材の径方向および軸方向の位置をそれぞれ制御する位置制御部３８と、光学部材の径方向および軸方向の位置をそれぞれ検出する径方向磁気センサ３９および軸方向磁気センサ４０とを備えている。
【００３１】
光学的シフト機構３５は、シフト制御部１４により制御される。光学的シフト機構３５の回転部分にはここでは図示しない着磁部が設けられており、両磁気センサ３９、４０は着磁部の位置情報を検出してシフト制御部１４に出力する。シフト制御部１４は、この位置情報に基づいて磁気回転駆動部３６を制御して光学部材を回転させると共に、位置制御部３８を制御して光学部材を所定の位置に保持する。
【００３２】
画像処理装置２は、データ受信復号部２１と、表示部２２と、記憶部２３と、超解像処理部２４と、周期設定部２５と、入力部２６とを備えている。なお、この画像処理装置２は、パソコンやワークステーション等の情報処理装置に所要のアプリケーションソフトウェアを導入することで構成される他、ＣＣＴＶレコーダなど専用の装置であってもよい。
【００３３】
画像処理装置２では、撮像装置１から送信された圧縮画像データが、データ受信復号部２１にて受信されて復号された後、ＲＧＢの画像データに変換されて、リアルタイムにディスプレイ等からなる表示部２２に表示される。さらに、ＲＧＢの画像データは、ハードディスクドライブ装置等からなる記憶部２３に送られて、ここに一時的に蓄積され、必要に応じて記憶部２３から読み出して表示部２２で再生することができる。
【００３４】
また、例えば交通事故の検証の用途等で高解像度画像の必要が生じた場合には、記憶部２３から画像データを読み出して超解像処理部２４にて超解像処理を施して高解像度画像（静止画像）を生成し、その高解像度画像を表示部２２に表示させることができる。
【００３５】
また、入力部２６は、後に詳述するが、ユーザからの撮像周期の入力を受け付けて、これを周期設定部２５に送る。周期設定部２５は、入力部２６から送られてきた撮像周期に基づいて円運動周期を決定し、円運動周期に関するコマンド信号を撮像装置１に送信する。撮像装置１のシフト制御部１４は、円運動周期に関するコマンド信号に基づいて、光学的シフト機構３５を動作させることにより、指定された円運動周期に対応する回転速度で光学部材を回転駆動する。
【００３６】
また、周期設定部２５は、駆動回路３３に対して撮像タイミングに関する情報を送信し、これにより、駆動回路３３のタイミングジェネレータ（図示せず）は制御用の同期パルスを所定間隔で発生する。この同期パルスは、撮像素子３１に出力され、これにより、撮像素子３１の電荷蓄積期間（電子シャッタ期間）の始期および終期が決定される。また、同期パルスは、シフト制御部１４にも出力され、これにより、シフト制御部１４では、撮像素子３１が実際に露光されている期間を把握することができる。
【００３７】
図３は、撮像装置１及び画像処理装置２における処理状況を示す模式図である。図３に示すように、撮像素子３１は駆動回路３３によって駆動され、駆動回路３３が生成するタイミング信号に応じて一定の周期（以下、撮像周期）で撮像（サンプリング）が行われる。例えばフレームレートを３０frame/secとして１秒あたり３０枚のフレーム画像を生成する場合、撮像周期は３０ｍｓ程度に設定される。
【００３８】
画像処理装置２の超解像処理部２４では、時間的に連続する複数のフレーム画像から高解像度画像を生成する超解像処理が行われる。この超解像処理では、まず、記憶部２３に蓄積されたフレーム画像がコマ送りで静止画として表示される。そして、その中からユーザにより基準画像（基準低解像度画像）が指定されると、その基準画像となるフレーム画像とその前後の複数のフレーム画像が記憶部２３から読み出されて超解像処理部２４に送られて超解像処理が行われる。
【００３９】
超解像処理としては、例えば、ＭＬ（Maximum-likelihood）法、ＭＡＰ（Maximum A Posterior）法や、ＰＯＣＳ（Projection On to Convex Sets）法などが採用され、アプリケーションソフトウェアをＣＰＵで実行することで実現される。一般に超解像処理は演算量が多いため、処理の一部をＧＰＵ（Graphics Processing Unit）や、専用ハードウェアを用いて行うようにしてもよい。
【００４０】
ここで、ＭＬ法とは、高解像度画像から推定された低解像度画像の画素値と、実際に観測された画素値との二乗誤差を評価関数とし、この評価関数を最小化するような高解像度画像を推定画像とする方法である。つまり、ＭＬ法とは、最尤推定の原理に基づく超解像処理方法である。また、ＭＡＰ法とは、二乗誤差に高解像度画像の確率情報を付加した評価関数を最小化するような高解像度画像を推定する方法である。つまり、ＭＡＰ法とは、高解像度画像に対するある先見情報を利用して、事後確率を最大化する最適化問題として高解像度画像を推定する超解像処理方法である。ＰＯＣＳ法とは、高解像度画像と低解像度画像との画素値に関して連立方程式を作成し、その方程式を逐次的に解くことにより、高解像度画像を得る超解像処理方法である。
【００４１】
これらの超解像処理は、まず、高解像度画像を仮定し、そして仮定した高解像度画像から、カメラモデルから得られる点広がり関数（ＰＳＦ関数）に基づき、低解像度画像の画素について、その画素値を推定し、その推定値と観測された画素値（観測値）との差が小さくなるような高解像度画像を探索するという処理を有している。そのため、これらの超解像処理は、再構成型超解像処理と呼ばれている。
【００４２】
さて、ここで高解像度画像を探索する処理は、低解像度画像として得られた画素が高解像度画像においてどの位置に対応するのかを探索するものであり、いわゆる「位置合わせ（レジストレーション）」と呼ばれる処理である。一般に超解像処理では、複数の低解像度画像間の画素位置の変化が不明であっても高解像度化を可能とするため、着目画素の周囲に対して広範囲に位置合わせ処理を繰り返し実行する。このため計算コストが極めて大きくなることが知られている。一方、後に詳しく説明するように、本発明では光学的シフト機構３５によってシフトされた画素の位置は既知であり、そして、その既知の位置で各フレーム画像、すなわち低解像度画像を撮像するようにしたため、少なくとも静止している被写体については、光学的シフトによって位置合わせ処理の多くを省略することが可能となり、計算コストを大幅に削減することができる。
【００４３】
なお、時間的に連続する複数のフレーム間に及ぶ画像情報を利用する超解像処理は、特にフレーム間再構成型超解像処理と呼称されることもある。一方で、１つのフレーム内で再構成型超解像処理を行う場合は、フレーム内再構成型超解像と呼称される。本実施形態では、フレーム間再構成型超解像を採用している。
【００４４】
なお、ここでは、画像処理装置２において超解像処理によって高解像度化された静止画像を再生するものとしているが、画像処理装置２の処理能力が十分に高ければ、超解像処理で得られた高解像度画像をフレーム画像として動画を再生することも可能である。
【００４５】
図４は、図２に示した撮像装置１の撮像部１１を示す断面図であり、図５は、図４に示した撮像装置１の光学的シフト機構３５の分解斜視図であり、図６は、光学的シフト機構３５の斜視図であり、図７は、光学的シフト機構３５の平面図であり、図８は、光学的シフト機構の要部断面図である。なお、図５では、説明の便宜上、光学カプセル（カプセル部材）５０の内部に収容される各部材（光学部材５１等）を外部に取り出した態様で示している。また、図５および図６では、図７に示す回転駆動コイル８１を省略してある。
【００４６】
図４に示すように、撮像装置１の撮像部１１は、撮像素子３１が設けられたセンサモジュール４１と、被写体（図示せず）からの光を撮像素子３１の受光面３１ａ上で結像させるレンズユニット（光学系）４２と、撮像素子３１の受光面３１ａ上で結像される光像を光軸Ｃに対して垂直な方向に変位させる光学的シフト機構３５とを有している。レンズユニット４２はレンズホルダ４５を介して基板４６に支持されている。センサモジュール４１及び光学的シフト機構３５も基板４６に支持されている。なお、基板４６には、必要に応じてその他電気部品等が搭載される。
【００４７】
光学的シフト機構３５は、例えば透明樹脂あるいは硝材から形成された光学カプセル５０と、この光学カプセル５０に収容された光学部材５１とを主として備える。光学カプセル５０の内部には、空気よりも高い屈折率を有する液体（流体）５２が封入されている。また、液体５２の屈折率は、後述する平行平板５３の屈折率よりも小さく設定されている。
【００４８】
光学部材５１は、略円板状を呈しており、その中央部にはレンズユニット４２の光軸Ｃに対して所定角度傾斜した平行平板５３が設けられている。平行平板５３は、光学ガラスやアクリル樹脂等の材料から形成することができる。また、光学部材５１の外周側には、その外周部を支持する円環状のバックヨーク５４と、バックヨーク５４の外周部に取り付けられた円環状の径側マグネット５５と、バックヨーク５４における光学部材５１の光入射側および光出射側の部位（ここでは、バックヨーク５４の上下面）にそれぞれ固定された上マグネット（第１軸側マグネット）５６および下マグネット（第２軸側マグネット）５７が設けられている。上マグネット５６および下マグネット５７は、共に同一径の円環状を呈している。これら各部材５４〜５７は、光軸Ｃを中心として同軸的に配置されており、液体５２が充填された光学カプセル５０内に光学部材５１と共に収容されている。
【００４９】
光学カプセル５０は、上下方向に重ね合わされた２つの部材５０ａ、５０ｂから構成され、これにより、液体５２が封入される密閉空間が形成されている。光学カプセル５０は、中央がくびれた断面を呈しており、光軸Ｃを中心とした円板状の空間を画成する中央部６０と、この中央部６０の外周側に連なると共に、矩形断面を有する円環状の空間を画成する円環部６１とを有している。中央部６０には平行平板５３が収容される一方、上下方向に拡幅された円環部６１には、光学部材５１の外周部およびバックヨーク５４等が収容されている。ここで、光学カプセル５０の内面と光学部材５１の表面との間隔は０．５ｍｍに設定されている。なお、光学カプセル５０は、少なくとも中央部６０における光軸Ｃ周辺の光路部分（レンズユニット４２からの入射光が通過する領域）が上述のような透明材料で形成されていればよい。
【００５０】
ここで、光学カプセル５０（中央部６０）が配置されるレンズユニット４２とセンサモジュール４１との間の間隔Ｄは、通常は非常に狭く（例えば、約３ｍｍ）、撮影範囲が広角になるのに応じてさらに狭くなる。しかしながら、光学部材５１（平行平板５３）のみを光路に配置するようにすれば、間隔Ｄが狭いにも拘わらず支障なく装置を構成することができる。
【００５１】
また、光学カプセル５０の中央部６０の上面６０ａはレンズユニット４２の下面４２ａに当接しており、これにより、光学カプセル５０とレンズユニット４２との間の光路（厳密には、入射光が通過する空間）が密閉される。さらに、円環部６１の下面６１ａは基板４６の上面４６ａに当接しており、これにより、光学カプセル５０とセンサモジュール４１との間の光路（すなわち、光学カプセル５０、センサモジュール４１および基板４６で画成される空間Ｖ）が密閉されている。このような構成により、レンズユニット４２から撮像素子３１までの光路中への塵埃等の侵入に起因する画質の劣化を防止することができる。なお、上記のように光路を密閉する方法としては、撮像素子３１をモールドされたイメージセンサそのものとして捉えるならば、光学カプセル５０をイメージセンサに直接当接させる構成としてもよい。
【００５２】
なお、光学カプセル５０の光路に対応する部分以外を不透明（例えば、黒色）としてもよい。このようにすることで、撮像素子３１に不要な光が入る、いわゆる迷光を遮断することができる。
【００５３】
本実施形態では、液体５２として不凍液（ポリピレングリコールと水との混合物）を用いている。液体５２が水を含む場合、磁性体（例えば、鉄系の材料）で形成されたバックヨーク５４には錆が生じ得る。これを防止するため、バックヨーク５４の表面には樹脂コーティングが施されている。なお、不凍液は水系である必要性はなく、例えば、透明なシリコンオイルを採用してもよい。この場合は径側マグネット５５等に錆が生じるおそれはなく、樹脂コーティングといった防錆処理は不要となる。また、撮像装置１の設置環境が室内に限定されるような場合は、必ずしも不凍液を用いる必要はない。また、磁気特性は若干劣るが、バックヨーク５４を例えばＳＵＳ３１６等の非磁性金属材料や樹脂等で形成することにより、錆の発生を抑えることもできる。
【００５４】
図５に示すように、光学的シフト機構３５において、光学カプセル５０の周辺には、径側マグネット５５に磁力を作用させることによって光学部材５１及び径側マグネット５５を流体以外と非接触状態、即ちこれらを光学カプセル５０の内壁と非接触で回転させる６つの磁気回転駆動部３６と、径側マグネット５５、上マグネット５６、及び下マグネット５７にそれぞれ磁力を作用させることにより、光学部材５１の径方向および軸方向の位置を正規位置（平行平板５３が光学カプセル５０に接触することなく回転可能な定位置）に保持する３つの位置制御部３８（以下、各々を区別する必要がある場合には、図７に示すように位置制御部３８ａ、３８ｂ、３８ｃと称する。）とが設けられている。このように光学部材５１の径側マグネット５５、上マグネット５６、及び下マグネット５７はいずれも永久磁石であり、これらに磁力を作用させる位置制御部３８に電磁石を採用しているが、これによって光学カプセル５０内部には一切の信号線が引き込まれず、光学カプセル５０の密閉性を高めることを可能としている。
【００５５】
後に詳述するように、光学部材５１の回転駆動および径方向の位置制御は、図６に示す位置検出部としての３つの径方向磁気センサ３９（以下、各々を区別する必要がある場合には、図７に示すように径方向磁気センサ３９ａ、３９ｂ、３９ｃと称する。）の出力する情報に基づいて行われる。また、光学部材５１の軸方向の位置制御は、図６に示す位置検出部としての軸方向磁気センサ４０が出力する情報に基づいて行われる。
【００５６】
このような構成により、光学部材５１は、液体５２を満たした光学カプセル５０内で非接触状態で回転する。この磁力を利用した構成は、いわゆるベアリングレスモータの構成に準ずるものであり、摺動部が全く存在せず、光学的シフト機構３５は極めて低振動で駆動され、かつ長寿命を達成することができる。
【００５７】
また、図６に示すように、光学カプセル５０の周辺には、光学部材５１の回転に伴う原点位置を定期的に検出する原点センサ６５が設けられている。原点センサ６５は、反射型フォトセンサ（フォトリフレクタ）からなり、径側マグネット５５の上部に設けられたマーカ６６（図４参照）を検出する。原点センサ６５としては、反射型フォトセンサに限らず、他の光学センサを含む周知のセンサを用いることができる。この原点センサ６５の出力と、径方向磁気センサ３９の出力とによって検出される径側マグネット５５の着磁部６８（図７参照）の磁極位置によって、光軸Ｃに対して傾斜した平行平板５３による光のシフト方向を確実に把握することができる。
【００５８】
マーカ６６は、図４に示すように、光学カプセル５０を挟んで原点センサ６５と対向するように配置される。マーカ６６は、平行平板５３の傾斜方向の延長線上に配置され、矢印Ａで示すように、平行平板５３に入射した光はマーカ６６が付されている方向にシフトする。したがって、原点センサ６５により、平行平板５３による入射光のシフト方向（すなわち、光学部材５１の回転位置）を検出することができる。マーカ６６は、光学的に識別されるものであり、例えば、径側マグネット５５にマグネットと異なる色で印刷されていてもよいし、マグネットの表面粗さを変えて結果的に異なる反射率が得られるようにされていてもよい。原点センサ６５は、マーカ６６と径側マグネット５５との反射率の違いを利用してマーカ６６を検出する。
【００５９】
光学部材５１の回転方向において、平行平板５３の傾斜方向と回転方向におけるマーカ６６の位置との関係を予め把握しておくことにより、マーカ６６を検出したタイミングで平行平板５３の方向（すなわち、光学的シフトの方向）が検出できる。つまり、マーカ６６検出時に平行平板５３の回転角度を知ることができるため、光学的シフトがなされる方向を特定することが可能である。ここで、平行平板５３による光学的シフト量は、光軸に対する平行平板５３の角度に依存するが、この角度は軸方向磁気センサ４０で検出され、図８に示す磁気回路で一定になるように制御される。また、バックヨーク５４を含む回転体が回転することで、コマの回転と同様にジャイロ効果により軸ブレは小さく抑えられるから、光軸に対する平行平板５３の角度（すなわち、光学的シフト量）は略一定となる。したがって、平行平板５３の回転角度から光学的シフトによる光像ずれの座標を算出することができる。
【００６０】
ところで、図２に示した超解像処理部２４にて実施される超解像処理では、撮像位置をサブミクロンオーダ（例えば、画素ピッチＬは５．６μｍとして、これを超解像処理で４×４倍に拡大する場合、新たに生成される画素ピッチＬは５．６／４＝１．４μｍとなり、サブミクロンオーダの変位が必要となる）で決定することができれば、いわゆる「位置合わせ処理」の演算コストを大幅に低減できることが知られている。本発明に係る撮像装置及びネットワークカメラシステムでは、上記のような原点センサ６５を採用し、駆動回路３３が生成するタイミング信号（同期パルス）に応じて撮像素子３１で撮像が行われたときの光像のシフト位置が決定されるため、超解像処理の演算コストを低減することができる。つまり、本発明によれば、画像のシフト位置を確実に把握できるため、上述の高解像度画像の探索量が減少し、光学的シフトの撮像対象のうち静止部分についての超解像処理の演算コストが大幅に減少する。
【００６１】
図７に示すように、径側マグネット５５は、その周方向に沿って交互にＮ極及びＳ極に着磁された１６の磁極からなる着磁部６８を備えている。径側マグネット５５は、微小な磁性体粒子を分散混合したポリフェニレンサルファイド樹脂（ＰＰＳ）によって形成された、いわゆるプラスチックマグネットであり、これにより、水を含む液体５２中にあっても吸水および膨潤が防止される。ここでは、磁性体粒子としてネオジムを採用している。磁力が極めて大きいネオジム磁石は、大きな駆動トルクを得ることができるため、低温時に液体５２の粘性が大きくなった場合等に有効である。一方、ネオジムは水によって酸化されて錆を生じ得るため、径側マグネット５５は、その表面が樹脂材料でコーティングされ、液体５２との接触が防止されている。なお、上マグネット５６、下マグネット５７も同様にネオジム磁性体粒子を分散混合したＰＰＳで形成され、これらにも樹脂コーティングが施されている。径側マグネット５５、上マグネット５６、下マグネット５７として用いる磁性体粒子としては、ネオジムに限らず、例えば、フェライトやサマリウムコバルト等を用いることもできる。
【００６２】
磁気回転駆動部３６は、電磁鋼帯を複数積層してなるステータコア８０と、ステータコア８０に巻回された導線からなる回転駆動コイル８１とによって構成されている。略Ｕ字状をなすステータコア８０は、両端が光学カプセル５０の外壁に当接した状態でその外周面に沿って等間隔に配置されており、また、光学カプセル５０を介して径側マグネット５５の着磁部６８に対向配置されている。これにより、光学的シフト機構３５は、いわゆるインナロータ型の３相モータ（本実施形態では、１２スロット１６ポール）と同様の構成を有する。磁気回転駆動部３６は、回転駆動コイル８１に電流を流すことで生じる磁界によって着磁部６８に作用する引力および斥力により、着磁部６８を所定の方向に回転させる。これにより、バックヨーク５４と光学部材５１（平行平板５３）とが光軸Ｃ周りに回転する。
【００６３】
径方向磁気センサ３９ａ、３９ｂ、３９ｃは、ホール素子からなり、光学カプセル５０の外壁に当接した状態でその外周面に沿って周方向に等間隔で配置されており、それぞれは、隣接する２つの磁気回転駆動部３６の間に位置する。このような径方向磁気センサ３９ａ、３９ｂ、３９ｃの配置により、光学部材５１の径方向の変位量を精度良く検出することができる。径方向磁気センサ３９としてホール素子を用いることで、光学カプセル５０内の光学部材５１の位置を約１μｍの精度で検出することができる。より高い精度が必要となる場合はホール素子に替えて光位置センサ（PSD:Position Sensitive Detector）を用いてもよい。ＰＳＤを用いることで位置検出精度は０．１μｍ程度まで改善される。
【００６４】
なお、位置検出手段としてホール素子を用いた場合の検出精度が１μｍである点と、上述した「撮像位置をサブミクロンオーダで決定する」という点は矛盾するものではない。本実施形態の光学的シフト機構３５において、光学部材５１（平行平板５３）は、単に入射光を平行シフトさせるパワーしか有さず、光像のシフト位置はもっぱら光学部材５１の回転角度によって決定される。光学部材５１が光軸方向や径方向に対して平行に変位しても、平行平板５３によるシフト位置は全く影響を受けず、影響を受けるとすれば、光学部材５１の光軸Ｃに対する傾斜角が変動する場合である。本実施形態では、後に詳細に説明するように傾斜角変動による影響を小さくしており、結果的に検出精度が１μｍ程度であっても、サブミクロンオーダの精度でシフト位置が決定される。
【００６５】
図７に示した１２スロット１６ポールの構成では、光学カプセル５０の外周部には、隣接する磁気回転駆動部３６の間に６つの空間が生じることになる。したがって、これらの空間に、３つの径方向磁気センサ３９ａ、３９ｂ、３９ｃを、それぞれ３つの位置制御部３８ａ、３８ｂ、３８ｃと光軸Ｃを中心として１８０度回転した位置に配置することができる。これにより、光学カプセル５０の外側のスペースを有効利用して装置の小型化を実現しつつ、光学部材５１の径方向の位置制御を容易に行うことが可能となる。
【００６６】
径方向磁気センサ３９は、径側マグネット５５の着磁部６８から生じた磁力を検出することで、着磁部６８の磁極（Ｎ極とＳ極）の位置情報を出力する。より詳細には、径方向磁気センサ３９は、自身に対して径側マグネット５５のＮ極とＳ極の１組が相対移動すると、これを１周期とする正弦波を位置情報としてシフト制御部１４（図２参照）に出力する。シフト制御部１４は、この位相情報を処理することで、光学部材５１の回転速度を計算する。すなわち、径方向磁気センサ３９及びシフト制御部１４は、光学部材５１の回転位置検出部及び回転速度検出部として機能する。
【００６７】
このような回転速度の検出方法に替えて、例えば、光学部材５１又は径側マグネット５５の外周部（着磁部等）にマーキングを施し、これを光学式センサ（フォトリフレクタ）で検出するようにしてもよい。その場合、白黒のマーキングとすれば、比較的狭ピッチで描けるため、より高いサンプリングレートで回転角速度の検出が可能となる。
【００６８】
軸方向磁気センサ４０は、光学カプセル５０の上面外壁に当接して位置制御部３８の近傍に配置されている。軸方向磁気センサ４０は、図４中に２点鎖線で示すように、光学カプセル５０を介して上マグネット５６に対向するように配置されているが、場合によっては、下マグネット５７に対向するように軸方向磁気センサ４０を配置してもよい。軸方向磁気センサ４０は、上マグネット５６から生じる磁力の大きさを検出することにより、上マグネット５６が取り付けられたバックヨーク５４（すなわち、光学部材５１）の軸方向の位置情報を出力する。この位置情報に基づき、シフト制御部１４（図２参照）は、軸方向位置制御コイル７１（図８参照）に流す電流を制御し、光学部材５１の軸方向の位置制御を行う。
【００６９】
図８に示すように、位置制御部３８は、電磁鋼帯を複数積層した略Ｅ形を呈するステータコア７０と、ステータコア７０の下側端部において上方（光軸方向に平行な方向）に突出する突部７０ａに捲回された軸方向位置制御コイル７１と、ステータコア７０の中間部において側方（光軸方向に垂直な方向）に突出する突部７０ｂに捲回された径方向位置制御コイル７２とを有している。突部７０ａおよび突部７０ｂの先端は、光学カプセル５０の下面および外周面にそれぞれ当接した状態にある。
【００７０】
軸方向位置制御コイル７１によって突部７０ａに形成される電磁石７４は、下マグネット５７に対して作用する磁力を発生する軸方向磁力発生手段として機能し、光学部材５１の軸方向の位置制御に用いられる。また、径方向位置制御コイル７２によって突部７０ｂに形成される電磁石７５は、径側マグネット５５に対して作用する磁力を発生する径方向磁力発生手段として機能し、光学部材５１の径方向の位置制御に用いられる。
【００７１】
また、ステータコア７０の上側端部には、光学カプセル５０を挟んで突部７０ａと対向配置された下方（光軸方向に平行な方向）に突出する突部７０ｃが設けられている。突部７０ｃは、永久磁石７６の一部として形成されており、その先端が光学カプセル５０の上面に当接した状態にある。永久磁石７６は、上マグネット５６に対して作用する磁力を発生する軸方向磁力発生手段として機能し、対向する下方の電磁石７４と協働し、光学部材５１の軸方向の位置制御に用いられる。この場合、永久磁石７６と上マグネット５６とは同磁極（ここでは、共にＮ極）であり、これらの間には斥力が作用する。なお、永久磁石７６としてはネオジム磁石を採用しているが、下方の電磁石７４による磁力とのバランスを考慮して、他の磁石（例えば、フェライト磁石等）を用いてもよい。
【００７２】
突部７０ｂは、ステータコア７０の上部と下部とを連結する連結部材７７の一部として形成されている。連結部材７７は、電磁石７４、電磁石７５、及び永久磁石７６の間に磁気的な相互作用が生じないようにするために、非磁性体（例えば、樹脂、セラミック等）から形成されている。
【００７３】
なお、本実施形態では、位置制御部３８は、光学部材５１の径方向および軸方向の位置を制御する手段として機能するが、径方向の位置を制御する位置制御部と軸方向の位置を制御する位置制御部とをそれぞれ個別に設けた構成も可能である。
【００７４】
軸方向の位置制御においては、軸方向位置制御コイル７１に電流を流すことにより電磁石７４が励磁され、互いに同磁極（ここでは、Ｓ極）の電磁石７４と下マグネット５７との間に斥力が生じる。この斥力の大きさを、光学カプセル５０を挟んで電磁石７４とは反対側に位置する永久磁石７６と上マグネット５６との間に作用する斥力との釣り合わせることにより、光学部材５１の軸方向位置が正規位置に保持される。
【００７５】
一方、電磁石７４が励磁されない場合には、光学部材５１には永久磁石７６からの斥力が作用して光学部材５１は下方に移動し、かつ下マグネット５７と無通電状態のステータコア間の引力によって（すなわち、下マグネット５７の下端が光学カプセル５０に当接した状態）で固定される。このように、撮像装置に電源を投入していない場合（例えば、撮像装置の運搬等の際）には、光学部材５１が確実に固定されるため、平行平板５３の破損を防止することができる。この場合、光学部材５１（平行平板５３）は、上記固定状態においても、破損防止等の観点から光学カプセル５０に接触しないことが好ましい。したがって、光学部材５１が図８に示す正規位置にある場合には、下マグネット５７と光学カプセル５０との間隔ｄ１は、光学部材５１と光学カプセル５０との間隔ｄ２よりも小さくなるように設定される。
【００７６】
なお、光学的シフト機構３５では、永久磁石７６と上マグネット５６との間ならびに電磁石７４と下マグネット５７との間にそれぞれ引力を作用させて、それらを釣り合わせる構成も可能である。しかしながら、上述のように斥力を作用させることで、初期起動時等に上マグネット５６または下マグネット５７による磁力（吸着力）の影響により、光学部材５１に摩擦力が生じて装置が起動できなくなる等のトラブルを防止できるという利点がある。
【００７７】
また、径方向の位置制御においては、径方向位置制御コイル７２に電流を流すことにより電磁石７５が励磁され、径側マグネット５５との間に斥力が生じる。この斥力は、図７に示す位置制御部３８ａ、３８ｂ、３８ｃの配置により、径側マグネット５５の周囲の三方向から作用し、それらを釣り合わせることにより、光学部材５１の径方向位置が定位置に保持される。
【００７８】
上記光学的シフト機構３５では、図７に示したように、位置制御部３８ａと径方向磁気センサ３９ａ、位置制御部３８ｂと径方向磁気センサ３９ｂ、並びに位置制御部３８ｃと径方向磁気センサ３９ｃは、それぞれ互いに光軸Ｃを中心として１８０゜回転した位置に配置されている。そして、位置制御部３８ａ、３８ｂ、３８ｃの径方向位置制御コイル７２（図８参照）は、それぞれ径方向磁気センサ３９ａ、３９ｂ、３９ｃが検出した位置情報に基づき駆動される。つまり、各置制御部３８ａ、３８ｂ、３８ｃの径方向位置制御コイル７２は、それぞれ光学カプセル５０を挟んで対向する位置で検出された位置情報に基づき駆動される。このような構成により、径方向磁気センサ３９の出力の増大が、対応する位置制御部３８と光学部材５１（径側マグネット５５）との離間距離の増大に直接的に関連づけられ、位置制御の処理が容易となる。
【００７９】
また、上記光学的シフト機構３５では、図６および図７に示したように、磁気回転駆動部３６、径方向磁気センサ３９、軸方向磁気センサ４０、及び位置制御部３８を、それぞれ光学カプセル５０の外面に当接させている。このように、光学部材５１の回転駆動制御および位置制御に必要な構成要素を光学カプセル５０に当接させて配置する。これにより、光学カプセル５０自体の寸法精度を良好に管理すれば、各構成要素の位置関係（すなわち、距離関係）を極めて高精度に定めることが可能となり、高い制御性能を実現することができる。ここでは、好適な例として、回転駆動制御および位置制御に必要な全ての構成要素が光学カプセル５０に当接する構成としたが、これに限らず、それら構成要素の一部が光学カプセル５０に当接する構成も可能である。
【００８０】
また、上記光学的シフト機構３５では、光学部材５１を回転させるために、いわゆる３相モータに準ずる構成を適用した例を示したが、これを単相モータに準ずる構成を適用しても同様の効果を得ることができる。
【００８１】
図９は、撮像素子への光の入射状況を示す断面図であり、図９（Ａ）は入射した光の光路が最も右側にシフトした状態を示し、図９（Ｂ）は図９（Ａ）の状態から平行平板５３が１８０゜回転した状態を示している。なお、図９（Ｂ）の状態から、平行平板がさらに１８０゜回転すると、図９（Ａ）の状態に復帰する。
【００８２】
図９に示すように、光学部材５１の平行平板５３は、レンズユニット４２の光軸Ｃに対して傾斜しているため、レンズユニット４２を経て入射する光を屈折させ、撮像素子３１の受光面に入射する光の位置が平行平板５３の回転位置に応じて変化し、光学的シフト機構３５により光学部材５１を回転させると、撮像素子３１の受光面上で結像する光像が、光学部材５１の回転速度に応じた周期（円運動周期）で円を描くように移動し、これにより撮像素子３１に対して光像を相対的に微小変位させることができる。
【００８３】
図１０は、図４に示した光学的シフト機構３５におけるシフト制御部１４の構成図である。以下では、シフト制御部１４による光学部材５１の回転駆動制御及び位置制御について、図１０と図７とを併用して説明する。
【００８４】
まず、光学部材５１の回転駆動制御に関して説明する。光学部材５１の径側マグネット５５には、図７に示したように、１６極（８対のＮ極及びＳ極）の着磁部６８が設けられており、着磁部６８が発生する磁気は周方向に１２０°間隔で配置された３つの径方向磁気センサ３９により検出される。この径方向磁気センサ３９の検出出力（アナログ信号）は、コンパレータ９１ａに入力されるが、その入力前に、図示しない増幅器及びアナログオフセット回路によって、その信号レベルが接地レベルに対して±に変化するようアナログ的にシフトされる。そして、コンパレータ９１ａは、このアナログ信号のゼロクロスを検出するとＦＧ信号（パルス信号）を出力する。このＦＧ信号は、割り込み信号（ＩＲＱ）として演算処理部９２に入力される。上述のように径方向磁気センサ３９は３系統あるから、演算処理部９２はそれぞれのセンサについてゼロクロスに基づく割り込み信号を受け取る。また、原点センサ６５の検出出力は、コンパレータ（ＣＭＰ）９１ｂにおいて所定のレベルと比較されることにより２値化されたパルス信号に変換された後、割り込み信号（ＩＲＱ）として演算処理部９２に出力される。さらに、駆動回路３３から出力される同期パルスは、シフト制御部１４の演算処理部９２に対して割り込み信号（ＩＲＱ）として入力される。
【００８５】
ここで、着磁部６８の各磁極の間隔は同一に設定されているため、磁極間の距離は既知である。そこで、この距離をシフト制御部１４に設けられた高速カウンタで計数したパルス間（例えば、隣接するゼロクロスの間隔）の時間で除算すれば速度算出値Ｖｎが得られる。つまり、本実施形態では演算処理部９２は、速度算出部としても機能し、径方向磁気センサ３９の出力に基づいて光学部材５１の回転速度を算出する。このような構成により、径方向磁気センサ３９で光学部材５１の速度検出と位置検出とを行うことが可能となり、装置の低コスト化が図れる。
【００８６】
ここで、演算処理部９２における処理の詳細について説明する。演算処理部９２は、演算処理を実行するＣＰＵ９３と、ＣＰＵ９３の処理に必要なプログラムを記憶するＲＯＭ９４と、ＣＰＵ９３がプログラムを実行する際のワークエリアとして機能するＲＡＭ９５とを有する。演算処理部９２では、算出された光学部材５１の回転速度に基づきＰＩ制御（比例積分制御）を行うことにより、光学部材５１を等角速度で回転させる。光学部材５１が等速で回転するときのＦＧパルスの間隔（時間）は既知であるため、これを速度理論値Ｖｒ（設定された角速度、即ち速度目標値）として、当該速度理論値Ｖｒに対する速度算出値Ｖｎの誤差δＶを次式のように算出する。
δＶ＝Ｖｒ−Ｖｎ
【００８７】
なお、速度理論値Ｖｒおよび速度算出値Ｖｎは、本来は実数であるが、ＣＰＵ９３による演算を高速化するために、例えば、予め１６ｂｉｔの整数値として正規化することができる。ＰＩ制御のうち比例項であるＰ項は、δＶに適切なゲインＧｐを乗じて次式のように算出する。
Ｐ＝Ｇｐ×δＶ
【００８８】
ここで、ゲインが無限大であれば、Ｐ項のみを用いて速度制御が可能となるが、一般にゲインは有限であり、このとき速度オフセットを生じることから、誤差δＶを積分し、これに適切なゲインＧｉを乗じて積分項であるＩ（Ｉｎｔｅｇｒａｌ）項を次式のように算出する。
Ｉ＝Ｇｉ×Σ（δＶ）
【００８９】
このＰ＋Ｉがいわゆる速度指令値であり、ＣＰＵ９３は速度指令値をパルス幅変調器（ＰＷＭ）９６に送出する。この速度指令値に基づき、パルス幅変調器９６は所定周期におけるＯＮデューティ比を算出し、このデューティ比に基づきパルス幅変調された信号（ＰＷＭ信号）が３相ドライバ９７に出力される。３相ドライバ９７は、内部に３系統のプッシュプル型のトランジスタ回路９８を備え、シフト制御部１４から出力されたＰＷＭ信号に基づきスター結線された各回転駆動コイル８１に流す電流を制御して回転駆動を行う。ここで、各回転駆動コイル８１から取り出されたコモン信号は３相ドライバ９７に入力され、各プッシュプル型のトランジスタ回路９８の相励磁（ＯＮ／ＯＦＦ）が制御される。この相励磁の切り替えによって光学的シフト機構の回転が制御される。なお、この電流の制御には、パルス幅変調器９６の替わりに周知の電圧調整器を用いてもよい。いずれの構成を採用したとしても、速度理論値Ｖｒとして用いる速度目標値を変更することによって、光学部材５１を複数の異なる一定の角速度で回転させることが可能である。これによって周期設定部２５（図２参照）から指示された円運動周期で回転駆動制御が実行される。
【００９０】
次に、光学部材５１の位置制御について説明する。上述のように、光学部材５１の位置検出は、３つの軸方向磁気センサ４０と、ＦＧ信号（速度情報）の入力源を兼ねる３つの径方向磁気センサ３９とで行われる。これらのセンサ群は、上マグネット５６および径側マグネット５５に設けられた着磁部の磁気をそれぞれ検出する。この検出値は、Ａ／Ｄ変換器１０１ａ、１０１ｂによってディジタル信号へ変換される。各Ａ／Ｄ変換器１０１ａ、１０１ｂの出力は８ｂｉｔであり、演算処理部９２のＣＰＵ９３は合計８×３×２ｂｉｔの位置情報信号を受け取る。
【００９１】
そして、ＣＰＵ９３は、取得した位置情報信号に基づき理論値（光学部材５１が正規位置にある場合の径方向磁気センサ３９および軸方向磁気センサ４０との位置関係（既知の値））とのずれを修正する修正値を計算し、この修正値（ディジタル信号）をＤ／Ａ変換器１０２ａ、１０２ｂに送出する。Ｄ／Ａ変換器１０２ａ、１０２ｂにおいてディジタル信号がアナログ信号に変換される。このアナログ信号に基づき、径方向駆動用ドライバ９９及び軸方向駆動用ドライバ１００は、それぞれ径方向位置制御コイル７２および軸方向位置制御コイル７１を駆動し、光学カプセル５０内の光学部材５１の位置を制御する。
【００９２】
なお、本実施形態では、径方向磁気センサ３９および軸方向磁気センサ４０の出力は直接的に距離情報を示す。したがって、ＰＩ制御のうちＩ項についてのみ演算を行えばよい。
【００９３】
次に、上述の回転駆動制御及び位置制御における光学部材の回転位置の検出方法の詳細について説明する。図１１は、原点センサ６５および径方向磁気センサ３９によるマーカ６６および着磁部６８の検出結果を示す図であり、図１２は、図１１の検出結果に基づくシフト制御部１４による位置検出方法の詳細を示す説明図である。図１２では、横軸の経過時間ｔに対する原点センサ出力、高速カウンタ値およびゼロクロスカウント値の変化が示されている。
【００９４】
着磁部６８（図７参照）では、１６極の磁力が各径方向磁気センサ３９ａ〜３９ｃによって図１１に示すような正弦波として検出されるように着磁パターンが設定されている。そして、コンパレータ９１ａ（図１０参照）は、これら各径方向磁気センサ３９ａ〜３９ｃの検出出力において、磁極がＮ極からＳ極（或いはＳ極からＮ極）に変化する際のゼロクロス（図１１中に○印で示す）を検出するとＦＧ信号（パルス信号）を出力し、このＦＧ信号は、割り込み信号（以下、「ゼロクロス割り込み信号」という。）として演算処理部９２に入力される。
【００９５】
ゼロクロスは、光学部材５１（図７参照）の１回転あたり１６回検出される。例えば、定速回転する光学部材５１の回転周期を２２５ｍｓとした場合、１つの径方向磁気センサ３９は２２５／１６＝１４．０６２５ｍｓ周期でゼロクロスを検出することになる。また、着磁部６８の各磁極の間隔は同一（すなわち、周方向に２２．５°の間隔）に設定されているため、図１１に示すように、各径方向磁気センサ３９の検出出力は、位相が１／３周期ずつずれたものとなる。したがって、３つの径方向磁気センサ３９ａ〜３９ｃは、全体として光学部材５１が１回転する（２２５ｍｓ）ごとに４８（１６×３）個のゼロクロスを検出し、その検出周期の理論値は４．６８７５ｍｓ（２２５ｍｓ／４８）となる。ここで、各ゼロクロス間の変位角度は、７．５°（３６０°／４８）である。
【００９６】
また、原点センサ６５（図１０参照）では、図１１に示すように、２２５ｍｓ周期でパルス信号を出力し、このパルス信号の立ち上がりエッジが、演算処理部９２のＣＰＵ９３（図１０参照）に対する割り込み信号（ＩＲＱ）として機能する。
【００９７】
ＣＰＵ９３では、上記ゼロクロスを検出することにより、光学部材５１の７．５°の回転を認識できるが、本実施形態では、図１２に示すように、ゼロクロス間の経過時間をＣＰＵ９３に内蔵された１６ｂｉｔの高速カウンタで計数することにより、より高精度に光学部材５１の回転位置を検出している。
【００９８】
図１２において、ＣＰＵ９３は、原点センサ６５の出力に基づく割り込み信号（ＩＲＱ１）の直後に、ゼロクロス割り込み信号（ＩＲＱ２）を検出すると、プログラム変数であるゼロクロスカウント値を０にリセットする。その後、ＣＰＵ９３は、ゼロクロス割り込み信号（ＩＲＱ３，ＩＲＱ４等）を検出する度にゼロクロスカウント値をカウントアップし、ゼロクロスカウント値が４７まで到達すると、次のコンパレータ９１ａの割り込み信号（ここでは、ＩＲＱ２）の検出時にゼロクロスカウント値を０にリセットする。つまり、ゼロクロスカウント値は、０〜４７の間で周期的にリセットとカウントアップが繰り返される。ＣＰＵ９３は、このゼロクロスカウント値の値をモニタすることにより、光学部材５１の回転角度（回転位置）をより高精度に把握することができる。
【００９９】
ゼロクロス割り込み信号（図１２中のＩＲＱ１〜ＩＲＱ４等）は、高速カウンタに対しては直接的にリセットパルスとして機能する。つまり、高速カウンタは、各ゼロクロス割り込み信号により、カウント値が０にリセットされ、再びカウントアップを繰り返す。ここで、高速カウンタのカウントクロックを例えば１ＭＨｚとし、ゼロクロス割り込み信号の周期を４．６８７５ｍｓとすると、隣接するゼロクロス割り込み信号の間に４６８７（４．６８７５×１０−３×１０６）のカウントが行われる。すなわち、高速カウンタのカウント値は理論値として０〜４６８７をとる。
【０１００】
また、シフト制御部１４（図１０参照）では、図１２において、電荷蓄積期間の開始（または終了）を指示する割り込み信号（ＩＲＱ５）を駆動回路３３から受信する。図１２では、ＩＲＱ５が発生した時のゼロクロスカウント値は１であり、このとき、ＣＰＵ９３が取得した高速カウンタの値が２１００であるとすると、光学部材５１の回転角度θrotは、１０．８６°（（１＋２１００／４６８７）×７．５°）となる。なお、ここでは、電荷蓄積期間の開始時点における光学部材５１の回転角度を検出しているが、電荷蓄積が行われている間も光学部材５１は回転を続けている。この回転速度は一定かつ既知であるから、例えば、電荷蓄積期間に応じて電荷蓄積期間の開始と終了の中間時点の回転位置を求めて、これを代表値として用いてもよい。
【０１０１】
上述のように、光学的シフトが行われる方向は、原点センサ６５によるマーカ６６の検出位置が基準となっているが、図１２に示すように、原点センサ６５の出力とゼロクロスが発生するタイミングにはオフセット（時間差）が存在する。このようなオフセットを意図的に設けることで、原点センサ６５に基づく割り込み（ＩＲＱ１）とゼロクロスによる割り込み（ＩＲＱ２）との競合を回避している。
【０１０２】
一方で、このオフセットを考慮しないと光学部材５１の正確な回転位置は算出できない。つまり、上記回転角度θrotは、原点センサ６５がマーカ６６を検出した後に発生した最初のゼロクロス（ＩＲＱ２）から電荷蓄積期間の開始までに光学部材５１が回転した角度を表すものであるから、実際に光学的シフトが行われるのは、θrotにオフセットによる角度を加算したものとなる。ただし、ゼロクロスカウント値が４７の場合には、オフセットを考慮することで回転角度が３６０°を超える場合があるが、この場合には、計算結果から３６０°を減算すればよい。
【０１０３】
なお、上記オフセットによる角度は、予め原点センサ６５によるマーカ６６の検出から最初のゼロクロス（径方向磁気センサ３９ｃの出力を処理して得られたゼロクロス）の検出までの時間差（例えば、２ｍｓ）を実測しておくことにより、光学部材の理論的な回転周期（ここでは、２２５ｍｓ）から、３．２°（２／２２５×３６０°）と計算することができる。
【０１０４】
また、場合によっては、原点センサ６５の出力を高速カウンタのリセットパルスとして用いることができ、その場合、次のゼロクロス割り込み信号をＣＰＵ９３が有するインプットキャプチャ機能におけるイベント情報として利用して、オフセットの値を更新することも可能である。このオフセット更新処理は、例えば、撮像装置の電源投入時や所定期間内の温度変化が大きいような場合に行うとよい。
【０１０５】
光学的シフト機構３５（図２参照）による光学的シフトは、撮像素子３１の撮像面上において光像が円弧を描くようにして行われるが、この円弧の半径（以下、「シフト半径」という。）は平行平板５３の傾斜角度によって一意に定まる。したがって、上記のように回転角度θrotを高精度に計測可能としたことで、単純な三角関数の演算によって、光学的シフトが行われる位置情報（光学的シフトによりシフトされた光像のＸ、Ｙ座標位置）を高精度に算出することが可能となる。位置情報は、具体的には、超解像処理によって得るべき高解像度空間における画素（ピクセル）よりも細かい、いわゆるサブピクセルの精度で算出される。取得した光学的シフトの位置情報は、上述のように、シフト制御部１４から画像処理装置２の記憶部２３に送出され、撮像したフレーム画像と関連付けられて保存される。なお、図２では、シフト位置情報を画像データとは分離したルートで記憶部２３に伝送しているが、例えば、シフト位置情報をシフト制御部１４から画像処理部１２に送出し、画像処理部１２において画像データにパッキングして伝送するようにしてもよい。
【０１０６】
このように、ゼロクロスを検出することによって、光学部材５１の相対的な回転位置（回転角度）を検出することができる。本実施形態のように、液体中に回転体を磁気保持するような構成では、径方向磁気センサ３９と径側マグネット５５の距離の変化に応じて、回転体側の磁極と磁気センサ間の距離が変化する蓋然性が高い。しかしながら、光学部材５１の回転位置検出にゼロクロスを採用したため、径方向磁気センサ３９と径側マグネット５５の距離の影響を受けにくい（すなわち、磁極が切り替わる部分では距離変動の影響を受けにくい）という利点がある。
【０１０７】
図１３は、光像に対する画素の相対的な円運動の状況を示す模式図である。ここでは、撮像装置の光学的シフト機構においてシフト半径ｒを撮像素子３１の画素ピッチと同じ大きさに設定した例を示す。光像に対する画素の相対的な円運動は、図９に示したように、固定された撮像素子３１の画素に対して光像が変位するものであるが、ここでは、便宜上、画素に対する光像の相対的な移動を、静止した光像に対して撮像素子３１の画素が移動するように図示する。さらに、各画素は、光を受光する所定のサイズの受光領域を有するが、以下の説明では、便宜上、各画素の中心位置（画素中心）のみを図１３中に実線で示された複数の直線の交点として図示する。
【０１０８】
図１３において、Ｘ軸は主走査方向、Ｙ軸は副走査方向をそれぞれ示す。また、図中に実線で示されたＸ軸方向およびＹ軸方向における複数の直線は、それぞれ画素ピッチの間隔で配置されている。さらに、図中に破線で示されたＸ軸およびＹ軸方向における複数の直線は、上述した超解像処理における高解像度空間の画素を示すためのものであり、ここで、高解像度空間の画素は、画素ピッチを主走査および副走査をともに４分割したサブピクセル（すなわち、４×４倍の超解像処理を行う場合）として規定されている。なお、４×４倍の超解像処理で得られる有利な効果は、これよりも分割数が小さい場合（例えば、画素ピッチＬを３分割、即ち３×３倍の超解像）であっても、同様に得られる。
【０１０９】
撮像素子３１は、入射光のうちＲ（Red）成分を受光するＲ画素と、Ｂ（Blue）成分を受光するＢ画素と、Ｇ（Green）成分を受光するＧ画素の各画素がいわゆるベイヤ配列に基づいて配列された、いわゆる単板式のカラー撮像素子である。このベイヤ配列では、Ｇ画素が全画素数の１／２の画素数で千鳥状（チェッカフラッグ状）に配置され、Ｒ画素及びＢ画素が各全画素数の１／４ずつの画素数でＧ画素の配置位置を除く位置に分散配置されている。
【０１１０】
なお、シフト半径ｒは、平行平板５３における光路部分の厚みおよび傾斜角度ならびにポリピレングリコール濃度を調整することによって変更することができる。例えば、シフト半径ｒを画素ピッチと同一とした場合、平行平板５３の厚みは０．１ｍｍ、傾斜角度は傾斜角度＝２０°、ポリピレングリコール濃度は６０ｗｔ％（６０ｗｔ％（ＰＧと水の混合比が６：４であり、屈折率は約１．３８）となる。
【０１１１】
図１３中に実線の円で示すように、各画素（例えば、Ｇ画素）の画素中心は、各黒丸（●）を回転中心として画素ピッチと同じ大きさの半径を有する円軌道を描いて運動する。ここでは、光像に対する画素の相対的な円運動を１方向に一定速度で連続して行わせながら撮像が行われる。図１３中に○印で示した撮像基準位置Ｐ１〜Ｐ１５は撮像のタイミングを示すものであり、これら少しずつずれた各撮像基準位置において１枚のフレーム画像が順次生成される。特に、ここでは、円軌道を移動する画素（例えば、Ｇ画素）の中心位置を撮像基準位置（実質的な撮像位置）として示しており、各撮像基準位置で電荷蓄積が開始され、直後の撮像基準位置の手前で電荷蓄積が完了して画素信号が出力される。
【０１１２】
この円運動の回転速度は上述したＰＩ制御によって安定して保たれ、平行平板５３（図９等参照）の回転位置の基準は上述した原点センサ６５（図６参照）によって管理され、また平行平板５３の傾斜角変動のシフト幅（シフト位置）に対する影響は小さく抑えられているから、各タイミングで撮像されるフレーム画像の撮像位置（すなわち、撮像素子と光像との相対位置）は極めて高精度に把握されることとなる。
【０１１３】
以降、図１０、図２を併用して説明する。
【０１１４】
上述の撮像位置に関する情報（以下、単に「位置情報」という。）は径方向磁気センサ３９及び原点センサ６５の出力に基づき演算処理部９２で逐次生成され（いずれも図１０参照）、演算処理部９２を含むシフト制御部（位置情報取得部）１４から記憶部２３へ出力され、撮像部１１から出力されたフレーム単位の画像データと関連づけて記憶される。そして超解像処理の過程で、位置情報は超解像処理部２４で参照され、この際に位置合わせ処理が簡略化される（いずれも図２参照）。
【０１１５】
なお、超解像処理で適切な高解像化を行うには、全ての画素における撮像タイミングは均一とすることが望ましく、本実施形態では各画素ライン間で電荷蓄積タイミングに時間差が生じないグローバルシャッタ方式を採用した。
【０１１６】
また、画素が１回の円運動を行う間に数多くの撮像（サンプリング）を行うことで、超解像処理で得られる高解像度画像の品質を高めることができ、特にここでは、円運動周期を撮像周期の非整数倍に設定する。このようにすると、円運動を繰り返すことで、多数の異なる位置での撮像が可能となるため、撮像位置が微小に異なる画像を多数生成することができるので、超解像処理で得られる高解像度画像の品質を向上させることができる。これに対して、円運動周期を撮像周期の整数倍とすると、円運動を繰り返しても撮像基準位置に変化がなく、１回の円運動で設定可能な撮像基準位置の数に限定される。
【０１１７】
以下、円運動周期と撮像周期との比率を具体的に定めて、撮像基準位置の例について図１４を用いて説明する。図１４は、撮像周期と円運動周期との比率の一例での撮像基準位置の状況を示す模式図である。なお、図１４では、画素ピッチを１として図示している。
【０１１８】
図１４に示す例では、円運動周期を撮像周期の７．５倍に設定している。ここで、撮像周期を例えば３０ms（約３０frame/s）とすると、円運動周期は２２５msとなる（＝３０ms×７．５）。この場合、円運動の２回目で撮像基準位置が原位置に復帰し、円運動が２回行われる間に１５回の撮像（サンプリング）が行われる。各撮像基準位置は４８°（＝３６０°／７．５）の相対角度をもって離間している。なお、超解像効果は画像にブレ（積分効果）があると抑制されるため、撮像素子３１における電荷蓄積期間（シャッタ速度）の選定は重要である。この観点からすれば、シャッタ速度は可能な限り高速にすべきである。しかし、一方でシャッタ速度を高速にすると感度不足となりやすいため、被写体の光量に応じてシャッタ速度優先でゲインを補償するのが望ましい。本実施形態ではシャッタ速度を１／２５０sec（４ms）に設定している。撮像周期＝３０msに対してシャッタ速度をこの程度にすると、超解像処理における画像のブレによる悪影響は目視上観測されなかった。
【０１１９】
円運動の１回目では、図１４（Ａ）に示すように、撮像基準位置Ｐ１〜Ｐ８で撮像が行われ、円運動の２回目では、図１４（Ｂ）に示すように、撮像基準位置Ｐ９〜Ｐ１５で撮像が行われ、各撮像基準位置Ｐ９〜Ｐ１５は、円運動の１回目における隣り合う撮像基準位置（例えばＰ１とＰ２）の中間位置となる。円運動の１回目と２回目とを合わせると、図１４（Ｃ）に示すように、各撮像基準位置Ｐ１〜Ｐ１５が２４°の相対角度をもって離間する。
【０１２０】
ここで、円運動の１回目の撮像基準位置Ｐ１〜Ｐ８での撮像で得られた８枚の画像に基づいて超解像処理を行う第１の処理モードと、円運動の１回目と２回目とを合わせた撮像基準位置Ｐ１〜Ｐ１５での撮像で得られた１５枚の画像に基づいて超解像処理を行う第２の処理モードとの２つの処理モードを選択することができる。
【０１２１】
第１の処理モードでは、本来の１画素の範囲内に、Ｘ軸、Ｙ軸の両方向で位置の異なる２つの撮像基準位置が設定されるため、Ｘ軸、Ｙ軸のそれぞれの方向について撮像素子３１の本来の解像度のほぼ２倍の解像度で高解像度化を行うことができる。一方、第２の処理モードでは、本来の１画素の範囲内に、Ｘ軸、Ｙ軸の両方向で位置の異なる４つの撮像基準位置が設定されるため、Ｘ軸、Ｙ軸のそれぞれの方向について撮像素子３１の本来の解像度のほぼ４倍の解像度で高解像度化を行うことができる。
【０１２２】
特に、この第２の処理モードでは、円運動の２回目で設定される撮像基準位置Ｐ９〜Ｐ１５の各々が、円運動の１回目で設定される撮像基準位置Ｐ１〜Ｐ８の互いに隣り合うもの同士の中心位置になり、撮像基準位置が偏ることなく均等に分散された状態となるため、超解像処理との適合性に優れた画像を生成することができる。
【０１２３】
また、撮像装置１で撮像が行われている最中に撮像装置１で超解像処理を行うことも可能であり、この場合、第２の処理モードでは、円運動が２回行われて１５枚の画像が揃う度に１回の超解像処理を行えばよい。
【０１２４】
一方、第１の処理モードでは、撮像基準位置を順次シフトさせながら８枚の画像が揃う度に超解像処理を行うとよい。具体的には、１回目で、撮像基準位置Ｐ１〜Ｐ８での撮像で得られた８枚の画像を用いて超解像処理を行い、２回目で、撮像基準位置Ｐ９〜Ｐ１５、Ｐ１での撮像で得られた８枚の画像を用いて超解像処理を行い、以降、３回目では撮像基準位置Ｐ２〜Ｐ９、４回目では撮像基準位置Ｐ１０〜Ｐ１５、Ｐ１、Ｐ２というように撮像基準位置を１つずつずらすようにする。
【０１２５】
このように２つの処理モードを設定することができ、両モードでは、円運動周期（光学的シフト機構３５の回転速度）や撮像周期を変化させる必要がないため、制御が容易である。
【０１２６】
なお、各モードでの超解像処理に用いる最初の画像は原位置Ｐ１の撮像で得られた画像に限定する必要がなく、第１の処理モードでは、任意の位置から１回の円運動が行われる間に撮像された８枚の画像を用いて超解像処理を行い、第２の処理モードでは、任意の位置から２回の円運動が行われる間に撮像された１５枚の画像を用いて超解像処理を行うようにしてもよい。
【０１２７】
このような処理は、図３に示したように、画像処理装置２の記憶部２３に蓄積されたフレーム画像を用いて超解像処理を行う場合にも、また撮像装置１での撮像の最中に超解像処理を行う場合にも適用することができ、特に後者の場合には、処理モードの切り替えに伴って撮像開始位置を原位置Ｐ１に戻す操作が必要でないため、直ちに処理モードを切り替えて解像度が異なる高解像度画像を生成することが可能になる。
【０１２８】
図２に示したように、撮像周期は、画像処理装置２において入力部２６を用いてユーザにより指定され、周期設定部２５にて、指定された撮像周期に基づいて円運動周期が決定され、ここで決定された円運動周期に関するコマンド信号が撮像装置１に送信される。撮像装置１のシフト制御部１４では、画像処理装置２から取得した円運動周期に関するコマンド信号に基づいて、指定された円運動周期に対応する回転速度で光学的シフト機構３５を動作させる。
【０１２９】
また、ユーザは処理モード（第１の処理モードと第２の処理モード）を指定することができ、図３に示したように、画像処理装置２の記憶部２３に蓄積されたフレーム画像を用いて超解像処理を行う場合には、基準画像と共に処理モードをユーザに指定させ、ここで指定された処理モードに応じた数のフレーム画像を、基準画像として指定されたフレーム画像を基準にして読み出して超解像処理を行わせればよい。
【０１３０】
なお、上記円運動周期は、適宜変更することが可能である。例えば、円運動周期を撮像周期の７．２倍に設定することにより、円運動の５回目で撮像基準位置が原位置に復帰し、円運動が５回行われる間に３６回の撮像（サンプリング）が行われる構成も可能である。その場合、各撮像基準位置は５０°（＝３６０°／７．２）の相対角度をもって離間する。
【０１３１】
次に、図１５〜図１８を参照して、上記第１実施形態に係る画像処理装置２において、所定の被写体について、光学的シフトにより撮像位置の異なる複数の低解像度画像から１枚の高解像画像を生成するための超解像処理について説明する。
【０１３２】
図１５は図２の画像処理装置２における超解像処理部２４の機能ブロック図であり、図１６は超解像処理部２４による超解像処理の流れを示すフロー図であり、図１７は超解像処理における撮像画像の処理の一例を示す説明図であり、図１８は、超解像処理における各フレーム画像の処理を示すブロック図である。
【０１３３】
図１６において、まず、範囲指定部１０１（図１５参照）は、撮像画像において超解像処理が必要となるユーザが指定した範囲（指定範囲）を設定する（Ｓ１０１）。ユーザは、入力部２６（図２参照）から予めこの指定範囲を入力することができる。
【０１３４】
次に、シフトキャンセル部１０２（図１５参照）は、記憶部２３から連続的に撮像された一連の低解像度画像とこれら各画像に対応する位置情報（撮像位置の座標。上述したように、高解像度空間における画素の位置より細かい精度を持つ）とを取得し、上記指定範囲について、低解像度空間においてシフトキャンセル処理を実施する（Ｓ１０２）。
【０１３５】
シフトキャンセル処理とは、撮像画像に対して上述した光学的シフト機構３５によって付与された光学的シフトの影響（即ち画像の移動）をキャンセル、即ちシフト位置をもとに戻す処理を意味する。但し、シフトキャンセルは上述のように低解像度空間における画素単位に行われるから、光学的シフトが低解像度空間におけるピクセルサイズより小さい範囲で行われた場合等は、シフトキャンセル処理によって画像がシフト前の状態に完全に戻る訳ではない。
【０１３６】
ここで、シフトキャンセル部１０２は、例えば、図１７に示すように、低解像度画像として、高解像度化したい基準画像となるシフト位置情報（０，０）を有する撮像画像と、この基準画像に対して光学的シフトにより位置（Ｘ軸、Ｙ軸）が異なる複数の低解像度画像（ここでは、基準画像から下方にシフトしたシフト位置情報（０，１）有する撮像画像と、基準画像から左方にシフトしたシフト位置情報（１，０）有する撮像画像と、基準画像から下方及び左方にシフトしたシフト位置情報（１，１）有する撮像画像との３枚）とを取得する。そして、シフトキャンセル部１０２は、基準画像を除く各撮像画像に対して、位置情報に基づき光学的シフトを解消するシフトキャンセル処理を行うことにより、撮像画像（図１７中では、建物等の静止部分）の位置を基準画像の位置（光学的シフトの基準位置）と一致させたシフトキャンセル画像をそれぞれ生成する。この場合、シフトキャンセル部１０２は、低解像度画像を複数の画素または１画素単位でシフトさせてシフトキャンセル画像を生成することができる。
【０１３７】
なお、説明を簡単にするために、図１７には光学的シフトは上下左右に行われている例を示しているが、上述したシフト機構による円運動であっても、考え方は全く同じである。
【０１３８】
次に、動き検出部１０３（図１５参照）は、シフトキャンセル部１０２からシフトキャンセル画像を取得すると、第１検出部１０４により、各シフトキャンセル画について基準画像に対して静止・動き判定を実施する（Ｓ１０３）。ここで、第１検出部１０４は、１または複数の画素からなる着目する画素ブロック（処理対象領域）における画素の平均輝度変化（基準画像との差分）が所定量を越えた場合に当該画素ブロック内で被写体に動きがあったと判定する。このように平均的な値を参照する理由は、上述のようにシフトキャンセル処理によって、画像がシフト前の状態に完全に戻らない場合があり（なお、光学的シフトを円形とした場合、円運動は複数の角度ベクトルを含むため、通常、シフトキャンセル処理によって、シフト前の状態に戻る場合は殆どない）、誤判定の原因となるからである。
【０１３９】
動き検出部１０３は、動きありと判定すると（Ｓ１０４；Ｙｅｓ）、第２検出部１０５により、各シフトキャンセル画において動きベクトルを検出する（Ｓ１０５）。ここで、動きベクトルの検出方法としては、例えば、ＰＯＣ（Phase Only Correlation：位相限定相関法）、ブロックマッチング法および勾配法等を用いることができる。これらは公知の手法であるため詳細な説明は省略するが、例えば、ＰＯＣについては特許第３０３５６５４号公報、ブロックマッチング法については特開２００１−１９５５９７号公報、勾配法については特公平５−４０５１３号公報をそれぞれ参照されたい。
【０１４０】
次に、位置合わせ処理部１０６（図１５参照）は、第２検出部１０５から動きベクトルの情報を取得すると、基準画像との位置合わせをするための位置合わせ処理を実施する（Ｓ１０６）。すなわち、位置合わせ処理部１０６は、各シフトキャンセル画像において動いた部分（図１７では、建物の前を左から右へ走行する自動車の部分）ついて、高解像度画像空間上おいて基準画像の対応部分と一致するように上記動きベクトルに基づき公知の動き補償を実施し、当該動いた部分についての位置合わせ画像を生成する。なお、これらの処理は着目する画素ブロック単位に行われる。そして、図１５において、選択部１１１は、その位置合わせ画像を再構成処理部１０７に送出する。
【０１４１】
一方、ステップＳ１０４において、着目する画素ブロックが動きなし（Ｎｏ）と判定された場合、ステップＳ１０５、Ｓ１０６は省略される。そして、図１５において、選択部１１１は、上記位置合わせ画像の代わりに、記憶部２３からの低解像度画像を再構成処理部１０７に送出する。
【０１４２】
その後、再構成処理部１０７（図１５参照）は、動きのある部分の位置合わせ画像および、静止部分の低解像度画像と撮像位置情報を用いて再構成処理を実行し、高解像度画像を生成する（Ｓ１０７）。より詳細には、再構成処理部１０７は、高解像度推定処理部１０８により、公知の手法で複数枚の低解像度画像の各画素について高解像度空間の画素（サブピクセル）への当てはめを行う。特に、着目する画素ブロックに動きがない場合、当該画素ブロックには光学的シフトのみが作用しているため、低解像度画像は撮像位置の情報が高解像度空間のサブピクセル精度で既知であるから、再構成処理部１０７は、取得した低解像度画像と撮像位置情報に基づき、当該画素ブロックの画素を、高解像度空間に直接的に当てはめることができる。
【０１４３】
さらに、高解像度推定処理部１０８にて、必要に応じて不足領域についての補間処理（例えば、距離に応じた重み付け補間）を行う。
【０１４４】
次に、逆フィルタ（Inverse Filter）１０９により、公知の手法で生成された劣化関数の逆関数で画像を復元する。
【０１４５】
なお、図１５に示す機能はハードウェア又はハードウェアとソフトウェアの結合又はソフトウェア（画像処理プログラム）によって実現することができる。そして着目する画素ブロックにおいて動きがない場合は、ステップＳ１０５、Ｓ１０６を容易に省略することができ、高速化が図られ、超解像処理における計算コストが大幅に低減される。
【０１４６】
上述のような超解像処理は、図１８に示すように、複数（ここでは、Ｎ枚）の低解像度画像に対し、順次実行される。図１８は、Ｎ枚の低解像度画像それぞれについて同一部分を占める画素ブロックに対して、並列に動き検出及び位置合わせ処理を行なう状況を示しているが、このような構成を用いた場合でも、着目する画素ブロックに動きがない場合、動き検出部１０３に該当する処理及び位置合わせ処理部１０６に該当する処理を容易に省略することができ、高速化が図られ、計算コストの低減が達成される。
【０１４７】
（第２実施形態）
次に、図１９、図２０及び上述の図１６を併せて参照して、本発明の第２実施形態に係るネットワークカメラシステムについて説明する。第２実施形態では、以下で特に言及する事項を除いて上述の第１実施形態の場合と同様とする。また、図１９、図２０では、第１実施形態と同様の構成要素については同一の符号を付してある。
【０１４８】
図１９は第２実施形態に係る超解像処理部２４の機能ブロック図であり、図２０は第２実施形態に係る超解像処理における撮像画像の処理の一例を示す説明図である。
【０１４９】
第２実施形態における超解像処理は、図１６中に２点鎖線で示すように、ステップＳ１０７の再構成処理において、低解像度画像の代わりにシフトキャンセル画像を用いる点において、第１実施形態の場合とは異なる。位置合わせ処理部１０６は、図２０に示すように、各シフトキャンセル画像の動きのある部分ついて、基準画像の対応部分と一致するように上記動きベクトルに基づき動き補償を実施し、位置合わせ画像を生成する（Ｓ１０６）そして、図１６中のステップＳ１０４において、着目する画素ブロックが動きなし（Ｎｏ）と判定された場合、図１９において、選択部１１１は、上記位置合わせ画像の代わりに、シフトキャンセル部１０２からのシフトキャンセル画像を再構成処理部１０７に送出する。この場合、第１実施形態における低解像度画像の場合とは、位置情報の有する意味が若干異なる。
【０１５０】
即ち、第１実施形態における低解像度画像の「位置情報」は、撮像された画像の高解像度空間における絶対的な座標を意味するが、第２実施形態におけるシフトキャンセル画像の「位置情報」は、低解像度空間の１画素内の相対的な位置情報を意味する。もっとも、第１実施形態と第２実施形態との間で「位置情報」の表現形式は同じでよく、各形態で「位置情報」をどのように解釈するかの違いでしかない。
【０１５１】
以上述べてきたように、第１実施形態と第２実施形態においては、撮像位置の情報に基づき低解像度空間において光学的シフト機構による光学シフトをキャンセルするシフトキャンセル画像を生成すると共に、動き検出部で、基準となる低解像度画像とシフトキャンセル画像の間で動きを検出しなかった場合には、低解像度画像またはシフトキャンセル画像（いずれも撮像位置が既知）を用いて高解像度空間における再構成処理を実行する構成としている。
【０１５２】
（第３実施形態）
次に、図２１ａ，ｂ〜図２３を参照して、本発明の第３実施形態に係るネットワークカメラシステムについて説明する。第３実施形態では、以下で特に言及する事項を除いて上述の第１実施形態の場合と同様とする。また、図２１〜図２３では、第１実施形態と同様の構成要素については同一の符号を付してある。
【０１５３】
図２１ａ，ｂは光像に対する画素の相対的な円運動において生じる撮像位置の位置ずれを示す説明図であり、図２２は第３実施形態に係る超解像処理部２４の機能ブロック図であり、図２３は第３実施形態に係る超解像処理部２４による超解像処理の流れを示すフロー図である。
【０１５４】
図１３、図１４について上述したように、各撮像基準位置は、所定のシフト半径の円軌道上に位置するのが理想である。例えば図２１ａは光学的シフト機構３５のシフト半径として約３．８画素、３０フレーム／秒で、シフト機構一周あたり６４画像を撮像するように、シフト機構の回転速度を調整して得た撮像位置の軌跡を示している。光学的シフト機構３５を駆動し続けても、撮像位置の座標には全く変化がみられず、高度な繰り返し再現性を備えている。部品精度を適切に管理して光学的シフト機構を設計・作成し、更にフィードバック制御の変数等を最適化することで、現実に図２１ａに示す特性を得ることが可能であり、この程度の性能を備えるならば、第１実施形態、第２実施形態で説明したように、光学的シフト機構３５から得られた撮像位置の情報に基づき、位置合わせ処理（図１６のステップＳ１０５，Ｓ１０６）を省略することができる。
【０１５５】
しかしながら、例えば光学的シフト機構３５を低コストで作成したような場合は、図２１ｂに示すように撮像位置の軌跡（図中に◆印で示す）には、回転時における光学的シフト機構３５の構成要素の振動や、径方向磁気センサ３９の出力のバラツキや経時変化等によって位置ずれ（光学的シフトの誤差）が生じる場合がある。例えば、図２１ｂにおいて、光学部材５１が原点センサ基準位置Ｐｏから角度θだけ回転した場合、シフト制御部１４は円軌道上の位置Ｐｐを撮像位置として出力するが、実際に画像から判断された撮像位置は位置Ｐｒとなる。
【０１５６】
このような実際の撮像位置の誤差について発明者らが鋭意調査したところ、シフト制御部１４が出力する撮像位置（撮像基準位置）と、実際に画像から判断された撮像位置との間には明らかな空間的相関があり、発生する誤差は高解像度空間における所定の範囲内に収まることがわかった。つまり、撮像位置の位置ずれが生じた場合でも、発生する誤差の範囲（ここでは、高解像度空間における１画素幅の範囲Ｗ）に探索範囲を限定した位置合わせ処理を行うことにより、演算量を大幅に低減することができることが分かった。
【０１５７】
図２３において、動き検出部１０３（図２２参照）が動きありと判定すると（Ｓ１０４；Ｙｅｓ）、第２検出部１０５により、各シフトキャンセル画について所定の探索範囲（第１の範囲）で動きベクトルを検出し（Ｓ１０５）、更に、第１位置合わせ処理部１０６（図２２参照）は、第１実施形態の場合と同様に位置合わせ処理を実施し、位置合わせ画像を生成する（Ｓ１０６）。
【０１５８】
一方、ステップＳ１０４において、着目する画素ブロックが動きなし（Ｎｏ）と判定された場合、第３検出部１２１（図２２参照）は、記憶部２３からの位置情報に基づいて動きベクトルを検出する（Ｓ１０８）。このとき、第３検出部１２１の探索範囲（第２の範囲）は、高解像度空間における１画素（サブピクセル）幅の範囲内に設定され、第２検出部１０５の探索範囲（例えば、高解像度空間における１００画素以上）に比べて小さい。そして、第２位置合わせ処理部１２２（図２２参照）は、第３検出部１２１が検出した動きベクトルに基づき動き補償を実施し、当該動いた部分についての位置合わせ画像を生成する（Ｓ１０９）
【０１５９】
この場合、選択部１１１は、第１検出部１０４が、第１検出部１０４が動きありと判定すると（Ｓ１０４；Ｙｅｓ）、第１位置合わせ処理部１０６で動き補償を行った位置合わせ画像を再構成処理部１０７に出力する一方、動きなしと判定すると（Ｓ１０４；Ｎｏ）、第２位置合わせ処理部１２２で動き補償を行った位置合わせ画像を再構成処理部１０７に出力する。
【０１６０】
本発明について実施例を含む特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。なお、上記実施形態に示した本発明に係る撮像装置の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
【産業上の利用可能性】
【０１６１】
本発明に係る撮像システム並びにこれに用いる画像処理装置、画像処理方法および画像処理プログラムは、光学的シフトの誤差が生じ得る場合でも、超解像処理における無駄な位置合わせ処理を抑制することにより、計算コストを低減することを可能とし、撮像素子の受光面上で結像する光像と撮像素子とを相対的に微小変位させながら撮像を行う、いわゆる画素ずらしによって取得した複数の低解像度画像から超解像処理により高解像度画像を生成するのに適した撮像システム並びにこれに用いる画像処理装置、画像処理方法および画像処理プログラムとして有用である。
【符号の説明】
【０１６２】
１ 撮像装置
２ 画像処理装置
１１ 撮像部
１２ 画像処理部
１４ シフト制御部（位置情報取得部）
３１ 撮像素子
３５ 光学的シフト機構
３６ 磁気回転駆動部
３８ 位置制御部
３９ 径方向磁気センサ
４０ 軸方向磁気センサ
４１ センサモジュール
４２ レンズユニット（光学系）
５０ 光学カプセル
５１ 光学部材
５２ 液体（流体）
５３ 平行平板
５４ バックヨーク
５５ 径側マグネット
５６ 上マグネット
５７ 下マグネット
６５ 原点センサ
７２ 位置制御コイル
７５ 電磁石
７６ 永久磁石
７７ 連結部材
１０２ シフトキャンセル部
１０３ 動き検出部
１０６ （第１）位置合わせ処理部
１０７ 再構成処理部
１２２ 第２位置合わせ処理部
Ｃ 光軸
【特許請求の範囲】
【請求項１】
撮像素子と当該撮像素子の受光面上で結像する光像との相対的な円運動を行わせることにより撮像された複数の低解像度画像を取得し、これら撮像位置の異なる複数の低解像度画像から高解像度画像を生成する画像処理装置であって、
前記低解像度画像の撮像位置の情報に基づき、当該低解像度画像の位置を基準となる基準低解像度画像の位置に一致させたシフトキャンセル画像を生成するシフトキャンセル部と、
前記シフトキャンセル画像と前記基準低解像度画像との比較により、前記低解像度画像における動きを検出する動き検出部と、
前記動き検出の結果に基づき、前記シフトキャンセル画像を前記基準低解像度画像と位置合わせすることにより、位置合わせ画像を生成する位置合わせ処理部と、
前記位置合わせ画像を用いて再構成処理を実施することによって高解像度画像を生成する再構成処理部と
を備え、
前記位置合わせ処理部は、前記シフトキャンセル画像の所定の処理対象領域について、前記動き検出部で動きを検出した場合には、第１の範囲の動き検出に基づき前記位置合わせを実行し、一方、前記動き検出部で動きを検出しなかった場合には、前記第１の範囲よりも小さい第２の範囲の動き検出に基づき前記位置合わせを実行することを特徴とする画像処理装置。
【請求項２】
前記低解像度画像において前記処理対象領域となり得る範囲を指定する領域指定部を更に備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記動き検出部は、
前記シフトキャンセル画像について動きの有無を判定する第１検出部と、
前記第１検出部が動き有りと判定した場合に、前記シフトキャンセル画像について前記第１の範囲で動きベクトルを検出する第２検出部と、
前記第１検出部が動きなしと判定した場合に、前記シフトキャンセル画像について前記第２の範囲で動きベクトル検出する第３検出部と
を有することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記シフトキャンセル部は、前記低解像度画像を画素単位でシフトさせて前記シフトキャンセル画像を生成することを特徴とする請求項１から請求項３のいずれかに記載の画像処理装置。
【請求項５】
請求項１から請求項４のいずれかに記載の画像処理装置と、前記低解像度画像を撮像する撮像装置とを備えた撮像システムであって、
前記撮像装置は、
被写体からの光を光電変換して画素信号を出力する撮像素子と、
前記被写体からの光を前記撮像素子に導く光学系と、
前記撮像素子の受光面上で結像する光像と前記撮像素子との相対的な円運動を行わせる光学的シフト機構と、
前記光学的シフト機構による円運動を指定の周期で行わせるシフト制御部と、
前記撮像素子の前記撮像位置の情報を取得する位置情報取得部と
を備えたことを特徴とする撮像システム。
【請求項６】
撮像素子と当該撮像素子の受光面上で結像する光像との相対的な円運動を行わせることにより撮像された複数の低解像度画像を取得し、これら撮像位置の異なる複数の低解像度画像から高解像度画像を生成する画像処理方法であって、
前記低解像度画像の撮像位置の情報に基づき、当該低解像度画像の位置を基準となる基準低解像度画像の位置に一致させたシフトキャンセル画像を生成するシフトキャンセル生成ステップと、
前記シフトキャンセル画像と前記基準低解像度画像との比較により、前記低解像度画像における動きを検出する動き検出ステップと、
前記動き検出の結果に基づき、前記シフトキャンセル画像を前記基準低解像度画像と位置合わせすることにより、位置合わせ画像を生成する位置合わせ処理ステップと、
前記位置合わせ画像を用いて再構成処理を実施することによって高解像度画像を生成する再構成処理ステップと
を有し、
前記位置合わせ処理ステップは、前記シフトキャンセル画像の所定の処理対象領域について、前記動き検出部で動きを検出した場合には、第１の範囲の動き検出に基づき前記位置合わせを実行し、一方、前記動き検出部で動きを検出しなかった場合には、前記第１の範囲よりも小さい第２の範囲の動き検出に基づき前記位置合わせを実行することを特徴とする画像処理方法。
【請求項７】
画像処理装置を制御することにより、請求項６に記載の画像処理方法を実行する画像処理プログラム。
【請求項１】
撮像素子と当該撮像素子の受光面上で結像する光像との相対的な円運動を行わせることにより撮像された複数の低解像度画像を取得し、これら撮像位置の異なる複数の低解像度画像から高解像度画像を生成する画像処理装置であって、
前記低解像度画像の撮像位置の情報に基づき、当該低解像度画像の位置を基準となる基準低解像度画像の位置に一致させたシフトキャンセル画像を生成するシフトキャンセル部と、
前記シフトキャンセル画像と前記基準低解像度画像との比較により、前記低解像度画像における動きを検出する動き検出部と、
前記動き検出の結果に基づき、前記シフトキャンセル画像を前記基準低解像度画像と位置合わせすることにより、位置合わせ画像を生成する位置合わせ処理部と、
前記位置合わせ画像を用いて再構成処理を実施することによって高解像度画像を生成する再構成処理部と
を備え、
前記位置合わせ処理部は、前記シフトキャンセル画像の所定の処理対象領域について、前記動き検出部で動きを検出した場合には、第１の範囲の動き検出に基づき前記位置合わせを実行し、一方、前記動き検出部で動きを検出しなかった場合には、前記第１の範囲よりも小さい第２の範囲の動き検出に基づき前記位置合わせを実行することを特徴とする画像処理装置。
【請求項２】
前記低解像度画像において前記処理対象領域となり得る範囲を指定する領域指定部を更に備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記動き検出部は、
前記シフトキャンセル画像について動きの有無を判定する第１検出部と、
前記第１検出部が動き有りと判定した場合に、前記シフトキャンセル画像について前記第１の範囲で動きベクトルを検出する第２検出部と、
前記第１検出部が動きなしと判定した場合に、前記シフトキャンセル画像について前記第２の範囲で動きベクトル検出する第３検出部と
を有することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記シフトキャンセル部は、前記低解像度画像を画素単位でシフトさせて前記シフトキャンセル画像を生成することを特徴とする請求項１から請求項３のいずれかに記載の画像処理装置。
【請求項５】
請求項１から請求項４のいずれかに記載の画像処理装置と、前記低解像度画像を撮像する撮像装置とを備えた撮像システムであって、
前記撮像装置は、
被写体からの光を光電変換して画素信号を出力する撮像素子と、
前記被写体からの光を前記撮像素子に導く光学系と、
前記撮像素子の受光面上で結像する光像と前記撮像素子との相対的な円運動を行わせる光学的シフト機構と、
前記光学的シフト機構による円運動を指定の周期で行わせるシフト制御部と、
前記撮像素子の前記撮像位置の情報を取得する位置情報取得部と
を備えたことを特徴とする撮像システム。
【請求項６】
撮像素子と当該撮像素子の受光面上で結像する光像との相対的な円運動を行わせることにより撮像された複数の低解像度画像を取得し、これら撮像位置の異なる複数の低解像度画像から高解像度画像を生成する画像処理方法であって、
前記低解像度画像の撮像位置の情報に基づき、当該低解像度画像の位置を基準となる基準低解像度画像の位置に一致させたシフトキャンセル画像を生成するシフトキャンセル生成ステップと、
前記シフトキャンセル画像と前記基準低解像度画像との比較により、前記低解像度画像における動きを検出する動き検出ステップと、
前記動き検出の結果に基づき、前記シフトキャンセル画像を前記基準低解像度画像と位置合わせすることにより、位置合わせ画像を生成する位置合わせ処理ステップと、
前記位置合わせ画像を用いて再構成処理を実施することによって高解像度画像を生成する再構成処理ステップと
を有し、
前記位置合わせ処理ステップは、前記シフトキャンセル画像の所定の処理対象領域について、前記動き検出部で動きを検出した場合には、第１の範囲の動き検出に基づき前記位置合わせを実行し、一方、前記動き検出部で動きを検出しなかった場合には、前記第１の範囲よりも小さい第２の範囲の動き検出に基づき前記位置合わせを実行することを特徴とする画像処理方法。
【請求項７】
画像処理装置を制御することにより、請求項６に記載の画像処理方法を実行する画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１ａ】
【図２１ｂ】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１ａ】
【図２１ｂ】
【図２２】
【図２３】
【公開番号】特開２０１２−１２９６１４（Ｐ２０１２−１２９６１４Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１０−２７７０４８（Ｐ２０１０−２７７０４８）
【出願日】平成２２年１２月１３日（２０１０．１２．１３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２２年１２月１３日（２０１０．１２．１３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]