幾何学変換を行うためのシステム、方法及び記憶媒体
【課題】簡易かつ高速に信号の幾何学的変換を行う方法及びシステムを提供すること。
【解決手段】一実施例における本システムは、入力画像における画素のウィンドウを構成する入力パッチを有する。本システムは変換セレクタをさらに有し、該変換セレクタは、制御データを生成し、処理する現在の画素の位置に基づいて幾何学変換マッピングを制御する。一実施例における本システムはハードウェア幾何学変換エンジンを有し、その幾何学変換エンジンにより、制御データを用いて、入力ウィンドウから出力画素へパスを切り替えることで、幾何学変換マッピングを実行する。一実施例における本システムは補間器をさらに有し、その補間器は、幾何学変換エンジンからの複数の出力及び制御データを利用して、入力ウィンドウ中の複数のパスを切り替えることで、補間された幾何学変換マッピングを行う。
【解決手段】一実施例における本システムは、入力画像における画素のウィンドウを構成する入力パッチを有する。本システムは変換セレクタをさらに有し、該変換セレクタは、制御データを生成し、処理する現在の画素の位置に基づいて幾何学変換マッピングを制御する。一実施例における本システムはハードウェア幾何学変換エンジンを有し、その幾何学変換エンジンにより、制御データを用いて、入力ウィンドウから出力画素へパスを切り替えることで、幾何学変換マッピングを実行する。一実施例における本システムは補間器をさらに有し、その補間器は、幾何学変換エンジンからの複数の出力及び制御データを利用して、入力ウィンドウ中の複数のパスを切り替えることで、補間された幾何学変換マッピングを行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般に電気光学画像処理システムに関連し、特に簡易かつ高速に信号の幾何学変換を行うことに関連する。
【背景技術】
【０００２】
様々な信号処理アプリケーションは、光学系により導入されてしまった画像データの歪を補正又は補償するために、画像データの幾何学変換（geometric transformations）を行う必要がある。そのような幾何学変換は、通常、歪を補正するために信号データを空間的に並べ直す処理を含む。現在の歪補正方法は、ソフトウェアによるシリアルデータ処理を用いて画素データを変換する。画像中の画素各々は、特定の幾何学変換に基づいて修正され、入力メモリバッファに保存される。画像中の全ての画素又はピクセルが処理された後に、修正された画像がメモリバッファから出力される。この技術の場合、メモリバッファにおける画像処理の処理待ち渋滞（sequential bottleneck）を引き起こしてしまうので、高速かつリアルタイムに画像の補整を実行することができないという問題点がある。
【０００３】
例えば、「Software Correction of Image Distortion in Digital Cameras」と題する米国特許第6，538，691号は、多項式モデルを用いて画像歪補正を行う方法を開示している。この技術の場合、あるソフトウェアアプリケーションを用いて画素の位置を変換する計算が実行され、多項式モデル（polynomial model）により修正された位置とともに、変換された画素がメモリバッファに出力される。画素データを処理するそのようなソフトウェアに基づく方法は、画像処理を行う際に比較的高価で複雑な演算を必要とする。
【０００４】
線形シフト不変（Linear Shift Invariant：LSI）アップストリーム処理の場合、従来、ハイエンドの色収差補正レンズ（アクロマートレンズ）の設計により、色収差補正（chromatic aberration correction：CAC）が行われている。これらの幾何学歪は多重焦点依存性（many times focus dependent）であり、それを補正するには複雑な再マッピング補間処理を要する。多くのソフトウェアによる方法は、簡易なタイプの歪については全く成功裏に対処できる。そのような技法は、光学的焦点、倍率及びシフトについてカラーチャネルを事前に校正しておくことを含む。しかしながら、収差のない画像を生成するには3つの個々の画像を取り扱う必要がある。
【０００５】
歪が簡易でない場合（歪が焦点とともに変化し、かつ色平面に依存する場合）、ハードウェア的な装置は特殊なレンズを利用しなければならず、必然的にこれはシステムのコストを増大させてしまう。Y．Takayuki et al.,“A Lateral Chromatic Aberration Correction System for Ultrahigh−Definition Color Video Cameras”, Sensors, Cameras and Systems for Scientific and Industrial Applications VII：Proceeding of SPIE（Vol．6068，SPIE Press，2006）は、横型の色収差補正（LCAC）システムを開示しており、これは、様々なカメラの焦点設定についてメモリスタックに格納されているリアルタイム信号処理コンフィギュレーションを含む。他の技法として、キュービックスプライン法及び有限次元線形モデルを用いた画像湾曲法等があり、これらについては、Boult and Wolberg,“Correcting Chromatic Aberrations Using Image Warping,”IEEE Computer Society Conference on Computer Vision and Pattern Recognition，Proceedings CVPR 1992（IEEE Computer Society，2008）及びCai et al．“Color Correction for Digital Images based on the Finite Dimensional Linear−Model”，International Conference on Computer Science on Software Engineering（IEEE Computer Society，2008）にそれぞれ記載されている。しかしながら、実際には、これらは何れも極めて複雑な実現手段になってしまう。個々のハードウェアにこれらの複雑な方法を適用する際の困難性により、これらの方法の用途はかなり制限されてしまう。
【０００６】
Weng et al．“Camera Calibration with Distortion Models and Accuracy Evaluation”，
IEEE Transactions on Pattern Analysis and Machine Intelligence（1992）は、幾何学的歪補正（GDC）法の概要を説明することに加えて、補間法各々により導入される誤差を評価している。幾何学歪（geometric artifact）を補正するために幾何学的ステレオ校正誤差モデルが導入される。他の線形及び非線形な方法も、歪補正に対処するために研究されており、それらはWengの文献に示されている基本的な方法に対する改善を含んでいる。しかしながら、上述したように、何れの方法も補正に伴うハードウェアのマッピングコストを考慮していない。
【０００７】
上記のCAC及びGDCと並んで、複雑さ及び／又は精度のトレードオフを可能にする設計の試みがある。GDC用のソフトウェア方法については例えば次の文献に記載されている。Heikkila and Silven，“A Four−Step Camera Procedure with Implicit Image Correction”, CVPR ‘97 Proceedings of the 1997 Conference on Computer Vision and Pattern Recognition（IEEE Computer Society，1997）及びHartley and Kand，“Parameter Free Radical Distortion Correction with Centre of Distortion Estimation”, ICCV05：Proceedings of the Tenth IEEE International Conference on Computer Vision（IEEE Computer Society，2005）。Heikkila and Silvenは、カメラの校正用の一群の係数に基づく半径歪補正モデルを提案している。マスワークマットラブカメラ校正ツールボックス（Mathwork Matlab’s Camera Calibration Toolbox）を用いて線形及び非線形モデルが概説されている。Hatley and Kangは簡易な歪補正モデルを提案している。しかしながら、様々な画像において取得した歪校正グリッドを用いた正接歪しか考慮していない。“Method for Geometry Distortion Correction”と題する米国特許出願公開第2006／0280376号は、後に生じる歪を補正することに備えて、画像に予め歪を導入する方法を提案している。これは、処理に先行して意図的に画像を歪ませる予備処理の技法である。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の課題は、電気光学画像処理システムにおいて簡易かつ高速に信号の幾何学変換を実行できるようにすること。
【課題を解決するための手段】
【０００９】
一実施例によるシステムは、
入力画像の画素のウィンドウを受信する入力パッチと、
制御データを生成し、処理する現在の画素の位置に基づいて幾何学変換マッピングを制御する変換セレクタと、
ハードウェア幾何学変換エンジンと
を有し、入力ウィンドウから該幾何学変換エンジンを介して出力に至る何れかのパスを、制御データを用いて設定することで、幾何学変換マッピングを実行する、システムである。
【図面の簡単な説明】
【００１０】
【図１Ａ】画像信号処理（ISP）パイプラインの一例を示す図。
【図１Ｂ】2次元画像データに関する幾何学変換システムの一例を示す図。
【図２Ａ】画像データの歪のパターン例を示す図。
【図２Ｂ】画像データの歪のパターン例を示す図。
【図３】サンプリング期間に基づいて幾何学変換を並列的に処理するシステム例を示す図。
【図４Ａ】画像データについて幾何学変換を施すシステム例を示す図。
【図４Ｂ】画像データについて幾何学変換を施すシステム例を示す図。
【図５】幾何学変換エンジンの一例を示す図。
【図６】並列データを用いて画像パッチ登録処理を行うシステム例を示す図。
【図７】並列データを用いてパターンマッチング処理を行うシステム例を示す図。
【図８】コンピュータシステムのブロック図。
【発明を実施するための形態】
【００１１】
簡易かつ高速に信号の幾何学的変換を行う方法及びシステムが開示される。一実施例における本システムは、入力画像における画素のウィンドウを構成する入力パッチを有する。本システムは変換セレクタをさらに有し、該変換セレクタは、制御データを生成し、処理する現在の画素の位置に基づいて幾何学変換マッピングを制御する。一実施例における本システムはハードウェア幾何学変換エンジンを有し、その幾何学変換エンジンにより、制御データを用いて、入力ウィンドウから出力画素へパスを切り替える（有効にする、アクティブにする）ことで、幾何学変換マッピングを実行する。一実施例における本システムは補間器をさらに有し、その補間器は、幾何学変換エンジンからの複数の出力及び制御データを利用して、入力ウィンドウ中の複数のパスを切り替えることで、補間された幾何学変換マッピングを行う。
【００１２】
本発明は、本発明の様々な実施例に関する以下の詳細な説明及び添付図面から明確かつ十分に理解されるであろう。しかしながら、これは本発明を特定の実施例に限定するものではなく、説明及び理解を深めるためのものに過ぎない。
【実施例１】
【００１３】
簡易かつ高速に信号の幾何学的変換を行う方法及びシステムが開示される。一実施例における本システムは、入力画像における画素のウィンドウを構成する入力パッチを有する。本システムは変換セレクタをさらに有し、該変換セレクタは、制御データを生成し、処理する現在の画素の位置に基づいて幾何学変換マッピングを制御する。一実施例における本システムはハードウェア幾何学変換エンジンを有し、その幾何学変換エンジンにより、制御データを用いて、入力ウィンドウから出力画素へパスを切り替えることで、幾何学変換マッピングを実行する。一実施例における本システムは補間器をさらに有し、その補間器は、幾何学変換エンジンからの複数の出力及び制御データを利用して、入力ウィンドウ中の複数のパスを切り替えることで、補間された幾何学変換マッピングを行う。
【００１４】
以下の詳細な説明において、本発明の理解をさらに促すために様々な具体的詳細が説明される。しかしながら、当業者は本発明がそのような具体的詳細なしに実現されてもよいことを認めるであろう。また、本発明を曖昧にしてしまうことがないように、従来の構造及び装置は詳細に説明する代わりにブロック図により示される。
【００１５】
以下の詳細な説明の一部は、コンピュータメモリ内のデータビットを処理するアルゴリズム及び記号表現により行われる。これらのアルゴリズムの説明及び表現は、データ処理技術分野における当業者が他の当業者に彼らの仕事内容を最も効率的に伝えるのに使用される手段である。ここで、アルゴリズムは一般に所望の結果に導く首尾一貫した一連のステップと考えられる。そのステップは物理量の物理的処理を必要とするものである。必須ではないが、通常それらの物理量は、格納、転送、結合、比較その他の処理を施すことの可能な電気的な又は磁気的な信号の形態をとる。原則的な一般的な用法の観点から、ビット、値、エレメント、シンボル、キャラクタ、期間、数等としてそれらの信号に言及することが折に触れて便利なことが分かる。
【００１６】
しかしながら、これらの及び類似の用語の全ては、適切な物理量に関連しており且つそれらの量に付された便宜的なラベルにすぎないことに留意を要する。特に断りのない限り、以下の説明から明らかなように、本説明を通じて、「処理」、「演算」、「計算」、「決定」又は「表示」等のような用語を用いる説明は、コンピュータシステム又は同様な電子コンピュータ装置の動作や処理に関連し、その動作や処理は、コンピュータシステムのレジスタ及びメモリの中で物理的な（電子的な）量として表現されるデータを、コンピュータシステムメモリやレジスタその他の情報ストレージ、伝送又は表示装置の中で物理量として同様に表現される他のデータに変換及び処理することが、理解されるであろう。
【００１７】
本発明はここで説明される処理を実行する装置にも関連している。その装置は、要求される目的に応じて特別に構築されてもよいし、コンピュータに格納されているコンピュータプログラムによって選択的にアクティブにされる又は再構成される汎用コンピュータで構築されてもよい。そのようなコンピュータプログラムはコンピュータ読取可能な記憶媒体に格納されてもよく、その記憶媒体は、限定ではないが、フロッピディスク、光ディスク、CD-ROM、磁気光ディスク、リードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気又は光カード等の如何なるタイプのディスクを含んでもよいし、或いは電子的な命令を格納するのに指摘した如何なるタイプの媒体を含んでもよいし、ディスクも媒体もそれぞれコンピュータシステムバスに結合される。
【００１８】
本願におけるアルゴリズム及び表示は、何らかの特定のコンピュータや他の装置に本質的に依存するものではない。様々な汎用システムが、本願における教示内容にしたがうプログラムとともに使用されてもよいし、あるいは要求される処理ステップを実行することに特化した装置を構築することも有益である。これらの様々なシステムに必要な構造は、以下の説明からさらに明らかになる。また、本発明は何らかの特定のプログラミング言語に関連するものでもない。本願において説明される発明を実現する際に様々なプログラミング言語が使用されてもよいことが認められるであろう。
【００１９】
マシン読取可能な媒体は、マシン（例えば、コンピュータ）により読取可能な形式で情報を保存する又は通信するための如何なる手段をも含む。例えば、マシン読取可能な媒体は、リードオンリメモリ（ROM）、ランダムアクセスメモリ（RAM）、磁気ディスク吐露レー時媒体、光ストレージ媒体、フラッシュメモリ装置等を含む。
【００２０】
以下の観点から実施例を説明する。
【００２１】
・概要
・歪補正
・画像補正のための歪モデル
・幾何学変換エンジン（GTE）
・アプリケーション例
・コンピュータシステム例
＜概要＞
概して、幾何学変換は次のように表現できる：
Iout（t）＝Iin（t−D（t））・・・（1）
ここで、Iin及びIoutは入力及び出力信号であり、tはn次元空間における座標ベクトルであり、D（t）は座標ベクトルtに対する幾何学シフトベクトル（geometric shift vector）である。このモデルは、入力及び出力信号の位置同士の間の幾何学マッピング（幾何学対応関係）を規定する。2次元（2D）画像処理システムにおける幾何学変換は、歪補正及び色収差の変換のように、次のように表現できる：
Iout（x，y）＝Iin（x−Dx（x，y），y−Dy（x，y））・・・（2）
ここで、（x，y）は処理される現在の信号の座標であり、Dx（x，y）及びDy（x，y）はそれぞれx座標及びy座標に関する変換写像（シフトベクトル）である。理論的には、これは達成可能な理想的な変換モデルである。しかしながら実際には、この変換モデルは、ソフトウェア及び／又はハードウェアにおける高価な演算リソースを必要とする。
【００２２】
図1Aは、画像信号処理（ISP）パイプラインの一例を示す。図1に示される一実施例によるISPパイプラインは、画像を処理するのに使用される典型的なISPパイプラインの一部分をなす。一実施例において、デモザイク処理（demosaicking）及び変調変換関数（Modulation Transfer Function：MTF）補正又は整形部108は、ISPパイプラインにおける変換演算部である。一実施例において、カラー登録又は色登録部（color registration）104及び歪補正部106は、ISPパイプラインにおける幾何学変換部である。一実施例において、これらの処理部の各々は、ハードウェアにより、ソフトウェアにより、又はそれらの組み合わせにより実現されてもよい。
【００２３】
一実施例において、後述するように、歪補正部106はハードウェアによる幾何学変換エンジンであり、簡易かつ高速に信号（例えば、画像データ）を変換するマルチプレクサの配列（アレイ又はバンク）により実現される。一実施例において、マルチプレクサ同士の相互接続は、画素の入力ウィンドウの一定の区分けされた幾何学変換により事前に規定されており、その幾何学変換は、特定のアプリケーション、光学レンズ、歪の種別等に対して最適化されている。一実施例において、歪補正部106は、連続的なリアルタイムの又は潤リアルタイムの画素データを処理するように構成されている。
【００２４】
図1Bは、2次元画像データに関する幾何学変換システムの一例を示す。一実施例におけるシステム152は、図1Aに示されるような歪補正部156を含む。一実施例におけるシステム152は、画素165を、入力画像160における現在の位置から出力画像170における修正された画素の位置175へ変換する。一実施例において、システム152により実行される幾何学変換は、後に詳細に説明される計算式に基づいている。一実施例において、画素は、ラスタの順番に（シリアルに）システム152に到着し、システム152により実行される変位変換（displacement transformation）により処理される。一実施例においてその変位変換は、並進に続く画素座標ベクトルの回転を含む。図1Bにおける幾何学変換は、2次元画像データに関するXY平面により示されている。しかしながら、本願において説明されるシステム及び方法は、3次元画像処理において使用されてもよいことに加えて、本願において説明される他の状況において使用されてもよい。
【００２５】
一実施例において、システム152は、連続関数モデル（continuous functional model）に基づいて画素の位置のマッピング（対応関係）を求める。従来の幾何学変換エンジンは、シーケンシャルに順番に処理するものであり、したがって処理に時間と手間がかかり実装上の障害となっていた。これに対して、本実施例におけるシステム152は複雑さを軽減するようにハードウェアにより構成され、システム152が実行する幾何学変換の効率を改善する。一実施例において、この方法による2次元の幾何学変換モデルは、量子化されたモデルを用いることで次のように近似的に表現できる：
【数１】
ここで、Qは、画像を分割する有限の一群の基準領域タイルについて規定された量子化モデルを表す。一実施例において、有限の一群の領域タイルは、極性タイル（polar tiles）でもよい。別の例として、有限の一群の基準タイルは、直線的な境界により区分された任意の形状のタイルでもよい。一実施例において、任意の形状のタイルの数及び線状の境界は、最小二乗平均誤差（MSE）基準にしたがって最適化される。
【００２６】
一実施例において、低コストで高速のハードウェア手段を設計することは、目的とする幾何学変換の精度及び複雑さの間の最適なトレードオフ又は妥協点を見出すことを含む。一実施例において、図1Bのシステム152により実行されるような量子化幾何学変換は、汎用プロセッサ（CPU）、ディジタル信号プロセッサ（DSP）、又はカスタム化されたハードウェア及び論理装置等のような画像信号処理（ISP）パイプラインにおける処理部により実現可能である。
【００２７】
＜歪補正＞
以下、光学系に関する2次元画像歪補正を詳細に説明するが、この説明は本発明の使用例でもある。ここで説明されるハードウェアシステム及び方法は、3次元画像処理システム及びその他の画像歪補正処理（例えば、色収差補正）にも適用可能である。
【００２８】
歪は多くの光学系における代表的な収差（aberration）であり、光学系のレンズ固有の特性に起因して、画像の倍率が、領域内の場所に依存して異なってしまう現象である。
【００２９】
歪は不規則であり多くのパターンに従うが、通常遭遇するほとんどの歪は、光学レンズの対称性から生じる軸対称な歪パターンである。通常、半径方向の歪（radial distortion）は2つの主要なタイプの内の何れかとして分類できる。図2Aには糸巻き型（pincushion）の歪を伴う画像データが示されており、図2Bには樽型（barrel）の歪が示されている。糸巻き形歪及び樽形歪は、光学軸から離れるほど画像倍率が減少及び増加するように生じる。一実施例において、樽形歪及び糸巻き形歪のパターンは、歪モデルに基づいてISPシステムの幾何学変換モジュールにより補正できる。
【００３０】
＜画像補正のための歪モデル＞
一実施例において、2次元光学系の歪補正モデル関数は、次のように表現できる：
【数２】
ここで（x，y）は処理される現在の信号の座標であり、Dx（x，y）及びDy（x，y）はそれぞれx及びy座標に関する多項式幾何学変換関数であり、cpq及びdpqは多項式の係数であり、Nx及びNyは多項式の次数（degrees or orders）であり、p及びqは多項式項の次数である。一実施例において、（4）の多項式関数は、乗算及び加算によりハードウェアにおいて直接的に計算できる。しかしながら、この形態の複雑さは、多項式項の総数が大きくなるにつれて著しく多くなってしまう。一実施例において、多項式関数は、以下のように定義される前進差分演算子を用いて計算できる：
【数３】
ここで、fnはn番目の地点における関数fの値であり、Δfnはn番目の地点における関数の1次の前方差分（first order forward difference）であり、Δkfnはn番目の地点における関数のk次の前方差分である。fが多項式関数であり、Nがその関数の次数であった場合、N次又はそれ未満の前方差分のみがゼロでない値を有する。したがって、第1の地点の前方差分が与えられていた場合、以後の地点の各々における多項式関数は、有限個数の前方差分演算子を用いて反復的に計算できる。このプロセスは次のように表現できる：
【数４】
ここで、k＝1，2，．．．Nである。このように、多項式関数の前方差分演算子は、各地点における有限回数の加算しか必要としないので、簡易なハードウェアを実現できる。
【００３１】
（4）式の2次元多項式関数の場合、前方差分演算子はX及びY座標に沿って別々に計算できる。（x0，y0）をラスタ画像の左上隅の第1画素の位置であるとする。ラスタ順序における各地点のDx（x，y）を求める場合、前方差分演算を行毎に水平に計算できる。m番目の行の場合、これは次のように表現できる：
【数５】
ここで、k＝1，2，．．．Nxであり、nは処理される列のインデックスである。最初の前方差分ΔkDx（x0，ym）を取得するまで、最初のNx＋1列について前方差分が垂直方向に計算される。これは次のように表現できる：
【数６】
ここで、i＝0，1，2，．．．Nxであり、mは処理される行のインデックスである。同様に、上記の前方差分演算を用いてDy（x，y）を計算することができる。
【００３２】
一実施例において、Dx（x，y）及びDy（x，y）は、一群の有限数の基準タイルによる区分的な多項式関数を用いて近似できる。その場合、上記の前方差分演算は、タイル領域各々について別々に計算するために使用可能である。
【００３３】
図3は、サンプリング期間に基づいて幾何学変換を並列的に処理するシステム例を示す。システムクロック各々において、画素ウィンドウが、入力画像306から取得され、幾何学変換エンジン310に供給される。一実施例において、システムクロック304は、タイミングデータをダイナミック変換セレクタ302に提供する。ダイナミック変換セレクタ302は、そのタイミングデータを用いて一群の制御信号を生成する。一実施例において、制御信号は制御ビットであり、その制御ビットは、画素ウィンドウに対応する選択された幾何学変換を実行するように幾何学変換エンジン（Geometric Transformation Engine：GTE）を動的に構築する。以下において説明するように、一実施例における幾何学変換エンジンは、所望の幾何学変換を効率的に実行するマルチプレクサ網（マルチプレクサアレイ）を含む。マルチプレクサアレイを制御する制御ビットを生成して使用するシステム例については、2009年6月に出願され「Method and Apparatus for FIR Filtering Using Space−Varying Rotation」と題する米国特許出願第12／488，479号において説明されている。
【００３４】
＜幾何学変換エンジン（GTE）＞
図4Aは、画像データについて幾何学変換を施すシステム例を示す。図4に示す一実施例において、幾何学変換システムは、入力画像の中から画素ウィンドウ402を受ける入力パッチバッファ404を含む。一実施例において、変換される画素データは、ラスタ順に入力パッチバッファ404により受信される。一実施例において、システムクロック406から受信した値及び画素ウィンドウ402の位置（すなわち、入力画像内の基準タイルの場所）に基づいて、制御論理部408は、切替ネットワーク410に提供される一群の制御ビットを生成する。一実施例において、一実施例において、制御ビットは変換インデックスと言及される。なぜなら、そのビットは所望の変換を実行する切替ネットワーク410を構成するからである。マルチプレクサアレイを制御する制御ビットを生成して使用するシステム例については、2009年6月に出願され「Method and Apparatus for FIR Filtering Using Space−Varying Rotation」と題する米国特許出願第12／488，479号において説明されている。
【００３５】
一実施例において、切替ネットワーク410は、画像の基準領域タイル群について導出された量子化モデルに基づいて、画素ウィンドウ402の画像データについて1つ以上の幾何学変換を施す。一実施例において、量子化モデルは、画像データを受信する前に補正される画像歪及び／又は特定のアプリケーションについて導出及び最適化される。一実施例において、切替ネットワーク410は画像データを補間器412に出力する。一実施例において、補間器412は、最終的に変換された出力414として補間された画素データを生成する。
【００３６】
図4Bは、画像データについて幾何学変換を施すシステム例を示す。一実施例において、図4Bに示されるシステムは、上記の図4のシステムのさらなる詳細を示す。一実施例において、ラインバッファ454は、入力ラスタ画像452を順番に（シリアルに）格納する。一実施例において、入力パッチバッファ456は、ラインバッファ454からラスタ画像452の画素ウィンドウを取得することで、画像データの入力パッチを保存する。
【００３７】
一実施例において、画素クロックの各々において、タイミング信号生成モジュール458は、入力タイミング信号及びシステム処理遅延に基づいて、出力タイミング信号を生成する。出力タイミング信号は、コントローラモジュール460によっても使用され、上述した歪モデルに基づいて、X及びY座標それぞれについて制御ビット462A及び462Bを生成する。一実施例において、X及びY制御ビット462A及び462Bは、入力パッチバッファ456から切替ネットワークモジュール464を介する1つ以上の経路のスイッチをオンにする（経路をアクティブにする）。
【００３８】
一実施例において、切替ネットワークモジュール464の出力画素及びX、Y制御ビット464A、464Bは、補間ジュール466により使用され、最終的な変換出力468として補間された画素を生成する。一実施例において、補間モジュール466は、入力画素に基づいて2本線の補間（bilinear interpolation）を実行する。一実施例において、X、Y制御ビット462A、462Bは、X及びY方向の2本線の補間器の係数を決定するために使用される。
【００３９】
図5は、幾何学変換エンジンの一例を示す図。一実施例において、幾何学変換エンジンは切替ネットワーク510を含む。一実施例において、切替ネットワーク510は図4に示すシステムにより使用されてもよい。
【００４０】
一実施例において、切替ネットワーク510は、一群の制御ビット508にしたがって入力画像データ504を変換するマルチプレクサの配列（アレイ）を有する。一実施例において、切替ネットワーク510は、入力画像に対する一群の基準領域タイルについて導出された量子化モデルに基づいて形成される。切替ネットワーク510は7つのマルチプレクサとともに示されているが、切替ネットワークにより実行される幾何学変換及び／又は入力サイズに応じて、より多い又は少ない数のマルチプレクサが、切替ネットワークに含まれていてもよい。一実施例において、切替ネットワーク510が画像データを変換した後、変換された画像データが出力される（512）。
【００４１】
＜アプリケーション例＞
幾何学変換を利用できる製品領域は非常に広範囲に及ぶ。上記の説明は、本発明の説明を曖昧にしないように、歪補正を行う特定の2次元システムに着目していた。しかしながら、他の画像処理アプリケーションが、画像データの量子化並列処理やかなりの演算負担の削減等による恩恵を受けることが可能である。
【００４２】
図6は、並列データを用いて画像パッチ登録処理を行うシステム例を示す。一実施例において、画像パッチ登録はブロック形式の動き推定に使用される。画像パッチの比較によるフィードバックは、基準オブジェクト変換（reference object transformation）を制御する。一実施例において、システム600は変換フィードバックシステムであり、GTE604により実行される幾何学変換を修正し、新たに変換された画像を生成する。
【００４３】
一実施例において、幾何学変換方法の修正は、動き推定の判断基準（判定部）608からのフィードバックに基づいている。上述したように、一実施例において、入力パッチ602の比較は、複数の基準パッチ610−1ないし610−Nに対して並列的に実行される。一実施例において、比較結果は判定部608により処理され、GTE604により実行される幾何学変換方法を更新する。一実施例において、入力シフト部606は、GTE604が画像データに適用する幾何学変換法を修正する制御信号を生成する。GTE604は、一度に1つの画素を直列的に処理するのではなく、画像パッチに対応する画素ウィンドウの幾何学変換を処理するので、ブロック形式の動き推定処理の効率は大幅に改善される。
【００４４】
図7は、並列データを用いてパターンマッチング処理を行うシステム例を示す。一実施例において、パターンマッチングを行うシステムは、例えば、顔認識製品に適用されてもよい。一実施例において、ディジタルカメラ704により撮影した入力画像702は、ディジタルカメラ704の光学的な制約により歪んでいる。一実施例において、撮影された歪んだ画像706は、基準画像708と比較される。
【００４５】
幾何学変換を行わないシステム720の場合、取得した画像706と基準画像708とを比較すると、比較アルゴリズムにおいて不整合（ミスマッチ）となってしまう。撮影された画像706は歪んでいるので、基準画像708を含む基準画像が入力画像702と一致していた場合でさえ、適切な画像の一致ではないかもしれない。
【００４６】
シリアル画像変換技術を使用するシステムの場合、歪んだ画像706は、幾何学変換エンジン730により順番に（シリアルに）変換され、基準画像708と変換された画像732との比較の前に、メモリ（図示せず）に保存される。一実施例において、この方法は量子化近似を使用するが、（従来のディジタルプロセッサ又はCPUにより実行される技法と同様に）このモデルの実現手段は、画素各々に順に処理を行う技法を使用している。補正（修正）され保存された画像732は、基準画像708と比較され、一致する結果となる。
【００４７】
一実施例において、1つの計算対象の軸方向における一定の区分的な近似とともに、画像データの並列的な処理が使用される。取得された画像のパッチ742は、上述した技法を利用して、パッチに基づく幾何学変換エンジン740により変換され、基準画像のパッチ744と比較され、比較結果が得られる。より小さなパッチを比較するのに必要な演算リソースは、画像全体を比較するためのものよりも少ない。さらに、パッチは並列的に（同時に）処理され、パターン照合システムにおける画像比較のスループットを高めることができる。さらに、パッチ毎ではなく、画像全体を処理する際に、同じパッチハードウェアが再利用できる。
【００４８】
＜コンピュータシステム例＞
図8は、コンピュータシステムのブロック図を示す。一実施例において、コンピュータシステムの内の1つ以上の処理部が光学画像処理システムに統合されてもよい。別の実施例において、コンピュータシステムは光学画像処理システムを制御してもよい。図8を参照するに、コンピュータシステムは、一例によるクライアント又はサーバコンピュータシステムを有する。コンピュータシステム800は、情報を通信するための通信手段又はバス811と、情報を処理するためにバス811に結合されたプロセッサ812とを有する。プロセッサ812は、マイクロプロセッサを含み、マイクロプロセッサは例えばペンティアム（登録商標）等であるが、これに限定されない。
【００４９】
コンピュータシステム800は、バス811に結合されたランダムアクセスメモリ(RAM)又は他のダイナミックストレージデバイス804を有し、プロセッサ812で実行される命令や情報を格納する。メインメモリ804は、プロセッサ812による命令の実行中に、一時的な変数又は他の中間的な情報を格納するのに使用されてもよい。コンピュータシステム800は、バス811に結合され、プロセッサ812のための命令や静的な情報を格納するリードオンリメモリ（ROM）又は他のスタティックストレージデバイス806を含み、かつ磁気ディスクや光ディスクのようなデータストレージデバイス807、そしてそれらに対応するディスクドライブを含む。ストレージデバイス807は、情報及び命令を格納するためにバス811に結合される。
【００５０】
コンピュータシステム800は、コンピュータユーザに情報を表示するために、陰極線管(CRT)又は液晶ディスプレイ(LCD)のようなディスプレイ821にバス811を介して結合されてもよい。英数字その他のキーを含む英数字入力装置822は、情報及び命令選択内容をプロセッサ812に通知するためにバス811に結合される。他のユーザ入力装置は、カーソル制御装置823（例えば、マウス、トラックボール、トラックパッド、スタイラス又はカーソル方向キー）であり、指示情報及び命令選択をプロセッサ812に通知し、かつディスプレイ812でのカーソルの動きを制御する。
【００５１】
バス811に結合されている他の装置の1つは、命令、データ又は他の情報を、紙やフィルムのような媒体又は他のタイプの媒体に印刷するのに使用されるハードコピー装置824である。さらに、スピーカ及び／又はマイクロフォンのような二次記録及び再生装置は、バス811に選択的に結合され、コンピュータシステム800とのオーディオインターフェースとなる。バス811に結合されている他の装置は、電話機又は携帯装置と通信するための有線／無線通信処理部825である。
【００５２】
システム800及び関連するハードウェアの全部又は任意の一部が本発明において使用されてもよいことに留意を要する。しかしながら、他の形態のコンピュータシステムが全部又は一部の要素を含んでもよいことが理解されるべきである。
【００５３】
以上の説明を理解した当業者にとって、本発明に関する多くの代替例や変形例は明らかであろう。図示及び説明された特定の実施例は、決して本発明を限定するようには意図されていないことが理解されるべきである。したがって、様々な実施例の具体的詳細は、本発明の範囲を限定することを意図してはおらず、特許請求の範囲は、本発明に本質的であると理解される要素によってのみ規定される。
【符号の説明】
【００５４】
102 デモザイク処理部
104 カラー登録処理部
106 歪補正部
108 MTF比較又は整形部
【先行技術文献】
【特許文献】
【００５５】
【特許文献１】米国特許第6，538，691号明細書
【技術分野】
【０００１】
本発明は一般に電気光学画像処理システムに関連し、特に簡易かつ高速に信号の幾何学変換を行うことに関連する。
【背景技術】
【０００２】
様々な信号処理アプリケーションは、光学系により導入されてしまった画像データの歪を補正又は補償するために、画像データの幾何学変換（geometric transformations）を行う必要がある。そのような幾何学変換は、通常、歪を補正するために信号データを空間的に並べ直す処理を含む。現在の歪補正方法は、ソフトウェアによるシリアルデータ処理を用いて画素データを変換する。画像中の画素各々は、特定の幾何学変換に基づいて修正され、入力メモリバッファに保存される。画像中の全ての画素又はピクセルが処理された後に、修正された画像がメモリバッファから出力される。この技術の場合、メモリバッファにおける画像処理の処理待ち渋滞（sequential bottleneck）を引き起こしてしまうので、高速かつリアルタイムに画像の補整を実行することができないという問題点がある。
【０００３】
例えば、「Software Correction of Image Distortion in Digital Cameras」と題する米国特許第6，538，691号は、多項式モデルを用いて画像歪補正を行う方法を開示している。この技術の場合、あるソフトウェアアプリケーションを用いて画素の位置を変換する計算が実行され、多項式モデル（polynomial model）により修正された位置とともに、変換された画素がメモリバッファに出力される。画素データを処理するそのようなソフトウェアに基づく方法は、画像処理を行う際に比較的高価で複雑な演算を必要とする。
【０００４】
線形シフト不変（Linear Shift Invariant：LSI）アップストリーム処理の場合、従来、ハイエンドの色収差補正レンズ（アクロマートレンズ）の設計により、色収差補正（chromatic aberration correction：CAC）が行われている。これらの幾何学歪は多重焦点依存性（many times focus dependent）であり、それを補正するには複雑な再マッピング補間処理を要する。多くのソフトウェアによる方法は、簡易なタイプの歪については全く成功裏に対処できる。そのような技法は、光学的焦点、倍率及びシフトについてカラーチャネルを事前に校正しておくことを含む。しかしながら、収差のない画像を生成するには3つの個々の画像を取り扱う必要がある。
【０００５】
歪が簡易でない場合（歪が焦点とともに変化し、かつ色平面に依存する場合）、ハードウェア的な装置は特殊なレンズを利用しなければならず、必然的にこれはシステムのコストを増大させてしまう。Y．Takayuki et al.,“A Lateral Chromatic Aberration Correction System for Ultrahigh−Definition Color Video Cameras”, Sensors, Cameras and Systems for Scientific and Industrial Applications VII：Proceeding of SPIE（Vol．6068，SPIE Press，2006）は、横型の色収差補正（LCAC）システムを開示しており、これは、様々なカメラの焦点設定についてメモリスタックに格納されているリアルタイム信号処理コンフィギュレーションを含む。他の技法として、キュービックスプライン法及び有限次元線形モデルを用いた画像湾曲法等があり、これらについては、Boult and Wolberg,“Correcting Chromatic Aberrations Using Image Warping,”IEEE Computer Society Conference on Computer Vision and Pattern Recognition，Proceedings CVPR 1992（IEEE Computer Society，2008）及びCai et al．“Color Correction for Digital Images based on the Finite Dimensional Linear−Model”，International Conference on Computer Science on Software Engineering（IEEE Computer Society，2008）にそれぞれ記載されている。しかしながら、実際には、これらは何れも極めて複雑な実現手段になってしまう。個々のハードウェアにこれらの複雑な方法を適用する際の困難性により、これらの方法の用途はかなり制限されてしまう。
【０００６】
Weng et al．“Camera Calibration with Distortion Models and Accuracy Evaluation”，
IEEE Transactions on Pattern Analysis and Machine Intelligence（1992）は、幾何学的歪補正（GDC）法の概要を説明することに加えて、補間法各々により導入される誤差を評価している。幾何学歪（geometric artifact）を補正するために幾何学的ステレオ校正誤差モデルが導入される。他の線形及び非線形な方法も、歪補正に対処するために研究されており、それらはWengの文献に示されている基本的な方法に対する改善を含んでいる。しかしながら、上述したように、何れの方法も補正に伴うハードウェアのマッピングコストを考慮していない。
【０００７】
上記のCAC及びGDCと並んで、複雑さ及び／又は精度のトレードオフを可能にする設計の試みがある。GDC用のソフトウェア方法については例えば次の文献に記載されている。Heikkila and Silven，“A Four−Step Camera Procedure with Implicit Image Correction”, CVPR ‘97 Proceedings of the 1997 Conference on Computer Vision and Pattern Recognition（IEEE Computer Society，1997）及びHartley and Kand，“Parameter Free Radical Distortion Correction with Centre of Distortion Estimation”, ICCV05：Proceedings of the Tenth IEEE International Conference on Computer Vision（IEEE Computer Society，2005）。Heikkila and Silvenは、カメラの校正用の一群の係数に基づく半径歪補正モデルを提案している。マスワークマットラブカメラ校正ツールボックス（Mathwork Matlab’s Camera Calibration Toolbox）を用いて線形及び非線形モデルが概説されている。Hatley and Kangは簡易な歪補正モデルを提案している。しかしながら、様々な画像において取得した歪校正グリッドを用いた正接歪しか考慮していない。“Method for Geometry Distortion Correction”と題する米国特許出願公開第2006／0280376号は、後に生じる歪を補正することに備えて、画像に予め歪を導入する方法を提案している。これは、処理に先行して意図的に画像を歪ませる予備処理の技法である。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の課題は、電気光学画像処理システムにおいて簡易かつ高速に信号の幾何学変換を実行できるようにすること。
【課題を解決するための手段】
【０００９】
一実施例によるシステムは、
入力画像の画素のウィンドウを受信する入力パッチと、
制御データを生成し、処理する現在の画素の位置に基づいて幾何学変換マッピングを制御する変換セレクタと、
ハードウェア幾何学変換エンジンと
を有し、入力ウィンドウから該幾何学変換エンジンを介して出力に至る何れかのパスを、制御データを用いて設定することで、幾何学変換マッピングを実行する、システムである。
【図面の簡単な説明】
【００１０】
【図１Ａ】画像信号処理（ISP）パイプラインの一例を示す図。
【図１Ｂ】2次元画像データに関する幾何学変換システムの一例を示す図。
【図２Ａ】画像データの歪のパターン例を示す図。
【図２Ｂ】画像データの歪のパターン例を示す図。
【図３】サンプリング期間に基づいて幾何学変換を並列的に処理するシステム例を示す図。
【図４Ａ】画像データについて幾何学変換を施すシステム例を示す図。
【図４Ｂ】画像データについて幾何学変換を施すシステム例を示す図。
【図５】幾何学変換エンジンの一例を示す図。
【図６】並列データを用いて画像パッチ登録処理を行うシステム例を示す図。
【図７】並列データを用いてパターンマッチング処理を行うシステム例を示す図。
【図８】コンピュータシステムのブロック図。
【発明を実施するための形態】
【００１１】
簡易かつ高速に信号の幾何学的変換を行う方法及びシステムが開示される。一実施例における本システムは、入力画像における画素のウィンドウを構成する入力パッチを有する。本システムは変換セレクタをさらに有し、該変換セレクタは、制御データを生成し、処理する現在の画素の位置に基づいて幾何学変換マッピングを制御する。一実施例における本システムはハードウェア幾何学変換エンジンを有し、その幾何学変換エンジンにより、制御データを用いて、入力ウィンドウから出力画素へパスを切り替える（有効にする、アクティブにする）ことで、幾何学変換マッピングを実行する。一実施例における本システムは補間器をさらに有し、その補間器は、幾何学変換エンジンからの複数の出力及び制御データを利用して、入力ウィンドウ中の複数のパスを切り替えることで、補間された幾何学変換マッピングを行う。
【００１２】
本発明は、本発明の様々な実施例に関する以下の詳細な説明及び添付図面から明確かつ十分に理解されるであろう。しかしながら、これは本発明を特定の実施例に限定するものではなく、説明及び理解を深めるためのものに過ぎない。
【実施例１】
【００１３】
簡易かつ高速に信号の幾何学的変換を行う方法及びシステムが開示される。一実施例における本システムは、入力画像における画素のウィンドウを構成する入力パッチを有する。本システムは変換セレクタをさらに有し、該変換セレクタは、制御データを生成し、処理する現在の画素の位置に基づいて幾何学変換マッピングを制御する。一実施例における本システムはハードウェア幾何学変換エンジンを有し、その幾何学変換エンジンにより、制御データを用いて、入力ウィンドウから出力画素へパスを切り替えることで、幾何学変換マッピングを実行する。一実施例における本システムは補間器をさらに有し、その補間器は、幾何学変換エンジンからの複数の出力及び制御データを利用して、入力ウィンドウ中の複数のパスを切り替えることで、補間された幾何学変換マッピングを行う。
【００１４】
以下の詳細な説明において、本発明の理解をさらに促すために様々な具体的詳細が説明される。しかしながら、当業者は本発明がそのような具体的詳細なしに実現されてもよいことを認めるであろう。また、本発明を曖昧にしてしまうことがないように、従来の構造及び装置は詳細に説明する代わりにブロック図により示される。
【００１５】
以下の詳細な説明の一部は、コンピュータメモリ内のデータビットを処理するアルゴリズム及び記号表現により行われる。これらのアルゴリズムの説明及び表現は、データ処理技術分野における当業者が他の当業者に彼らの仕事内容を最も効率的に伝えるのに使用される手段である。ここで、アルゴリズムは一般に所望の結果に導く首尾一貫した一連のステップと考えられる。そのステップは物理量の物理的処理を必要とするものである。必須ではないが、通常それらの物理量は、格納、転送、結合、比較その他の処理を施すことの可能な電気的な又は磁気的な信号の形態をとる。原則的な一般的な用法の観点から、ビット、値、エレメント、シンボル、キャラクタ、期間、数等としてそれらの信号に言及することが折に触れて便利なことが分かる。
【００１６】
しかしながら、これらの及び類似の用語の全ては、適切な物理量に関連しており且つそれらの量に付された便宜的なラベルにすぎないことに留意を要する。特に断りのない限り、以下の説明から明らかなように、本説明を通じて、「処理」、「演算」、「計算」、「決定」又は「表示」等のような用語を用いる説明は、コンピュータシステム又は同様な電子コンピュータ装置の動作や処理に関連し、その動作や処理は、コンピュータシステムのレジスタ及びメモリの中で物理的な（電子的な）量として表現されるデータを、コンピュータシステムメモリやレジスタその他の情報ストレージ、伝送又は表示装置の中で物理量として同様に表現される他のデータに変換及び処理することが、理解されるであろう。
【００１７】
本発明はここで説明される処理を実行する装置にも関連している。その装置は、要求される目的に応じて特別に構築されてもよいし、コンピュータに格納されているコンピュータプログラムによって選択的にアクティブにされる又は再構成される汎用コンピュータで構築されてもよい。そのようなコンピュータプログラムはコンピュータ読取可能な記憶媒体に格納されてもよく、その記憶媒体は、限定ではないが、フロッピディスク、光ディスク、CD-ROM、磁気光ディスク、リードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気又は光カード等の如何なるタイプのディスクを含んでもよいし、或いは電子的な命令を格納するのに指摘した如何なるタイプの媒体を含んでもよいし、ディスクも媒体もそれぞれコンピュータシステムバスに結合される。
【００１８】
本願におけるアルゴリズム及び表示は、何らかの特定のコンピュータや他の装置に本質的に依存するものではない。様々な汎用システムが、本願における教示内容にしたがうプログラムとともに使用されてもよいし、あるいは要求される処理ステップを実行することに特化した装置を構築することも有益である。これらの様々なシステムに必要な構造は、以下の説明からさらに明らかになる。また、本発明は何らかの特定のプログラミング言語に関連するものでもない。本願において説明される発明を実現する際に様々なプログラミング言語が使用されてもよいことが認められるであろう。
【００１９】
マシン読取可能な媒体は、マシン（例えば、コンピュータ）により読取可能な形式で情報を保存する又は通信するための如何なる手段をも含む。例えば、マシン読取可能な媒体は、リードオンリメモリ（ROM）、ランダムアクセスメモリ（RAM）、磁気ディスク吐露レー時媒体、光ストレージ媒体、フラッシュメモリ装置等を含む。
【００２０】
以下の観点から実施例を説明する。
【００２１】
・概要
・歪補正
・画像補正のための歪モデル
・幾何学変換エンジン（GTE）
・アプリケーション例
・コンピュータシステム例
＜概要＞
概して、幾何学変換は次のように表現できる：
Iout（t）＝Iin（t−D（t））・・・（1）
ここで、Iin及びIoutは入力及び出力信号であり、tはn次元空間における座標ベクトルであり、D（t）は座標ベクトルtに対する幾何学シフトベクトル（geometric shift vector）である。このモデルは、入力及び出力信号の位置同士の間の幾何学マッピング（幾何学対応関係）を規定する。2次元（2D）画像処理システムにおける幾何学変換は、歪補正及び色収差の変換のように、次のように表現できる：
Iout（x，y）＝Iin（x−Dx（x，y），y−Dy（x，y））・・・（2）
ここで、（x，y）は処理される現在の信号の座標であり、Dx（x，y）及びDy（x，y）はそれぞれx座標及びy座標に関する変換写像（シフトベクトル）である。理論的には、これは達成可能な理想的な変換モデルである。しかしながら実際には、この変換モデルは、ソフトウェア及び／又はハードウェアにおける高価な演算リソースを必要とする。
【００２２】
図1Aは、画像信号処理（ISP）パイプラインの一例を示す。図1に示される一実施例によるISPパイプラインは、画像を処理するのに使用される典型的なISPパイプラインの一部分をなす。一実施例において、デモザイク処理（demosaicking）及び変調変換関数（Modulation Transfer Function：MTF）補正又は整形部108は、ISPパイプラインにおける変換演算部である。一実施例において、カラー登録又は色登録部（color registration）104及び歪補正部106は、ISPパイプラインにおける幾何学変換部である。一実施例において、これらの処理部の各々は、ハードウェアにより、ソフトウェアにより、又はそれらの組み合わせにより実現されてもよい。
【００２３】
一実施例において、後述するように、歪補正部106はハードウェアによる幾何学変換エンジンであり、簡易かつ高速に信号（例えば、画像データ）を変換するマルチプレクサの配列（アレイ又はバンク）により実現される。一実施例において、マルチプレクサ同士の相互接続は、画素の入力ウィンドウの一定の区分けされた幾何学変換により事前に規定されており、その幾何学変換は、特定のアプリケーション、光学レンズ、歪の種別等に対して最適化されている。一実施例において、歪補正部106は、連続的なリアルタイムの又は潤リアルタイムの画素データを処理するように構成されている。
【００２４】
図1Bは、2次元画像データに関する幾何学変換システムの一例を示す。一実施例におけるシステム152は、図1Aに示されるような歪補正部156を含む。一実施例におけるシステム152は、画素165を、入力画像160における現在の位置から出力画像170における修正された画素の位置175へ変換する。一実施例において、システム152により実行される幾何学変換は、後に詳細に説明される計算式に基づいている。一実施例において、画素は、ラスタの順番に（シリアルに）システム152に到着し、システム152により実行される変位変換（displacement transformation）により処理される。一実施例においてその変位変換は、並進に続く画素座標ベクトルの回転を含む。図1Bにおける幾何学変換は、2次元画像データに関するXY平面により示されている。しかしながら、本願において説明されるシステム及び方法は、3次元画像処理において使用されてもよいことに加えて、本願において説明される他の状況において使用されてもよい。
【００２５】
一実施例において、システム152は、連続関数モデル（continuous functional model）に基づいて画素の位置のマッピング（対応関係）を求める。従来の幾何学変換エンジンは、シーケンシャルに順番に処理するものであり、したがって処理に時間と手間がかかり実装上の障害となっていた。これに対して、本実施例におけるシステム152は複雑さを軽減するようにハードウェアにより構成され、システム152が実行する幾何学変換の効率を改善する。一実施例において、この方法による2次元の幾何学変換モデルは、量子化されたモデルを用いることで次のように近似的に表現できる：
【数１】
ここで、Qは、画像を分割する有限の一群の基準領域タイルについて規定された量子化モデルを表す。一実施例において、有限の一群の領域タイルは、極性タイル（polar tiles）でもよい。別の例として、有限の一群の基準タイルは、直線的な境界により区分された任意の形状のタイルでもよい。一実施例において、任意の形状のタイルの数及び線状の境界は、最小二乗平均誤差（MSE）基準にしたがって最適化される。
【００２６】
一実施例において、低コストで高速のハードウェア手段を設計することは、目的とする幾何学変換の精度及び複雑さの間の最適なトレードオフ又は妥協点を見出すことを含む。一実施例において、図1Bのシステム152により実行されるような量子化幾何学変換は、汎用プロセッサ（CPU）、ディジタル信号プロセッサ（DSP）、又はカスタム化されたハードウェア及び論理装置等のような画像信号処理（ISP）パイプラインにおける処理部により実現可能である。
【００２７】
＜歪補正＞
以下、光学系に関する2次元画像歪補正を詳細に説明するが、この説明は本発明の使用例でもある。ここで説明されるハードウェアシステム及び方法は、3次元画像処理システム及びその他の画像歪補正処理（例えば、色収差補正）にも適用可能である。
【００２８】
歪は多くの光学系における代表的な収差（aberration）であり、光学系のレンズ固有の特性に起因して、画像の倍率が、領域内の場所に依存して異なってしまう現象である。
【００２９】
歪は不規則であり多くのパターンに従うが、通常遭遇するほとんどの歪は、光学レンズの対称性から生じる軸対称な歪パターンである。通常、半径方向の歪（radial distortion）は2つの主要なタイプの内の何れかとして分類できる。図2Aには糸巻き型（pincushion）の歪を伴う画像データが示されており、図2Bには樽型（barrel）の歪が示されている。糸巻き形歪及び樽形歪は、光学軸から離れるほど画像倍率が減少及び増加するように生じる。一実施例において、樽形歪及び糸巻き形歪のパターンは、歪モデルに基づいてISPシステムの幾何学変換モジュールにより補正できる。
【００３０】
＜画像補正のための歪モデル＞
一実施例において、2次元光学系の歪補正モデル関数は、次のように表現できる：
【数２】
ここで（x，y）は処理される現在の信号の座標であり、Dx（x，y）及びDy（x，y）はそれぞれx及びy座標に関する多項式幾何学変換関数であり、cpq及びdpqは多項式の係数であり、Nx及びNyは多項式の次数（degrees or orders）であり、p及びqは多項式項の次数である。一実施例において、（4）の多項式関数は、乗算及び加算によりハードウェアにおいて直接的に計算できる。しかしながら、この形態の複雑さは、多項式項の総数が大きくなるにつれて著しく多くなってしまう。一実施例において、多項式関数は、以下のように定義される前進差分演算子を用いて計算できる：
【数３】
ここで、fnはn番目の地点における関数fの値であり、Δfnはn番目の地点における関数の1次の前方差分（first order forward difference）であり、Δkfnはn番目の地点における関数のk次の前方差分である。fが多項式関数であり、Nがその関数の次数であった場合、N次又はそれ未満の前方差分のみがゼロでない値を有する。したがって、第1の地点の前方差分が与えられていた場合、以後の地点の各々における多項式関数は、有限個数の前方差分演算子を用いて反復的に計算できる。このプロセスは次のように表現できる：
【数４】
ここで、k＝1，2，．．．Nである。このように、多項式関数の前方差分演算子は、各地点における有限回数の加算しか必要としないので、簡易なハードウェアを実現できる。
【００３１】
（4）式の2次元多項式関数の場合、前方差分演算子はX及びY座標に沿って別々に計算できる。（x0，y0）をラスタ画像の左上隅の第1画素の位置であるとする。ラスタ順序における各地点のDx（x，y）を求める場合、前方差分演算を行毎に水平に計算できる。m番目の行の場合、これは次のように表現できる：
【数５】
ここで、k＝1，2，．．．Nxであり、nは処理される列のインデックスである。最初の前方差分ΔkDx（x0，ym）を取得するまで、最初のNx＋1列について前方差分が垂直方向に計算される。これは次のように表現できる：
【数６】
ここで、i＝0，1，2，．．．Nxであり、mは処理される行のインデックスである。同様に、上記の前方差分演算を用いてDy（x，y）を計算することができる。
【００３２】
一実施例において、Dx（x，y）及びDy（x，y）は、一群の有限数の基準タイルによる区分的な多項式関数を用いて近似できる。その場合、上記の前方差分演算は、タイル領域各々について別々に計算するために使用可能である。
【００３３】
図3は、サンプリング期間に基づいて幾何学変換を並列的に処理するシステム例を示す。システムクロック各々において、画素ウィンドウが、入力画像306から取得され、幾何学変換エンジン310に供給される。一実施例において、システムクロック304は、タイミングデータをダイナミック変換セレクタ302に提供する。ダイナミック変換セレクタ302は、そのタイミングデータを用いて一群の制御信号を生成する。一実施例において、制御信号は制御ビットであり、その制御ビットは、画素ウィンドウに対応する選択された幾何学変換を実行するように幾何学変換エンジン（Geometric Transformation Engine：GTE）を動的に構築する。以下において説明するように、一実施例における幾何学変換エンジンは、所望の幾何学変換を効率的に実行するマルチプレクサ網（マルチプレクサアレイ）を含む。マルチプレクサアレイを制御する制御ビットを生成して使用するシステム例については、2009年6月に出願され「Method and Apparatus for FIR Filtering Using Space−Varying Rotation」と題する米国特許出願第12／488，479号において説明されている。
【００３４】
＜幾何学変換エンジン（GTE）＞
図4Aは、画像データについて幾何学変換を施すシステム例を示す。図4に示す一実施例において、幾何学変換システムは、入力画像の中から画素ウィンドウ402を受ける入力パッチバッファ404を含む。一実施例において、変換される画素データは、ラスタ順に入力パッチバッファ404により受信される。一実施例において、システムクロック406から受信した値及び画素ウィンドウ402の位置（すなわち、入力画像内の基準タイルの場所）に基づいて、制御論理部408は、切替ネットワーク410に提供される一群の制御ビットを生成する。一実施例において、一実施例において、制御ビットは変換インデックスと言及される。なぜなら、そのビットは所望の変換を実行する切替ネットワーク410を構成するからである。マルチプレクサアレイを制御する制御ビットを生成して使用するシステム例については、2009年6月に出願され「Method and Apparatus for FIR Filtering Using Space−Varying Rotation」と題する米国特許出願第12／488，479号において説明されている。
【００３５】
一実施例において、切替ネットワーク410は、画像の基準領域タイル群について導出された量子化モデルに基づいて、画素ウィンドウ402の画像データについて1つ以上の幾何学変換を施す。一実施例において、量子化モデルは、画像データを受信する前に補正される画像歪及び／又は特定のアプリケーションについて導出及び最適化される。一実施例において、切替ネットワーク410は画像データを補間器412に出力する。一実施例において、補間器412は、最終的に変換された出力414として補間された画素データを生成する。
【００３６】
図4Bは、画像データについて幾何学変換を施すシステム例を示す。一実施例において、図4Bに示されるシステムは、上記の図4のシステムのさらなる詳細を示す。一実施例において、ラインバッファ454は、入力ラスタ画像452を順番に（シリアルに）格納する。一実施例において、入力パッチバッファ456は、ラインバッファ454からラスタ画像452の画素ウィンドウを取得することで、画像データの入力パッチを保存する。
【００３７】
一実施例において、画素クロックの各々において、タイミング信号生成モジュール458は、入力タイミング信号及びシステム処理遅延に基づいて、出力タイミング信号を生成する。出力タイミング信号は、コントローラモジュール460によっても使用され、上述した歪モデルに基づいて、X及びY座標それぞれについて制御ビット462A及び462Bを生成する。一実施例において、X及びY制御ビット462A及び462Bは、入力パッチバッファ456から切替ネットワークモジュール464を介する1つ以上の経路のスイッチをオンにする（経路をアクティブにする）。
【００３８】
一実施例において、切替ネットワークモジュール464の出力画素及びX、Y制御ビット464A、464Bは、補間ジュール466により使用され、最終的な変換出力468として補間された画素を生成する。一実施例において、補間モジュール466は、入力画素に基づいて2本線の補間（bilinear interpolation）を実行する。一実施例において、X、Y制御ビット462A、462Bは、X及びY方向の2本線の補間器の係数を決定するために使用される。
【００３９】
図5は、幾何学変換エンジンの一例を示す図。一実施例において、幾何学変換エンジンは切替ネットワーク510を含む。一実施例において、切替ネットワーク510は図4に示すシステムにより使用されてもよい。
【００４０】
一実施例において、切替ネットワーク510は、一群の制御ビット508にしたがって入力画像データ504を変換するマルチプレクサの配列（アレイ）を有する。一実施例において、切替ネットワーク510は、入力画像に対する一群の基準領域タイルについて導出された量子化モデルに基づいて形成される。切替ネットワーク510は7つのマルチプレクサとともに示されているが、切替ネットワークにより実行される幾何学変換及び／又は入力サイズに応じて、より多い又は少ない数のマルチプレクサが、切替ネットワークに含まれていてもよい。一実施例において、切替ネットワーク510が画像データを変換した後、変換された画像データが出力される（512）。
【００４１】
＜アプリケーション例＞
幾何学変換を利用できる製品領域は非常に広範囲に及ぶ。上記の説明は、本発明の説明を曖昧にしないように、歪補正を行う特定の2次元システムに着目していた。しかしながら、他の画像処理アプリケーションが、画像データの量子化並列処理やかなりの演算負担の削減等による恩恵を受けることが可能である。
【００４２】
図6は、並列データを用いて画像パッチ登録処理を行うシステム例を示す。一実施例において、画像パッチ登録はブロック形式の動き推定に使用される。画像パッチの比較によるフィードバックは、基準オブジェクト変換（reference object transformation）を制御する。一実施例において、システム600は変換フィードバックシステムであり、GTE604により実行される幾何学変換を修正し、新たに変換された画像を生成する。
【００４３】
一実施例において、幾何学変換方法の修正は、動き推定の判断基準（判定部）608からのフィードバックに基づいている。上述したように、一実施例において、入力パッチ602の比較は、複数の基準パッチ610−1ないし610−Nに対して並列的に実行される。一実施例において、比較結果は判定部608により処理され、GTE604により実行される幾何学変換方法を更新する。一実施例において、入力シフト部606は、GTE604が画像データに適用する幾何学変換法を修正する制御信号を生成する。GTE604は、一度に1つの画素を直列的に処理するのではなく、画像パッチに対応する画素ウィンドウの幾何学変換を処理するので、ブロック形式の動き推定処理の効率は大幅に改善される。
【００４４】
図7は、並列データを用いてパターンマッチング処理を行うシステム例を示す。一実施例において、パターンマッチングを行うシステムは、例えば、顔認識製品に適用されてもよい。一実施例において、ディジタルカメラ704により撮影した入力画像702は、ディジタルカメラ704の光学的な制約により歪んでいる。一実施例において、撮影された歪んだ画像706は、基準画像708と比較される。
【００４５】
幾何学変換を行わないシステム720の場合、取得した画像706と基準画像708とを比較すると、比較アルゴリズムにおいて不整合（ミスマッチ）となってしまう。撮影された画像706は歪んでいるので、基準画像708を含む基準画像が入力画像702と一致していた場合でさえ、適切な画像の一致ではないかもしれない。
【００４６】
シリアル画像変換技術を使用するシステムの場合、歪んだ画像706は、幾何学変換エンジン730により順番に（シリアルに）変換され、基準画像708と変換された画像732との比較の前に、メモリ（図示せず）に保存される。一実施例において、この方法は量子化近似を使用するが、（従来のディジタルプロセッサ又はCPUにより実行される技法と同様に）このモデルの実現手段は、画素各々に順に処理を行う技法を使用している。補正（修正）され保存された画像732は、基準画像708と比較され、一致する結果となる。
【００４７】
一実施例において、1つの計算対象の軸方向における一定の区分的な近似とともに、画像データの並列的な処理が使用される。取得された画像のパッチ742は、上述した技法を利用して、パッチに基づく幾何学変換エンジン740により変換され、基準画像のパッチ744と比較され、比較結果が得られる。より小さなパッチを比較するのに必要な演算リソースは、画像全体を比較するためのものよりも少ない。さらに、パッチは並列的に（同時に）処理され、パターン照合システムにおける画像比較のスループットを高めることができる。さらに、パッチ毎ではなく、画像全体を処理する際に、同じパッチハードウェアが再利用できる。
【００４８】
＜コンピュータシステム例＞
図8は、コンピュータシステムのブロック図を示す。一実施例において、コンピュータシステムの内の1つ以上の処理部が光学画像処理システムに統合されてもよい。別の実施例において、コンピュータシステムは光学画像処理システムを制御してもよい。図8を参照するに、コンピュータシステムは、一例によるクライアント又はサーバコンピュータシステムを有する。コンピュータシステム800は、情報を通信するための通信手段又はバス811と、情報を処理するためにバス811に結合されたプロセッサ812とを有する。プロセッサ812は、マイクロプロセッサを含み、マイクロプロセッサは例えばペンティアム（登録商標）等であるが、これに限定されない。
【００４９】
コンピュータシステム800は、バス811に結合されたランダムアクセスメモリ(RAM)又は他のダイナミックストレージデバイス804を有し、プロセッサ812で実行される命令や情報を格納する。メインメモリ804は、プロセッサ812による命令の実行中に、一時的な変数又は他の中間的な情報を格納するのに使用されてもよい。コンピュータシステム800は、バス811に結合され、プロセッサ812のための命令や静的な情報を格納するリードオンリメモリ（ROM）又は他のスタティックストレージデバイス806を含み、かつ磁気ディスクや光ディスクのようなデータストレージデバイス807、そしてそれらに対応するディスクドライブを含む。ストレージデバイス807は、情報及び命令を格納するためにバス811に結合される。
【００５０】
コンピュータシステム800は、コンピュータユーザに情報を表示するために、陰極線管(CRT)又は液晶ディスプレイ(LCD)のようなディスプレイ821にバス811を介して結合されてもよい。英数字その他のキーを含む英数字入力装置822は、情報及び命令選択内容をプロセッサ812に通知するためにバス811に結合される。他のユーザ入力装置は、カーソル制御装置823（例えば、マウス、トラックボール、トラックパッド、スタイラス又はカーソル方向キー）であり、指示情報及び命令選択をプロセッサ812に通知し、かつディスプレイ812でのカーソルの動きを制御する。
【００５１】
バス811に結合されている他の装置の1つは、命令、データ又は他の情報を、紙やフィルムのような媒体又は他のタイプの媒体に印刷するのに使用されるハードコピー装置824である。さらに、スピーカ及び／又はマイクロフォンのような二次記録及び再生装置は、バス811に選択的に結合され、コンピュータシステム800とのオーディオインターフェースとなる。バス811に結合されている他の装置は、電話機又は携帯装置と通信するための有線／無線通信処理部825である。
【００５２】
システム800及び関連するハードウェアの全部又は任意の一部が本発明において使用されてもよいことに留意を要する。しかしながら、他の形態のコンピュータシステムが全部又は一部の要素を含んでもよいことが理解されるべきである。
【００５３】
以上の説明を理解した当業者にとって、本発明に関する多くの代替例や変形例は明らかであろう。図示及び説明された特定の実施例は、決して本発明を限定するようには意図されていないことが理解されるべきである。したがって、様々な実施例の具体的詳細は、本発明の範囲を限定することを意図してはおらず、特許請求の範囲は、本発明に本質的であると理解される要素によってのみ規定される。
【符号の説明】
【００５４】
102 デモザイク処理部
104 カラー登録処理部
106 歪補正部
108 MTF比較又は整形部
【先行技術文献】
【特許文献】
【００５５】
【特許文献１】米国特許第6，538，691号明細書
【特許請求の範囲】
【請求項１】
入力画像の画素のウィンドウを受信する入力パッチと、
制御データを生成し、処理する現在の画素の位置に基づいて幾何学変換マッピングを制御する変換セレクタと、
ハードウェア幾何学変換エンジンと
を有し、入力ウィンドウから該幾何学変換エンジンを介して出力に至る何れかのパスを、制御データを用いて設定することで、幾何学変換マッピングを実行する、システム。
【請求項２】
前記画素のウィンドウが、現在の画素周囲の隣接する一定の画素群を含む、請求項1記載のシステム。
【請求項３】
前記画素のウィンドウのサイズは、前記入力画像全体に対する所望の幾何学変換マッピングの空間的に最大の範囲により決定される、請求項2記載のシステム。
【請求項４】
前記ハードウェア幾何学変換エンジンが、
初期の幾何学変換マッピングを実行する複数のマルチプレクサの配列と、
前記複数のマルチプレクサの配列に結合され、補間された幾何学変換マッピングを実行し、前記画素のウィンドウに対する最終的に変換された出力として画素データを生成する補間器と
をさらに有する、請求項1記載のシステム。
【請求項５】
前記制御データが、画素のウィンドウの位置に基づいて前記変換セレクタが生成した制御ビット群を有する、請求項1記載のシステム。
【請求項６】
前記制御ビット群が、画像を分割する領域タイル群における区分的な前方差分処理により決定されている、請求項5記載のシステム。
【請求項７】
入力画像の画素のウィンドウを受信し、
制御データを生成し、処理する現在の画素の位置に基づいて幾何学変換マッピングを制御し、
入力ウィンドウからハードウェア幾何学変換エンジンを介して出力に至るパスを、前記制御データを用いて設定することで、幾何学変換マッピングを実行するステップ
を有する方法。
【請求項８】
前記画素のウィンドウが、現在の画素周囲の隣接する一定の画素群を含む、請求項7記載の方法。
【請求項９】
前記画素のウィンドウのサイズは、前記入力画像全体に対する所望の幾何学変換マッピングの空間的に最大の範囲により決定される、請求項7記載の方法。
【請求項１０】
複数のマルチプレクサの配列により、幾何学変換マッピングを実行し、
補間器により、補間された幾何学変換マッピングを実行し、前記画素のウィンドウに対する最終的に変換された出力として画素データを生成するステップ
をさらに有する、請求項7記載の方法。
【請求項１１】
前記制御データが、画素のウィンドウの位置に基づいて前記変換セレクタが生成した制御ビット群を有する、請求項7記載の方法。
【請求項１２】
前記制御ビット群が、画像を分割する領域タイル群における区分的な前方差分処理により決定されている、請求項11記載の方法。
【請求項１３】
量子化幾何学変換モデルを利用して、連続関数変換モデルを近似し、
前記量子化幾何学変換モデルに基づいて、ハードウェア幾何学変換エンジンを構築するステップ
を有する方法。
【請求項１４】
画像の画素のウィンドウを受信し、
前記ハードウェア幾何学変換エンジンが、前記画素のウィンドウの幾何学変換マッピングを実行するステップ
をさらに有する、請求項13記載の方法。
【請求項１５】
前記量子化幾何学変換モデルが、幾何学的な歪の1つ以上の性質に基づいて近似される、請求項13記載の方法。
【請求項１６】
前記量子化幾何学変換モデルにより、画像を分割する領域タイル群に対する区分的な幾何学変換を行う、請求項15記載の方法。
【請求項１７】
前記量子化幾何学変換モデルが、前記領域タイル群に対する前記連続変換モデルと前記量子化幾何学変換モデルとの間の二乗平均誤差を最小化するように最適化されている、請求項16記載の方法。
【請求項１８】
前記量子化幾何学変換モデルが、画像を分割する有限個の一群の矩形タイルに関して規定されている、請求項17記載の方法。
【請求項１９】
システムに方法を実行させる命令を格納するコンピュータ読取可能な記憶媒体であって、該方法は、
量子化幾何学変換モデルを利用して、連続関数変換モデルを近似し、
前記量子化幾何学変換モデルに基づいて、ハードウェア幾何学変換エンジンを構築するステップ
を有する、コンピュータ読取可能な記憶媒体。
【請求項２０】
前記方法が、
画像の画素のウィンドウを受信し、
前記ハードウェア幾何学変換エンジンが、前記画素のウィンドウの幾何学変換マッピングを実行するステップ
をさらに有する、請求項19記載の記憶媒体。
【請求項１】
入力画像の画素のウィンドウを受信する入力パッチと、
制御データを生成し、処理する現在の画素の位置に基づいて幾何学変換マッピングを制御する変換セレクタと、
ハードウェア幾何学変換エンジンと
を有し、入力ウィンドウから該幾何学変換エンジンを介して出力に至る何れかのパスを、制御データを用いて設定することで、幾何学変換マッピングを実行する、システム。
【請求項２】
前記画素のウィンドウが、現在の画素周囲の隣接する一定の画素群を含む、請求項1記載のシステム。
【請求項３】
前記画素のウィンドウのサイズは、前記入力画像全体に対する所望の幾何学変換マッピングの空間的に最大の範囲により決定される、請求項2記載のシステム。
【請求項４】
前記ハードウェア幾何学変換エンジンが、
初期の幾何学変換マッピングを実行する複数のマルチプレクサの配列と、
前記複数のマルチプレクサの配列に結合され、補間された幾何学変換マッピングを実行し、前記画素のウィンドウに対する最終的に変換された出力として画素データを生成する補間器と
をさらに有する、請求項1記載のシステム。
【請求項５】
前記制御データが、画素のウィンドウの位置に基づいて前記変換セレクタが生成した制御ビット群を有する、請求項1記載のシステム。
【請求項６】
前記制御ビット群が、画像を分割する領域タイル群における区分的な前方差分処理により決定されている、請求項5記載のシステム。
【請求項７】
入力画像の画素のウィンドウを受信し、
制御データを生成し、処理する現在の画素の位置に基づいて幾何学変換マッピングを制御し、
入力ウィンドウからハードウェア幾何学変換エンジンを介して出力に至るパスを、前記制御データを用いて設定することで、幾何学変換マッピングを実行するステップ
を有する方法。
【請求項８】
前記画素のウィンドウが、現在の画素周囲の隣接する一定の画素群を含む、請求項7記載の方法。
【請求項９】
前記画素のウィンドウのサイズは、前記入力画像全体に対する所望の幾何学変換マッピングの空間的に最大の範囲により決定される、請求項7記載の方法。
【請求項１０】
複数のマルチプレクサの配列により、幾何学変換マッピングを実行し、
補間器により、補間された幾何学変換マッピングを実行し、前記画素のウィンドウに対する最終的に変換された出力として画素データを生成するステップ
をさらに有する、請求項7記載の方法。
【請求項１１】
前記制御データが、画素のウィンドウの位置に基づいて前記変換セレクタが生成した制御ビット群を有する、請求項7記載の方法。
【請求項１２】
前記制御ビット群が、画像を分割する領域タイル群における区分的な前方差分処理により決定されている、請求項11記載の方法。
【請求項１３】
量子化幾何学変換モデルを利用して、連続関数変換モデルを近似し、
前記量子化幾何学変換モデルに基づいて、ハードウェア幾何学変換エンジンを構築するステップ
を有する方法。
【請求項１４】
画像の画素のウィンドウを受信し、
前記ハードウェア幾何学変換エンジンが、前記画素のウィンドウの幾何学変換マッピングを実行するステップ
をさらに有する、請求項13記載の方法。
【請求項１５】
前記量子化幾何学変換モデルが、幾何学的な歪の1つ以上の性質に基づいて近似される、請求項13記載の方法。
【請求項１６】
前記量子化幾何学変換モデルにより、画像を分割する領域タイル群に対する区分的な幾何学変換を行う、請求項15記載の方法。
【請求項１７】
前記量子化幾何学変換モデルが、前記領域タイル群に対する前記連続変換モデルと前記量子化幾何学変換モデルとの間の二乗平均誤差を最小化するように最適化されている、請求項16記載の方法。
【請求項１８】
前記量子化幾何学変換モデルが、画像を分割する有限個の一群の矩形タイルに関して規定されている、請求項17記載の方法。
【請求項１９】
システムに方法を実行させる命令を格納するコンピュータ読取可能な記憶媒体であって、該方法は、
量子化幾何学変換モデルを利用して、連続関数変換モデルを近似し、
前記量子化幾何学変換モデルに基づいて、ハードウェア幾何学変換エンジンを構築するステップ
を有する、コンピュータ読取可能な記憶媒体。
【請求項２０】
前記方法が、
画像の画素のウィンドウを受信し、
前記ハードウェア幾何学変換エンジンが、前記画素のウィンドウの幾何学変換マッピングを実行するステップ
をさらに有する、請求項19記載の記憶媒体。
【図１Ａ】
【図１Ｂ】
【図２Ａ】
【図２Ｂ】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【図６】
【図７】
【図８】
【図１Ｂ】
【図２Ａ】
【図２Ｂ】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−１７０８５１（Ｐ２０１１−１７０８５１Ａ）
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願番号】特願２０１１−３０２８９（Ｐ２０１１−３０２８９）
【出願日】平成２３年２月１５日（２０１１．２．１５）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願日】平成２３年２月１５日（２０１１．２．１５）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]