画像処理方法、画像処理装置、およびコンピューター読み取り可能な媒体
【課題】文書上を手で動かされる小型スキャナーにおいて粗悪な画質およびスキャンされた複数部分の粗悪な位置合わせの改良された方法を提供すること。
【解決手段】ペアの位置合わせからの蓄積エラーのため、縫合された画像はループに遭遇するとぼやけたり、隙間があったりし得る。蓄積エラーを取り除くために第１画像フレームが第２画像フレームと重なる個所で閉鎖ループを特定し、第２画像フレームはシーケンスにおいて第１画像フレームの前に取り込まれ、第１画像フレームを第２画像フレームと位置合わせし、グローバルな制約を用いてグローバルな最適化を適用し、閉鎖ループ内における前記画像フレームの複数のペアの位置合わせに対する位置合わせパラメーターを調節する。
【解決手段】ペアの位置合わせからの蓄積エラーのため、縫合された画像はループに遭遇するとぼやけたり、隙間があったりし得る。蓄積エラーを取り除くために第１画像フレームが第２画像フレームと重なる個所で閉鎖ループを特定し、第２画像フレームはシーケンスにおいて第１画像フレームの前に取り込まれ、第１画像フレームを第２画像フレームと位置合わせし、グローバルな制約を用いてグローバルな最適化を適用し、閉鎖ループ内における前記画像フレームの複数のペアの位置合わせに対する位置合わせパラメーターを調節する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はスキャニング装置、特にマウススキャナーなど手持ち式の文書スキャナーに関する。
【背景技術】
【０００２】
さまざまな文書スキャニング装置が技術的に存在する。その中にはファックス装置、コピー機、多機能ファックス／コピー／印刷装置、独立型のフラトベッドスキャナー等々が含まれる。この種の装置の不利な点は大型で持ち運びができないことである。従って、スキャンする文書を装置に持って行く必要がある。最近になり、小型の手持ち式スキャナーが導入されている。VuPoint PDS‐ST４１０‐VP Magic Wand Portable Scannerなど、いくつかは携帯式で独立型である。Xerox Travel Scanner １００など別のものはラップトップコンピューターに接続することができる。しかしこれらの種類のスキャナーは１枚の紙を受け付け得る大きさがある。
【０００３】
より最近の進展はスキャニング装置を文書上に動かしながら文書（例えば本のページまたは写真）の一部分のみをスキャンする非常に小型のスキャナーである。画像処理を用いてこれらのスキャンされた部分を縫合し、ページ全体または写真全体のコピーを作成する。米国公開特許出願番号ＵＳ２０１０／０１２４３８４はこの種の装置の１例を説明している。場合によって装置は２つのモードで機能する。１モードにおいては通常のマウスとして機能し、別のモードではスキャナーとして機能する。共有の２００９年１２月２８日に申請の米国特許出願番号１２／６４８，２３６、公開番号２０１０／０１７１９９６（特許文献１）、および２００９年１２月２２日に申請の米国特許出願番号１２／６４５，４２１、公開番号２０１０／０１６５４２２（特許文献２）、はこの種の装置を説明しており、これは時々「マウススキャナー」と呼ばれる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願公開第２０１０／０１７１９９６号明細書
【特許文献２】米国特許出願公開第２０１０／０１６５４２２号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
文書上を手で動かされるこの種の小型スキャナーに見られる問題のいくつかに粗悪な画質およびスキャンされた複数部分の粗悪な位置合わせが挙げられる。
【課題を解決するための手段】
【０００６】
本発明の画像処理方法は、スキャニング装置によりシーケンスで取り込んだ画像フレームの複数のペアの位置合わせで蓄積されたエラーをプロセッサーを用いて補正する画像処理方法であって、
第１画像フレームが第２画像フレームと重なる個所で閉鎖ループを特定するステップであって、前記第２画像フレームは前記シーケンスにおいて前記第１画像フレームの前に取り込まれるステップと、
前記第１フレームを前記第２画像フレームと位置合わせするステップと、
グローバルな制約を用いてグローバルな最適化を適用し、閉鎖ループ内における前記画像フレームの複数のペアの位置合わせに対する位置合わせパラメーターを調節するステップと、を有することを特徴とする。
【０００７】
また、本発明の画像処理方法において、前記位置合わせパラメーターを調節するステップは、複数のグローバルな制約を含むエラー測定を計算するステップを有することを特徴とする。
【０００８】
また、本発明の画像処理方法において、前記グローバルな制約は３つの独立したスカラー制約を有することを特徴とする。
【０００９】
また、本発明の画像処理方法において、前記複数のペアの位置合わせに合致した特徴点のペアを抽出するステップをさらに有することを特徴とする。
【００１０】
また、本発明の画像処理方法において、前記エラー測定を計算するステップは合致した特徴点のエラーを含むことを特徴とする。
【００１１】
また、本発明の画像処理方法において、前記閉鎖ループにおいて位置合わせの中断を特定するステップであって、前記位置合わせの中断は前記シーケンスにおいて２つの連続フレームｉおよびi＋１の間にあるステップと、
前記閉鎖ループにおけるすべての位置合わせエラーをフレームｉおよびｉ＋１間のペアの位置合わせに割り当てるステップと、
前記フレームｉおよびｉ＋１の変換行列に従いペアの変換パラメーターを更新するステップと、をさらに有することを特徴とする。
【００１２】
また、本発明の画像処理方法において、画像フレームのすべてのペアの位置合わせを固定されたものとしてマークするステップをさらに有することを特徴とする。
【００１３】
また、本発明の画像処理方法において、前記閉鎖ループ内において固定されたものとしてマークされた画像フレームのペアの位置合わせに対する位置合わせパラメーターはグローバルな最適化の際調節されないことを特徴とする。
【００１４】
ここで、本発明の画像処理装置は、スキャニング装置によりシーケンスで取り込んだ画像フレームの複数のペアの位置合わせで蓄積されたエラーを補正する画像処理装置であって、
プロセッサーを有し、
前記プロセッサーは、
第１画像フレームが第２画像フレームと重なる個所で閉鎖ループを特定するステップであって、前記第２画像フレームは前記シーケンスにおいて前記第１画像フレームの前に取り込まれるステップと、
前記第１フレームを前記第２画像フレームと位置合わせするステップと、
グローバルな制約を用いてグローバルな最適化を適用し、閉鎖ループ内における前記画像フレームの複数のペアの位置合わせに対する位置合わせパラメーターを調節するステップと、を実行することを特徴とする。
【００１５】
また、本発明の画像処理装置において、前記位置合わせパラメーターを調節するステップは、複数のグローバルな制約を含むエラー測定を計算するステップを有することを特徴とする。
【００１６】
また、本発明の画像処理装置において、前記グローバルな制約は３つの独立したスカラー制約を有することを特徴とする。
【００１７】
また、本発明の画像処理装置において、前記プロセッサーは、前記複数のペアの位置合わせに合致した特徴点のペアを抽出するステップをさらに実行することを特徴とする。
【００１８】
また、本発明の画像処理装置において、前記エラー測定を計算するステップは合致した特徴点のエラーを含むことを特徴とする。
【００１９】
また、本発明の画像処理装置において、前記プロセッサーはさらに、
前記閉鎖ループにおいて位置合わせの中断を特定するステップであって、前記位置合わせの中断は前記シーケンスにおいて２つの連続フレームｉおよびｉ＋１の間にあるステップと、
前記閉鎖ループにおけるすべての位置合わせエラーをフレームｉおよびｉ＋１間のペアの位置合わせに割り当てるステップと、
前記フレームｉおよびｉ＋１の変換行列に従いペアの変換パラメーターを更新するステップと、を実行することを特徴とする。
【００２０】
また、本発明の画像処理装置において、前記プロセッサーはさらに、前記画像フレームのすべてのペアの位置合わせを固定されたものとしてマークするステップを実行することを特徴とする。
【００２１】
また、本発明の画像処理装置において、前記閉鎖ループ内において固定されたものとしてマークされた画像フレームのペアの位置合わせに対する位置合わせパラメーターはグローバルな最適化の際調節されないことを特徴とする。
【００２２】
さらに、本発明のコンピューター読み取り可能な媒体は、プロセッサーにより実行されるとスキャニング装置によりシーケンスで取り込んだ画像フレームの複数のペアの位置合わせで蓄積されたエラーを補正するコンピューター読み取り可能な命令を有する１つ以上の有形の非一時的なコンピューター読み取り可能な媒体であって、
前記プロセッサーは、
第１画像フレームが第２画像フレームと重なる個所で閉鎖ループを特定するステップであって、前記第２画像フレームは前記シーケンスにおいて前記第１画像フレームの前に取り込まれるステップと、
前記第１フレームを前記第２画像フレームと位置合わせするステップと、
グローバルな制約を用いてグローバルな最適化を適用し、閉鎖ループ内における前記画像フレームの複数のペアの位置合わせに対する位置合わせパラメーターを調節するステップと、を実行することを特徴とする。
【００２３】
また、本発明のコンピューター読み取り可能な媒体は、前記位置合わせパラメーターを調節するステップは、複数のグローバルな制約を含むエラー測定を計算するステップを有することを特徴とする。
【００２４】
また、本発明のコンピューター読み取り可能な媒体は、前記プロセッサーはさらに、前記複数のペアの位置合わせに合致した特徴点のペアを抽出するステップを実行することを有することを特徴とする。
【００２５】
また、本発明のコンピューター読み取り可能な媒体は、前記プロセッサーは前記複数のペアの位置合わせに合致した特徴点のペアを抽出することを特徴とする。
【００２６】
また、本発明のコンピューター読み取り可能な媒体は、前記エラー測定を計算するステップは合致した特徴点のエラーを含むことを特徴とする。
【００２７】
また、本発明のコンピューター読み取り可能な媒体は、前記プロセッサーはさらに、
前記閉鎖ループにおいて位置合わせの中断を特定するステップであって、前記位置合わせの中断は前記シーケンスにおいて２つの連続フレームｉおよびｉ＋１の間にあるステップと、
前記閉鎖ループにおけるすべての位置合わせエラーをフレームｉおよびｉ＋１間のペアの位置合わせに割り当てるステップと、
前記フレームｉおよびｉ＋１の変換行列に従いペアの変換パラメーターを更新するステップと、を実行することを特徴とする。
【００２８】
また、本発明のコンピューター読み取り可能な媒体は、前記プロセッサーはさらに画像フレームのすべてのペアの位置合わせを固定されたものとしてマークすることを特徴とする。
【００２９】
また、本発明のコンピューター読み取り可能な媒体は、前記閉鎖ループ内において固定されたものとしてマークされた画像フレームのペアの位置合わせに対する位置合わせパラメーターはグローバルな最適化の際調節されないことを特徴とする。
【図面の簡単な説明】
【００３０】
【図１】本発明のマウススキャナー１０の概略図である。
【図２】本発明のシステムブロック図である。
【図３】本発明の全体的なプロセスの流れ図である。
【図４】ベイヤーモザイクにおけるピクセルクワッドを示す図である。
【図５】本発明において歪み除去用の補間の選択肢を示す図である。
【図６】本発明において変換パラメーターを推定する全般的プロセスを示す流れ図である。
【図７】共通のx‐y座標空間において互いに角度θで配置されるフレームｉおよびフレームｉ＋１の２フレームの関係を示す図である。
【図８】マウススキャナー１０でスキャンされ位置をレーザーセンサーで記録された２フレームを示す図である。
【図９】図８に図示される２フレーム間の重なり部分を示す図である。
【図１０】センサーの信頼が低い時ダウンサンプルされた画像が低解像度で位置合わせされた場合の２つの画像の位置合わせを全般的に示す流れ図である。
【図１１】フレームおよび先行フレーム間に位置合わせの途切れがある位置合わせループを示す図である。
【図１２】フレームを先行フレームの前に来た、以前のフレームに位置合わせすることによる、図１１に図示された途切れのループ閉鎖補正を示す図である。
【図１３】新ループが１つ以上の閉鎖ループを含む場合を示す図である。
【図１４】図１３に示されるフレーム１からNの新ループの抽出を示す図である。
【図１５】新ループが補正された閉鎖ループ内にある場合を示す図である。
【図１６】フレームKからLが補正された図１５に図示される新ループ用のKからNのフレームの抽出を示す図である。
【図１７】図１６に示されるフレーム１からNの新ループの抽出を示す図である。
【図１８】ループ補正のステップを全般的に説明した流れ図である。
【発明を実施するための形態】
【００３１】
本発明の概要は以下のとおりとなる。すなわち、文書を画像フレームのシーケンスとしてスキャンする場合、例としてマウススキャナーまたは他の画像取り込み装置を例えば文書を左から右に横断させ、次に下に動かし、その後右から左に横断させる場合、各フレームは通常その右および／または左のフレーム、ならびにその上および／または下のフレームと重なる。シーケンスにおいて以前に取り込んだ（直前のフレームの前に取り込まれた）フレームに戻ると、現在のフレームをこの以前に取り込んだフレームと位置合わせできる場合「ループ閉鎖状態」が検出され、これは例えば現在のフレームの上または下にある画像部分であり得る。
【００３２】
ペアの位置合わせはシーケンスにおける１つのフレームと次に取り込まれたフレームとの位置合わせである。画像のシーケンスが縫合され文書の合成画像が形成されると、各ペアの位置合わせはそれ自体が成功してもいくらかのエラーを蓄積する。この数ピクセル程度であり得る小さなエラーは１つの画像フレームがスキャンシーケンスにおいて次の画像フレームと位置合わせされた場合は目立たない。
【００３３】
しかしこのエラーはより多くの画像が縫合されると蓄積する。画像のシーケンスで後の方に来る画像がシーケンスではるかに前の画像と重なると、このエラーは見えるようになり、縫合された画像において中断や不一致を作り出す可能性がある。本発明は画像のいくつかのペアの位置合わせをグローバルな制約で最適化することにより蓄積されたエラーを低減し補正する。グローバルな制約はループを閉鎖し、それにより、より古い画像と重なる新しい画像間の可視的な差を打ち消す。
【００３４】
ペアの位置合わせから蓄積エラーのために、縫合された画像はループに遭遇するとぼやけたり、隙間ができたりする可能性がある。蓄積エラーを取り除くために１つのループにおけるペアの位置合わせすべてをグローバルな最適化でループを補正するので、ペアの位置合わせエラーのみならずループ閉鎖制約を有するグローバルな位置合わせエラーも最小化し、それにより蓄積エラーは逆方向のエラー補正後最小化される。
【００３５】
エラー関数はグローバルな制約（ループ閉鎖制約）エラーベクターに取り入れ、蓄積エラーとともにペアの位置合わせエラーを最小化できるようにする。
【００３６】
発明のより完全な理解とともに他の目的および成果は以下の説明および添付図面と併せて以下の説明およびクレームにより明らかになり理解されよう。
【００３７】
以下に実施の形態を説明する。
図１および２は本発明のマウススキャナー１０およびシステムの概略図である。ハウジング１２は典型的なコンピューターマウスのような形であることが好ましい。ハウジング１２内にはカメラ１４がある。カメラ１４は特にデジタル画像化に適したCMOSセンサー型であることが好ましい。しかし、CCD（電荷結合素子）型の画像取り込み装置など、スキャンされた区域をデジタル化する他の種類の装置を用いることができる。
【００３８】
マウススキャナー１０の画像取り込み部分はマウススキャナー１０が文書上で動かされる際その下にある文書の部分を照らすよう配置されるLEDを含むことができる。LEDが好ましい光源であるが、マウススキャナー１０のサイズおよび構成により白色光または蛍光灯など他の種類も可能な代替として考慮することができる。照明を増強または向上させるために光反射鏡も備えることができる。画像はマウススキャナーのハウジング１２の底に形成されたスキャニング窓２８を通して取り込まれる。
【００３９】
本発明は本明細書において理解のし易さの目的から特定の装置、すなわちマウススキャナー、に関して説明されるが、本発明の態様はデジタルカメラ、ビデオカメラ、スキャナー、およびX線機器またはMRI装置など他の検出装置などの、入力データを取得する他の装置に適用されることが理解されよう。また、「画像」の用語も同様にこのような装置により取得された入力データに適用される。
【００４０】
一旦スキャンボタンがオペレーターにより押されると、マウススキャナー１０は文書にわたり動かされ、マウススキャナー１０の位置は４個のレーザーの運動センサー２２により示される。スキャンボタンはスキャニングプロセスを制御する単なる１つの選択肢で、自動的に制御することもできる。これらのレーザーの運動センサー２２はマウススキャナー１０の底に位置し、図１においてセンサーS１、S２、S３、およびS４として図示される。これらのレーザーの運動センサー２２は１つの取り込み画像（フレーム）の次に対する相対的位置を表す位置指示データを提供する。各取り込みフレームは「タイル」とみなすこともできる。フレームまたはタイルは少なくとも最初はレーザーの運動センサー２２により示される相対的位置に基づき縫合される。合成画像は例えば合成画像を形成する隣接縫合画像間の対応を測定する画像処理を用いて形成（精緻化）される。位置検出にレーザーの運動センサーを用いることが好ましいが、代わりの位置センサーには速度、加速、および／またはジャイロセンサーが含まれる。
【００４１】
マウススキャナー１０はさらにFPC（フレキシブルプリント回路）のメインボード２４を含む。メインボード２４はマウススキャナー１０における活動および処理を制御し、例えばUSBコネクターポート経由で外付けのPCと通信する。図２はメインボードとその外付けPC（ホストコンピューター）への接続の概略的表示である。メインボード２４は介在インターフェイス２０２によりホストコンピューター２５０（PC）とデータを交換する。アプリケーションプログラムおよび画像取り込み装置ドライバーもアクセス用にホストコンピューター２５０に記憶することができる。ドライバーはメインボード２４からのさまざまな信号およびデータを受信し解釈し、ホストコンピューター２５０からユーザーに必要な情報を提供することができる。
【００４２】
ホストコンピューター２５０によりデータが送信されると、インターフェイス２０２はデータを受信し、RAM２０４の一部を形成する受信バッファーに記憶する。RAM２０４は例えばアドレス化によりいくつかの部分に分割し、受信バッファーまたは送信バッファーなど異なるバッファーとして割り当てることができる。デジタル画像データなどのデータもカメラ１４、フラッシュEEPROM２１０、またはROM２０８により取得することができる。例えば、カメラ１４は本のページまたは写真など文書の一部分をスキャンすることによりデジタル画像を生成することができる。このデジタル画像は次にRAM２０４の受信バッファーまたは送信バッファーに記憶することができる。
【００４３】
プロセッサー２０６が例えばROM２０８またはフラッシュEEPROM２１０に記憶されるコンピューター実行可能な命令を用いて本発明の方法など特定の機能または機能のグループを実施する。RAM２０４の受信バッファーにおけるデータが例えばデジタル画像である場合、プロセッサー２０６（または恐らくコンピューター２５０における１つ以上のプロセッサー）はデジタル画像に本発明の行為を実施し、例えば位置情報および特徴対応に基づきデジタル画像を他のデジタル画像と縫合しページまたは写真全体を表す合成画像を作成することができる。次に例えば追加処理、プリンター２０２での印刷、プロジェクター２６４での投影、またはハードディスク２６０への記憶のためにホストコンピューター２５０に画像を転送する前に撮像パイプラインにおいてさらにデジタル画像に処理を実施することができる。
【００４４】
本発明の方法および本明細書に開示されるその変形はコンピューター実行可能な命令またはデータ構造を搭載し、または有する有形の非一時的なコンピューター読み取り可能な媒体を用いて実施することができる。このようなコンピューター読み取り可能な媒体は汎用または特殊用途のコンピューターのプロセッサーでアクセスできる任意の利用可能な媒体であって良い。限定ではなく例として、このようなコンピューター読み取り可能な媒体はRAM、ROM、EEPROM、CD‐ROMもしくは他の光ディスク記憶装置または他の磁気記憶装置、またはコンピューター読み取り可能な命令またはデータ構造の形でプログラムコードを搭載または記憶するために用い得、汎用または特殊用途のコンピューターのプロセッサーによりアクセスできる他の任意の媒体であって良い。上述の組み合わせもコンピューター読み取り可能な媒体の範囲に含まれるべきである。
【００４５】
コンピューター読み取り可能な命令は例えば、汎用または特殊用途のコンピューターのプロセッサーに特定の機能または機能のグループを実施される命令およびデータからなる。本明細書において主題は方法行為に固有の言葉で説明されるが、添付クレームに定義される主題は必ずしも本明細書において説明される具体的な行為に限定されないことが理解されよう。逆に、本明細書において説明される具体的な行為はクレームを実施するための形態の例として開示される。
【００４６】
上述のように、マウススキャナー１０は４個のレーザーの運動センサーおよびCMOSセンサー型カメラ１４を含み、マウススキャナーハウジング１２の下にある画像を取り込む。スキャナーボタンがオペレーターにより押されると（または自動的スキャニングプロセスが開始されると）、メインボード２４により（例えばROM２０８もしくはフラッシュEEPROM２１０に記憶される命令を実施するプロセッサー２０６により）実施される画像取得機能はカメラ１４から生の画像データおよびレーザーの運動センサー２２からセンサー座標および状態を戻す。レーザーの運動センサーの状態は持ち上げビットを含む。持ち上げビットはセンサーが表面から持ち上げられた、すなわち正確な位置情報を提供するにはスキャンされている文書の表面あら離れ過ぎている、ことを示す。これは折られたり曲げられたりしたページ、または本の背など文書表面が平坦でない場合に起こり得る。持ち上げビットが設定されると、そのセンサーからの位置データはマウススキャナーの動きを正確に表さないかも知れず、無効で本発明において関連フレームまたはタイルの位置合わせに用いられないかも知れない。
【００４７】
カメラ１４の解像度は例えば３００dpiである。オペレーターによりマウススキャナー１０がページの横に下にと動かされるにつれ画像は例えば１秒当たり１０回取得される。通常オペレーターによるマウススキャナー１０の動きは１行横方向に、１列下に、次の行を逆方向に横断し、以下同様である。処理の負荷がピークにある際フレームの脱落を避けるために、画像の取得は別のスレッドで実行することができ、または実施形態によってはより高い優先順位でも良い。０.５秒を超える遅延は受け入れられないので、主スレッドに画像を送信するFIFOのサイズは５を超えるべきでない。
【００４８】
一実施形態において画像取得手順はマウスが動かないとフレームを落とす。これはCPUが画像処理に使う時間を節約しループ補正の負荷を削減する。しかし、４つの持ち上げビットがすべて設定されているフレームは落とすべきでなく、オペレーターによりマウススキャナー１０がページから完全に持ち上げられる（それによりスキャニングを停止すべきことを示す）とアプリケーションが画像取得手順を停止できるように処理されるべきである。
【００４９】
図３は本発明の画像取得手順の全般的な流れ図である。手順はステップ７１０で始まり、マウススキャナー１０がスキャンされる文書上に置かれる。オペレーターがスキャンボタン２０を押しステップ７１２において新フレームがカメラ１４により取り込まれるとスキャニングが開始される。新フレームが取り込まれると同時にステップ７１４においてレーザーの運動センサー２２からの位置データ入力によりそのフレームの位置が示される。そのフレームの生の画像（VGA）が例えばコンピューター２５０に記憶され（ステップ７１６）、レーザーの運動センサー２２からのその位置データ入力と相関される。
【００５０】
マウススキャナー１０において、不均一な照明およびカメラ１４のレンズが安価であると生の画像において目立つ影をもたらし得る。本発明の実施形態において、生の画像（VGA）に対し影補正が適用され（ステップ７１８）、補正された画像（VGA）が形成され生の画像の代わりにコンピューター２５０に記憶される（ステップ７２０）。
次に補正された画像の歪み除去およびモザイク除去がステップ７２２において行なわれる。ルックアップ表に基づく歪み除去が用いられる。ルックアップ表は較正ファイルに記憶されている。
【００５１】
優良なモザイク除去アルゴリズムは計算コストが高い。処理時間の方が画質より優先順位が高いようで、異なる色のピクセルを特別に位置合わせすることで充分と判断される。図４はベイヤーモザイクのピクセルクワッドであるが、出力カラー画像において各クワッドに対し１ピクセルを生成する必要がある。この結果、元のVGA画像の最大解像度の４分の１（QVGA）となる（ステップ７２４）。緑のピクセル値は生の画像における２つの緑ピクセルを平均化することにより得られる（ステップ７２６）。色チャンネル間のオフセットに対応するために、歪み除去のルックアップ表の座標は赤および青ピクセルについて各々（−１/４，＋１/４）および（＋１/４，−１/４）だけ変更される。
【００５２】
歪み除去されたカラー画像を得るには双一次補間が充分のはずである。
他方、位置合わせに用いられる画像の画質は重要である。生の画像（事実上３２０×４８０）における緑チャンネルのピクセルを取り欠けたピクセルを補間してVGAサイズの画像を得ることが可能である。歪み除去において双三次補間が好ましい。従って、補間はこのシナリオにおいて２回行なわれる。
あるいは、生の画像における元の緑ピクセルに双三次補間を適用することができる。この場合、走査線は４５°回転されたように見える。図５は歪み除去における選択肢を図示する。
【００５３】
好ましい実施形態は位置合わせ用にQVGAサイズの緑チャンネル画像（ステップ７２６より）を用いる。その画像におけるピクセルは各クワッドの２つの緑ピクセルを平均化することにより得られる。本発明において画像処理の各ステップが実施されて行くにつれ、得られた画像はさらに処理、位置合わせ、または表示するためにコンピューター２５０に記憶される。得られた各画像フレームはその対応位置データといっしょに記憶される。
【００５４】
前述のとおり、レーザーの運動センサー２２の位置データはレーザーの運動センサー２２がスキャンされる文書から持ち上げられるとマウススキャナー１０のファームウェアにより例えばEEPROM２１０において設定される持ち上げビットを含む。持ち上げられたセンサーは有効な位置座標を生成しないので、これらはステップ７２８において検出され、変換推定（ステップ７３０）の１段階において無視される。
【００５５】
位置合わせの一部または準備行為として、隣接フレーム間の相対的変換は双方の画像にとって有効なセンサー座標に基づき推定される。
変換推定（図３におけるステップ７３０）が以下の部分で詳細に説明される。
【００５６】
（変換推定（ステップ７３０））
変換推定プロセスは図６の流れ図に全般的に示される。プロセスはスキャンボタン２０が押されることで始まる（ステップ１２１０）。
一旦スキャンボタン２０が押されると、画像取り込み装置、すなわちカメラ１４、はマウススキャナー１０がオペレーターによりページを横に下にと動かされるにつれフレーム、すなわちフレームｉ、フレームｉ＋１、フレームｉ＋２、等々を例えば１秒当たり１０回で取り込み始める。前述のとおり、新フレームが取り込まれるのと同時にそのフレームの位置はレーザーの運動センサー２２からの位置データ入力により示される（ステップ１２１２）。
【００５７】
２つのフレームより２個から４個のセンサーの位置データが与えられると、変換パラメーターを推定することができる（ステップ１２１４）。
周知のとおり、変換パラメーターは１つのフレームにおけるピクセル位置を別のフレームの画像空間、または共通の画像空間、に変換またはマップすることを可能にする。一旦変換パラメーターが得られると、２つのフレームを縫合または融合して合成画像を形成することができる。
【００５８】
本発明が対処する問題の１つは１フレームを別のフレームに関連付ける要石である位置データが必ずしも正確でないということである。各フレームの位置データを正確に推定する必要がある。そうするために、パラメーター推定に使用する位置データの正確さの信頼測定を開発した（ステップ１２１６）。
【００５９】
【００６０】
【００６１】
【００６２】
【００６３】
センサーがページ落ちまたは無効（正しくない位置データを報告）であるかの判定は「ページ落ちの検出」と題する下記の部分に詳細に説明される。これは図６において一般的にステップ１２１８として示される。一般的に、各センサーはセンサーが位置データを報告するにはページから離れ過ぎていることを示す「持ち上げビット」を報告する。しかし、時々センサーが持ち上げられても（ページ落ち）この状態は報告されない。従って本発明において、位置合わせエラーを用い経験的に判定された閾値と比較して少なくとも１つのセンサーが実際ページ落ちおよび／または無効であるかを決める。
【００６４】
加えて、センサー位置の幾何学的特性を検討するのに重みが用いられる。４個のセンサーが正方形に形成されていない場合、精度を向上させるために水平および垂直のペアからのエラーは異なって加重される。例えば、図１に示される実施形態において、４個のセンサーS１‐S４は矩形に形成されているので、水平および垂直ペアからのエラーは異なって加重される。
【００６５】
【００６６】
本発明の一実施形態において、持ち上げられたセンサーに対し重みがゼロである場合エラー要素を取り除く（図６のステップ１２２０）。その結果、ヤコビ行列JはK×３となる。
K= ２*mで、m （m<=４）は有効なセンサーの数である。
Kは３つの未知数に対する方程式の数である。その結果、K>=３であることは必要なので少なくとも２つの有効なセンサーの読み出しが必要となる。一旦無効なセンサーデータを除外すると、上記に要約したように変換パラメーターを再推定し（ステップ１２２２）、センサーデータのエラーを再計算し、変換パラメーターが真であるという信頼を再測定する（ステップ１２２４）。一旦変換パラメーターが再推定されるとプロセスのこの部分は終了し（ステップ１２２６）、プロセスはフレームの位置合わせに進む（図３のステップ７３２）。しかし、位置合わせに進む前に以下の部分で信頼測定およびページ落ちの検出を考察する。
【００６７】
（信頼測定）
上述のようにセンサーの位置合わせエラーを取り除いた上、次に変換パラメーターの信頼測定を実施する。
分散行列（分散−共分散行列とも呼ばれる）、Ｑｘｘ、はＱxx＝（ＪtＷＪ）-1と定義される。
分散行列、Qxx、は各未知数の分散と各未知数のペアの共分散を含む。
任意の量のセットについて、エラー楕円を計算することができる。楕円の寸法および配向は分散行列の係数から計算される。
【００６８】
【００６９】
【００７０】
【００７１】
【００７２】
エラー楕円は任意の信頼水準について計算できる。選択された信頼に対しフィッシャー分布を計算する必要がある。ここで９５％信頼水準のエラー楕円を計算することができる。
９５％信頼のエラー楕円は真のパラメーターが楕円で指定された面積内にある確率が９５％あることを意味する。予想通り、計算により多くのセンサーが使用されると楕円の面積はより小さくなる。推定値が真のパラメーターにより近い場合も楕円面積を減らす。
【００７３】
【００７４】
（ページ落ちの検出（図６のステップ１２１８））
レーザーセンサー２２がページ落ちしていることは、特にセンサーが正しく「持ち上げビット」を報告しない場合、位置合わせの精度に影響するので大きな問題である。
センサー推定の信頼測定に関し上述のように、（Tx，Ty）のエラー楕円を推定することができる。
分散行列（分散−共分散行列とも呼ばれる）、Qxx、は
Ｑxx＝（ＪtＷＪ）-1と定義される。
【００７５】
【００７６】
位置合わせエラーが大きいと、少なくとも１つのセンサーはページ落ちしていると結論される。エラーを閾値と比較して、このような結論を得る。特定の装置に対し閾値は１つ以上のセンサーをページ落ちさせさまざまな条件の下で１つ以上の画像をスキャンし、これらのテスト条件の各々についてエラーを測定することにより経験的に決められる。
【００７７】
（ページ落ちのセンサーの検出および再推定）
センサーはページ落ちしていると位置値を増やさなくなるのでページ落ちしたセンサーは運動長がより短いという仮定に基づきセンサーを無効と設定する。以下にプロセスステップを要約する。
【００７８】
ステップ１：
最初にすべて持ち上げられていないセンサーを用いて変換を推定し、パラメーター推定からSe値を計算する。
【００７９】
ステップ２：
SeがT_high（例えば５など経験的に決められた閾値）を超え、持ち上げを報告していないセンサーがT_low（例えば３など経験的に決められた閾値）を超えてある場合、有効なセンサーの運動ベクターを計算する。
【００８０】
ステップ３：
平均未満の運動長を有するセンサーを無効として選択する。
次に図３においてステップ７３２として一般的に示される本発明の位置合わせの態様を説明する。
【００８１】
（位置合わせ（図３のステップ７３２））
本発明において画像のペアを縫合する方法が提供される。本発明の縫合アルゴリズムは２つの画像の画像データからの位置合わせエラーとともにセンサーのセットからの推定エラーからなるコスト関数の最小化が関わる。コスト関数における重み関数は持ち上げおよびページ落ちとともにセンサー読み取りの精度尺度を含むセンサーエラーを考慮してセンサー推定の信頼値から引き出される。
【００８２】
本発明のアルゴリズムは重みを用いてセンサー精度に対し画像位置合わせ精度を調節し２つの画像を最も良く縫合する位置合わせパラメーターのセットを生み出す。この結果、少ない内容の区域ではセンサーデータが画像データより重きがある一方、豊富な内容の区域では画像データがセンサーデータより重きがある。
【００８３】
従って、ペアの画像位置合わせはセンサーデータおよび画像データ双方からの情報を融合することで、より高い精度を達成できる。初期位置合わせパラメーター用に大きなエラーを扱い最小化プロセスにおいて極小を避けるために、画像ペアはより低い解像度で位置合わせした後高解像度に精緻化することができる。詳細な説明を以下に提供する。
【００８４】
角の一致に基づくペアの画像位置合わせは画像のペアの重なる区域内に顕著な角がないか少ない場合失敗するか、正確でないかもしれない。この結果、特徴に基づく方法またはセンサーデータを用いて初期の位置合わせから位置合わせを精緻化する必要があるかもしれない。本発明において、位置合わせは画像データとセンサーデータを統合することにより行なわれる。
【００８５】
（鋼体変換モデルに基づくペアの画像位置合わせ）
図７はフレームｉおよびフレームｉ＋１の２フレームとフレームｉにおけるピクセル点p’およびフレームｉ＋１における対応ピクセル点p”との関係を図示する。２つのフレームは共通のｘーｙ座標空間において互いにθの角度で配置され、その中の黒点で特定される重なり区域を有する。
【００８６】
【００８７】
（センサーデータを用いた位置合わせ）
センサーデータからの位置合わせパラメーター推定は前述の「変換推定」の考察において説明される。
RAM２０４において例えばpt１とpt２と称するアレーに記憶される有効なセンサー座標のマッチされたペアが抽出される。
【００８８】
【００８９】
【００９０】
センサーデータから、エラー（tx，ty，theta）を最小化する反復方法に基づく推定パラメーターおよび転換（S_Tran）用のエラー楕円の半軸に基づき信頼測定を得る。
【００９１】
（画像データを用いた位置合わせ）
画像データを用いた位置合わせは最小化問題として定式化される。２つのフレームを位置合わせするために、センサーデータから推定された位置合わせパラメーターに基づき重なり区域を抽出することができる。図８はマウススキャナー１０でスキャンされ位置をレーザーセンサー２２で記録されたフレーム１６および１７の２フレームを図示する。
【００９２】
センサーデータに基づき、位置合わせパラメーターの初期推定は前述部分に説明したとおり、
Tx＝１８.２９４６、Ty＝−２.０６１９、およびTheta＝−０.０３２０で得られる。
転換用のエラー楕円の半軸は０.７２８１で、９５％の信頼水準にある。
【００９３】
重なり区域はテンプレートとして用いられる第２フレーム、フレーム１７、から抽出される。
tmplt＝SecondImg（y１：y２，x１：x２）。
【００９４】
図９は重なり区域を図示する。
tmpltの矩形の４点は、［x１，y１］，［x２，y１］，［x１，y２］，［x２，y２］である。
画像データに基づく位置合わせにはテンプレート画像（第２フレーム）におけるピクセルを基準画像（第１フレーム）におけるピクセルに合致させることが関わる。
Tを（n×m）の画像テンプレートとすると、これは行列とみなすことができる。
【００９５】
【００９６】
Iを基準画像とし、Ｉ（Ｗ（ｘ；ｐ））は現在の位置合わせパラメーターｐによりテンプレート画像におけるピクセルｘに対応するマップされた点Ｗ（ｘ；ｐ）の強度であるとする。
照明が一定であると仮定すると、テンプレート画像T（ｘ）におけるピクセルｘの強度は位置合わせパラメーターｐが正しい場合基準画像においてマップされたピクセルの強度Ｉ（Ｗ（ｘ；ｐ））と整合しまたは同じとなる。
【００９７】
【００９８】
最小化問題を解くために、ガウスニュートン、ニュートン、最急降下、またはESM法を用いることができる。
好ましい実施形態はルーカス−金出アルゴリズム（これはガウスニュートン勾配降下非線形最適化アルゴリズムである）に基づいている。
センサーデータまたはいくつかの整合した角のペアからの初期パラメーターは最適な解に近いと仮定するので勾配最小二乗最適化が面積に基づく位置合わせに用いられる。
【００９９】
【０１００】
【０１０１】
【０１０２】
（画像およびセンサーデータを統合した重み関数）
EIおよびEsからの２つのエラー関数を融合するために、正しい重み関数を見出す必要がある。
【０１０３】
【０１０４】
【０１０５】
重みを調節することにより、EＩとEsをどのようにバランスするかを調節することができる。センサーデータが信頼できる場合、センサーデータをより信頼する。センサーデータが信頼できない場合、画像データからの強度に基づく位置合わせをより信頼する。
S_Tranを用いてセンサーの信頼を評価するので、S_Tranはエラー楕円の半軸である。S_Tranがより大きいことはセンサーデータがより信頼できないことを意味する。
【０１０６】
センサーデータが信頼できる場合、エラー楕円の半軸、S_Tran、は０に近い。重みは非常に大きくなる。その結果、センサーデータをはるかに多く信頼できる。
センサーデータが信頼できない場合、エラー楕円の半軸、S_Tran、は非常に大きい。重みは非常に小さくなる。その結果、センサーデータへの信頼ははるかに少なくなる。
【０１０７】
加えて、２つのセンサーのみからS_Tranを推定する場合すべてのセンサーペアを同等に扱う。予備的知識から、２つのセンサーのより長いペアから推定されたエラーは２つのセンサーのより短いペラから推定されたエラーよりはるかに小さい。その結果、S_Tranの計算は特定のセンサー形状に適合するよう修正する必要があるかもしれない。
【０１０８】
（位置合わせの低解像度から高解像度への精緻化）
上述の手順における仮定はセンサーからの初期パラメーターが最適または真の値に近いということである。
センサーデータが信頼できない場合、位置合わせパラメーターの初期推定は真の値とはかけ離れている。その結果、収束、または極小に収束、しないかもしれない。
エラー楕円の半軸に基づき、真の値が何であるべきか９５％の信頼水準で分かる。
【０１０９】
センサーが信頼できる場合、S_Tranは典型的には１ピクセル未満と小さく、より低い解像度における位置合わせは必要ない。本発明の方法は初期の推定が真の値より５から８ピクセル離れている場合でも画像を位置合わせすることが示されている。
センサーが信頼できない場合、S_Tranは通常３から１０ピクセルであるので、１/２の低解像度において当方法を用いて位置合わせをすることができる。
非常に大きいエラーがある場合、S_Tranは２０ピクセルを超えるかも知れないので、１/４とさらに低い解像度で当方法を用いて位置合わせをすることができる。
【０１１０】
図１０は全般的な流れを図示する。ステップ２２１０において、上述の「変換推定（ステップ７３０）」と題する部分でまとめたようにセンサーデータ、推定された変換パラメーター、およびセンサーの信頼が得られる。
センサーの信頼が高い、すなわちS_Tranが典型的には数ピクセル未満と小さい場合（ステップ２２１２で「はい」が戻される）、上述のようにフレームを高解像度で位置合わせする（ステップ２２１４）。
センサーの信頼が低い、すなわちS_Tranが典型的には数ピクセルを超えるほど大きい場合（ステップ２２１２で「いいえ」が戻される）、基準およびテスト画像（すなわち第２および第１フレーム）をダウンサンプルしてより低い解像度を達成し（ステップ２２１８）、上述のようにフレームをまず低解像度で位置合わせする。
選ばれる低解像度、１/４または１/２、はエラーの程度に依存する。この初期位置合わせの後、次により高い解像度の画像フレームを用いて上述の位置合わせステップを繰り返すことにより再度フレームの位置合わせを精緻化する。
【０１１１】
（ループ補正（図３のステップ７３８））
以下は本発明のループ補正態様の考察である。ペアの位置合わせに基づくペアの画像縫合は各フレームがその前のフレームのみと重なる場合エラーの蓄積をもたらす可能性がある。
画像をスキャンする場合、マウススキャナー１０は例えば文書を左から右に横断し、次に下に動かされ、その後右から左に横断する。各フレームは通常その右および／または左のフレーム、ならびにその上および／または下のフレームと重なる。
以前に取り込んだ（直前のフレームの前に取り込まれた）フレームに戻ると、これは例えば現在のフレームの上または下にある画像部分であり得るが、現在のフレームをこの以前に取り込んだフレームと位置合わせできる場合「ループ閉鎖状態」が検出される。
一般的にペアの位置合わせはすべて成功すると仮定する。しかし、中断が起こった場合ペアの位置合わせは利用できなくなる。中断後の新しいフレームは、閉鎖ループが特定されるまでセンサーデータからの変換行列に従い新しい位置に割り当てられる。ループ閉鎖補正はエラーを中断が起こったフレームに割り当てる。中断はフレームｉおよびｉ＋１の間に起こったと仮定する（図１１）。
この場合、以前に（フレームｉの前に）取り込まれたフレームnがフレームｉ＋１と位置合わせされ閉鎖ループを形成しなければならない（図１２）。
【０１１２】
【０１１３】
一旦Tiが計算されると、閉鎖ループは固定される。
ペアの位置合わせが閉鎖ループで補正された場合、ペアの位置合わせは図１２において示されるように「固定」と設定される。一旦「固定」されるとペアの位置合わせはそれ以上変更されない。
新しいループの特定に注意する場合がいくつかある。例えば、閉鎖ループに螺旋スキャニングに対する閉鎖ループが含まれる場合、または閉鎖ループ内に新しい閉鎖ループがある場合である。２つの可能な事例を記述する。
【０１１４】
事例１、新しいループは１つ以上の閉鎖ループを含む場合（図１３）。
図１３に示すように、新しいループは補正された閉鎖ループを含んでいる。１からNのフレームが新しいループ（外側ループ）用に抽出されるが、フレームKからL（内側ループ）は既に補正されている。
新しいループはフレーム１からNより抽出される。抽出されたフレームを図１４の下の行に示すように１からnと呼ぶことができる。
固定されないフレーム番号のみを含むインデックスベクターを得る。上記例について、フレーム番号［１，…K，L＋１…N］を含むサイズ（N‐（L‐K））のインデックスベクターが得られる。
【０１１５】
事例２、新しいループは閉鎖ループ内にある場合（図１５）。
新しいループはフレームKからNより抽出される（図１６）。抽出されたフレームを図１７の下の行に示すように１からnと呼ぶことができる。
固定されないフレーム番号のみを含むインデックスベクターを得る。上記例について、フレーム番号［L＋１…N］または［k＋１..n］を含むサイズ（N‐L）または（n‐k）のインデックスベクターが得られる。
グローバルな最適化が次に抽出されたループを処理するが、これはインデックスベクターに記録される固定されないペアの位置合わせを補正するのみである。
以下は特定の状況に対するアルゴリズムの修正の考察である。
【０１１６】
中断フレームを有する単独ループの補正
以下はフレームｉおよびｉ＋１の間に中断を有する閉鎖ループに対する補正の考察である。
【０１１７】
【０１１８】
一旦、フレームｉからｉ＋１のペアの位置合わせが更新されると、ｉ＋１からフレームnまでの画像フレームの表示が更新され、１からnのペアの位置合わせはすべて「固定」に設定される。
【０１１９】
【０１２０】
固定されたペアの位置合わせに対するエラー測定は含まれない。この結果、固定されないペアの位置合わせおよび３つのグローバルな制約に対するエラー測定が得られる。eエラー測定はKの要素を有する。
【０１２１】
【０１２２】
本発明によりループ補正を行ない、フレーム座標を更新することにより、スキャンされた画像は再引き寄せされる、すなわちスキャンされた個々のフレームは元の画像に近似するように引き締め合わされる。スキャンされた画像は次に表現され（図３のステップ７４２）、画像は例えば表示、投影、または印刷することができる（図３のステップ７４４）。あるいは、またはさらに、スキャンされた画像に隣接フレーム間の目立つ重なり部分を減らすような既知の融合アルゴリズムを課すことができる（図３におけるステップ７４６）。融合の後、画像は例えば表示、投影、または印刷することができ（図３のステップ７４８）、プロセスは終了する（図３のステップ７５０）。
【０１２３】
（ループ閉鎖エラー最小化のグローバルな最適化）
上述のように、ペアの位置合わせに基づくペアの画像縫合は各フレームがその前のフレームのみと重なる場合エラーの蓄積をもたらす可能性がある。より以前のフレームに戻るとループ閉鎖が検出される。しかし蓄積されたエラーのため、ループは閉鎖されないかもしれない。
本発明において、グローバルな最小化ストラテジーを用いてすべてのフレーム位置合わせに対し逆方向補正を行なう。ループ閉鎖は現在のフレームおよびより以前のフレームの間で相当な重なりがあるかを調べることにより検出することができる。以下に逆方向補正を用いたループ閉鎖エラー最小化のグローバルな最適化を説明する。
【０１２４】
【０１２５】
【０１２６】
【０１２７】
各エラーに対する重みは
（ａ）ペアの位置合わせに対する推定の不確実さ−解像度または特徴点の数などの要素に基づき信頼測定を加重することができる、
（ｂ）特徴点の抽出エラー−エラーの強度を加重することができる、および／または、
（ｃ）持ち上げ、傾斜、またはカメラ較正による歪み−レーザーデータの信頼性を加重することができる、
などの不確定要素に基づき導入することができる。
【０１２８】
選択された要素またはエラー源およびそれに帰属する重みは各々の特定システムに依存し、エラー源およびそれらのグローバルな最適化に与える影響を理解するには経験的な試験が必要である。
【０１２９】
発明はいくつかの具体的な実施形態と併せて説明されたが、当業者であれば前述の説明に照らしさらに多数の代替、修正、および変更が明らかになることが明白であろう。従って本明細書において説明される発明は添付クレームの精神および範囲に入るそのような代替、修正、応用、および変更すべてを包含することを意図する。
【符号の説明】
【０１３０】
１０ マウススキャナー、１２ ハウジング、１４ カメラ、２４ メインボード、２０４ RAM、２０６ プロセッサー、２０８ ROM、２１０ フラッシュEEPROM、２５０ コンピューター、２６０ ハードディスク、２６２ プリンター、２６４ プロジェクター。
【技術分野】
【０００１】
本発明はスキャニング装置、特にマウススキャナーなど手持ち式の文書スキャナーに関する。
【背景技術】
【０００２】
さまざまな文書スキャニング装置が技術的に存在する。その中にはファックス装置、コピー機、多機能ファックス／コピー／印刷装置、独立型のフラトベッドスキャナー等々が含まれる。この種の装置の不利な点は大型で持ち運びができないことである。従って、スキャンする文書を装置に持って行く必要がある。最近になり、小型の手持ち式スキャナーが導入されている。VuPoint PDS‐ST４１０‐VP Magic Wand Portable Scannerなど、いくつかは携帯式で独立型である。Xerox Travel Scanner １００など別のものはラップトップコンピューターに接続することができる。しかしこれらの種類のスキャナーは１枚の紙を受け付け得る大きさがある。
【０００３】
より最近の進展はスキャニング装置を文書上に動かしながら文書（例えば本のページまたは写真）の一部分のみをスキャンする非常に小型のスキャナーである。画像処理を用いてこれらのスキャンされた部分を縫合し、ページ全体または写真全体のコピーを作成する。米国公開特許出願番号ＵＳ２０１０／０１２４３８４はこの種の装置の１例を説明している。場合によって装置は２つのモードで機能する。１モードにおいては通常のマウスとして機能し、別のモードではスキャナーとして機能する。共有の２００９年１２月２８日に申請の米国特許出願番号１２／６４８，２３６、公開番号２０１０／０１７１９９６（特許文献１）、および２００９年１２月２２日に申請の米国特許出願番号１２／６４５，４２１、公開番号２０１０／０１６５４２２（特許文献２）、はこの種の装置を説明しており、これは時々「マウススキャナー」と呼ばれる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願公開第２０１０／０１７１９９６号明細書
【特許文献２】米国特許出願公開第２０１０／０１６５４２２号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
文書上を手で動かされるこの種の小型スキャナーに見られる問題のいくつかに粗悪な画質およびスキャンされた複数部分の粗悪な位置合わせが挙げられる。
【課題を解決するための手段】
【０００６】
本発明の画像処理方法は、スキャニング装置によりシーケンスで取り込んだ画像フレームの複数のペアの位置合わせで蓄積されたエラーをプロセッサーを用いて補正する画像処理方法であって、
第１画像フレームが第２画像フレームと重なる個所で閉鎖ループを特定するステップであって、前記第２画像フレームは前記シーケンスにおいて前記第１画像フレームの前に取り込まれるステップと、
前記第１フレームを前記第２画像フレームと位置合わせするステップと、
グローバルな制約を用いてグローバルな最適化を適用し、閉鎖ループ内における前記画像フレームの複数のペアの位置合わせに対する位置合わせパラメーターを調節するステップと、を有することを特徴とする。
【０００７】
また、本発明の画像処理方法において、前記位置合わせパラメーターを調節するステップは、複数のグローバルな制約を含むエラー測定を計算するステップを有することを特徴とする。
【０００８】
また、本発明の画像処理方法において、前記グローバルな制約は３つの独立したスカラー制約を有することを特徴とする。
【０００９】
また、本発明の画像処理方法において、前記複数のペアの位置合わせに合致した特徴点のペアを抽出するステップをさらに有することを特徴とする。
【００１０】
また、本発明の画像処理方法において、前記エラー測定を計算するステップは合致した特徴点のエラーを含むことを特徴とする。
【００１１】
また、本発明の画像処理方法において、前記閉鎖ループにおいて位置合わせの中断を特定するステップであって、前記位置合わせの中断は前記シーケンスにおいて２つの連続フレームｉおよびi＋１の間にあるステップと、
前記閉鎖ループにおけるすべての位置合わせエラーをフレームｉおよびｉ＋１間のペアの位置合わせに割り当てるステップと、
前記フレームｉおよびｉ＋１の変換行列に従いペアの変換パラメーターを更新するステップと、をさらに有することを特徴とする。
【００１２】
また、本発明の画像処理方法において、画像フレームのすべてのペアの位置合わせを固定されたものとしてマークするステップをさらに有することを特徴とする。
【００１３】
また、本発明の画像処理方法において、前記閉鎖ループ内において固定されたものとしてマークされた画像フレームのペアの位置合わせに対する位置合わせパラメーターはグローバルな最適化の際調節されないことを特徴とする。
【００１４】
ここで、本発明の画像処理装置は、スキャニング装置によりシーケンスで取り込んだ画像フレームの複数のペアの位置合わせで蓄積されたエラーを補正する画像処理装置であって、
プロセッサーを有し、
前記プロセッサーは、
第１画像フレームが第２画像フレームと重なる個所で閉鎖ループを特定するステップであって、前記第２画像フレームは前記シーケンスにおいて前記第１画像フレームの前に取り込まれるステップと、
前記第１フレームを前記第２画像フレームと位置合わせするステップと、
グローバルな制約を用いてグローバルな最適化を適用し、閉鎖ループ内における前記画像フレームの複数のペアの位置合わせに対する位置合わせパラメーターを調節するステップと、を実行することを特徴とする。
【００１５】
また、本発明の画像処理装置において、前記位置合わせパラメーターを調節するステップは、複数のグローバルな制約を含むエラー測定を計算するステップを有することを特徴とする。
【００１６】
また、本発明の画像処理装置において、前記グローバルな制約は３つの独立したスカラー制約を有することを特徴とする。
【００１７】
また、本発明の画像処理装置において、前記プロセッサーは、前記複数のペアの位置合わせに合致した特徴点のペアを抽出するステップをさらに実行することを特徴とする。
【００１８】
また、本発明の画像処理装置において、前記エラー測定を計算するステップは合致した特徴点のエラーを含むことを特徴とする。
【００１９】
また、本発明の画像処理装置において、前記プロセッサーはさらに、
前記閉鎖ループにおいて位置合わせの中断を特定するステップであって、前記位置合わせの中断は前記シーケンスにおいて２つの連続フレームｉおよびｉ＋１の間にあるステップと、
前記閉鎖ループにおけるすべての位置合わせエラーをフレームｉおよびｉ＋１間のペアの位置合わせに割り当てるステップと、
前記フレームｉおよびｉ＋１の変換行列に従いペアの変換パラメーターを更新するステップと、を実行することを特徴とする。
【００２０】
また、本発明の画像処理装置において、前記プロセッサーはさらに、前記画像フレームのすべてのペアの位置合わせを固定されたものとしてマークするステップを実行することを特徴とする。
【００２１】
また、本発明の画像処理装置において、前記閉鎖ループ内において固定されたものとしてマークされた画像フレームのペアの位置合わせに対する位置合わせパラメーターはグローバルな最適化の際調節されないことを特徴とする。
【００２２】
さらに、本発明のコンピューター読み取り可能な媒体は、プロセッサーにより実行されるとスキャニング装置によりシーケンスで取り込んだ画像フレームの複数のペアの位置合わせで蓄積されたエラーを補正するコンピューター読み取り可能な命令を有する１つ以上の有形の非一時的なコンピューター読み取り可能な媒体であって、
前記プロセッサーは、
第１画像フレームが第２画像フレームと重なる個所で閉鎖ループを特定するステップであって、前記第２画像フレームは前記シーケンスにおいて前記第１画像フレームの前に取り込まれるステップと、
前記第１フレームを前記第２画像フレームと位置合わせするステップと、
グローバルな制約を用いてグローバルな最適化を適用し、閉鎖ループ内における前記画像フレームの複数のペアの位置合わせに対する位置合わせパラメーターを調節するステップと、を実行することを特徴とする。
【００２３】
また、本発明のコンピューター読み取り可能な媒体は、前記位置合わせパラメーターを調節するステップは、複数のグローバルな制約を含むエラー測定を計算するステップを有することを特徴とする。
【００２４】
また、本発明のコンピューター読み取り可能な媒体は、前記プロセッサーはさらに、前記複数のペアの位置合わせに合致した特徴点のペアを抽出するステップを実行することを有することを特徴とする。
【００２５】
また、本発明のコンピューター読み取り可能な媒体は、前記プロセッサーは前記複数のペアの位置合わせに合致した特徴点のペアを抽出することを特徴とする。
【００２６】
また、本発明のコンピューター読み取り可能な媒体は、前記エラー測定を計算するステップは合致した特徴点のエラーを含むことを特徴とする。
【００２７】
また、本発明のコンピューター読み取り可能な媒体は、前記プロセッサーはさらに、
前記閉鎖ループにおいて位置合わせの中断を特定するステップであって、前記位置合わせの中断は前記シーケンスにおいて２つの連続フレームｉおよびｉ＋１の間にあるステップと、
前記閉鎖ループにおけるすべての位置合わせエラーをフレームｉおよびｉ＋１間のペアの位置合わせに割り当てるステップと、
前記フレームｉおよびｉ＋１の変換行列に従いペアの変換パラメーターを更新するステップと、を実行することを特徴とする。
【００２８】
また、本発明のコンピューター読み取り可能な媒体は、前記プロセッサーはさらに画像フレームのすべてのペアの位置合わせを固定されたものとしてマークすることを特徴とする。
【００２９】
また、本発明のコンピューター読み取り可能な媒体は、前記閉鎖ループ内において固定されたものとしてマークされた画像フレームのペアの位置合わせに対する位置合わせパラメーターはグローバルな最適化の際調節されないことを特徴とする。
【図面の簡単な説明】
【００３０】
【図１】本発明のマウススキャナー１０の概略図である。
【図２】本発明のシステムブロック図である。
【図３】本発明の全体的なプロセスの流れ図である。
【図４】ベイヤーモザイクにおけるピクセルクワッドを示す図である。
【図５】本発明において歪み除去用の補間の選択肢を示す図である。
【図６】本発明において変換パラメーターを推定する全般的プロセスを示す流れ図である。
【図７】共通のx‐y座標空間において互いに角度θで配置されるフレームｉおよびフレームｉ＋１の２フレームの関係を示す図である。
【図８】マウススキャナー１０でスキャンされ位置をレーザーセンサーで記録された２フレームを示す図である。
【図９】図８に図示される２フレーム間の重なり部分を示す図である。
【図１０】センサーの信頼が低い時ダウンサンプルされた画像が低解像度で位置合わせされた場合の２つの画像の位置合わせを全般的に示す流れ図である。
【図１１】フレームおよび先行フレーム間に位置合わせの途切れがある位置合わせループを示す図である。
【図１２】フレームを先行フレームの前に来た、以前のフレームに位置合わせすることによる、図１１に図示された途切れのループ閉鎖補正を示す図である。
【図１３】新ループが１つ以上の閉鎖ループを含む場合を示す図である。
【図１４】図１３に示されるフレーム１からNの新ループの抽出を示す図である。
【図１５】新ループが補正された閉鎖ループ内にある場合を示す図である。
【図１６】フレームKからLが補正された図１５に図示される新ループ用のKからNのフレームの抽出を示す図である。
【図１７】図１６に示されるフレーム１からNの新ループの抽出を示す図である。
【図１８】ループ補正のステップを全般的に説明した流れ図である。
【発明を実施するための形態】
【００３１】
本発明の概要は以下のとおりとなる。すなわち、文書を画像フレームのシーケンスとしてスキャンする場合、例としてマウススキャナーまたは他の画像取り込み装置を例えば文書を左から右に横断させ、次に下に動かし、その後右から左に横断させる場合、各フレームは通常その右および／または左のフレーム、ならびにその上および／または下のフレームと重なる。シーケンスにおいて以前に取り込んだ（直前のフレームの前に取り込まれた）フレームに戻ると、現在のフレームをこの以前に取り込んだフレームと位置合わせできる場合「ループ閉鎖状態」が検出され、これは例えば現在のフレームの上または下にある画像部分であり得る。
【００３２】
ペアの位置合わせはシーケンスにおける１つのフレームと次に取り込まれたフレームとの位置合わせである。画像のシーケンスが縫合され文書の合成画像が形成されると、各ペアの位置合わせはそれ自体が成功してもいくらかのエラーを蓄積する。この数ピクセル程度であり得る小さなエラーは１つの画像フレームがスキャンシーケンスにおいて次の画像フレームと位置合わせされた場合は目立たない。
【００３３】
しかしこのエラーはより多くの画像が縫合されると蓄積する。画像のシーケンスで後の方に来る画像がシーケンスではるかに前の画像と重なると、このエラーは見えるようになり、縫合された画像において中断や不一致を作り出す可能性がある。本発明は画像のいくつかのペアの位置合わせをグローバルな制約で最適化することにより蓄積されたエラーを低減し補正する。グローバルな制約はループを閉鎖し、それにより、より古い画像と重なる新しい画像間の可視的な差を打ち消す。
【００３４】
ペアの位置合わせから蓄積エラーのために、縫合された画像はループに遭遇するとぼやけたり、隙間ができたりする可能性がある。蓄積エラーを取り除くために１つのループにおけるペアの位置合わせすべてをグローバルな最適化でループを補正するので、ペアの位置合わせエラーのみならずループ閉鎖制約を有するグローバルな位置合わせエラーも最小化し、それにより蓄積エラーは逆方向のエラー補正後最小化される。
【００３５】
エラー関数はグローバルな制約（ループ閉鎖制約）エラーベクターに取り入れ、蓄積エラーとともにペアの位置合わせエラーを最小化できるようにする。
【００３６】
発明のより完全な理解とともに他の目的および成果は以下の説明および添付図面と併せて以下の説明およびクレームにより明らかになり理解されよう。
【００３７】
以下に実施の形態を説明する。
図１および２は本発明のマウススキャナー１０およびシステムの概略図である。ハウジング１２は典型的なコンピューターマウスのような形であることが好ましい。ハウジング１２内にはカメラ１４がある。カメラ１４は特にデジタル画像化に適したCMOSセンサー型であることが好ましい。しかし、CCD（電荷結合素子）型の画像取り込み装置など、スキャンされた区域をデジタル化する他の種類の装置を用いることができる。
【００３８】
マウススキャナー１０の画像取り込み部分はマウススキャナー１０が文書上で動かされる際その下にある文書の部分を照らすよう配置されるLEDを含むことができる。LEDが好ましい光源であるが、マウススキャナー１０のサイズおよび構成により白色光または蛍光灯など他の種類も可能な代替として考慮することができる。照明を増強または向上させるために光反射鏡も備えることができる。画像はマウススキャナーのハウジング１２の底に形成されたスキャニング窓２８を通して取り込まれる。
【００３９】
本発明は本明細書において理解のし易さの目的から特定の装置、すなわちマウススキャナー、に関して説明されるが、本発明の態様はデジタルカメラ、ビデオカメラ、スキャナー、およびX線機器またはMRI装置など他の検出装置などの、入力データを取得する他の装置に適用されることが理解されよう。また、「画像」の用語も同様にこのような装置により取得された入力データに適用される。
【００４０】
一旦スキャンボタンがオペレーターにより押されると、マウススキャナー１０は文書にわたり動かされ、マウススキャナー１０の位置は４個のレーザーの運動センサー２２により示される。スキャンボタンはスキャニングプロセスを制御する単なる１つの選択肢で、自動的に制御することもできる。これらのレーザーの運動センサー２２はマウススキャナー１０の底に位置し、図１においてセンサーS１、S２、S３、およびS４として図示される。これらのレーザーの運動センサー２２は１つの取り込み画像（フレーム）の次に対する相対的位置を表す位置指示データを提供する。各取り込みフレームは「タイル」とみなすこともできる。フレームまたはタイルは少なくとも最初はレーザーの運動センサー２２により示される相対的位置に基づき縫合される。合成画像は例えば合成画像を形成する隣接縫合画像間の対応を測定する画像処理を用いて形成（精緻化）される。位置検出にレーザーの運動センサーを用いることが好ましいが、代わりの位置センサーには速度、加速、および／またはジャイロセンサーが含まれる。
【００４１】
マウススキャナー１０はさらにFPC（フレキシブルプリント回路）のメインボード２４を含む。メインボード２４はマウススキャナー１０における活動および処理を制御し、例えばUSBコネクターポート経由で外付けのPCと通信する。図２はメインボードとその外付けPC（ホストコンピューター）への接続の概略的表示である。メインボード２４は介在インターフェイス２０２によりホストコンピューター２５０（PC）とデータを交換する。アプリケーションプログラムおよび画像取り込み装置ドライバーもアクセス用にホストコンピューター２５０に記憶することができる。ドライバーはメインボード２４からのさまざまな信号およびデータを受信し解釈し、ホストコンピューター２５０からユーザーに必要な情報を提供することができる。
【００４２】
ホストコンピューター２５０によりデータが送信されると、インターフェイス２０２はデータを受信し、RAM２０４の一部を形成する受信バッファーに記憶する。RAM２０４は例えばアドレス化によりいくつかの部分に分割し、受信バッファーまたは送信バッファーなど異なるバッファーとして割り当てることができる。デジタル画像データなどのデータもカメラ１４、フラッシュEEPROM２１０、またはROM２０８により取得することができる。例えば、カメラ１４は本のページまたは写真など文書の一部分をスキャンすることによりデジタル画像を生成することができる。このデジタル画像は次にRAM２０４の受信バッファーまたは送信バッファーに記憶することができる。
【００４３】
プロセッサー２０６が例えばROM２０８またはフラッシュEEPROM２１０に記憶されるコンピューター実行可能な命令を用いて本発明の方法など特定の機能または機能のグループを実施する。RAM２０４の受信バッファーにおけるデータが例えばデジタル画像である場合、プロセッサー２０６（または恐らくコンピューター２５０における１つ以上のプロセッサー）はデジタル画像に本発明の行為を実施し、例えば位置情報および特徴対応に基づきデジタル画像を他のデジタル画像と縫合しページまたは写真全体を表す合成画像を作成することができる。次に例えば追加処理、プリンター２０２での印刷、プロジェクター２６４での投影、またはハードディスク２６０への記憶のためにホストコンピューター２５０に画像を転送する前に撮像パイプラインにおいてさらにデジタル画像に処理を実施することができる。
【００４４】
本発明の方法および本明細書に開示されるその変形はコンピューター実行可能な命令またはデータ構造を搭載し、または有する有形の非一時的なコンピューター読み取り可能な媒体を用いて実施することができる。このようなコンピューター読み取り可能な媒体は汎用または特殊用途のコンピューターのプロセッサーでアクセスできる任意の利用可能な媒体であって良い。限定ではなく例として、このようなコンピューター読み取り可能な媒体はRAM、ROM、EEPROM、CD‐ROMもしくは他の光ディスク記憶装置または他の磁気記憶装置、またはコンピューター読み取り可能な命令またはデータ構造の形でプログラムコードを搭載または記憶するために用い得、汎用または特殊用途のコンピューターのプロセッサーによりアクセスできる他の任意の媒体であって良い。上述の組み合わせもコンピューター読み取り可能な媒体の範囲に含まれるべきである。
【００４５】
コンピューター読み取り可能な命令は例えば、汎用または特殊用途のコンピューターのプロセッサーに特定の機能または機能のグループを実施される命令およびデータからなる。本明細書において主題は方法行為に固有の言葉で説明されるが、添付クレームに定義される主題は必ずしも本明細書において説明される具体的な行為に限定されないことが理解されよう。逆に、本明細書において説明される具体的な行為はクレームを実施するための形態の例として開示される。
【００４６】
上述のように、マウススキャナー１０は４個のレーザーの運動センサーおよびCMOSセンサー型カメラ１４を含み、マウススキャナーハウジング１２の下にある画像を取り込む。スキャナーボタンがオペレーターにより押されると（または自動的スキャニングプロセスが開始されると）、メインボード２４により（例えばROM２０８もしくはフラッシュEEPROM２１０に記憶される命令を実施するプロセッサー２０６により）実施される画像取得機能はカメラ１４から生の画像データおよびレーザーの運動センサー２２からセンサー座標および状態を戻す。レーザーの運動センサーの状態は持ち上げビットを含む。持ち上げビットはセンサーが表面から持ち上げられた、すなわち正確な位置情報を提供するにはスキャンされている文書の表面あら離れ過ぎている、ことを示す。これは折られたり曲げられたりしたページ、または本の背など文書表面が平坦でない場合に起こり得る。持ち上げビットが設定されると、そのセンサーからの位置データはマウススキャナーの動きを正確に表さないかも知れず、無効で本発明において関連フレームまたはタイルの位置合わせに用いられないかも知れない。
【００４７】
カメラ１４の解像度は例えば３００dpiである。オペレーターによりマウススキャナー１０がページの横に下にと動かされるにつれ画像は例えば１秒当たり１０回取得される。通常オペレーターによるマウススキャナー１０の動きは１行横方向に、１列下に、次の行を逆方向に横断し、以下同様である。処理の負荷がピークにある際フレームの脱落を避けるために、画像の取得は別のスレッドで実行することができ、または実施形態によってはより高い優先順位でも良い。０.５秒を超える遅延は受け入れられないので、主スレッドに画像を送信するFIFOのサイズは５を超えるべきでない。
【００４８】
一実施形態において画像取得手順はマウスが動かないとフレームを落とす。これはCPUが画像処理に使う時間を節約しループ補正の負荷を削減する。しかし、４つの持ち上げビットがすべて設定されているフレームは落とすべきでなく、オペレーターによりマウススキャナー１０がページから完全に持ち上げられる（それによりスキャニングを停止すべきことを示す）とアプリケーションが画像取得手順を停止できるように処理されるべきである。
【００４９】
図３は本発明の画像取得手順の全般的な流れ図である。手順はステップ７１０で始まり、マウススキャナー１０がスキャンされる文書上に置かれる。オペレーターがスキャンボタン２０を押しステップ７１２において新フレームがカメラ１４により取り込まれるとスキャニングが開始される。新フレームが取り込まれると同時にステップ７１４においてレーザーの運動センサー２２からの位置データ入力によりそのフレームの位置が示される。そのフレームの生の画像（VGA）が例えばコンピューター２５０に記憶され（ステップ７１６）、レーザーの運動センサー２２からのその位置データ入力と相関される。
【００５０】
マウススキャナー１０において、不均一な照明およびカメラ１４のレンズが安価であると生の画像において目立つ影をもたらし得る。本発明の実施形態において、生の画像（VGA）に対し影補正が適用され（ステップ７１８）、補正された画像（VGA）が形成され生の画像の代わりにコンピューター２５０に記憶される（ステップ７２０）。
次に補正された画像の歪み除去およびモザイク除去がステップ７２２において行なわれる。ルックアップ表に基づく歪み除去が用いられる。ルックアップ表は較正ファイルに記憶されている。
【００５１】
優良なモザイク除去アルゴリズムは計算コストが高い。処理時間の方が画質より優先順位が高いようで、異なる色のピクセルを特別に位置合わせすることで充分と判断される。図４はベイヤーモザイクのピクセルクワッドであるが、出力カラー画像において各クワッドに対し１ピクセルを生成する必要がある。この結果、元のVGA画像の最大解像度の４分の１（QVGA）となる（ステップ７２４）。緑のピクセル値は生の画像における２つの緑ピクセルを平均化することにより得られる（ステップ７２６）。色チャンネル間のオフセットに対応するために、歪み除去のルックアップ表の座標は赤および青ピクセルについて各々（−１/４，＋１/４）および（＋１/４，−１/４）だけ変更される。
【００５２】
歪み除去されたカラー画像を得るには双一次補間が充分のはずである。
他方、位置合わせに用いられる画像の画質は重要である。生の画像（事実上３２０×４８０）における緑チャンネルのピクセルを取り欠けたピクセルを補間してVGAサイズの画像を得ることが可能である。歪み除去において双三次補間が好ましい。従って、補間はこのシナリオにおいて２回行なわれる。
あるいは、生の画像における元の緑ピクセルに双三次補間を適用することができる。この場合、走査線は４５°回転されたように見える。図５は歪み除去における選択肢を図示する。
【００５３】
好ましい実施形態は位置合わせ用にQVGAサイズの緑チャンネル画像（ステップ７２６より）を用いる。その画像におけるピクセルは各クワッドの２つの緑ピクセルを平均化することにより得られる。本発明において画像処理の各ステップが実施されて行くにつれ、得られた画像はさらに処理、位置合わせ、または表示するためにコンピューター２５０に記憶される。得られた各画像フレームはその対応位置データといっしょに記憶される。
【００５４】
前述のとおり、レーザーの運動センサー２２の位置データはレーザーの運動センサー２２がスキャンされる文書から持ち上げられるとマウススキャナー１０のファームウェアにより例えばEEPROM２１０において設定される持ち上げビットを含む。持ち上げられたセンサーは有効な位置座標を生成しないので、これらはステップ７２８において検出され、変換推定（ステップ７３０）の１段階において無視される。
【００５５】
位置合わせの一部または準備行為として、隣接フレーム間の相対的変換は双方の画像にとって有効なセンサー座標に基づき推定される。
変換推定（図３におけるステップ７３０）が以下の部分で詳細に説明される。
【００５６】
（変換推定（ステップ７３０））
変換推定プロセスは図６の流れ図に全般的に示される。プロセスはスキャンボタン２０が押されることで始まる（ステップ１２１０）。
一旦スキャンボタン２０が押されると、画像取り込み装置、すなわちカメラ１４、はマウススキャナー１０がオペレーターによりページを横に下にと動かされるにつれフレーム、すなわちフレームｉ、フレームｉ＋１、フレームｉ＋２、等々を例えば１秒当たり１０回で取り込み始める。前述のとおり、新フレームが取り込まれるのと同時にそのフレームの位置はレーザーの運動センサー２２からの位置データ入力により示される（ステップ１２１２）。
【００５７】
２つのフレームより２個から４個のセンサーの位置データが与えられると、変換パラメーターを推定することができる（ステップ１２１４）。
周知のとおり、変換パラメーターは１つのフレームにおけるピクセル位置を別のフレームの画像空間、または共通の画像空間、に変換またはマップすることを可能にする。一旦変換パラメーターが得られると、２つのフレームを縫合または融合して合成画像を形成することができる。
【００５８】
本発明が対処する問題の１つは１フレームを別のフレームに関連付ける要石である位置データが必ずしも正確でないということである。各フレームの位置データを正確に推定する必要がある。そうするために、パラメーター推定に使用する位置データの正確さの信頼測定を開発した（ステップ１２１６）。
【００５９】
【００６０】
【００６１】
【００６２】
【００６３】
センサーがページ落ちまたは無効（正しくない位置データを報告）であるかの判定は「ページ落ちの検出」と題する下記の部分に詳細に説明される。これは図６において一般的にステップ１２１８として示される。一般的に、各センサーはセンサーが位置データを報告するにはページから離れ過ぎていることを示す「持ち上げビット」を報告する。しかし、時々センサーが持ち上げられても（ページ落ち）この状態は報告されない。従って本発明において、位置合わせエラーを用い経験的に判定された閾値と比較して少なくとも１つのセンサーが実際ページ落ちおよび／または無効であるかを決める。
【００６４】
加えて、センサー位置の幾何学的特性を検討するのに重みが用いられる。４個のセンサーが正方形に形成されていない場合、精度を向上させるために水平および垂直のペアからのエラーは異なって加重される。例えば、図１に示される実施形態において、４個のセンサーS１‐S４は矩形に形成されているので、水平および垂直ペアからのエラーは異なって加重される。
【００６５】
【００６６】
本発明の一実施形態において、持ち上げられたセンサーに対し重みがゼロである場合エラー要素を取り除く（図６のステップ１２２０）。その結果、ヤコビ行列JはK×３となる。
K= ２*mで、m （m<=４）は有効なセンサーの数である。
Kは３つの未知数に対する方程式の数である。その結果、K>=３であることは必要なので少なくとも２つの有効なセンサーの読み出しが必要となる。一旦無効なセンサーデータを除外すると、上記に要約したように変換パラメーターを再推定し（ステップ１２２２）、センサーデータのエラーを再計算し、変換パラメーターが真であるという信頼を再測定する（ステップ１２２４）。一旦変換パラメーターが再推定されるとプロセスのこの部分は終了し（ステップ１２２６）、プロセスはフレームの位置合わせに進む（図３のステップ７３２）。しかし、位置合わせに進む前に以下の部分で信頼測定およびページ落ちの検出を考察する。
【００６７】
（信頼測定）
上述のようにセンサーの位置合わせエラーを取り除いた上、次に変換パラメーターの信頼測定を実施する。
分散行列（分散−共分散行列とも呼ばれる）、Ｑｘｘ、はＱxx＝（ＪtＷＪ）-1と定義される。
分散行列、Qxx、は各未知数の分散と各未知数のペアの共分散を含む。
任意の量のセットについて、エラー楕円を計算することができる。楕円の寸法および配向は分散行列の係数から計算される。
【００６８】
【００６９】
【００７０】
【００７１】
【００７２】
エラー楕円は任意の信頼水準について計算できる。選択された信頼に対しフィッシャー分布を計算する必要がある。ここで９５％信頼水準のエラー楕円を計算することができる。
９５％信頼のエラー楕円は真のパラメーターが楕円で指定された面積内にある確率が９５％あることを意味する。予想通り、計算により多くのセンサーが使用されると楕円の面積はより小さくなる。推定値が真のパラメーターにより近い場合も楕円面積を減らす。
【００７３】
【００７４】
（ページ落ちの検出（図６のステップ１２１８））
レーザーセンサー２２がページ落ちしていることは、特にセンサーが正しく「持ち上げビット」を報告しない場合、位置合わせの精度に影響するので大きな問題である。
センサー推定の信頼測定に関し上述のように、（Tx，Ty）のエラー楕円を推定することができる。
分散行列（分散−共分散行列とも呼ばれる）、Qxx、は
Ｑxx＝（ＪtＷＪ）-1と定義される。
【００７５】
【００７６】
位置合わせエラーが大きいと、少なくとも１つのセンサーはページ落ちしていると結論される。エラーを閾値と比較して、このような結論を得る。特定の装置に対し閾値は１つ以上のセンサーをページ落ちさせさまざまな条件の下で１つ以上の画像をスキャンし、これらのテスト条件の各々についてエラーを測定することにより経験的に決められる。
【００７７】
（ページ落ちのセンサーの検出および再推定）
センサーはページ落ちしていると位置値を増やさなくなるのでページ落ちしたセンサーは運動長がより短いという仮定に基づきセンサーを無効と設定する。以下にプロセスステップを要約する。
【００７８】
ステップ１：
最初にすべて持ち上げられていないセンサーを用いて変換を推定し、パラメーター推定からSe値を計算する。
【００７９】
ステップ２：
SeがT_high（例えば５など経験的に決められた閾値）を超え、持ち上げを報告していないセンサーがT_low（例えば３など経験的に決められた閾値）を超えてある場合、有効なセンサーの運動ベクターを計算する。
【００８０】
ステップ３：
平均未満の運動長を有するセンサーを無効として選択する。
次に図３においてステップ７３２として一般的に示される本発明の位置合わせの態様を説明する。
【００８１】
（位置合わせ（図３のステップ７３２））
本発明において画像のペアを縫合する方法が提供される。本発明の縫合アルゴリズムは２つの画像の画像データからの位置合わせエラーとともにセンサーのセットからの推定エラーからなるコスト関数の最小化が関わる。コスト関数における重み関数は持ち上げおよびページ落ちとともにセンサー読み取りの精度尺度を含むセンサーエラーを考慮してセンサー推定の信頼値から引き出される。
【００８２】
本発明のアルゴリズムは重みを用いてセンサー精度に対し画像位置合わせ精度を調節し２つの画像を最も良く縫合する位置合わせパラメーターのセットを生み出す。この結果、少ない内容の区域ではセンサーデータが画像データより重きがある一方、豊富な内容の区域では画像データがセンサーデータより重きがある。
【００８３】
従って、ペアの画像位置合わせはセンサーデータおよび画像データ双方からの情報を融合することで、より高い精度を達成できる。初期位置合わせパラメーター用に大きなエラーを扱い最小化プロセスにおいて極小を避けるために、画像ペアはより低い解像度で位置合わせした後高解像度に精緻化することができる。詳細な説明を以下に提供する。
【００８４】
角の一致に基づくペアの画像位置合わせは画像のペアの重なる区域内に顕著な角がないか少ない場合失敗するか、正確でないかもしれない。この結果、特徴に基づく方法またはセンサーデータを用いて初期の位置合わせから位置合わせを精緻化する必要があるかもしれない。本発明において、位置合わせは画像データとセンサーデータを統合することにより行なわれる。
【００８５】
（鋼体変換モデルに基づくペアの画像位置合わせ）
図７はフレームｉおよびフレームｉ＋１の２フレームとフレームｉにおけるピクセル点p’およびフレームｉ＋１における対応ピクセル点p”との関係を図示する。２つのフレームは共通のｘーｙ座標空間において互いにθの角度で配置され、その中の黒点で特定される重なり区域を有する。
【００８６】
【００８７】
（センサーデータを用いた位置合わせ）
センサーデータからの位置合わせパラメーター推定は前述の「変換推定」の考察において説明される。
RAM２０４において例えばpt１とpt２と称するアレーに記憶される有効なセンサー座標のマッチされたペアが抽出される。
【００８８】
【００８９】
【００９０】
センサーデータから、エラー（tx，ty，theta）を最小化する反復方法に基づく推定パラメーターおよび転換（S_Tran）用のエラー楕円の半軸に基づき信頼測定を得る。
【００９１】
（画像データを用いた位置合わせ）
画像データを用いた位置合わせは最小化問題として定式化される。２つのフレームを位置合わせするために、センサーデータから推定された位置合わせパラメーターに基づき重なり区域を抽出することができる。図８はマウススキャナー１０でスキャンされ位置をレーザーセンサー２２で記録されたフレーム１６および１７の２フレームを図示する。
【００９２】
センサーデータに基づき、位置合わせパラメーターの初期推定は前述部分に説明したとおり、
Tx＝１８.２９４６、Ty＝−２.０６１９、およびTheta＝−０.０３２０で得られる。
転換用のエラー楕円の半軸は０.７２８１で、９５％の信頼水準にある。
【００９３】
重なり区域はテンプレートとして用いられる第２フレーム、フレーム１７、から抽出される。
tmplt＝SecondImg（y１：y２，x１：x２）。
【００９４】
図９は重なり区域を図示する。
tmpltの矩形の４点は、［x１，y１］，［x２，y１］，［x１，y２］，［x２，y２］である。
画像データに基づく位置合わせにはテンプレート画像（第２フレーム）におけるピクセルを基準画像（第１フレーム）におけるピクセルに合致させることが関わる。
Tを（n×m）の画像テンプレートとすると、これは行列とみなすことができる。
【００９５】
【００９６】
Iを基準画像とし、Ｉ（Ｗ（ｘ；ｐ））は現在の位置合わせパラメーターｐによりテンプレート画像におけるピクセルｘに対応するマップされた点Ｗ（ｘ；ｐ）の強度であるとする。
照明が一定であると仮定すると、テンプレート画像T（ｘ）におけるピクセルｘの強度は位置合わせパラメーターｐが正しい場合基準画像においてマップされたピクセルの強度Ｉ（Ｗ（ｘ；ｐ））と整合しまたは同じとなる。
【００９７】
【００９８】
最小化問題を解くために、ガウスニュートン、ニュートン、最急降下、またはESM法を用いることができる。
好ましい実施形態はルーカス−金出アルゴリズム（これはガウスニュートン勾配降下非線形最適化アルゴリズムである）に基づいている。
センサーデータまたはいくつかの整合した角のペアからの初期パラメーターは最適な解に近いと仮定するので勾配最小二乗最適化が面積に基づく位置合わせに用いられる。
【００９９】
【０１００】
【０１０１】
【０１０２】
（画像およびセンサーデータを統合した重み関数）
EIおよびEsからの２つのエラー関数を融合するために、正しい重み関数を見出す必要がある。
【０１０３】
【０１０４】
【０１０５】
重みを調節することにより、EＩとEsをどのようにバランスするかを調節することができる。センサーデータが信頼できる場合、センサーデータをより信頼する。センサーデータが信頼できない場合、画像データからの強度に基づく位置合わせをより信頼する。
S_Tranを用いてセンサーの信頼を評価するので、S_Tranはエラー楕円の半軸である。S_Tranがより大きいことはセンサーデータがより信頼できないことを意味する。
【０１０６】
センサーデータが信頼できる場合、エラー楕円の半軸、S_Tran、は０に近い。重みは非常に大きくなる。その結果、センサーデータをはるかに多く信頼できる。
センサーデータが信頼できない場合、エラー楕円の半軸、S_Tran、は非常に大きい。重みは非常に小さくなる。その結果、センサーデータへの信頼ははるかに少なくなる。
【０１０７】
加えて、２つのセンサーのみからS_Tranを推定する場合すべてのセンサーペアを同等に扱う。予備的知識から、２つのセンサーのより長いペアから推定されたエラーは２つのセンサーのより短いペラから推定されたエラーよりはるかに小さい。その結果、S_Tranの計算は特定のセンサー形状に適合するよう修正する必要があるかもしれない。
【０１０８】
（位置合わせの低解像度から高解像度への精緻化）
上述の手順における仮定はセンサーからの初期パラメーターが最適または真の値に近いということである。
センサーデータが信頼できない場合、位置合わせパラメーターの初期推定は真の値とはかけ離れている。その結果、収束、または極小に収束、しないかもしれない。
エラー楕円の半軸に基づき、真の値が何であるべきか９５％の信頼水準で分かる。
【０１０９】
センサーが信頼できる場合、S_Tranは典型的には１ピクセル未満と小さく、より低い解像度における位置合わせは必要ない。本発明の方法は初期の推定が真の値より５から８ピクセル離れている場合でも画像を位置合わせすることが示されている。
センサーが信頼できない場合、S_Tranは通常３から１０ピクセルであるので、１/２の低解像度において当方法を用いて位置合わせをすることができる。
非常に大きいエラーがある場合、S_Tranは２０ピクセルを超えるかも知れないので、１/４とさらに低い解像度で当方法を用いて位置合わせをすることができる。
【０１１０】
図１０は全般的な流れを図示する。ステップ２２１０において、上述の「変換推定（ステップ７３０）」と題する部分でまとめたようにセンサーデータ、推定された変換パラメーター、およびセンサーの信頼が得られる。
センサーの信頼が高い、すなわちS_Tranが典型的には数ピクセル未満と小さい場合（ステップ２２１２で「はい」が戻される）、上述のようにフレームを高解像度で位置合わせする（ステップ２２１４）。
センサーの信頼が低い、すなわちS_Tranが典型的には数ピクセルを超えるほど大きい場合（ステップ２２１２で「いいえ」が戻される）、基準およびテスト画像（すなわち第２および第１フレーム）をダウンサンプルしてより低い解像度を達成し（ステップ２２１８）、上述のようにフレームをまず低解像度で位置合わせする。
選ばれる低解像度、１/４または１/２、はエラーの程度に依存する。この初期位置合わせの後、次により高い解像度の画像フレームを用いて上述の位置合わせステップを繰り返すことにより再度フレームの位置合わせを精緻化する。
【０１１１】
（ループ補正（図３のステップ７３８））
以下は本発明のループ補正態様の考察である。ペアの位置合わせに基づくペアの画像縫合は各フレームがその前のフレームのみと重なる場合エラーの蓄積をもたらす可能性がある。
画像をスキャンする場合、マウススキャナー１０は例えば文書を左から右に横断し、次に下に動かされ、その後右から左に横断する。各フレームは通常その右および／または左のフレーム、ならびにその上および／または下のフレームと重なる。
以前に取り込んだ（直前のフレームの前に取り込まれた）フレームに戻ると、これは例えば現在のフレームの上または下にある画像部分であり得るが、現在のフレームをこの以前に取り込んだフレームと位置合わせできる場合「ループ閉鎖状態」が検出される。
一般的にペアの位置合わせはすべて成功すると仮定する。しかし、中断が起こった場合ペアの位置合わせは利用できなくなる。中断後の新しいフレームは、閉鎖ループが特定されるまでセンサーデータからの変換行列に従い新しい位置に割り当てられる。ループ閉鎖補正はエラーを中断が起こったフレームに割り当てる。中断はフレームｉおよびｉ＋１の間に起こったと仮定する（図１１）。
この場合、以前に（フレームｉの前に）取り込まれたフレームnがフレームｉ＋１と位置合わせされ閉鎖ループを形成しなければならない（図１２）。
【０１１２】
【０１１３】
一旦Tiが計算されると、閉鎖ループは固定される。
ペアの位置合わせが閉鎖ループで補正された場合、ペアの位置合わせは図１２において示されるように「固定」と設定される。一旦「固定」されるとペアの位置合わせはそれ以上変更されない。
新しいループの特定に注意する場合がいくつかある。例えば、閉鎖ループに螺旋スキャニングに対する閉鎖ループが含まれる場合、または閉鎖ループ内に新しい閉鎖ループがある場合である。２つの可能な事例を記述する。
【０１１４】
事例１、新しいループは１つ以上の閉鎖ループを含む場合（図１３）。
図１３に示すように、新しいループは補正された閉鎖ループを含んでいる。１からNのフレームが新しいループ（外側ループ）用に抽出されるが、フレームKからL（内側ループ）は既に補正されている。
新しいループはフレーム１からNより抽出される。抽出されたフレームを図１４の下の行に示すように１からnと呼ぶことができる。
固定されないフレーム番号のみを含むインデックスベクターを得る。上記例について、フレーム番号［１，…K，L＋１…N］を含むサイズ（N‐（L‐K））のインデックスベクターが得られる。
【０１１５】
事例２、新しいループは閉鎖ループ内にある場合（図１５）。
新しいループはフレームKからNより抽出される（図１６）。抽出されたフレームを図１７の下の行に示すように１からnと呼ぶことができる。
固定されないフレーム番号のみを含むインデックスベクターを得る。上記例について、フレーム番号［L＋１…N］または［k＋１..n］を含むサイズ（N‐L）または（n‐k）のインデックスベクターが得られる。
グローバルな最適化が次に抽出されたループを処理するが、これはインデックスベクターに記録される固定されないペアの位置合わせを補正するのみである。
以下は特定の状況に対するアルゴリズムの修正の考察である。
【０１１６】
中断フレームを有する単独ループの補正
以下はフレームｉおよびｉ＋１の間に中断を有する閉鎖ループに対する補正の考察である。
【０１１７】
【０１１８】
一旦、フレームｉからｉ＋１のペアの位置合わせが更新されると、ｉ＋１からフレームnまでの画像フレームの表示が更新され、１からnのペアの位置合わせはすべて「固定」に設定される。
【０１１９】
【０１２０】
固定されたペアの位置合わせに対するエラー測定は含まれない。この結果、固定されないペアの位置合わせおよび３つのグローバルな制約に対するエラー測定が得られる。eエラー測定はKの要素を有する。
【０１２１】
【０１２２】
本発明によりループ補正を行ない、フレーム座標を更新することにより、スキャンされた画像は再引き寄せされる、すなわちスキャンされた個々のフレームは元の画像に近似するように引き締め合わされる。スキャンされた画像は次に表現され（図３のステップ７４２）、画像は例えば表示、投影、または印刷することができる（図３のステップ７４４）。あるいは、またはさらに、スキャンされた画像に隣接フレーム間の目立つ重なり部分を減らすような既知の融合アルゴリズムを課すことができる（図３におけるステップ７４６）。融合の後、画像は例えば表示、投影、または印刷することができ（図３のステップ７４８）、プロセスは終了する（図３のステップ７５０）。
【０１２３】
（ループ閉鎖エラー最小化のグローバルな最適化）
上述のように、ペアの位置合わせに基づくペアの画像縫合は各フレームがその前のフレームのみと重なる場合エラーの蓄積をもたらす可能性がある。より以前のフレームに戻るとループ閉鎖が検出される。しかし蓄積されたエラーのため、ループは閉鎖されないかもしれない。
本発明において、グローバルな最小化ストラテジーを用いてすべてのフレーム位置合わせに対し逆方向補正を行なう。ループ閉鎖は現在のフレームおよびより以前のフレームの間で相当な重なりがあるかを調べることにより検出することができる。以下に逆方向補正を用いたループ閉鎖エラー最小化のグローバルな最適化を説明する。
【０１２４】
【０１２５】
【０１２６】
【０１２７】
各エラーに対する重みは
（ａ）ペアの位置合わせに対する推定の不確実さ−解像度または特徴点の数などの要素に基づき信頼測定を加重することができる、
（ｂ）特徴点の抽出エラー−エラーの強度を加重することができる、および／または、
（ｃ）持ち上げ、傾斜、またはカメラ較正による歪み−レーザーデータの信頼性を加重することができる、
などの不確定要素に基づき導入することができる。
【０１２８】
選択された要素またはエラー源およびそれに帰属する重みは各々の特定システムに依存し、エラー源およびそれらのグローバルな最適化に与える影響を理解するには経験的な試験が必要である。
【０１２９】
発明はいくつかの具体的な実施形態と併せて説明されたが、当業者であれば前述の説明に照らしさらに多数の代替、修正、および変更が明らかになることが明白であろう。従って本明細書において説明される発明は添付クレームの精神および範囲に入るそのような代替、修正、応用、および変更すべてを包含することを意図する。
【符号の説明】
【０１３０】
１０ マウススキャナー、１２ ハウジング、１４ カメラ、２４ メインボード、２０４ RAM、２０６ プロセッサー、２０８ ROM、２１０ フラッシュEEPROM、２５０ コンピューター、２６０ ハードディスク、２６２ プリンター、２６４ プロジェクター。
【特許請求の範囲】
【請求項１】
スキャニング装置によりシーケンスで取り込んだ画像フレームの複数のペアの位置合わせで蓄積されたエラーをプロセッサーを用いて補正する画像処理方法であって、
第１画像フレームが第２画像フレームと重なる個所で閉鎖ループを特定するステップであって、前記第２画像フレームは前記シーケンスにおいて前記第１画像フレームの前に取り込まれるステップと、
前記第１フレームを前記第２画像フレームと位置合わせするステップと、
グローバルな制約を用いてグローバルな最適化を適用し、閉鎖ループ内における前記画像フレームの複数のペアの位置合わせに対する位置合わせパラメーターを調節するステップと、を有する画像処理方法。
【請求項２】
前記位置合わせパラメーターを調節するステップは、複数のグローバルな制約を含むエラー測定を計算するステップを有する請求項１に記載の画像処理方法。
【請求項３】
前記グローバルな制約は３つの独立したスカラー制約を有する請求項２に記載の画像処理方法。
【請求項４】
前記複数のペアの位置合わせに合致した特徴点のペアを抽出するステップをさらに有する請求項２に記載の画像処理方法。
【請求項５】
前記エラー測定を計算するステップは合致した特徴点のエラーを含む請求項４に記載の画像処理方法。
【請求項６】
前記閉鎖ループにおいて位置合わせの中断を特定するステップであって、前記位置合わせの中断は前記シーケンスにおいて２つの連続フレームｉおよびｉ＋１の間にあるステップと、
前記閉鎖ループにおけるすべての位置合わせエラーをフレームｉおよびｉ＋１間のペアの位置合わせに割り当てるステップと、
前記フレームｉおよびｉ＋１の変換行列に従いペアの変換パラメーターを更新するステップと、をさらに有する請求項１に記載の画像処理方法。
【請求項７】
画像フレームのすべてのペアの位置合わせを固定されたものとしてマークするステップをさらに有する請求項１に記載の画像処理方法。
【請求項８】
前記閉鎖ループ内において固定されたものとしてマークされた画像フレームのペアの位置合わせに対する位置合わせパラメーターはグローバルな最適化の際調節されない請求項７に記載の画像処理方法。
【請求項９】
スキャニング装置によりシーケンスで取り込んだ画像フレームの複数のペアの位置合わせで蓄積されたエラーを補正する画像処理装置であって、
プロセッサーを有し、
前記プロセッサーは、
第１画像フレームが第２画像フレームと重なる個所で閉鎖ループを特定するステップであって、前記第２画像フレームは前記シーケンスにおいて前記第１画像フレームの前に取り込まれるステップと、
前記第１フレームを前記第２画像フレームと位置合わせするステップと、
グローバルな制約を用いてグローバルな最適化を適用し、閉鎖ループ内における前記画像フレームの複数のペアの位置合わせに対する位置合わせパラメーターを調節するステップと、を実行する、画像処理装置。
【請求項１０】
前記位置合わせパラメーターを調節するステップは、複数のグローバルな制約を含むエラー測定を計算するステップを有する請求項９に記載の画像処理装置。
【請求項１１】
前記グローバルな制約は３つの独立したスカラー制約を有する請求項１０に記載の画像処理装置。
【請求項１２】
前記プロセッサーは、前記複数のペアの位置合わせに合致した特徴点のペアを抽出するステップをさらに実行する請求項１０に記載の画像処理装置。
【請求項１３】
前記エラー測定を計算するステップは合致した特徴点のエラーを含む請求項１２に記載の画像処理装置。
【請求項１４】
前記プロセッサーはさらに、
前記閉鎖ループにおいて位置合わせの中断を特定するステップであって、前記位置合わせの中断は前記シーケンスにおいて２つの連続フレームｉおよびｉ＋１の間にあるステップと、
前記閉鎖ループにおけるすべての位置合わせエラーをフレームｉおよびｉ＋１間のペアの位置合わせに割り当てるステップと、
前記フレームｉおよびｉ＋１の変換行列に従いペアの変換パラメーターを更新するステップとを実行する請求項９に記載の画像処理装置。
【請求項１５】
前記プロセッサーはさらに、前記画像フレームのすべてのペアの位置合わせを固定されたものとしてマークするステップを実行する請求項９に記載の画像処理装置。
【請求項１６】
前記閉鎖ループ内において固定されたものとしてマークされた画像フレームのペアの位置合わせに対する位置合わせパラメーターはグローバルな最適化の際調節されない請求項１５に記載の画像処理装置。
【請求項１７】
プロセッサーにより実行されるとスキャニング装置によりシーケンスで取り込んだ画像フレームの複数のペアの位置合わせで蓄積されたエラーを補正するコンピューター読み取り可能な命令を有する１つ以上の有形の非一時的なコンピューター読み取り可能な媒体であって、
前記プロセッサーは、
第１画像フレームが第２画像フレームと重なる個所で閉鎖ループを特定するステップであって、前記第２画像フレームは前記シーケンスにおいて前記第１画像フレームの前に取り込まれるステップと、
前記第１フレームを前記第２画像フレームと位置合わせするステップと、
グローバルな制約を用いてグローバルな最適化を適用し、閉鎖ループ内における前記画像フレームの複数のペアの位置合わせに対する位置合わせパラメーターを調節するステップとを実行する、コンピューター読み取り可能な媒体。
【請求項１８】
前記位置合わせパラメーターを調節するステップは、複数のグローバルな制約を含むエラー測定を計算するステップを有する請求項１７に記載のコンピューター読み取り可能な媒体。
【請求項１９】
前記プロセッサーはさらに、前記複数のペアの位置合わせに合致した特徴点のペアを抽出するステップを実行することを有する請求項１８に記載のコンピューター読み取り可能な媒体。
【請求項２０】
前記プロセッサーは前記複数のペアの位置合わせに合致した特徴点のペアを抽出する請求項１８に記載のコンピューター読み取り可能な媒体。
【請求項２１】
前記エラー測定を計算するステップは合致した特徴点のエラーを含む請求項２０に記載のコンピューター読み取り可能な媒体。
【請求項２２】
前記プロセッサーはさらに、
前記閉鎖ループにおいて位置合わせの中断を特定するステップであって、前記位置合わせの中断は前記シーケンスにおいて２つの連続フレームｉおよびｉ＋１の間にあるステップと、
前記閉鎖ループにおけるすべての位置合わせエラーをフレームｉおよびｉ＋１間のペアの位置合わせに割り当てるステップと、
前記フレームｉおよびｉ＋１の変換行列に従いペアの変換パラメーターを更新するステップと、を実行する、請求項１７に記載のコンピューター読み取り可能な媒体。
【請求項２３】
前記プロセッサーはさらに画像フレームのすべてのペアの位置合わせを固定されたものとしてマークする請求項１７に記載のコンピューター読み取り可能な媒体。
【請求項２４】
前記閉鎖ループ内において固定されたものとしてマークされた画像フレームのペアの位置合わせに対する位置合わせパラメーターはグローバルな最適化の際調節されない請求項２３に記載のコンピューター読み取り可能な媒体。
【請求項１】
スキャニング装置によりシーケンスで取り込んだ画像フレームの複数のペアの位置合わせで蓄積されたエラーをプロセッサーを用いて補正する画像処理方法であって、
第１画像フレームが第２画像フレームと重なる個所で閉鎖ループを特定するステップであって、前記第２画像フレームは前記シーケンスにおいて前記第１画像フレームの前に取り込まれるステップと、
前記第１フレームを前記第２画像フレームと位置合わせするステップと、
グローバルな制約を用いてグローバルな最適化を適用し、閉鎖ループ内における前記画像フレームの複数のペアの位置合わせに対する位置合わせパラメーターを調節するステップと、を有する画像処理方法。
【請求項２】
前記位置合わせパラメーターを調節するステップは、複数のグローバルな制約を含むエラー測定を計算するステップを有する請求項１に記載の画像処理方法。
【請求項３】
前記グローバルな制約は３つの独立したスカラー制約を有する請求項２に記載の画像処理方法。
【請求項４】
前記複数のペアの位置合わせに合致した特徴点のペアを抽出するステップをさらに有する請求項２に記載の画像処理方法。
【請求項５】
前記エラー測定を計算するステップは合致した特徴点のエラーを含む請求項４に記載の画像処理方法。
【請求項６】
前記閉鎖ループにおいて位置合わせの中断を特定するステップであって、前記位置合わせの中断は前記シーケンスにおいて２つの連続フレームｉおよびｉ＋１の間にあるステップと、
前記閉鎖ループにおけるすべての位置合わせエラーをフレームｉおよびｉ＋１間のペアの位置合わせに割り当てるステップと、
前記フレームｉおよびｉ＋１の変換行列に従いペアの変換パラメーターを更新するステップと、をさらに有する請求項１に記載の画像処理方法。
【請求項７】
画像フレームのすべてのペアの位置合わせを固定されたものとしてマークするステップをさらに有する請求項１に記載の画像処理方法。
【請求項８】
前記閉鎖ループ内において固定されたものとしてマークされた画像フレームのペアの位置合わせに対する位置合わせパラメーターはグローバルな最適化の際調節されない請求項７に記載の画像処理方法。
【請求項９】
スキャニング装置によりシーケンスで取り込んだ画像フレームの複数のペアの位置合わせで蓄積されたエラーを補正する画像処理装置であって、
プロセッサーを有し、
前記プロセッサーは、
第１画像フレームが第２画像フレームと重なる個所で閉鎖ループを特定するステップであって、前記第２画像フレームは前記シーケンスにおいて前記第１画像フレームの前に取り込まれるステップと、
前記第１フレームを前記第２画像フレームと位置合わせするステップと、
グローバルな制約を用いてグローバルな最適化を適用し、閉鎖ループ内における前記画像フレームの複数のペアの位置合わせに対する位置合わせパラメーターを調節するステップと、を実行する、画像処理装置。
【請求項１０】
前記位置合わせパラメーターを調節するステップは、複数のグローバルな制約を含むエラー測定を計算するステップを有する請求項９に記載の画像処理装置。
【請求項１１】
前記グローバルな制約は３つの独立したスカラー制約を有する請求項１０に記載の画像処理装置。
【請求項１２】
前記プロセッサーは、前記複数のペアの位置合わせに合致した特徴点のペアを抽出するステップをさらに実行する請求項１０に記載の画像処理装置。
【請求項１３】
前記エラー測定を計算するステップは合致した特徴点のエラーを含む請求項１２に記載の画像処理装置。
【請求項１４】
前記プロセッサーはさらに、
前記閉鎖ループにおいて位置合わせの中断を特定するステップであって、前記位置合わせの中断は前記シーケンスにおいて２つの連続フレームｉおよびｉ＋１の間にあるステップと、
前記閉鎖ループにおけるすべての位置合わせエラーをフレームｉおよびｉ＋１間のペアの位置合わせに割り当てるステップと、
前記フレームｉおよびｉ＋１の変換行列に従いペアの変換パラメーターを更新するステップとを実行する請求項９に記載の画像処理装置。
【請求項１５】
前記プロセッサーはさらに、前記画像フレームのすべてのペアの位置合わせを固定されたものとしてマークするステップを実行する請求項９に記載の画像処理装置。
【請求項１６】
前記閉鎖ループ内において固定されたものとしてマークされた画像フレームのペアの位置合わせに対する位置合わせパラメーターはグローバルな最適化の際調節されない請求項１５に記載の画像処理装置。
【請求項１７】
プロセッサーにより実行されるとスキャニング装置によりシーケンスで取り込んだ画像フレームの複数のペアの位置合わせで蓄積されたエラーを補正するコンピューター読み取り可能な命令を有する１つ以上の有形の非一時的なコンピューター読み取り可能な媒体であって、
前記プロセッサーは、
第１画像フレームが第２画像フレームと重なる個所で閉鎖ループを特定するステップであって、前記第２画像フレームは前記シーケンスにおいて前記第１画像フレームの前に取り込まれるステップと、
前記第１フレームを前記第２画像フレームと位置合わせするステップと、
グローバルな制約を用いてグローバルな最適化を適用し、閉鎖ループ内における前記画像フレームの複数のペアの位置合わせに対する位置合わせパラメーターを調節するステップとを実行する、コンピューター読み取り可能な媒体。
【請求項１８】
前記位置合わせパラメーターを調節するステップは、複数のグローバルな制約を含むエラー測定を計算するステップを有する請求項１７に記載のコンピューター読み取り可能な媒体。
【請求項１９】
前記プロセッサーはさらに、前記複数のペアの位置合わせに合致した特徴点のペアを抽出するステップを実行することを有する請求項１８に記載のコンピューター読み取り可能な媒体。
【請求項２０】
前記プロセッサーは前記複数のペアの位置合わせに合致した特徴点のペアを抽出する請求項１８に記載のコンピューター読み取り可能な媒体。
【請求項２１】
前記エラー測定を計算するステップは合致した特徴点のエラーを含む請求項２０に記載のコンピューター読み取り可能な媒体。
【請求項２２】
前記プロセッサーはさらに、
前記閉鎖ループにおいて位置合わせの中断を特定するステップであって、前記位置合わせの中断は前記シーケンスにおいて２つの連続フレームｉおよびｉ＋１の間にあるステップと、
前記閉鎖ループにおけるすべての位置合わせエラーをフレームｉおよびｉ＋１間のペアの位置合わせに割り当てるステップと、
前記フレームｉおよびｉ＋１の変換行列に従いペアの変換パラメーターを更新するステップと、を実行する、請求項１７に記載のコンピューター読み取り可能な媒体。
【請求項２３】
前記プロセッサーはさらに画像フレームのすべてのペアの位置合わせを固定されたものとしてマークする請求項１７に記載のコンピューター読み取り可能な媒体。
【請求項２４】
前記閉鎖ループ内において固定されたものとしてマークされた画像フレームのペアの位置合わせに対する位置合わせパラメーターはグローバルな最適化の際調節されない請求項２３に記載のコンピューター読み取り可能な媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図８】
【図９】
【公開番号】特開２０１２−１５５７００（Ｐ２０１２−１５５７００Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−２４８２７９（Ｐ２０１１−２４８２７９）
【出願日】平成２３年１１月１４日（２０１１．１１．１４）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１１月１４日（２０１１．１１．１４）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]