複数の画像フレームの位置合わせ方法、スキャニング装置およびコンピューター読み取り可能な媒体
【課題】文書上を手で動かされる小型スキャナーにおいて粗悪な画質およびスキャンされた複数部分の粗悪な位置合わせの改良された方法を提供すること。
【解決手段】初期変換パラメーターからのエラーを調べることによりページ落ち状態または無効なセンサーの位置データが検出される。異常に大きなエラーに遭遇した場合、センサーの読み出し(位置データ)は無効であるかもしれず、またはセンサーがページ落ちであった。次に無効なセンサーデータが特定され除去される。最後に有効なセンサー位置データのみを用いて変換パラメーターが再推定される。センサーの持ち上げ状態を考慮して加重最小二乗最小化が用いられる。センサーが持ち上げられると、センサーに関連するエラーに対する重みは小さな重みまたはゼロに設定される。センサーエラーの加重にはさらにセンサー位置の幾何学的特性が考慮される。センサーデータおよび付属エラーの信頼測定が行なわれる。
【解決手段】初期変換パラメーターからのエラーを調べることによりページ落ち状態または無効なセンサーの位置データが検出される。異常に大きなエラーに遭遇した場合、センサーの読み出し(位置データ)は無効であるかもしれず、またはセンサーがページ落ちであった。次に無効なセンサーデータが特定され除去される。最後に有効なセンサー位置データのみを用いて変換パラメーターが再推定される。センサーの持ち上げ状態を考慮して加重最小二乗最小化が用いられる。センサーが持ち上げられると、センサーに関連するエラーに対する重みは小さな重みまたはゼロに設定される。センサーエラーの加重にはさらにセンサー位置の幾何学的特性が考慮される。センサーデータおよび付属エラーの信頼測定が行なわれる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はスキャニング装置、特にマウススキャナーなど手持ち式の文書スキャナーに関する。
【背景技術】
【0002】
さまざまな文書スキャニング装置が技術的に存在する。その中にはファックス装置、コピー機、多機能ファックス/コピー/印刷装置、独立型のフラトベッドスキャナー等々が含まれる。この種の装置の不利な点は大型で持ち運びができないことである。従って、スキャンする文書を装置に持って行く必要がある。最近になり、小型の手持ち式スキャナーが導入されている。VuPoint PDS−ST410−VP Magic Wand Portable Scannerなど、いくつかは携帯式で独立型である。Xerox Travel Scanner 100など別のものはラップトップコンピューターに接続することができる。しかしこれらの種類のスキャナーは1枚の紙を受け付け得る大きさがある。
【0003】
より最近の進展はスキャニング装置を文書上に動かしながら文書(例えば本のページまたは写真)の一部分のみをスキャンする非常に小型のスキャナーである。画像処理を用いてこれらのスキャンされた部分を縫合し、ページ全体または写真全体のコピーを作成する。米国公開特許出願番号US2010/0124384はこの種の装置の一例を説明している。場合によって装置は2つのモードで機能する。1モードにおいては通常のマウスとして機能し、別のモードではスキャナーとして機能する。共有の2009年12月28日に申請の米国特許出願番号12/648,236、公開番号2010/0171996(特許文献1)、および2009年12月22日に申請の米国特許出願番号12/645,421、公開番号2010/0165422(特許文献2)、はこの種の装置を説明しており、これは時々「マウススキャナー」と呼ばれる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】米国特許出願公開2010/0171996号明細書
【特許文献2】米国特許出願公開2010/0165422号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
文書上を手で動かされるこの種の小型スキャナーに見られる問題のいくつかに粗悪な画質およびスキャンされた複数部分の粗悪な位置合わせが挙げられる。
【課題を解決するための手段】
【0006】
本発明のスキャニング装置により取り込まれた複数の画像フレームの位置合わせ方法は、
前記スキャニング装置は、画像取り込み装置と、前記画像取り込み装置が前記複数の画像フレームの1つを取り込む時前記画像取り込み装置の相対的位置を示す位置データを供給する複数の位置センサーとを有し、
第1画像フレームiが取り込まれた時および第2画像フレームi+1が取り込まれた時に前記複数の位置センサーの各々から位置データを読み取るステップと、
前記第2画像フレームi+1の画像中心を前記第1画像フレームiに関連付ける変換パラメーターを推定するステップと、
複数の位置センサーペアに対する位置合わせエラーを計算するステップであって、前記位置センサーペアはセンサーにより示される前記第2画像フレームi+1および前記第1画像フレームiにおける位置を含むステップと、を有することを特徴とする。
【0007】
また、本発明の複数の画像フレームの位置合わせ方法において、どのセンサーがページ落ちまたは無効な位置データを供給しているかを判定するステップをさらに有することを特徴とする。
【0008】
また、本発明の複数の画像フレームの位置合わせ方法において、前記ページ落ちまたは無効な位置データを供給していると判定されたセンサーにより供給された位置データを除外することにより前記変換パラメーターを再推定するステップをさらに有することを特徴とする。
【0009】
また、本発明の複数の画像フレームの位置合わせ方法において、前記どのセンサーがページ落ちまたは無効な位置データを供給しているかを判定するステップは、前記位置合わせエラーを閾値に比較し、前記位置合わせエラーが閾値を超えセンサーが平均未満の動きを有する場合センサーがページ落ちまたは無効な位置データを供給していると判定することを特徴とする。
【0010】
また、本発明の複数の画像フレームの位置合わせ方法において、前記複数の位置センサーペアに対する位置合わせエラーを計算するステップは、加重最小二乗最小化を用いるステップを有することを特徴とする。
【0011】
また、本発明の複数の画像フレームの位置合わせ方法において、前記複数の位置センサーペアに対する位置合わせエラーを計算するステップは、前記位置センサーの幾何学的関係を用いてセンサーエラーを加重し、センサーの水平ペアからのエラーはセンサーの垂直ペアからのエラーと異なって加重されるステップを有することを特徴とする。
【0012】
また、本発明の複数の画像フレームの位置合わせ方法において、前記変換パラメーターを推定するステップは信頼測定を計算するステップを有することを特徴とする。
【0013】
また、本発明の複数の画像フレームの位置合わせ方法において、前記信頼測定を計算するステップは95%の信頼水準のエラー楕円を計算するステップを有することを特徴とする。
【0014】
ここで、本発明のスキャニング装置は、画像取り込み装置と、
前記画像取り込み装置が前記複数の画像フレームの1つを取り込む時、前記画像取り込み装置の相対的位置を示す位置データを供給する複数の位置センサーと、
プロセッサーと、を有するスキャニング装置であって、
前記プロセッサーは、
第1画像フレームiが取り込まれた時および第2画像フレームi+1が取り込まれた時に前記複数の位置センサーの各々から位置データを読み取るステップと、
前記第2画像フレームi+1の画像中心を前記第1画像フレームiに関連付ける変換パラメーターを推定するステップと、
複数の位置センサーペアに対する位置合わせエラーを計算するステップであって、前記位置センサーペアはセンサーにより示される前記第2画像フレームi+1および前記第1画像フレームiの位置を含むステップとを実行することを特徴とする。
【0015】
また、本発明のスキャニング装置において、前記プロセッサーはさらに、どのセンサーがページ落ちまたは無効な位置データを供給しているかを判定するステップを実行することを特徴とする。
【0016】
また、本発明のスキャニング装置において、前記プロセッサーはさらに、ページ落ちまたは無効な位置データを供給していると判定されたセンサーにより供給された位置データを除外することにより前記変換パラメーターを再推定するステップを実行することを特徴とする。
【0017】
また、本発明のスキャニング装置において、前記どのセンサーがページ落ちまたは無効な位置データを供給しているかを判定するステップは、前記位置合わせエラーを閾値に比較し、前記位置合わせエラーが閾値を超えセンサーが平均未満の動きを有する場合センサーがページ落ちまたは無効な位置データを供給していると判定するステップを含むことを特徴とする。
【0018】
また、本発明のスキャニング装置において、前記複数の位置センサーペアに対する位置合わせエラーを計算するステップは、加重最小二乗最小化を用いるステップを有することを特徴とする。
【0019】
また、本発明のスキャニング装置において、前記複数の位置センサーペアに対する位置合わせエラーを計算するステップは、前記位置センサーの幾何学的関係を用いてセンサーエラーを加重し、センサーの水平ペアからのエラーはセンサーの垂直ペアからのエラーと異なって加重されるステップを有することを特徴とする。
【0020】
また、本発明のスキャニング装置において、前記変換パラメーターを推定するステップは信頼測定を計算するステップを有することを特徴とする。
【0021】
また、本発明のスキャニング装置において、前記信頼測定を計算するステップは95%の信頼水準のエラー楕円を計算するステップを有することを特徴とする。
【0022】
一方、本発明のコンピューター読み取り可能な媒体は、プロセッサーにより実行されるとスキャニング装置により取り込まれた複数の画像フレームを位置合わせするコンピューター読み取り可能な命令を有する1つ以上の有形の非一時的なコンピューター読み取り可能な媒体であって、
前記スキャニング装置は、画像取り込み装置と、前記取り込み装置が前記複数の画像フレームの1つを取り込む時前記画像取り込み装置の相対的位置を示す位置データを供給する複数の位置センサーとを有し、
前記プロセッサーは、
第1画像フレームiが取り込まれた時および第2画像フレームi+1が取り込まれた時に前記複数の位置センサーの各々から位置データを読み取るステップと、
前記第2画像フレームi+1の画像中心を前記第1画像フレームiに関連付ける変換パラメーターを推定するステップと、
前記複数の位置センサーペアに対する位置合わせエラーを計算するステップであって、前記位置センサーペアはセンサーにより示される前記第2画像フレームi+1および前記第1画像フレームiの位置を含むステップとを実行することを特徴とする。
【0023】
また、本発明のコンピューター読み取り可能な媒体において、前記プロセッサーはさらに、どのセンサーがページ落ちまたは無効な位置データを供給しているかを判定するステップを実行することを特徴とする。
【0024】
また、本発明のコンピューター読み取り可能な媒体において、前記プロセッサーはさらに、ページ落ちまたは無効な位置データを供給していると判定されたセンサーにより供給された位置データを除外することにより前記変換パラメーターを再推定するステップを実行することを特徴とする。
【0025】
また、本発明のコンピューター読み取り可能な媒体において、前記どのセンサーがページ落ちまたは無効な位置データを供給しているかを判定するステップは、前記位置合わせエラーを閾値に比較し、前記位置合わせエラーが閾値を超えセンサーが平均未満の動きを有する場合センサーがページ落ちまたは無効な位置データを供給していると判定するステップを含むことを特徴とする。
【0026】
また、本発明のコンピューター読み取り可能な媒体において、前記複数の位置センサーペアに対する位置合わせエラーを計算するステップは、加重最小二乗最小化を用いるステップを有することを特徴とする。
【0027】
また、本発明のコンピューター読み取り可能な媒体において、前記複数の位置センサーペアに対する位置合わせエラーを計算するステップは、前記位置センサーの幾何学的関係を用いてセンサーエラーを加重し、センサーの水平ペアからのエラーはセンサーの垂直ペアからのエラーと異なって加重されるステップを有することを特徴とする。
【0028】
また、本発明のコンピューター読み取り可能な媒体において、前記変換パラメーターを推定するステップは信頼測定を計算するステップを有することを特徴とする。
【0029】
また、本発明のコンピューター読み取り可能な媒体において、前記信頼測定を計算するステップは95%の信頼水準のエラー楕円を計算するステップを有することを特徴とする。
【図面の簡単な説明】
【0030】
【図1】本発明のマウススキャナー10の概略図である。
【図2】本発明のシステムブロック図である。
【図3】本発明の全体的なプロセスの流れ図である。
【図4】ベイヤーモザイクにおけるピクセルクワッドを図示する。
【図5】本発明において歪み除去用の補間の選択肢を図示する。
【図6】本発明において変換パラメーターを推定する全般的プロセスを示す流れ図である。
【図7】共通のx−y座標空間において互いに角度θで配置されるフレームiおよびフレームi+1の2フレームの関係を示す図である。
【図8】マウススキャナー10でスキャンされ位置をレーザーセンサーで記録された2フレームを示す図である。
【図9】図8に図示される2フレーム間の重なり部分を示す図である。
【図10】センサーの信頼が低い時ダウンサンプルされた画像が低解像度で位置合わせされた場合の2つの画像の位置合わせを全般的に示す図である。
【図11】フレームおよび先行フレーム間に位置合わせの途切れがある位置合わせループを示す図である。
【図12】フレームを先行フレームの前に来た、以前のフレームに位置合わせすることによる、図11に図示された途切れのループの閉鎖補正を示す図である。
【図13】新ループが1つ以上の閉鎖ループを含む場合を示す図である。
【図14】図13に示されるフレーム1からNの新ループの抽出を示す図である。
【図15】新ループが補正された閉鎖ループ内にある場合を示す図である。
【図16】フレームKからLが補正された図15に図示される新ループ用のKからNのフレームの抽出を示す図である。
【図17】図16に示されるフレーム1からNの新ループの抽出を示す図である。
【図18】ループ補正のステップを全般的に説明した流れ図である。
【発明を実施するための形態】
【0031】
本発明の概要を要約すると以下の通りである。すなわち、本発明において、まずピクセルを1つのフレームから次のフレームにマップするのに用いられる変換パラメーターを推定する。レーザーの運動センサーが、好ましくは4つを幾何学的に(矩形または正方形に)分布され、マウススキャナーの底に配置され、マウススキャナーがページを横切って動かされる際その位置を識別する。マウススキャナーが動かされると、所定の頻度で画像を取り込む。各画像が取り込まれる際レーザーの運動センサーは位置データを提供する。従って各センサーは2つの連続フレームについて位置ペアを提供する。次にこれらの位置ペアを用いて1つの取り込みフレームの位置を次の取り込みフレームに関連付けることができる。これらの位置ペアにより変換パラメーターが推定される。完璧な環境において、1つのフレームから次への位置の変化はすべての位置ペアについて厳格なオブジェクトの動きであるはずである。しかし、現実世界の環境においてセンサーは正確な位置データを報告しない。そこで、位置合わせエラーを計算して1つ以上のセンサーが無効な位置データを報告しているか判定する。
【0032】
マウススキャナーが無効なセンサーデータを生み出す主要な理由の1つはページ落ちである。レーザーセンサーがスキャンされているページから物理的に外れている場合(例えば折れたページまたはマウススキャナーが本の背に近づいている)、センサーは動きの記録を停止する。これは特にセンサーがその「持ち上げ」ビットを正しく報告しない場合、位置合わせの精度に影響する。各センサーは設定されセンサーがマウススキャナーの位置を記録するのにページから離れ過ぎていることを検出すると報告すべき持ち上げビットを含む。
【0033】
本発明において、初期変換パラメーター推定からのエラーを調べることによりページ落ちの状態または無効なセンサー位置データを検出する。異常に大きなエラーに遭遇すると、センサーの読み出し(位置データ)が無効であるか、またはセンサーがページ落ちしていたと結論する。次に無効なセンサーデータが識別され除去される。最後に有効なセンサー位置データのみを用いて変換パラメーターが再推定される。その結果、変換パラメーターの精度が向上し、さらに精緻化し得るはるかに良好な初期位置合わせが得られる。
【0034】
加えて、センサー持ち上げ状態を考慮して加重最小二乗最小化を用いる。センサーが持ち上げられると、センサーに関するエラーの重みは小さな重みまたはゼロに設定される。さらにセンサーエラーを加重するにあたり、センサー位置の幾何学的特性を考慮した。4個のセンサーが正方形に形成されていない場合、精度を向上させるために水平および垂直ペアからのエラーは各々別に加重される。
【0035】
加えて、センサーデータおよび付属エラーの信頼測定を行なう。信頼測定は95%信頼水準の誤差楕円から導き出され、これは95%の確率で真のパラメーターが楕円で指定される面積内にあることを意味する。予想どおり、誤差楕円を演算するのにより多くのセンサーを使用すると、楕円の面積はより小さくなる。推定値が真のパラメーターにより近い場合も楕円面積を減らす。
95%信頼水準の誤差楕円は位置合わせの動的検索区域として用いることができる。信頼測定はペアの位置合わせ用に画像情報およびセンサーデータを統合する加重関数にも用いられる。
【0036】
発明のより完全な理解とともに他の目的および成果は以下の説明および添付図面と併せて以下の説明およびクレームにより明らかになり理解されよう。
【0037】
以下に本発明を説明する。
図1および2は本発明のマウススキャナー10およびシステムの概略図である。ハウジング12は典型的なコンピューターマウスのような形であることが好ましい。ハウジング12内にはカメラ14がある。カメラ14は特にデジタル画像化に適したCMOSセンサー型であることが好ましい。しかし、CCD(電荷結合素子)型の画像取り込み装置など、スキャンされた区域をデジタル化する他の種類の装置を用いることができる。
【0038】
マウススキャナー10の画像取り込み部分はマウススキャナー10が文書上で動かされる際その下にある文書の部分を照らすよう配置されるLEDを含むことができる。LEDが好ましい光源であるが、マウススキャナー10のサイズおよび構成により白色光または蛍光灯など他の種類も可能な代替として考慮することができる。照明を増強または向上させるために光反射鏡も備えることができる。画像はマウススキャナーのハウジング12の底に形成されたスキャニング窓28を通して取り込まれる。
【0039】
本発明は本明細書において理解のし易さの目的から特定の装置、すなわちマウススキャナー、に関して説明されるが、本発明の態様はデジタルカメラ、ビデオカメラ、スキャナー、およびX線機器またはMRI装置など他の検出装置などの、入力データを取得する他の装置に適用されることが理解されよう。また、「画像」の用語も同様にこのような装置により取得された入力データに適用される。
【0040】
一旦スキャンボタンがオペレーターにより押されると、マウススキャナー10は文書にわたり動かされ、マウススキャナー10の位置は4個のレーザーの運動センサー22により示される。スキャンボタンはスキャニングプロセスを制御する単なる1つの選択肢で、自動的に制御することもできる。これらのレーザーの運動センサー22はマウススキャナー10の底に位置し、図1においてセンサーS1、S2、S3、およびS4として図示される。これらのレーザーの運動センサー22は1つの取り込み画像(フレーム)の次に対する相対的位置を表す位置指示データを提供する。各取り込みフレームは「タイル」とみなすこともできる。フレームまたはタイルは少なくとも最初はレーザーの運動センサー22により示される相対的位置に基づき縫合される。合成画像は例えば合成画像を形成する隣接縫合画像間の対応を測定する画像処理を用いて形成(精緻化)される。位置検出にレーザーの運動センサーを用いることが好ましいが、代わりの位置センサーには速度、加速、および/またはジャイロセンサーが含まれる。
【0041】
マウススキャナー10はさらにFPC(フレキシブルプリント回路)のメインボード24を含む。メインボード24はマウススキャナー10における活動および処理を制御し、例えばUSBコネクターポート経由で外付けのPCと通信する。図2はメインボードとその外付けPC(ホストコンピューター)への接続の概略的表示である。メインボード24は介在インターフェイス202によりホストコンピューター250(PC)とデータを交換する。アプリケーションプログラムおよび画像取り込み装置ドライバーもアクセス用にホストコンピューター250に記憶することができる。ドライバーはメインボード24からのさまざまな信号およびデータを受信し解釈し、ホストコンピューター250からユーザーに必要な情報を提供することができる。
【0042】
ホストコンピューター250によりデータが送信されると、インターフェイス202はデータを受信し、RAM204の一部を形成する受信バッファーに記憶する。RAM204は例えばアドレス化によりいくつかの部分に分割し、受信バッファーまたは送信バッファーなど異なるバッファーとして割り当てることができる。デジタル画像データなどのデータもカメラ14、フラッシュEEPROM210、またはROM208により取得することができる。例えば、カメラ14は本のページまたは写真など文書の一部分をスキャンすることによりデジタル画像を生成することができる。このデジタル画像は次にRAM204の受信バッファーまたは送信バッファーに記憶することができる。
【0043】
プロセッサー206が例えばROM208またはフラッシュEEPROM210に記憶されるコンピューター実行可能な命令を用いて本発明の方法など特定の機能または機能のグループを実施する。RAM204の受信バッファーにおけるデータが例えばデジタル画像である場合、プロセッサー206(または恐らくコンピューター250における1つ以上のプロセッサー)はデジタル画像に本発明の行為を実施し、例えば位置情報および特徴対応に基づきデジタル画像を他のデジタル画像と縫合しページまたは写真全体を表す合成画像を作成することができる。次に例えば追加処理、プリンター202での印刷、プロジェクター264での投影、またはハードディスク260への記憶のためにホストコンピューター250に画像を転送する前に撮像パイプラインにおいてさらにデジタル画像に処理を実施することができる。
【0044】
本発明の方法および本明細書に開示されるその変形はコンピューター実行可能な命令またはデータ構造を搭載し、または有する有形の非一時的なコンピューター読み取り可能な媒体を用いて実施することができる。このようなコンピューター読み取り可能な媒体は汎用または特殊用途のコンピューターのプロセッサーでアクセスできる任意の利用可能な媒体であって良い。限定ではなく例として、このようなコンピューター読み取り可能な媒体はRAM、ROM、EEPROM、CD−ROMもしくは他の光ディスク記憶装置または他の磁気記憶装置、またはコンピューター読み取り可能な命令またはデータ構造の形でプログラムコードを搭載または記憶するために用い得、汎用または特殊用途のコンピューターのプロセッサーによりアクセスできる他の任意の媒体であって良い。上述の組み合わせもコンピューター読み取り可能な媒体の範囲に含まれるべきである。
【0045】
コンピューター読み取り可能な命令は例えば、汎用または特殊用途のコンピューターのプロセッサーに特定の機能または機能のグループを実施される命令およびデータからなる。本明細書において主題は方法行為に固有の言葉で説明されるが、添付クレームに定義される主題は必ずしも本明細書において説明される具体的な行為に限定されないことが理解されよう。逆に、本明細書において説明される具体的な行為はクレームを実施するための形態の例として開示される。
【0046】
上述のように、マウススキャナー10は4個のレーザーの運動センサーおよびCMOSセンサー型カメラ14を含み、マウススキャナーハウジング12の下にある画像を取り込む。スキャナーボタンがオペレーターにより押されると(または自動的スキャニングプロセスが開始されると)、メインボード24により(例えばROM208もしくはフラッシュEEPROM210に記憶される命令を実施するプロセッサー206により)実施される画像取得機能はカメラ14から生の画像データおよびレーザーの運動センサー22からセンサー座標および状態を戻す。レーザーの運動センサーの状態は持ち上げビットを含む。持ち上げビットはセンサーが表面から持ち上げられた、すなわち正確な位置情報を提供するにはスキャンされている文書の表面あら離れ過ぎている、ことを示す。これは折られたり曲げられたりしたページ、または本の背など文書表面が平坦でない場合に起こり得る。持ち上げビットが設定されると、そのセンサーからの位置データはマウススキャナーの動きを正確に表さないかも知れず、無効で本発明において関連フレームまたはタイルの位置合わせに用いられないかも知れない。
【0047】
カメラ14の解像度は例えば300dpiである。オペレーターによりマウススキャナー10がページの横に下にと動かされるにつれ画像は例えば1秒当たり10回取得される。通常オペレーターによるマウススキャナー10の動きは1行横方向に、1列下に、次の行を逆方向に横断し、以下同様である。処理の負荷がピークにある際フレームの脱落を避けるために、画像の取得は別のスレッドで実行することができ、または実施形態によってはより高い優先順位でも良い。0.5秒を超える遅延は受け入れられないので、主スレッドに画像を送信するFIFOのサイズは5を超えるべきでない。
【0048】
一実施形態において画像取得手順はマウスが動かないとフレームを落とす。これはCPUが画像処理に使う時間を節約しループ補正の負荷を削減する。しかし、4つの持ち上げビットがすべて設定されているフレームは落とすべきでなく、オペレーターによりマウススキャナー10がページから完全に持ち上げられる(それによりスキャニングを停止すべきことを示す)とアプリケーションが画像取得手順を停止できるように処理されるべきである。
【0049】
図3は本発明の画像取得手順の全般的な流れ図である。手順はステップ710で始まり、マウススキャナー10がスキャンされる文書上に置かれる。オペレーターがスキャンボタン20を押しステップ712において新フレームがカメラ14により取り込まれるとスキャニングが開始される。新フレームが取り込まれると同時にステップ714においてレーザーの運動センサー22からの位置データ入力によりそのフレームの位置が示される。そのフレームの生の画像(VGA)が例えばコンピューター250に記憶され(ステップ716)、レーザーの運動センサー22からのその位置データ入力と相関される。
【0050】
マウススキャナー10において、不均一な照明およびカメラ14のレンズが安価であると生の画像において目立つ影をもたらし得る。本発明の実施形態において、生の画像(VGA)に対し影補正が適用され(ステップ718)、補正された画像(VGA)が形成され生の画像の代わりにコンピューター250に記憶される(ステップ720)。
次に補正された画像の歪み除去およびモザイク除去がステップ722において行なわれる。ルックアップ表に基づく歪み除去が用いられる。ルックアップ表は較正ファイルに記憶されている。
【0051】
優良なモザイク除去アルゴリズムは計算コストが高い。処理時間の方が画質より優先順位が高いようで、異なる色のピクセルを特別に位置合わせすることで充分と判断される。図4はベイヤーモザイクのピクセルクワッドであるが、出力カラー画像において各クワッドに対し1ピクセルを生成する必要がある。この結果、元のVGA画像の最大解像度の4分の1(QVGA)となる(ステップ724)。緑のピクセル値は生の画像における2つの緑ピクセルを平均化することにより得られる(ステップ726)。色チャンネル間のオフセットに対応するために、歪み除去のルックアップ表の座標は赤および青ピクセルについて各々(−1/4,+1/4)および(+1/4,−1/4)だけ変更される。
【0052】
歪み除去されたカラー画像を得るには双一次補間が充分のはずである。
他方、位置合わせに用いられる画像の画質は重要である。生の画像(事実上320×480)における緑チャンネルのピクセルを取り欠けたピクセルを補間してVGAサイズの画像を得ることが可能である。歪み除去において双三次補間が好ましい。従って、補間はこのシナリオにおいて2回行なわれる。
あるいは、生の画像における元の緑ピクセルに双三次補間を適用することができる。この場合、走査線は45°回転されたように見える。図5は歪み除去における選択肢を図示する。
【0053】
好ましい実施形態は位置合わせ用にQVGAサイズの緑チャンネル画像(ステップ726より)を用いる。その画像におけるピクセルは各クワッドの2つの緑ピクセルを平均化することにより得られる。本発明において画像処理の各ステップが実施されて行くにつれ、得られた画像はさらに処理、位置合わせ、または表示するためにコンピューター250に記憶される。得られた各画像フレームはその対応位置データといっしょに記憶される。
【0054】
前述のとおり、レーザーの運動センサー22の位置データはレーザーの運動センサー22がスキャンされる文書から持ち上げられるとマウススキャナー10のファームウェアにより例えばEEPROM210において設定される持ち上げビットを含む。持ち上げられたセンサーは有効な位置座標を生成しないので、これらはステップ728において検出され、変換推定(ステップ730)の1段階において無視される。
【0055】
位置合わせの一部または準備行為として、隣接フレーム間の相対的変換は双方の画像にとって有効なセンサー座標に基づき推定される。
変換推定(図3におけるステップ730)は以下の部分で詳細に説明される。
【0056】
(変換推定(ステップ730))
変換推定プロセスは図6の流れ図に全般的に示される。プロセスはスキャンボタン20が押されることで始まる(ステップ1210)。
一旦スキャンボタン20が押されると、画像取り込み装置、すなわちカメラ14、はマウススキャナー10がオペレーターによりページを横に下にと動かされるにつれフレーム、すなわちフレームi、フレームi+1、フレームi+2、等々を例えば1秒当たり10回で取り込み始める。前述のとおり、新フレームが取り込まれるのと同時にそのフレームの位置はレーザーの運動センサー22からの位置データ入力により示される(ステップ1212)。
【0057】
2つのフレームより2個から4個のセンサーの位置データが与えられると、変換パラメーターを推定することができる(ステップ1214)。
周知のとおり、変換パラメーターは1つのフレームにおけるピクセル位置を別のフレームの画像空間、または共通の画像空間、に変換またはマップすることを可能にする。一旦変換パラメーターが得られると、2つのフレームを縫合または融合して合成画像を形成することができる。
【0058】
本発明が対処する問題の1つは1フレームを別のフレームに関連付ける要石である位置データが必ずしも正確でないということである。各フレームの位置データを正確に推定する必要がある。そうするために、パラメーター推定に使用する位置データの正確さの信頼測定を開発した(ステップ1216)。
【0059】
【0060】
【0061】
【0062】
【0063】
センサーがページ落ちまたは無効(正しくない位置データを報告)であるかの判定は「ページ落ちの検出」と題する下記の部分に詳細に説明される。これは図6において一般的にステップ1218として示される。一般的に、各センサーはセンサーが位置データを報告するにはページから離れ過ぎていることを示す「持ち上げビット」を報告する。しかし、時々センサーが持ち上げられても(ページ落ち)この状態は報告されない。従って本発明において、位置合わせエラーを用い経験的に判定された閾値と比較して少なくとも1つのセンサーが実際ページ落ちおよび/または無効であるかを決める。
【0064】
加えて、センサー位置の幾何学的特性を検討するのに重みが用いられる。4個のセンサーが正方形に形成されていない場合、精度を向上させるために水平および垂直のペアからのエラーは異なって加重される。例えば、図1に示される実施形態において、4個のセンサーS1−S4は矩形に形成されているので、水平および垂直ペアからのエラーは異なって加重される。
【0065】
【0066】
本発明の一実施形態において、持ち上げられたセンサーに対し重みがゼロである場合エラー要素を取り除く(図6のステップ1220)。その結果、ヤコビ行列JはK×3となる。
K= 2*mで、m(m<=4)は有効なセンサーの数である。
Kは3つの未知数に対する方程式の数である。その結果、K>=3であることは必要なので少なくとも2つの有効なセンサーの読み出しが必要となる。一旦無効なセンサーデータを除外すると、上記に要約したように変換パラメーターを再推定し(ステップ1222)、センサーデータのエラーを再計算し、変換パラメーターが真であるという信頼を再測定する(ステップ1224)。一旦変換パラメーターが再推定されるとプロセスのこの部分は終了し(ステップ1226)、プロセスはフレームの位置合わせに進む(図3のステップ732)。しかし、位置合わせに進む前に以下の部分で信頼測定およびページ落ちの検出を考察する。
【0067】
(信頼測定)
上述のようにセンサーの位置合わせエラーを取り除いた上、次に変換パラメーターの信頼測定を実施する。分散行列(分散−共分散行列とも呼ばれる)、Qxx、はQxx=(JtWJ)-1と定義される。
分散行列、Qxx、は各未知数の分散と各未知数のペアの共分散を含む。
任意の量のセットについて、エラー楕円を計算することができる。楕円の寸法および配向は分散行列の係数から計算される。
【0068】
【0069】
【0070】
【0071】
【0072】
エラー楕円は任意の信頼水準について計算できる。選択された信頼に対しフィッシャー分布を計算する必要がある。ここで95%信頼水準のエラー楕円を計算することができる。
95%信頼のエラー楕円は真のパラメーターが楕円で指定された面積内にある確率が95%あることを意味する。予想通り、計算により多くのセンサーが使用されると楕円の面積はより小さくなる。推定値が真のパラメーターにより近い場合も楕円面積を減らす。
【0073】
【0074】
(ページ落ちの検出(図6のステップ1218))
レーザーセンサー22がページ落ちしていることは、特にセンサーが正しく「持ち上げビット」を報告しない場合、位置合わせの精度に影響するので大きな問題である。
センサー推定の信頼測定に関し上述のように、(Tx,Ty)のエラー楕円を推定することができる。
分散行列(分散−共分散行列とも呼ばれる)、Qxx、は、
Qxx=(JtWJ)-1と定義される。
【0075】
【0076】
位置合わせエラーが大きいと、少なくとも1つのセンサーはページ落ちしていると結論される。エラーを閾値と比較して、このような結論を得る。特定の装置に対し閾値は1つ以上のセンサーをページ落ちさせさまざまな条件の下で1つ以上の画像をスキャンし、これらのテスト条件の各々についてエラーを測定することにより経験的に決められる。
【0077】
(ページ落ちのセンサーの検出および再推定)
センサーはページ落ちしていると位置値を増やさなくなるのでページ落ちしたセンサーは運動長がより短いという仮定に基づきセンサーを無効と設定する。以下にプロセスステップを要約する。
【0078】
ステップ1:
最初にすべて持ち上げられていないセンサーを用いて変換を推定し、パラメーター推定からSe値を計算する。
【0079】
ステップ2:
SeがT_high(例えば5など経験的に決められた閾値)を超え、持ち上げを報告していないセンサーがT_low(例えば3など経験的に決められた閾値)を超えてある場合、有効なセンサーの運動ベクターを計算する。
【0080】
ステップ3:
平均未満の運動長を有するセンサーを無効として選択する。
次に図3においてステップ732として一般的に示される本発明の位置合わせの態様を説明する。
【0081】
(位置合わせ(図3のステップ732))
本発明において画像のペアを縫合する方法が提供される。本発明の縫合アルゴリズムは2つの画像の画像データからの位置合わせエラーとともにセンサーのセットからの推定エラーからなるコスト関数の最小化が関わる。コスト関数における重み関数は持ち上げおよびページ落ちとともにセンサー読み取りの精度尺度を含むセンサーエラーを考慮してセンサー推定の信頼値から引き出される。
【0082】
本発明のアルゴリズムは重みを用いてセンサー精度に対し画像位置合わせ精度を調節し2つの画像を最も良く縫合する位置合わせパラメーターのセットを生み出す。この結果、少ない内容の区域ではセンサーデータが画像データより重きがある一方、豊富な内容の区域では画像データがセンサーデータより重きがある。
【0083】
従って、ペアの画像位置合わせはセンサーデータおよび画像データ双方からの情報を融合することで、より高い精度を達成できる。初期位置合わせパラメーター用に大きなエラーを扱い最小化プロセスにおいて極小を避けるために、画像ペアはより低い解像度で位置合わせした後高解像度に精緻化することができる。詳細な説明を以下に提供する。
【0084】
角の一致に基づくペアの画像位置合わせは画像のペアの重なる区域内に顕著な角がないか少ない場合失敗するか、正確でないかもしれない。この結果、特徴に基づく方法またはセンサーデータを用いて初期の位置合わせから位置合わせを精緻化する必要があるかもしれない。本発明において、位置合わせは画像データとセンサーデータを統合することにより行なわれる。
【0085】
(鋼体変換モデルに基づくペアの画像位置合わせ)
図7はフレームiおよびフレームi+1の2フレームとフレームiにおけるピクセル点p’およびフレームi+1における対応ピクセル点p”との関係を図示する。2つのフレームは共通のx−y座標空間において互いにθの角度で配置され、その中の黒点で特定される重なり区域を有する。
【0086】
【0087】
(センサーデータを用いた位置合わせ)
センサーデータからの位置合わせパラメーター推定は前述の「変換推定」の考察において説明される。
RAM204において例えばpt1とpt2と称するアレーに記憶される有効なセンサー座標のマッチされたペアが抽出される。
【0088】
【0089】
【0090】
センサーデータから、エラー(tx,ty,theta)を最小化する反復方法に基づく推定パラメーターおよび転換(S_Tran)用のエラー楕円の半軸に基づき信頼測定を得る。
【0091】
(画像データを用いた位置合わせ)
画像データを用いた位置合わせは最小化問題として定式化される。2つのフレームを位置合わせするために、センサーデータから推定された位置合わせパラメーターに基づき重なり区域を抽出することができる。図8はマウススキャナー10でスキャンされ位置をレーザーセンサー22で記録されたフレーム16および17の2フレームを図示する。
【0092】
センサーデータに基づき、位置合わせパラメーターの初期推定は前述部分に説明したとおり、
Tx=18.2946、Ty=−2.0619、およびTheta=−0.0320で得られる。
転換用のエラー楕円の半軸は0.7281で、95%の信頼水準にある。
【0093】
重なり区域はテンプレートとして用いられる第2フレーム、フレーム17、から抽出される。
tmplt=SecondImg(y1:y2,x1:x2)。
【0094】
図9は重なり区域を図示する。
tmpltの矩形の4点は、[x1,y1],[x2,y1],[x1,y2],[x2,y2]である。
画像データに基づく位置合わせにはテンプレート画像(第2フレーム)におけるピクセルを基準画像(第1フレーム)におけるピクセルに合致させることが関わる。
Tを(n×m)の画像テンプレートとすると、これは行列とみなすことができる。
【0095】
【0096】
Iを基準画像とし、I(W(x;p))は現在の位置合わせパラメーターpによりテンプレート画像におけるピクセルxに対応するマップされた点W(x;p)の強度であるとする。
照明が一定であると仮定すると、テンプレート画像T(x)におけるピクセルxの強度は位置合わせパラメーターpが正しい場合基準画像においてマップされたピクセルの強度I(W(x;p))と整合し、または同じとなる。
【0097】
【0098】
最小化問題を解くために、ガウスニュートン、ニュートン、最急降下、またはESM法を用いることができる。
好ましい実施形態はルーカス−金出アルゴリズム(これはガウスニュートン勾配降下非線形最適化アルゴリズムである)に基づいている。
センサーデータまたはいくつかの整合した角のペアからの初期パラメーターは最適な解に近いと仮定するので勾配最小二乗最適化が面積に基づく位置合わせに用いられる。
【0099】
【0100】
【0101】
【0102】
(画像およびセンサーデータを統合した重み関数)
EIおよびEsからの2つのエラー関数を融合するために、正しい重み関数を見出す必要がある。
【0103】
【0104】
【0105】
重みを調節することにより、EIとEsをどのようにバランスするかを調節することができる。センサーデータが信頼できる場合、センサーデータをより信頼する。センサーデータが信頼できない場合、画像データからの強度に基づく位置合わせをより信頼する。
S_Tranを用いてセンサーの信頼を評価するので、S_Tranはエラー楕円の半軸である。S_Tranがより大きいことはセンサーデータがより信頼できないことを意味する。
【0106】
センサーデータが信頼できる場合、エラー楕円の半軸、S_Tran、は0に近い。重みは非常に大きくなる。その結果、センサーデータをはるかに多く信頼できる。
センサーデータが信頼できない場合、エラー楕円の半軸、S_Tran、は非常に大きい。重みは非常に小さくなる。その結果、センサーデータへの信頼ははるかに少なくなる。
【0107】
加えて、2つのセンサーのみからS_Tranを推定する場合すべてのセンサーペアを同等に扱う。予備的知識から、2つのセンサーのより長いペアから推定されたエラーは2つのセンサーのより短いペラから推定されたエラーよりはるかに小さい。その結果、S_Tranの計算は特定のセンサー形状に適合するよう修正する必要があるかもしれない。
【0108】
(位置合わせの低解像度から高解像度への精緻化)
上述の手順における仮定はセンサーからの初期パラメーターが最適または真の値に近いということである。
センサーデータが信頼できない場合、位置合わせパラメーターの初期推定は真の値とはかけ離れている。その結果、収束、または極小に収束、しないかもしれない。
エラー楕円の半軸に基づき、真の値が何であるべきか95%の信頼水準で分かる。
【0109】
センサーが信頼できる場合、S_Tranは典型的には1ピクセル未満と小さく、より低い解像度における位置合わせは必要ない。本発明の方法は初期の推定が真の値より5から8ピクセル離れている場合でも画像を位置合わせすることが示されている。
センサーが信頼できない場合、S_Tranは通常3から10ピクセルであるので、1/2の低解像度において当方法を用いて位置合わせをすることができる。
非常に大きいエラーがある場合、S_Tranは20ピクセルを超えるかも知れないので、1/4とさらに低い解像度で当方法を用いて位置合わせをすることができる。
【0110】
図10は全般的な流れを図示する。ステップ2210において、上述の「変換推定(ステップ730)」と題する部分でまとめたようにセンサーデータ、推定された変換パラメーター、およびセンサーの信頼が得られる。
センサーの信頼が高い、すなわちS_Tranが典型的には数ピクセル未満と小さい場合(ステップ2212で「はい」が戻される)、上述のようにフレームを高解像度で位置合わせする(ステップ2214)。
センサーの信頼が低い、すなわちS_Tranが典型的には数ピクセルを超えるほど大きい場合(ステップ2212で「いいえ」が戻される)、基準およびテスト画像(すなわち第2および第1フレーム)をダウンサンプルして、より低い解像度を達成し(ステップ2218)、上述のようにフレームをまず低解像度で位置合わせする。
選ばれる低解像度、1/4または1/2、はエラーの程度に依存する。この初期位置合わせの後、次により高い解像度の画像フレームを用いて上述の位置合わせステップを繰り返すことにより再度フレームの位置合わせを精緻化する。
【0111】
(ループ補正(図3のステップ738))
以下は本発明のループ補正態様の考察である。ペアの位置合わせに基づくペアの画像縫合は各フレームがその前のフレームのみと重なる場合エラーの蓄積をもたらす可能性がある。
画像をスキャンする場合、マウススキャナー10は例えば文書を左から右に横断し、次に下に動かされ、その後右から左に横断する。各フレームは通常その右および/または左のフレーム、ならびにその上および/または下のフレームと重なる。
以前に取り込んだ(直前のフレームの前に取り込まれた)フレームに戻ると、これは例えば現在のフレームの上または下にある画像部分であり得るが、現在のフレームをこの以前に取り込んだフレームと位置合わせできる場合「ループ閉鎖状態」が検出される。
一般的にペアの位置合わせはすべて成功すると仮定する。しかし、中断が起こった場合ペアの位置合わせは利用できなくなる。中断後の新しいフレームは、閉鎖ループが特定されるまでセンサーデータからの変換行列に従い新しい位置に割り当てられる。ループ閉鎖補正はエラーを中断が起こったフレームに割り当てる。中断はフレームiおよびi+1の間に起こったと仮定する(図11)。
この場合、以前に(フレームiの前に)取り込まれたフレームnがフレームi+1と位置合わせされ閉鎖ループを形成しなければならない(図12)。
【0112】
【0113】
一旦、Tiが計算されると、閉鎖ループは固定される。
ペアの位置合わせが閉鎖ループで補正された場合、ペアの位置合わせは図12において示されるように「固定」と設定される。一旦「固定」されるとペアの位置合わせはそれ以上変更されない。
新しいループの特定に注意する場合がいくつかある。例えば、閉鎖ループに螺旋スキャニングに対する閉鎖ループが含まれる場合、または閉鎖ループ内に新しい閉鎖ループがある場合である。2つの可能な事例を記述する。
【0114】
事例1、新しいループは1つ以上の閉鎖ループを含む場合(図13)。
図13に示すように、新しいループは補正された閉鎖ループを含んでいる。1からNのフレームが新しいループ(外側ループ)用に抽出されるが、フレームKからL(内側ループ)は既に補正されている。
新しいループはフレーム1からNより抽出される。抽出されたフレームを図14の下の行に示すように1からnと呼ぶことができる。
固定されないフレーム番号のみを含むインデックスベクターを得る。上記例について、フレーム番号[1,…K,L+1…N]を含むサイズ(N−(L−K))のインデックスベクターが得られる。
【0115】
事例2、新しいループは閉鎖ループ内にある場合(図15)。
新しいループはフレームKからNより抽出される(図16)。抽出されたフレームを図17の下の行に示すように1からnと呼ぶことができる。
固定されないフレーム番号のみを含むインデックスベクターを得る。上記例について、フレーム番号[L+1…N]または[k+1…n]を含むサイズ(N−L)または(n−k)のインデックスベクターが得られる。
グローバルな最適化が次に抽出されたループを処理するが、これはインデックスベクターに記録される固定されないペアの位置合わせを補正するのみである。
以下は特定の状況に対するアルゴリズムの修正の考察である。
【0116】
中断フレームを有する単独ループの補正
以下はフレームiおよびi+1の間に中断を有する閉鎖ループに対する補正の考察である。
【0117】
【0118】
一旦、フレームiからi+1のペアの位置合わせが更新されると、i+1からフレームnまでの画像フレームの表示が更新され、1からnのペアの位置合わせはすべて「固定」に設定される。
【0119】
【0120】
固定されたペアの位置合わせに対するエラー測定は含まれない。この結果、固定されないペアの位置合わせおよび3つのグローバルな制約に対するエラー測定が得られる。eエラー測定はKの要素を有する。
【0121】
【0122】
本発明によりループ補正を行ない、フレーム座標を更新することにより、スキャンされた画像は再引き寄せされる、すなわちスキャンされた個々のフレームは元の画像に近似するように引き締め合わされる。スキャンされた画像は次に表現され(図3のステップ742)、画像は例えば表示、投影、または印刷することができる(図3のステップ744)。あるいは、またはさらに、スキャンされた画像に隣接フレーム間の目立つ重なり部分を減らすような既知の融合アルゴリズムを課すことができる(図3におけるステップ746)。融合の後、画像は例えば表示、投影、または印刷することができ(図3のステップ748)、プロセスは終了する(図3のステップ750)。
【0123】
(ループ閉鎖エラー最小化のグローバルな最適化)
上述のように、ペアの位置合わせに基づくペアの画像縫合は各フレームがその前のフレームのみと重なる場合エラーの蓄積をもたらす可能性がある。より以前のフレームに戻るとループ閉鎖が検出される。しかし蓄積されたエラーのため、ループは閉鎖されないかもしれない。
本発明において、グローバルな最小化ストラテジーを用いてすべてのフレーム位置合わせに対し逆方向補正を行なう。ループ閉鎖は現在のフレームおよびより以前のフレームの間で相当な重なりがあるかを調べることにより検出することができる。以下に逆方向補正を用いたループ閉鎖エラー最小化のグローバルな最適化を説明する。
【0124】
【0125】
【0126】
【0127】
各エラーに対する重みは、
(a)ペアの位置合わせに対する推定の不確実さ−解像度または特徴点の数などの要素に基づき信頼測定を加重することができる、
(b)特徴点の抽出エラー−エラーの強度を加重することができる、および/または
(c)持ち上げ、傾斜、またはカメラ較正による歪み−レーザーデータの信頼性を加重することができる、
などの不確定要素に基づき導入することができる。
【0128】
選択された要素またはエラー源およびそれに帰属する重みは各々の特定システムに依存し、エラー源およびそれらのグローバルな最適化に与える影響を理解するには経験的な試験が必要である。
【0129】
発明はいくつかの具体的な実施形態と併せて説明されたが、当業者であれば前述の説明に照らしさらに多数の代替、修正、および変更が明らかになることが明白であろう。従って本明細書において説明される発明は添付クレームの精神および範囲に入るそのような代替、修正、応用、および変更すべてを包含することを意図する。
【符号の説明】
【0130】
10 マウススキャナー、12 ハウジング、14 カメラ、24 メインボード、204 RAM、206 プロセッサー、208 ROM、210 フラッシュEEPROM、250 コンピューター、260 ハードディスク、262 プリンター、264 プロジェクター。
【技術分野】
【0001】
本発明はスキャニング装置、特にマウススキャナーなど手持ち式の文書スキャナーに関する。
【背景技術】
【0002】
さまざまな文書スキャニング装置が技術的に存在する。その中にはファックス装置、コピー機、多機能ファックス/コピー/印刷装置、独立型のフラトベッドスキャナー等々が含まれる。この種の装置の不利な点は大型で持ち運びができないことである。従って、スキャンする文書を装置に持って行く必要がある。最近になり、小型の手持ち式スキャナーが導入されている。VuPoint PDS−ST410−VP Magic Wand Portable Scannerなど、いくつかは携帯式で独立型である。Xerox Travel Scanner 100など別のものはラップトップコンピューターに接続することができる。しかしこれらの種類のスキャナーは1枚の紙を受け付け得る大きさがある。
【0003】
より最近の進展はスキャニング装置を文書上に動かしながら文書(例えば本のページまたは写真)の一部分のみをスキャンする非常に小型のスキャナーである。画像処理を用いてこれらのスキャンされた部分を縫合し、ページ全体または写真全体のコピーを作成する。米国公開特許出願番号US2010/0124384はこの種の装置の一例を説明している。場合によって装置は2つのモードで機能する。1モードにおいては通常のマウスとして機能し、別のモードではスキャナーとして機能する。共有の2009年12月28日に申請の米国特許出願番号12/648,236、公開番号2010/0171996(特許文献1)、および2009年12月22日に申請の米国特許出願番号12/645,421、公開番号2010/0165422(特許文献2)、はこの種の装置を説明しており、これは時々「マウススキャナー」と呼ばれる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】米国特許出願公開2010/0171996号明細書
【特許文献2】米国特許出願公開2010/0165422号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
文書上を手で動かされるこの種の小型スキャナーに見られる問題のいくつかに粗悪な画質およびスキャンされた複数部分の粗悪な位置合わせが挙げられる。
【課題を解決するための手段】
【0006】
本発明のスキャニング装置により取り込まれた複数の画像フレームの位置合わせ方法は、
前記スキャニング装置は、画像取り込み装置と、前記画像取り込み装置が前記複数の画像フレームの1つを取り込む時前記画像取り込み装置の相対的位置を示す位置データを供給する複数の位置センサーとを有し、
第1画像フレームiが取り込まれた時および第2画像フレームi+1が取り込まれた時に前記複数の位置センサーの各々から位置データを読み取るステップと、
前記第2画像フレームi+1の画像中心を前記第1画像フレームiに関連付ける変換パラメーターを推定するステップと、
複数の位置センサーペアに対する位置合わせエラーを計算するステップであって、前記位置センサーペアはセンサーにより示される前記第2画像フレームi+1および前記第1画像フレームiにおける位置を含むステップと、を有することを特徴とする。
【0007】
また、本発明の複数の画像フレームの位置合わせ方法において、どのセンサーがページ落ちまたは無効な位置データを供給しているかを判定するステップをさらに有することを特徴とする。
【0008】
また、本発明の複数の画像フレームの位置合わせ方法において、前記ページ落ちまたは無効な位置データを供給していると判定されたセンサーにより供給された位置データを除外することにより前記変換パラメーターを再推定するステップをさらに有することを特徴とする。
【0009】
また、本発明の複数の画像フレームの位置合わせ方法において、前記どのセンサーがページ落ちまたは無効な位置データを供給しているかを判定するステップは、前記位置合わせエラーを閾値に比較し、前記位置合わせエラーが閾値を超えセンサーが平均未満の動きを有する場合センサーがページ落ちまたは無効な位置データを供給していると判定することを特徴とする。
【0010】
また、本発明の複数の画像フレームの位置合わせ方法において、前記複数の位置センサーペアに対する位置合わせエラーを計算するステップは、加重最小二乗最小化を用いるステップを有することを特徴とする。
【0011】
また、本発明の複数の画像フレームの位置合わせ方法において、前記複数の位置センサーペアに対する位置合わせエラーを計算するステップは、前記位置センサーの幾何学的関係を用いてセンサーエラーを加重し、センサーの水平ペアからのエラーはセンサーの垂直ペアからのエラーと異なって加重されるステップを有することを特徴とする。
【0012】
また、本発明の複数の画像フレームの位置合わせ方法において、前記変換パラメーターを推定するステップは信頼測定を計算するステップを有することを特徴とする。
【0013】
また、本発明の複数の画像フレームの位置合わせ方法において、前記信頼測定を計算するステップは95%の信頼水準のエラー楕円を計算するステップを有することを特徴とする。
【0014】
ここで、本発明のスキャニング装置は、画像取り込み装置と、
前記画像取り込み装置が前記複数の画像フレームの1つを取り込む時、前記画像取り込み装置の相対的位置を示す位置データを供給する複数の位置センサーと、
プロセッサーと、を有するスキャニング装置であって、
前記プロセッサーは、
第1画像フレームiが取り込まれた時および第2画像フレームi+1が取り込まれた時に前記複数の位置センサーの各々から位置データを読み取るステップと、
前記第2画像フレームi+1の画像中心を前記第1画像フレームiに関連付ける変換パラメーターを推定するステップと、
複数の位置センサーペアに対する位置合わせエラーを計算するステップであって、前記位置センサーペアはセンサーにより示される前記第2画像フレームi+1および前記第1画像フレームiの位置を含むステップとを実行することを特徴とする。
【0015】
また、本発明のスキャニング装置において、前記プロセッサーはさらに、どのセンサーがページ落ちまたは無効な位置データを供給しているかを判定するステップを実行することを特徴とする。
【0016】
また、本発明のスキャニング装置において、前記プロセッサーはさらに、ページ落ちまたは無効な位置データを供給していると判定されたセンサーにより供給された位置データを除外することにより前記変換パラメーターを再推定するステップを実行することを特徴とする。
【0017】
また、本発明のスキャニング装置において、前記どのセンサーがページ落ちまたは無効な位置データを供給しているかを判定するステップは、前記位置合わせエラーを閾値に比較し、前記位置合わせエラーが閾値を超えセンサーが平均未満の動きを有する場合センサーがページ落ちまたは無効な位置データを供給していると判定するステップを含むことを特徴とする。
【0018】
また、本発明のスキャニング装置において、前記複数の位置センサーペアに対する位置合わせエラーを計算するステップは、加重最小二乗最小化を用いるステップを有することを特徴とする。
【0019】
また、本発明のスキャニング装置において、前記複数の位置センサーペアに対する位置合わせエラーを計算するステップは、前記位置センサーの幾何学的関係を用いてセンサーエラーを加重し、センサーの水平ペアからのエラーはセンサーの垂直ペアからのエラーと異なって加重されるステップを有することを特徴とする。
【0020】
また、本発明のスキャニング装置において、前記変換パラメーターを推定するステップは信頼測定を計算するステップを有することを特徴とする。
【0021】
また、本発明のスキャニング装置において、前記信頼測定を計算するステップは95%の信頼水準のエラー楕円を計算するステップを有することを特徴とする。
【0022】
一方、本発明のコンピューター読み取り可能な媒体は、プロセッサーにより実行されるとスキャニング装置により取り込まれた複数の画像フレームを位置合わせするコンピューター読み取り可能な命令を有する1つ以上の有形の非一時的なコンピューター読み取り可能な媒体であって、
前記スキャニング装置は、画像取り込み装置と、前記取り込み装置が前記複数の画像フレームの1つを取り込む時前記画像取り込み装置の相対的位置を示す位置データを供給する複数の位置センサーとを有し、
前記プロセッサーは、
第1画像フレームiが取り込まれた時および第2画像フレームi+1が取り込まれた時に前記複数の位置センサーの各々から位置データを読み取るステップと、
前記第2画像フレームi+1の画像中心を前記第1画像フレームiに関連付ける変換パラメーターを推定するステップと、
前記複数の位置センサーペアに対する位置合わせエラーを計算するステップであって、前記位置センサーペアはセンサーにより示される前記第2画像フレームi+1および前記第1画像フレームiの位置を含むステップとを実行することを特徴とする。
【0023】
また、本発明のコンピューター読み取り可能な媒体において、前記プロセッサーはさらに、どのセンサーがページ落ちまたは無効な位置データを供給しているかを判定するステップを実行することを特徴とする。
【0024】
また、本発明のコンピューター読み取り可能な媒体において、前記プロセッサーはさらに、ページ落ちまたは無効な位置データを供給していると判定されたセンサーにより供給された位置データを除外することにより前記変換パラメーターを再推定するステップを実行することを特徴とする。
【0025】
また、本発明のコンピューター読み取り可能な媒体において、前記どのセンサーがページ落ちまたは無効な位置データを供給しているかを判定するステップは、前記位置合わせエラーを閾値に比較し、前記位置合わせエラーが閾値を超えセンサーが平均未満の動きを有する場合センサーがページ落ちまたは無効な位置データを供給していると判定するステップを含むことを特徴とする。
【0026】
また、本発明のコンピューター読み取り可能な媒体において、前記複数の位置センサーペアに対する位置合わせエラーを計算するステップは、加重最小二乗最小化を用いるステップを有することを特徴とする。
【0027】
また、本発明のコンピューター読み取り可能な媒体において、前記複数の位置センサーペアに対する位置合わせエラーを計算するステップは、前記位置センサーの幾何学的関係を用いてセンサーエラーを加重し、センサーの水平ペアからのエラーはセンサーの垂直ペアからのエラーと異なって加重されるステップを有することを特徴とする。
【0028】
また、本発明のコンピューター読み取り可能な媒体において、前記変換パラメーターを推定するステップは信頼測定を計算するステップを有することを特徴とする。
【0029】
また、本発明のコンピューター読み取り可能な媒体において、前記信頼測定を計算するステップは95%の信頼水準のエラー楕円を計算するステップを有することを特徴とする。
【図面の簡単な説明】
【0030】
【図1】本発明のマウススキャナー10の概略図である。
【図2】本発明のシステムブロック図である。
【図3】本発明の全体的なプロセスの流れ図である。
【図4】ベイヤーモザイクにおけるピクセルクワッドを図示する。
【図5】本発明において歪み除去用の補間の選択肢を図示する。
【図6】本発明において変換パラメーターを推定する全般的プロセスを示す流れ図である。
【図7】共通のx−y座標空間において互いに角度θで配置されるフレームiおよびフレームi+1の2フレームの関係を示す図である。
【図8】マウススキャナー10でスキャンされ位置をレーザーセンサーで記録された2フレームを示す図である。
【図9】図8に図示される2フレーム間の重なり部分を示す図である。
【図10】センサーの信頼が低い時ダウンサンプルされた画像が低解像度で位置合わせされた場合の2つの画像の位置合わせを全般的に示す図である。
【図11】フレームおよび先行フレーム間に位置合わせの途切れがある位置合わせループを示す図である。
【図12】フレームを先行フレームの前に来た、以前のフレームに位置合わせすることによる、図11に図示された途切れのループの閉鎖補正を示す図である。
【図13】新ループが1つ以上の閉鎖ループを含む場合を示す図である。
【図14】図13に示されるフレーム1からNの新ループの抽出を示す図である。
【図15】新ループが補正された閉鎖ループ内にある場合を示す図である。
【図16】フレームKからLが補正された図15に図示される新ループ用のKからNのフレームの抽出を示す図である。
【図17】図16に示されるフレーム1からNの新ループの抽出を示す図である。
【図18】ループ補正のステップを全般的に説明した流れ図である。
【発明を実施するための形態】
【0031】
本発明の概要を要約すると以下の通りである。すなわち、本発明において、まずピクセルを1つのフレームから次のフレームにマップするのに用いられる変換パラメーターを推定する。レーザーの運動センサーが、好ましくは4つを幾何学的に(矩形または正方形に)分布され、マウススキャナーの底に配置され、マウススキャナーがページを横切って動かされる際その位置を識別する。マウススキャナーが動かされると、所定の頻度で画像を取り込む。各画像が取り込まれる際レーザーの運動センサーは位置データを提供する。従って各センサーは2つの連続フレームについて位置ペアを提供する。次にこれらの位置ペアを用いて1つの取り込みフレームの位置を次の取り込みフレームに関連付けることができる。これらの位置ペアにより変換パラメーターが推定される。完璧な環境において、1つのフレームから次への位置の変化はすべての位置ペアについて厳格なオブジェクトの動きであるはずである。しかし、現実世界の環境においてセンサーは正確な位置データを報告しない。そこで、位置合わせエラーを計算して1つ以上のセンサーが無効な位置データを報告しているか判定する。
【0032】
マウススキャナーが無効なセンサーデータを生み出す主要な理由の1つはページ落ちである。レーザーセンサーがスキャンされているページから物理的に外れている場合(例えば折れたページまたはマウススキャナーが本の背に近づいている)、センサーは動きの記録を停止する。これは特にセンサーがその「持ち上げ」ビットを正しく報告しない場合、位置合わせの精度に影響する。各センサーは設定されセンサーがマウススキャナーの位置を記録するのにページから離れ過ぎていることを検出すると報告すべき持ち上げビットを含む。
【0033】
本発明において、初期変換パラメーター推定からのエラーを調べることによりページ落ちの状態または無効なセンサー位置データを検出する。異常に大きなエラーに遭遇すると、センサーの読み出し(位置データ)が無効であるか、またはセンサーがページ落ちしていたと結論する。次に無効なセンサーデータが識別され除去される。最後に有効なセンサー位置データのみを用いて変換パラメーターが再推定される。その結果、変換パラメーターの精度が向上し、さらに精緻化し得るはるかに良好な初期位置合わせが得られる。
【0034】
加えて、センサー持ち上げ状態を考慮して加重最小二乗最小化を用いる。センサーが持ち上げられると、センサーに関するエラーの重みは小さな重みまたはゼロに設定される。さらにセンサーエラーを加重するにあたり、センサー位置の幾何学的特性を考慮した。4個のセンサーが正方形に形成されていない場合、精度を向上させるために水平および垂直ペアからのエラーは各々別に加重される。
【0035】
加えて、センサーデータおよび付属エラーの信頼測定を行なう。信頼測定は95%信頼水準の誤差楕円から導き出され、これは95%の確率で真のパラメーターが楕円で指定される面積内にあることを意味する。予想どおり、誤差楕円を演算するのにより多くのセンサーを使用すると、楕円の面積はより小さくなる。推定値が真のパラメーターにより近い場合も楕円面積を減らす。
95%信頼水準の誤差楕円は位置合わせの動的検索区域として用いることができる。信頼測定はペアの位置合わせ用に画像情報およびセンサーデータを統合する加重関数にも用いられる。
【0036】
発明のより完全な理解とともに他の目的および成果は以下の説明および添付図面と併せて以下の説明およびクレームにより明らかになり理解されよう。
【0037】
以下に本発明を説明する。
図1および2は本発明のマウススキャナー10およびシステムの概略図である。ハウジング12は典型的なコンピューターマウスのような形であることが好ましい。ハウジング12内にはカメラ14がある。カメラ14は特にデジタル画像化に適したCMOSセンサー型であることが好ましい。しかし、CCD(電荷結合素子)型の画像取り込み装置など、スキャンされた区域をデジタル化する他の種類の装置を用いることができる。
【0038】
マウススキャナー10の画像取り込み部分はマウススキャナー10が文書上で動かされる際その下にある文書の部分を照らすよう配置されるLEDを含むことができる。LEDが好ましい光源であるが、マウススキャナー10のサイズおよび構成により白色光または蛍光灯など他の種類も可能な代替として考慮することができる。照明を増強または向上させるために光反射鏡も備えることができる。画像はマウススキャナーのハウジング12の底に形成されたスキャニング窓28を通して取り込まれる。
【0039】
本発明は本明細書において理解のし易さの目的から特定の装置、すなわちマウススキャナー、に関して説明されるが、本発明の態様はデジタルカメラ、ビデオカメラ、スキャナー、およびX線機器またはMRI装置など他の検出装置などの、入力データを取得する他の装置に適用されることが理解されよう。また、「画像」の用語も同様にこのような装置により取得された入力データに適用される。
【0040】
一旦スキャンボタンがオペレーターにより押されると、マウススキャナー10は文書にわたり動かされ、マウススキャナー10の位置は4個のレーザーの運動センサー22により示される。スキャンボタンはスキャニングプロセスを制御する単なる1つの選択肢で、自動的に制御することもできる。これらのレーザーの運動センサー22はマウススキャナー10の底に位置し、図1においてセンサーS1、S2、S3、およびS4として図示される。これらのレーザーの運動センサー22は1つの取り込み画像(フレーム)の次に対する相対的位置を表す位置指示データを提供する。各取り込みフレームは「タイル」とみなすこともできる。フレームまたはタイルは少なくとも最初はレーザーの運動センサー22により示される相対的位置に基づき縫合される。合成画像は例えば合成画像を形成する隣接縫合画像間の対応を測定する画像処理を用いて形成(精緻化)される。位置検出にレーザーの運動センサーを用いることが好ましいが、代わりの位置センサーには速度、加速、および/またはジャイロセンサーが含まれる。
【0041】
マウススキャナー10はさらにFPC(フレキシブルプリント回路)のメインボード24を含む。メインボード24はマウススキャナー10における活動および処理を制御し、例えばUSBコネクターポート経由で外付けのPCと通信する。図2はメインボードとその外付けPC(ホストコンピューター)への接続の概略的表示である。メインボード24は介在インターフェイス202によりホストコンピューター250(PC)とデータを交換する。アプリケーションプログラムおよび画像取り込み装置ドライバーもアクセス用にホストコンピューター250に記憶することができる。ドライバーはメインボード24からのさまざまな信号およびデータを受信し解釈し、ホストコンピューター250からユーザーに必要な情報を提供することができる。
【0042】
ホストコンピューター250によりデータが送信されると、インターフェイス202はデータを受信し、RAM204の一部を形成する受信バッファーに記憶する。RAM204は例えばアドレス化によりいくつかの部分に分割し、受信バッファーまたは送信バッファーなど異なるバッファーとして割り当てることができる。デジタル画像データなどのデータもカメラ14、フラッシュEEPROM210、またはROM208により取得することができる。例えば、カメラ14は本のページまたは写真など文書の一部分をスキャンすることによりデジタル画像を生成することができる。このデジタル画像は次にRAM204の受信バッファーまたは送信バッファーに記憶することができる。
【0043】
プロセッサー206が例えばROM208またはフラッシュEEPROM210に記憶されるコンピューター実行可能な命令を用いて本発明の方法など特定の機能または機能のグループを実施する。RAM204の受信バッファーにおけるデータが例えばデジタル画像である場合、プロセッサー206(または恐らくコンピューター250における1つ以上のプロセッサー)はデジタル画像に本発明の行為を実施し、例えば位置情報および特徴対応に基づきデジタル画像を他のデジタル画像と縫合しページまたは写真全体を表す合成画像を作成することができる。次に例えば追加処理、プリンター202での印刷、プロジェクター264での投影、またはハードディスク260への記憶のためにホストコンピューター250に画像を転送する前に撮像パイプラインにおいてさらにデジタル画像に処理を実施することができる。
【0044】
本発明の方法および本明細書に開示されるその変形はコンピューター実行可能な命令またはデータ構造を搭載し、または有する有形の非一時的なコンピューター読み取り可能な媒体を用いて実施することができる。このようなコンピューター読み取り可能な媒体は汎用または特殊用途のコンピューターのプロセッサーでアクセスできる任意の利用可能な媒体であって良い。限定ではなく例として、このようなコンピューター読み取り可能な媒体はRAM、ROM、EEPROM、CD−ROMもしくは他の光ディスク記憶装置または他の磁気記憶装置、またはコンピューター読み取り可能な命令またはデータ構造の形でプログラムコードを搭載または記憶するために用い得、汎用または特殊用途のコンピューターのプロセッサーによりアクセスできる他の任意の媒体であって良い。上述の組み合わせもコンピューター読み取り可能な媒体の範囲に含まれるべきである。
【0045】
コンピューター読み取り可能な命令は例えば、汎用または特殊用途のコンピューターのプロセッサーに特定の機能または機能のグループを実施される命令およびデータからなる。本明細書において主題は方法行為に固有の言葉で説明されるが、添付クレームに定義される主題は必ずしも本明細書において説明される具体的な行為に限定されないことが理解されよう。逆に、本明細書において説明される具体的な行為はクレームを実施するための形態の例として開示される。
【0046】
上述のように、マウススキャナー10は4個のレーザーの運動センサーおよびCMOSセンサー型カメラ14を含み、マウススキャナーハウジング12の下にある画像を取り込む。スキャナーボタンがオペレーターにより押されると(または自動的スキャニングプロセスが開始されると)、メインボード24により(例えばROM208もしくはフラッシュEEPROM210に記憶される命令を実施するプロセッサー206により)実施される画像取得機能はカメラ14から生の画像データおよびレーザーの運動センサー22からセンサー座標および状態を戻す。レーザーの運動センサーの状態は持ち上げビットを含む。持ち上げビットはセンサーが表面から持ち上げられた、すなわち正確な位置情報を提供するにはスキャンされている文書の表面あら離れ過ぎている、ことを示す。これは折られたり曲げられたりしたページ、または本の背など文書表面が平坦でない場合に起こり得る。持ち上げビットが設定されると、そのセンサーからの位置データはマウススキャナーの動きを正確に表さないかも知れず、無効で本発明において関連フレームまたはタイルの位置合わせに用いられないかも知れない。
【0047】
カメラ14の解像度は例えば300dpiである。オペレーターによりマウススキャナー10がページの横に下にと動かされるにつれ画像は例えば1秒当たり10回取得される。通常オペレーターによるマウススキャナー10の動きは1行横方向に、1列下に、次の行を逆方向に横断し、以下同様である。処理の負荷がピークにある際フレームの脱落を避けるために、画像の取得は別のスレッドで実行することができ、または実施形態によってはより高い優先順位でも良い。0.5秒を超える遅延は受け入れられないので、主スレッドに画像を送信するFIFOのサイズは5を超えるべきでない。
【0048】
一実施形態において画像取得手順はマウスが動かないとフレームを落とす。これはCPUが画像処理に使う時間を節約しループ補正の負荷を削減する。しかし、4つの持ち上げビットがすべて設定されているフレームは落とすべきでなく、オペレーターによりマウススキャナー10がページから完全に持ち上げられる(それによりスキャニングを停止すべきことを示す)とアプリケーションが画像取得手順を停止できるように処理されるべきである。
【0049】
図3は本発明の画像取得手順の全般的な流れ図である。手順はステップ710で始まり、マウススキャナー10がスキャンされる文書上に置かれる。オペレーターがスキャンボタン20を押しステップ712において新フレームがカメラ14により取り込まれるとスキャニングが開始される。新フレームが取り込まれると同時にステップ714においてレーザーの運動センサー22からの位置データ入力によりそのフレームの位置が示される。そのフレームの生の画像(VGA)が例えばコンピューター250に記憶され(ステップ716)、レーザーの運動センサー22からのその位置データ入力と相関される。
【0050】
マウススキャナー10において、不均一な照明およびカメラ14のレンズが安価であると生の画像において目立つ影をもたらし得る。本発明の実施形態において、生の画像(VGA)に対し影補正が適用され(ステップ718)、補正された画像(VGA)が形成され生の画像の代わりにコンピューター250に記憶される(ステップ720)。
次に補正された画像の歪み除去およびモザイク除去がステップ722において行なわれる。ルックアップ表に基づく歪み除去が用いられる。ルックアップ表は較正ファイルに記憶されている。
【0051】
優良なモザイク除去アルゴリズムは計算コストが高い。処理時間の方が画質より優先順位が高いようで、異なる色のピクセルを特別に位置合わせすることで充分と判断される。図4はベイヤーモザイクのピクセルクワッドであるが、出力カラー画像において各クワッドに対し1ピクセルを生成する必要がある。この結果、元のVGA画像の最大解像度の4分の1(QVGA)となる(ステップ724)。緑のピクセル値は生の画像における2つの緑ピクセルを平均化することにより得られる(ステップ726)。色チャンネル間のオフセットに対応するために、歪み除去のルックアップ表の座標は赤および青ピクセルについて各々(−1/4,+1/4)および(+1/4,−1/4)だけ変更される。
【0052】
歪み除去されたカラー画像を得るには双一次補間が充分のはずである。
他方、位置合わせに用いられる画像の画質は重要である。生の画像(事実上320×480)における緑チャンネルのピクセルを取り欠けたピクセルを補間してVGAサイズの画像を得ることが可能である。歪み除去において双三次補間が好ましい。従って、補間はこのシナリオにおいて2回行なわれる。
あるいは、生の画像における元の緑ピクセルに双三次補間を適用することができる。この場合、走査線は45°回転されたように見える。図5は歪み除去における選択肢を図示する。
【0053】
好ましい実施形態は位置合わせ用にQVGAサイズの緑チャンネル画像(ステップ726より)を用いる。その画像におけるピクセルは各クワッドの2つの緑ピクセルを平均化することにより得られる。本発明において画像処理の各ステップが実施されて行くにつれ、得られた画像はさらに処理、位置合わせ、または表示するためにコンピューター250に記憶される。得られた各画像フレームはその対応位置データといっしょに記憶される。
【0054】
前述のとおり、レーザーの運動センサー22の位置データはレーザーの運動センサー22がスキャンされる文書から持ち上げられるとマウススキャナー10のファームウェアにより例えばEEPROM210において設定される持ち上げビットを含む。持ち上げられたセンサーは有効な位置座標を生成しないので、これらはステップ728において検出され、変換推定(ステップ730)の1段階において無視される。
【0055】
位置合わせの一部または準備行為として、隣接フレーム間の相対的変換は双方の画像にとって有効なセンサー座標に基づき推定される。
変換推定(図3におけるステップ730)は以下の部分で詳細に説明される。
【0056】
(変換推定(ステップ730))
変換推定プロセスは図6の流れ図に全般的に示される。プロセスはスキャンボタン20が押されることで始まる(ステップ1210)。
一旦スキャンボタン20が押されると、画像取り込み装置、すなわちカメラ14、はマウススキャナー10がオペレーターによりページを横に下にと動かされるにつれフレーム、すなわちフレームi、フレームi+1、フレームi+2、等々を例えば1秒当たり10回で取り込み始める。前述のとおり、新フレームが取り込まれるのと同時にそのフレームの位置はレーザーの運動センサー22からの位置データ入力により示される(ステップ1212)。
【0057】
2つのフレームより2個から4個のセンサーの位置データが与えられると、変換パラメーターを推定することができる(ステップ1214)。
周知のとおり、変換パラメーターは1つのフレームにおけるピクセル位置を別のフレームの画像空間、または共通の画像空間、に変換またはマップすることを可能にする。一旦変換パラメーターが得られると、2つのフレームを縫合または融合して合成画像を形成することができる。
【0058】
本発明が対処する問題の1つは1フレームを別のフレームに関連付ける要石である位置データが必ずしも正確でないということである。各フレームの位置データを正確に推定する必要がある。そうするために、パラメーター推定に使用する位置データの正確さの信頼測定を開発した(ステップ1216)。
【0059】
【0060】
【0061】
【0062】
【0063】
センサーがページ落ちまたは無効(正しくない位置データを報告)であるかの判定は「ページ落ちの検出」と題する下記の部分に詳細に説明される。これは図6において一般的にステップ1218として示される。一般的に、各センサーはセンサーが位置データを報告するにはページから離れ過ぎていることを示す「持ち上げビット」を報告する。しかし、時々センサーが持ち上げられても(ページ落ち)この状態は報告されない。従って本発明において、位置合わせエラーを用い経験的に判定された閾値と比較して少なくとも1つのセンサーが実際ページ落ちおよび/または無効であるかを決める。
【0064】
加えて、センサー位置の幾何学的特性を検討するのに重みが用いられる。4個のセンサーが正方形に形成されていない場合、精度を向上させるために水平および垂直のペアからのエラーは異なって加重される。例えば、図1に示される実施形態において、4個のセンサーS1−S4は矩形に形成されているので、水平および垂直ペアからのエラーは異なって加重される。
【0065】
【0066】
本発明の一実施形態において、持ち上げられたセンサーに対し重みがゼロである場合エラー要素を取り除く(図6のステップ1220)。その結果、ヤコビ行列JはK×3となる。
K= 2*mで、m(m<=4)は有効なセンサーの数である。
Kは3つの未知数に対する方程式の数である。その結果、K>=3であることは必要なので少なくとも2つの有効なセンサーの読み出しが必要となる。一旦無効なセンサーデータを除外すると、上記に要約したように変換パラメーターを再推定し(ステップ1222)、センサーデータのエラーを再計算し、変換パラメーターが真であるという信頼を再測定する(ステップ1224)。一旦変換パラメーターが再推定されるとプロセスのこの部分は終了し(ステップ1226)、プロセスはフレームの位置合わせに進む(図3のステップ732)。しかし、位置合わせに進む前に以下の部分で信頼測定およびページ落ちの検出を考察する。
【0067】
(信頼測定)
上述のようにセンサーの位置合わせエラーを取り除いた上、次に変換パラメーターの信頼測定を実施する。分散行列(分散−共分散行列とも呼ばれる)、Qxx、はQxx=(JtWJ)-1と定義される。
分散行列、Qxx、は各未知数の分散と各未知数のペアの共分散を含む。
任意の量のセットについて、エラー楕円を計算することができる。楕円の寸法および配向は分散行列の係数から計算される。
【0068】
【0069】
【0070】
【0071】
【0072】
エラー楕円は任意の信頼水準について計算できる。選択された信頼に対しフィッシャー分布を計算する必要がある。ここで95%信頼水準のエラー楕円を計算することができる。
95%信頼のエラー楕円は真のパラメーターが楕円で指定された面積内にある確率が95%あることを意味する。予想通り、計算により多くのセンサーが使用されると楕円の面積はより小さくなる。推定値が真のパラメーターにより近い場合も楕円面積を減らす。
【0073】
【0074】
(ページ落ちの検出(図6のステップ1218))
レーザーセンサー22がページ落ちしていることは、特にセンサーが正しく「持ち上げビット」を報告しない場合、位置合わせの精度に影響するので大きな問題である。
センサー推定の信頼測定に関し上述のように、(Tx,Ty)のエラー楕円を推定することができる。
分散行列(分散−共分散行列とも呼ばれる)、Qxx、は、
Qxx=(JtWJ)-1と定義される。
【0075】
【0076】
位置合わせエラーが大きいと、少なくとも1つのセンサーはページ落ちしていると結論される。エラーを閾値と比較して、このような結論を得る。特定の装置に対し閾値は1つ以上のセンサーをページ落ちさせさまざまな条件の下で1つ以上の画像をスキャンし、これらのテスト条件の各々についてエラーを測定することにより経験的に決められる。
【0077】
(ページ落ちのセンサーの検出および再推定)
センサーはページ落ちしていると位置値を増やさなくなるのでページ落ちしたセンサーは運動長がより短いという仮定に基づきセンサーを無効と設定する。以下にプロセスステップを要約する。
【0078】
ステップ1:
最初にすべて持ち上げられていないセンサーを用いて変換を推定し、パラメーター推定からSe値を計算する。
【0079】
ステップ2:
SeがT_high(例えば5など経験的に決められた閾値)を超え、持ち上げを報告していないセンサーがT_low(例えば3など経験的に決められた閾値)を超えてある場合、有効なセンサーの運動ベクターを計算する。
【0080】
ステップ3:
平均未満の運動長を有するセンサーを無効として選択する。
次に図3においてステップ732として一般的に示される本発明の位置合わせの態様を説明する。
【0081】
(位置合わせ(図3のステップ732))
本発明において画像のペアを縫合する方法が提供される。本発明の縫合アルゴリズムは2つの画像の画像データからの位置合わせエラーとともにセンサーのセットからの推定エラーからなるコスト関数の最小化が関わる。コスト関数における重み関数は持ち上げおよびページ落ちとともにセンサー読み取りの精度尺度を含むセンサーエラーを考慮してセンサー推定の信頼値から引き出される。
【0082】
本発明のアルゴリズムは重みを用いてセンサー精度に対し画像位置合わせ精度を調節し2つの画像を最も良く縫合する位置合わせパラメーターのセットを生み出す。この結果、少ない内容の区域ではセンサーデータが画像データより重きがある一方、豊富な内容の区域では画像データがセンサーデータより重きがある。
【0083】
従って、ペアの画像位置合わせはセンサーデータおよび画像データ双方からの情報を融合することで、より高い精度を達成できる。初期位置合わせパラメーター用に大きなエラーを扱い最小化プロセスにおいて極小を避けるために、画像ペアはより低い解像度で位置合わせした後高解像度に精緻化することができる。詳細な説明を以下に提供する。
【0084】
角の一致に基づくペアの画像位置合わせは画像のペアの重なる区域内に顕著な角がないか少ない場合失敗するか、正確でないかもしれない。この結果、特徴に基づく方法またはセンサーデータを用いて初期の位置合わせから位置合わせを精緻化する必要があるかもしれない。本発明において、位置合わせは画像データとセンサーデータを統合することにより行なわれる。
【0085】
(鋼体変換モデルに基づくペアの画像位置合わせ)
図7はフレームiおよびフレームi+1の2フレームとフレームiにおけるピクセル点p’およびフレームi+1における対応ピクセル点p”との関係を図示する。2つのフレームは共通のx−y座標空間において互いにθの角度で配置され、その中の黒点で特定される重なり区域を有する。
【0086】
【0087】
(センサーデータを用いた位置合わせ)
センサーデータからの位置合わせパラメーター推定は前述の「変換推定」の考察において説明される。
RAM204において例えばpt1とpt2と称するアレーに記憶される有効なセンサー座標のマッチされたペアが抽出される。
【0088】
【0089】
【0090】
センサーデータから、エラー(tx,ty,theta)を最小化する反復方法に基づく推定パラメーターおよび転換(S_Tran)用のエラー楕円の半軸に基づき信頼測定を得る。
【0091】
(画像データを用いた位置合わせ)
画像データを用いた位置合わせは最小化問題として定式化される。2つのフレームを位置合わせするために、センサーデータから推定された位置合わせパラメーターに基づき重なり区域を抽出することができる。図8はマウススキャナー10でスキャンされ位置をレーザーセンサー22で記録されたフレーム16および17の2フレームを図示する。
【0092】
センサーデータに基づき、位置合わせパラメーターの初期推定は前述部分に説明したとおり、
Tx=18.2946、Ty=−2.0619、およびTheta=−0.0320で得られる。
転換用のエラー楕円の半軸は0.7281で、95%の信頼水準にある。
【0093】
重なり区域はテンプレートとして用いられる第2フレーム、フレーム17、から抽出される。
tmplt=SecondImg(y1:y2,x1:x2)。
【0094】
図9は重なり区域を図示する。
tmpltの矩形の4点は、[x1,y1],[x2,y1],[x1,y2],[x2,y2]である。
画像データに基づく位置合わせにはテンプレート画像(第2フレーム)におけるピクセルを基準画像(第1フレーム)におけるピクセルに合致させることが関わる。
Tを(n×m)の画像テンプレートとすると、これは行列とみなすことができる。
【0095】
【0096】
Iを基準画像とし、I(W(x;p))は現在の位置合わせパラメーターpによりテンプレート画像におけるピクセルxに対応するマップされた点W(x;p)の強度であるとする。
照明が一定であると仮定すると、テンプレート画像T(x)におけるピクセルxの強度は位置合わせパラメーターpが正しい場合基準画像においてマップされたピクセルの強度I(W(x;p))と整合し、または同じとなる。
【0097】
【0098】
最小化問題を解くために、ガウスニュートン、ニュートン、最急降下、またはESM法を用いることができる。
好ましい実施形態はルーカス−金出アルゴリズム(これはガウスニュートン勾配降下非線形最適化アルゴリズムである)に基づいている。
センサーデータまたはいくつかの整合した角のペアからの初期パラメーターは最適な解に近いと仮定するので勾配最小二乗最適化が面積に基づく位置合わせに用いられる。
【0099】
【0100】
【0101】
【0102】
(画像およびセンサーデータを統合した重み関数)
EIおよびEsからの2つのエラー関数を融合するために、正しい重み関数を見出す必要がある。
【0103】
【0104】
【0105】
重みを調節することにより、EIとEsをどのようにバランスするかを調節することができる。センサーデータが信頼できる場合、センサーデータをより信頼する。センサーデータが信頼できない場合、画像データからの強度に基づく位置合わせをより信頼する。
S_Tranを用いてセンサーの信頼を評価するので、S_Tranはエラー楕円の半軸である。S_Tranがより大きいことはセンサーデータがより信頼できないことを意味する。
【0106】
センサーデータが信頼できる場合、エラー楕円の半軸、S_Tran、は0に近い。重みは非常に大きくなる。その結果、センサーデータをはるかに多く信頼できる。
センサーデータが信頼できない場合、エラー楕円の半軸、S_Tran、は非常に大きい。重みは非常に小さくなる。その結果、センサーデータへの信頼ははるかに少なくなる。
【0107】
加えて、2つのセンサーのみからS_Tranを推定する場合すべてのセンサーペアを同等に扱う。予備的知識から、2つのセンサーのより長いペアから推定されたエラーは2つのセンサーのより短いペラから推定されたエラーよりはるかに小さい。その結果、S_Tranの計算は特定のセンサー形状に適合するよう修正する必要があるかもしれない。
【0108】
(位置合わせの低解像度から高解像度への精緻化)
上述の手順における仮定はセンサーからの初期パラメーターが最適または真の値に近いということである。
センサーデータが信頼できない場合、位置合わせパラメーターの初期推定は真の値とはかけ離れている。その結果、収束、または極小に収束、しないかもしれない。
エラー楕円の半軸に基づき、真の値が何であるべきか95%の信頼水準で分かる。
【0109】
センサーが信頼できる場合、S_Tranは典型的には1ピクセル未満と小さく、より低い解像度における位置合わせは必要ない。本発明の方法は初期の推定が真の値より5から8ピクセル離れている場合でも画像を位置合わせすることが示されている。
センサーが信頼できない場合、S_Tranは通常3から10ピクセルであるので、1/2の低解像度において当方法を用いて位置合わせをすることができる。
非常に大きいエラーがある場合、S_Tranは20ピクセルを超えるかも知れないので、1/4とさらに低い解像度で当方法を用いて位置合わせをすることができる。
【0110】
図10は全般的な流れを図示する。ステップ2210において、上述の「変換推定(ステップ730)」と題する部分でまとめたようにセンサーデータ、推定された変換パラメーター、およびセンサーの信頼が得られる。
センサーの信頼が高い、すなわちS_Tranが典型的には数ピクセル未満と小さい場合(ステップ2212で「はい」が戻される)、上述のようにフレームを高解像度で位置合わせする(ステップ2214)。
センサーの信頼が低い、すなわちS_Tranが典型的には数ピクセルを超えるほど大きい場合(ステップ2212で「いいえ」が戻される)、基準およびテスト画像(すなわち第2および第1フレーム)をダウンサンプルして、より低い解像度を達成し(ステップ2218)、上述のようにフレームをまず低解像度で位置合わせする。
選ばれる低解像度、1/4または1/2、はエラーの程度に依存する。この初期位置合わせの後、次により高い解像度の画像フレームを用いて上述の位置合わせステップを繰り返すことにより再度フレームの位置合わせを精緻化する。
【0111】
(ループ補正(図3のステップ738))
以下は本発明のループ補正態様の考察である。ペアの位置合わせに基づくペアの画像縫合は各フレームがその前のフレームのみと重なる場合エラーの蓄積をもたらす可能性がある。
画像をスキャンする場合、マウススキャナー10は例えば文書を左から右に横断し、次に下に動かされ、その後右から左に横断する。各フレームは通常その右および/または左のフレーム、ならびにその上および/または下のフレームと重なる。
以前に取り込んだ(直前のフレームの前に取り込まれた)フレームに戻ると、これは例えば現在のフレームの上または下にある画像部分であり得るが、現在のフレームをこの以前に取り込んだフレームと位置合わせできる場合「ループ閉鎖状態」が検出される。
一般的にペアの位置合わせはすべて成功すると仮定する。しかし、中断が起こった場合ペアの位置合わせは利用できなくなる。中断後の新しいフレームは、閉鎖ループが特定されるまでセンサーデータからの変換行列に従い新しい位置に割り当てられる。ループ閉鎖補正はエラーを中断が起こったフレームに割り当てる。中断はフレームiおよびi+1の間に起こったと仮定する(図11)。
この場合、以前に(フレームiの前に)取り込まれたフレームnがフレームi+1と位置合わせされ閉鎖ループを形成しなければならない(図12)。
【0112】
【0113】
一旦、Tiが計算されると、閉鎖ループは固定される。
ペアの位置合わせが閉鎖ループで補正された場合、ペアの位置合わせは図12において示されるように「固定」と設定される。一旦「固定」されるとペアの位置合わせはそれ以上変更されない。
新しいループの特定に注意する場合がいくつかある。例えば、閉鎖ループに螺旋スキャニングに対する閉鎖ループが含まれる場合、または閉鎖ループ内に新しい閉鎖ループがある場合である。2つの可能な事例を記述する。
【0114】
事例1、新しいループは1つ以上の閉鎖ループを含む場合(図13)。
図13に示すように、新しいループは補正された閉鎖ループを含んでいる。1からNのフレームが新しいループ(外側ループ)用に抽出されるが、フレームKからL(内側ループ)は既に補正されている。
新しいループはフレーム1からNより抽出される。抽出されたフレームを図14の下の行に示すように1からnと呼ぶことができる。
固定されないフレーム番号のみを含むインデックスベクターを得る。上記例について、フレーム番号[1,…K,L+1…N]を含むサイズ(N−(L−K))のインデックスベクターが得られる。
【0115】
事例2、新しいループは閉鎖ループ内にある場合(図15)。
新しいループはフレームKからNより抽出される(図16)。抽出されたフレームを図17の下の行に示すように1からnと呼ぶことができる。
固定されないフレーム番号のみを含むインデックスベクターを得る。上記例について、フレーム番号[L+1…N]または[k+1…n]を含むサイズ(N−L)または(n−k)のインデックスベクターが得られる。
グローバルな最適化が次に抽出されたループを処理するが、これはインデックスベクターに記録される固定されないペアの位置合わせを補正するのみである。
以下は特定の状況に対するアルゴリズムの修正の考察である。
【0116】
中断フレームを有する単独ループの補正
以下はフレームiおよびi+1の間に中断を有する閉鎖ループに対する補正の考察である。
【0117】
【0118】
一旦、フレームiからi+1のペアの位置合わせが更新されると、i+1からフレームnまでの画像フレームの表示が更新され、1からnのペアの位置合わせはすべて「固定」に設定される。
【0119】
【0120】
固定されたペアの位置合わせに対するエラー測定は含まれない。この結果、固定されないペアの位置合わせおよび3つのグローバルな制約に対するエラー測定が得られる。eエラー測定はKの要素を有する。
【0121】
【0122】
本発明によりループ補正を行ない、フレーム座標を更新することにより、スキャンされた画像は再引き寄せされる、すなわちスキャンされた個々のフレームは元の画像に近似するように引き締め合わされる。スキャンされた画像は次に表現され(図3のステップ742)、画像は例えば表示、投影、または印刷することができる(図3のステップ744)。あるいは、またはさらに、スキャンされた画像に隣接フレーム間の目立つ重なり部分を減らすような既知の融合アルゴリズムを課すことができる(図3におけるステップ746)。融合の後、画像は例えば表示、投影、または印刷することができ(図3のステップ748)、プロセスは終了する(図3のステップ750)。
【0123】
(ループ閉鎖エラー最小化のグローバルな最適化)
上述のように、ペアの位置合わせに基づくペアの画像縫合は各フレームがその前のフレームのみと重なる場合エラーの蓄積をもたらす可能性がある。より以前のフレームに戻るとループ閉鎖が検出される。しかし蓄積されたエラーのため、ループは閉鎖されないかもしれない。
本発明において、グローバルな最小化ストラテジーを用いてすべてのフレーム位置合わせに対し逆方向補正を行なう。ループ閉鎖は現在のフレームおよびより以前のフレームの間で相当な重なりがあるかを調べることにより検出することができる。以下に逆方向補正を用いたループ閉鎖エラー最小化のグローバルな最適化を説明する。
【0124】
【0125】
【0126】
【0127】
各エラーに対する重みは、
(a)ペアの位置合わせに対する推定の不確実さ−解像度または特徴点の数などの要素に基づき信頼測定を加重することができる、
(b)特徴点の抽出エラー−エラーの強度を加重することができる、および/または
(c)持ち上げ、傾斜、またはカメラ較正による歪み−レーザーデータの信頼性を加重することができる、
などの不確定要素に基づき導入することができる。
【0128】
選択された要素またはエラー源およびそれに帰属する重みは各々の特定システムに依存し、エラー源およびそれらのグローバルな最適化に与える影響を理解するには経験的な試験が必要である。
【0129】
発明はいくつかの具体的な実施形態と併せて説明されたが、当業者であれば前述の説明に照らしさらに多数の代替、修正、および変更が明らかになることが明白であろう。従って本明細書において説明される発明は添付クレームの精神および範囲に入るそのような代替、修正、応用、および変更すべてを包含することを意図する。
【符号の説明】
【0130】
10 マウススキャナー、12 ハウジング、14 カメラ、24 メインボード、204 RAM、206 プロセッサー、208 ROM、210 フラッシュEEPROM、250 コンピューター、260 ハードディスク、262 プリンター、264 プロジェクター。
【特許請求の範囲】
【請求項1】
スキャニング装置により取り込まれた複数の画像フレームの位置合わせ方法であって、
前記スキャニング装置は、画像取り込み装置と、前記画像取り込み装置が前記複数の画像フレームの1つを取り込む時、前記画像取り込み装置の相対的位置を示す位置データを供給する複数の位置センサーとを有し、
第1画像フレームiが取り込まれた時、および第2画像フレームi+1が取り込まれた時に前記複数の位置センサーの各々から位置データを読み取るステップと、
前記第2画像フレームi+1の画像中心を前記第1画像フレームiに関連付ける変換パラメーターを推定するステップと、
複数の位置センサーペアに対する位置合わせエラーを計算するステップであって、前記位置センサーペアはセンサーにより示される前記第2画像フレームi+1、および前記第1画像フレームiにおける位置を含むステップと、を有する複数の画像フレームの位置合わせ方法。
【請求項2】
どのセンサーがページ落ちまたは無効な位置データを供給しているかを判定するステップをさらに有する請求項1に記載の複数の画像フレームの位置合わせ方法。
【請求項3】
前記ページ落ちまたは無効な位置データを供給していると判定されたセンサーにより供給された位置データを除外することにより前記変換パラメーターを再推定するステップをさらに有する請求項2に記載の複数の画像フレームの位置合わせ方法。
【請求項4】
前記どのセンサーがページ落ちまたは無効な位置データを供給しているかを判定するステップは、前記位置合わせエラーを閾値に比較し、前記位置合わせエラーが閾値を超えセンサーが平均未満の動きを有する場合センサーがページ落ちまたは無効な位置データを供給していると判定するステップを含む請求項2に記載の複数の画像フレームの位置合わせ方法。
【請求項5】
前記複数の位置センサーペアに対する位置合わせエラーを計算するステップは、加重最小二乗最小化を用いるステップを有する請求項1に記載の複数の画像フレームの位置合わせ方法。
【請求項6】
前記複数の位置センサーペアに対する位置合わせエラーを計算するステップは、前記位置センサーの幾何学的関係を用いてセンサーエラーを加重し、センサーの水平ペアからのエラーはセンサーの垂直ペアからのエラーと異なって加重されるステップを有する請求項1に記載の複数の画像フレームの位置合わせ方法。
【請求項7】
前記変換パラメーターを推定するステップは信頼測定を計算するステップを有する、請求項1に記載の複数の画像フレームの位置合わせ方法。
【請求項8】
前記信頼測定を計算するステップは95%の信頼水準のエラー楕円を計算するステップを有する請求項7に記載の複数の画像フレームの位置合わせ方法。
【請求項9】
画像取り込み装置と、
前記画像取り込み装置が前記複数の画像フレームの1つを取り込む時、前記画像取り込み装置の相対的位置を示す位置データを供給する複数の位置センサーと、
プロセッサーと、を有するスキャニング装置であって、
前記プロセッサーは、
第1画像フレームiが取り込まれた時および第2画像フレームi+1が取り込まれた時に前記複数の位置センサーの各々から位置データを読み取るステップと、
前記第2画像フレームi+1の画像中心を前記第1画像フレームiに関連付ける変換パラメーターを推定するステップと、
複数の位置センサーペアに対する位置合わせエラーを計算するステップであって、前記位置センサーペアはセンサーにより示される前記第2画像フレームi+1および前記第1画像フレームiの位置を含むステップとを実行する、スキャニング装置。
【請求項10】
前記プロセッサーはさらに、どのセンサーがページ落ちまたは無効な位置データを供給しているかを判定するステップを実行する請求項9に記載のスキャニング装置。
【請求項11】
前記プロセッサーはさらに、ページ落ちまたは無効な位置データを供給していると判定されたセンサーにより供給された位置データを除外することにより前記変換パラメーターを再推定するステップを実行する請求項9に記載のスキャニング装置。
【請求項12】
前記どのセンサーがページ落ちまたは無効な位置データを供給しているかを判定するステップは、前記位置合わせエラーを閾値に比較し、前記位置合わせエラーが閾値を超えセンサーが平均未満の動きを有する場合センサーがページ落ちまたは無効な位置データを供給していると判定するステップを含む請求項10に記載のスキャニング装置。
【請求項13】
前記複数の位置センサーペアに対する位置合わせエラーを計算するステップは、加重最小二乗最小化を用いるステップを有する請求項9に記載のスキャニング装置。
【請求項14】
前記複数の位置センサーペアに対する位置合わせエラーを計算するステップは、前記位置センサーの幾何学的関係を用いてセンサーエラーを加重し、センサーの水平ペアからのエラーはセンサーの垂直ペアからのエラーと異なって加重されるステップを有する請求項9に記載のスキャニング装置。
【請求項15】
前記変換パラメーターを推定するステップは信頼測定を計算するステップを有する請求項9に記載のスキャニング装置。
【請求項16】
前記信頼測定を計算するステップは95%の信頼水準のエラー楕円を計算するステップを有する請求項15に記載のスキャニング装置。
【請求項17】
プロセッサーにより実行されるとスキャニング装置により取り込まれた複数の画像フレームを位置合わせするコンピューター読み取り可能な命令を有する1つ以上の有形の非一時的なコンピューター読み取り可能な媒体であって、
前記スキャニング装置は、画像取り込み装置と、前記取り込み装置が前記複数の画像フレームの1つを取り込む時前記画像取り込み装置の相対的位置を示す位置データを供給する複数の位置センサーとを有し、
前記プロセッサーは、
第1画像フレームiが取り込まれた時および第2画像フレームi+1が取り込まれた時に前記複数の位置センサーの各々から位置データを読み取るステップと、
前記第2画像フレームi+1の画像中心を前記第1画像フレームiに関連付ける変換パラメーターを推定するステップと、
前記複数の位置センサーペアに対する位置合わせエラーを計算するステップであって、前記位置センサーペアはセンサーにより示される前記第2画像フレームi+1および前記第1画像フレームiの位置を含むステップとを実行する、コンピューター読み取り可能な媒体。
【請求項18】
前記プロセッサーはさらに、どのセンサーがページ落ちまたは無効な位置データを供給しているかを判定するステップを実行する請求項17に記載のコンピューター読み取り可能な媒体。
【請求項19】
前記プロセッサーはさらに、ページ落ちまたは無効な位置データを供給していると判定されたセンサーにより供給された位置データを除外することにより前記変換パラメーターを再推定するステップを実行する請求項17に記載のコンピューター読み取り可能な媒体。
【請求項20】
前記どのセンサーがページ落ちまたは無効な位置データを供給しているかを判定するステップは、前記位置合わせエラーを閾値に比較し、前記位置合わせエラーが閾値を超えセンサーが平均未満の動きを有する場合センサーがページ落ちまたは無効な位置データを供給していると判定するステップを含む請求項18に記載のコンピューター読み取り可能な媒体。
【請求項21】
前記複数の位置センサーペアに対する位置合わせエラーを計算するステップは、加重最小二乗最小化を用いるステップを有する請求項17に記載のコンピューター読み取り可能な媒体。
【請求項22】
前記複数の位置センサーペアに対する位置合わせエラーを計算するステップは、前記位置センサーの幾何学的関係を用いてセンサーエラーを加重し、センサーの水平ペアからのエラーはセンサーの垂直ペアからのエラーと異なって加重されるステップを有する請求項17に記載のコンピューター読み取り可能な媒体。
【請求項23】
前記変換パラメーターを推定するステップは信頼測定を計算するステップを有する請求項17に記載のコンピューター読み取り可能な媒体。
【請求項24】
前記信頼測定を計算するステップは95%の信頼水準のエラー楕円を計算するステップを有する請求項23に記載のコンピューター読み取り可能な媒体。
【請求項1】
スキャニング装置により取り込まれた複数の画像フレームの位置合わせ方法であって、
前記スキャニング装置は、画像取り込み装置と、前記画像取り込み装置が前記複数の画像フレームの1つを取り込む時、前記画像取り込み装置の相対的位置を示す位置データを供給する複数の位置センサーとを有し、
第1画像フレームiが取り込まれた時、および第2画像フレームi+1が取り込まれた時に前記複数の位置センサーの各々から位置データを読み取るステップと、
前記第2画像フレームi+1の画像中心を前記第1画像フレームiに関連付ける変換パラメーターを推定するステップと、
複数の位置センサーペアに対する位置合わせエラーを計算するステップであって、前記位置センサーペアはセンサーにより示される前記第2画像フレームi+1、および前記第1画像フレームiにおける位置を含むステップと、を有する複数の画像フレームの位置合わせ方法。
【請求項2】
どのセンサーがページ落ちまたは無効な位置データを供給しているかを判定するステップをさらに有する請求項1に記載の複数の画像フレームの位置合わせ方法。
【請求項3】
前記ページ落ちまたは無効な位置データを供給していると判定されたセンサーにより供給された位置データを除外することにより前記変換パラメーターを再推定するステップをさらに有する請求項2に記載の複数の画像フレームの位置合わせ方法。
【請求項4】
前記どのセンサーがページ落ちまたは無効な位置データを供給しているかを判定するステップは、前記位置合わせエラーを閾値に比較し、前記位置合わせエラーが閾値を超えセンサーが平均未満の動きを有する場合センサーがページ落ちまたは無効な位置データを供給していると判定するステップを含む請求項2に記載の複数の画像フレームの位置合わせ方法。
【請求項5】
前記複数の位置センサーペアに対する位置合わせエラーを計算するステップは、加重最小二乗最小化を用いるステップを有する請求項1に記載の複数の画像フレームの位置合わせ方法。
【請求項6】
前記複数の位置センサーペアに対する位置合わせエラーを計算するステップは、前記位置センサーの幾何学的関係を用いてセンサーエラーを加重し、センサーの水平ペアからのエラーはセンサーの垂直ペアからのエラーと異なって加重されるステップを有する請求項1に記載の複数の画像フレームの位置合わせ方法。
【請求項7】
前記変換パラメーターを推定するステップは信頼測定を計算するステップを有する、請求項1に記載の複数の画像フレームの位置合わせ方法。
【請求項8】
前記信頼測定を計算するステップは95%の信頼水準のエラー楕円を計算するステップを有する請求項7に記載の複数の画像フレームの位置合わせ方法。
【請求項9】
画像取り込み装置と、
前記画像取り込み装置が前記複数の画像フレームの1つを取り込む時、前記画像取り込み装置の相対的位置を示す位置データを供給する複数の位置センサーと、
プロセッサーと、を有するスキャニング装置であって、
前記プロセッサーは、
第1画像フレームiが取り込まれた時および第2画像フレームi+1が取り込まれた時に前記複数の位置センサーの各々から位置データを読み取るステップと、
前記第2画像フレームi+1の画像中心を前記第1画像フレームiに関連付ける変換パラメーターを推定するステップと、
複数の位置センサーペアに対する位置合わせエラーを計算するステップであって、前記位置センサーペアはセンサーにより示される前記第2画像フレームi+1および前記第1画像フレームiの位置を含むステップとを実行する、スキャニング装置。
【請求項10】
前記プロセッサーはさらに、どのセンサーがページ落ちまたは無効な位置データを供給しているかを判定するステップを実行する請求項9に記載のスキャニング装置。
【請求項11】
前記プロセッサーはさらに、ページ落ちまたは無効な位置データを供給していると判定されたセンサーにより供給された位置データを除外することにより前記変換パラメーターを再推定するステップを実行する請求項9に記載のスキャニング装置。
【請求項12】
前記どのセンサーがページ落ちまたは無効な位置データを供給しているかを判定するステップは、前記位置合わせエラーを閾値に比較し、前記位置合わせエラーが閾値を超えセンサーが平均未満の動きを有する場合センサーがページ落ちまたは無効な位置データを供給していると判定するステップを含む請求項10に記載のスキャニング装置。
【請求項13】
前記複数の位置センサーペアに対する位置合わせエラーを計算するステップは、加重最小二乗最小化を用いるステップを有する請求項9に記載のスキャニング装置。
【請求項14】
前記複数の位置センサーペアに対する位置合わせエラーを計算するステップは、前記位置センサーの幾何学的関係を用いてセンサーエラーを加重し、センサーの水平ペアからのエラーはセンサーの垂直ペアからのエラーと異なって加重されるステップを有する請求項9に記載のスキャニング装置。
【請求項15】
前記変換パラメーターを推定するステップは信頼測定を計算するステップを有する請求項9に記載のスキャニング装置。
【請求項16】
前記信頼測定を計算するステップは95%の信頼水準のエラー楕円を計算するステップを有する請求項15に記載のスキャニング装置。
【請求項17】
プロセッサーにより実行されるとスキャニング装置により取り込まれた複数の画像フレームを位置合わせするコンピューター読み取り可能な命令を有する1つ以上の有形の非一時的なコンピューター読み取り可能な媒体であって、
前記スキャニング装置は、画像取り込み装置と、前記取り込み装置が前記複数の画像フレームの1つを取り込む時前記画像取り込み装置の相対的位置を示す位置データを供給する複数の位置センサーとを有し、
前記プロセッサーは、
第1画像フレームiが取り込まれた時および第2画像フレームi+1が取り込まれた時に前記複数の位置センサーの各々から位置データを読み取るステップと、
前記第2画像フレームi+1の画像中心を前記第1画像フレームiに関連付ける変換パラメーターを推定するステップと、
前記複数の位置センサーペアに対する位置合わせエラーを計算するステップであって、前記位置センサーペアはセンサーにより示される前記第2画像フレームi+1および前記第1画像フレームiの位置を含むステップとを実行する、コンピューター読み取り可能な媒体。
【請求項18】
前記プロセッサーはさらに、どのセンサーがページ落ちまたは無効な位置データを供給しているかを判定するステップを実行する請求項17に記載のコンピューター読み取り可能な媒体。
【請求項19】
前記プロセッサーはさらに、ページ落ちまたは無効な位置データを供給していると判定されたセンサーにより供給された位置データを除外することにより前記変換パラメーターを再推定するステップを実行する請求項17に記載のコンピューター読み取り可能な媒体。
【請求項20】
前記どのセンサーがページ落ちまたは無効な位置データを供給しているかを判定するステップは、前記位置合わせエラーを閾値に比較し、前記位置合わせエラーが閾値を超えセンサーが平均未満の動きを有する場合センサーがページ落ちまたは無効な位置データを供給していると判定するステップを含む請求項18に記載のコンピューター読み取り可能な媒体。
【請求項21】
前記複数の位置センサーペアに対する位置合わせエラーを計算するステップは、加重最小二乗最小化を用いるステップを有する請求項17に記載のコンピューター読み取り可能な媒体。
【請求項22】
前記複数の位置センサーペアに対する位置合わせエラーを計算するステップは、前記位置センサーの幾何学的関係を用いてセンサーエラーを加重し、センサーの水平ペアからのエラーはセンサーの垂直ペアからのエラーと異なって加重されるステップを有する請求項17に記載のコンピューター読み取り可能な媒体。
【請求項23】
前記変換パラメーターを推定するステップは信頼測定を計算するステップを有する請求項17に記載のコンピューター読み取り可能な媒体。
【請求項24】
前記信頼測定を計算するステップは95%の信頼水準のエラー楕円を計算するステップを有する請求項23に記載のコンピューター読み取り可能な媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図8】
【図9】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図8】
【図9】
【公開番号】特開2012−156983(P2012−156983A)
【公開日】平成24年8月16日(2012.8.16)
【国際特許分類】
【出願番号】特願2011−248278(P2011−248278)
【出願日】平成23年11月14日(2011.11.14)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】
【公開日】平成24年8月16日(2012.8.16)
【国際特許分類】
【出願日】平成23年11月14日(2011.11.14)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】
[ Back to top ]