説明

移動検出装置および記録装置

【課題】 固定した位置でテンプレートパターンを切り出すとパターンマッチングの精度が劣化する場合がある。
【解決手段】 第1画像データからテンプレートパターンを切り出し、第2画像データの中でテンプレートパターンと相関が大きい領域をサーチすることで、物体の移動状態を求める。第1画像データを解析してテンプレートパターンを切り出す位置を可変に設定する第1処理、ならびに、第1画像データと第1画像データの後で且つ第2画像データよりも先に取得した第3画像データとの関係を解析して前記テンプレートパターンを切り出す位置を可変に設定する第2処理、の少なくとも一方の処理を行なう。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理によって物体の移動を検出する技術、および同技術を採用したプリンタ等の記録装置の技術分野に関する。
【背景技術】
【0002】
プリント用紙等のメディアを搬送しながらプリントを行なう際、搬送精度が低いと、中間調画像の濃度ムラが生じたり、倍率誤差が生じたりして、得られるプリント画像の品質が劣化する。そのため、高精度な部品を採用し精密な搬送機構を搭載しているが、プリント品質に対する要求は厳しくさらなる精度向上が望まれている。一方ではコストに対する要求も厳しく、高精度化と低コスト化の両立が求められている。
【0003】
これに対処するため、メディアの移動を高精度に検出して、フィードバック制御により安定した搬送を実現するために、メディアの表面を撮像して、搬送されるメディアの移動を画像処理によって検出する試みがなされている。
【0004】
特許文献1は、このメディアの移動検出についての一手法を開示する。特許文献1は、移動するメディアの表面をイメージセンサにより時系列に複数回撮像し、得られた画像同士をパターンマッチング処理で比較して、メディアの移動量を検出するものである。以下、物体の表面を直接検出して移動状態を検出する方式をダイレクトセンシング、この方式を用いた検出器をダイレクトセンサと称する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2007−217176号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ダイレクトセンシングによる移動検出では、メディアの表面が光学的に十分に識別でき、固有のパターンが明瞭である必要がある。しかし、本願出願人は以下に示すような条件下ではパターンマッチング精度劣化を生じる場合があることを見出した。
【0007】
第1画像(基準画像)において切り出すテンプレートパターンが固定位置であると、以下に列挙する問題が生じ得る。
【0008】
(1)図12は多数のマーカがランダムに刻印されている搬送ベルトの移動を検出する形態の例である。図12の(a)のように第1画像のテンプレートパターン内に特徴的なマーカが多く含まれる場合は、パターンマッチングにより第2画像から同じ画像を識別することが容易である。しかし、図12の(b)のように、テンプレートパターンにマーカが1つしか入らず大部分は一様であると、第2画像において別のマーカの部分を誤検出してしまう畏れがある。この現象は、マーカの刻印密度が低くまばらである場合や、マーカに比べて大きな傷が付いている場合などに起きやすい。また、搬送ベルトではなくブランクのメディアの表面を撮像する形態においても同じ現象が起きやすい。
【0009】
(2)表面凹凸の激しいメディアの表面を撮像する場合には、凹凸によって照明領域の一部照度ムラが生じたり、凹凸によって照明光が正反射を起こして撮像画像のコントラストが低下して、テンプレートパターンとして適切に使用できなくなる可能性がある。また、光源やイメージセンサの経年劣化で、照明領域に照度ムラが生じたりセンサの一部領域の光電変換が正常に行われなくなったりする場合も同様に、パターンマッチングの精度劣化の要因となり得る。
【0010】
(3)図12の(c)のように、イメージセンサ上に付いたゴミをテンプレートパターンが含んでしまった場合。被写体が移動してもゴミの像は画像上で移動しないため、パターンマッチングの精度劣化の要因となり得る。
【0011】
(4)レンズを用いてイメージセンサ上に結像する場合、図12の(d)のように、レンズの光学特性上起きてしまう像歪みの影響でテンプレートパターン内のマーカに歪みが生じる。とくに屈折率分布レンズを使用した際に像歪みが顕著であり、パターンマッチングの精度低下の要因となり得る。
【0012】
本発明は、以上のように固定した位置でテンプレートパターンを切り出すとパターンマッチングの精度が劣化する場合がある、という課題の認識をもとになされたものである。本発明の目的は、画像データからテンプレートパターンを切り出す位置を適切に可変設定することができる手法の提供である。
【課題を解決するための手段】
【0013】
上述の課題を解決する本発明の位置検出装置は、移動する物体の表面を撮像して、異なるタイミングで第1画像データおよび第2画像データを取得するのに用いられるイメージセンサと、前記第1画像データからテンプレートパターンを切り出し、前記第2画像データの中で前記テンプレートパターンと相関が大きい領域をサーチすることで、前記物体の移動状態を求める処理部とを有し、前記処理部は、前記第1画像データを解析して前記テンプレートパターンを切り出す位置を可変に設定する第1処理、ならびに、前記第1画像データと前記第1画像データの後で且つ前記第2画像データよりも先に取得した第3画像データとを解析して前記テンプレートパターンを切り出す位置を可変に設定する第2処理、の少なくとも一方の処理を行なうことが可能であることを特徴とする。
【発明の効果】
【0014】
本発明によれば、画像データからテンプレートパターンを切り出す位置を適切に可変設定することで、パターンマッチングの精度劣化を抑制することができ、ひいては安定した精度での物体の移動検出が可能となる。
【図面の簡単な説明】
【0015】
【図1】本発明の実施形態のプリンタの断面図
【図2】変形例のプリンタの断面図
【図3】プリンタのシステムブロック図
【図4】ダイレクトセンサの構成図
【図5】メディアの給送、記録、排出の動作シーケンスを示すフローチャート図
【図6】メディアを搬送する動作シーケンスを示すフローチャート図
【図7】パターンマッチングで移動量を求める処理を説明するための図
【図8】相関値テーブルを三次元グラフで視覚化した図
【図9】テンプレートパターンを選定する手順の4つの例を示すフローチャート図
【図10】画像評価値を用いた絞り込みの手順を示すフローチャート図
【図11】テーブル評価値を用いた絞り込みの手順を示すフローチャート図
【図12】発明の課題を説明するための図
【発明を実施するための形態】
【0016】
以下に図面を参照して、本発明の好適な実施の形態を例示する。ただし、例示する実施の形態に記載されている構成要素はあくまで例示であり、本発明の範囲を限定する主旨のものではない。
【0017】
本発明の適用範囲は、プリンタを始めとして、物体の移動を高精度に検出することが要求される移動検出の分野に広く渡る。例えば、プリンタ、スキャナ等の機器や、物体を搬送して検査、読取、加工、マーキング等の各種の処理を施す、工業分野、産業分野、物流分野などで使用する機器に適用可能である。また、本発明をプリンタに適用する場合は、インクジェット方式、電子写真方式、サーマル方式、ドットインパクト方式などの様々な方式のプリンタに適用可能である。なお、本明細書において、メディアとは、紙、プラスチックシート、フィルム、ガラス、セラミック、樹脂等のシート状あるいは板状の媒体をいう。また、本明細書において上流・下流とは、シートに画像記録を行なう際のシートの搬送方向を基準とした上流・下流を意味するものとする。
【0018】
以下に、記録装置の一例であるインクジェット方式のプリンタの実施形態を説明する。本実施形態のプリンタは、プリントヘッドの往復移動(主走査)とメディアの所定量のステップ送り(副走査)とを交互に行なって二次元画像を形成する、いわゆるシリアルプリンタである。なお、本発明は、シリアルプリンタに限らず、プリント幅をカバーする長尺ライン型プリントヘッドを持ち、固定されたプリントヘッドに対してメディアが移動して二次元画像を形成する、いわゆるラインプリンタにも適用可能である。
【0019】
図1はプリンタの主要部の構成を示す断面図である。プリンタは、メディアをベルト搬送系によって副走査方向(第1方向、所定方向)に移動させる搬送機構と、移動するメディアに対してプリントヘッドを用いて記録を行なう記録部とを有する。プリンタは更に、物体の移動状態を間接的に検出するエンコーダ133と、物体の移動状態を直接的に検出するダイレクトセンサ134を有する。
【0020】
搬送機構は、回転体である第1ローラ202、第2ローラ203、およびこれらローラの間に所定のテンションで掛けられた幅広の搬送ベルト205を有する。メディア206は搬送ベルト205の表面に静電力等による吸着もしくは粘着によって密着して、搬送ベルト205の移動に伴なって搬送される。副走査のための駆動源である搬送モータ171の回転力は駆動ベルト172によって駆動ローラである第1ローラ202に伝達され、第1ローラ202が回転する。第1ローラ202と第2ローラ203は搬送ベルト205によって同期回転する。搬送機構は更に、トレイ208の上に積載されたメディア207を一枚ずる分離して搬送ベルト205の上に給送するための給送ローラ209と、これを駆動する給送モータ161(図1では不図示)を有する。給送モータ161の下流設けられたペーパーエンドセンサ132は、メディア搬送のタイミングを取得するためにメディアの先端又は後端を検出するものである。
【0021】
ロータリ式のエンコーダ133(回転角センサ)は、第1ローラ202の回転状態を検出して、搬送ベルト205の移動状態を間接的に取得するのに用いられる。エンコーダ133はフォトインタラプタを備え、第1ローラ202と同軸に取り付けられたコードホイール204の円周に沿って刻まれている等間隔のスリットを光学的に読み取って、パルス信号を生成する。
【0022】
ダイレクトセンサ134は、搬送ベルト205の下方(メディア206の載置面とは反対の裏面側)に設置されている。ダイレクトセンサ134は、搬送ベルト205の面にマーキングされたマーカーを含む領域を撮像するイメージセンサ(撮像デバイス)を備える。ダイレクトセンサ134は、搬送ベルト205の移動状態を後述する画像処理によって直接的に検出するものである。搬送ベルト205に対してメディア206は面同士で強固に密着しているので、ベルト表面とメディアとの間での滑りによる相対位置変動は無視できるほど小さい。そのため、ダイレクトセンサ134はメディアの移動状態を直接的に検出するのと等価とみなすことができる。なお、ダイレクトセンサ134は、搬送ベルト205の裏面を撮像する形態には限定されず、搬送ベルト205の表面のメディア206で覆われない領域を撮像するようにしてもよい。また、ダイレクトセンサ134は、被写体として搬送ベルト205ではなくメディア206の表面を撮像するものであってもよい。
【0023】
記録部は、主走査方向に往復移動するキャリッジ212と、これに搭載されたプリントヘッド213及びインクタンク211を有する。キャリッジ212は主走査モータ151(図1では不図示)の駆動力によって主走査方向(第2方向)に往復移動する。この移動に同期してプリントヘッド213のノズルからインクを吐出して、メディア206上にプリントする。プリントヘッド213とインクタンク211は一体化してキャリッジ212に対して着脱されるものであっても、別体として個別にキャリッジ212に対して着脱されるものであってもよい。プリントヘッド213はインクジェット方式によりインクを吐出するものであり、その方式は発熱素子を用いた方式、ピエゾ素子を用いた方式、静電素子を用いた方式、MEMS素子を用いた方式などを採用することができる。
【0024】
なお、搬送機構はベルト搬送系には限定されず、変形例として、搬送ベルトを用いずに搬送ローラによってメディアを搬送させる機構を有するものであってもよい。図2は変形例のプリンタの断面図を示す。図1の部材と同一の符号を付したものは同一の部材を示す。第1ローラ202と第2ローラ203が直接メディア206に接して、メディアを移動させる。第1ローラ202と第2ローラ203の間には不図示の同期ベルトが掛けられて、第1ローラの回転に同期して第2ローラが回転するようになっている。この形態では、ダイレクトセンサ134が撮像する被写体は搬送ベルト205ではなくメディア206であり、ダイレクトセンサ134はメディア206の裏面側を撮像する。
【0025】
図3はプリンタのシステムブロック図である。コントローラ100は、CPU101、ROM102、RAM103を有する。コントローラ100は、プリンタ全体の各種制御や画像処理等を司る制御部と処理部とを兼ね備える。情報処理装置110は、コンピュータ、デジタルカメラ、TV、携帯電話機など、メディアに記録するための画像データを供給する装置であり、インターフェース111を通してコントローラ100と接続される。操作部120は操作者とのユーザーインターフェースであり、電源スイッチを含む各種入力スイッチ121と表示器122を備える。センサ部130はプリンタの各種状態を検出するためのセンサ群である。ホームポジションセンサ131は往復移動するキャリッジ212のホームポジションを検出する。センサ部130は、上述したペーパーエンドセンサ132、エンコーダ133、およびダイレクトセンサ134を備える。これらの各センサはコントローラ100に接続されている。コントローラ100の指令に基づいて、ドライバを介してプリントヘッドやプリンタの各種モータが駆動される。ヘッドドライバ140は記録データに応じてプリントヘッド213を駆動する。モータドライバ150は主走査モータ151を駆動する。モータドライバ160は給送モータ161を駆動する。モータドライバ170は副走査のための搬送モータ171を駆動する。
【0026】
図4はダイレクトセンシングを行うためのダイレクトセンサ134の構成図である。ダイレクトセンサ134は、LED、OLED、半導体レーザ等の光源301を含む発光部、イメージセンサ302と屈折率分布レンズアレイ303を含む受光部、及び駆動回路やA/D変換回路などの回路部304を1つのセンサユニットとしたものである。光源301によって撮像対象である搬送ベルト205の裏面側の一部を照明する。イメージセンサ302は屈折率分布レンズアレイ303を介して照明された所定の撮像領域を撮像する。イメージセンサはCCDイメージセンサやCMOSイメージセンサなどの二次元エリアセンサ又はラインセンサである。イメージセンサ302の信号はA/D変換されデジタル画像データとして取り込まれる。イメージセンサ302は、物体(搬送ベルト205)の表面を撮像して異なるタイミングで複数の画像データ(連続して取得したものを、第1画像データ、第2画像データという)を取得するのに用いられる。そして後述するように、第1画像データからテンプレートパターンを切り出し、前記第2画像データの中で前記テンプレートパターンと相関が大きい領域を画像処理でサーチすることで、物体の移動状態を求めることができる。画像処理を行なう処理部はコントローラ100であってもよいし、ダイレクトセンサ134のユニットに処理部を内蔵するようにしてもよい。
【0027】
図5はメディアの給送、記録、排出の一連の動作シーケンスを示すフローチャート図である。これらの動作シーケンスはコントローラ100の指令に基づいてなされる。ステップS501では、給送モータ161を駆動して給送ローラ209によってトレイ208上のメディア207を1枚ずつ分離して搬送経路に沿って給送する。ペーパーエンドセンサ132が給送中のメディア206の先頭を検出すると、この検出タイミングに基づいてメディアの頭出し動作を行なって所定の記録開始位置まで搬送する。
【0028】
ステップS502では、搬送ベルト205を用いてメディアを所定量ずつステップ送りする。所定量とは1バンド(プリントヘッドの1回の主走査)の記録における副走査方向における長さである。例えば、プリントヘッド213の副走査方向におけるノズル列幅の半分ずつ送りながら2回ずつ重ねてマルチパス記録を行なう場合は、所定量はノズル列幅の半分の長さとなる。
【0029】
ステップS503では、キャリッジ212によってプリントヘッド213を主走査方向に移動させながら、1バンド分の記録を行なう。ステップS504では、すべての記録データの記録が終了したかを判断する。未記録の残りがある場合(NO)は、ステップS502に戻って副走査のステップ送りと主走査の1分の記録を繰りかえす。全ての記録が終了してステップS504の判断がYESになったら、ステップS505に移行する。ステップS505ではメディア206を記録部から排出する。こうして1枚のメディア206に二次元の画像が形成される。
【0030】
図6のフローチャート図を用いて、ステップS502のステップ送りの動作シーケンスについて更に詳細に説明する。ステップS601では、ダイレクトセンサ134のイメージセンサで搬送ベルト205のマーカーを含む領域を撮像する。取得した画像データは、移動開始前の搬送ベルトの位置を示すものであり、RAM103に記憶される。ステップS602では、エンコーダ133でローラ202の回転状態をモニタしながら搬送モータ171を駆動して搬送ベルト205の移動、すなわちメディア206の搬送制御を開始する。目標とする搬送量だけメディア206を搬送するようにコントローラ100がサーボ制御を行う。このエンコーダを用いた搬送制御と並行して、ステップS603以降の処理を実行する。
【0031】
ステップS603では、ダイレクトセンサ134でベルトを撮像する。撮像のタイミングについては、1バンド分の記録をするための目標とするメディア搬送量(以後、目標搬送量という)、イメージセンサの第1方向における幅、および搬送速度などによって予め決められた搬送量を搬送したと推定されるタイミングで撮像する。本例では、予め決められた搬送量を搬送した時点でエンコーダ133が検出するであろうコードホイール204の特定のスリットを指定しておき、そのスリットをエンコーダ133が検出したタイミングで撮像を開始する。このステップS603の更なる詳細については後述する。
【0032】
ステップS604では、直前にステップS603で撮像した第2画像データと、そのひとつ前に撮像した第1画像データとの間で、どれだけの距離だけ搬送ベルト205が移動したかを画像処理によって検出する。移動量検出を処理の詳細については後述する。目標搬送量に応じて決められた回数だけ所定のインターバルで撮像を行なう。ステップS605では、決められた回数の撮像を終了したか否かを判断する。終了してない場合(NO)はステップS603に戻って終了するまで処理を繰り返す。決められた回数だけ繰返し搬送量を検出する毎に搬送量を累計していき、最初にステップS601で撮像したタイミングからの1バンド分の搬送量を求める。ステップS606では、1バンド分の、ダイレクトセンサ134で取得した搬送量とエンコーダ133から取得した搬送量の差分を計算する。エンコーダ133は間接的な搬送量の検出であり、ダイレクトセンサ134による直接的な搬送量の検出に較べて検出精度に劣る。従って、上述の差分はエンコーダ133の検出誤差とみなすことができる。
【0033】
ステップS607では、ステップS606で求めたエンコーダの誤差分だけ搬送制御に補正を与える。補正には、搬送制御の現在の位置情報を誤差分だけ増減して補正する方法、目標搬送量を誤差分だけ増減して補正する方法があり、いずれの方法を採用してもよい。こうしてフィードバック制御により目標搬送量までメディア206を正確に搬送して1バンド分の搬送が完了する。
【0034】
図7は、上述のステップS604の処理の詳細を説明するための図である。図7(a)において、ダイレクトセンサ134の撮像で取得された搬送ベルト205の第1画像データ700、第2画像データ701が模式的に示されている。第1画像データ700、第2画像データ701の中で黒点で示される多数のパターン702(明暗の階調差がある部分)は搬送ベルト205にランダム又は所定の規則に基づいて付与された多数のマーカーの像である。なお、図2に示した装置のように被写体がメディアの場合には、メディア表面の微視的なパターン(紙の繊維パターンなど)が同等の役割を果たす。第1画像データ700に対して、上流側の位置にテンプレートパターン703を設定して、この部分の画像を切り出す。第2画像データ701を取得したら、切り出したテンプレートパターン703と類似のパターンが、第2画像データ701のどこに位置するかをサーチする。サーチはパターンマッチングの手法により行なう。類似度を判定するアルゴリズムは、SSD(Sum of Squared Difference)、SAD(Sum of Absolute Difference)、NCC(Normalized Cross−Correlation)等が知られる。いずれを採用してもよい。この例では最も類似するパターンが領域704に位置している。第1画像データ700におけるテンプレートパターン703と第2画像データ701における領域704との副走査方向における撮像デバイスの画素数の差分を求める。そして、この差分画素数に1画素に対応した距離を掛けることで、この間の移動量(搬送量)を求めることができる。
【0035】
本実施形態においては、図7(b)に示すように第1画像データ700に対して、テンプレートパターンの切り出すための複数位置のテンプレート候補を設定し、候補の中から適切なものを選定する。テンプレート候補とは、第1画像データ内の部分画像で、テンプレートパターンの候補となっている個々の画像である。すなわち、選定を始める段階で複数あるテンプレート候補を選定の過程で絞り込み、最終的に1つ選び出した時点で、そのテンプレート候補がテンプレートパターンとなり、テンプレートマッチングを用いた移動量検出に用いられる。また、1回以上絞り込みを行った段階におけるテンプレート候補という言葉は、まだ除外されずに残っている画像のみを指すものとする。
【0036】
<テンプレートパターン選定の流れ>
最良のテンプレート位置を求めるには、テンプレート候補を第1画像データ中に最大数に設定し、第2画像データに対して全点で相関をとり、その全ての中で相関値が最大となるテンプレートを設定すれば可能である。しかし、より高性能(高速搬送、高スループット)と低コストの両立が求められる記録装置においては、そのような膨大な計算を瞬時に行なうためのハードウェア資源は現実的ではなく、少ない計算量で好ましいテンプレートパターンをいかに設定するか課題となる。
【0037】
本実施形態では、テンプレートパターンの位置の決定には第2画像データを用いずに、第2画像データを取得したら直ちにパターンマッチングの処理を開始することで、高速搬送、高スループットに対応するものである。第1画像データを取得したら次の第2画像データを取得するまでの間にテンプレートパターンを設定し終わるようにする。
【0038】
図9(a)〜図9(d)は、テンプレートパターンを選定する手順の4つの例を示すフローチャート図である。画像評価値を用いた絞り込み、テーブル評価値を用いた絞り込みの2種の選定方法を基本として、この組み合わせによって場合分けしたものである。どれも最初に、テンプレート候補の設定を行う点は共通している。本実施例の装置では、4つのうちのいずれかの方法を実行することができるようになっている。
【0039】
図9(a)のケース1の方法では、画像評価値を用いた絞り込み処理だけで選定を完了する。画像評価値を用いた絞り込み処理の詳細については後述する。ステップS900で初期テンプレート候補を複数設定する。設定の仕方については後述する。そして、ステップ901で複数の候補の中から、画像評価値を用いた絞り込み処理を1回行なって適切なテンプレートを決定する。この方法は、高速搬送で非常に短時間での処理が求められる場合やコントローラのハードウェア資源(CPUの演算能力やRAMの容量など)が小さい場合に有効である。
【0040】
図9(b)のケース2の方法では、テーブル評価値を用いた絞り込み処理だけで選定を完了する。テーブル評価値を用いた絞り込み処理の詳細については後述する。ステップS900で上記と同様に初期テンプレート候補を複数設定したら、ステップ902でテーブル評価値を用いた絞り込み処理を1回行なって適切なテンプレートを決定する。この方法は、第1画像データ撮像後から第2画像データ撮像までの間に別の画像を撮像し、第3画像データを取得する。そのため、図9(a)のケースに較べると高速対応の面では劣るが、画像評価値では判断し切れない種々の不確定要因、未知の誤差要因も込みでの評価を行なうことで、より高精度なテンプレートパターンの設定が可能となる。例えば、先に図12で述べたゴミの付着や屈折率分布レンズによる像歪みの影響は実際に相関をとってテーブル評価値で判断する方が好ましい。
【0041】
図9(c)のケース3の方法では、画像評価を用いた絞り込み処理を行った後にテーブル評価値を用いた絞り込みを行なって選定を完了する。ステップS900で上記と同様に初期テンプレート候補を複数設定する。ステップ901で画像評価値を用いた絞り込み処理1回行ない、次いでステップS902でテーブル評価値を用いた絞り込み処理を行なって、適切なテンプレートを決定する。この方法は、2種類の選定方法の特徴を相補的に組み合わせたものである。画像評価値を用いて予め不適なテンプレート候補を除外する排除してからテーブル評価値を用いて絞り込むことが有効な場合がある。ケース2よりも短時間に処理が完了することもある。例えば、照射光が正反射して白い領域が写り込みその部分をテンプレートパターンとすると、白のマーカーが集中する領域との相関が高く出てしまうような場合である。その他、シートの表面を直接撮像する場合のように特徴点が少ないときには、事前に画像評価値で多くのテンプレート候補を除外することができる。
【0042】
図9(d)のケース4の方法では、テーブル評価値を用いた絞り込みを第3画像データの撮像を複数回行いながら繰り返す。ステップS900で上記と同様に初期テンプレート候補を複数設定する。ステップ902ではテーブル評価値を用いた絞り込み処理を行なって、これをステップS903で終了条件となるまで繰り返すことで、適切なテンプレートを決定する。ステップS903の終了条件は、規定の回数で終わらせることとしてもよいし、各回は閾値以上の候補を残してそれを繰り返して候補数が規定の個数以下となった時点で終わるようにしてもよい。この方法は、最も時間を要するので高速化には向かないが、偶然に左右されず最も安定したテンプレートパターンを選ぶことができる。
【0043】
一般には、演算量・演算時間とテンプレートパターンの選定精度とはトレードオフの関係となる。以上のケース1からケース4までを比較すると、演算量・演算時間は前者ほど小さく、テンプレートパターンの選定精度は後者ほど優れている。コントローラのハードウェア資源や記録装置に要求される高速性によって、ケース1からケース4の中から適切な選定方法を用いればよい。
【0044】
<初期テンプレート候補の設定>
図9のステップS900での初期テンプレート候補の設定手法について説明する。例えば、図7(b)のように、第1画像データ700の上流側に、矩形形状のパターンを主走査及び副走査の方向に僅かにずらしながら複数個(例えば20個程度)の候補として設定する。これら複数位置のテンプレート候補は、矩形のサイズやアスペクトが一定のものに限らず、異なるサイズやアスペクトで混在して設定するようにしてもよい。ここでは、各テンプレート候補はその位置を第1画像データ内の座標として保持して、情報記憶に必要なメモリ容量を少なくしている。
【0045】
テンプレートの最良位置が候補が含まれるようにするには、1ピクセルずつずらしながら多数設定すればよい。ただし、その場合はパターンマッチングの計算量が膨大になるので、現実には数ピクセル〜数十ピクセルずつずらしながら、最大20個ほど候補を設定すればよい。候補の数については、コントローラの処理能力との兼ね合いで決める。また、キャリブレーション等により、事前にテンプレートパターンとしては不適な領域が分かっている場合には、その領域は外してテンプレート候補を設定する。
【0046】
<画像評価値を用いた絞り込み>
図9のステップS901での画像評価値を用いた絞り込みについて、図10のフローチャートを用いて説明する。画像評価値を用いた絞り込みは、第1画像データを解析してテンプレートパターンを切り出す位置を可変に設定する処理(第1処理という)である。
【0047】
ステップS1001では、コントローラのCPUにおいて、テンプレート候補の中から、まだ画像評価値を算出していないものを1つ選択する。
【0048】
ステップS1002では、選択したテンプレート候補の画像データをRAMから読み出す。各テンプレート候補の位置が第1画像データ内の座標として保持している場合には、規定のサイズとアスペクトで第1画像データから切り出してテンプレート候補の画像データを取得する。そして、この画像データを用いて所定の画像評価値を算出する。画像評価値とはテンプレート候補画像の画像データのみから評価される値であり、その値が大きいほどテンプレート候補としては優れていると判断する。ここではテンプレート候補画像の「画像コントラスト」で画像評価を行ない、コントラスト値が高いほど候補としての順位を上にする。あるいは、画像内にマーカがいくつ含まれるかを検出して画像評価値としてもよい。また、これら複数の評価項目を総合して1つの画像評価値としてもよい。求めた画像評価値はRAMやレジスタに一時記憶する。
【0049】
ステップS1003では、複数の候補の個々のテンプレート候補画像それぞれについて上述の画像評価値を算出すべく、すべての候補で算出するまで処理を繰り返す。
【0050】
ステップS1004では、こうして求めた各画像の画像評価値を元に、所定の基準でテンプレート候補を絞り込む。図9(a)のケース1においては、画像評価値が最も大きいものを1つ選択する。図9(c)のケース3においては、画像評価値が所定の閾値を超えるものに絞り込んだり、画像評価値が大きいものから順に所定の個数を選択して、次のステップS902に引き渡す。
【0051】
<テーブル評価値を用いた絞り込み>
図9のステップS902におけるテーブル評価値を用いた絞り込みについて、図11(a)のフローチャートを用いて説明する。このテーブル評価値を用いた絞り込みは、第1画像データと、第1画像データの後で且つ第2画像データよりも先に取得した第3画像データを用い両者の関係を解析して、テンプレートパターンを切り出す位置を可変に設定する処理(第2処理という)である。
【0052】
ステップS1101では、選定用画像データ(第3画像データという)を撮像によって取得する。第3画像データは、テンプレート候補に自身の部分画像と相関をとられる画像データである。この第3画像データは、第1画像データや第2画像データのときと同じイメージセンサを用いて同一の被写体を撮像して取得する。第3画像データの取得のタイミングは、第1画像データ取得のための撮像の後、且つ第2画像データ取得のための撮像の前である。なお、第1画像データを第3画像データとして用いることもできる。
【0053】
ステップS1102では、ステップS1101で取得した第3画像データに対して、複数位置のテンプレート候補それぞれについて相関をとり相関値テーブルを作成する。相関値テーブルは、テンプレート候補が第3画像データに対して位置をずらしながら相関をとって得た相関値の1次元的又は2次元的集まりである。相関のとり方は、実際の移動量検出において第2画像データに対してテンプレートパターンで位置をずらしながら相関をとるのと同様のアルゴリズムで行なう。図8は作成した相関値テーブルを三次元グラフで可視化したものである。座標(x,y)は、テンプレート候補を第3画像データ内のどの位置に重ね合わせて相関をとったかに対応している。例えば、テンプレート候補の矩形の左上を第3画像データの座標(20,60)に重ねる形で相関をとった相関値が0.5であれば、相関値テーブルの(20,60)の値を0.5とする。
【0054】
ステップS1103では、各相関値テーブルに対してそれぞれテーブル評価値を算出する。そして算出したテーブル評価値に基づいてテンプレート候補の絞り込みを行う。テーブル評価値は、相関値テーブルのみから定まりその相関値テーブルの元となったテンプレート候補がテンプレートパターンとして適しているかどうかの基準となる値である。つまり、テーブル評価値は、その相関値テーブルが生成される元となったテンプレート候補の候補としての良し悪しを評価する評価指標である。“相関値テーブルがこのような特徴をもつ場合には概して精度の高い移動量検出ができる”という経験的なものから定めたものである。例えば、“相関がある”、“相関がない(あるいは逆相関)”がはっきりしているほど正しい移動量検出ができる、という観点で、相関値テーブル内の全相関値の分散をテーブル評価値とする。相関値の最大値をテーブル評価値としてもよく、また、分散と最大値の積をテーブル評価値としてもよい。あるいは、相関値テーブルのグラフ形状を元にしてテーブル評価値を与えてもよい。例えば、被写体ブレの生じるy方向に比べてその影響が小さいx方向に特定の周波数が強く出るようなテンプレートでは移動量検出の精度高いという傾向が見出せる場合には、x方向のデータ列に対して離散フーリエ変換を施し、これをテーブル評価値としてもよい。
【0055】
ステップS1104では、全ての項目で絞り込みを終えるまでループして絞込み処理を繰り返す。例えば、分散がある閾値以上で且つ相関値の最大がある閾値以上という複数の項目での絞り込みを行なう場合に、相関値テーブルを再利用してテーブル評価値の再計算を行なう。なお、1つのテーブル評価値で絞り込む場合にはステップS1104ではループをせずに終了する。
【0056】
図11(a)のステップS1102とステップS1103についてさらに説明する。
【0057】
図11(b)に示すフローチャートは、ステップS1102の詳細な手順を示す。ステップS1111では、まだ相関値テーブルを作成していない未作成のテンプレート候補を選択する。ステップS1112では、選択したテンプレート候補に対して、第3画像データの中で相関をとって相関値テーブルを作成する限定された領域を決定する。具体的には、搬送機構が有するエンコーダ133で検出される回転状態から、第1画像データと第3画像データの間での移動量の大まかな値を得て、これにマージンを見込んだ領域を限定して領域設定する。テンプレート候補の画像に対応するであろう領域近辺に、相関値テーブル作成の領域を限定することで、より純度の高いデータとすることができる。加えて、領域を限定することで相関をとる回数(演算量)を減らすことができる。なお、全体的な相関値テーブルの傾向からテーブル評価値を出したい場合には、ステップS1112は省略しても構わない。ステップS1113では、ステップS1112で限定した第3画像データの領域に対して、テンプレート候補画像との相関をとり、相関値テーブルを作成する。その結果はRAMに記憶する。ステップS1114では、テンプレート候補全てに対して相関値テーブルを作成するまでループして以上の処理を繰り返す。
【0058】
図11(c)に示すフローチャートは、ステップS1103の詳細な手順を示す。ステップS1121では、まだテーブル評価値を算出していない未計算の相関値テーブルを選択する。ステップS1122では、選択した相関値テーブルに対して所定のテーブル評価値を算出する。テーブル評価値については先に例示したものを用いる。ステップS1123では、全てのテンプレート候補の相関値テーブルに対してテーブル評価値を作成するまでループして以上の処理を繰り返す。ステップS1124では、ステップS1122で算出したテーブル評価値を元に、所定の基準でテンプレート候補を絞り込む。テーブル評価値が所定の閾値を超えるテンプレート候補のみ残すという形で絞り込みを行ってもよいし、テーブル評価値の上位から所定の個数だけを選別するようにしてもよい。図9(b)、図9(c)のケースでは、最もテーブル評価値の高いテンプレート候補ひとつをテンプレートパターンして処理を終了する。
【0059】
テーブル評価値を用いた絞り込みは、第1画像データと第2画像データとでパターンマッチングを行なう移動検出と同様のアルゴリズムで行なう。そのため、ハードウェア資源をそのまま流用することができる。また、画像評価値では判断し切れない種々の不確定要因、未知の誤差要因も込みでの評価を行なうことができる。
【0060】
このように、第1画像データを解析してテンプレートパターンを切り出す位置を可変に設定する第1処理、ならびに第1画像データと第3画像データの関係を解析してテンプレートパターンを切り出す位置を可変に設定する第2処理の少なくとも一方の処理を行なう。画像データからテンプレートパターンを切り出す位置を適切に可変設定することで、パターンマッチングの精度劣化を抑制することができ、ひいては安定した精度での物体の移動検出が可能となる。
【符号の説明】
【0061】
134 ダイレクトセンサ
171 モータ
202 第1ローラ
203 第2ローラ
205 搬送ベルト
206 メディア
211 インクタンク
212 キャリッジ
213 プリントヘッド

【特許請求の範囲】
【請求項1】
移動する物体の表面を撮像して、異なるタイミングで第1画像データおよび第2画像データを取得するのに用いられるイメージセンサと、
前記第1画像データからテンプレートパターンを切り出し、前記第2画像データの中で前記テンプレートパターンと相関が大きい領域をサーチすることで、前記物体の移動状態を求める処理部と、を有し、
前記処理部は、前記第1画像データを解析して前記テンプレートパターンを切り出す位置を可変に設定する第1処理、ならびに、前記第1画像データと前記第1画像データの後で且つ前記第2画像データよりも先に取得した第3画像データとの関係を解析して前記テンプレートパターンを切り出す位置を可変に設定する第2処理、の少なくとも一方の処理を行なうことが可能であることを特徴とする移動検出装置。
【請求項2】
移動する物体の表面を撮像して、異なるタイミングで第1画像データおよび第2画像データを取得するのに用いられるイメージセンサと、
前記第1画像データからテンプレートパターンを切り出し、前記第2画像データの中で前記テンプレートパターンと相関が大きい領域をサーチすることで、前記物体の移動状態を求める処理部と、を有し、
前記処理部は、前記第1画像データと、前記第1画像データの後で且つ前記第2画像データよりも先に取得した第3画像データとの関係を解析して前記テンプレートパターンを切り出す位置を可変に設定する処理を行なうことが可能であることを特徴とする移動検出装置。
【請求項3】
前記処理部は、前記第1処理として、前記第1画像データの中の複数位置のテンプレート候補の中で、画像のコントラスト値が他よりも高いテンプレート候補を前記テンプレートパターンとして選定することを特徴とする、請求項1記載の移動検出装置。
【請求項4】
前記処理部は、前記第1画像データの中の複数位置のテンプレート候補に対して前記第3画像データに対する相関値の相関値テーブルを作成し、前記相関値テーブルに対して所定のテーブル評価値を算出し、前記テーブル評価値を基準として前記テンプレートパターンを選定することを特徴とする、請求項1又は2記載の移動検出装置。
【請求項5】
前記処理部は、前記相関値テーブル内の相関値の分散、又は前記相関値の最大値を前記テーブル評価値とすることを特徴とする、請求項4記載の移動検出装置。
【請求項6】
前記物体を移動させる搬送機構と、前記搬送機構が有する回転体の回転状態を検出するエンコーダとを更に有し、
前記処理部は、前記相関値テーブルを作成する際に、前記エンコーダでの検出に基づいて前記第3画像データにおいて相関をとる範囲を限定することを特徴とする、請求項4又は5記載の移動検出装置。
【請求項7】
前記処理部は、前記第1画像データを取得した後で且つ前記第2画像データを取得する前に前記前記テンプレートパターンを切り出す位置を設定することを特徴とする、請求項1から6のいずれか記載の移動検出装置。
【請求項8】
前記物体はメディア又はメディアを搭載して搬送する搬送ベルトであることを特徴とする、請求項1から7のいずれか記載の移動検出装置。
【請求項9】
駆動ローラを有し前記物体を移動させる搬送機構と、前記駆動ローラの回転状態を検出するエンコーダと、前記エンコーダによって検出される前記駆動ローラの回転状態と前記処理部で求められる移動状態とに基づいて前記駆動ローラの駆動を制御する制御部を更に有することを特徴とする、請求項1から8のいずれか記載の移動検出装置。
【請求項10】
請求項1から9のいずれか記載の移動検出装置と、移動する前記物体に記録を行なう記録部を有することを特徴とする記録装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate


【公開番号】特開2011−93242(P2011−93242A)
【公開日】平成23年5月12日(2011.5.12)
【国際特許分類】
【出願番号】特願2009−250829(P2009−250829)
【出願日】平成21年10月30日(2009.10.30)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】