ブレ補正装置、ブレ補正方法及び帳票
【課題】ＰＳＦを用いて画像のブレを補正する場合に、比較的少ない演算量で、かつ、簡易な構成で、かつ、容易な操作で、高精度のブレ補正を行うことができるブレ補正装置を提供すること。
【解決手段】ブレ補正装置１００は、撮影画像からレイアウトマーカを検出するレイアウトマーカ検出部１０２と、ＰＳＦ推定用マーカの位置を求める推定用マーカ位置算出部１０４と、ＰＳＦ推定用マーカの大きさを求める推定用マーカサイズ算出部１０５と、基準となるＰＳＦ推定用マーカ画像を生成する推定用マーカ基準画像生成部１０６と、基準となる推定用マーカ画像とそれに対応する撮影画像中の推定用マーカ画像とを用いてＰＳＦを推定するＰＳＦ算出部１０８と、推定されたＰＳＦを用いて撮影画像のブレを補正するブレ補正部１０９と、を有する。
【解決手段】ブレ補正装置１００は、撮影画像からレイアウトマーカを検出するレイアウトマーカ検出部１０２と、ＰＳＦ推定用マーカの位置を求める推定用マーカ位置算出部１０４と、ＰＳＦ推定用マーカの大きさを求める推定用マーカサイズ算出部１０５と、基準となるＰＳＦ推定用マーカ画像を生成する推定用マーカ基準画像生成部１０６と、基準となる推定用マーカ画像とそれに対応する撮影画像中の推定用マーカ画像とを用いてＰＳＦを推定するＰＳＦ算出部１０８と、推定されたＰＳＦを用いて撮影画像のブレを補正するブレ補正部１０９と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ブレ補正装置、ブレ補正方法及び帳票に関し、特にＰＳＦ（Point Spread Function；点拡がり関数）を用いて画像のブレ（より正確にはブレにより生じた画像のボケ）を補正する技術に関する。
【背景技術】
【０００２】
従来、カメラ付き携帯端末で伝票や領収書等の帳票等を撮影し、撮影画像を画像認識するような装置がある。この種の装置では、撮影時の手ブレ等によって画像ブレが生じるので、画像ブレを補正する機能を有するものが多い。
【０００３】
このような静止画の画像ブレを画像処理によって補正する方法として、ＰＳＦ（Point Spread Function；点拡がり関数）を用いる技術が知られている。ＰＳＦとは、ボケ方を表す関数である。ブレた撮影画像にＰＳＦを逆畳込みすることで、ブレる前の鮮鋭な画像を復元することができる。
【０００４】
ＰＳＦの推定方法として、Blind Deconvolution法がある。Blind Deconvolution法は、鮮鋭な自然画像が有する特徴（勾配分布）を仮定し、この仮定を満たす尤もらしい復元画像とＰＳＦとを、入力画像のみから確率統計的に導出する方法である。Blind Deconvolution法の欠点は、演算量が膨大である点と、推定ＰＳＦの精度が低く、入力画像に対するロバスト性が低い点である。
【０００５】
そこで、付加的なセンサを用いる方法が考えられる。この方法は、カメラにジャイロセンサを付加し、ジャイロセンサを用いて露光期間中のカメラの動き情報を取得することによりブレの軌跡を生成し、このブレの軌跡をＰＳＦとして推定する方法である。
【０００６】
さらに、ＰＳＦを用いた画像ブレの補正方法として、特許文献１で開示された方法がある。その方法は、エッジの理想画像と実写画像とを用いる方法である。その概要を説明する。特許文献１では、据置型指掌紋画像入力装置を対象とし、パターンが既定のエッジ画像を撮影して生成した実エッジデータと、理想エッジ画像から生成した理想エッジデータとから、装置固有のＰＳＦを推定する。次に、推定したＰＳＦを基に、入力指掌紋画像を逆畳込みフィルタで補正することで、装置による個体差の影響のない鮮鋭な画像を得る。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０００−４０１４６号公報
【特許文献２】特開平４−１４９６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、ジャイロセンサなどの外部センサを用いた場合、カメラにセンサを搭載する必要があるので、その分だけ構成が複雑化する欠点がある。また、推定ＰＳＦの誤差が大きくなる（得られるブレの軌跡は線分を連接した形状となり、線の太さ情報がないため実際のＰＳＦとの誤差が大きくなる）といった欠点もある。
【０００９】
また、特許文献１で開示された技術は、撮影対象とカメラの位置関係を固定する必要があるため、手持ちカメラのブレ補正には適用が困難な欠点がある。また、パターンがエッジに限定されている実エッジ画像の撮影を前提としているので、そのためのユーザ操作が必要であり、また、本撮影とは別に、ＰＳＦ推定のための撮影ステップが必要である。よって、撮影に手間がかかる欠点がある。
【００１０】
本発明は、以上の点を考慮してなされたものであり、ＰＳＦを用いて画像のブレを補正する場合に、比較的少ない演算量で、かつ、簡易な構成で、かつ、容易な操作で、高精度のブレ補正を行うことができるブレ補正装置、ブレ補正方法及び帳票を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明のブレ補正装置の一つの態様は、レイアウトマーカとＰＳＦ推定用マーカとが含まれる撮影画像を入力する画像入力部と、前記撮影画像からレイアウトマーカを検出するレイアウトマーカ検出部と、レイアウトマーカの情報を保持するマーカ情報保持部と、前記レイアウトマーカ検出部によって得られたレイアウトマーカの検出結果と、前記マーカ情報保持部に保持されたレイアウトマーカの情報と、に基づいて、前記ＰＳＦ推定用マーカの位置を求める推定用マーカ位置算出部と、前記レイアウトマーカ検出部によって得られたレイアウトマーカの検出結果と、前記マーカ情報保持部に保持されたレイアウトマーカの情報と、に基づいて、前記ＰＳＦ推定用マーカの大きさを求める推定用マーカサイズ算出部と、前記推定用マーカサイズ算出部によって得られたＰＳＦ推定用マーカの大きさに基づいて、基準となるＰＳＦ推定用マーカ画像を生成する推定用マーカ基準画像生成部と、前記推定用マーカ位置算出部によって得られたＰＳＦ推定用マーカの位置に基づいて、前記推定用マーカ基準画像生成部によって得られた基準となるＰＳＦ推定用マーカ画像と、前記撮影画像中のＰＳＦ推定用マーカの画像と、の位置を対応付ける推定用マーカ位置対応付け部と、前記推定用マーカ位置対応付け部によって対応付けられた、前記基準となるＰＳＦ推定用マーカ画像と、前記撮影画像中のＰＳＦ推定用マーカ画像と、を用いて、ＰＳＦを推定するＰＳＦ推定部と、推定されたＰＳＦを用いて、前記撮影画像のブレを補正するブレ補正部と、を具備する。
【００１２】
本発明のブレ補正方法の一つの態様は、レイアウトマーカとＰＳＦ推定用マーカとが含まれる撮影画像からレイアウトマーカを検出するレイアウトマーカ検出ステップと、検出されたレイアウトマーカを基に、前記ＰＳＦ推定用マーカの位置を求める推定用マーカ位置算出ステップと、検出されたレイアウトマーカを基に、前記ＰＳＦ推定用マーカの大きさを求める推定用マーカサイズ算出ステップと、検出されたＰＳＦ推定用マーカの大きさに基づいて、基準となるＰＳＦ推定用マーカ画像を生成する推定用マーカ基準画像生成ステップと、算出されたＰＳＦ推定用マーカの位置に基づいて、生成された基準となるＰＳＦ推定用マーカ画像と、前記撮影画像中のＰＳＦ推定用マーカの画像と、の位置を対応付ける推定用マーカ位置対応付けステップと、対応付けられた、前記基準となるＰＳＦ推定用マーカ画像と、前記撮影画像中のＰＳＦ推定用マーカ画像と、を用いて、ＰＳＦを推定するＰＳＦ推定ステップと、推定されたＰＳＦを用いて、前記撮影画像のブレを補正するブレ補正ステップと、を含む。
【００１３】
本発明の帳票の一つの態様は、読取枠と、前記読取枠内に設けられた文字記入欄と、前記読取枠内で、かつ、文字記入欄を挟む位置に形成された第１及び第２のレイアウトマーカと、前記読取枠内で、かつ、前記第１及び第２のレイアウトマーカの間に形成されたＰＳＦ推定用マーカと、を有する。
【発明の効果】
【００１４】
本発明によれば、ＰＳＦを用いて画像のブレを補正する場合に、比較的少ない演算量で、かつ、簡易な構成で、かつ、容易な操作で、高精度のブレ補正を行うことができるようになる。
【図面の簡単な説明】
【００１５】
【図１】実施の形態によるブレ補正の様子を示す図
【図２】実施の形態の処理の概要を示す図である
【図３】実施の形態のブレ補正装置の基本構成を示すブロック図
【図４】ブレ補正装置によって行われる処理手順を示すフローチャート
【図５】実施の形態の帳票の構成例を示す図
【図６】推定用マーカ位置算出部によって行われる処理手順を示すフローチャート
【図７】撮影画像から算出するレイアウトマーカ間距離の説明に供する図
【図８】マーカ情報保持部から読み出される、帳票のレイアウト情報を示す図
【図９】推定用マーカサイズ算出部によって行われる処理手順を示すフローチャート
【図１０】マーカ情報保持部から読み出される、ＰＳＦ推定用マーカ情報の説明に供する図
【図１１】推定用マーカ基準画像生成部によって行われる処理手順を示すフローチャート
【図１２】ＰＳＦ推定用マーカの基準画像（マーカ形状が円の場合）の描画例を示す図
【図１３】ＰＳＦ算出部の構成例を示すブロック図
【図１４】変形例によるブレ補正装置によって行われる処理手順を示すフローチャート
【図１５】応用構成１のブレ補正装置を示すブロック図
【図１６】応用構成１のブレ補正装置によって行われる処理手順を示すフローチャート
【図１７】帳票レイアウト座標系で表された代表点の座標情報を示す図
【図１８】ＰＳＦ推定用マーカ領域の算出処理手順を示すフローチャート
【図１９】ＰＳＦ推定用マーカの基準画像の生成処理手順を示すフローチャート
【図２０】マーカ情報保持部から読み出すＰＳＦ推定用マーカ情報を示す図
【図２１】ＰＳＦ推定用マーカの基準画像（マーカ形状が円の場合）の描画例を示す図
【図２２】応用構成２のブレ補正装置を示すブロック図
【図２３】応用構成２で用いられる帳票の構成例を示す図
【図２４】応用構成２のブレ補正装置による処理の様子を示す図
【図２５】応用構成３のブレ補正装置を示すブロック図
【図２６】逆畳込みにより得られる１次元のＰＳＦデータを示す図
【図２７】２次元データに拡張された推定ＰＳＦデータを示す図
【図２８】応用構成３のブレ補正装置によって行われる処理手順を示すフローチャート
【図２９】推定用罫線位置算出処理手順を示すフローチャート
【図３０】マーカ情報保持部から読み出されるレイアウト情報の例を示す図
【図３１】推定用罫線太さ算出処理手順を示すフローチャート
【図３２】推定用罫線断面の基準画像の生成処理手順を示すフローチャート
【図３３】応用構成４で用いる帳票の構成例を示す図
【図３４】応用構成４のブレ補正装置を示すブロック図
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１７】
［１］原理
先ず、本実施の形態の原理について説明する。図１は、本実施の形態によるブレ補正の様子を示す図である。本実施の形態では、図１Ａに示すようなブレ（ボケと言ってもよい）のある静止画から、図１Ｂに示すような鮮鋭な静止画を得る。
【００１８】
図２は、本実施の形態の処理の概要を示す図である。本実施の形態では、撮影対象が帳票である場合を例とする。つまり、撮影画像は帳票を撮影したものである。但し、本実施の形態のブレ補正対象は、帳票の撮影画像に限らない。よって、以下の説明において「帳票」と記載した箇所は、「読取対象」と読み替えてもよい。
【００１９】
本実施の形態では、帳票に以下の加工が施される。
【００２０】
・撮影画像内での位置関係を取得するための既知パターン（レイアウトマーカ）α１、α２が印刷されている。レイアウトマーカα１、α２は、位置の離れた２つのマーカで構成されている。レイアウトマーカα１、α２の形状は、特に限定されるものではないが、カメラによって確実に読み取ることができるようなサイズを有し、かつ、パターン認識がし易い形状であることが好ましい。
【００２１】
・ＰＳＦを推定するための既知パターン（ＰＳＦ推定用マーカ）β１が印刷されている。ＰＳＦ推定用マーカβ１の形状は、特に限定されるものではないが、丸、三角形、四角形、多角形などの閉じた図形であることが好ましい。なお、後述するが、ＰＳＦ推定用マーカβ１は、レイアウトマーカα１、α２で兼用してもよく、読取枠等の罫線で兼用してもよい。
【００２２】
帳票における各マーカの配置例については、後で詳しく説明する（図５）。
【００２３】
次に、ブレ補正処理の概要を説明する。ブレ補正処理は、以下の順で行われる。
＜１＞ 撮影画像からレイアウトマーカα１、α２を検出する。
【００２４】
＜２＞ レイアウトマーカα１、α２の位置から、ＰＳＦ推定用マーカβ１の位置と大きさを導出する。ここで、実際の帳票上での、レイアウトマーカα１、α２とＰＳＦ推定用マーカβ１の位置関係、及び、大きさの関係は、ボケ補正装置において既知であるものとする（つまり、これらの情報はボケ補正装置に予め記憶されている）。
【００２５】
＜３＞ ＰＳＦ推定用マーカβ１が含まれる小領域を撮影画像から切出す。
【００２６】
＜４＞ ＰＳＦ推定用マーカβ１についてのボケの無い画像を、上記＜２＞で導出した情報を基に生成する。ここで、ＰＳＦ推定用マーカβ１の形状は、ボケ補正装置において既知であるものとする（つまり、この情報はボケ補正装置に予め記憶されている）。図２の例では、ＰＳＦ推定用マーカβ１の形状は円であり、その半径の情報は上記＜２＞で得られた情報を用いる。
【００２７】
＜５＞ 上記＜３＞、＜４＞で得たＰＳＦ推定用マーカ画像２枚を用いて、逆畳込み演算を行うことで、ＰＳＦを推定する。
【００２８】
＜６＞ 推定ＰＳＦを用いて、Non-blind法による逆畳込み演算を行うことで、撮影画像全体もしくは関心のある領域画像のブレを補正して、ブレ補正画像を得る。
【００２９】
［２］基本構成
図３に、本実施の形態のブレ補正装置の基本構成を示す。
【００３０】
ブレ補正装置１００は、画像入力部１０１にブレ補正の対象となる画像を入力する。画像入力部１０１は、フレームメモリを有し、図１Ａに示したような帳票類の被写体を撮影した撮影画像を入力し、フレーム単位で格納する。
【００３１】
レイアウトマーカ検出部１０２は、画像入力部１０１に格納された画像から、形状が既定であるレイアウトマーカα１、α２を探索する。レイアウトマーカα１、α２の探索方法としては、パターン検出等の公知の方法を利用すればよい。例えば、テンプレートマッチング、特徴点マッチングによって撮像画像中のレイアウトマーカα１、α２を検出する。
【００３２】
マーカ情報保持部１０３は、レイアウトマーカα１、α２及びＰＳＦ推定用マーカ（以下、ＰＳＦ推定用マーカを単に推定用マーカと呼ぶ）βに関する、大きさ、位置関係、形状などの情報を保持している。
【００３３】
推定用マーカ位置算出部１０４は、レイアウトマーカ検出部１０２によって検出されたレイアウトマーカα１、α２と、マーカ情報保持部１０３によって保持されているマーカ情報とから、推定用マーカβの位置を算出する。この推定用マーカ位置の算出については、後で詳しく説明する。
【００３４】
推定用マーカサイズ算出部１０５は、レイアウトマーカ検出部１０２によって検出されたレイアウトマーカα１、α２と、推定用マーカ位置算出部１０４によって算出された推定用マーカβの位置と、マーカ情報保持部１０３によって保持されているマーカ情報とから、推定用マーカβのサイズを算出する。この推定用マーカサイズの算出については、後で詳しく説明する。
【００３５】
推定用マーカ基準画像生成部１０６は、推定用マーカ位置算出部１０４によって算出された推定用マーカβの位置と、推定用マーカ位置サイズ算出部１０５によって算出された推定用マーカβのサイズと、マーカ情報保持部１０３によって保持されている推定用マーカβの形状とから、推定用マーカβの基準画像を生成する。この推定用マーカβの基準画像生成処理については、後で詳しく説明する。
【００３６】
推定用マーカ位置対応付け部１０７は、推定用マーカ位置算出部１０４によって算出された推定用マーカβの位置に基づいて、撮影画像中の推定用マーカの位置を対応付けて、切出す。具体的には、推定用マーカ位置対応付け部１０７は、ＰＳＦ推定用マーカβの位置及び大きさを基に、ＰＳＦ推定用マーカβを含む小領域画像を画像入力部１０１のフレームメモリから切り出して、ＰＳＦ推定用マーカ実画像データとして保持する。
【００３７】
ＰＳＦ算出部１０８は、推定用マーカ基準画像生成部１０６によって得られた推定用マーカ基準画像と、推定用マーカ位置対応付け部１０７によって撮影画像から切出された推定用マーカ画像とを用いて、逆畳込み処理を行うことで、ＰＳＦを算出（推定）する。ここで、逆畳込み演算を行うためには、インバースフィルタやウィーナーフィルタなど、周波数領域で逆畳込み演算を行うものを用いることができる。
【００３８】
ブレ補正部１０９は、ＰＳＦ算出部１０８で得られた推定ＰＳＦデータを用いて、画像入力部１０１のフレームメモリに格納されている撮影画像の全体もしくは注目領域の画像データに対して逆畳込み演算を行うことで、撮影画像のブレを補正する。ここでの逆畳込み演算は、例えばインバースフィルタやウィーナーフィルタなどの周波数領域での逆畳込み演算を行うものを用いればよい。但し、逆畳込みの方法はこれに限らず、要はNon-blind Deconvolutionを実行できるものであればよい。ブレ補正部１０９は、ブレを補正した画像データを画像出力用メモリに格納する、もしくは、外部記憶媒体に記録する。
【００３９】
図４に、ブレ補正装置１００によって行われる処理手順を示す。
【００４０】
ブレ補正装置１００は、ブレ補正処理を開始すると、ステップＳ１０１で画像入力部１０１に撮影画像を入力する。続くステップＳ１０２では、レイアウトマーカ検出部１０２によってレイアウトマーカα１、α２を検出し、ステップＳ１０３でレイアウトマーカα１、α２を検出できたか否か判定する。例えば、少なくとも２つのレイアウトマーカα１、α２の存在位置（画像内での座標）が得られれば検出成功、そうでなければ検出失敗とする。ステップＳ１０３で検出が成功したと判定されると、ステップＳ１０４に進む。
【００４１】
ステップＳ１０４では、推定用マーカ位置算出部１０４によってＰＳＦ推定用マーカβの位置を算出し、ステップＳ１０５では、推定用マーカサイズ算出部１０５によってＰＳＦ推定用マーカβのサイズを算出する。
【００４２】
ステップＳ１０６では、推定用マーカ位置対応付け部１０７によってＰＳＦ推定用マーカ画像を撮影画像から切り出す。ステップＳ１０７では、推定用マーカ基準画像生成部１０６によってＰＳＦ推定用マーカβの基準画像を生成する。ステップＳ１０８では、ＰＳＦ算出部１０８によってＰＳＦ推定用マーカ画像の逆畳込み演算を行うことで、推定ＰＳＦデータを得る。
【００４３】
ステップＳ１０９では、ＰＳＦ算出部１０８が、算出した推定ＰＳＦはブレ補正に用いるものとして妥当か否かを判断する。判断基準（ブレ補正に用いるものとして妥当であるための基準）の例としては、以下の２つが挙げられる。一つに、推定ＰＳＦデータの中で信号レベルが高い要素数が一定以下であること。一つに、推定ＰＳＦデータを２次元画像として見た際に、信号レベルが高い領域が独立して複数存在していないこと。ステップＳ１０９で推定ＰＳＦが妥当であると判断すると（ステップＳ１０９；Ｙｅｓ）、ステップＳ１１０に進み、妥当でないと判断すると（ステップＳ１０９；Ｎｏ）、ステップＳ１０１に戻る。
【００４４】
ステップＳ１１０では、ブレ補正部１０９が、ステップＳ１０９で得られたＰＳＦを用いて、撮影画像（画像全体又はＲＯＩ（Region Of Interest）領域）に対して逆畳込み演算を行うことで、撮影画像のブレを補正する。
【００４５】
ステップＳ１１１では、ブレ補正部１０９が、ブレ補正後の画像を帳票管理装置やモニタなどの他の装置へと出力する。
【００４６】
［２−１］帳票の構成
図５に、本実施の形態の帳票の構成例を示す。ここでは、図５Ａ、図５Ｂ、図５Ｃに示すような、３つの例について説明する。
【００４７】
先ず、図５Ａの帳票について説明する。図５Ａの例は、レイアウトマーカα１、α２とＰＳＦ推定用マーカβ１とが独立している場合の例である。図５Ａの帳票は、図１及び図２でも記載した帳票と同じである。帳票には、読取枠Ｒ１が印刷されている。読取枠Ｒ１は、読取対象であること示すものであり、一般にカメラはこの読取枠Ｒ１を基準に読取枠Ｒ１内を読み取る（撮影する）。読取枠Ｒ１内には、文字記入欄Ｌ１、レイアウトマーカα１、α２、ＰＳＦ推定用マーカβ１が印刷されている。文字記入欄Ｌ１は、図の例では６マスであり、各マスには数字等が記入される。レイアウトマーカα１、α２は、文字記入欄Ｌ１を挟む位置に設けられている。レイアウトマーカα１は開始位置用であり、レイアウトマーカα２は終了位置用である。ＰＳＦ推定用マーカβ１は、読取枠Ｒ１内のほぼ中央位置に印刷されている。なお、上述したように、ＰＳＦ推定用マーカβ１の形状は、丸、三角形、四角形、多角形などの閉じた図形であることが好ましい。
【００４８】
図５Ｂに示した例は、レイアウトマーカα１、α２がＰＳＦ推定用マーカβ１を兼用している例である。レイアウトマーカα１、α２内の中央の白丸がＰＳＦ推定用マーカβである。
【００４９】
図５Ｃに示した例は、ＰＳＦ推定用マーカβがない例である。このような帳票が用いられる場合には、ＰＳＦ推定に罫線を利用する。具体的には、ブレ補正装置は、ＰＳＦの推定を、読み取った読取枠Ｒ１の４辺うちの任意の罫線を用いて行う。このようなＰＳＦ推定の方法については、後で詳しく説明する。
【００５０】
［２−２］ＰＳＦ推定用マーカ位置の算出処理
推定用マーカ位置算出部１０４によって行われるＰＳＦ推定用マーカ位置の算出処理について、図６、図７及び図８を用いて詳しく説明する。図６は、推定用マーカ位置算出部１０４によって行われる処理手順を示すフローチャートである。図７は、撮影画像から算出するレイアウトマーカ間距離の説明に供する図である。図８は、マーカ情報保持部１０３から読み出される、帳票のレイアウト情報を示す図である。なお、図７及び図８は、帳票の様式が図５Ａに示した様式の場合に関する図である。
【００５１】
推定用マーカ位置算出部１０４は、図６に示すように、先ずステップＳ３０１でレイアウトマーカ検出部１０２からレイアウトマーカ検出結果を入力する。具体的には、推定用マーカ位置算出部１０４は、開始位置用のレイアウトマーカα１の中心座標と、終了位置用のレイアウトマーカα２の中心座標と、を入力する。
【００５２】
ステップＳ３０２において、推定用マーカ位置算出部１０４は、レイアウトマーカα１、α２間の距離を算出する。具体的には、図７に示したような、入力された２つの中心座標間の画像内距離ＤＩを次式により算出する。
【数１】
【００５３】
ステップＳ３０３において、推定用マーカ位置算出部１０４は、マーカ情報保持部１０３から、図８に示したようなレイアウト情報を読み出して取得する。推定用マーカ位置算出部１０４が取得する情報は、以下の情報である。
【００５４】
・帳票紙面上でのレイアウトマーカα１、α２間の距離の実寸Ｄ
・レイアウトマーカ中心位置を基準としたＰＳＦ推定用マーカ領域中心の相対位置（ＤＸＰ，ＤＹＰ）
・ＰＳＦ推定用マーカ領域の実寸（ＷＰ，ＨＰ）
【００５５】
ステップＳ３０４において、推定用マーカ位置算出部１０４は、ＰＳＦ推定用マーカβ１の中心位置を算出する。具体的には、算出する中心位置座標を（ＸＰ，ＹＰ）とすると、この（ＸＰ，ＹＰ）を、撮影画像と帳票レイアウトの相似関係を用いて、次式によって算出する。
【数２】
【００５６】
ステップＳ３０５において、推定用マーカ位置算出部１０４は、ＰＳＦ推定用マーカ領域座標を算出して出力する。具体的には、算出する領域の左上座標と右下座標をそれぞれ（ＸＰＬ，ＹＰＴ）、（ＸＰＲ，ＹＰＢ）とすると、推定用マーカ位置算出部１０４は、ステップＳ３０３で取得したＰＳＦ推定用マーカ領域の実寸と、ステップＳ３０４で算出した結果とを用いて、左上座標（ＸＰＬ，ＹＰＴ）と右下座標（ＸＰＲ，ＹＰＢ）を、次式により算出し、この領域座標データを出力する。
【数３】
【００５７】
［２−３］ＰＳＦ推定用マーカサイズの算出処理
推定用マーカサイズ算出部１０５によって行われるＰＳＦ推定用マーカβのサイズの算出処理について、図９及び図１０を用いて詳しく説明する。図９は、推定用マーカサイズ算出部１０５によって行われる処理手順を示すフローチャートである。図１０は、マーカ情報保持部１０３から読み出される、ＰＳＦ推定用マーカ情報の説明に供する図である。
【００５８】
推定用マーカサイズ算出部１０５は、図９に示すように、先ずステップＳ６０１で、撮影画像でのレイアウトマーカα１、α２間の距離ＤＩ（図７）と、帳票上でのレイアウトマーカα１、α２間の実寸距離Ｄ（図８）との比率Ｚを算出する。なお、距離ＤＩ及びＤは、推定用マーカ位置算出部１０４でも算出しているので、推定用マーカサイズ算出部１０５は、推定用マーカ位置算出部１０５から距離ＤＩ及びＤを入力して比率Ｚを求める。
【００５９】
ステップＳ６０２において、推定用マーカサイズ算出部１０５は、マーカ情報保持部１０３から、帳票上のＰＳＦ推定用マーカβ１に関する情報を読み出して取得する。推定用マーカサイズ算出部１０５が取得する情報は、以下の情報である（図１０参照）。
・マーカβの形状及び実寸値（円の場合は直径ＲＰ）
【００６０】
ステップＳ６０３において、推定用マーカサイズ算出部１０５は、ステップＳ６０１で算出した比率Ｚと、ステップＳ６０２で取得した実寸値とを用いて、撮影画像上でのＰＳＦ推定用マーカサイズを計算し、計算結果を出力する。ここで、計算されるＰＳＦ推定用マーカサイズは、円の場合、マーカサイズＲＰＩ＝ＲＰ・Ｚである。
【００６１】
［２−４］ＰＳＦ推定用マーカの基準画像の生成処理
推定用マーカ基準画像生成部１０６によって行われるＰＳＦ推定用マーカの基準画像の生成処理について、図１１及び図１２を用いて詳しく説明する。図１１は、推定用マーカ基準画像生成部１０６によって行われる処理手順を示すフローチャートである。図１２は、ＰＳＦ推定用マーカの基準画像（マーカ形状が円の場合）の描画例を示す図である。
【００６２】
推定用マーカ基準画像生成部１０６は、図１１に示すように、先ずステップＳ８０１で、推定用マーカ位置算出部１０４からＰＳＦ推定用マーカβの位置を入力する。具体的には、ＰＳＦ推定用マーカ領域座標が入力される。このＰＳＦ推定用マーカ領域座標は、上述したように、例えば矩形領域を表す場合、左上座標（ＸＰＬ，ＹＰＴ）と右下座標（ＸＰＲ，ＹＰＢ）である。
【００６３】
ステップＳ８０２において、推定用マーカ基準画像生成部１０６は、推定用マーカサイズ算出部１０５からＰＳＦ推定用マーカβのサイズを入力する。具体的には、ＰＳＦ推定用マーカサイズと偏角θ（図７）が入力される。
【００６４】
ステップＳ８０３において、推定用マーカ基準画像生成部１０６は、マーカ情報保持部１０３から、帳票上のＰＳＦ推定用マーカβに関する情報を読み出して取得する。推定用マーカ基準画像生成部１０６が取得する情報は、以下の情報である。
・マーカβの形状、マーカβの配色（白地に黒、又は、黒地に白）
【００６５】
ステップＳ８０４において、推定用マーカ基準画像生成部１０６は、ＰＳＦ推定用マーカ画素の色を決定する。具体的には、ステップＳ８０１で入力され特定された範囲の画素値を、撮影画像が格納されたフレームメモリ（画像入力部１０１）から読み出し、ＰＳＦ推定用マーカβの画素色を決定する。
【００６６】
決定方法としては、以下の２つの例がある。
【００６７】
例１） 範囲内の画素値のヒストグラムをとり、低輝度側・高輝度側のそれぞれでピークをなす画素レベルを検出し、低輝度側でピークをなす画素値をＰＳＦ推定用マーカの黒色に、高輝度側でピークをなす画素値をＰＳＦ推定用マーカの白色にそれぞれ割り当てる。
【００６８】
例２） 範囲内の画素値の最小値をＰＳＦ推定用マーカの黒色に、範囲内の画素値の最大値をＰＳＦ推定用マーカの白色にそれぞれ割り当てる。
【００６９】
ステップＳ８０５において、推定用マーカ基準画像生成部１０６は、ＰＳＦ推定用マーカ画像を描画する。具体的には、推定用マーカ基準画像生成部１０６は、ステップＳ８０１で入力されたマーカ領域座標から領域サイズを計算し、その領域サイズと同じサイズを持つ画像メモリを用意する。そして、推定用マーカ基準画像生成部１０６は、用意した画像メモリに、ステップＳ８０２とＳ８０３で得られた情報を元にＰＳＦ推定用マーカのパターンを描画する。パターンの白と黒それぞれに対応する画素値は、ステップＳ８０４で決定した各画素値を用いる。
【００７０】
図１２に、その描画例を示す。図１２は、ＰＳＦ推定用マーカの基準画像（マーカ形状が円の場合）の描画例を示す図である。図１２において、画素ａ、画素ｂに対して以下のような判定を行って、描画が行われる。
【００７１】
画素ａ：（ｘ座標）２＋（ｙ座標）２＝１３＞（ＲＰＩ／２）２＝６．２５
により、円周外の画素と判定し、背景色で描画する。
画素ｂ：（ｘ座標）２＋（ｙ座標）２＝２＜（ＲＰＩ／２）２＝６．２５
により、円周内の画素と判定し、前景色で描画する。
【００７２】
他の画素についても、同様の判定を行うことで、背景色かあるいは前景色かを決定することで、描画を行う。ここで、マーカ配色が白地に黒の場合は、背景色は「白」であり、前景色は「黒」である。逆に、マーカ配色が黒地に白の場合は、背景色は「黒」であり、前景色は「白」である。なお、各「白」、「黒」の具体的な画素値は、ステップＳ８０４で決定された値である。
【００７３】
ステップＳ８０６において、推定用マーカ基準画像生成部１０６は、ＰＳＦ推定用マーカ画像を回転させる。具体的には、ステップＳ８０５で描画した画像データに対して、回転角θ（図７）の回転変換を施す。ここで、回転の中心は、描画したＰＳＦ推定用マーカ画像の中心座標とすればよい。なお、マーカの形状が円の場合は、本ステップを省略できる。
【００７４】
ステップＳ８０７において、推定用マーカ基準画像生成部１０６は、ステップＳ８０５〜Ｓ８０６の処理を施した画像メモリのデータを、ＰＳＦ推定用マーカ基準画像として出力する。
【００７５】
［２−５］変形例
ＰＳＦ算出部１０８を、図１３に示すように構成し、逆畳込み処理部１０８−１で算出した推定ＰＳＦデータに対して、フィルタ部１０８−２でフィルタ処理を施せば、より鮮明な画像を得ることができる。つまり、このようにすることで、撮影画像のＳＮ（Signal to Noise ratio）が低い場合や、ＰＳＦ推定用マーカ基準画像に誤差がある場合であっても、鮮明な推定ＰＳＦを得ることができるので、ブレ補正後の画質を向上できる。フィルタ部１０８−２としては、ＬＰＦ（Low Pass Filter）やメディアンフィルタなど、高周波成分やインパルス状ノイズを除去するフィルタを用いればよい。
【００７６】
図１４に、本変形例での処理手順を示す。図１４では、図４と同様の処理については図４と同一の符号を付してある。図１４の処理手順が図４の処理手順と異なる点は、ステップＳ１００１において、フィルタ部１０８−２が、ステップＳ１０８で得られた推定ＰＳＦデータに対して推定ノイズ成分を除去するためのフィルタを施す点である。
【００７７】
［３］応用構成１
図１５に、応用構成１を示す。図１５では、図３と同様の構成要素には図３と同一の符号を付してある。図１５のブレ補正装置２００が図３のブレ補正装置１００と異なる点は、歪み検出部２０１を有する点である。歪み検出部２０１は、カメラの撮像面と紙との角度が並行でないことに起因する、撮影画像の歪みを検出する。歪み検出部２０１は、検出結果を、推定用マーカ基準画像生成部１０６及び推定用マーカ位置算出部１０４に出力する。推定用マーカ基準画像生成部１０６は、歪みも考慮して、推定用マーカの基準画像を生成する。
【００７８】
ここで、帳票をハンディカメラ等で撮影する場合には、帳票の紙面がカメラ光軸に垂直でないことはよくあることである。この場合、マーカの形状が幾何的に変形して撮影される。そこで、ブレ補正装置２００は、歪み検出部２０１でマーカ形状の幾何的変形を検出し、ＰＳＦ推定用マーカ基準画像も同じように変形させた上でＰＳＦ推定を行う。これにより、推定誤差の拡大を抑制できる。なお、ブレ補正装置２００は、撮影画像（入力画像）の幾何歪みを補正してから、基本構成（図３）の一連の処理をするのではなく、撮影画像の歪みは補正せず、撮影画像と同じ歪みをＰＳＦ推定用マーカ基準画像に加える構成となっている。
【００７９】
図１６に、ブレ補正装置２００で行われる処理手順を示す。図１６では、図４と同様の処理には図４と同一の符号を付してある。図１６の処理手順が図４の処理手順と異なる点は、主に、ステップＳ１１０１の幾何歪み検出処理、ステップＳ１１０２のＰＳＦ推定用マーカ領域算出処理、ステップＳ１１０３のＰＳＦ推定用マーカ基準画像生成処理、である。以下、これらの処理について、詳しく説明する。
【００８０】
［３−１］幾何歪みの検出処理
ステップＳ１１０１において歪み検出部２０１によって行われる幾何歪みの検出処理について説明する。
【００８１】
歪み検出部２０１は、ステップＳ１０１で入力された帳票紙面像の平面的な歪みを検出し、その歪みを表す平面射影変換行列Ｈを求める。この平面射影変換行列Ｈは、３×３の行列で、８つの未知数要素からなる行列であり、次式で表すことができる。
【数４】
【００８２】
Ｈの算出方法としては、図１７に示すような、帳票上の４つの代表点（帳票レイアウト上での座標系で表現された座標として既知である）が撮影画像中のどの座標に観測されているかを検出し、既知座標と観測座標の値を、次式の方程式に当てはめて、Ｈの各要素を導出する、方法がある。
【数５】
【００８３】
なお、図１７は、帳票レイアウト座標系で表された代表点の座標情報を示す図である。 撮影画像内の代表点座標の検出方法としては、以下のような方法を用いればよい。
【００８４】
方法１）帳票の読取枠Ｒ１のコーナー点４つを代表点とする場合には、画像からエッジ検出し、検出したエッジの交点座標を算出することで、代表点座標を求める。
【００８５】
方法２）歪みのない帳票画像を生成し、撮影画像との特徴点マッチングを行う。マッチングの取れた複数の座標ペアの中から、評価値の高い４点を抽出する。
【００８６】
［３−２］ＰＳＦ推定用マーカ領域の算出処理
ステップＳ１１０２において推定用マーカ位置算出部１０４によって行われるＰＳＦ推定用マーカ領域の算出処理について説明する。
【００８７】
推定用マーカ位置算出部１０４は、ＰＳＦ推定用マーカ領域を、マーカ情報保持部１０３からの帳票レイアウト情報、及びステップＳ１１０１で算出した射影変換行列を用いて算出する。
【００８８】
図１８は、ＰＳＦ推定用マーカ領域の算出処理手順を示すフローチャート（つまり、ステップＳ１１０２の詳細な処理内容を示すフローチャート）である。
【００８９】
推定用マーカ位置算出部１０４は、ステップＳ１３０１で歪み検出部２０１から平面射影変換行列Ｈを入力する。ステップＳ１３０２において、推定用マーカ位置算出部１０４は、マーカ情報保持部１０３から帳票類のレイアウト情報を読み出し、ＰＳＦ推定用マーカ領域の座標を得る。図１７の例の場合、ＰＳＦ推定用マーカ領域の座標として、左上角の座標（ＸＲＰＴＬ，ＹＲＰＴＬ）と、領域の幅ＷＲＰと、高さＨＲＰとを取得する。
【００９０】
ステップＳ１３０３において、推定用マーカ位置算出部１０４は、ＰＳＦ推定用マーカ領域を算出する。具体的には、ＰＳＦ推定用マーカ領域の４隅の座標をそれぞれ、射影変換行列Ｈによって撮影画像座標系での座標に変換する。図１７の例の場合、左上隅の点、右上隅の点、左下隅の点、右下隅の変換後座標をそれぞれ、（ＸＩＰ１，ＹＩＰ１），（ＸＩＰ２，ＹＩＰ２），（ＸＩＰ３，ＹＩＰ３），（ＸＩＰ４，ＹＩＰ４）とすると、これらは次式の変換式により求めることができる。
【数６】
【００９１】
ステップＳ１３０４において、推定用マーカ位置算出部１０４は、ステップＳ１３０３で変換して得た４点で定義される四角形に外接する矩形領域の座標を計算し、計算結果をＰＳＦ推定用マーカ領域座標として出力する。図１７の例の場合、求める矩形領域の左上隅座標を（ＸＰＬ，ＹＰＴ）、右下隅座標を（ＸＰＲ，ＹＰＢ）とすると、これらの座標は、次式により求めることができる。
【数７】
【００９２】
［３−３］ＰＳＦ推定用マーカの基準画像の生成処理
ステップＳ１１０３において推定用マーカ基準画像生成部１０６によって行われるＰＳＦ推定用マーカの基準画像の生成処理について説明する。
【００９３】
推定用マーカ基準画像生成部１０６は、推定用マーカ位置算出部１０４で算出されたＰＳＦ推定用マーカ領域と、マーカ情報保持部１０３から読み出した既知のＰＳＦ推定用マーカ形状データと、歪み検出部２０１で算出された射影変換行列Ｈと、を基に、撮影画像と同じ歪みを持ったＰＳＦ推定用マーカの基準画像を生成し、これをＰＳＦ推定用マーカ基準画像データとして保持する。
【００９４】
図１９は、ＰＳＦ推定用マーカの基準画像の生成処理手順を示すフローチャート（つまり、ステップＳ１１０３の詳細な処理内容を示すフローチャート）である。なお、図１９では、図１１と同様の処理については図１１と同一の符号を付してあり、以下ではこの同一の処理についての説明は省略する。
【００９５】
推定用マーカ基準画像生成部１０６は、ステップＳ１４０１において、歪み検出部２０１から平面射影変換行列Ｈを入力する。ステップＳ１４０２において、推定用マーカ基準画像生成部１０６は、マーカ情報保持部１０３から、帳票上のＰＳＦ推定用マーカに関する情報を読み出して取得する。推定用マーカ基準画像生成部１０６が取得する情報は、以下の情報である。
・マーカの形状、マーカの配色（白地に黒、又は、黒地に白）
・帳票レイアウト座標系でのマーカ位置及び大きさに関する情報（図２０参照）
【００９６】
図２０は、マーカ情報保持部１０３から読み出すＰＳＦ推定用マーカ情報を示すものである。図の例では、マーカ中心座標は（ＸＲＰＣ，ＹＲＰＣ）、マーカの円の直径はＲＰである。
【００９７】
ステップＳ１４０３では、推定用マーカ基準画像生成部１０６は、ＰＳＦ推定用マーカ画像を描画する。具体的には、推定用マーカ基準画像生成部１０６は、ステップＳ８０１で入力されたマーカ領域座標から領域サイズを計算し、その領域サイズと同じサイズを持つ画像メモリを用意する。そして、推定用マーカ基準画像生成部１０６は、用意した画像メモリに、ステップＳ１４０１とＳ１４０２で得られた情報を元にＰＳＦ推定用マーカのパターンを描画する。パターンの白と黒それぞれに対応する画素値は、ステップＳ８０４で決定した各画素値を用いる。
【００９８】
図２１に、その描画例を示す。図２１は、ＰＳＦ推定用マーカの基準画像（マーカ形状が円の場合）の描画例を示す図である。
【００９９】
ここで、画像メモリ上の各画素がパターンの白・黒のどちらにあたるかは、その画素の座標（撮影画像座標系で表現したもの）を射影変換行列Ｈの逆行列Ｈ−１で帳票レイアウト座標系に写像して得た座標値が、ＰＳＦ推定用マーカのどの位置にあたるかを調べればよい。
【０１００】
図２１での例の場合、画像メモリ上の画素Ｍの撮影画像座標系での座標を（ＸＩＭ，ＹＩＭ）とすると、画素ＭをＨ−１で写像した点Ｍ’の帳票レイアウト座標系での座標（ＸＲＭ，ＹＲＭ）は、次式で表される。
【数８】
【０１０１】
点Ｍ’とマーカ円の中心（ＸＲＰＣ，ＹＲＰＣ）間の距離ＤＭは、次式により算出できる。
【数９】
【０１０２】
よって、推定用マーカ基準画像生成部１０６は、図２１の画素ａ、画素ｂに対して以下のような判定を行って、描画を行う。
【０１０３】
画素ａは、ＤＭ＞ＲＰ／２の場合であり、点Ｍ’がマーカ円の外部にあることから、背景色で点Ｍを描画する。
画素ｂは、ＤＭ≦ＲＰ／２の場合であり、点Ｍ’がマーカ円の内部にあることから、前景色で点Ｍを描画する。
【０１０４】
このようにして、推定用マーカ基準画像生成部は、基準となるＰＳＦ推定用マーカ画像に、歪み検出部２０１によって検出された歪みを反映させることができる。
【０１０５】
［４］応用構成２
図２２に、応用構成２を示す。図２２では、図３と同様の構成要素には図３と同一の符号を付してある。図２２のブレ補正装置３００が図３のブレ補正装置１００と異なる点は、領域分割部３０１、最適ＰＳＦ対応付け部３０２、合成部３０３を有する点である。
【０１０６】
領域分割部３０１は、推定用マーカ位置算出部１０４により得られた、推定用マーカβの画像中の位置に応じて、撮影領域を分割する。例えば、各推定用マーカβの位置に基づいて、ボロノイ領域を作成する。分割した撮影画像を最適ＰＳＦ対応付け部３０２に出力する。
【０１０７】
最適ＰＳＦ対応付け部３０２は、分割された画像に対応するＰＳＦを対応付ける。ブレ補正部１０９は、領域に対応するＰＳＦを用いて各領域のブレ補正を行う。合成部３０３は、ブレ補正された各領域を合成する。
【０１０８】
ここで、手ブレの場合には、画面全体が一様にボケるはずだが、撮影時の条件次第では、部分的にボケ方が異なることがある。そのため、本構成では、ＰＳＦ推定用のマーカを帳票内の複数個所に形成し（印刷し）、それぞれの箇所ごとにＰＳＦ推定及びブレ補正を行う。そして、最後に、各画素位置がどのマーカにどの程度近いかに応じて、各ブレ補正画像の選択又は合成出力を行う。
【０１０９】
図２３に、本構成で用いる帳票の構成例を示す。図５に示した帳票と異なるのは、レイアウトマーカα１、α２の間に、複数のＰＳＦ推定用マーカβ１、β２、β３が形成されている点である。
【０１１０】
図２４に、ブレ補正装置３００による処理の様子を示す。先ず、図２４Ａに示すように、ＰＳＦ推定用マーカ毎にＰＳＦが求められる。次に、図２４Ｂに示すように、撮影画像を各ＰＳＦを適用する領域毎に分割する。他の方法として、文字を認識して文字ごとにどのＰＳＦを適用するか決める方法を採用してもよい。このようにすれば、１つの文字が複数の領域に分割されることがないので、よりきれいな結果を得ることができる。次に、図２４Ｃ示すように、分割領域毎に対応するＰＳＦを用いてブレを補正し、補正後の画像を合成することで、鮮明な画像を得る。
【０１１１】
［５］応用構成３
ここでは、図５Ｃに示したように、帳票にＰＳＦ推定用マーカβ１がない場合に、罫線を利用してＰＳＦ推定を行う構成について説明する。
【０１１２】
図２５に、応用構成３を示す。図２５では、図３と同様の構成要素には図３と同一の符号を付してある。図２５のブレ補正装置４００が図３のブレ補正装置１００と異なる点は、罫線位置算出部４０１、罫線太さ算出部４０２、罫線断面基準画像生成部４０３、罫線断面位置対応付け部４０４を有する点である。
【０１１３】
ここで、罫線断面とは、横方向の罫線をＰＳＦ推定に用いる場合には、垂直方向の線分で切断した面であり、縦方向の罫線をＰＳＦ推定に用いる場合には、水平方向の線分で切断した面である。
【０１１４】
罫線位置算出部４０１は、レイアウトマーカ検出部１０２によって検出されたレイアウトマーカα１、α２の座標と、マーカ情報保持部１０３によって保持されているマーカ情報（既知のレイアウト情報）とから、ＰＳＦ推定に用いる罫線（以下、推定用罫線と呼ぶ）の位置を算出し、算出した切断位置座標データを出力する。なお、ここではＰＳＦ推定のための罫線として、読取枠Ｒ１を用いる場合ついて説明するが、読取対象を囲む別の罫線を用いてもよい。罫線位置の算出については、後で詳しく説明する。
【０１１５】
罫線太さ算出部４０２は、レイアウトマーカ検出部１０２によって検出されたレイアウトマーカの座標と、罫線位置算出部４０１によって算出された罫線の位置と、マーカ情報保持部１０３によって保持されているマーカ情報（既知のレイアウト情報）とから、罫線の太さを算出する。この罫線太さの算出については、後で詳しく説明する。
【０１１６】
罫線断面基準画像生成部４０３は、罫線太さ算出部４０２によって算出された罫線の太さから、当該罫線断面の基準画像（１次元の信号）を生成する。この罫線断面の基準画像生成処理については、後で詳しく説明する。
【０１１７】
罫線断面位置対応付け部４０４は、罫線位置算出部４０１によって算出された罫線の位置と、罫線太さ算出部４０２によって算出された罫線の太さとに基づいて、基準となる罫線断面に対応する撮影画像中の当該罫線断面の位置を対応付けて、推定用罫線の断面画像（１次元のデータ）を画像入力部１０１のフレームメモリから切り出して、推定用罫線断面実画像データとして保持する。
【０１１８】
ＰＳＦ算出部１０８は、罫線断面基準画像生成部４０３により得られた罫線断面基準画像と、罫線断面位置対応付け部４０４により撮影画像から切出された罫線断面画像（１次元の信号）とを用いて、逆畳込み演算を行うことで、ＰＳＦを算出（推定）する。ＰＳＦ算出部１０８は、演算結果を推定ＰＳＦデータとして保持する。なお、ここで得られる推定ＰＳＦデータも１次元となる。
【０１１９】
そこで、罫線断面基準画像生成部４０３は、１次元の推定ＰＳＦデータを２次元データに拡張する。その様子を、図２６及び図２７に示す。図２６は、逆畳込みにより得られる１次元のＰＳＦデータを示す。図２７は、２次元データに拡張された推定ＰＳＦデータを示すものである。図２７Ａは、推定用罫線が水平方向の場合の、２次元化された推定ＰＳＦデータを示すものである。図２７Ｂは、推定用罫線が垂直方向の場合の、２次元化されたＰＳＦデータを示すものである。図２７から分かるように、２次元拡張のためにデータ値０が追加される。
【０１２０】
図２８に、ブレ補正装置４００によって行われる処理手順を示す。図２８では、図４と同様の処理については図４と同一の符号を付してあり、以下ではこの同一の処理についての説明は省略する。
【０１２１】
ステップＳ１６０１では、罫線位置算出部４０１によって推定用の罫線位置を算出し、ステップＳ１６０２では、罫線太さ算出部４０２によって推定用の罫線の太さを算出する。
【０１２２】
ステップＳ１６０３では、罫線断面位置対応付け部４０４によって、撮影画像から推定用の罫線断面画像を切出す。ステップＳ１６０４では、罫線断面基準画像生成部４０３によって、推定用罫線断面の基準画像を生成する。
【０１２３】
ステップＳ１６０５では、ＰＳＦ算出部１０８によって、推定用罫線断面画像の逆畳込み処理が行われることで、推定ＰＳＦが得られる。さらに、１次元の推定ＰＳＦが２次元の推定ＰＳＦに拡張される。
【０１２４】
［５−１］推定用罫線位置算出処理
ステップＳ１６０１において罫線位置算出部４０１によって行われる推定用罫線位置算出処理について説明する。
【０１２５】
図２９は、推定用罫線位置算出処理手順を示すフローチャート（つまり、ステップＳ１６０１の詳細な処理内容を示すフローチャート）である。なお、図２９では、図６と同様の処理については図６と同一の符号を付してあり、以下ではこの同一の処理についての説明は省略する。
【０１２６】
罫線位置算出部４０１は、ステップＳ１７０１において、レイアウト情報を入力する。つまり、帳票類のレイアウトに関する情報をマーカ情報保持部１０３から読み出して取得する。
【０１２７】
図３０に、マーカ情報保持部１０３から読み出されるレイアウト情報の例を示す。罫線位置算出部４０１が読み出すレイアウト情報は、以下の情報である。
・帳票紙面上でのレイアウトマーカ間距離の実寸Ｄ
・レイアウトマーカの中心位置を基準とした推定用罫線までの距離（ＤＹＰ）
【０１２８】
ステップＳ１７０２では、罫線位置算出部４０１は、推定用罫線の切断位置を算出し、算出した切断位置座標データを出力する。ここで、算出する切断位置座標を（ＸＰ，ＹＰ）とすると、この切断位置座標（ＸＰ，ＹＰ）を、撮影画像と帳票レイアウトの相似関係を用いて、次式により算出する。この算出方法は、図７で説明したのと同様である。
【数１０】
【０１２９】
なお、ＤＸＰは、推定用罫線の断面をとる位置（帳票レイアウトでの寸法単位）であり、推定ＰＳＦを算出したい帳票部分に応じて、０〜Ｄまでの間の任意の値を設定してよい。
【０１３０】
［５−２］推定用罫線太さ算出処理
ステップＳ１６０２において罫線太さ算出部４０２によって行われる推定用罫線太さ算出処理について説明する。
【０１３１】
図３１は、推定用罫線太さ算出処理手順を示すフローチャート（つまり、ステップＳ１６０２の詳細な処理内容を示すフローチャート）である。なお、図３１では、図９と同様の処理については図９と同一の符号を付してある。
【０１３２】
罫線太さ算出部４０２は、ステップＳ６０１で、撮影画像でのレイアウトマーカα１、α２間の距離ＤＩ（図７）と、帳票上でのレイアウトマーカα１、α２間の実寸距離Ｄ（図３０）との比率Ｚを算出する。なお、距離ＤＩ及びＤは、罫線位置算出部４０１でも算出しているので、罫線太さ算出部４０２は、罫線位置算出部４０１から距離ＤＩ及びＤを入力して比率Ｚを求める。また、罫線太さ算出部４０２は、偏角θ（図７）を入力する。
【０１３３】
罫線太さ算出部４０２は、ステップＳ１９０１において、レイアウト情報を入力する。つまり、帳票類のレイアウトに関する情報をマーカ情報保持部１０３から読み出して取得する。罫線太さ算出部４０２が読み出すレイアウト情報は、以下の情報である。
・罫線太さの実寸値ＨＰ（図３０参照）
【０１３４】
罫線太さ算出部４０２は、ステップＳ１９０２において、ステップＳ６０１及びステップＳ１９０１で得た値を用いて、撮影画像上での推定用罫線の太さ（断面幅）を計算し、これを出力する。罫線太さＨＰＩＣは、次式により求めることができる。
【数１１】
【０１３５】
［５−３］推定用罫線断面の基準画像の生成処理
ステップＳ１６０４において罫線断面基準画像生成部４０３によって行われる推定用罫線断面の基準画像の生成処理について説明する。
【０１３６】
図３２は、推定用罫線断面の基準画像の生成処理手順を示すフローチャート（つまり、ステップＳ１６０４の詳細な処理内容を示すフローチャート）である。
【０１３７】
罫線断面基準画像生成部４０３は、ステップＳ２００１において、前のステップＳ１７０２で算出された推定用罫線切断位置の座標（ＸＰ，ＹＰ）を入力する。ステップＳ２００２では、前のステップＳ１６０２で算出された推定用罫線断面幅ＨＰＩＣを入力する。
【０１３８】
罫線断面基準画像生成部４０３は、ステップＳ２００３において、マーカ情報保持部１０３から、帳票のレイアウトに関する情報を読み出して取得する。罫線断面基準画像生成部４０３が取得する情報は、以下の情報である。
・推定用罫線の配色（白地に黒、又は、黒地に白など）
【０１３９】
ステップＳ２００４において、罫線断面基準画像生成部４０３は、ステップＳ２００１及びＳ２００２で特定される断面線分上の画素値を、撮影画像が格納された画像入力部１０１のフレームメモリから読み出し、推定用罫線断面基準画像の画素色を決定する。この読み出しは、罫線断面近傍の背景画素を含むように行う。例えば、水平の罫線を用いる場合には、読み出す範囲の座標を、（ＸＰ，ＹＰ−Δ１）〜（ＸＰ，ＹＰ＋ＨＰＩＣ＋Δ２）とする。但し、Δ１，Δ２は、罫線上下で余分に読み出す背景領域の高さを示す。なお、画素値の決定方法はステップＳ８０４で説明した方法と同様である。
【０１４０】
ステップＳ２００５において、罫線断面基準画像生成部４０３は、推定用罫線断面画像を描画する。具体的には、罫線断面基準画像生成部４０３は、先ず、ステップＳ２００４で撮影画像から読み出した画素データと同数の要素を持つ画像メモリ（１次元）を用意する。そして、用意した画像メモリに対して、ステップＳ２００２とＳ２００３で得られた情報を基に罫線断面パターンを描画する。パターンの白と黒それぞれに対応する画素値は、ステップＳ２００４で決定した各画素値を用いる。
【０１４１】
ステップＳ２００６において、罫線断面基準画像生成部４０３は、ステップＳ２００５で描画したデータを、推定用罫線断面基準画像として出力する。
【０１４２】
［６］応用構成４
本構成では、ＰＳＦ推定用マーカとして、１ドットの点像を用いる。これにより、特許文献２にも記載されているように、ＰＳＦを求める際に、１ドットの点像の撮像画像をそのままＰＳＦとして利用することができるので、計算量が少なくて済む。因みに、複数ドットの点像を用いる場合には、逆畳込み処理が必要となるので、計算量が大きくなる。ここで、１ドットとは、撮影画像を撮影したカメラの最小画素（例えばＣＣＤの１受光素子）のことである。
【０１４３】
図３３に、応用構成４で用いる帳票の構成例を示す。ＰＳＦ推定用マーカβは、大きさの異なる複数の点像から構成されている。そして、本構成のブレ補正装置は、レイアウトマーカα１、α２を用いて複数の点像のサイズを推定し、複数の点像の中から１ドットで写っているものを抽出する。抽出されたＰＳＦ推定用マーカを用いることで、少ない計算量でＰＳＦを求めることができる。
【０１４４】
図３４に、応用構成４を示す。図３４では、図３と同様の構成要素には図３と同一の符号を付してある。図３４のブレ補正装置５００は、マーカ選択部５０１、ＰＳＦ正規化部５０２を有する。
【０１４５】
推定用マーカサイズ算出部１０５は、レイアウトマーカα１、α２を用いて、複数の点像（図３３）のサイズを推定し、推定結果をマーカ選択部５０１に出力する。
【０１４６】
マーカ選択部５０１は、サイズ推定結果に基づいて、複数の点像の中から１ドットで撮影されているものを選択する。
【０１４７】
推定用マーカ位置対応付け部１０７は、マーカ選択部５０１で選択された推定用マーカの位置に基づいて、撮影画像中の推定用マーカの位置を対応付けて、切出す。
【０１４８】
ＰＳＦ正規化部５０２は、マーカ位置対応付け部１０７で切り出されたマーカ領域画像（≒ＰＳＦ画像）の各画素の信号レベルを正規化する。具体的には、以下の処理を行う。
【０１４９】
・先ず、白地に黒のＰＳＦ推定用マーカが形成されている場合、マーカ領域画像の白と黒を反転させる。なお、黒地に白のＰＳＦ推定用マーカが形成されている場合は、反転は必要ない。
【０１５０】
・次に、黒地の信号レベルが０になるよう全体の信号レベルを一律に下げる。こうして得られたものを、推定ＰＳＦとして用いる。
【０１５１】
［７］実施の形態の効果
撮影画像からレイアウトマーカを検出するレイアウトマーカ検出部１０２と、ＰＳＦ推定用マーカの位置を求める推定用マーカ位置算出部１０４と、ＰＳＦ推定用マーカの大きさを求める推定用マーカサイズ算出部１０５と、基準となるＰＳＦ推定用マーカ画像を生成する推定用マーカ基準画像生成部１０６と、基準となる推定用マーカ画像とそれに対応する撮影画像中の推定用マーカ画像とを用いてＰＳＦを推定するＰＳＦ算出（推定）部１０８と、推定されたＰＳＦを用いて撮影画像のブレを補正するブレ補正部１０９と、を設けたことにより、比較的少ない演算量で、かつ、簡易な構成で、かつ、容易な操作で、高精度のブレ補正を行うことができるようになる。
【０１５２】
すなわち、本実施の形態によれば、少ない演算量で精度良く、１枚の静止画からブレを補正できる。また、付加的なセンサを用いることなくブレを補正できる。また、被写体撮影と同時にＰＳＦが推定されるので、余計な撮影ステップを不要にできる。また、カメラと被写体の位置関係を固定することなくブレを補正できる。また、撮影時の手ブレによる画像ブレだけでなく、撮像対象である帳票等の状態に起因する画像ブレも補正できる。
【０１５３】
なお、上述の実施の形態のブレ補正装置１００、２００、３００、４００、５００は、メモリ・ＣＰＵを含むパソコン等のコンピュータによって構成することができる。そして、ブレ補正装置１００、２００、３００、４００、５００を構成する各構成要素の機能は、メモリ上に記憶されたコンピュータプログラムをＣＰＵが読み出して実行処理することで実現できる。
【産業上の利用可能性】
【０１５４】
本発明は、例えばハンディターミナル等のカメラ付き携帯端末で帳票類を撮影し、撮影画像を画像認識するような装置に有用である。
【符号の説明】
【０１５５】
１００、２００、３００、４００、５００ ブレ補正装置
１０１ 画像入力部
１０２ レイアウトマーカ検出部
１０３ マーカ情報保持部
１０４ 推定用マーカ位置算出部
１０５ 推定用マーカサイズ算出部
１０６ 推定用マーカ基準画像生成部
１０７ 推定用マーカ位置対応付け部
１０８ ＰＳＦ算出部
１０９ ブレ補正部
２０１ 歪み補正部
３０１ 領域分割部
３０２ 最適ＰＳＦ対応付け部
３０３ 合成部
４０１ 罫線位置算出部
４０２ 罫線太さ算出部
４０３ 罫線断面基準画像生成部
４０４ 罫線断面位置対応付け部
５０１ マーカ選択部
５０２ ＰＳＦ正規化部
α１、α２ レイアウトマーカ
β、β１、β２、β３ ＰＳＦ推定用マーカ
Ｌ１ 文字記入欄
Ｒ１ 読取枠
【技術分野】
【０００１】
本発明は、ブレ補正装置、ブレ補正方法及び帳票に関し、特にＰＳＦ（Point Spread Function；点拡がり関数）を用いて画像のブレ（より正確にはブレにより生じた画像のボケ）を補正する技術に関する。
【背景技術】
【０００２】
従来、カメラ付き携帯端末で伝票や領収書等の帳票等を撮影し、撮影画像を画像認識するような装置がある。この種の装置では、撮影時の手ブレ等によって画像ブレが生じるので、画像ブレを補正する機能を有するものが多い。
【０００３】
このような静止画の画像ブレを画像処理によって補正する方法として、ＰＳＦ（Point Spread Function；点拡がり関数）を用いる技術が知られている。ＰＳＦとは、ボケ方を表す関数である。ブレた撮影画像にＰＳＦを逆畳込みすることで、ブレる前の鮮鋭な画像を復元することができる。
【０００４】
ＰＳＦの推定方法として、Blind Deconvolution法がある。Blind Deconvolution法は、鮮鋭な自然画像が有する特徴（勾配分布）を仮定し、この仮定を満たす尤もらしい復元画像とＰＳＦとを、入力画像のみから確率統計的に導出する方法である。Blind Deconvolution法の欠点は、演算量が膨大である点と、推定ＰＳＦの精度が低く、入力画像に対するロバスト性が低い点である。
【０００５】
そこで、付加的なセンサを用いる方法が考えられる。この方法は、カメラにジャイロセンサを付加し、ジャイロセンサを用いて露光期間中のカメラの動き情報を取得することによりブレの軌跡を生成し、このブレの軌跡をＰＳＦとして推定する方法である。
【０００６】
さらに、ＰＳＦを用いた画像ブレの補正方法として、特許文献１で開示された方法がある。その方法は、エッジの理想画像と実写画像とを用いる方法である。その概要を説明する。特許文献１では、据置型指掌紋画像入力装置を対象とし、パターンが既定のエッジ画像を撮影して生成した実エッジデータと、理想エッジ画像から生成した理想エッジデータとから、装置固有のＰＳＦを推定する。次に、推定したＰＳＦを基に、入力指掌紋画像を逆畳込みフィルタで補正することで、装置による個体差の影響のない鮮鋭な画像を得る。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０００−４０１４６号公報
【特許文献２】特開平４−１４９６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、ジャイロセンサなどの外部センサを用いた場合、カメラにセンサを搭載する必要があるので、その分だけ構成が複雑化する欠点がある。また、推定ＰＳＦの誤差が大きくなる（得られるブレの軌跡は線分を連接した形状となり、線の太さ情報がないため実際のＰＳＦとの誤差が大きくなる）といった欠点もある。
【０００９】
また、特許文献１で開示された技術は、撮影対象とカメラの位置関係を固定する必要があるため、手持ちカメラのブレ補正には適用が困難な欠点がある。また、パターンがエッジに限定されている実エッジ画像の撮影を前提としているので、そのためのユーザ操作が必要であり、また、本撮影とは別に、ＰＳＦ推定のための撮影ステップが必要である。よって、撮影に手間がかかる欠点がある。
【００１０】
本発明は、以上の点を考慮してなされたものであり、ＰＳＦを用いて画像のブレを補正する場合に、比較的少ない演算量で、かつ、簡易な構成で、かつ、容易な操作で、高精度のブレ補正を行うことができるブレ補正装置、ブレ補正方法及び帳票を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明のブレ補正装置の一つの態様は、レイアウトマーカとＰＳＦ推定用マーカとが含まれる撮影画像を入力する画像入力部と、前記撮影画像からレイアウトマーカを検出するレイアウトマーカ検出部と、レイアウトマーカの情報を保持するマーカ情報保持部と、前記レイアウトマーカ検出部によって得られたレイアウトマーカの検出結果と、前記マーカ情報保持部に保持されたレイアウトマーカの情報と、に基づいて、前記ＰＳＦ推定用マーカの位置を求める推定用マーカ位置算出部と、前記レイアウトマーカ検出部によって得られたレイアウトマーカの検出結果と、前記マーカ情報保持部に保持されたレイアウトマーカの情報と、に基づいて、前記ＰＳＦ推定用マーカの大きさを求める推定用マーカサイズ算出部と、前記推定用マーカサイズ算出部によって得られたＰＳＦ推定用マーカの大きさに基づいて、基準となるＰＳＦ推定用マーカ画像を生成する推定用マーカ基準画像生成部と、前記推定用マーカ位置算出部によって得られたＰＳＦ推定用マーカの位置に基づいて、前記推定用マーカ基準画像生成部によって得られた基準となるＰＳＦ推定用マーカ画像と、前記撮影画像中のＰＳＦ推定用マーカの画像と、の位置を対応付ける推定用マーカ位置対応付け部と、前記推定用マーカ位置対応付け部によって対応付けられた、前記基準となるＰＳＦ推定用マーカ画像と、前記撮影画像中のＰＳＦ推定用マーカ画像と、を用いて、ＰＳＦを推定するＰＳＦ推定部と、推定されたＰＳＦを用いて、前記撮影画像のブレを補正するブレ補正部と、を具備する。
【００１２】
本発明のブレ補正方法の一つの態様は、レイアウトマーカとＰＳＦ推定用マーカとが含まれる撮影画像からレイアウトマーカを検出するレイアウトマーカ検出ステップと、検出されたレイアウトマーカを基に、前記ＰＳＦ推定用マーカの位置を求める推定用マーカ位置算出ステップと、検出されたレイアウトマーカを基に、前記ＰＳＦ推定用マーカの大きさを求める推定用マーカサイズ算出ステップと、検出されたＰＳＦ推定用マーカの大きさに基づいて、基準となるＰＳＦ推定用マーカ画像を生成する推定用マーカ基準画像生成ステップと、算出されたＰＳＦ推定用マーカの位置に基づいて、生成された基準となるＰＳＦ推定用マーカ画像と、前記撮影画像中のＰＳＦ推定用マーカの画像と、の位置を対応付ける推定用マーカ位置対応付けステップと、対応付けられた、前記基準となるＰＳＦ推定用マーカ画像と、前記撮影画像中のＰＳＦ推定用マーカ画像と、を用いて、ＰＳＦを推定するＰＳＦ推定ステップと、推定されたＰＳＦを用いて、前記撮影画像のブレを補正するブレ補正ステップと、を含む。
【００１３】
本発明の帳票の一つの態様は、読取枠と、前記読取枠内に設けられた文字記入欄と、前記読取枠内で、かつ、文字記入欄を挟む位置に形成された第１及び第２のレイアウトマーカと、前記読取枠内で、かつ、前記第１及び第２のレイアウトマーカの間に形成されたＰＳＦ推定用マーカと、を有する。
【発明の効果】
【００１４】
本発明によれば、ＰＳＦを用いて画像のブレを補正する場合に、比較的少ない演算量で、かつ、簡易な構成で、かつ、容易な操作で、高精度のブレ補正を行うことができるようになる。
【図面の簡単な説明】
【００１５】
【図１】実施の形態によるブレ補正の様子を示す図
【図２】実施の形態の処理の概要を示す図である
【図３】実施の形態のブレ補正装置の基本構成を示すブロック図
【図４】ブレ補正装置によって行われる処理手順を示すフローチャート
【図５】実施の形態の帳票の構成例を示す図
【図６】推定用マーカ位置算出部によって行われる処理手順を示すフローチャート
【図７】撮影画像から算出するレイアウトマーカ間距離の説明に供する図
【図８】マーカ情報保持部から読み出される、帳票のレイアウト情報を示す図
【図９】推定用マーカサイズ算出部によって行われる処理手順を示すフローチャート
【図１０】マーカ情報保持部から読み出される、ＰＳＦ推定用マーカ情報の説明に供する図
【図１１】推定用マーカ基準画像生成部によって行われる処理手順を示すフローチャート
【図１２】ＰＳＦ推定用マーカの基準画像（マーカ形状が円の場合）の描画例を示す図
【図１３】ＰＳＦ算出部の構成例を示すブロック図
【図１４】変形例によるブレ補正装置によって行われる処理手順を示すフローチャート
【図１５】応用構成１のブレ補正装置を示すブロック図
【図１６】応用構成１のブレ補正装置によって行われる処理手順を示すフローチャート
【図１７】帳票レイアウト座標系で表された代表点の座標情報を示す図
【図１８】ＰＳＦ推定用マーカ領域の算出処理手順を示すフローチャート
【図１９】ＰＳＦ推定用マーカの基準画像の生成処理手順を示すフローチャート
【図２０】マーカ情報保持部から読み出すＰＳＦ推定用マーカ情報を示す図
【図２１】ＰＳＦ推定用マーカの基準画像（マーカ形状が円の場合）の描画例を示す図
【図２２】応用構成２のブレ補正装置を示すブロック図
【図２３】応用構成２で用いられる帳票の構成例を示す図
【図２４】応用構成２のブレ補正装置による処理の様子を示す図
【図２５】応用構成３のブレ補正装置を示すブロック図
【図２６】逆畳込みにより得られる１次元のＰＳＦデータを示す図
【図２７】２次元データに拡張された推定ＰＳＦデータを示す図
【図２８】応用構成３のブレ補正装置によって行われる処理手順を示すフローチャート
【図２９】推定用罫線位置算出処理手順を示すフローチャート
【図３０】マーカ情報保持部から読み出されるレイアウト情報の例を示す図
【図３１】推定用罫線太さ算出処理手順を示すフローチャート
【図３２】推定用罫線断面の基準画像の生成処理手順を示すフローチャート
【図３３】応用構成４で用いる帳票の構成例を示す図
【図３４】応用構成４のブレ補正装置を示すブロック図
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１７】
［１］原理
先ず、本実施の形態の原理について説明する。図１は、本実施の形態によるブレ補正の様子を示す図である。本実施の形態では、図１Ａに示すようなブレ（ボケと言ってもよい）のある静止画から、図１Ｂに示すような鮮鋭な静止画を得る。
【００１８】
図２は、本実施の形態の処理の概要を示す図である。本実施の形態では、撮影対象が帳票である場合を例とする。つまり、撮影画像は帳票を撮影したものである。但し、本実施の形態のブレ補正対象は、帳票の撮影画像に限らない。よって、以下の説明において「帳票」と記載した箇所は、「読取対象」と読み替えてもよい。
【００１９】
本実施の形態では、帳票に以下の加工が施される。
【００２０】
・撮影画像内での位置関係を取得するための既知パターン（レイアウトマーカ）α１、α２が印刷されている。レイアウトマーカα１、α２は、位置の離れた２つのマーカで構成されている。レイアウトマーカα１、α２の形状は、特に限定されるものではないが、カメラによって確実に読み取ることができるようなサイズを有し、かつ、パターン認識がし易い形状であることが好ましい。
【００２１】
・ＰＳＦを推定するための既知パターン（ＰＳＦ推定用マーカ）β１が印刷されている。ＰＳＦ推定用マーカβ１の形状は、特に限定されるものではないが、丸、三角形、四角形、多角形などの閉じた図形であることが好ましい。なお、後述するが、ＰＳＦ推定用マーカβ１は、レイアウトマーカα１、α２で兼用してもよく、読取枠等の罫線で兼用してもよい。
【００２２】
帳票における各マーカの配置例については、後で詳しく説明する（図５）。
【００２３】
次に、ブレ補正処理の概要を説明する。ブレ補正処理は、以下の順で行われる。
＜１＞ 撮影画像からレイアウトマーカα１、α２を検出する。
【００２４】
＜２＞ レイアウトマーカα１、α２の位置から、ＰＳＦ推定用マーカβ１の位置と大きさを導出する。ここで、実際の帳票上での、レイアウトマーカα１、α２とＰＳＦ推定用マーカβ１の位置関係、及び、大きさの関係は、ボケ補正装置において既知であるものとする（つまり、これらの情報はボケ補正装置に予め記憶されている）。
【００２５】
＜３＞ ＰＳＦ推定用マーカβ１が含まれる小領域を撮影画像から切出す。
【００２６】
＜４＞ ＰＳＦ推定用マーカβ１についてのボケの無い画像を、上記＜２＞で導出した情報を基に生成する。ここで、ＰＳＦ推定用マーカβ１の形状は、ボケ補正装置において既知であるものとする（つまり、この情報はボケ補正装置に予め記憶されている）。図２の例では、ＰＳＦ推定用マーカβ１の形状は円であり、その半径の情報は上記＜２＞で得られた情報を用いる。
【００２７】
＜５＞ 上記＜３＞、＜４＞で得たＰＳＦ推定用マーカ画像２枚を用いて、逆畳込み演算を行うことで、ＰＳＦを推定する。
【００２８】
＜６＞ 推定ＰＳＦを用いて、Non-blind法による逆畳込み演算を行うことで、撮影画像全体もしくは関心のある領域画像のブレを補正して、ブレ補正画像を得る。
【００２９】
［２］基本構成
図３に、本実施の形態のブレ補正装置の基本構成を示す。
【００３０】
ブレ補正装置１００は、画像入力部１０１にブレ補正の対象となる画像を入力する。画像入力部１０１は、フレームメモリを有し、図１Ａに示したような帳票類の被写体を撮影した撮影画像を入力し、フレーム単位で格納する。
【００３１】
レイアウトマーカ検出部１０２は、画像入力部１０１に格納された画像から、形状が既定であるレイアウトマーカα１、α２を探索する。レイアウトマーカα１、α２の探索方法としては、パターン検出等の公知の方法を利用すればよい。例えば、テンプレートマッチング、特徴点マッチングによって撮像画像中のレイアウトマーカα１、α２を検出する。
【００３２】
マーカ情報保持部１０３は、レイアウトマーカα１、α２及びＰＳＦ推定用マーカ（以下、ＰＳＦ推定用マーカを単に推定用マーカと呼ぶ）βに関する、大きさ、位置関係、形状などの情報を保持している。
【００３３】
推定用マーカ位置算出部１０４は、レイアウトマーカ検出部１０２によって検出されたレイアウトマーカα１、α２と、マーカ情報保持部１０３によって保持されているマーカ情報とから、推定用マーカβの位置を算出する。この推定用マーカ位置の算出については、後で詳しく説明する。
【００３４】
推定用マーカサイズ算出部１０５は、レイアウトマーカ検出部１０２によって検出されたレイアウトマーカα１、α２と、推定用マーカ位置算出部１０４によって算出された推定用マーカβの位置と、マーカ情報保持部１０３によって保持されているマーカ情報とから、推定用マーカβのサイズを算出する。この推定用マーカサイズの算出については、後で詳しく説明する。
【００３５】
推定用マーカ基準画像生成部１０６は、推定用マーカ位置算出部１０４によって算出された推定用マーカβの位置と、推定用マーカ位置サイズ算出部１０５によって算出された推定用マーカβのサイズと、マーカ情報保持部１０３によって保持されている推定用マーカβの形状とから、推定用マーカβの基準画像を生成する。この推定用マーカβの基準画像生成処理については、後で詳しく説明する。
【００３６】
推定用マーカ位置対応付け部１０７は、推定用マーカ位置算出部１０４によって算出された推定用マーカβの位置に基づいて、撮影画像中の推定用マーカの位置を対応付けて、切出す。具体的には、推定用マーカ位置対応付け部１０７は、ＰＳＦ推定用マーカβの位置及び大きさを基に、ＰＳＦ推定用マーカβを含む小領域画像を画像入力部１０１のフレームメモリから切り出して、ＰＳＦ推定用マーカ実画像データとして保持する。
【００３７】
ＰＳＦ算出部１０８は、推定用マーカ基準画像生成部１０６によって得られた推定用マーカ基準画像と、推定用マーカ位置対応付け部１０７によって撮影画像から切出された推定用マーカ画像とを用いて、逆畳込み処理を行うことで、ＰＳＦを算出（推定）する。ここで、逆畳込み演算を行うためには、インバースフィルタやウィーナーフィルタなど、周波数領域で逆畳込み演算を行うものを用いることができる。
【００３８】
ブレ補正部１０９は、ＰＳＦ算出部１０８で得られた推定ＰＳＦデータを用いて、画像入力部１０１のフレームメモリに格納されている撮影画像の全体もしくは注目領域の画像データに対して逆畳込み演算を行うことで、撮影画像のブレを補正する。ここでの逆畳込み演算は、例えばインバースフィルタやウィーナーフィルタなどの周波数領域での逆畳込み演算を行うものを用いればよい。但し、逆畳込みの方法はこれに限らず、要はNon-blind Deconvolutionを実行できるものであればよい。ブレ補正部１０９は、ブレを補正した画像データを画像出力用メモリに格納する、もしくは、外部記憶媒体に記録する。
【００３９】
図４に、ブレ補正装置１００によって行われる処理手順を示す。
【００４０】
ブレ補正装置１００は、ブレ補正処理を開始すると、ステップＳ１０１で画像入力部１０１に撮影画像を入力する。続くステップＳ１０２では、レイアウトマーカ検出部１０２によってレイアウトマーカα１、α２を検出し、ステップＳ１０３でレイアウトマーカα１、α２を検出できたか否か判定する。例えば、少なくとも２つのレイアウトマーカα１、α２の存在位置（画像内での座標）が得られれば検出成功、そうでなければ検出失敗とする。ステップＳ１０３で検出が成功したと判定されると、ステップＳ１０４に進む。
【００４１】
ステップＳ１０４では、推定用マーカ位置算出部１０４によってＰＳＦ推定用マーカβの位置を算出し、ステップＳ１０５では、推定用マーカサイズ算出部１０５によってＰＳＦ推定用マーカβのサイズを算出する。
【００４２】
ステップＳ１０６では、推定用マーカ位置対応付け部１０７によってＰＳＦ推定用マーカ画像を撮影画像から切り出す。ステップＳ１０７では、推定用マーカ基準画像生成部１０６によってＰＳＦ推定用マーカβの基準画像を生成する。ステップＳ１０８では、ＰＳＦ算出部１０８によってＰＳＦ推定用マーカ画像の逆畳込み演算を行うことで、推定ＰＳＦデータを得る。
【００４３】
ステップＳ１０９では、ＰＳＦ算出部１０８が、算出した推定ＰＳＦはブレ補正に用いるものとして妥当か否かを判断する。判断基準（ブレ補正に用いるものとして妥当であるための基準）の例としては、以下の２つが挙げられる。一つに、推定ＰＳＦデータの中で信号レベルが高い要素数が一定以下であること。一つに、推定ＰＳＦデータを２次元画像として見た際に、信号レベルが高い領域が独立して複数存在していないこと。ステップＳ１０９で推定ＰＳＦが妥当であると判断すると（ステップＳ１０９；Ｙｅｓ）、ステップＳ１１０に進み、妥当でないと判断すると（ステップＳ１０９；Ｎｏ）、ステップＳ１０１に戻る。
【００４４】
ステップＳ１１０では、ブレ補正部１０９が、ステップＳ１０９で得られたＰＳＦを用いて、撮影画像（画像全体又はＲＯＩ（Region Of Interest）領域）に対して逆畳込み演算を行うことで、撮影画像のブレを補正する。
【００４５】
ステップＳ１１１では、ブレ補正部１０９が、ブレ補正後の画像を帳票管理装置やモニタなどの他の装置へと出力する。
【００４６】
［２−１］帳票の構成
図５に、本実施の形態の帳票の構成例を示す。ここでは、図５Ａ、図５Ｂ、図５Ｃに示すような、３つの例について説明する。
【００４７】
先ず、図５Ａの帳票について説明する。図５Ａの例は、レイアウトマーカα１、α２とＰＳＦ推定用マーカβ１とが独立している場合の例である。図５Ａの帳票は、図１及び図２でも記載した帳票と同じである。帳票には、読取枠Ｒ１が印刷されている。読取枠Ｒ１は、読取対象であること示すものであり、一般にカメラはこの読取枠Ｒ１を基準に読取枠Ｒ１内を読み取る（撮影する）。読取枠Ｒ１内には、文字記入欄Ｌ１、レイアウトマーカα１、α２、ＰＳＦ推定用マーカβ１が印刷されている。文字記入欄Ｌ１は、図の例では６マスであり、各マスには数字等が記入される。レイアウトマーカα１、α２は、文字記入欄Ｌ１を挟む位置に設けられている。レイアウトマーカα１は開始位置用であり、レイアウトマーカα２は終了位置用である。ＰＳＦ推定用マーカβ１は、読取枠Ｒ１内のほぼ中央位置に印刷されている。なお、上述したように、ＰＳＦ推定用マーカβ１の形状は、丸、三角形、四角形、多角形などの閉じた図形であることが好ましい。
【００４８】
図５Ｂに示した例は、レイアウトマーカα１、α２がＰＳＦ推定用マーカβ１を兼用している例である。レイアウトマーカα１、α２内の中央の白丸がＰＳＦ推定用マーカβである。
【００４９】
図５Ｃに示した例は、ＰＳＦ推定用マーカβがない例である。このような帳票が用いられる場合には、ＰＳＦ推定に罫線を利用する。具体的には、ブレ補正装置は、ＰＳＦの推定を、読み取った読取枠Ｒ１の４辺うちの任意の罫線を用いて行う。このようなＰＳＦ推定の方法については、後で詳しく説明する。
【００５０】
［２−２］ＰＳＦ推定用マーカ位置の算出処理
推定用マーカ位置算出部１０４によって行われるＰＳＦ推定用マーカ位置の算出処理について、図６、図７及び図８を用いて詳しく説明する。図６は、推定用マーカ位置算出部１０４によって行われる処理手順を示すフローチャートである。図７は、撮影画像から算出するレイアウトマーカ間距離の説明に供する図である。図８は、マーカ情報保持部１０３から読み出される、帳票のレイアウト情報を示す図である。なお、図７及び図８は、帳票の様式が図５Ａに示した様式の場合に関する図である。
【００５１】
推定用マーカ位置算出部１０４は、図６に示すように、先ずステップＳ３０１でレイアウトマーカ検出部１０２からレイアウトマーカ検出結果を入力する。具体的には、推定用マーカ位置算出部１０４は、開始位置用のレイアウトマーカα１の中心座標と、終了位置用のレイアウトマーカα２の中心座標と、を入力する。
【００５２】
ステップＳ３０２において、推定用マーカ位置算出部１０４は、レイアウトマーカα１、α２間の距離を算出する。具体的には、図７に示したような、入力された２つの中心座標間の画像内距離ＤＩを次式により算出する。
【数１】
【００５３】
ステップＳ３０３において、推定用マーカ位置算出部１０４は、マーカ情報保持部１０３から、図８に示したようなレイアウト情報を読み出して取得する。推定用マーカ位置算出部１０４が取得する情報は、以下の情報である。
【００５４】
・帳票紙面上でのレイアウトマーカα１、α２間の距離の実寸Ｄ
・レイアウトマーカ中心位置を基準としたＰＳＦ推定用マーカ領域中心の相対位置（ＤＸＰ，ＤＹＰ）
・ＰＳＦ推定用マーカ領域の実寸（ＷＰ，ＨＰ）
【００５５】
ステップＳ３０４において、推定用マーカ位置算出部１０４は、ＰＳＦ推定用マーカβ１の中心位置を算出する。具体的には、算出する中心位置座標を（ＸＰ，ＹＰ）とすると、この（ＸＰ，ＹＰ）を、撮影画像と帳票レイアウトの相似関係を用いて、次式によって算出する。
【数２】
【００５６】
ステップＳ３０５において、推定用マーカ位置算出部１０４は、ＰＳＦ推定用マーカ領域座標を算出して出力する。具体的には、算出する領域の左上座標と右下座標をそれぞれ（ＸＰＬ，ＹＰＴ）、（ＸＰＲ，ＹＰＢ）とすると、推定用マーカ位置算出部１０４は、ステップＳ３０３で取得したＰＳＦ推定用マーカ領域の実寸と、ステップＳ３０４で算出した結果とを用いて、左上座標（ＸＰＬ，ＹＰＴ）と右下座標（ＸＰＲ，ＹＰＢ）を、次式により算出し、この領域座標データを出力する。
【数３】
【００５７】
［２−３］ＰＳＦ推定用マーカサイズの算出処理
推定用マーカサイズ算出部１０５によって行われるＰＳＦ推定用マーカβのサイズの算出処理について、図９及び図１０を用いて詳しく説明する。図９は、推定用マーカサイズ算出部１０５によって行われる処理手順を示すフローチャートである。図１０は、マーカ情報保持部１０３から読み出される、ＰＳＦ推定用マーカ情報の説明に供する図である。
【００５８】
推定用マーカサイズ算出部１０５は、図９に示すように、先ずステップＳ６０１で、撮影画像でのレイアウトマーカα１、α２間の距離ＤＩ（図７）と、帳票上でのレイアウトマーカα１、α２間の実寸距離Ｄ（図８）との比率Ｚを算出する。なお、距離ＤＩ及びＤは、推定用マーカ位置算出部１０４でも算出しているので、推定用マーカサイズ算出部１０５は、推定用マーカ位置算出部１０５から距離ＤＩ及びＤを入力して比率Ｚを求める。
【００５９】
ステップＳ６０２において、推定用マーカサイズ算出部１０５は、マーカ情報保持部１０３から、帳票上のＰＳＦ推定用マーカβ１に関する情報を読み出して取得する。推定用マーカサイズ算出部１０５が取得する情報は、以下の情報である（図１０参照）。
・マーカβの形状及び実寸値（円の場合は直径ＲＰ）
【００６０】
ステップＳ６０３において、推定用マーカサイズ算出部１０５は、ステップＳ６０１で算出した比率Ｚと、ステップＳ６０２で取得した実寸値とを用いて、撮影画像上でのＰＳＦ推定用マーカサイズを計算し、計算結果を出力する。ここで、計算されるＰＳＦ推定用マーカサイズは、円の場合、マーカサイズＲＰＩ＝ＲＰ・Ｚである。
【００６１】
［２−４］ＰＳＦ推定用マーカの基準画像の生成処理
推定用マーカ基準画像生成部１０６によって行われるＰＳＦ推定用マーカの基準画像の生成処理について、図１１及び図１２を用いて詳しく説明する。図１１は、推定用マーカ基準画像生成部１０６によって行われる処理手順を示すフローチャートである。図１２は、ＰＳＦ推定用マーカの基準画像（マーカ形状が円の場合）の描画例を示す図である。
【００６２】
推定用マーカ基準画像生成部１０６は、図１１に示すように、先ずステップＳ８０１で、推定用マーカ位置算出部１０４からＰＳＦ推定用マーカβの位置を入力する。具体的には、ＰＳＦ推定用マーカ領域座標が入力される。このＰＳＦ推定用マーカ領域座標は、上述したように、例えば矩形領域を表す場合、左上座標（ＸＰＬ，ＹＰＴ）と右下座標（ＸＰＲ，ＹＰＢ）である。
【００６３】
ステップＳ８０２において、推定用マーカ基準画像生成部１０６は、推定用マーカサイズ算出部１０５からＰＳＦ推定用マーカβのサイズを入力する。具体的には、ＰＳＦ推定用マーカサイズと偏角θ（図７）が入力される。
【００６４】
ステップＳ８０３において、推定用マーカ基準画像生成部１０６は、マーカ情報保持部１０３から、帳票上のＰＳＦ推定用マーカβに関する情報を読み出して取得する。推定用マーカ基準画像生成部１０６が取得する情報は、以下の情報である。
・マーカβの形状、マーカβの配色（白地に黒、又は、黒地に白）
【００６５】
ステップＳ８０４において、推定用マーカ基準画像生成部１０６は、ＰＳＦ推定用マーカ画素の色を決定する。具体的には、ステップＳ８０１で入力され特定された範囲の画素値を、撮影画像が格納されたフレームメモリ（画像入力部１０１）から読み出し、ＰＳＦ推定用マーカβの画素色を決定する。
【００６６】
決定方法としては、以下の２つの例がある。
【００６７】
例１） 範囲内の画素値のヒストグラムをとり、低輝度側・高輝度側のそれぞれでピークをなす画素レベルを検出し、低輝度側でピークをなす画素値をＰＳＦ推定用マーカの黒色に、高輝度側でピークをなす画素値をＰＳＦ推定用マーカの白色にそれぞれ割り当てる。
【００６８】
例２） 範囲内の画素値の最小値をＰＳＦ推定用マーカの黒色に、範囲内の画素値の最大値をＰＳＦ推定用マーカの白色にそれぞれ割り当てる。
【００６９】
ステップＳ８０５において、推定用マーカ基準画像生成部１０６は、ＰＳＦ推定用マーカ画像を描画する。具体的には、推定用マーカ基準画像生成部１０６は、ステップＳ８０１で入力されたマーカ領域座標から領域サイズを計算し、その領域サイズと同じサイズを持つ画像メモリを用意する。そして、推定用マーカ基準画像生成部１０６は、用意した画像メモリに、ステップＳ８０２とＳ８０３で得られた情報を元にＰＳＦ推定用マーカのパターンを描画する。パターンの白と黒それぞれに対応する画素値は、ステップＳ８０４で決定した各画素値を用いる。
【００７０】
図１２に、その描画例を示す。図１２は、ＰＳＦ推定用マーカの基準画像（マーカ形状が円の場合）の描画例を示す図である。図１２において、画素ａ、画素ｂに対して以下のような判定を行って、描画が行われる。
【００７１】
画素ａ：（ｘ座標）２＋（ｙ座標）２＝１３＞（ＲＰＩ／２）２＝６．２５
により、円周外の画素と判定し、背景色で描画する。
画素ｂ：（ｘ座標）２＋（ｙ座標）２＝２＜（ＲＰＩ／２）２＝６．２５
により、円周内の画素と判定し、前景色で描画する。
【００７２】
他の画素についても、同様の判定を行うことで、背景色かあるいは前景色かを決定することで、描画を行う。ここで、マーカ配色が白地に黒の場合は、背景色は「白」であり、前景色は「黒」である。逆に、マーカ配色が黒地に白の場合は、背景色は「黒」であり、前景色は「白」である。なお、各「白」、「黒」の具体的な画素値は、ステップＳ８０４で決定された値である。
【００７３】
ステップＳ８０６において、推定用マーカ基準画像生成部１０６は、ＰＳＦ推定用マーカ画像を回転させる。具体的には、ステップＳ８０５で描画した画像データに対して、回転角θ（図７）の回転変換を施す。ここで、回転の中心は、描画したＰＳＦ推定用マーカ画像の中心座標とすればよい。なお、マーカの形状が円の場合は、本ステップを省略できる。
【００７４】
ステップＳ８０７において、推定用マーカ基準画像生成部１０６は、ステップＳ８０５〜Ｓ８０６の処理を施した画像メモリのデータを、ＰＳＦ推定用マーカ基準画像として出力する。
【００７５】
［２−５］変形例
ＰＳＦ算出部１０８を、図１３に示すように構成し、逆畳込み処理部１０８−１で算出した推定ＰＳＦデータに対して、フィルタ部１０８−２でフィルタ処理を施せば、より鮮明な画像を得ることができる。つまり、このようにすることで、撮影画像のＳＮ（Signal to Noise ratio）が低い場合や、ＰＳＦ推定用マーカ基準画像に誤差がある場合であっても、鮮明な推定ＰＳＦを得ることができるので、ブレ補正後の画質を向上できる。フィルタ部１０８−２としては、ＬＰＦ（Low Pass Filter）やメディアンフィルタなど、高周波成分やインパルス状ノイズを除去するフィルタを用いればよい。
【００７６】
図１４に、本変形例での処理手順を示す。図１４では、図４と同様の処理については図４と同一の符号を付してある。図１４の処理手順が図４の処理手順と異なる点は、ステップＳ１００１において、フィルタ部１０８−２が、ステップＳ１０８で得られた推定ＰＳＦデータに対して推定ノイズ成分を除去するためのフィルタを施す点である。
【００７７】
［３］応用構成１
図１５に、応用構成１を示す。図１５では、図３と同様の構成要素には図３と同一の符号を付してある。図１５のブレ補正装置２００が図３のブレ補正装置１００と異なる点は、歪み検出部２０１を有する点である。歪み検出部２０１は、カメラの撮像面と紙との角度が並行でないことに起因する、撮影画像の歪みを検出する。歪み検出部２０１は、検出結果を、推定用マーカ基準画像生成部１０６及び推定用マーカ位置算出部１０４に出力する。推定用マーカ基準画像生成部１０６は、歪みも考慮して、推定用マーカの基準画像を生成する。
【００７８】
ここで、帳票をハンディカメラ等で撮影する場合には、帳票の紙面がカメラ光軸に垂直でないことはよくあることである。この場合、マーカの形状が幾何的に変形して撮影される。そこで、ブレ補正装置２００は、歪み検出部２０１でマーカ形状の幾何的変形を検出し、ＰＳＦ推定用マーカ基準画像も同じように変形させた上でＰＳＦ推定を行う。これにより、推定誤差の拡大を抑制できる。なお、ブレ補正装置２００は、撮影画像（入力画像）の幾何歪みを補正してから、基本構成（図３）の一連の処理をするのではなく、撮影画像の歪みは補正せず、撮影画像と同じ歪みをＰＳＦ推定用マーカ基準画像に加える構成となっている。
【００７９】
図１６に、ブレ補正装置２００で行われる処理手順を示す。図１６では、図４と同様の処理には図４と同一の符号を付してある。図１６の処理手順が図４の処理手順と異なる点は、主に、ステップＳ１１０１の幾何歪み検出処理、ステップＳ１１０２のＰＳＦ推定用マーカ領域算出処理、ステップＳ１１０３のＰＳＦ推定用マーカ基準画像生成処理、である。以下、これらの処理について、詳しく説明する。
【００８０】
［３−１］幾何歪みの検出処理
ステップＳ１１０１において歪み検出部２０１によって行われる幾何歪みの検出処理について説明する。
【００８１】
歪み検出部２０１は、ステップＳ１０１で入力された帳票紙面像の平面的な歪みを検出し、その歪みを表す平面射影変換行列Ｈを求める。この平面射影変換行列Ｈは、３×３の行列で、８つの未知数要素からなる行列であり、次式で表すことができる。
【数４】
【００８２】
Ｈの算出方法としては、図１７に示すような、帳票上の４つの代表点（帳票レイアウト上での座標系で表現された座標として既知である）が撮影画像中のどの座標に観測されているかを検出し、既知座標と観測座標の値を、次式の方程式に当てはめて、Ｈの各要素を導出する、方法がある。
【数５】
【００８３】
なお、図１７は、帳票レイアウト座標系で表された代表点の座標情報を示す図である。 撮影画像内の代表点座標の検出方法としては、以下のような方法を用いればよい。
【００８４】
方法１）帳票の読取枠Ｒ１のコーナー点４つを代表点とする場合には、画像からエッジ検出し、検出したエッジの交点座標を算出することで、代表点座標を求める。
【００８５】
方法２）歪みのない帳票画像を生成し、撮影画像との特徴点マッチングを行う。マッチングの取れた複数の座標ペアの中から、評価値の高い４点を抽出する。
【００８６】
［３−２］ＰＳＦ推定用マーカ領域の算出処理
ステップＳ１１０２において推定用マーカ位置算出部１０４によって行われるＰＳＦ推定用マーカ領域の算出処理について説明する。
【００８７】
推定用マーカ位置算出部１０４は、ＰＳＦ推定用マーカ領域を、マーカ情報保持部１０３からの帳票レイアウト情報、及びステップＳ１１０１で算出した射影変換行列を用いて算出する。
【００８８】
図１８は、ＰＳＦ推定用マーカ領域の算出処理手順を示すフローチャート（つまり、ステップＳ１１０２の詳細な処理内容を示すフローチャート）である。
【００８９】
推定用マーカ位置算出部１０４は、ステップＳ１３０１で歪み検出部２０１から平面射影変換行列Ｈを入力する。ステップＳ１３０２において、推定用マーカ位置算出部１０４は、マーカ情報保持部１０３から帳票類のレイアウト情報を読み出し、ＰＳＦ推定用マーカ領域の座標を得る。図１７の例の場合、ＰＳＦ推定用マーカ領域の座標として、左上角の座標（ＸＲＰＴＬ，ＹＲＰＴＬ）と、領域の幅ＷＲＰと、高さＨＲＰとを取得する。
【００９０】
ステップＳ１３０３において、推定用マーカ位置算出部１０４は、ＰＳＦ推定用マーカ領域を算出する。具体的には、ＰＳＦ推定用マーカ領域の４隅の座標をそれぞれ、射影変換行列Ｈによって撮影画像座標系での座標に変換する。図１７の例の場合、左上隅の点、右上隅の点、左下隅の点、右下隅の変換後座標をそれぞれ、（ＸＩＰ１，ＹＩＰ１），（ＸＩＰ２，ＹＩＰ２），（ＸＩＰ３，ＹＩＰ３），（ＸＩＰ４，ＹＩＰ４）とすると、これらは次式の変換式により求めることができる。
【数６】
【００９１】
ステップＳ１３０４において、推定用マーカ位置算出部１０４は、ステップＳ１３０３で変換して得た４点で定義される四角形に外接する矩形領域の座標を計算し、計算結果をＰＳＦ推定用マーカ領域座標として出力する。図１７の例の場合、求める矩形領域の左上隅座標を（ＸＰＬ，ＹＰＴ）、右下隅座標を（ＸＰＲ，ＹＰＢ）とすると、これらの座標は、次式により求めることができる。
【数７】
【００９２】
［３−３］ＰＳＦ推定用マーカの基準画像の生成処理
ステップＳ１１０３において推定用マーカ基準画像生成部１０６によって行われるＰＳＦ推定用マーカの基準画像の生成処理について説明する。
【００９３】
推定用マーカ基準画像生成部１０６は、推定用マーカ位置算出部１０４で算出されたＰＳＦ推定用マーカ領域と、マーカ情報保持部１０３から読み出した既知のＰＳＦ推定用マーカ形状データと、歪み検出部２０１で算出された射影変換行列Ｈと、を基に、撮影画像と同じ歪みを持ったＰＳＦ推定用マーカの基準画像を生成し、これをＰＳＦ推定用マーカ基準画像データとして保持する。
【００９４】
図１９は、ＰＳＦ推定用マーカの基準画像の生成処理手順を示すフローチャート（つまり、ステップＳ１１０３の詳細な処理内容を示すフローチャート）である。なお、図１９では、図１１と同様の処理については図１１と同一の符号を付してあり、以下ではこの同一の処理についての説明は省略する。
【００９５】
推定用マーカ基準画像生成部１０６は、ステップＳ１４０１において、歪み検出部２０１から平面射影変換行列Ｈを入力する。ステップＳ１４０２において、推定用マーカ基準画像生成部１０６は、マーカ情報保持部１０３から、帳票上のＰＳＦ推定用マーカに関する情報を読み出して取得する。推定用マーカ基準画像生成部１０６が取得する情報は、以下の情報である。
・マーカの形状、マーカの配色（白地に黒、又は、黒地に白）
・帳票レイアウト座標系でのマーカ位置及び大きさに関する情報（図２０参照）
【００９６】
図２０は、マーカ情報保持部１０３から読み出すＰＳＦ推定用マーカ情報を示すものである。図の例では、マーカ中心座標は（ＸＲＰＣ，ＹＲＰＣ）、マーカの円の直径はＲＰである。
【００９７】
ステップＳ１４０３では、推定用マーカ基準画像生成部１０６は、ＰＳＦ推定用マーカ画像を描画する。具体的には、推定用マーカ基準画像生成部１０６は、ステップＳ８０１で入力されたマーカ領域座標から領域サイズを計算し、その領域サイズと同じサイズを持つ画像メモリを用意する。そして、推定用マーカ基準画像生成部１０６は、用意した画像メモリに、ステップＳ１４０１とＳ１４０２で得られた情報を元にＰＳＦ推定用マーカのパターンを描画する。パターンの白と黒それぞれに対応する画素値は、ステップＳ８０４で決定した各画素値を用いる。
【００９８】
図２１に、その描画例を示す。図２１は、ＰＳＦ推定用マーカの基準画像（マーカ形状が円の場合）の描画例を示す図である。
【００９９】
ここで、画像メモリ上の各画素がパターンの白・黒のどちらにあたるかは、その画素の座標（撮影画像座標系で表現したもの）を射影変換行列Ｈの逆行列Ｈ−１で帳票レイアウト座標系に写像して得た座標値が、ＰＳＦ推定用マーカのどの位置にあたるかを調べればよい。
【０１００】
図２１での例の場合、画像メモリ上の画素Ｍの撮影画像座標系での座標を（ＸＩＭ，ＹＩＭ）とすると、画素ＭをＨ−１で写像した点Ｍ’の帳票レイアウト座標系での座標（ＸＲＭ，ＹＲＭ）は、次式で表される。
【数８】
【０１０１】
点Ｍ’とマーカ円の中心（ＸＲＰＣ，ＹＲＰＣ）間の距離ＤＭは、次式により算出できる。
【数９】
【０１０２】
よって、推定用マーカ基準画像生成部１０６は、図２１の画素ａ、画素ｂに対して以下のような判定を行って、描画を行う。
【０１０３】
画素ａは、ＤＭ＞ＲＰ／２の場合であり、点Ｍ’がマーカ円の外部にあることから、背景色で点Ｍを描画する。
画素ｂは、ＤＭ≦ＲＰ／２の場合であり、点Ｍ’がマーカ円の内部にあることから、前景色で点Ｍを描画する。
【０１０４】
このようにして、推定用マーカ基準画像生成部は、基準となるＰＳＦ推定用マーカ画像に、歪み検出部２０１によって検出された歪みを反映させることができる。
【０１０５】
［４］応用構成２
図２２に、応用構成２を示す。図２２では、図３と同様の構成要素には図３と同一の符号を付してある。図２２のブレ補正装置３００が図３のブレ補正装置１００と異なる点は、領域分割部３０１、最適ＰＳＦ対応付け部３０２、合成部３０３を有する点である。
【０１０６】
領域分割部３０１は、推定用マーカ位置算出部１０４により得られた、推定用マーカβの画像中の位置に応じて、撮影領域を分割する。例えば、各推定用マーカβの位置に基づいて、ボロノイ領域を作成する。分割した撮影画像を最適ＰＳＦ対応付け部３０２に出力する。
【０１０７】
最適ＰＳＦ対応付け部３０２は、分割された画像に対応するＰＳＦを対応付ける。ブレ補正部１０９は、領域に対応するＰＳＦを用いて各領域のブレ補正を行う。合成部３０３は、ブレ補正された各領域を合成する。
【０１０８】
ここで、手ブレの場合には、画面全体が一様にボケるはずだが、撮影時の条件次第では、部分的にボケ方が異なることがある。そのため、本構成では、ＰＳＦ推定用のマーカを帳票内の複数個所に形成し（印刷し）、それぞれの箇所ごとにＰＳＦ推定及びブレ補正を行う。そして、最後に、各画素位置がどのマーカにどの程度近いかに応じて、各ブレ補正画像の選択又は合成出力を行う。
【０１０９】
図２３に、本構成で用いる帳票の構成例を示す。図５に示した帳票と異なるのは、レイアウトマーカα１、α２の間に、複数のＰＳＦ推定用マーカβ１、β２、β３が形成されている点である。
【０１１０】
図２４に、ブレ補正装置３００による処理の様子を示す。先ず、図２４Ａに示すように、ＰＳＦ推定用マーカ毎にＰＳＦが求められる。次に、図２４Ｂに示すように、撮影画像を各ＰＳＦを適用する領域毎に分割する。他の方法として、文字を認識して文字ごとにどのＰＳＦを適用するか決める方法を採用してもよい。このようにすれば、１つの文字が複数の領域に分割されることがないので、よりきれいな結果を得ることができる。次に、図２４Ｃ示すように、分割領域毎に対応するＰＳＦを用いてブレを補正し、補正後の画像を合成することで、鮮明な画像を得る。
【０１１１】
［５］応用構成３
ここでは、図５Ｃに示したように、帳票にＰＳＦ推定用マーカβ１がない場合に、罫線を利用してＰＳＦ推定を行う構成について説明する。
【０１１２】
図２５に、応用構成３を示す。図２５では、図３と同様の構成要素には図３と同一の符号を付してある。図２５のブレ補正装置４００が図３のブレ補正装置１００と異なる点は、罫線位置算出部４０１、罫線太さ算出部４０２、罫線断面基準画像生成部４０３、罫線断面位置対応付け部４０４を有する点である。
【０１１３】
ここで、罫線断面とは、横方向の罫線をＰＳＦ推定に用いる場合には、垂直方向の線分で切断した面であり、縦方向の罫線をＰＳＦ推定に用いる場合には、水平方向の線分で切断した面である。
【０１１４】
罫線位置算出部４０１は、レイアウトマーカ検出部１０２によって検出されたレイアウトマーカα１、α２の座標と、マーカ情報保持部１０３によって保持されているマーカ情報（既知のレイアウト情報）とから、ＰＳＦ推定に用いる罫線（以下、推定用罫線と呼ぶ）の位置を算出し、算出した切断位置座標データを出力する。なお、ここではＰＳＦ推定のための罫線として、読取枠Ｒ１を用いる場合ついて説明するが、読取対象を囲む別の罫線を用いてもよい。罫線位置の算出については、後で詳しく説明する。
【０１１５】
罫線太さ算出部４０２は、レイアウトマーカ検出部１０２によって検出されたレイアウトマーカの座標と、罫線位置算出部４０１によって算出された罫線の位置と、マーカ情報保持部１０３によって保持されているマーカ情報（既知のレイアウト情報）とから、罫線の太さを算出する。この罫線太さの算出については、後で詳しく説明する。
【０１１６】
罫線断面基準画像生成部４０３は、罫線太さ算出部４０２によって算出された罫線の太さから、当該罫線断面の基準画像（１次元の信号）を生成する。この罫線断面の基準画像生成処理については、後で詳しく説明する。
【０１１７】
罫線断面位置対応付け部４０４は、罫線位置算出部４０１によって算出された罫線の位置と、罫線太さ算出部４０２によって算出された罫線の太さとに基づいて、基準となる罫線断面に対応する撮影画像中の当該罫線断面の位置を対応付けて、推定用罫線の断面画像（１次元のデータ）を画像入力部１０１のフレームメモリから切り出して、推定用罫線断面実画像データとして保持する。
【０１１８】
ＰＳＦ算出部１０８は、罫線断面基準画像生成部４０３により得られた罫線断面基準画像と、罫線断面位置対応付け部４０４により撮影画像から切出された罫線断面画像（１次元の信号）とを用いて、逆畳込み演算を行うことで、ＰＳＦを算出（推定）する。ＰＳＦ算出部１０８は、演算結果を推定ＰＳＦデータとして保持する。なお、ここで得られる推定ＰＳＦデータも１次元となる。
【０１１９】
そこで、罫線断面基準画像生成部４０３は、１次元の推定ＰＳＦデータを２次元データに拡張する。その様子を、図２６及び図２７に示す。図２６は、逆畳込みにより得られる１次元のＰＳＦデータを示す。図２７は、２次元データに拡張された推定ＰＳＦデータを示すものである。図２７Ａは、推定用罫線が水平方向の場合の、２次元化された推定ＰＳＦデータを示すものである。図２７Ｂは、推定用罫線が垂直方向の場合の、２次元化されたＰＳＦデータを示すものである。図２７から分かるように、２次元拡張のためにデータ値０が追加される。
【０１２０】
図２８に、ブレ補正装置４００によって行われる処理手順を示す。図２８では、図４と同様の処理については図４と同一の符号を付してあり、以下ではこの同一の処理についての説明は省略する。
【０１２１】
ステップＳ１６０１では、罫線位置算出部４０１によって推定用の罫線位置を算出し、ステップＳ１６０２では、罫線太さ算出部４０２によって推定用の罫線の太さを算出する。
【０１２２】
ステップＳ１６０３では、罫線断面位置対応付け部４０４によって、撮影画像から推定用の罫線断面画像を切出す。ステップＳ１６０４では、罫線断面基準画像生成部４０３によって、推定用罫線断面の基準画像を生成する。
【０１２３】
ステップＳ１６０５では、ＰＳＦ算出部１０８によって、推定用罫線断面画像の逆畳込み処理が行われることで、推定ＰＳＦが得られる。さらに、１次元の推定ＰＳＦが２次元の推定ＰＳＦに拡張される。
【０１２４】
［５−１］推定用罫線位置算出処理
ステップＳ１６０１において罫線位置算出部４０１によって行われる推定用罫線位置算出処理について説明する。
【０１２５】
図２９は、推定用罫線位置算出処理手順を示すフローチャート（つまり、ステップＳ１６０１の詳細な処理内容を示すフローチャート）である。なお、図２９では、図６と同様の処理については図６と同一の符号を付してあり、以下ではこの同一の処理についての説明は省略する。
【０１２６】
罫線位置算出部４０１は、ステップＳ１７０１において、レイアウト情報を入力する。つまり、帳票類のレイアウトに関する情報をマーカ情報保持部１０３から読み出して取得する。
【０１２７】
図３０に、マーカ情報保持部１０３から読み出されるレイアウト情報の例を示す。罫線位置算出部４０１が読み出すレイアウト情報は、以下の情報である。
・帳票紙面上でのレイアウトマーカ間距離の実寸Ｄ
・レイアウトマーカの中心位置を基準とした推定用罫線までの距離（ＤＹＰ）
【０１２８】
ステップＳ１７０２では、罫線位置算出部４０１は、推定用罫線の切断位置を算出し、算出した切断位置座標データを出力する。ここで、算出する切断位置座標を（ＸＰ，ＹＰ）とすると、この切断位置座標（ＸＰ，ＹＰ）を、撮影画像と帳票レイアウトの相似関係を用いて、次式により算出する。この算出方法は、図７で説明したのと同様である。
【数１０】
【０１２９】
なお、ＤＸＰは、推定用罫線の断面をとる位置（帳票レイアウトでの寸法単位）であり、推定ＰＳＦを算出したい帳票部分に応じて、０〜Ｄまでの間の任意の値を設定してよい。
【０１３０】
［５−２］推定用罫線太さ算出処理
ステップＳ１６０２において罫線太さ算出部４０２によって行われる推定用罫線太さ算出処理について説明する。
【０１３１】
図３１は、推定用罫線太さ算出処理手順を示すフローチャート（つまり、ステップＳ１６０２の詳細な処理内容を示すフローチャート）である。なお、図３１では、図９と同様の処理については図９と同一の符号を付してある。
【０１３２】
罫線太さ算出部４０２は、ステップＳ６０１で、撮影画像でのレイアウトマーカα１、α２間の距離ＤＩ（図７）と、帳票上でのレイアウトマーカα１、α２間の実寸距離Ｄ（図３０）との比率Ｚを算出する。なお、距離ＤＩ及びＤは、罫線位置算出部４０１でも算出しているので、罫線太さ算出部４０２は、罫線位置算出部４０１から距離ＤＩ及びＤを入力して比率Ｚを求める。また、罫線太さ算出部４０２は、偏角θ（図７）を入力する。
【０１３３】
罫線太さ算出部４０２は、ステップＳ１９０１において、レイアウト情報を入力する。つまり、帳票類のレイアウトに関する情報をマーカ情報保持部１０３から読み出して取得する。罫線太さ算出部４０２が読み出すレイアウト情報は、以下の情報である。
・罫線太さの実寸値ＨＰ（図３０参照）
【０１３４】
罫線太さ算出部４０２は、ステップＳ１９０２において、ステップＳ６０１及びステップＳ１９０１で得た値を用いて、撮影画像上での推定用罫線の太さ（断面幅）を計算し、これを出力する。罫線太さＨＰＩＣは、次式により求めることができる。
【数１１】
【０１３５】
［５−３］推定用罫線断面の基準画像の生成処理
ステップＳ１６０４において罫線断面基準画像生成部４０３によって行われる推定用罫線断面の基準画像の生成処理について説明する。
【０１３６】
図３２は、推定用罫線断面の基準画像の生成処理手順を示すフローチャート（つまり、ステップＳ１６０４の詳細な処理内容を示すフローチャート）である。
【０１３７】
罫線断面基準画像生成部４０３は、ステップＳ２００１において、前のステップＳ１７０２で算出された推定用罫線切断位置の座標（ＸＰ，ＹＰ）を入力する。ステップＳ２００２では、前のステップＳ１６０２で算出された推定用罫線断面幅ＨＰＩＣを入力する。
【０１３８】
罫線断面基準画像生成部４０３は、ステップＳ２００３において、マーカ情報保持部１０３から、帳票のレイアウトに関する情報を読み出して取得する。罫線断面基準画像生成部４０３が取得する情報は、以下の情報である。
・推定用罫線の配色（白地に黒、又は、黒地に白など）
【０１３９】
ステップＳ２００４において、罫線断面基準画像生成部４０３は、ステップＳ２００１及びＳ２００２で特定される断面線分上の画素値を、撮影画像が格納された画像入力部１０１のフレームメモリから読み出し、推定用罫線断面基準画像の画素色を決定する。この読み出しは、罫線断面近傍の背景画素を含むように行う。例えば、水平の罫線を用いる場合には、読み出す範囲の座標を、（ＸＰ，ＹＰ−Δ１）〜（ＸＰ，ＹＰ＋ＨＰＩＣ＋Δ２）とする。但し、Δ１，Δ２は、罫線上下で余分に読み出す背景領域の高さを示す。なお、画素値の決定方法はステップＳ８０４で説明した方法と同様である。
【０１４０】
ステップＳ２００５において、罫線断面基準画像生成部４０３は、推定用罫線断面画像を描画する。具体的には、罫線断面基準画像生成部４０３は、先ず、ステップＳ２００４で撮影画像から読み出した画素データと同数の要素を持つ画像メモリ（１次元）を用意する。そして、用意した画像メモリに対して、ステップＳ２００２とＳ２００３で得られた情報を基に罫線断面パターンを描画する。パターンの白と黒それぞれに対応する画素値は、ステップＳ２００４で決定した各画素値を用いる。
【０１４１】
ステップＳ２００６において、罫線断面基準画像生成部４０３は、ステップＳ２００５で描画したデータを、推定用罫線断面基準画像として出力する。
【０１４２】
［６］応用構成４
本構成では、ＰＳＦ推定用マーカとして、１ドットの点像を用いる。これにより、特許文献２にも記載されているように、ＰＳＦを求める際に、１ドットの点像の撮像画像をそのままＰＳＦとして利用することができるので、計算量が少なくて済む。因みに、複数ドットの点像を用いる場合には、逆畳込み処理が必要となるので、計算量が大きくなる。ここで、１ドットとは、撮影画像を撮影したカメラの最小画素（例えばＣＣＤの１受光素子）のことである。
【０１４３】
図３３に、応用構成４で用いる帳票の構成例を示す。ＰＳＦ推定用マーカβは、大きさの異なる複数の点像から構成されている。そして、本構成のブレ補正装置は、レイアウトマーカα１、α２を用いて複数の点像のサイズを推定し、複数の点像の中から１ドットで写っているものを抽出する。抽出されたＰＳＦ推定用マーカを用いることで、少ない計算量でＰＳＦを求めることができる。
【０１４４】
図３４に、応用構成４を示す。図３４では、図３と同様の構成要素には図３と同一の符号を付してある。図３４のブレ補正装置５００は、マーカ選択部５０１、ＰＳＦ正規化部５０２を有する。
【０１４５】
推定用マーカサイズ算出部１０５は、レイアウトマーカα１、α２を用いて、複数の点像（図３３）のサイズを推定し、推定結果をマーカ選択部５０１に出力する。
【０１４６】
マーカ選択部５０１は、サイズ推定結果に基づいて、複数の点像の中から１ドットで撮影されているものを選択する。
【０１４７】
推定用マーカ位置対応付け部１０７は、マーカ選択部５０１で選択された推定用マーカの位置に基づいて、撮影画像中の推定用マーカの位置を対応付けて、切出す。
【０１４８】
ＰＳＦ正規化部５０２は、マーカ位置対応付け部１０７で切り出されたマーカ領域画像（≒ＰＳＦ画像）の各画素の信号レベルを正規化する。具体的には、以下の処理を行う。
【０１４９】
・先ず、白地に黒のＰＳＦ推定用マーカが形成されている場合、マーカ領域画像の白と黒を反転させる。なお、黒地に白のＰＳＦ推定用マーカが形成されている場合は、反転は必要ない。
【０１５０】
・次に、黒地の信号レベルが０になるよう全体の信号レベルを一律に下げる。こうして得られたものを、推定ＰＳＦとして用いる。
【０１５１】
［７］実施の形態の効果
撮影画像からレイアウトマーカを検出するレイアウトマーカ検出部１０２と、ＰＳＦ推定用マーカの位置を求める推定用マーカ位置算出部１０４と、ＰＳＦ推定用マーカの大きさを求める推定用マーカサイズ算出部１０５と、基準となるＰＳＦ推定用マーカ画像を生成する推定用マーカ基準画像生成部１０６と、基準となる推定用マーカ画像とそれに対応する撮影画像中の推定用マーカ画像とを用いてＰＳＦを推定するＰＳＦ算出（推定）部１０８と、推定されたＰＳＦを用いて撮影画像のブレを補正するブレ補正部１０９と、を設けたことにより、比較的少ない演算量で、かつ、簡易な構成で、かつ、容易な操作で、高精度のブレ補正を行うことができるようになる。
【０１５２】
すなわち、本実施の形態によれば、少ない演算量で精度良く、１枚の静止画からブレを補正できる。また、付加的なセンサを用いることなくブレを補正できる。また、被写体撮影と同時にＰＳＦが推定されるので、余計な撮影ステップを不要にできる。また、カメラと被写体の位置関係を固定することなくブレを補正できる。また、撮影時の手ブレによる画像ブレだけでなく、撮像対象である帳票等の状態に起因する画像ブレも補正できる。
【０１５３】
なお、上述の実施の形態のブレ補正装置１００、２００、３００、４００、５００は、メモリ・ＣＰＵを含むパソコン等のコンピュータによって構成することができる。そして、ブレ補正装置１００、２００、３００、４００、５００を構成する各構成要素の機能は、メモリ上に記憶されたコンピュータプログラムをＣＰＵが読み出して実行処理することで実現できる。
【産業上の利用可能性】
【０１５４】
本発明は、例えばハンディターミナル等のカメラ付き携帯端末で帳票類を撮影し、撮影画像を画像認識するような装置に有用である。
【符号の説明】
【０１５５】
１００、２００、３００、４００、５００ ブレ補正装置
１０１ 画像入力部
１０２ レイアウトマーカ検出部
１０３ マーカ情報保持部
１０４ 推定用マーカ位置算出部
１０５ 推定用マーカサイズ算出部
１０６ 推定用マーカ基準画像生成部
１０７ 推定用マーカ位置対応付け部
１０８ ＰＳＦ算出部
１０９ ブレ補正部
２０１ 歪み補正部
３０１ 領域分割部
３０２ 最適ＰＳＦ対応付け部
３０３ 合成部
４０１ 罫線位置算出部
４０２ 罫線太さ算出部
４０３ 罫線断面基準画像生成部
４０４ 罫線断面位置対応付け部
５０１ マーカ選択部
５０２ ＰＳＦ正規化部
α１、α２ レイアウトマーカ
β、β１、β２、β３ ＰＳＦ推定用マーカ
Ｌ１ 文字記入欄
Ｒ１ 読取枠
【特許請求の範囲】
【請求項１】
レイアウトマーカとＰＳＦ推定用マーカとが含まれる撮影画像を入力する画像入力部と、
前記撮影画像からレイアウトマーカを検出するレイアウトマーカ検出部と、
レイアウトマーカの情報を保持するマーカ情報保持部と、
前記レイアウトマーカ検出部によって得られたレイアウトマーカの検出結果と、前記マーカ情報保持部に保持されたレイアウトマーカの情報と、に基づいて、前記ＰＳＦ推定用マーカの位置を求める推定用マーカ位置算出部と、
前記レイアウトマーカ検出部によって得られたレイアウトマーカの検出結果と、前記マーカ情報保持部に保持されたレイアウトマーカの情報と、に基づいて、前記ＰＳＦ推定用マーカの大きさを求める推定用マーカサイズ算出部と、
前記推定用マーカサイズ算出部によって得られたＰＳＦ推定用マーカの大きさに基づいて、基準となるＰＳＦ推定用マーカ画像を生成する推定用マーカ基準画像生成部と、
前記推定用マーカ位置算出部によって得られたＰＳＦ推定用マーカの位置に基づいて、前記推定用マーカ基準画像生成部によって得られた基準となるＰＳＦ推定用マーカ画像と、前記撮影画像中のＰＳＦ推定用マーカの画像と、の位置を対応付ける推定用マーカ位置対応付け部と、
前記推定用マーカ位置対応付け部によって対応付けられた、前記基準となるＰＳＦ推定用マーカ画像と、前記撮影画像中のＰＳＦ推定用マーカ画像と、を用いて、ＰＳＦを推定するＰＳＦ推定部と、
推定されたＰＳＦを用いて、前記撮影画像のブレを補正するブレ補正部と、
を具備するブレ補正装置。
【請求項２】
前記撮影画像の歪みを検出する歪み検出部を、さらに具備し、
前記推定用マーカ基準画像生成部は、前記基準となるＰＳＦ推定用マーカ画像に、前記歪み検出部によって検出された歪みを反映させる、
請求項１に記載のブレ補正装置。
【請求項３】
前記撮影画像には、複数のＰＳＦ推定用マーカが含まれ、
前記ＰＳＦ推定部は、ＰＳＦ推定用マーカごとにＰＳＦを推定し、
前記ブレ補正装置は、前記推定用マーカ位置算出部により得られた前記複数のＰＳＦ推定用マーカの位置に応じて、前記撮影画像を複数の領域に分割する領域分割部と、
前記ＰＳＦ推定部によって推定された各ＰＳＦ推定用マーカのＰＳＦと、前記領域分割部によって得られた各領域と、を対応付ける最適ＰＳＦ対応付け部と、
前記ブレ補正部によってブレ補正が行われた各領域の画像を合成する合成部と、
を、さらに具備し、
前記ブレ補正部は、各領域に対応付けられたＰＳＦを用いて、領域ごとにブレ補正を行う、
請求項１に記載のブレ補正装置。
【請求項４】
前記ＰＳＦ推定用マーカは、罫線であり、
前記推定用マーカ位置算出部は、前記レイアウトマーカ検出部によって得られたレイアウトマーカの検出結果と、前記マーカ情報保持部に保持されたレイアウトマーカの情報と、に基づいて、前記罫線の位置を求める罫線位置算出部であり、
前記推定用マーカサイズ算出部は、前記レイアウトマーカ検出部によって得られたレイアウトマーカの検出結果と、前記マーカ情報保持部に保持されたレイアウトマーカの情報と、に基づいて、前記罫線の太さを求める罫線太さ算出部であり、
前記推定用マーカ基準画像生成部は、前記罫線太さ算出部によって得られた罫線の太さに基づいて、基準となる罫線を生成し、
前記推定用マーカ位置対応付け部は、前記罫線位置算出部によって得られた罫線の位置に基づいて、前記推定用マーカ基準画像生成部によって得られた基準となる罫線画像と、前記撮影画像中の罫線画像と、を対応付け、
前記ＰＳＦ推定部は、前記推定用マーカ位置対応付け部によって対応付けられた、前記基準となる罫線画像と、撮影画像中の罫線画像と、を用いて、ＰＳＦを推定する、
請求項１に記載のブレ補正装置。
【請求項５】
前記ＰＳＦ推定用マーカは、互いに大きさの異なる複数の点像であり、
前記推定用マーカ位置算出部は、前記レイアウトマーカ検出部によって得られたレイアウトマーカの検出結果と、前記マーカ情報保持部に保持されたレイアウトマーカの情報と、に基づいて、前記複数の点像の位置を求め、
前記推定用マーカサイズ算出部は、前記レイアウトマーカ検出部によって得られたレイアウトマーカの検出結果と、前記マーカ情報保持部に保持されたレイアウトマーカの情報と、に基づいて、前記複数の点像のサイズを求め、
前記推定用マーカ基準画像生成部は、前記推定用マーカサイズ算出部によって得られた複数の点像のサイズに基づいて、前記複数の点像の中から１ドットの点像を、基準となるＰＳＦ推定用マーカとして選択し、
前記推定用マーカ位置対応付け部は、前記推定用マーカ基準画像生成部によって選択された点像の位置に対応する、前記撮影画像中の点像を切出し、
前記ＰＳＦ推定部は、前記推定用マーカ位置対応付け部によって切出された前記点像を正規化することで、ＰＳＦを推定する、
請求項１に記載のブレ補正装置。
【請求項６】
前記ＰＳＦ推定部は、前記推定用マーカ位置対応付け部によって対応付けられた、前記基準となるＰＳＦ推定用マーカ画像と、撮影画像中のＰＳＦ推定用マーカ画像と、を用いて、逆畳込み処理を行うことで、ＰＳＦを推定する、
請求項１から請求項５のいずれか一項に記載のブレ補正装置。
【請求項７】
レイアウトマーカとＰＳＦ推定用マーカとが含まれる撮影画像からレイアウトマーカを検出するレイアウトマーカ検出ステップと、
検出されたレイアウトマーカを基に、前記ＰＳＦ推定用マーカの位置を求める推定用マーカ位置算出ステップと、
検出されたレイアウトマーカを基に、前記ＰＳＦ推定用マーカの大きさを求める推定用マーカサイズ算出ステップと、
検出されたＰＳＦ推定用マーカの大きさに基づいて、基準となるＰＳＦ推定用マーカ画像を生成する推定用マーカ基準画像生成ステップと、
算出されたＰＳＦ推定用マーカの位置に基づいて、生成された基準となるＰＳＦ推定用マーカ画像と、前記撮影画像中のＰＳＦ推定用マーカの画像と、の位置を対応付ける推定用マーカ位置対応付けステップと、
対応付けられた、前記基準となるＰＳＦ推定用マーカ画像と、前記撮影画像中のＰＳＦ推定用マーカ画像と、を用いて、ＰＳＦを推定するＰＳＦ推定ステップと、
推定されたＰＳＦを用いて、前記撮影画像のブレを補正するブレ補正ステップと、
を含むブレ補正方法。
【請求項８】
請求項１から請求項６のいずれか一項に記載のブレ補正装置に、その撮影画像が入力される帳票であって、
読取枠と、
前記読取枠内に設けられた文字記入欄と、
前記読取枠内で、かつ、文字記入欄を挟む位置に形成された第１及び第２のレイアウトマーカと、
前記読取枠内で、かつ、前記第１及び第２のレイアウトマーカの間に形成されたＰＳＦ推定用マーカと、
を有する帳票。
【請求項９】
前記ＰＳＦ推定用マーカは、前記読取枠内の中央位置に形成されている、
請求項８に記載の帳票。
【請求項１０】
前記ＰＳＦ推定用マーカは、閉じた図形である、
請求項８又は請求項９に記載の帳票。
【請求項１】
レイアウトマーカとＰＳＦ推定用マーカとが含まれる撮影画像を入力する画像入力部と、
前記撮影画像からレイアウトマーカを検出するレイアウトマーカ検出部と、
レイアウトマーカの情報を保持するマーカ情報保持部と、
前記レイアウトマーカ検出部によって得られたレイアウトマーカの検出結果と、前記マーカ情報保持部に保持されたレイアウトマーカの情報と、に基づいて、前記ＰＳＦ推定用マーカの位置を求める推定用マーカ位置算出部と、
前記レイアウトマーカ検出部によって得られたレイアウトマーカの検出結果と、前記マーカ情報保持部に保持されたレイアウトマーカの情報と、に基づいて、前記ＰＳＦ推定用マーカの大きさを求める推定用マーカサイズ算出部と、
前記推定用マーカサイズ算出部によって得られたＰＳＦ推定用マーカの大きさに基づいて、基準となるＰＳＦ推定用マーカ画像を生成する推定用マーカ基準画像生成部と、
前記推定用マーカ位置算出部によって得られたＰＳＦ推定用マーカの位置に基づいて、前記推定用マーカ基準画像生成部によって得られた基準となるＰＳＦ推定用マーカ画像と、前記撮影画像中のＰＳＦ推定用マーカの画像と、の位置を対応付ける推定用マーカ位置対応付け部と、
前記推定用マーカ位置対応付け部によって対応付けられた、前記基準となるＰＳＦ推定用マーカ画像と、前記撮影画像中のＰＳＦ推定用マーカ画像と、を用いて、ＰＳＦを推定するＰＳＦ推定部と、
推定されたＰＳＦを用いて、前記撮影画像のブレを補正するブレ補正部と、
を具備するブレ補正装置。
【請求項２】
前記撮影画像の歪みを検出する歪み検出部を、さらに具備し、
前記推定用マーカ基準画像生成部は、前記基準となるＰＳＦ推定用マーカ画像に、前記歪み検出部によって検出された歪みを反映させる、
請求項１に記載のブレ補正装置。
【請求項３】
前記撮影画像には、複数のＰＳＦ推定用マーカが含まれ、
前記ＰＳＦ推定部は、ＰＳＦ推定用マーカごとにＰＳＦを推定し、
前記ブレ補正装置は、前記推定用マーカ位置算出部により得られた前記複数のＰＳＦ推定用マーカの位置に応じて、前記撮影画像を複数の領域に分割する領域分割部と、
前記ＰＳＦ推定部によって推定された各ＰＳＦ推定用マーカのＰＳＦと、前記領域分割部によって得られた各領域と、を対応付ける最適ＰＳＦ対応付け部と、
前記ブレ補正部によってブレ補正が行われた各領域の画像を合成する合成部と、
を、さらに具備し、
前記ブレ補正部は、各領域に対応付けられたＰＳＦを用いて、領域ごとにブレ補正を行う、
請求項１に記載のブレ補正装置。
【請求項４】
前記ＰＳＦ推定用マーカは、罫線であり、
前記推定用マーカ位置算出部は、前記レイアウトマーカ検出部によって得られたレイアウトマーカの検出結果と、前記マーカ情報保持部に保持されたレイアウトマーカの情報と、に基づいて、前記罫線の位置を求める罫線位置算出部であり、
前記推定用マーカサイズ算出部は、前記レイアウトマーカ検出部によって得られたレイアウトマーカの検出結果と、前記マーカ情報保持部に保持されたレイアウトマーカの情報と、に基づいて、前記罫線の太さを求める罫線太さ算出部であり、
前記推定用マーカ基準画像生成部は、前記罫線太さ算出部によって得られた罫線の太さに基づいて、基準となる罫線を生成し、
前記推定用マーカ位置対応付け部は、前記罫線位置算出部によって得られた罫線の位置に基づいて、前記推定用マーカ基準画像生成部によって得られた基準となる罫線画像と、前記撮影画像中の罫線画像と、を対応付け、
前記ＰＳＦ推定部は、前記推定用マーカ位置対応付け部によって対応付けられた、前記基準となる罫線画像と、撮影画像中の罫線画像と、を用いて、ＰＳＦを推定する、
請求項１に記載のブレ補正装置。
【請求項５】
前記ＰＳＦ推定用マーカは、互いに大きさの異なる複数の点像であり、
前記推定用マーカ位置算出部は、前記レイアウトマーカ検出部によって得られたレイアウトマーカの検出結果と、前記マーカ情報保持部に保持されたレイアウトマーカの情報と、に基づいて、前記複数の点像の位置を求め、
前記推定用マーカサイズ算出部は、前記レイアウトマーカ検出部によって得られたレイアウトマーカの検出結果と、前記マーカ情報保持部に保持されたレイアウトマーカの情報と、に基づいて、前記複数の点像のサイズを求め、
前記推定用マーカ基準画像生成部は、前記推定用マーカサイズ算出部によって得られた複数の点像のサイズに基づいて、前記複数の点像の中から１ドットの点像を、基準となるＰＳＦ推定用マーカとして選択し、
前記推定用マーカ位置対応付け部は、前記推定用マーカ基準画像生成部によって選択された点像の位置に対応する、前記撮影画像中の点像を切出し、
前記ＰＳＦ推定部は、前記推定用マーカ位置対応付け部によって切出された前記点像を正規化することで、ＰＳＦを推定する、
請求項１に記載のブレ補正装置。
【請求項６】
前記ＰＳＦ推定部は、前記推定用マーカ位置対応付け部によって対応付けられた、前記基準となるＰＳＦ推定用マーカ画像と、撮影画像中のＰＳＦ推定用マーカ画像と、を用いて、逆畳込み処理を行うことで、ＰＳＦを推定する、
請求項１から請求項５のいずれか一項に記載のブレ補正装置。
【請求項７】
レイアウトマーカとＰＳＦ推定用マーカとが含まれる撮影画像からレイアウトマーカを検出するレイアウトマーカ検出ステップと、
検出されたレイアウトマーカを基に、前記ＰＳＦ推定用マーカの位置を求める推定用マーカ位置算出ステップと、
検出されたレイアウトマーカを基に、前記ＰＳＦ推定用マーカの大きさを求める推定用マーカサイズ算出ステップと、
検出されたＰＳＦ推定用マーカの大きさに基づいて、基準となるＰＳＦ推定用マーカ画像を生成する推定用マーカ基準画像生成ステップと、
算出されたＰＳＦ推定用マーカの位置に基づいて、生成された基準となるＰＳＦ推定用マーカ画像と、前記撮影画像中のＰＳＦ推定用マーカの画像と、の位置を対応付ける推定用マーカ位置対応付けステップと、
対応付けられた、前記基準となるＰＳＦ推定用マーカ画像と、前記撮影画像中のＰＳＦ推定用マーカ画像と、を用いて、ＰＳＦを推定するＰＳＦ推定ステップと、
推定されたＰＳＦを用いて、前記撮影画像のブレを補正するブレ補正ステップと、
を含むブレ補正方法。
【請求項８】
請求項１から請求項６のいずれか一項に記載のブレ補正装置に、その撮影画像が入力される帳票であって、
読取枠と、
前記読取枠内に設けられた文字記入欄と、
前記読取枠内で、かつ、文字記入欄を挟む位置に形成された第１及び第２のレイアウトマーカと、
前記読取枠内で、かつ、前記第１及び第２のレイアウトマーカの間に形成されたＰＳＦ推定用マーカと、
を有する帳票。
【請求項９】
前記ＰＳＦ推定用マーカは、前記読取枠内の中央位置に形成されている、
請求項８に記載の帳票。
【請求項１０】
前記ＰＳＦ推定用マーカは、閉じた図形である、
請求項８又は請求項９に記載の帳票。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図７】
【公開番号】特開２０１３−５２５８（Ｐ２０１３−５２５８Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３４９２６（Ｐ２０１１−１３４９２６）
【出願日】平成２３年６月１７日（２０１１．６．１７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１７日（２０１１．６．１７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]