カメラベースの文書画像処理のための適応的ボケ除去
【課題】カメラベースの文書画像処理のための、画像ボケ除去方法が記載される。デジタルカメラによって撮像された文書画像は、複数の重複するまたは重複しない部分画像に分割される。
【解決手段】部分画像に含まれるエッジに沿って勾配情報を分析することにより、各部分画像について点分布関数が生成される。各部分画像は、その局部点分布関数を使用することによりボケ除去される。ボケ除去された画像全体は、ボケ除去された部分画像から構築される。所望の情報が文書画像の局部化された部分に位置する場合、撮像された画像から所望の領域を抽出することによって、画像は部分画像へ分割される。当該ボケ除去方法は、カメラによって撮像された画像が多様な量の位置依存のピンボケによりぼかされる場合、ボケ除去された画像の画質を向上する。
【解決手段】部分画像に含まれるエッジに沿って勾配情報を分析することにより、各部分画像について点分布関数が生成される。各部分画像は、その局部点分布関数を使用することによりボケ除去される。ボケ除去された画像全体は、ボケ除去された部分画像から構築される。所望の情報が文書画像の局部化された部分に位置する場合、撮像された画像から所望の領域を抽出することによって、画像は部分画像へ分割される。当該ボケ除去方法は、カメラによって撮像された画像が多様な量の位置依存のピンボケによりぼかされる場合、ボケ除去された画像の画質を向上する。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は画像処理に関し、特に、デジタルカメラによって撮像された画像をボケ除去（ｄｅｂｌｕｒｒｉｎｇ）するための処理に関する。
【背景技術】
【０００２】
家電製品の急速な発達に伴い、多くの多機能電子製品が、過去数年に出現してきた。デジタルカメラと携帯電話の組合せは特に評判が良く、多くの社会的および文化的変化をもたらしている。利用可能性の劇的な増大に加えて、過去数年に亘り、携帯電話用カメラの解像度もまた、着実に向上してきている。今日では、８メガピクセルセンサを有する携帯電話用カメラは、複数の製造業者から広く入手可能である。そのような解像度により、一般的なサイズ（たとえば、レターまたはＡ４サイズ）の用紙に対して、およそ３００ｄｐｉの解像度での文書画像を画像モザイキングすることなく取得できる。携帯可能な画像化機器の向上した解像度により、それら機器の増強された演算能力を伴い、カメラベース文書画像処理（ＣＢＤＩＰ）は、より一層魅力的なものとなっている。
【０００３】
本開示では、文書画像処理または分析は、一般的に、テキスト情報を含む画像の分析を意味する。従来より、文書画像処理は、スキャナ（たとえば、フラットベッドスキャナ）または、文書のデジタル画像を取得するための専用書画カメラを用いる。従来のスキャナベースの画像撮像方法に比べると、ＣＢＤＩＰはいくつかの利点を有する。携帯機器上のカメラ、特に携帯電話用カメラは、非接触型である。それらはまた、本質的に無線通信ネットワークに接続され、広範に入手可能であり、携帯可能である。これら全ての要素は、スキャナベースの方法と比べて、潜在的により広範で、より効率的なＣＢＤＩＰの応用に資する。たとえば、ＣＢＤＩＰシステムは、盲人のためのテキスト認識装置および読取装置（たとえば、シェン エイッチ（Ｓｈｅｎ， Ｈ．）、コフラン ジェイ（Ｃｏｕｇｈｌａｎ， Ｊ．）：因子グラフを使用するグループ分け：カメラ付き携帯電話によってテキストを見つけ出すための方法（Ｇｒｏｕｐｉｎｇ Ｕｓｉｎｇ Ｆａｃｔｏｒ Ｇｒａｐｈｓ）、コンピュータサイエンス レクチャーノート（Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ），Ｖｏｌ． ４５３８。スプリンガー−フェルラーク（Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ），ベルリン ハイデルベルグ ニューヨーク（１９９５）３９４−４０３を参照）、携帯外国語標識翻訳機（たとえば、ヤン ジェイ（Ｙａｎｇ， Ｊ．）、ガオ ジェイ（Ｇａｏ， Ｊ．）、チャン ワイ（Ｚｈａｎｇ， Ｙ．）、ワイベル エー（Ｗａｉｂｅｌ， Ａ．）：自動標識翻訳に向けて（Ｔｏｗａｒｄｓ Ａｕｔｏｍａｔｉｃ Ｓｉｇｎ Ｔｒａｎｓｌａｔｉｏｎ）。プロシーディングス オブ ヒューマン ラングウィッジ テクノロジー（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｈｕｍａｎ Ｌａｎｇｕａｇｅ Ｔｅｃｈｎｏｌｏｇｙ）（２００１）２６９−２７４を参照）、および、カーゴコンテナラベルリーダー（たとえば、リー シーエム（Ｌｅｅ， Ｃ． Ｍ．）、カンカンハリ エー（Ｋａｎｋａｎｈａｌｌｉ， Ａ．）：複雑な情景画像の自動文字抽出（Ａｕｔｏｍａｔｉｃ Ｅｘｔｒａｃｔｉｏｎ ｏｆ Ｃｈａｒａｃｔｅｒｓ ｉｎ Ｃｏｍｐｌｅｘ Ｓｃｅｎｅ）、インターナショナル ジャーナル オブ パターン レコグニション アンド アーティフィシャル インテリジェンス（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊ． ｏｆ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）（１９９５）６７−８２を参照）として使用されうる。光学文字認識（ＯＣＲ）は、文書処理タスクのうち最も一般的なものであり、ＰＣカメラベースのＯＣＲは、新聞紙上の文字を処理するには、スキャナベースのＯＣＲに比べてより生産的である（たとえば、ニューマン ダブリュ（Ｎｅｗｍａｎ， Ｗ．）、ダンス シー（Ｄａｎｃｅ ，Ｃ．）、タイラー エー（Ｔａｙｌｏｒ， Ａ．）、タイラー エス（Ｔａｙｌｏｒ， Ｓ．）、タイラー エム（Ｔａｙｌｏｒ， Ｍ．）、アルダス ティー（Ａｌｄｈｏｕｓ， Ｔ．）：ＣａｍＷｏｒｋｓ：紙資源の文書からの効率的な撮像のためのビデオベースツール（ＣａｍＷｏｒｋｓ：Ａ Ｖｉｄｅｏ−ｂａｓｅｄ Ｔｏｏｌ ｆｏｒ Ｅｆｆｉｃｉｅｎｔ Ｃａｐｔｕｒｅ ｆｒｏｍ Ｐａｐｅｒ Ｓｏｕｒｃｅ Ｄｏｃｕｍｅｎｔｓ）。プロシーディングス オブ ＩＥＥＥ インターナショナル コンファレンス オン マルチメディア コンピューティング アンド システム（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｓｙｓｔｅｍｓ）（１９９９）６４７−６５３を参照）。
【０００４】
柔軟性およびその他の利点を供与する一方、ＣＢＤＩＰは、いくつかの課題と関連付けられている。たとえば、不均一な照明、遠近歪み、ズーミングおよびフォーカシング、物体運動、限られた計算力である。たとえば、ドイアーマン ディー（Ｄｏｅｒｍａｎｎ， Ｄ．）、リアン ジェイ（Ｌｉａｎｇ， Ｊ．）、リ エイッチ（Ｌｉ， Ｈ．）：カメラベース文書画像分析における進歩（Ｐｒｏｇｒｅｓｓ ｉｎ Ｃａｍｅｒａ−Ｂａｓｅｄ Ｄｏｃｕｍｅｎｔ Ｉｍａｇｅ）。プロシーディングス オブ ジ インターナショナル コンファレンス オン ドキュメント アナリシス アンド レコグニション（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄｃｕｍｅｎｔ Ａｎａｌｙｓｉｓ ａｎｄ Ｒｅｃｏｇｎｉｔｉｏｎ）（２００３）６０６−６１６を参照。
【０００５】
たとえば、画像化する被写体が物理的な制約によりカメラからの著しい奥行き変化を伴って位置する場合、カメラにより撮像された画像は、様々な量の位置依存のピンボケによりぼやかされる。画像化する被写体がカメラに非常に近い、または、カメラの焦点深度が非常に小さい場合、問題は特に深刻である。このような状況は、倍率および視野の観点より、ＣＢＤＩＰにおいてしばしば遭遇される。所望の２つの被写体からなる、２つの奥行きを有する景色という最も単純な場合において、理想的な画像奥行き間の差は、
【０００６】
【数１】
【０００７】
ティアン ワイ（Ｔｉａｎ， Ｙ．）、フェン エイッチ（Ｆｅｎｇ， Ｈ．）、ズー ゼット（Ｘｕ， Ｚ．）、フアン ジェイ（Ｈｕａｎｇ， Ｊ．）：デジタルカメラのための動的フォーカスウィンドウ選択方策（Ｄｙａｎａｍｉｃ Ｆｏｃｕｓ Ｗｉｎｄｏｗ Ｓｅｌｅｃｔｉｏｎ Ｓｔｒａｔｅｇｙ ｆｏｒ Ｄｉｇｉｔａｌ Ｃａｍｅｒａｓ）、プロシーディングス オブ ＳＰＩＥ（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥ），Ｖｏｌ．５６７８（２００５）２１９−２２９（以下、「ティアン他２００５」）を参照。両被写体がフォーカスウィンドウ内に位置する場合、両方がピンボケする可能性が大きく、各々の被写体の正確なピンボケ量はフォーカスウィンドウ内におけるそれらの相対的なサイズに依存する。ティアン他２００５；ティアン ワイ（Ｔｉａｎ， Ｙ．）：統計的色モデルを使用する動的フォーカスウィンドウ選択（Ｄｙｎａｍｉｃ Ｆｏｃｕｓ Ｗｉｎｄｏｗ Ｓｅｌｅｃｔｉｏｎ Ｕｓｉｎｇ ａ Ｓｔａｔｉｓｔｉｃａｌ Ｃｏｌｏｒ Ｍｏｄｅｌ）、プロシーディングス オブ ＳＰＩＥ（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥ），Ｖｏｌ．６０６９（２００６）９８−１０６を参照。
【０００８】
図２（ａ）は、デジタルカメラによって撮像された文書画像を示す。図２（ｂ）は、図２（ａ）の画像を撮像するために使用された被写体−カメラ間の配置を概略的に示す。図２（ｃ）は、図２（ａ）に示される文書画像のマークされた部分の拡大図である。図２（ａ）に示される文書画像の例は、不均一な照明、遠近歪みおよび連続的な奥行き変化を含む、カメラベース文書画像に頻繁に発生するいくつかの問題点を示すことを意図している。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
したがって、本願発明は、関連する技術の制限および短所に基づく一つ以上の問題を大幅に取り除く画像処理方法に関する。
【００１０】
本願発明の目的は、ＣＢＤＩＰにおいて、画質を向上し、可変要素および位置依存のピンボケの悪影響を低減する画像処理方法を提供する。
【００１１】
加えて、本発明の特徴および利点は以下の記載に説明され、部分的には当該記載から明らかであり、または、本発明を実施することを通して理解される。本発明の目的およびその他の利点は、添付の図面同様、記載される内容および特許請求の範囲に特に指摘された構成によって理解され、達成されうる。
【課題を解決するための手段】
【００１２】
具体的かつ広義に記載されるとおり、これらおよび／またはその他の目的を達成するために、本願発明は、文書画像を処理するためのデータ処理システムに実装される方法を提供する。当該方法は、（ａ）前記文書画像から複数の部分画像を取得するステップと、（ｂ）各前記部分画像について、（ｂ１）前記部分画像内の複数のエッジを検出するステップと、（ｂ２）前記検出されたエッジを隔てる画像明暗度変化を分析することにより、エッジ応答関数を取得するステップと、（ｂ３）前記エッジ応答関数から、２次元点分布関数を計算するステップと、（ｂ４）前記計算された点分布関数を用いてデコンボリューションを適用することにより前記部分画像をボケ除去するステップと、を含む。
【００１３】
その他の側面では、本願発明は、データ処理装置に上記方法を実行させるコンピュータプログラムを提供する。
【００１４】
その他の側面では、本願発明は、画像を撮像するための画像撮像部と、前記撮像された画像を処理するための処理部とを含む携帯装置を提供する。当該処理部は、文書画像から複数の部分画像を取得し、各前記部分画像について前記部分画像内の複数のエッジを検出し、前記検出されたエッジを隔てる画像明暗度変化を分析することにより、エッジ応答関数を取得し、前記エッジ応答関数から２次元点分布関数を計算し、前記計算された点分布関数を用いてデコンボリューションを適用することにより前記部分画像をボケ除去する。また、前記画像撮像部および前記処理部は、同じ筐体に収納される。
【００１５】
以上の概説および以下の詳細な説明は共に、例示的および解説的であり、請求の範囲の発明のさらなる説明を提供するように意図されるものと解されるべきである。
【図面の簡単な説明】
【００１６】
【図１】本願発明の実施形態による、画像ボケ除去方法を示すフローチャートである。
【図２（ａ）】デジタルカメラによって撮像された文書画像を示す。
【図２（ｂ）】図２（ａ）の画像を撮像するために使用された被写体−カメラ間の配置を概略的に示す。
【図２（ｃ）】図２（ａ）に示される文書画像のマークされた部分の拡大図である。
【図３（ａ）】本願発明の実施形態が実装されうるデータ処理システムを概略的に示す。
【図３（ｂ）】本願発明の実施形態が実装されうるデータ処理システムを概略的に示す。
【発明を実施するための形態】
【００１７】
カメラによって撮像された文書画像についてより高質な画像を取得するために、デコンボリューションが画像のボケを低減するために使用されうる。ピンボケ量は位置に依存するので、単一の点分布関数（ＰＳＦ）は画像化システムの良い表現ではない。本願発明の実施形態は、局部的に画質を向上する、適応的ボケ除去方法を提供する。
【００１８】
光学的なボケは、画像内の高空間周波数信号を大幅に低減するローパスフィルタリングとして良好にモデル化されうる。その結果、ピンボケの画像への影響は、エッジにおいて最も顕著である。多くの文書の場合においてそうであるように文字と背景とがしばしば明暗度の明確な遷移を形成し、被写体（撮像される対象物）のエッジが明確であると推定される場合、画像内のエッジを隔てる明暗度変化を分析することにより、カメラのエッジ反応が予測されうる。明確なエッジが人工的に被写体として画像内に生成され、当該エッジがスキャナ用にＰＳＦを取得するために使用されるスキャンにおいて、印刷された画像が再スキャンされるという方法を開示した者もある。たとえば、スミス イーエイッチビー，（Ｓｍｉｔｈ Ｅ． Ｈ． Ｂ．）：ＥＳＦへの勾配降下適合によるＰＳＦ予測（ＰＳＦ Ｅｓｔｉｍａｔｉｏｎ ｂｙ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ Ｆｉｔ ｔｏ ｔｈｅ ＥＳＦ）、（プロシーディングス オブ ＳＰＩＥ（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥ），Ｖｏｌ．６０５９（２００６）１２９−１３７を参照。本願発明の実施形態では、文書画像自体に必然的に存在するエッジ（しばしば複雑）が、画像の局部ＰＳＦを取得するために使用される。
【００１９】
光学的ボケは、ピンボケ、非焦点ずれ収差、光散乱およびこれら３者の組合せによって生じさせうる。ティアン ワイ（Ｔｉａｎ， Ｙ．）、シー ケー（Ｓｈｉｅｈ， Ｋ．）、ウィルドソート シーエフ（Ｗｉｌｄｓｏｅｔ， Ｃ． Ｆ．）：非焦点ずれ収差を伴う焦点計測性能（Ｐｅｒｆｏｒｍａｎｃｅ ｏｆ Ｆｏｃｕｓ Ｍｅａｓｕｒｅｓ ｉｎ ｔｈｅ Ｐｒｅｓｅｎｃｅ ｏｆ Ｎｏｎ−ｄｅｆｏｃｕｓ）、ジャーナル オブ ジ オプティカル ソサエティー オブ アメリカ エー（Ｊ． ｏｆ ｔｈｅ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉａｃａ Ａ）（２００７）１６５−１７３（以下「ティアン他２００７」）を参照。非点収差およびコマ収差のような、顕著な量の非焦点ずれ非対称収差により、非対称ＰＳＦが発生する。しかし、カメラのような人により設計された光学システムにおける少量の非焦点ずれ収差については、そのボケへの影響は限定的である。ティアン他２００７を参照。光散乱の影響は、通常、回転対称である。単純化のため、本願発明の実施形態においては、少なくとも１次元において対称的な光学的ボケのみが考慮される。これにより、ＰＳＦがほぼガウス型であるとの前提で、１次元エッジ反応から２次元ＰＳＦを再構成可能となる。
【００２０】
本願発明の実施形態は、局部的に画質を向上するために、カメラベースの文書画像を適応的にボケ除去する方法を提供する。当該方法は、良好に定義されたエッジを隔てる勾配変化から局部ＰＳＦを生成するために使用されうる、文書画像内の豊富なエッジ情報が存在するという事実の利点を享受する。これにより、部分画像上において局部的にボケ除去が実行されうる。このようなプロセスは、単一のＰＳＦを使用する従来のボケ除去方法に比べると、画質を顕著に向上しうる。
【００２１】
当該方法において、所望の部分画像がまず撮像された画像から抽出され、画像内のエッジに沿う勾配情報を分析することにより、各々の部分画像について点分布関数が生成される。その後、部分画像は、その局部点分布関数を使用して、ボケ除去される。この適応的ボケ除去方法は、人の観察者および客観的な焦点計測の両方によって評価されるように、フォーカシングの質を顕著に向上しうる。
【００２２】
図１は、本願発明の好ましい実施形態による、ＰＳＦを使用して画像をボケ除去するためのデータ処理システムに実装される方法を示す。まず、撮像された画像がカラーである場合、それはグレースケールに変換される（たとえば、８ビットグレースケール）（ステップＳ１１）。グレースケール文書画像全体は、それから、いくつかの部分画像を形成するために分割（区分）される（ステップＳ１２）。部分画像は、お互いに重複しても、重複しなくてもよい。好ましい一実施形態では、部分画像は、集合的に画像全体をカバーする。その他の好ましい実施形態では、後述のように、部分画像は、集合的に画像全体をカバーしない。
【００２３】
区画化ステップＳ１２は、好ましくは、システムによって自動的に実行される。単純な実装としては、事前に決められた数（たとえば、Ｎ×Ｍ）の部分画像に分割することである。テキスト検出（シェン エイッチ（Ｓｈｅｎ， Ｈ．）、コフラン ジェイ（Ｃｏｕｇｈｌａｎ， Ｊ．）：因子グラフを使用するグループ分け：カメラ付き携帯電話によってテキストを見つけ出すための方法（Ｇｒｏｕｐｉｎｇ Ｕｓｉｎｇ Ｆａｃｔｏｒ Ｇｒａｐｈｓ：ａｎ Ａｐｐｒｏａｃｈ ｆｏｒ Ｆｉｎｄｉｎｇ Ｔｅｘｔ ｗｉｔｈ ａ Ｃａｍｅｒａ Ｐｈｏｎｅ）、コンピュータサイエンス レクチャーノート（Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ），Ｖｏｌ． ４５３８．スプリンガー−フェルラーク（Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ），ベルリン ハイデルベルグ ニューヨーク（１９９５）３９４−４０３を参照）、奥行きに基づく画像区分、またはその他の先進的なパターン認識方法などの、より高度な画像区分化方法が使用されうる。
【００２４】
各々の部分画像について（ステップＳ１３）、部分画像におけるエッジを検出するために、エッジ検出処理が実行される（ステップＳ１４）。文書画像内のエッジは多く存在し、画像がぼやけている時でさえ、ほとんどの一般的なエッジ検出法により簡単に検出できる。いかなる適切なエッジ検出アルゴリズムが使用されてもよい。いくつかのエッジを隔てる明暗度変化が分析される（ステップＳ１５）。好ましくは、明暗度分析に使用されるエッジは、実質的に相互に非平行なものを含む。好ましくは、水平および垂直なエッジが、この目的のために使用される。ノイズおよび局部的背景の影響を低減するために、複数の異なる箇所におけるエッジを使用することが好ましい。エッジと直角方向の明暗度勾配が計算され、実質的に同じ配向にある複数のエッジについての勾配が、対応する方向のエッジ応答関数を計算するために平均化される（ステップＳ１６）。エッジが概ね垂直および水平方向にある場合、垂直および水平方向についてのエッジ応答関数が取得される。エッジ応答関数は、ガウス関数、コーシー関数などの適切な関数を使用してモデル化される。局部的２次元ＰＳＦは、２つの実施的に直角な方向（好ましくは、水平および垂直方向）にあるエッジ応答関数を乗算することにより、計算される（ステップＳ１７）。局部的２次元ＰＳＦを使用するデコンボリューションアルゴリズムを適用することにより、ボケ除去がグレースケール部分画像に実行される（ステップＳ１８）。
【００２５】
全ての部分画像がボケ除去された後（ステップＳ１３で「Ｎ」）、ボケ除去された画像全体が、ボケ除去された部分画像から構築される（ステップＳ１９）。このステップは、選択的である。部分画像の境界における遷移の滑らかさを改善するために、部分画像は、好ましくは、若干量（たとえば数十ピクセル）相互に重複される。そのような場合、ボケ除去された全体画像は、画像モザイキングを使用することによりボケ除去された部分画像から構築される。
【００２６】
ボケ除去された画像が構築された後、２値化、ＯＣＲなど、その他の処理ステップが実行されうる。
【００２７】
デコンボリューションを使用するボケ除去は、ノイズに敏感であり、アーチファクトを生成しやすい事はよく知られている。デコンボリューションからアーチファクトを低減するために、反復探索および正規化されたデコンボリューションアルゴリズムが開発されてきている。一例として、リチャードソン ダブリュエイッチ（Ｒｉｃｈａｒｄｓｏｎ ＷＨ）、画像回復のベイズ法に基づく反復法（Ｂａｙｅｓｉａｎ−Ｂａｓｅｄ Ｉｔｅｒａｔｉｖｅ Ｍｅｔｈｏｄ ｏｆ Ｉｍａｇｅ Ｒｅｓｔｏｒａｔｉｏｎ）、ジャーナル オブ ジ オプティカル ソサエティー オブ アメリカ（Ｊ． ｏｆ ｔｈｅ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ）（１９７２）５５−５９に記載される、ルーシー−リチャードソン反復アルゴリズムがある。ステップＳ１８を実行するために、いかなる適切な反復および非反復デコンボリューションアルゴリズムが使用されてもよい。そういった多くの方法が公開されており、よく知られている。
【００２８】
図２（ａ）の例示的な文書画像に示されるように、不均一な照明、遠近歪み、および連続的な奥行き変化のような、いくつかのカメラベースの文書画像における問題点が、頻繁に発生する。さらなる画像処理ステップが、これらの問題点を対処するために実行される。
【００２９】
不均一な照明は、視野内のカメラフラッシュまたは周囲光を使用することにより発生しうる。フィッシャー エフ（Ｆｉｓｈｅｒ， Ｆ．）：文書捕捉のためのデジタルカメラ（Ｄｉｇｉｔａｌ Ｃａｍｅｒａ ｆｏｒ Ｄｏｃｕｍｅｎｔ Ａｃｑｕｉｓｉｔｉｏｎ）、プロシーディングス オブ シンポジウム オン ドキュメント イメージ アンダスタンディング テクノロジー（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｄｏｃｕｍｅｎｔ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ）（２００１）７５−８３。適応的ボケ除去における局部ＰＳＦを生成するために、全体画像がいくつかの部分画像に分割される際、不均一な照明が、局部的に生成されたＰＳＦに悪影響を及ぼす。背景除去および／またはコントラスト伸張処理が、不均一な照明の影響を低減するために使用されうる。クオ エス（Ｋｕｏ， Ｓ．）、ランガナス エムブイ（Ｒａｎｇａｎａｔｈ， Ｍ． Ｖ．）：テキストおよびカラー写真画像の両方用のリアルタイム画像処理（Ｒｅａｌ Ｔｉｍｅ Ｉｍａｇｅ Ｅｎｈａｎｃｅｍｅｎｔ ｆｏｒ ｂｏｔｈ Ｔｅｘｔ ａｎｄ Ｃｏｌｏｒ Ｐｈｏｔｏ Ｉｍａｇｅｓ）、プロシーディングス オブ インターナショナル コンファレンス オン イメージ プロセシング（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｉｎｔｅｒｎａｔｉｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ）（１９９５）：１５９−１６２を参照。そのようなステップは、図１に示されるボケ除去処理の前、たとえばステップＳ１２の前に実行されうる。
【００３０】
遠近歪みは、文書画像において複数通りに顕在化される。たとえば、元となる文書における平行なエッジは、しばしば画像内では非平行に現れる（図２（ａ）を参照）。横および縦倍率の差により、倍率が水平および垂直方向に異なっている可能性があり、文字の筆画が水平方向よりも垂直方向によりボケている可能性がある（図２（ｃ）を参照）。遠近歪みの修正は、画像内における水平方向および垂直方向に消えて見えなくなる点を予測することにより達成される。クラーク ピー（Ｃｌａｒｋ， Ｐ．）、マーメディ エム（Ｍｉｒｍｅｈｄｉ， Ｍ．）：実際の景色においてテキストを認識する（Ｒｅｃｏｇｎｉｓｉｎｇ Ｔｅｘｔ ｉｎ Ｒｅａｌ Ｓｃｅｎｅｓ）、インターナショナル ジャーナル オン ドキュメント アナリシス アンド レコグニション（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊ． ｏｎ Ｄｏｃｕｍｅｎｔ Ａｎａｌｙｓｉｓ ａｎｄ Ｒｃｏｇｎｉｔｉｏｎ）（２００２）２４３−２５７。
【００３１】
ユー ビー（Ｙｕ， Ｂ．）、ジェイン エーケー（Ｊａｉｎ， Ａ． Ｋ．）：一般的な文書のための堅牢かつ高速なスキュー検知アルゴリズム（Ａ ｒｏｂｕｓｔ ａｎｄ Ｆａｓｔ Ｓｋｅｗ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｇｅｎｅｒｉｃ Ｄｏｃｕｍｅｎｔｓ）、パターン レコグニション（Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ）（１９９６）：１５９９−１６２９に記載されるように、撮像された画像内の画像要素の重心にハフ変換を適用することによって、スキューが検知される。または、画像内の画像要素の端点（配向によりトップ／ボトムまたは左／右）にハフ変換を適用してもよい。
【００３２】
遠近およびスキュー修正は、図１に示されるボケ除去処理前（たとえば、ステップＳ１１またはＳ１２の前）、文書画像に対して実行される。これらの修正が実行される場合、水平および垂直方向のエッジ応答関数が、ステップＳ１４からＳ１６により、より簡便に取得される。これらの修正が実行されない場合、様々な斜方向（好ましくは、相互に直角な方向を含む）にあるエッジが、エッジ反応関数および２次元局部ＰＳＦを取得するために使用される。
【００３３】
いくつかのケースでは、所望の情報は、文書画像の局部化された部分に位置する。たとえば、文書画像内の道路標識を発見して認識することが目的である場合、文字のグループ化されたブロックがテキスト分類方法を使用して抽出される。シェン エイッチ（Ｓｈｅｎ， Ｈ．）、コフラン ジェイ（Ｃｏｕｇｈｌａｎ， Ｊ．）：因子グラフを使用するグループ分け：カメラ付き携帯電話によってテキストを見つけ出すための方法（Ｇｒｏｕｐｉｎｇ Ｕｓｉｎｇ Ｆａｃｔｏｒ Ｇｒａｐｈｓ：ａｎ Ａｐｐｒｏａｃｈ ｆｏｒ Ｆｉｎｄｉｎｇ Ｔｅｘｔ ｗｉｔｈ ａ Ｃａｍｅｒａ Ｐｈｏｎｅ）、コンピュータサイエンス レクチャーノート（Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ），Ｖｏｌ． ４５３８．スプリンガー−フェルラーク（Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ），ベルリン ハイデルベルグ ニューヨーク（１９９５）３９４−４０３を参照。その他の応用例では、カーゴコンテナラベルを読むことが目的となる（リー シー エム（Ｌｅｅ， Ｃ． Ｍ．）、カンカンハリ エー（Ｋａｎｋａｎｈａｌｌｉ， Ａ．）：複雑な情景画像の自動文字抽出（Ａｕｔｏｍａｔｉｃ Ｅｘｔｒａｃｔｉｏｎ ｏｆ Ｃｈａｒａｃｔｅｒｓ ｉｎ Ｃｏｍｐｌｅｘ Ｓｃｅｎｅ Ｉｍａｇｅｓ）、インターナショナル ジャーナル オブ パターン レコグニション アンド アーティフィシャル インテリジェンス（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊ． ｏｆ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ（１９９５）６７−８２を参照）。この種の応用では、すなわち、所望の情報が文書画像において局部化される場合、所望の部分画像が抽出され、個別に処理される。言い換えると、複数の部分画像に画像を分割するステップ（図１のステップＳ１２）は、テキスト分類方法などの適切な方法を使用して文字のグループ化されたブロックなど、所望の部分画像を抽出する方法により実装される。その後、局部ＰＳＦ部分画像を取得して部分画像をボケ除去するために、各々のそのような部分画像について、図１のステップＳ１４からＳ１８が実行される。抽出された部分画像は、典型的に、集合的に画像全体をカバーしないので、そのような応用では、画像構築は必要とされない。２値化およびＯＣＲなど、ボケ除去後の処理ステップが、別個の部分画像に対して実行される。
【００３４】
文書画像における連続的な奥行き変化の場合（たとえば、図２（ａ）を参照）、奥行き変化に基づいて画像を区分することは難しい。そのような場合、文字ブロックへの画像の区分は、任意に定義された境界に依存する傾向がある。単純な方法としては、画像は多数の矩形の重複した部分画像に分割され、部分画像はそれらの局部ＰＳＦを取得するために分析される。この方法により、離散的な奥行き変化が、連続的な奥行き変化を近似するために使用される。部分画像のサイズが小さければ小さいほど、奥行きの近似は良くなる。しかし、その境界効果のため、デコンボリューションのためにはより大きな部分画像が適している。奥行きの滑らかさとデコンボリューションとの間で、妥協がされなくてはならない。部分画像のサイズは、局部ＰＳＦの幅よりも十分大きくあるべきである。
【００３５】
部分画像が小さい場合、いくつかの部分画像はエッジを有していないか、エッジが局部ＰＳＦを予測するにはぼやけ過ぎている可能性もある。そのような部分画像は、おそらく有用な情報を含まないか、または、ボケ除去は有用な情報を回復できないので、ボケ除去の目的のためには無視される。なお、そのような部分画像のＰＳＦは、隣接する部分画像のＰＳＦを使用する予測法または補間法により計算されうる。後者の方法は、遠近および奥行き情報が画像から取得されたり、または演繹的知識が利用可能であったりする場合に有用である。
【００３６】
カメラベースの文書画像から生成された局部ＰＳＦを使用する適応的ボケ除去の上記方法は、被写体である文書がカメラから固定された奥行きにない場合、全体的な画質を顕著に向上させる。
【００３７】
上記方法は、画像撮像部および画像処理部を含む、データ処理システムに実装される。画像処理システムの一例は、図３（ａ）に示されるように、画像撮像部３１を有する携帯電話などの携帯装置３０（すなわち、携帯電話のカメラ）および画像処理部３２（たとえば、マイクロプロセッサ、ハードウェア回路など）である。上記ボケ除去方法は、メモリ３３に格納されたソフトウェアまたはファームウェアにより実装され、プロセッサまたはハードウェア回路により実行される。画像撮像部３１および画像処理部３２は、携帯装置３０と同じ筐体に収納される。携帯機器はまた、典型的に、無線または有線通信チャネルを介して外部機器と通信するための通信部を含む。
【００３８】
図３（ｂ）に示される画像処理システムのその他の例は、デジタルカメラ３５（カメラ付き携帯電話でもよい）およびコンピュータ３６を含む。デジタルカメラおよびコンピュータは別々の機器であり、これらの機器間でデータを転送するためのＵＳＢケーブルまたは無線リンクなどのデータ通信チャネルにより接続される。カメラ３５は、撮像された画像をコンピュータ３６へ送信し、コンピュータはそのメモリに格納されたソフトウェアプログラムを実行することにより上記ボケ除去方法を実行する。
【００３９】
本発明の思想または範囲から乖離することなく、様々な改変および変形が本願発明の画像ボケ除去方法からなされうることは、当業者に明らかである。ゆえに、本願発明は、添付された請求の範囲およびそれと同等な範囲内での改変および変形を包含するものと解される。
【技術分野】
【０００１】
本願発明は画像処理に関し、特に、デジタルカメラによって撮像された画像をボケ除去（ｄｅｂｌｕｒｒｉｎｇ）するための処理に関する。
【背景技術】
【０００２】
家電製品の急速な発達に伴い、多くの多機能電子製品が、過去数年に出現してきた。デジタルカメラと携帯電話の組合せは特に評判が良く、多くの社会的および文化的変化をもたらしている。利用可能性の劇的な増大に加えて、過去数年に亘り、携帯電話用カメラの解像度もまた、着実に向上してきている。今日では、８メガピクセルセンサを有する携帯電話用カメラは、複数の製造業者から広く入手可能である。そのような解像度により、一般的なサイズ（たとえば、レターまたはＡ４サイズ）の用紙に対して、およそ３００ｄｐｉの解像度での文書画像を画像モザイキングすることなく取得できる。携帯可能な画像化機器の向上した解像度により、それら機器の増強された演算能力を伴い、カメラベース文書画像処理（ＣＢＤＩＰ）は、より一層魅力的なものとなっている。
【０００３】
本開示では、文書画像処理または分析は、一般的に、テキスト情報を含む画像の分析を意味する。従来より、文書画像処理は、スキャナ（たとえば、フラットベッドスキャナ）または、文書のデジタル画像を取得するための専用書画カメラを用いる。従来のスキャナベースの画像撮像方法に比べると、ＣＢＤＩＰはいくつかの利点を有する。携帯機器上のカメラ、特に携帯電話用カメラは、非接触型である。それらはまた、本質的に無線通信ネットワークに接続され、広範に入手可能であり、携帯可能である。これら全ての要素は、スキャナベースの方法と比べて、潜在的により広範で、より効率的なＣＢＤＩＰの応用に資する。たとえば、ＣＢＤＩＰシステムは、盲人のためのテキスト認識装置および読取装置（たとえば、シェン エイッチ（Ｓｈｅｎ， Ｈ．）、コフラン ジェイ（Ｃｏｕｇｈｌａｎ， Ｊ．）：因子グラフを使用するグループ分け：カメラ付き携帯電話によってテキストを見つけ出すための方法（Ｇｒｏｕｐｉｎｇ Ｕｓｉｎｇ Ｆａｃｔｏｒ Ｇｒａｐｈｓ）、コンピュータサイエンス レクチャーノート（Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ），Ｖｏｌ． ４５３８。スプリンガー−フェルラーク（Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ），ベルリン ハイデルベルグ ニューヨーク（１９９５）３９４−４０３を参照）、携帯外国語標識翻訳機（たとえば、ヤン ジェイ（Ｙａｎｇ， Ｊ．）、ガオ ジェイ（Ｇａｏ， Ｊ．）、チャン ワイ（Ｚｈａｎｇ， Ｙ．）、ワイベル エー（Ｗａｉｂｅｌ， Ａ．）：自動標識翻訳に向けて（Ｔｏｗａｒｄｓ Ａｕｔｏｍａｔｉｃ Ｓｉｇｎ Ｔｒａｎｓｌａｔｉｏｎ）。プロシーディングス オブ ヒューマン ラングウィッジ テクノロジー（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｈｕｍａｎ Ｌａｎｇｕａｇｅ Ｔｅｃｈｎｏｌｏｇｙ）（２００１）２６９−２７４を参照）、および、カーゴコンテナラベルリーダー（たとえば、リー シーエム（Ｌｅｅ， Ｃ． Ｍ．）、カンカンハリ エー（Ｋａｎｋａｎｈａｌｌｉ， Ａ．）：複雑な情景画像の自動文字抽出（Ａｕｔｏｍａｔｉｃ Ｅｘｔｒａｃｔｉｏｎ ｏｆ Ｃｈａｒａｃｔｅｒｓ ｉｎ Ｃｏｍｐｌｅｘ Ｓｃｅｎｅ）、インターナショナル ジャーナル オブ パターン レコグニション アンド アーティフィシャル インテリジェンス（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊ． ｏｆ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）（１９９５）６７−８２を参照）として使用されうる。光学文字認識（ＯＣＲ）は、文書処理タスクのうち最も一般的なものであり、ＰＣカメラベースのＯＣＲは、新聞紙上の文字を処理するには、スキャナベースのＯＣＲに比べてより生産的である（たとえば、ニューマン ダブリュ（Ｎｅｗｍａｎ， Ｗ．）、ダンス シー（Ｄａｎｃｅ ，Ｃ．）、タイラー エー（Ｔａｙｌｏｒ， Ａ．）、タイラー エス（Ｔａｙｌｏｒ， Ｓ．）、タイラー エム（Ｔａｙｌｏｒ， Ｍ．）、アルダス ティー（Ａｌｄｈｏｕｓ， Ｔ．）：ＣａｍＷｏｒｋｓ：紙資源の文書からの効率的な撮像のためのビデオベースツール（ＣａｍＷｏｒｋｓ：Ａ Ｖｉｄｅｏ−ｂａｓｅｄ Ｔｏｏｌ ｆｏｒ Ｅｆｆｉｃｉｅｎｔ Ｃａｐｔｕｒｅ ｆｒｏｍ Ｐａｐｅｒ Ｓｏｕｒｃｅ Ｄｏｃｕｍｅｎｔｓ）。プロシーディングス オブ ＩＥＥＥ インターナショナル コンファレンス オン マルチメディア コンピューティング アンド システム（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｓｙｓｔｅｍｓ）（１９９９）６４７−６５３を参照）。
【０００４】
柔軟性およびその他の利点を供与する一方、ＣＢＤＩＰは、いくつかの課題と関連付けられている。たとえば、不均一な照明、遠近歪み、ズーミングおよびフォーカシング、物体運動、限られた計算力である。たとえば、ドイアーマン ディー（Ｄｏｅｒｍａｎｎ， Ｄ．）、リアン ジェイ（Ｌｉａｎｇ， Ｊ．）、リ エイッチ（Ｌｉ， Ｈ．）：カメラベース文書画像分析における進歩（Ｐｒｏｇｒｅｓｓ ｉｎ Ｃａｍｅｒａ−Ｂａｓｅｄ Ｄｏｃｕｍｅｎｔ Ｉｍａｇｅ）。プロシーディングス オブ ジ インターナショナル コンファレンス オン ドキュメント アナリシス アンド レコグニション（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄｃｕｍｅｎｔ Ａｎａｌｙｓｉｓ ａｎｄ Ｒｅｃｏｇｎｉｔｉｏｎ）（２００３）６０６−６１６を参照。
【０００５】
たとえば、画像化する被写体が物理的な制約によりカメラからの著しい奥行き変化を伴って位置する場合、カメラにより撮像された画像は、様々な量の位置依存のピンボケによりぼやかされる。画像化する被写体がカメラに非常に近い、または、カメラの焦点深度が非常に小さい場合、問題は特に深刻である。このような状況は、倍率および視野の観点より、ＣＢＤＩＰにおいてしばしば遭遇される。所望の２つの被写体からなる、２つの奥行きを有する景色という最も単純な場合において、理想的な画像奥行き間の差は、
【０００６】
【数１】
【０００７】
ティアン ワイ（Ｔｉａｎ， Ｙ．）、フェン エイッチ（Ｆｅｎｇ， Ｈ．）、ズー ゼット（Ｘｕ， Ｚ．）、フアン ジェイ（Ｈｕａｎｇ， Ｊ．）：デジタルカメラのための動的フォーカスウィンドウ選択方策（Ｄｙａｎａｍｉｃ Ｆｏｃｕｓ Ｗｉｎｄｏｗ Ｓｅｌｅｃｔｉｏｎ Ｓｔｒａｔｅｇｙ ｆｏｒ Ｄｉｇｉｔａｌ Ｃａｍｅｒａｓ）、プロシーディングス オブ ＳＰＩＥ（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥ），Ｖｏｌ．５６７８（２００５）２１９−２２９（以下、「ティアン他２００５」）を参照。両被写体がフォーカスウィンドウ内に位置する場合、両方がピンボケする可能性が大きく、各々の被写体の正確なピンボケ量はフォーカスウィンドウ内におけるそれらの相対的なサイズに依存する。ティアン他２００５；ティアン ワイ（Ｔｉａｎ， Ｙ．）：統計的色モデルを使用する動的フォーカスウィンドウ選択（Ｄｙｎａｍｉｃ Ｆｏｃｕｓ Ｗｉｎｄｏｗ Ｓｅｌｅｃｔｉｏｎ Ｕｓｉｎｇ ａ Ｓｔａｔｉｓｔｉｃａｌ Ｃｏｌｏｒ Ｍｏｄｅｌ）、プロシーディングス オブ ＳＰＩＥ（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥ），Ｖｏｌ．６０６９（２００６）９８−１０６を参照。
【０００８】
図２（ａ）は、デジタルカメラによって撮像された文書画像を示す。図２（ｂ）は、図２（ａ）の画像を撮像するために使用された被写体−カメラ間の配置を概略的に示す。図２（ｃ）は、図２（ａ）に示される文書画像のマークされた部分の拡大図である。図２（ａ）に示される文書画像の例は、不均一な照明、遠近歪みおよび連続的な奥行き変化を含む、カメラベース文書画像に頻繁に発生するいくつかの問題点を示すことを意図している。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
したがって、本願発明は、関連する技術の制限および短所に基づく一つ以上の問題を大幅に取り除く画像処理方法に関する。
【００１０】
本願発明の目的は、ＣＢＤＩＰにおいて、画質を向上し、可変要素および位置依存のピンボケの悪影響を低減する画像処理方法を提供する。
【００１１】
加えて、本発明の特徴および利点は以下の記載に説明され、部分的には当該記載から明らかであり、または、本発明を実施することを通して理解される。本発明の目的およびその他の利点は、添付の図面同様、記載される内容および特許請求の範囲に特に指摘された構成によって理解され、達成されうる。
【課題を解決するための手段】
【００１２】
具体的かつ広義に記載されるとおり、これらおよび／またはその他の目的を達成するために、本願発明は、文書画像を処理するためのデータ処理システムに実装される方法を提供する。当該方法は、（ａ）前記文書画像から複数の部分画像を取得するステップと、（ｂ）各前記部分画像について、（ｂ１）前記部分画像内の複数のエッジを検出するステップと、（ｂ２）前記検出されたエッジを隔てる画像明暗度変化を分析することにより、エッジ応答関数を取得するステップと、（ｂ３）前記エッジ応答関数から、２次元点分布関数を計算するステップと、（ｂ４）前記計算された点分布関数を用いてデコンボリューションを適用することにより前記部分画像をボケ除去するステップと、を含む。
【００１３】
その他の側面では、本願発明は、データ処理装置に上記方法を実行させるコンピュータプログラムを提供する。
【００１４】
その他の側面では、本願発明は、画像を撮像するための画像撮像部と、前記撮像された画像を処理するための処理部とを含む携帯装置を提供する。当該処理部は、文書画像から複数の部分画像を取得し、各前記部分画像について前記部分画像内の複数のエッジを検出し、前記検出されたエッジを隔てる画像明暗度変化を分析することにより、エッジ応答関数を取得し、前記エッジ応答関数から２次元点分布関数を計算し、前記計算された点分布関数を用いてデコンボリューションを適用することにより前記部分画像をボケ除去する。また、前記画像撮像部および前記処理部は、同じ筐体に収納される。
【００１５】
以上の概説および以下の詳細な説明は共に、例示的および解説的であり、請求の範囲の発明のさらなる説明を提供するように意図されるものと解されるべきである。
【図面の簡単な説明】
【００１６】
【図１】本願発明の実施形態による、画像ボケ除去方法を示すフローチャートである。
【図２（ａ）】デジタルカメラによって撮像された文書画像を示す。
【図２（ｂ）】図２（ａ）の画像を撮像するために使用された被写体−カメラ間の配置を概略的に示す。
【図２（ｃ）】図２（ａ）に示される文書画像のマークされた部分の拡大図である。
【図３（ａ）】本願発明の実施形態が実装されうるデータ処理システムを概略的に示す。
【図３（ｂ）】本願発明の実施形態が実装されうるデータ処理システムを概略的に示す。
【発明を実施するための形態】
【００１７】
カメラによって撮像された文書画像についてより高質な画像を取得するために、デコンボリューションが画像のボケを低減するために使用されうる。ピンボケ量は位置に依存するので、単一の点分布関数（ＰＳＦ）は画像化システムの良い表現ではない。本願発明の実施形態は、局部的に画質を向上する、適応的ボケ除去方法を提供する。
【００１８】
光学的なボケは、画像内の高空間周波数信号を大幅に低減するローパスフィルタリングとして良好にモデル化されうる。その結果、ピンボケの画像への影響は、エッジにおいて最も顕著である。多くの文書の場合においてそうであるように文字と背景とがしばしば明暗度の明確な遷移を形成し、被写体（撮像される対象物）のエッジが明確であると推定される場合、画像内のエッジを隔てる明暗度変化を分析することにより、カメラのエッジ反応が予測されうる。明確なエッジが人工的に被写体として画像内に生成され、当該エッジがスキャナ用にＰＳＦを取得するために使用されるスキャンにおいて、印刷された画像が再スキャンされるという方法を開示した者もある。たとえば、スミス イーエイッチビー，（Ｓｍｉｔｈ Ｅ． Ｈ． Ｂ．）：ＥＳＦへの勾配降下適合によるＰＳＦ予測（ＰＳＦ Ｅｓｔｉｍａｔｉｏｎ ｂｙ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ Ｆｉｔ ｔｏ ｔｈｅ ＥＳＦ）、（プロシーディングス オブ ＳＰＩＥ（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥ），Ｖｏｌ．６０５９（２００６）１２９−１３７を参照。本願発明の実施形態では、文書画像自体に必然的に存在するエッジ（しばしば複雑）が、画像の局部ＰＳＦを取得するために使用される。
【００１９】
光学的ボケは、ピンボケ、非焦点ずれ収差、光散乱およびこれら３者の組合せによって生じさせうる。ティアン ワイ（Ｔｉａｎ， Ｙ．）、シー ケー（Ｓｈｉｅｈ， Ｋ．）、ウィルドソート シーエフ（Ｗｉｌｄｓｏｅｔ， Ｃ． Ｆ．）：非焦点ずれ収差を伴う焦点計測性能（Ｐｅｒｆｏｒｍａｎｃｅ ｏｆ Ｆｏｃｕｓ Ｍｅａｓｕｒｅｓ ｉｎ ｔｈｅ Ｐｒｅｓｅｎｃｅ ｏｆ Ｎｏｎ−ｄｅｆｏｃｕｓ）、ジャーナル オブ ジ オプティカル ソサエティー オブ アメリカ エー（Ｊ． ｏｆ ｔｈｅ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉａｃａ Ａ）（２００７）１６５−１７３（以下「ティアン他２００７」）を参照。非点収差およびコマ収差のような、顕著な量の非焦点ずれ非対称収差により、非対称ＰＳＦが発生する。しかし、カメラのような人により設計された光学システムにおける少量の非焦点ずれ収差については、そのボケへの影響は限定的である。ティアン他２００７を参照。光散乱の影響は、通常、回転対称である。単純化のため、本願発明の実施形態においては、少なくとも１次元において対称的な光学的ボケのみが考慮される。これにより、ＰＳＦがほぼガウス型であるとの前提で、１次元エッジ反応から２次元ＰＳＦを再構成可能となる。
【００２０】
本願発明の実施形態は、局部的に画質を向上するために、カメラベースの文書画像を適応的にボケ除去する方法を提供する。当該方法は、良好に定義されたエッジを隔てる勾配変化から局部ＰＳＦを生成するために使用されうる、文書画像内の豊富なエッジ情報が存在するという事実の利点を享受する。これにより、部分画像上において局部的にボケ除去が実行されうる。このようなプロセスは、単一のＰＳＦを使用する従来のボケ除去方法に比べると、画質を顕著に向上しうる。
【００２１】
当該方法において、所望の部分画像がまず撮像された画像から抽出され、画像内のエッジに沿う勾配情報を分析することにより、各々の部分画像について点分布関数が生成される。その後、部分画像は、その局部点分布関数を使用して、ボケ除去される。この適応的ボケ除去方法は、人の観察者および客観的な焦点計測の両方によって評価されるように、フォーカシングの質を顕著に向上しうる。
【００２２】
図１は、本願発明の好ましい実施形態による、ＰＳＦを使用して画像をボケ除去するためのデータ処理システムに実装される方法を示す。まず、撮像された画像がカラーである場合、それはグレースケールに変換される（たとえば、８ビットグレースケール）（ステップＳ１１）。グレースケール文書画像全体は、それから、いくつかの部分画像を形成するために分割（区分）される（ステップＳ１２）。部分画像は、お互いに重複しても、重複しなくてもよい。好ましい一実施形態では、部分画像は、集合的に画像全体をカバーする。その他の好ましい実施形態では、後述のように、部分画像は、集合的に画像全体をカバーしない。
【００２３】
区画化ステップＳ１２は、好ましくは、システムによって自動的に実行される。単純な実装としては、事前に決められた数（たとえば、Ｎ×Ｍ）の部分画像に分割することである。テキスト検出（シェン エイッチ（Ｓｈｅｎ， Ｈ．）、コフラン ジェイ（Ｃｏｕｇｈｌａｎ， Ｊ．）：因子グラフを使用するグループ分け：カメラ付き携帯電話によってテキストを見つけ出すための方法（Ｇｒｏｕｐｉｎｇ Ｕｓｉｎｇ Ｆａｃｔｏｒ Ｇｒａｐｈｓ：ａｎ Ａｐｐｒｏａｃｈ ｆｏｒ Ｆｉｎｄｉｎｇ Ｔｅｘｔ ｗｉｔｈ ａ Ｃａｍｅｒａ Ｐｈｏｎｅ）、コンピュータサイエンス レクチャーノート（Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ），Ｖｏｌ． ４５３８．スプリンガー−フェルラーク（Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ），ベルリン ハイデルベルグ ニューヨーク（１９９５）３９４−４０３を参照）、奥行きに基づく画像区分、またはその他の先進的なパターン認識方法などの、より高度な画像区分化方法が使用されうる。
【００２４】
各々の部分画像について（ステップＳ１３）、部分画像におけるエッジを検出するために、エッジ検出処理が実行される（ステップＳ１４）。文書画像内のエッジは多く存在し、画像がぼやけている時でさえ、ほとんどの一般的なエッジ検出法により簡単に検出できる。いかなる適切なエッジ検出アルゴリズムが使用されてもよい。いくつかのエッジを隔てる明暗度変化が分析される（ステップＳ１５）。好ましくは、明暗度分析に使用されるエッジは、実質的に相互に非平行なものを含む。好ましくは、水平および垂直なエッジが、この目的のために使用される。ノイズおよび局部的背景の影響を低減するために、複数の異なる箇所におけるエッジを使用することが好ましい。エッジと直角方向の明暗度勾配が計算され、実質的に同じ配向にある複数のエッジについての勾配が、対応する方向のエッジ応答関数を計算するために平均化される（ステップＳ１６）。エッジが概ね垂直および水平方向にある場合、垂直および水平方向についてのエッジ応答関数が取得される。エッジ応答関数は、ガウス関数、コーシー関数などの適切な関数を使用してモデル化される。局部的２次元ＰＳＦは、２つの実施的に直角な方向（好ましくは、水平および垂直方向）にあるエッジ応答関数を乗算することにより、計算される（ステップＳ１７）。局部的２次元ＰＳＦを使用するデコンボリューションアルゴリズムを適用することにより、ボケ除去がグレースケール部分画像に実行される（ステップＳ１８）。
【００２５】
全ての部分画像がボケ除去された後（ステップＳ１３で「Ｎ」）、ボケ除去された画像全体が、ボケ除去された部分画像から構築される（ステップＳ１９）。このステップは、選択的である。部分画像の境界における遷移の滑らかさを改善するために、部分画像は、好ましくは、若干量（たとえば数十ピクセル）相互に重複される。そのような場合、ボケ除去された全体画像は、画像モザイキングを使用することによりボケ除去された部分画像から構築される。
【００２６】
ボケ除去された画像が構築された後、２値化、ＯＣＲなど、その他の処理ステップが実行されうる。
【００２７】
デコンボリューションを使用するボケ除去は、ノイズに敏感であり、アーチファクトを生成しやすい事はよく知られている。デコンボリューションからアーチファクトを低減するために、反復探索および正規化されたデコンボリューションアルゴリズムが開発されてきている。一例として、リチャードソン ダブリュエイッチ（Ｒｉｃｈａｒｄｓｏｎ ＷＨ）、画像回復のベイズ法に基づく反復法（Ｂａｙｅｓｉａｎ−Ｂａｓｅｄ Ｉｔｅｒａｔｉｖｅ Ｍｅｔｈｏｄ ｏｆ Ｉｍａｇｅ Ｒｅｓｔｏｒａｔｉｏｎ）、ジャーナル オブ ジ オプティカル ソサエティー オブ アメリカ（Ｊ． ｏｆ ｔｈｅ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ）（１９７２）５５−５９に記載される、ルーシー−リチャードソン反復アルゴリズムがある。ステップＳ１８を実行するために、いかなる適切な反復および非反復デコンボリューションアルゴリズムが使用されてもよい。そういった多くの方法が公開されており、よく知られている。
【００２８】
図２（ａ）の例示的な文書画像に示されるように、不均一な照明、遠近歪み、および連続的な奥行き変化のような、いくつかのカメラベースの文書画像における問題点が、頻繁に発生する。さらなる画像処理ステップが、これらの問題点を対処するために実行される。
【００２９】
不均一な照明は、視野内のカメラフラッシュまたは周囲光を使用することにより発生しうる。フィッシャー エフ（Ｆｉｓｈｅｒ， Ｆ．）：文書捕捉のためのデジタルカメラ（Ｄｉｇｉｔａｌ Ｃａｍｅｒａ ｆｏｒ Ｄｏｃｕｍｅｎｔ Ａｃｑｕｉｓｉｔｉｏｎ）、プロシーディングス オブ シンポジウム オン ドキュメント イメージ アンダスタンディング テクノロジー（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｄｏｃｕｍｅｎｔ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ）（２００１）７５−８３。適応的ボケ除去における局部ＰＳＦを生成するために、全体画像がいくつかの部分画像に分割される際、不均一な照明が、局部的に生成されたＰＳＦに悪影響を及ぼす。背景除去および／またはコントラスト伸張処理が、不均一な照明の影響を低減するために使用されうる。クオ エス（Ｋｕｏ， Ｓ．）、ランガナス エムブイ（Ｒａｎｇａｎａｔｈ， Ｍ． Ｖ．）：テキストおよびカラー写真画像の両方用のリアルタイム画像処理（Ｒｅａｌ Ｔｉｍｅ Ｉｍａｇｅ Ｅｎｈａｎｃｅｍｅｎｔ ｆｏｒ ｂｏｔｈ Ｔｅｘｔ ａｎｄ Ｃｏｌｏｒ Ｐｈｏｔｏ Ｉｍａｇｅｓ）、プロシーディングス オブ インターナショナル コンファレンス オン イメージ プロセシング（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｉｎｔｅｒｎａｔｉｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ）（１９９５）：１５９−１６２を参照。そのようなステップは、図１に示されるボケ除去処理の前、たとえばステップＳ１２の前に実行されうる。
【００３０】
遠近歪みは、文書画像において複数通りに顕在化される。たとえば、元となる文書における平行なエッジは、しばしば画像内では非平行に現れる（図２（ａ）を参照）。横および縦倍率の差により、倍率が水平および垂直方向に異なっている可能性があり、文字の筆画が水平方向よりも垂直方向によりボケている可能性がある（図２（ｃ）を参照）。遠近歪みの修正は、画像内における水平方向および垂直方向に消えて見えなくなる点を予測することにより達成される。クラーク ピー（Ｃｌａｒｋ， Ｐ．）、マーメディ エム（Ｍｉｒｍｅｈｄｉ， Ｍ．）：実際の景色においてテキストを認識する（Ｒｅｃｏｇｎｉｓｉｎｇ Ｔｅｘｔ ｉｎ Ｒｅａｌ Ｓｃｅｎｅｓ）、インターナショナル ジャーナル オン ドキュメント アナリシス アンド レコグニション（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊ． ｏｎ Ｄｏｃｕｍｅｎｔ Ａｎａｌｙｓｉｓ ａｎｄ Ｒｃｏｇｎｉｔｉｏｎ）（２００２）２４３−２５７。
【００３１】
ユー ビー（Ｙｕ， Ｂ．）、ジェイン エーケー（Ｊａｉｎ， Ａ． Ｋ．）：一般的な文書のための堅牢かつ高速なスキュー検知アルゴリズム（Ａ ｒｏｂｕｓｔ ａｎｄ Ｆａｓｔ Ｓｋｅｗ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｇｅｎｅｒｉｃ Ｄｏｃｕｍｅｎｔｓ）、パターン レコグニション（Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ）（１９９６）：１５９９−１６２９に記載されるように、撮像された画像内の画像要素の重心にハフ変換を適用することによって、スキューが検知される。または、画像内の画像要素の端点（配向によりトップ／ボトムまたは左／右）にハフ変換を適用してもよい。
【００３２】
遠近およびスキュー修正は、図１に示されるボケ除去処理前（たとえば、ステップＳ１１またはＳ１２の前）、文書画像に対して実行される。これらの修正が実行される場合、水平および垂直方向のエッジ応答関数が、ステップＳ１４からＳ１６により、より簡便に取得される。これらの修正が実行されない場合、様々な斜方向（好ましくは、相互に直角な方向を含む）にあるエッジが、エッジ反応関数および２次元局部ＰＳＦを取得するために使用される。
【００３３】
いくつかのケースでは、所望の情報は、文書画像の局部化された部分に位置する。たとえば、文書画像内の道路標識を発見して認識することが目的である場合、文字のグループ化されたブロックがテキスト分類方法を使用して抽出される。シェン エイッチ（Ｓｈｅｎ， Ｈ．）、コフラン ジェイ（Ｃｏｕｇｈｌａｎ， Ｊ．）：因子グラフを使用するグループ分け：カメラ付き携帯電話によってテキストを見つけ出すための方法（Ｇｒｏｕｐｉｎｇ Ｕｓｉｎｇ Ｆａｃｔｏｒ Ｇｒａｐｈｓ：ａｎ Ａｐｐｒｏａｃｈ ｆｏｒ Ｆｉｎｄｉｎｇ Ｔｅｘｔ ｗｉｔｈ ａ Ｃａｍｅｒａ Ｐｈｏｎｅ）、コンピュータサイエンス レクチャーノート（Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ），Ｖｏｌ． ４５３８．スプリンガー−フェルラーク（Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ），ベルリン ハイデルベルグ ニューヨーク（１９９５）３９４−４０３を参照。その他の応用例では、カーゴコンテナラベルを読むことが目的となる（リー シー エム（Ｌｅｅ， Ｃ． Ｍ．）、カンカンハリ エー（Ｋａｎｋａｎｈａｌｌｉ， Ａ．）：複雑な情景画像の自動文字抽出（Ａｕｔｏｍａｔｉｃ Ｅｘｔｒａｃｔｉｏｎ ｏｆ Ｃｈａｒａｃｔｅｒｓ ｉｎ Ｃｏｍｐｌｅｘ Ｓｃｅｎｅ Ｉｍａｇｅｓ）、インターナショナル ジャーナル オブ パターン レコグニション アンド アーティフィシャル インテリジェンス（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊ． ｏｆ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ（１９９５）６７−８２を参照）。この種の応用では、すなわち、所望の情報が文書画像において局部化される場合、所望の部分画像が抽出され、個別に処理される。言い換えると、複数の部分画像に画像を分割するステップ（図１のステップＳ１２）は、テキスト分類方法などの適切な方法を使用して文字のグループ化されたブロックなど、所望の部分画像を抽出する方法により実装される。その後、局部ＰＳＦ部分画像を取得して部分画像をボケ除去するために、各々のそのような部分画像について、図１のステップＳ１４からＳ１８が実行される。抽出された部分画像は、典型的に、集合的に画像全体をカバーしないので、そのような応用では、画像構築は必要とされない。２値化およびＯＣＲなど、ボケ除去後の処理ステップが、別個の部分画像に対して実行される。
【００３４】
文書画像における連続的な奥行き変化の場合（たとえば、図２（ａ）を参照）、奥行き変化に基づいて画像を区分することは難しい。そのような場合、文字ブロックへの画像の区分は、任意に定義された境界に依存する傾向がある。単純な方法としては、画像は多数の矩形の重複した部分画像に分割され、部分画像はそれらの局部ＰＳＦを取得するために分析される。この方法により、離散的な奥行き変化が、連続的な奥行き変化を近似するために使用される。部分画像のサイズが小さければ小さいほど、奥行きの近似は良くなる。しかし、その境界効果のため、デコンボリューションのためにはより大きな部分画像が適している。奥行きの滑らかさとデコンボリューションとの間で、妥協がされなくてはならない。部分画像のサイズは、局部ＰＳＦの幅よりも十分大きくあるべきである。
【００３５】
部分画像が小さい場合、いくつかの部分画像はエッジを有していないか、エッジが局部ＰＳＦを予測するにはぼやけ過ぎている可能性もある。そのような部分画像は、おそらく有用な情報を含まないか、または、ボケ除去は有用な情報を回復できないので、ボケ除去の目的のためには無視される。なお、そのような部分画像のＰＳＦは、隣接する部分画像のＰＳＦを使用する予測法または補間法により計算されうる。後者の方法は、遠近および奥行き情報が画像から取得されたり、または演繹的知識が利用可能であったりする場合に有用である。
【００３６】
カメラベースの文書画像から生成された局部ＰＳＦを使用する適応的ボケ除去の上記方法は、被写体である文書がカメラから固定された奥行きにない場合、全体的な画質を顕著に向上させる。
【００３７】
上記方法は、画像撮像部および画像処理部を含む、データ処理システムに実装される。画像処理システムの一例は、図３（ａ）に示されるように、画像撮像部３１を有する携帯電話などの携帯装置３０（すなわち、携帯電話のカメラ）および画像処理部３２（たとえば、マイクロプロセッサ、ハードウェア回路など）である。上記ボケ除去方法は、メモリ３３に格納されたソフトウェアまたはファームウェアにより実装され、プロセッサまたはハードウェア回路により実行される。画像撮像部３１および画像処理部３２は、携帯装置３０と同じ筐体に収納される。携帯機器はまた、典型的に、無線または有線通信チャネルを介して外部機器と通信するための通信部を含む。
【００３８】
図３（ｂ）に示される画像処理システムのその他の例は、デジタルカメラ３５（カメラ付き携帯電話でもよい）およびコンピュータ３６を含む。デジタルカメラおよびコンピュータは別々の機器であり、これらの機器間でデータを転送するためのＵＳＢケーブルまたは無線リンクなどのデータ通信チャネルにより接続される。カメラ３５は、撮像された画像をコンピュータ３６へ送信し、コンピュータはそのメモリに格納されたソフトウェアプログラムを実行することにより上記ボケ除去方法を実行する。
【００３９】
本発明の思想または範囲から乖離することなく、様々な改変および変形が本願発明の画像ボケ除去方法からなされうることは、当業者に明らかである。ゆえに、本願発明は、添付された請求の範囲およびそれと同等な範囲内での改変および変形を包含するものと解される。
【特許請求の範囲】
【請求項１】
文書画像を処理するためのデータ処理システムに実装される方法であって、
（ａ）前記文書画像から複数の部分画像を取得するステップと、
（ｂ）各前記部分画像について、
（ｂ１）前記部分画像内の複数のエッジを検出するステップと、
（ｂ２）前記検出されたエッジを隔てる画像明暗度変化を分析することにより、エッジ応答関数を取得するステップと、
（ｂ３）前記エッジ応答関数から、２次元点分布関数を計算するステップと、
（ｂ４）前記計算された点分布関数を用いてデコンボリューションを適用することにより前記部分画像をボケ除去するステップと、
を含む方法。
【請求項２】
前記複数の部分画像は相互に重複し、集合的に文書画像全体をカバーする、請求項１に記載の方法。
【請求項３】
（ｃ）画像モザイキングにより前記ボケ除去された部分画像を組み合わせて、ボケ除去された文書画像を構築するステップをさらに含む請求項３に記載の方法。
【請求項４】
前記ステップ（ａ）は、前記文書画像から所望の情報を含む部分画像を抽出するステップを含む、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記部分画像はテキスト分類を使用して抽出される、請求項４に記載の方法。
【請求項６】
前記ステップ（ｂ１）で検出された複数のエッジは、実質的に第１方向に沿う第１の複数のエッジと、実質的に第２方向に沿う第２の複数のエッジとを含み、
前記第２方向は、前記第１方向とは実質的に非平行である、請求項１〜５のいずれか一項に記載の方法。
【請求項７】
カメラによって撮像された文書画像を処理するためのプロセスをデータ処理装置に実行させるように構成されたコンピュータプログラムコードであって、
当該プロセスは、
（ａ）前記文書画像から複数の部分画像を取得するステップと、
（ｂ）各前記部分画像について、
（ｂ１）前記部分画像内の複数のエッジを検出するステップと、
（ｂ２）前記検出されたエッジを隔てる画像明暗度変化を分析することにより、エッジ応答関数を取得するステップと、
（ｂ３）前記エッジ応答関数から、２次元点分布関数を計算するステップと、
（ｂ４）前記計算された点分布関数を用いてデコンボリューションを適用することにより前記部分画像をボケ除去するステップと、
を含む、前記データ処理装置を制御するためのコンピュータプログラム。
【請求項８】
前記複数の部分画像は相互に重複し、集合的に文書画像全体をカバーする、請求項７に記載のコンピュータプログラム。
【請求項９】
前記プロセスは、
（ｃ）画像モザイキングにより前記ボケ除去された部分画像を組み合わせて、ボケ除去された文書画像を構築するステップをさらに含む請求項８に記載のコンピュータプログラム。
【請求項１０】
前記ステップ（ａ）は、前記文書画像から所望の情報を含む部分画像を抽出するステップを含む、請求項７〜９のいずれか一項に記載のコンピュータプログラム。
【請求項１１】
前記部分画像はテキスト分類を使用して抽出される、請求項１０に記載のコンピュータプログラム。
【請求項１２】
前記ステップ（ｂ１）で検出された複数のエッジは、実質的に第１方向に沿う第１の複数のエッジと、実質的に第２方向に沿う第２の複数のエッジとを含み、
前記第２方向は、前記第１方向とは実質的に非平行である、請求項７〜１１のいずれか一項に記載のコンピュータプログラム。
【請求項１３】
画像を撮像するための画像撮像部と、
文書画像から複数の部分画像を取得し、各前記部分画像について前記部分画像内の複数のエッジを検出し、前記検出されたエッジを隔てる画像明暗度変化を分析することにより、エッジ応答関数を取得し、前記エッジ応答関数から２次元点分布関数を計算し、前記計算された点分布関数を用いてデコンボリューションを適用することにより前記部分画像をボケ除去して、前記撮像された画像を処理するための処理部と、
を含み、
前記画像撮像部および前記処理部は、同じ筐体に収納される携帯装置。
【請求項１４】
前記複数の部分画像は相互に重複し、集合的に文書画像全体をカバーする、請求項１３に記載の携帯装置。
【請求項１５】
前記処理部は、画像モザイキングにより前記ボケ除去された部分画像を組み合わせて、ボケ除去された文書画像をさらに構築する、請求項１４に記載の携帯装置。
【請求項１６】
前記処理部は、前記文書画像から所望の情報を含む部分画像を抽出する、請求項１３〜１５のいずれか一項に記載の携帯装置。
【請求項１７】
前記部分画像はテキスト分類を使用して抽出される、請求項１６に記載の携帯装置。
【請求項１８】
前記処理部によって検出された複数のエッジは、実質的に第１方向に沿う第１の複数のエッジと、実質的に第２方向に沿う第２の複数のエッジとを含み、
前記第２方向は、前記第１方向とは実質的に非平行である、請求項１３〜１７のいずれか一項に記載の携帯装置。
【請求項１９】
請求項７〜１２のいずれか一項のコンピュータプログラムを記憶するコンピュータ読み取り可能な記憶媒体。
【請求項１】
文書画像を処理するためのデータ処理システムに実装される方法であって、
（ａ）前記文書画像から複数の部分画像を取得するステップと、
（ｂ）各前記部分画像について、
（ｂ１）前記部分画像内の複数のエッジを検出するステップと、
（ｂ２）前記検出されたエッジを隔てる画像明暗度変化を分析することにより、エッジ応答関数を取得するステップと、
（ｂ３）前記エッジ応答関数から、２次元点分布関数を計算するステップと、
（ｂ４）前記計算された点分布関数を用いてデコンボリューションを適用することにより前記部分画像をボケ除去するステップと、
を含む方法。
【請求項２】
前記複数の部分画像は相互に重複し、集合的に文書画像全体をカバーする、請求項１に記載の方法。
【請求項３】
（ｃ）画像モザイキングにより前記ボケ除去された部分画像を組み合わせて、ボケ除去された文書画像を構築するステップをさらに含む請求項３に記載の方法。
【請求項４】
前記ステップ（ａ）は、前記文書画像から所望の情報を含む部分画像を抽出するステップを含む、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記部分画像はテキスト分類を使用して抽出される、請求項４に記載の方法。
【請求項６】
前記ステップ（ｂ１）で検出された複数のエッジは、実質的に第１方向に沿う第１の複数のエッジと、実質的に第２方向に沿う第２の複数のエッジとを含み、
前記第２方向は、前記第１方向とは実質的に非平行である、請求項１〜５のいずれか一項に記載の方法。
【請求項７】
カメラによって撮像された文書画像を処理するためのプロセスをデータ処理装置に実行させるように構成されたコンピュータプログラムコードであって、
当該プロセスは、
（ａ）前記文書画像から複数の部分画像を取得するステップと、
（ｂ）各前記部分画像について、
（ｂ１）前記部分画像内の複数のエッジを検出するステップと、
（ｂ２）前記検出されたエッジを隔てる画像明暗度変化を分析することにより、エッジ応答関数を取得するステップと、
（ｂ３）前記エッジ応答関数から、２次元点分布関数を計算するステップと、
（ｂ４）前記計算された点分布関数を用いてデコンボリューションを適用することにより前記部分画像をボケ除去するステップと、
を含む、前記データ処理装置を制御するためのコンピュータプログラム。
【請求項８】
前記複数の部分画像は相互に重複し、集合的に文書画像全体をカバーする、請求項７に記載のコンピュータプログラム。
【請求項９】
前記プロセスは、
（ｃ）画像モザイキングにより前記ボケ除去された部分画像を組み合わせて、ボケ除去された文書画像を構築するステップをさらに含む請求項８に記載のコンピュータプログラム。
【請求項１０】
前記ステップ（ａ）は、前記文書画像から所望の情報を含む部分画像を抽出するステップを含む、請求項７〜９のいずれか一項に記載のコンピュータプログラム。
【請求項１１】
前記部分画像はテキスト分類を使用して抽出される、請求項１０に記載のコンピュータプログラム。
【請求項１２】
前記ステップ（ｂ１）で検出された複数のエッジは、実質的に第１方向に沿う第１の複数のエッジと、実質的に第２方向に沿う第２の複数のエッジとを含み、
前記第２方向は、前記第１方向とは実質的に非平行である、請求項７〜１１のいずれか一項に記載のコンピュータプログラム。
【請求項１３】
画像を撮像するための画像撮像部と、
文書画像から複数の部分画像を取得し、各前記部分画像について前記部分画像内の複数のエッジを検出し、前記検出されたエッジを隔てる画像明暗度変化を分析することにより、エッジ応答関数を取得し、前記エッジ応答関数から２次元点分布関数を計算し、前記計算された点分布関数を用いてデコンボリューションを適用することにより前記部分画像をボケ除去して、前記撮像された画像を処理するための処理部と、
を含み、
前記画像撮像部および前記処理部は、同じ筐体に収納される携帯装置。
【請求項１４】
前記複数の部分画像は相互に重複し、集合的に文書画像全体をカバーする、請求項１３に記載の携帯装置。
【請求項１５】
前記処理部は、画像モザイキングにより前記ボケ除去された部分画像を組み合わせて、ボケ除去された文書画像をさらに構築する、請求項１４に記載の携帯装置。
【請求項１６】
前記処理部は、前記文書画像から所望の情報を含む部分画像を抽出する、請求項１３〜１５のいずれか一項に記載の携帯装置。
【請求項１７】
前記部分画像はテキスト分類を使用して抽出される、請求項１６に記載の携帯装置。
【請求項１８】
前記処理部によって検出された複数のエッジは、実質的に第１方向に沿う第１の複数のエッジと、実質的に第２方向に沿う第２の複数のエッジとを含み、
前記第２方向は、前記第１方向とは実質的に非平行である、請求項１３〜１７のいずれか一項に記載の携帯装置。
【請求項１９】
請求項７〜１２のいずれか一項のコンピュータプログラムを記憶するコンピュータ読み取り可能な記憶媒体。
【図１】
【図３（ａ）】
【図３（ｂ）】
【図２（ａ）】
【図２（ｂ）】
【図２（ｃ）】
【図３（ａ）】
【図３（ｂ）】
【図２（ａ）】
【図２（ｂ）】
【図２（ｃ）】
【公開番号】特開２０１１−４５０７８（Ｐ２０１１−４５０７８Ａ）
【公開日】平成２３年３月３日（２０１１．３．３）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１０−１８４９０６（Ｐ２０１０−１８４９０６）
【出願日】平成２２年８月２０日（２０１０．８．２０）
【出願人】（５０７０３１９１８）コニカ ミノルタ システムズ ラボラトリー， インコーポレイテッド (157)
【Ｆターム（参考）】
【公開日】平成２３年３月３日（２０１１．３．３）
【国際特許分類】
【出願番号】特願２０１０−１８４９０６（Ｐ２０１０−１８４９０６）
【出願日】平成２２年８月２０日（２０１０．８．２０）
【出願人】（５０７０３１９１８）コニカ ミノルタ システムズ ラボラトリー， インコーポレイテッド (157)
【Ｆターム（参考）】
[ Back to top ]