画像補正装置および画像補正方法
【課題】被写体を撮像して得られたカラー画像における動的な影を適切に除去することを課題とする。
【解決手段】本発明は、被写体を撮像部１３０で撮像して得られたカラー画像から影を除去する補正を行う画像補正装置１００である。画像補正部１５２は、カラー画像の領域分割を行い、領域ごとに色クラスタリングを行って各クラスタの代表色を求め、代表色のうち最大輝度のものを地色として作製した領域ごとの地色を示す地色濃度マップを用いて、カラー画像における各画素値から影を除去する補正を行う。
【解決手段】本発明は、被写体を撮像部１３０で撮像して得られたカラー画像から影を除去する補正を行う画像補正装置１００である。画像補正部１５２は、カラー画像の領域分割を行い、領域ごとに色クラスタリングを行って各クラスタの代表色を求め、代表色のうち最大輝度のものを地色として作製した領域ごとの地色を示す地色濃度マップを用いて、カラー画像における各画素値から影を除去する補正を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラやスキャナで撮像した画像の影を除去する技術に関する。
【背景技術】
【０００２】
従来から、オフィスや家庭において、書面、伝票、郵便物、紙幣などを、エリアイメージセンサを用いたカメラもしくはスキャナで撮像し、得られた画像データを保存したり活用したりする技術がある。
【０００３】
また、例えば、金融機関などでは、営業店窓口に設置された端末装置に接続されたスキャナによって、顧客が記入した取引帳票の画像を撮像し、得られた画像データを保存したり、画像データについて文字認識を行ったりしている。その場合、スキャナとしては、スタンド型スキャナが使われることが多い。
【０００４】
スタンド型スキャナとは、読み取り面が上向きに置かれた書面を、支柱に固定されたイメージセンサで真上から読み取る非接触型のスキャナである。スタンド型スキャナは、フラットベッドスキャナと比べると、多様なサイズや厚さの用紙が混在している場合にスキャンする手間を少なくできるため、多様な帳票を扱う金融機関の窓口業務などで多く活用されている。
【０００５】
しかし、スタンド型スキャナを使用すると、照明条件などによって、読み取った画像データに影（輝度ムラ（ｓｈａｄｅ））が発生することがある。そのため、キャリブレーションを行うことで環境光の影響を取り除く必要がある。一般的なキャリブレーション方法としては、原稿台に白紙を置いて読み込ませることで影の濃度を表わすシェーディングデータを取得し、シェーディングデータを用いて原稿画像のシェーディング補正を行っている。また、その他のキャリブレーション方法として、例えば、白紙ではなく原稿台の画像を基準としてキャリブレーションする方法がある（特許文献１参照）。
【０００６】
しかし、キャリブレーション実施後の照明環境の変化や、撮像時にスキャナの近くに人が立つなどの周辺状況の変化により、読み込んだ画像に影が発生する場合がある。このような影を、以下、「動的な影」と称する。動的な影は、撮像した画像を利用した文字認識処理の精度低下等、画像処理に悪影響を及ぼすという問題がある。
【０００７】
また、特許文献２では、スキャナ画像やカメラ画像の動的な影を除去する技術が開示されている。この技術では、画像を部分領域に分割し、部分領域ごとに影判定と濃度判定を行っている。具体的には、各部分領域内の画素の輝度値の頻度分布をとり、白レベルに近いピークの輝度を書面の地色（影の影響も含めた地の色）の輝度の代表値として検出する。この値を部分領域の中心座標における地色の輝度値としている。
【０００８】
その他の座標での地色の輝度値は、部分領域の中心座標の輝度値から線形補間を用いて求められる。この地色の輝度値が低いほど影が濃いとして判定できる。輝度値補正は、予め定めた白の基準となる輝度値(例えば、白画素を示す２５５)と地色輝度との比に基づいて画素毎の補正値を求め、入力画像の画素の輝度に補正値を乗算することで求めることができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００８−１９９５５６号公報
【特許文献２】特開２００２−１５３１３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
一般的なキャリブレーションでは白紙を基準として補正することができるのに対し、動的な影を補正するには、補正の基準となる画像がない。したがって、撮像した画像のみで影の領域や濃度を検出して補正する必要がある。前記したように、特許文献２の技術では、基準画像なしで影を除去するために、輝度値の頻度分布から白に近いピークを地色の輝度としている。
【００１１】
しかし、この方法は、書面の地色が均一な白であることを前提としているため、カラー書面には適用できないという問題がある。例えば、白い紙に赤や緑の地色領域が印刷されており、白い部分の面積が少ない書面に適用した場合を考える。この場合、領域ごとに地色の輝度値は異なるため、輝度値の頻度分布では赤や緑の地色に相当するピークが検出されるが、白い紙の面積が小さいためピークとして検出できない場合がある。このような場合には、適切に紙の白を地色として検出することができない。さらに、紙の色とは異なる印刷色を地色として輝度を補正した場合、この色領域も白になるという問題がある。これらの問題を解決するためには、カラー書面においては、地色の色を判別して輝度補正をすることが必要となる。
【００１２】
そこで、本発明は、このような問題を解決するためになされたものであり、被写体を撮像して得られたカラー画像における動的な影を適切に除去することを課題とする。
【課題を解決するための手段】
【００１３】
前記課題を解決するために、本発明は、被写体を非接触型スキャナで撮像して得られたカラー画像から影を除去する補正を行う画像補正装置であって、前記カラー画像、および、複数の代表色から前記被写体の地色を検出するための所定の判定基準を記憶する記憶部と、前記カラー画像における各画素を色空間上でクラスタリングする処理である色クラスタリングを行い、前記色クラスタリングの結果を用いて各クラスタの代表色を求め、前記所定の判定基準によって、その求めた代表色のうちのいずれかを前記被写体の地色として検出し、前記検出した被写体の地色に基づいて、前記被写体に対応する画像領域全体の地色濃度を示す地色濃度マップを作製し、前記地色濃度マップを用いて、地色が濃いほど影が濃いものとして前記カラー画像における各画素値から影を除去する補正を行い、前記補正を行った画素値を前記記憶部に格納する画像補正部と、を備えることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、被写体を撮像して得られたカラー画像における動的な影を適切に除去することができる。
【図面の簡単な説明】
【００１５】
【図１】第１実施形態の画像補正装置の構成図である。
【図２】撮像部の一例であるスタンド型スキャナの概略図である。
【図３】画像補正処理を示すフローチャートである。
【図４】補正対象となるカラー帳票画像の例を示す図である。
【図５】部分領域の色クラスタリングの例を示す図である。
【図６】紙の地色の面積が少ない部分領域での輝度の頻度分布の例を示す図である。
【図７】紙の地色の面積が少ない部分領域の色クラスタリングの例を示す図である。
【図８】画像補正と文字認識をする画像処理装置の構成図である。
【図９】営業店窓口端末の構成図である。
【図１０】地色濃度マップ（補間前）の例を示す図である。
【図１１】地色濃度マップ（補間後）の例を示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照（言及図以外の図面も適宜参照）して、本発明を実施するための形態（以下、実施形態と称する。）について、第１実施形態〜第６実施形態に分けて説明する。
【００１７】
（第１実施形態）
まず、第１実施形態に係る画像補正装置の構成について説明する。図１に示すように、画像補正装置１００は、帳票や書面等を撮像して取得した影付きカラー画像を補正することで影無しカラー画像（影がない状況で撮像した画像と同等の画像）を生成するコンピュータ装置であり、操作部１１０と、表示部１２０と、撮像部１３０と、記憶部１４０と、制御部１５０とを備える。
【００１８】
操作部１１０は、ユーザが数字や文字の入力操作を行う際に利用するキーボードや、スキャンの開始を指示するためのボタン等からなる操作部である。表示部１２０は、入力画像や補正後の画像等を表示する液晶ディスプレイ等からなる表示部である。撮像部１３０は、ＣＣＤ（Charge Coupled Device）等の撮像素子を用いて画像を撮像するデジタルカメラやスタンド型スキャナ等（非接触型スキャナ）の撮像部である。
【００１９】
記憶部１４０は、メモリやハードディスク装置等からなる記憶デバイスであり、撮像部１３０で撮像された画像や各種内部処理用プログラム、および各種設定データを記憶する。また、例えば、記憶部１４０は、複数の代表色から被写体（書面など）の地色を検出するための所定の判定基準として、求めた各クラスタの代表色のうち輝度が最も高い色を被写体の地色とするという基準を記憶する。
【００２０】
制御部１５０は、画像の撮像処理と入力画像の補正処理を行う制御部であり、撮像処理部１５１と画像補正部１５２を有する。
撮像処理部１５１は、撮像部１３０を用いて被写体の撮像制御を行う制御部であり、撮像部１３０で被写体を撮像した場合には、シェーディングデータ等のキャリブレーションパラメータを用いて動的な影以外の輝度ムラを除去した画像データを入力画像としてメモリ上に展開して一時的に保持するとともに、この画像データをファイルとして記憶部１４０に格納することができる。撮像処理部１５１の処理の手法の例としては、前記した特許文献１の手法などが挙げられる。
【００２１】
画像補正部１５２は、撮像処理部１５１で作成された入力画像から動的な影を除去する手段であり、第１実施形態の画像補正装置１００における特徴部分である。具体的には、画像補正部１５２は、画像を複数の領域に分割して、各領域内で色クラスタリング（詳細は後記）を実行し、複数のクラスタの代表色の中で最大輝度の色を領域の地色とする。さらに、地色の輝度（濃度）を用いて、画素の輝度値の補正を行う。具体的な処理については、図３から図７を用いて後述する。
【００２２】
次に、撮像部１３０の一例について説明する。図２に示すように、撮像部１３０の一例であるスタンド型スキャナ２００は、カメラヘッド２１０、カメラヘッド２１０を固定する支柱２２０、被写体である原稿２４０を置く原稿台２３０を備えている。カメラヘッド２１０の撮像方向は下向きであり、原稿台２３０上に置いた原稿２４０を読取ることができる。なお、撮像部１３０の例としてスタンド型スキャナ２００を挙げたが、その他に、通常のデジタルカメラや携帯電話のカメラ等を用いてもよい。
【００２３】
次に、画像補正部１５２の処理手順について詳細に説明する。なお、撮像部１３０で採取された画像が撮像処理部１５１でキャリブレーションパラメータにより補正された画像情報を入力画像とし、この入力画像があらかじめ記憶部１４０に格納されているものとする。この入力画像には、キャリブレーション後の照明変動や撮像部１３０の付近の人の存在などにより、動的な影が生じている場合がある。図３の処理フローは、このような動的な影を除去することを目的としている。各ステップの処理の内容は次のとおりである。
【００２４】
図３に示すように、画像補正部１５２は、まず、画像全体を複数の部分領域に分割（ステップ３００）する。一般的には、Ｎ×Ｍ画素の矩形領域に分割する。具体的には、処理の精度や速度の都合上、例えば、１つの部分領域が２００×２００ピクセル程度の大きさになるように分割すればよいが、他の大きさに分割してもよい。
【００２５】
これ以降、画像補正部１５２は、色クラスタリング（ステップ３２０）と地色検出（ステップ３３０）の処理を、全ての部分領域に対して実行する（「ステップ３１０でＮｏ→ステップ３２０→ステップ３３０」の繰り返し）。なお、部分領域への分割は必須ではなく、領域分割（ステップ３００）をすることなく、入力画像全体を対象として以降の処理をしてもよい。例えば、画像自体が元々小さい場合や、画像全体にできる影が均一である確率が高い場合などは、領域分割をしなくてもよい。
【００２６】
画像補正部１５２は、各部分領域について色クラスタリングをする（ステップ３２０）。色クラスタリングとは、処理領域中の各画素を色空間上でクラスタリングする処理である。具体的には、各画素を色空間上にマッピングした後、ボロノイ分割やユークリッド距離の閾値などを用いて近い色同士を同じクラスタとして色空間内を領域分割することにより実現できる。そして、各クラスタにおいて、クラスタの中心に位置する色や最も頻度が高い色を、クラスタの代表色とすることができる。
【００２７】
ここで、図４の帳票画像例と図５の色クラスタリングの例を用いて色クラスタリングについて具体的に説明する。図４に示すカラー帳票４００は、地色が紙の元の地色である白と同じである地色領域４１０、地色が赤で印刷されている地色領域４２０、地色が緑で印刷されている地色領域４３０を含んで構成されており、各領域内には符号４４０の箇所などに示す文字が記載される白地の領域がある。
【００２８】
図５は、図４の部分領域４５０内の画素の色をＲＧＢ（Red（赤）, Green（緑）, Blue（青））色空間へマッピングした例である。ＲＧＢ色空間は、ＲＧＢそれぞれの値を軸に持つ３次元空間であり、ＲＧＢの各軸の値は０から２５５をとる。原点（０，０，０）は黒を表し、（２５５，２５５，２５５）は白を表す。処理対象領域内の各画素はＲＧＢ色空間上の一点にマッピングできる。その結果、代表的な色を中心とした複数の分布ができ、それぞれをクラスタとみなすことができる。
【００２９】
図４の部分領域４５０と図５の各クラスタを対応付けすると、クラスタ５００がカラー帳票４００の紙の地色である白の分布、クラスタ５１０が文字の色である黒の分布、クラスタ５２０が地色領域４２０の赤の分布、クラスタ５３０が地色領域４３０の緑の分布を表している。
【００３０】
なお、図５ではＲＧＢ色空間を利用したが、その代わりに、Ｌ＊ａ＊ｂ＊色空間やＬ＊ｕ＊ｖ＊色空間、ＨＳＶ（色相(Hue)、彩度(Saturation)、明度(Value)）色空間、ＨＳＬ（色相（Hue）、彩度（Saturation）、明度（Lightness））色空間などを利用してもよい。
【００３１】
さらに、色クラスタリングは領域内の全ての画素を利用しても、一部の画素を利用してもよい。例えば、一定間隔でサンプリングした画素を色クラスタリングに用いてもよい。さらに、この例では画素の値を直接クラスタリングの対象にしているが、ＣＣＤの特性上発生する偽色等、隣接する画素との大きな色の変動の影響を軽減するために、周辺の画素との平均値や重み付き平均値を求めて、この値を色クラスタリングに用いてもよい。
【００３２】
地色検出（ステップ３３０）は、色クラスタリング結果を用いて、部分領域の地色を検出する処理である。この第１実施形態では、色クラスタリングで求めたクラスタの代表色のうち、最も輝度が高い色を地色とする。なお、ＲＧＢ色空間上の画素の色（ＲＧＢ値）から輝度Ｙを算出するには、例えば、次の式（１）を用いればよい。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ ・・・式（１）
【００３３】
ただ、この式（１）は一例であり、他の式であってもよい。このような変換式は、人間の視覚がＲＧＢ色空間上の画素の色から感じる明るさの度合いである輝度を算出するためのものであり、この式（１）に限定される理由はないからである。
【００３４】
ここで、第１実施形態で、色クラスタリングで求めたクラスタの代表色のうち、最も輝度が高い色を地色とする理由を、図４から図７を用いて説明する。図４の部分領域４６０から地色を判定する場合、特許文献２の技術を用いて輝度値の頻度分布をとると図６のようになる。図６では、ピーク６００が文字を、ピーク６１０が赤い地色領域４２０を、ピーク６２０が緑の地色領域４３０を、突起６３０が紙の地色を表している。白い地色の部分は面積が小さいためピークが現出しておらず、最大輝度のピーク値を地色濃度にする手法では、緑の地色の濃度の代表値である輝度値６４０を地色として選択してしまう。これに対し、図４の部分領域４６０を色クラスタリングした結果を図７に示す。
【００３５】
クラスタ７００がカラー帳票４００の紙の地色である白（数字「８」の領域の白）の分布、クラスタ７１０が文字の色（ここでは、文字の色と同等である地色領域４２０の枠線の色など）である黒の分布、クラスタ７２０が地色領域４２０の赤の分布、クラスタ７３０が地色領域４３０の緑の分布を表しており、白い地色領域であるクラスタ７００と緑の地色領域であるクラスタ７３０は分離されている。第１実施形態によるクラスタの代表色の最大輝度を地色濃度とする手法では、クラスタ７００の代表色の輝度値６５０（図６参照）が地色濃度であると判定できる。すなわち、地色検出（ステップ３３０）では、印刷された地色の影響を受けずに紙の地色を検出することができるという特徴がある。
【００３６】
図３に戻って、ステップ３１０でＹｅｓの後（全ての領域を処理した後）、画像補正部１５２は、各部分領域で求めた地色を用いて、入力画像の各画素の地色の濃度を表わす地色濃度マップを作製する（ステップ３４０）。ここで、地色濃度マップ作製処理の一例について、図１０と図１１を参照して説明する。
【００３７】
この処理は、図１０に示す地色濃度マップ（補間前）から図１１に示す地色濃度マップ（補間後）（以下、単に「地色濃度マップ」とも称する。）を作製することを目的とする。つまり、図１０の地色濃度マップ（補間前）について、次の処理を行う。まず、各領域で求めた地色の輝度を、各領域の中心座標の地色濃度とする。次に、最小の矩形を形成する４つの中心座標（例えば、Ａ，Ｂ，Ｃ，Ｄ）の内側に存在する画素（例えばα）の地色濃度は、その４つの中心座標の地色濃度に基づいた線形補間によって求めることができる。この処理を画像全体に対して実行することにより、図１１に示す地色濃度マップ（補間後）を作製することができる。図１１に示す地色濃度マップ（補間後）は、上部中央の影が濃くて全体の濃淡がなめらかな画像、つまり、現実の影を高精度で再現した画像となっている。
【００３８】
この他の手法としては、領域の中心座標の地色濃度から、多項式近似によって画像全体の地色濃度の近似曲面を求めることもできる。さらに、その他の手法として、各領域で求めた地色の輝度を各領域の中心座標とするのではなく、領域内で最もその色と近い色の画素の座標での地色濃度として、線形補間や近似曲面を求めることで地色濃度マップを作製することもできる。
【００３９】
図３に戻って、ステップ３４０の後、画像補正部１５２は、地色濃度マップに基づいて、画素値補正の必要の判定（ステップ３６０）、画素値補正（ステップ３７０）、および補正値セット（記録）（ステップ３８０）の処理を、全ての画素について行う（「ステップ３５０でＮｏ→ステップ３６０→（ステップ３７０→）ステップ３８０」の繰り返し）。
画素値補正の必要の判定（ステップ３６０）では、例えば、地色濃度マップの輝度値が所定の基準値以下であれば、画素値補正が必要（Ｙｅｓ）であると判定する。
【００４０】
画素値補正（ステップ３７０）では、地色が濃いほど影が濃いものとして画像における各画素値から影を除去する補正を行う。具体的には、地色濃度マップの輝度値と入力画像のＲＧＢ値から補正後のＲＧＢ値を求める。補正方法の一例として、線形コントラスト補正について説明する。
【００４１】
線形コントラスト補正とは、画像中の処理領域内の画素の明るさ（輝度値）の最大値と最小値の差を拡大する処理である。例えば、入力の最大値をＸmaxとし、補正後の最大値を２５５とすると、０〜Ｘmaxの入力を０〜２５５に伸張する。線形コントラスト補正の例として、画素のＲＧＢのそれぞれの値を次の式（２）を用いて補正する方式がある。式（２）では、Ｘを入力画像の画素のＲＧＢ値、Ｘｃを補正画像の画素のＲＧＢ値、Ｙｓを当該画素の地色の輝度値（濃度）、αを補正パラメータとする。式（２）は、α・Ｙｓの値に応じて入力画像の画素のＲＧＢ値を補正するものである。また、ｍｉｎ（）は、（）内の複数の値のうち最小のものを選択するという意味である。つまり、補正値の最大値を２５５とする。
Ｘｃ＝ｍｉｎ（２５５×Ｘ／（α・Ｙｓ），２５５） ・・・式（２）
【００４２】
補正パラメータαは地色のバラつきを吸収するためのパラメータであり、０以上１以下の値をとる。αの値は、小さいほど補正後の画像が明るくなるという特性を持つ。αを用いる理由は、クラスタ内の地色のバラつきの影響を軽減するためである。クラスタ内の地色にはバラつきがあるため、クラスタの代表色をそのまま補正に用いた場合、クラスタ内と判定されていても地色濃度が代表色よりも低輝度の画素では影が薄く残る場合がある。αを１未満の値にすると、代表色よりも低い値を基準に画素値を補正することができるため、バラついた地色でも影を残さずに補正できる。
なお、コントラスト補正は、入力画像の画素の輝度値や地色濃度に応じて非線形に変換することで行ってもよい。
【００４３】
最後に、画素値セット（ステップ３８０）では、ステップ３７０で補正した画素値を補正画像の画素値として格納する。補正されない画素は入力画像の画素値を格納する。
【００４４】
このように、第１実施形態の画像補正装置１００によれば、主に色クラスタリングと地色濃度マップによって、被写体を撮像して得られたカラー画像における動的な影を適切に除去することができる。その結果、照明条件が変わるごとにキャリブレーションすることなく輝度ムラのない画像を生成することができ、使い勝手の向上を図ることができる。
【００４５】
（第２実施形態）
第２実施形態では、第１実施形態における図３の地色検出（ステップ３３０）の別の実現形態について説明する。第２実施形態の地色検出処理は、まず、部分領域で色クラスタリングしてから地色を検出し、隣接する前記部分領域の地色間の色差または輝度差を評価し、着目した前記部分領域について、隣接する２つ以上の前記部分領域と前記色差または前記輝度差が所定以上に大きい場合には、前記検出された地色を破棄し、隣接する前記部分領域から補間処理で求めた値を当該部分領域の地色とする。
【００４６】
この第２実施形態の手法は、図４の部分領域４７０のように、部分領域中に紙の地色（白色）領域を含まず、地色が緑である地色領域４３０の地色のみを含む場合などに、過度の補正がかかるという問題を解決することを目的としている。過度の補正がかかる理由は、印刷された色付きの地色領域の輝度値を地色として検出し、それが実際の地色の輝度よりも低い値だからである。
【００４７】
また、第１実施形態における図３の地色検出（ステップ３３０）の別の実現形態として、部分領域中の色クラスタリング結果から、最大頻度のクラスタの代表色の輝度を地色濃度とすることも可能である。
【００４８】
（第３実施形態）
第３実施形態では、第１実施形態における図３の画素値補正（ステップ３７０）の別の実現形態について説明する。第３実施形態では、色クラスタリング結果から文字色を検出し、文字色の画素値補正とその他の画素値補正を異ならせる。具体的には、文字の色と判断されたクラスタ内の画素は、補正量をその他の画素値補正量よりも少なくする、もしくは補正しないという処理をする。
【００４９】
この処理の目的は、補正後も文字の画素の輝度値を高くし過ぎないようにすることである。文字の画素の輝度値を高くし過ぎると、二値化処理によって文字がかすれてしまい、文字認識処理に悪影響を及ぼすためである。文字の色のクラスタの判定の一例としては、色の鮮やかさの指標である彩度（Ｓ）と明るさの指標である明度（Ｖ）が基準を満たすか否かによって行うことができる。この理由は、一般に文字の色は黒または黒に近い色であり、彩度も明度も低いためである。
【００５０】
（第４実施形態）
第４実施形態では、第１実施形態における図３の地色検出（ステップ３３０）の別の実現形態について説明する。
第４実施形態では、まず、部分領域中で色クラスタリングしてから地色を検出する。検出された地色の輝度値が紙の地色と同等であると判断された場合に、紙の地色Ｂ０と、画素の頻度（数）があらかじめ定めた基準以上となるクラスタの代表色Ｂｉ（ｉ＝１〜ｎ）を全て記憶しておく。なお、画素の頻度（数）が基準未満のクラスタの代表色を記憶しないのは、ノイズ除去のためである。ここで記憶した色Ｂｉは、帳票上に印刷や記載された色を、影がない状況で撮像した色であると仮定できる。具体的には、例えば、Ｂ０が影のない白色であり、Ｂ１が黒、Ｂ２が赤、Ｂ３が緑であった場合である。
【００５１】
次に、別の部分領域で地色Ｂｋを検出する。Ｂｋの輝度が低く、この領域に影があり、かつ、Ｂｋが紙の地色でないと判断できる場合には、ＢｋをＢ０〜Ｂｎと比較して、Ｂｋに最も近い色を求める。この比較には、色の種類の指標である色相（Ｈ）や、明度（Ｖ）などを用いることができる。Ｂｋは影により実際の色よりも明度が低下していると考えられる。そこで、判断基準の例としては、Ｂｋの明度がＢｉの明度より低く、ＢｋとＢｉの色相差が基準以内である場合に、ＢｋはＢｉの色が影によって暗くなったと色であると判定する。なお、明るさの判定基準としては明度（Ｖ）のほかに、輝度（Ｙ）やＨＳＬ色空間の明度（Ｌ）などを用いてもよい。
【００５２】
具体的には、例えば、Ｂｋが実際に赤で影をともなっている場合、ＢｋはＢ２と色相差が基準以内であることから赤であると判断でき、また、ＢｋとＢ２の明度もしくは輝度を比較することで影の程度がわかる。
【００５３】
このような場合、式（２）で用いる地色濃度Ｙｓは、当該部分領域の地色Ｂｋの地色濃度Ｙｋをそのまま利用するのではなく、Ｂｉの輝度値ＹｉとＢ０の輝度値Ｙ０を利用して次の式（３）により求めることができる。
Ｙｓ＝（Ｙ０／Ｙｉ）Ｙｋ ・・・式（３）
【００５４】
式（３）は、検出した色付き領域の地色の輝度から紙の地色の輝度を求めることを示す。これにより、部分領域から検出した地色が紙の地色でない場合でも、適切に輝度を補正することができる。
【００５５】
（第５実施形態）
第５実施形態では、画像補正だけでなく文字認識も行うことができる画像処理装置の例を説明する。図８は、第１実施形態から第４実施形態のいずれかの画像補正装置１００の機能を持つ画像処理装置８００を示す構成図の例である。
【００５６】
図８に示すように、画像処理装置８００は、制御部８１０に文字認識部８１１が追加されている以外は、図１に示す画像補正装置１００と同様の構成であるので、重複説明を適宜省略する。文字認識部８１１は、画像補正によって生成した画像から文字認識処理をする。
【００５７】
文字認識部８１１は、例えば、図４の地色領域４２０を含む画像から、文字（数字）として「１」、「２」、「３」、「４」、「５」を認識する。文字認識部８１１の主な処理のうち、文字の位置を検出する処理は、あらかじめ帳票上の文字の位置を指定しておいた帳票定義情報を用いて画像中から切出すことができる。また、画像中の枠を検出して文字を検出することもできる。個々の文字を認識する処理は、パターン認識の既存手法を用いることができる。なお、文字認識の前処理として、画像の二値化処理を実行してもよい。
【００５８】
（第６実施形態）
第６実施形態では、第１実施形態から第４実施形態のいずれかの画像補正装置１００を利用した、金融機関の営業店窓口に設置される営業店窓口端末装置について説明する。図９に示すように、営業店窓口端末装置９００は、操作部１１０（図１と同様）と、表示部１２０（図１と同様）と、スタンド型スキャナなどの撮像部１３０（図１と同様）と、利用者との授受のための現金を取り扱う現金入出金部９１０と、通帳に取引内容を印字する通帳プリンタ部９２０と、レシートなどに印字するプリンタ部９３０と、端末記憶部９４０とこれらを制御する端末制御部９５０とを有する。なお、端末制御部９５０は図１の制御部１５０に対応し、端末記憶部９４０は図１の記憶部１４０に対応する。
【００５９】
以下、営業店窓口端末装置９００を利用した業務フローについて説明する。営業店窓口端末装置９００は、利用者から取引科目別の取引帳票を受け取ったオペレータが、帳票と対応する取引データ入力画面を呼び出すための画面番号を操作部１１０から入力し、表示部１２０である端末画面に表示された取引画面の各入力フィールドに取引金額等、帳票上の記入データをキーボード入力することにより、目的の取引を実行する。
【００６０】
さらに、端末制御部９５０は、撮像部１３０であるスタンド型スキャナによって採取した取引帳票の特定個所の画像について影を除去する補正を行い、その補正後の画像に基づいてＯＣＲ（Optical Character Recognition）機能により記載内容を読取り、取引内容の確認画面を表示部１２０に表示する。この場合、取引内容の確認画面には、帳票からＯＣＲで読取られた各データ項目の内容、例えば、店番、口座番号、入金額などが表示され、確認画面の表示データに問題がなければ、これらのデータが記録データとして管理装置に送信処理される。
【００６１】
このように、営業店窓口端末装置９００によれば、撮像部１３０によって採取した画像上に照明変動などによる動的な影が発生しても、その影を除去する補正をすることができ、ＯＣＲ処理の精度向上をはかることができる。
【符号の説明】
【００６２】
１００ 画像補正装置
１１０ 操作部
１２０ 表示部
１３０ 撮像部
１４０ 記憶部
１５０ 制御部
１５１ 撮像処理部
１５２ 画像補正部
２００ スタンド型スキャナ
２１０ カメラヘッド
２２０ 支柱
２３０ 原稿台
２４０ 原稿
８００ 画像処理装置
８１０ 制御部
８１１ 文字認識部
９００ 営業店窓口端末装置
９１０ 現金入出金部
９２０ 通帳プリンタ部
９３０ プリンタ部
９４０ 端末記憶部
９５０ 端末制御部
【技術分野】
【０００１】
本発明は、カメラやスキャナで撮像した画像の影を除去する技術に関する。
【背景技術】
【０００２】
従来から、オフィスや家庭において、書面、伝票、郵便物、紙幣などを、エリアイメージセンサを用いたカメラもしくはスキャナで撮像し、得られた画像データを保存したり活用したりする技術がある。
【０００３】
また、例えば、金融機関などでは、営業店窓口に設置された端末装置に接続されたスキャナによって、顧客が記入した取引帳票の画像を撮像し、得られた画像データを保存したり、画像データについて文字認識を行ったりしている。その場合、スキャナとしては、スタンド型スキャナが使われることが多い。
【０００４】
スタンド型スキャナとは、読み取り面が上向きに置かれた書面を、支柱に固定されたイメージセンサで真上から読み取る非接触型のスキャナである。スタンド型スキャナは、フラットベッドスキャナと比べると、多様なサイズや厚さの用紙が混在している場合にスキャンする手間を少なくできるため、多様な帳票を扱う金融機関の窓口業務などで多く活用されている。
【０００５】
しかし、スタンド型スキャナを使用すると、照明条件などによって、読み取った画像データに影（輝度ムラ（ｓｈａｄｅ））が発生することがある。そのため、キャリブレーションを行うことで環境光の影響を取り除く必要がある。一般的なキャリブレーション方法としては、原稿台に白紙を置いて読み込ませることで影の濃度を表わすシェーディングデータを取得し、シェーディングデータを用いて原稿画像のシェーディング補正を行っている。また、その他のキャリブレーション方法として、例えば、白紙ではなく原稿台の画像を基準としてキャリブレーションする方法がある（特許文献１参照）。
【０００６】
しかし、キャリブレーション実施後の照明環境の変化や、撮像時にスキャナの近くに人が立つなどの周辺状況の変化により、読み込んだ画像に影が発生する場合がある。このような影を、以下、「動的な影」と称する。動的な影は、撮像した画像を利用した文字認識処理の精度低下等、画像処理に悪影響を及ぼすという問題がある。
【０００７】
また、特許文献２では、スキャナ画像やカメラ画像の動的な影を除去する技術が開示されている。この技術では、画像を部分領域に分割し、部分領域ごとに影判定と濃度判定を行っている。具体的には、各部分領域内の画素の輝度値の頻度分布をとり、白レベルに近いピークの輝度を書面の地色（影の影響も含めた地の色）の輝度の代表値として検出する。この値を部分領域の中心座標における地色の輝度値としている。
【０００８】
その他の座標での地色の輝度値は、部分領域の中心座標の輝度値から線形補間を用いて求められる。この地色の輝度値が低いほど影が濃いとして判定できる。輝度値補正は、予め定めた白の基準となる輝度値(例えば、白画素を示す２５５)と地色輝度との比に基づいて画素毎の補正値を求め、入力画像の画素の輝度に補正値を乗算することで求めることができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００８−１９９５５６号公報
【特許文献２】特開２００２−１５３１３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
一般的なキャリブレーションでは白紙を基準として補正することができるのに対し、動的な影を補正するには、補正の基準となる画像がない。したがって、撮像した画像のみで影の領域や濃度を検出して補正する必要がある。前記したように、特許文献２の技術では、基準画像なしで影を除去するために、輝度値の頻度分布から白に近いピークを地色の輝度としている。
【００１１】
しかし、この方法は、書面の地色が均一な白であることを前提としているため、カラー書面には適用できないという問題がある。例えば、白い紙に赤や緑の地色領域が印刷されており、白い部分の面積が少ない書面に適用した場合を考える。この場合、領域ごとに地色の輝度値は異なるため、輝度値の頻度分布では赤や緑の地色に相当するピークが検出されるが、白い紙の面積が小さいためピークとして検出できない場合がある。このような場合には、適切に紙の白を地色として検出することができない。さらに、紙の色とは異なる印刷色を地色として輝度を補正した場合、この色領域も白になるという問題がある。これらの問題を解決するためには、カラー書面においては、地色の色を判別して輝度補正をすることが必要となる。
【００１２】
そこで、本発明は、このような問題を解決するためになされたものであり、被写体を撮像して得られたカラー画像における動的な影を適切に除去することを課題とする。
【課題を解決するための手段】
【００１３】
前記課題を解決するために、本発明は、被写体を非接触型スキャナで撮像して得られたカラー画像から影を除去する補正を行う画像補正装置であって、前記カラー画像、および、複数の代表色から前記被写体の地色を検出するための所定の判定基準を記憶する記憶部と、前記カラー画像における各画素を色空間上でクラスタリングする処理である色クラスタリングを行い、前記色クラスタリングの結果を用いて各クラスタの代表色を求め、前記所定の判定基準によって、その求めた代表色のうちのいずれかを前記被写体の地色として検出し、前記検出した被写体の地色に基づいて、前記被写体に対応する画像領域全体の地色濃度を示す地色濃度マップを作製し、前記地色濃度マップを用いて、地色が濃いほど影が濃いものとして前記カラー画像における各画素値から影を除去する補正を行い、前記補正を行った画素値を前記記憶部に格納する画像補正部と、を備えることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、被写体を撮像して得られたカラー画像における動的な影を適切に除去することができる。
【図面の簡単な説明】
【００１５】
【図１】第１実施形態の画像補正装置の構成図である。
【図２】撮像部の一例であるスタンド型スキャナの概略図である。
【図３】画像補正処理を示すフローチャートである。
【図４】補正対象となるカラー帳票画像の例を示す図である。
【図５】部分領域の色クラスタリングの例を示す図である。
【図６】紙の地色の面積が少ない部分領域での輝度の頻度分布の例を示す図である。
【図７】紙の地色の面積が少ない部分領域の色クラスタリングの例を示す図である。
【図８】画像補正と文字認識をする画像処理装置の構成図である。
【図９】営業店窓口端末の構成図である。
【図１０】地色濃度マップ（補間前）の例を示す図である。
【図１１】地色濃度マップ（補間後）の例を示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照（言及図以外の図面も適宜参照）して、本発明を実施するための形態（以下、実施形態と称する。）について、第１実施形態〜第６実施形態に分けて説明する。
【００１７】
（第１実施形態）
まず、第１実施形態に係る画像補正装置の構成について説明する。図１に示すように、画像補正装置１００は、帳票や書面等を撮像して取得した影付きカラー画像を補正することで影無しカラー画像（影がない状況で撮像した画像と同等の画像）を生成するコンピュータ装置であり、操作部１１０と、表示部１２０と、撮像部１３０と、記憶部１４０と、制御部１５０とを備える。
【００１８】
操作部１１０は、ユーザが数字や文字の入力操作を行う際に利用するキーボードや、スキャンの開始を指示するためのボタン等からなる操作部である。表示部１２０は、入力画像や補正後の画像等を表示する液晶ディスプレイ等からなる表示部である。撮像部１３０は、ＣＣＤ（Charge Coupled Device）等の撮像素子を用いて画像を撮像するデジタルカメラやスタンド型スキャナ等（非接触型スキャナ）の撮像部である。
【００１９】
記憶部１４０は、メモリやハードディスク装置等からなる記憶デバイスであり、撮像部１３０で撮像された画像や各種内部処理用プログラム、および各種設定データを記憶する。また、例えば、記憶部１４０は、複数の代表色から被写体（書面など）の地色を検出するための所定の判定基準として、求めた各クラスタの代表色のうち輝度が最も高い色を被写体の地色とするという基準を記憶する。
【００２０】
制御部１５０は、画像の撮像処理と入力画像の補正処理を行う制御部であり、撮像処理部１５１と画像補正部１５２を有する。
撮像処理部１５１は、撮像部１３０を用いて被写体の撮像制御を行う制御部であり、撮像部１３０で被写体を撮像した場合には、シェーディングデータ等のキャリブレーションパラメータを用いて動的な影以外の輝度ムラを除去した画像データを入力画像としてメモリ上に展開して一時的に保持するとともに、この画像データをファイルとして記憶部１４０に格納することができる。撮像処理部１５１の処理の手法の例としては、前記した特許文献１の手法などが挙げられる。
【００２１】
画像補正部１５２は、撮像処理部１５１で作成された入力画像から動的な影を除去する手段であり、第１実施形態の画像補正装置１００における特徴部分である。具体的には、画像補正部１５２は、画像を複数の領域に分割して、各領域内で色クラスタリング（詳細は後記）を実行し、複数のクラスタの代表色の中で最大輝度の色を領域の地色とする。さらに、地色の輝度（濃度）を用いて、画素の輝度値の補正を行う。具体的な処理については、図３から図７を用いて後述する。
【００２２】
次に、撮像部１３０の一例について説明する。図２に示すように、撮像部１３０の一例であるスタンド型スキャナ２００は、カメラヘッド２１０、カメラヘッド２１０を固定する支柱２２０、被写体である原稿２４０を置く原稿台２３０を備えている。カメラヘッド２１０の撮像方向は下向きであり、原稿台２３０上に置いた原稿２４０を読取ることができる。なお、撮像部１３０の例としてスタンド型スキャナ２００を挙げたが、その他に、通常のデジタルカメラや携帯電話のカメラ等を用いてもよい。
【００２３】
次に、画像補正部１５２の処理手順について詳細に説明する。なお、撮像部１３０で採取された画像が撮像処理部１５１でキャリブレーションパラメータにより補正された画像情報を入力画像とし、この入力画像があらかじめ記憶部１４０に格納されているものとする。この入力画像には、キャリブレーション後の照明変動や撮像部１３０の付近の人の存在などにより、動的な影が生じている場合がある。図３の処理フローは、このような動的な影を除去することを目的としている。各ステップの処理の内容は次のとおりである。
【００２４】
図３に示すように、画像補正部１５２は、まず、画像全体を複数の部分領域に分割（ステップ３００）する。一般的には、Ｎ×Ｍ画素の矩形領域に分割する。具体的には、処理の精度や速度の都合上、例えば、１つの部分領域が２００×２００ピクセル程度の大きさになるように分割すればよいが、他の大きさに分割してもよい。
【００２５】
これ以降、画像補正部１５２は、色クラスタリング（ステップ３２０）と地色検出（ステップ３３０）の処理を、全ての部分領域に対して実行する（「ステップ３１０でＮｏ→ステップ３２０→ステップ３３０」の繰り返し）。なお、部分領域への分割は必須ではなく、領域分割（ステップ３００）をすることなく、入力画像全体を対象として以降の処理をしてもよい。例えば、画像自体が元々小さい場合や、画像全体にできる影が均一である確率が高い場合などは、領域分割をしなくてもよい。
【００２６】
画像補正部１５２は、各部分領域について色クラスタリングをする（ステップ３２０）。色クラスタリングとは、処理領域中の各画素を色空間上でクラスタリングする処理である。具体的には、各画素を色空間上にマッピングした後、ボロノイ分割やユークリッド距離の閾値などを用いて近い色同士を同じクラスタとして色空間内を領域分割することにより実現できる。そして、各クラスタにおいて、クラスタの中心に位置する色や最も頻度が高い色を、クラスタの代表色とすることができる。
【００２７】
ここで、図４の帳票画像例と図５の色クラスタリングの例を用いて色クラスタリングについて具体的に説明する。図４に示すカラー帳票４００は、地色が紙の元の地色である白と同じである地色領域４１０、地色が赤で印刷されている地色領域４２０、地色が緑で印刷されている地色領域４３０を含んで構成されており、各領域内には符号４４０の箇所などに示す文字が記載される白地の領域がある。
【００２８】
図５は、図４の部分領域４５０内の画素の色をＲＧＢ（Red（赤）, Green（緑）, Blue（青））色空間へマッピングした例である。ＲＧＢ色空間は、ＲＧＢそれぞれの値を軸に持つ３次元空間であり、ＲＧＢの各軸の値は０から２５５をとる。原点（０，０，０）は黒を表し、（２５５，２５５，２５５）は白を表す。処理対象領域内の各画素はＲＧＢ色空間上の一点にマッピングできる。その結果、代表的な色を中心とした複数の分布ができ、それぞれをクラスタとみなすことができる。
【００２９】
図４の部分領域４５０と図５の各クラスタを対応付けすると、クラスタ５００がカラー帳票４００の紙の地色である白の分布、クラスタ５１０が文字の色である黒の分布、クラスタ５２０が地色領域４２０の赤の分布、クラスタ５３０が地色領域４３０の緑の分布を表している。
【００３０】
なお、図５ではＲＧＢ色空間を利用したが、その代わりに、Ｌ＊ａ＊ｂ＊色空間やＬ＊ｕ＊ｖ＊色空間、ＨＳＶ（色相(Hue)、彩度(Saturation)、明度(Value)）色空間、ＨＳＬ（色相（Hue）、彩度（Saturation）、明度（Lightness））色空間などを利用してもよい。
【００３１】
さらに、色クラスタリングは領域内の全ての画素を利用しても、一部の画素を利用してもよい。例えば、一定間隔でサンプリングした画素を色クラスタリングに用いてもよい。さらに、この例では画素の値を直接クラスタリングの対象にしているが、ＣＣＤの特性上発生する偽色等、隣接する画素との大きな色の変動の影響を軽減するために、周辺の画素との平均値や重み付き平均値を求めて、この値を色クラスタリングに用いてもよい。
【００３２】
地色検出（ステップ３３０）は、色クラスタリング結果を用いて、部分領域の地色を検出する処理である。この第１実施形態では、色クラスタリングで求めたクラスタの代表色のうち、最も輝度が高い色を地色とする。なお、ＲＧＢ色空間上の画素の色（ＲＧＢ値）から輝度Ｙを算出するには、例えば、次の式（１）を用いればよい。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ ・・・式（１）
【００３３】
ただ、この式（１）は一例であり、他の式であってもよい。このような変換式は、人間の視覚がＲＧＢ色空間上の画素の色から感じる明るさの度合いである輝度を算出するためのものであり、この式（１）に限定される理由はないからである。
【００３４】
ここで、第１実施形態で、色クラスタリングで求めたクラスタの代表色のうち、最も輝度が高い色を地色とする理由を、図４から図７を用いて説明する。図４の部分領域４６０から地色を判定する場合、特許文献２の技術を用いて輝度値の頻度分布をとると図６のようになる。図６では、ピーク６００が文字を、ピーク６１０が赤い地色領域４２０を、ピーク６２０が緑の地色領域４３０を、突起６３０が紙の地色を表している。白い地色の部分は面積が小さいためピークが現出しておらず、最大輝度のピーク値を地色濃度にする手法では、緑の地色の濃度の代表値である輝度値６４０を地色として選択してしまう。これに対し、図４の部分領域４６０を色クラスタリングした結果を図７に示す。
【００３５】
クラスタ７００がカラー帳票４００の紙の地色である白（数字「８」の領域の白）の分布、クラスタ７１０が文字の色（ここでは、文字の色と同等である地色領域４２０の枠線の色など）である黒の分布、クラスタ７２０が地色領域４２０の赤の分布、クラスタ７３０が地色領域４３０の緑の分布を表しており、白い地色領域であるクラスタ７００と緑の地色領域であるクラスタ７３０は分離されている。第１実施形態によるクラスタの代表色の最大輝度を地色濃度とする手法では、クラスタ７００の代表色の輝度値６５０（図６参照）が地色濃度であると判定できる。すなわち、地色検出（ステップ３３０）では、印刷された地色の影響を受けずに紙の地色を検出することができるという特徴がある。
【００３６】
図３に戻って、ステップ３１０でＹｅｓの後（全ての領域を処理した後）、画像補正部１５２は、各部分領域で求めた地色を用いて、入力画像の各画素の地色の濃度を表わす地色濃度マップを作製する（ステップ３４０）。ここで、地色濃度マップ作製処理の一例について、図１０と図１１を参照して説明する。
【００３７】
この処理は、図１０に示す地色濃度マップ（補間前）から図１１に示す地色濃度マップ（補間後）（以下、単に「地色濃度マップ」とも称する。）を作製することを目的とする。つまり、図１０の地色濃度マップ（補間前）について、次の処理を行う。まず、各領域で求めた地色の輝度を、各領域の中心座標の地色濃度とする。次に、最小の矩形を形成する４つの中心座標（例えば、Ａ，Ｂ，Ｃ，Ｄ）の内側に存在する画素（例えばα）の地色濃度は、その４つの中心座標の地色濃度に基づいた線形補間によって求めることができる。この処理を画像全体に対して実行することにより、図１１に示す地色濃度マップ（補間後）を作製することができる。図１１に示す地色濃度マップ（補間後）は、上部中央の影が濃くて全体の濃淡がなめらかな画像、つまり、現実の影を高精度で再現した画像となっている。
【００３８】
この他の手法としては、領域の中心座標の地色濃度から、多項式近似によって画像全体の地色濃度の近似曲面を求めることもできる。さらに、その他の手法として、各領域で求めた地色の輝度を各領域の中心座標とするのではなく、領域内で最もその色と近い色の画素の座標での地色濃度として、線形補間や近似曲面を求めることで地色濃度マップを作製することもできる。
【００３９】
図３に戻って、ステップ３４０の後、画像補正部１５２は、地色濃度マップに基づいて、画素値補正の必要の判定（ステップ３６０）、画素値補正（ステップ３７０）、および補正値セット（記録）（ステップ３８０）の処理を、全ての画素について行う（「ステップ３５０でＮｏ→ステップ３６０→（ステップ３７０→）ステップ３８０」の繰り返し）。
画素値補正の必要の判定（ステップ３６０）では、例えば、地色濃度マップの輝度値が所定の基準値以下であれば、画素値補正が必要（Ｙｅｓ）であると判定する。
【００４０】
画素値補正（ステップ３７０）では、地色が濃いほど影が濃いものとして画像における各画素値から影を除去する補正を行う。具体的には、地色濃度マップの輝度値と入力画像のＲＧＢ値から補正後のＲＧＢ値を求める。補正方法の一例として、線形コントラスト補正について説明する。
【００４１】
線形コントラスト補正とは、画像中の処理領域内の画素の明るさ（輝度値）の最大値と最小値の差を拡大する処理である。例えば、入力の最大値をＸmaxとし、補正後の最大値を２５５とすると、０〜Ｘmaxの入力を０〜２５５に伸張する。線形コントラスト補正の例として、画素のＲＧＢのそれぞれの値を次の式（２）を用いて補正する方式がある。式（２）では、Ｘを入力画像の画素のＲＧＢ値、Ｘｃを補正画像の画素のＲＧＢ値、Ｙｓを当該画素の地色の輝度値（濃度）、αを補正パラメータとする。式（２）は、α・Ｙｓの値に応じて入力画像の画素のＲＧＢ値を補正するものである。また、ｍｉｎ（）は、（）内の複数の値のうち最小のものを選択するという意味である。つまり、補正値の最大値を２５５とする。
Ｘｃ＝ｍｉｎ（２５５×Ｘ／（α・Ｙｓ），２５５） ・・・式（２）
【００４２】
補正パラメータαは地色のバラつきを吸収するためのパラメータであり、０以上１以下の値をとる。αの値は、小さいほど補正後の画像が明るくなるという特性を持つ。αを用いる理由は、クラスタ内の地色のバラつきの影響を軽減するためである。クラスタ内の地色にはバラつきがあるため、クラスタの代表色をそのまま補正に用いた場合、クラスタ内と判定されていても地色濃度が代表色よりも低輝度の画素では影が薄く残る場合がある。αを１未満の値にすると、代表色よりも低い値を基準に画素値を補正することができるため、バラついた地色でも影を残さずに補正できる。
なお、コントラスト補正は、入力画像の画素の輝度値や地色濃度に応じて非線形に変換することで行ってもよい。
【００４３】
最後に、画素値セット（ステップ３８０）では、ステップ３７０で補正した画素値を補正画像の画素値として格納する。補正されない画素は入力画像の画素値を格納する。
【００４４】
このように、第１実施形態の画像補正装置１００によれば、主に色クラスタリングと地色濃度マップによって、被写体を撮像して得られたカラー画像における動的な影を適切に除去することができる。その結果、照明条件が変わるごとにキャリブレーションすることなく輝度ムラのない画像を生成することができ、使い勝手の向上を図ることができる。
【００４５】
（第２実施形態）
第２実施形態では、第１実施形態における図３の地色検出（ステップ３３０）の別の実現形態について説明する。第２実施形態の地色検出処理は、まず、部分領域で色クラスタリングしてから地色を検出し、隣接する前記部分領域の地色間の色差または輝度差を評価し、着目した前記部分領域について、隣接する２つ以上の前記部分領域と前記色差または前記輝度差が所定以上に大きい場合には、前記検出された地色を破棄し、隣接する前記部分領域から補間処理で求めた値を当該部分領域の地色とする。
【００４６】
この第２実施形態の手法は、図４の部分領域４７０のように、部分領域中に紙の地色（白色）領域を含まず、地色が緑である地色領域４３０の地色のみを含む場合などに、過度の補正がかかるという問題を解決することを目的としている。過度の補正がかかる理由は、印刷された色付きの地色領域の輝度値を地色として検出し、それが実際の地色の輝度よりも低い値だからである。
【００４７】
また、第１実施形態における図３の地色検出（ステップ３３０）の別の実現形態として、部分領域中の色クラスタリング結果から、最大頻度のクラスタの代表色の輝度を地色濃度とすることも可能である。
【００４８】
（第３実施形態）
第３実施形態では、第１実施形態における図３の画素値補正（ステップ３７０）の別の実現形態について説明する。第３実施形態では、色クラスタリング結果から文字色を検出し、文字色の画素値補正とその他の画素値補正を異ならせる。具体的には、文字の色と判断されたクラスタ内の画素は、補正量をその他の画素値補正量よりも少なくする、もしくは補正しないという処理をする。
【００４９】
この処理の目的は、補正後も文字の画素の輝度値を高くし過ぎないようにすることである。文字の画素の輝度値を高くし過ぎると、二値化処理によって文字がかすれてしまい、文字認識処理に悪影響を及ぼすためである。文字の色のクラスタの判定の一例としては、色の鮮やかさの指標である彩度（Ｓ）と明るさの指標である明度（Ｖ）が基準を満たすか否かによって行うことができる。この理由は、一般に文字の色は黒または黒に近い色であり、彩度も明度も低いためである。
【００５０】
（第４実施形態）
第４実施形態では、第１実施形態における図３の地色検出（ステップ３３０）の別の実現形態について説明する。
第４実施形態では、まず、部分領域中で色クラスタリングしてから地色を検出する。検出された地色の輝度値が紙の地色と同等であると判断された場合に、紙の地色Ｂ０と、画素の頻度（数）があらかじめ定めた基準以上となるクラスタの代表色Ｂｉ（ｉ＝１〜ｎ）を全て記憶しておく。なお、画素の頻度（数）が基準未満のクラスタの代表色を記憶しないのは、ノイズ除去のためである。ここで記憶した色Ｂｉは、帳票上に印刷や記載された色を、影がない状況で撮像した色であると仮定できる。具体的には、例えば、Ｂ０が影のない白色であり、Ｂ１が黒、Ｂ２が赤、Ｂ３が緑であった場合である。
【００５１】
次に、別の部分領域で地色Ｂｋを検出する。Ｂｋの輝度が低く、この領域に影があり、かつ、Ｂｋが紙の地色でないと判断できる場合には、ＢｋをＢ０〜Ｂｎと比較して、Ｂｋに最も近い色を求める。この比較には、色の種類の指標である色相（Ｈ）や、明度（Ｖ）などを用いることができる。Ｂｋは影により実際の色よりも明度が低下していると考えられる。そこで、判断基準の例としては、Ｂｋの明度がＢｉの明度より低く、ＢｋとＢｉの色相差が基準以内である場合に、ＢｋはＢｉの色が影によって暗くなったと色であると判定する。なお、明るさの判定基準としては明度（Ｖ）のほかに、輝度（Ｙ）やＨＳＬ色空間の明度（Ｌ）などを用いてもよい。
【００５２】
具体的には、例えば、Ｂｋが実際に赤で影をともなっている場合、ＢｋはＢ２と色相差が基準以内であることから赤であると判断でき、また、ＢｋとＢ２の明度もしくは輝度を比較することで影の程度がわかる。
【００５３】
このような場合、式（２）で用いる地色濃度Ｙｓは、当該部分領域の地色Ｂｋの地色濃度Ｙｋをそのまま利用するのではなく、Ｂｉの輝度値ＹｉとＢ０の輝度値Ｙ０を利用して次の式（３）により求めることができる。
Ｙｓ＝（Ｙ０／Ｙｉ）Ｙｋ ・・・式（３）
【００５４】
式（３）は、検出した色付き領域の地色の輝度から紙の地色の輝度を求めることを示す。これにより、部分領域から検出した地色が紙の地色でない場合でも、適切に輝度を補正することができる。
【００５５】
（第５実施形態）
第５実施形態では、画像補正だけでなく文字認識も行うことができる画像処理装置の例を説明する。図８は、第１実施形態から第４実施形態のいずれかの画像補正装置１００の機能を持つ画像処理装置８００を示す構成図の例である。
【００５６】
図８に示すように、画像処理装置８００は、制御部８１０に文字認識部８１１が追加されている以外は、図１に示す画像補正装置１００と同様の構成であるので、重複説明を適宜省略する。文字認識部８１１は、画像補正によって生成した画像から文字認識処理をする。
【００５７】
文字認識部８１１は、例えば、図４の地色領域４２０を含む画像から、文字（数字）として「１」、「２」、「３」、「４」、「５」を認識する。文字認識部８１１の主な処理のうち、文字の位置を検出する処理は、あらかじめ帳票上の文字の位置を指定しておいた帳票定義情報を用いて画像中から切出すことができる。また、画像中の枠を検出して文字を検出することもできる。個々の文字を認識する処理は、パターン認識の既存手法を用いることができる。なお、文字認識の前処理として、画像の二値化処理を実行してもよい。
【００５８】
（第６実施形態）
第６実施形態では、第１実施形態から第４実施形態のいずれかの画像補正装置１００を利用した、金融機関の営業店窓口に設置される営業店窓口端末装置について説明する。図９に示すように、営業店窓口端末装置９００は、操作部１１０（図１と同様）と、表示部１２０（図１と同様）と、スタンド型スキャナなどの撮像部１３０（図１と同様）と、利用者との授受のための現金を取り扱う現金入出金部９１０と、通帳に取引内容を印字する通帳プリンタ部９２０と、レシートなどに印字するプリンタ部９３０と、端末記憶部９４０とこれらを制御する端末制御部９５０とを有する。なお、端末制御部９５０は図１の制御部１５０に対応し、端末記憶部９４０は図１の記憶部１４０に対応する。
【００５９】
以下、営業店窓口端末装置９００を利用した業務フローについて説明する。営業店窓口端末装置９００は、利用者から取引科目別の取引帳票を受け取ったオペレータが、帳票と対応する取引データ入力画面を呼び出すための画面番号を操作部１１０から入力し、表示部１２０である端末画面に表示された取引画面の各入力フィールドに取引金額等、帳票上の記入データをキーボード入力することにより、目的の取引を実行する。
【００６０】
さらに、端末制御部９５０は、撮像部１３０であるスタンド型スキャナによって採取した取引帳票の特定個所の画像について影を除去する補正を行い、その補正後の画像に基づいてＯＣＲ（Optical Character Recognition）機能により記載内容を読取り、取引内容の確認画面を表示部１２０に表示する。この場合、取引内容の確認画面には、帳票からＯＣＲで読取られた各データ項目の内容、例えば、店番、口座番号、入金額などが表示され、確認画面の表示データに問題がなければ、これらのデータが記録データとして管理装置に送信処理される。
【００６１】
このように、営業店窓口端末装置９００によれば、撮像部１３０によって採取した画像上に照明変動などによる動的な影が発生しても、その影を除去する補正をすることができ、ＯＣＲ処理の精度向上をはかることができる。
【符号の説明】
【００６２】
１００ 画像補正装置
１１０ 操作部
１２０ 表示部
１３０ 撮像部
１４０ 記憶部
１５０ 制御部
１５１ 撮像処理部
１５２ 画像補正部
２００ スタンド型スキャナ
２１０ カメラヘッド
２２０ 支柱
２３０ 原稿台
２４０ 原稿
８００ 画像処理装置
８１０ 制御部
８１１ 文字認識部
９００ 営業店窓口端末装置
９１０ 現金入出金部
９２０ 通帳プリンタ部
９３０ プリンタ部
９４０ 端末記憶部
９５０ 端末制御部
【特許請求の範囲】
【請求項１】
被写体を非接触型スキャナで撮像して得られたカラー画像から影を除去する補正を行う画像補正装置であって、
前記カラー画像、および、複数の代表色から前記被写体の地色を検出するための所定の判定基準を記憶する記憶部と、
前記カラー画像における各画素を色空間上でクラスタリングする処理である色クラスタリングを行い、
前記色クラスタリングの結果を用いて各クラスタの代表色を求め、前記所定の判定基準によって、その求めた代表色のうちのいずれかを前記被写体の地色として検出し、
前記検出した被写体の地色に基づいて、前記被写体に対応する画像領域全体の地色濃度を示す地色濃度マップを作製し、
前記地色濃度マップを用いて、地色が濃いほど影が濃いものとして前記カラー画像における各画素値から影を除去する補正を行い、
前記補正を行った画素値を前記記憶部に格納する画像補正部と、
を備えることを特徴とする画像補正装置。
【請求項２】
前記所定の判定基準は、求めた各クラスタの代表色のうち、輝度が最も高い色を前記被写体の地色とすることであることを特徴とする請求項１に記載の画像補正装置。
【請求項３】
前記画像補正部は、
前記カラー画像を複数の部分領域に分割した後、前記部分領域それぞれについて、前記色クラスタリングしてから前記地色を検出し、
隣接する前記部分領域の地色間の色差または輝度差を評価し、
着目した前記部分領域について、隣接する２つ以上の前記部分領域と前記色差または前記輝度差が所定以上に大きい場合には、前記検出された地色を破棄し、隣接する前記部分領域から補間処理で求めた値を当該着目した部分領域の地色とする
ことを特徴とする請求項１または請求項２に記載の画像補正装置。
【請求項４】
前記画像補正部は、
前記カラー画像における各画素値から影を除去する補正を行うとき、
彩度または明度の指標を用いて前記色クラスタリングの結果から文字色を検出し、
前記文字色の画素値補正を、その他の画素値補正よりも小さく行うか、あるいはまったく行わない
ことを特徴とする請求項１から請求項３のいずれか１項に記載の画像補正装置。
【請求項５】
前記画像補正部は、
前記代表色の輝度値から影がないと判断した前記部分領域で検出されたクラスタにおける複数の代表色を前記記憶部に記憶させ、
前記代表色の輝度値から影があると判断した前記部分領域で検出された地色と、前記記憶したクラスタの複数の代表色とを比較し、色相または明度の指標から、前記検出された地色と最も近い前記代表色を選択し、
前記影がないと判断した前記部分領域の地色と、前記選択された色と、前記検出された当該部分領域の地色とに基づいて、前記検出された当該部分領域における各画素値から影を除去する補正を行う
ことを特徴とする請求項１から請求項４のいずれか１項に記載の画像補正装置。
【請求項６】
被写体を非接触型スキャナで撮像して得られたカラー画像から影を除去する補正を行う画像補正装置であって、
前記カラー画像、および、複数の代表色から前記被写体の地色を検出するための所定の判定基準を記憶する記憶部と、
前記カラー画像における各画素を色空間上でクラスタリングする処理である色クラスタリングを行い、
前記色クラスタリングの結果を用いて各クラスタの代表色を求め、前記所定の判定基準によって、その求めた代表色のうちのいずれかを前記被写体の地色として検出し、
前記検出した被写体の地色に基づいて、前記被写体に対応する画像領域全体の地色濃度を示す地色濃度マップを作製し、
前記地色濃度マップを用いて、地色が濃いほど影が濃いものとして前記カラー画像における各画素値から影を除去する補正を行い、
前記補正を行った画素値を前記記憶部に格納する画像補正部と、
前記記憶部に格納した画素値に基づいて文字認識を行う文字認識部と、
を備えることを特徴とする画像補正装置。
【請求項７】
被写体を非接触型スキャナで撮像して得られたカラー画像から影を除去する補正を行う画像補正装置による画像補正方法であって、
前記画像補正装置は、前記カラー画像、および、複数の代表色から前記被写体の地色を検出するための所定の判定基準を記憶する記憶部と、画像補正部と、を備えており、
前記画像補正部は、
前記カラー画像における各画素を色空間上でクラスタリングする処理である色クラスタリングを行い、
前記色クラスタリングの結果を用いて各クラスタの代表色を求め、前記所定の判定基準によって、その求めた代表色のうちのいずれかを前記被写体の地色として検出し、
前記検出した被写体の地色に基づいて、前記被写体に対応する画像領域全体の地色濃度を示す地色濃度マップを作製し、
前記地色濃度マップを用いて、地色が濃いほど影が濃いものとして前記カラー画像における各画素値から影を除去する補正を行い、
前記補正を行った画素値を前記記憶部に格納する
ことを特徴とする画像補正方法。
【請求項１】
被写体を非接触型スキャナで撮像して得られたカラー画像から影を除去する補正を行う画像補正装置であって、
前記カラー画像、および、複数の代表色から前記被写体の地色を検出するための所定の判定基準を記憶する記憶部と、
前記カラー画像における各画素を色空間上でクラスタリングする処理である色クラスタリングを行い、
前記色クラスタリングの結果を用いて各クラスタの代表色を求め、前記所定の判定基準によって、その求めた代表色のうちのいずれかを前記被写体の地色として検出し、
前記検出した被写体の地色に基づいて、前記被写体に対応する画像領域全体の地色濃度を示す地色濃度マップを作製し、
前記地色濃度マップを用いて、地色が濃いほど影が濃いものとして前記カラー画像における各画素値から影を除去する補正を行い、
前記補正を行った画素値を前記記憶部に格納する画像補正部と、
を備えることを特徴とする画像補正装置。
【請求項２】
前記所定の判定基準は、求めた各クラスタの代表色のうち、輝度が最も高い色を前記被写体の地色とすることであることを特徴とする請求項１に記載の画像補正装置。
【請求項３】
前記画像補正部は、
前記カラー画像を複数の部分領域に分割した後、前記部分領域それぞれについて、前記色クラスタリングしてから前記地色を検出し、
隣接する前記部分領域の地色間の色差または輝度差を評価し、
着目した前記部分領域について、隣接する２つ以上の前記部分領域と前記色差または前記輝度差が所定以上に大きい場合には、前記検出された地色を破棄し、隣接する前記部分領域から補間処理で求めた値を当該着目した部分領域の地色とする
ことを特徴とする請求項１または請求項２に記載の画像補正装置。
【請求項４】
前記画像補正部は、
前記カラー画像における各画素値から影を除去する補正を行うとき、
彩度または明度の指標を用いて前記色クラスタリングの結果から文字色を検出し、
前記文字色の画素値補正を、その他の画素値補正よりも小さく行うか、あるいはまったく行わない
ことを特徴とする請求項１から請求項３のいずれか１項に記載の画像補正装置。
【請求項５】
前記画像補正部は、
前記代表色の輝度値から影がないと判断した前記部分領域で検出されたクラスタにおける複数の代表色を前記記憶部に記憶させ、
前記代表色の輝度値から影があると判断した前記部分領域で検出された地色と、前記記憶したクラスタの複数の代表色とを比較し、色相または明度の指標から、前記検出された地色と最も近い前記代表色を選択し、
前記影がないと判断した前記部分領域の地色と、前記選択された色と、前記検出された当該部分領域の地色とに基づいて、前記検出された当該部分領域における各画素値から影を除去する補正を行う
ことを特徴とする請求項１から請求項４のいずれか１項に記載の画像補正装置。
【請求項６】
被写体を非接触型スキャナで撮像して得られたカラー画像から影を除去する補正を行う画像補正装置であって、
前記カラー画像、および、複数の代表色から前記被写体の地色を検出するための所定の判定基準を記憶する記憶部と、
前記カラー画像における各画素を色空間上でクラスタリングする処理である色クラスタリングを行い、
前記色クラスタリングの結果を用いて各クラスタの代表色を求め、前記所定の判定基準によって、その求めた代表色のうちのいずれかを前記被写体の地色として検出し、
前記検出した被写体の地色に基づいて、前記被写体に対応する画像領域全体の地色濃度を示す地色濃度マップを作製し、
前記地色濃度マップを用いて、地色が濃いほど影が濃いものとして前記カラー画像における各画素値から影を除去する補正を行い、
前記補正を行った画素値を前記記憶部に格納する画像補正部と、
前記記憶部に格納した画素値に基づいて文字認識を行う文字認識部と、
を備えることを特徴とする画像補正装置。
【請求項７】
被写体を非接触型スキャナで撮像して得られたカラー画像から影を除去する補正を行う画像補正装置による画像補正方法であって、
前記画像補正装置は、前記カラー画像、および、複数の代表色から前記被写体の地色を検出するための所定の判定基準を記憶する記憶部と、画像補正部と、を備えており、
前記画像補正部は、
前記カラー画像における各画素を色空間上でクラスタリングする処理である色クラスタリングを行い、
前記色クラスタリングの結果を用いて各クラスタの代表色を求め、前記所定の判定基準によって、その求めた代表色のうちのいずれかを前記被写体の地色として検出し、
前記検出した被写体の地色に基づいて、前記被写体に対応する画像領域全体の地色濃度を示す地色濃度マップを作製し、
前記地色濃度マップを用いて、地色が濃いほど影が濃いものとして前記カラー画像における各画素値から影を除去する補正を行い、
前記補正を行った画素値を前記記憶部に格納する
ことを特徴とする画像補正方法。
【図１】
【図２】
【図３】
【図４】
【図６】
【図８】
【図９】
【図５】
【図７】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図６】
【図８】
【図９】
【図５】
【図７】
【図１０】
【図１１】
【公開番号】特開２０１２−９５００２（Ｐ２０１２−９５００２Ａ）
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願番号】特願２０１０−２３８９００（Ｐ２０１０−２３８９００）
【出願日】平成２２年１０月２５日（２０１０．１０．２５）
【出願人】（５０４３７３０９３）日立オムロンターミナルソリューションズ株式会社 (1,225)
【Ｆターム（参考）】
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願日】平成２２年１０月２５日（２０１０．１０．２５）
【出願人】（５０４３７３０９３）日立オムロンターミナルソリューションズ株式会社 (1,225)
【Ｆターム（参考）】
[ Back to top ]