画像処理装置、画像処理プログラムおよびディジタルカメラ
【課題】本発明は、画像処理に必要な値を画像を区分けにより求めて、任意の画像サイズの画像を文字などの情報が明瞭となるように画像処理し得る画像処理装置、画像処理プログラムおよびディジタルカメラに関する。
【解決手段】本発明の画像処理装置は、画像サイズ判定部４１、区分分け・切出し部４２、ブロック下地レベル決定部４３、端数ブロック下地レベル決定部４４及び下地飛ばし階調補正部４６等の画像処理手段とを備え、画像サイズ判定部４１の結果に基づき区分分け・切出し部４２は画像サイズの縦横両方向が所定ブロックの対応方向の長さに対して整数倍となる第１区分と残余の第２区分とに画像を分け、ブロック下地レベル決定部４３は第１区分の画像処理するための前処理値を求め、端数ブロック下地レベル決定部４４はこの前処理値に基づき第２区分の前処理値を求め、画像処理手段はこれら求められた前処理値に基づき画像を画像処理する。
【解決手段】本発明の画像処理装置は、画像サイズ判定部４１、区分分け・切出し部４２、ブロック下地レベル決定部４３、端数ブロック下地レベル決定部４４及び下地飛ばし階調補正部４６等の画像処理手段とを備え、画像サイズ判定部４１の結果に基づき区分分け・切出し部４２は画像サイズの縦横両方向が所定ブロックの対応方向の長さに対して整数倍となる第１区分と残余の第２区分とに画像を分け、ブロック下地レベル決定部４３は第１区分の画像処理するための前処理値を求め、端数ブロック下地レベル決定部４４はこの前処理値に基づき第２区分の前処理値を求め、画像処理手段はこれら求められた前処理値に基づき画像を画像処理する。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置に関し、特に、画像処理に必要な値を演算し得る部分を画像から区分けして該値を求め、演算し得ない部分に該値を充てることによって、任意の画像サイズの画像を文字などの情報が明瞭となるように画像処理し得る画像処理装置に関する。さらに、該画像処理装置に適用される画像処理プログラムおよび該画像処理装置を搭載したディジタルカメラに関する。
【０００２】
【従来の技術】
近年、ディジタルカメラは、撮影後の現像処理が不要なことや画像処理により撮影した画像を様々な画像に容易に変更することができることなどから、急速に普及し始めている。ディジタルカメラは、この画像処理が容易という利点から、通常の写真撮影のためだけでなく、例えば、会議場や展示場などでホワイトボードやパネルなどに書かれた文字や図形などの情報を記録するための機器としても利用されている。このようなディジタルカメラの利用法では、ホワイトボードなどの上の情報を記録することが専ら主目的であるから、情報部分が認識できることが重要である。
【０００３】
しかしながら、ホワイトボードなどは、例えば天井灯や窓外の太陽光などによって照明される場合のように、たいてい多方向から照明される。そのため、照明光の不均一により照度ムラが生じてしまって、ホワイトボードなどの上の情報が不明瞭となってしまう場合がある。
【０００４】
そこで、本願発明者の一人は、カラー画像で撮影した場合にも適正に照度ムラ補正を行い、ホワイトボードなどの上に書かれた文字等の情報を明瞭にすることができる技術について、特願平９−１３０２０号で提案し特開平１０−２１０２８７号公報で開示された。この技術は、画像を所定の画素数より成る正方形のブロックに複数に分割し、各ブロックごとに輝度レベルを統計処理することによって画素ごとに閾値を決定し、画素の輝度レベルがこの閾値以上の場合には輝度レベルを白色飽和レベルに飛ばすことによってホワイトボードなどの画像部分を白色飽和レベルに階調補正して、ホワイトボードなどの上に書かれた文字等の情報を明瞭にするものである。このように画像処理を行うため、画像サイズは、アプリケーションソフトの設計の容易性やコストダウンの要請などから、ちょうど所定画素数の正方形ブロックで分割することができる画像サイズに限定していた。
【０００５】
【発明が解決しようとする課題】
ところで、画像処理したい画像が、机や壁などの背景がホワイトボードの周囲に写っている画像である場合や、ユーザ（使用者）が取り出したい情報の部分を全体画像から切り出した画像である場合や、ユーザがホワイトボードなどの上の情報を撮像する際に、限定した画像サイズ以外の画像サイズで撮像した画像である場合などがある。このような場合には、画像サイズが限定した画像サイズに成り難く、そのまま上述の画像処理を行うと所定画素数の正方形ブロックで分割する際に端数が生じてしまう。例えば、１５５０画素×１１４０画素の画像を１００画素の正方形ブロックで分割する場合では、１５５０画素×１１４０画素のうち１５００画素×１１００画素の部分は、この正方形ブロックで分割できるが残余の部分が正方形ブロックに満たない矩形の端数ブロックとして残ってしまう。そのため、従来の技術は、このような画像を取り扱うことができないという問題があった。
【０００６】
そこで、本発明では、上述の問題に鑑みて為された発明であり、任意の画像サイズの画像でも適正に画像処理を行い、ホワイトボードなどの上に書かれた文字等の情報を明瞭にすることができる画像処理装置を提供することを目的とする。そして、この画像処理装置に採用されている画像処理プログラムおよびこの画像処理装置を搭載したディジタルカメラを提供することを目的とする。
【０００７】
【課題を解決するための手段】
上述の目的を達成するために、本発明にかかる画像処理装置は、画像の画像サイズを検出する画像サイズ検出手段と、前記画像サイズ検出手段の検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズの横方向および縦方向が前記所定ブロックの対応する方向の長さに対して整数倍となる第１区分と残余の第２区分とに前記画像を分ける区分け手段と、前記第１区分の画像において前記所定ブロックごとに画像処理するための前処理値を求める第１演算手段と、前記第１演算手段で求めた前処理値に基づいて前記第２区分の画像において端数ブロックごとに画像処理するための前処理値を求める第２演算手段と、前記第１および第２演算手段で求めた前処理値に基づいて前記画像を画像処理する画像処理手段とを備えて構成される。
【０００８】
そして、本発明にかかる画像処理プログラムは、コンピュータに、画像の画像サイズを検出する第１ステップと、前記第１ステップの検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズの横方向および縦方向が前記所定ブロックの対応する方向の長さに対して整数倍となる第１区分と残余の第２区分とに前記画像を分ける第２ステップと、前記第１区分の画像において前記所定ブロックごとに画像処理するための前処理値を求める第３ステップと、前記第３ステップで求めた前処理値に基づいて前記第２区分の画像において端数ブロックごとに画像処理するための前処理値を求め第４ステップと、前記第３および第４ステップで求めた前処理値に基づいて前記画像を画像処理する第５ステップとを実行させるように構成される。
【０００９】
また、本発明にかかるディジタルカメラは、複数の光電変換素子から成る画素を有し、被写体光像を画像信号に光電変換して取り込む撮像手段と、前記撮像手段で取り込んだ画像信号に基づいて、画像の画像サイズを検出する画像サイズ検出手段と、前記画像サイズ検出手段の検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズの横方向および縦方向が前記所定ブロックの対応する方向の長さに対して整数倍となる第１区分と残余の第２区分とに前記画像を分ける区分け手段と、前記第１区分の画像において前記所定ブロックごとに画像処理するための前処理値を求める第１演算手段と、前記第１演算手段で求めた前処理値に基づいて前記第２区分の画像において端数ブロックごとに画像処理するための前処理値を求める第２演算手段と、前記第１および第２演算手段で求めた前処理値に基づいて前記画像を画像処理する画像処理手段とを備えて構成される。
【００１０】
このような構成の画像処理装置、画像処理プログラムおよびディジタルカメラは、画像を所定ブロックで分割し得る第１区分と残余の第２区分とに分けるので、第１区分について画像処理に必要な前処理値を既存のソフトウェアを用いて所定ブロックごとに容易に求めることができる。そして、この前処理値を用いて第２区分における前処理値を求めるので、第１区分および第２区分における前処理値を用いて画像処理することができる。第１区分および第２区分の区分分けは、任意の画像サイズの画像に行うことができるから、任意の画像サイズの画像について画像処理を行うことができる。
【００１１】
さらに、上述の画像処理装置において、好ましくは、前記画像処理は、画像の階調を調整するシェーディング処理である。このような画像処理装置は、画像の階調を調整するので、再現性の良い画像を得ることができる。
【００１２】
また、この画像処理装置において、好ましくは、前記前処理値は、画像の下地レベルであり、前記シェーディング処理は、前記下地レベルに基づいて画素ごとに閾値を設定し、画素の輝度レベルが前記閾値以上の場合には前記画素の輝度レベルを最高輝度レベルに画素ごとに変更する下地飛ばし階調補正処理を含む。このような画像処理装置は、下地飛ばし階調補正処理を行うので、画像がホワイトボードなどの上に書かれた文字などの情報を得る目的で撮られた場合に、文字などの情報が書かれたホワイトボードなどの下地部分の画像における照度ムラを軽減し、文字などの情報を明瞭化するので、容易に情報を判読することができる。
【００１３】
【発明の実施の形態】
以下、本発明に係る実施形態を図面に基づいて説明する。なお、各図において同一の構成については、同一の符号を付し、その説明を省略する。
（実施形態の構成）
図１は、本発明にかかる画像処理装置を搭載したディジタルカメラの外観を示す斜視図である。図２は、本発明にかかる画像処理装置を搭載したディジタルカメラの背面図である。図３は、本発明にかかる画像処理装置を搭載したディジタルカメラの構成を示すブロック図である。
【００１４】
図１に基づいて外観を概説すると、ディジタルカメラ１は、前面の略中央に撮影レンズ２が配設され、その上部にアクティブ測距方式により被写体距離を測定するための投光窓４と受光窓５とが配設され、両窓の間に被写体の輝度を測定するための測光窓３が配設されている。また、投光窓４の左側にファインダー対物窓６が配設され、受光窓５の右側に閃光部７が配設されている。
【００１５】
撮影レンズ２は、ズームレンズやフォーカスレンズを備えて構成され、被写体からの光を後述の撮像部２０に適切な光量および合焦点で導光する撮像光学系である。投光窓４は、被写体に対して赤外光を照射する窓であり、受光窓５は、この赤外光が被写体によって反射した反射光を受光する窓である。なお、本実施形態では測距方式としてアクティブ測距方式を採用しているが、パッシブ測距方式でもよい。閃光部７は、被写体からの光量が不足する場合などに被写体を照明する閃光を撮像動作に合わせて発光するフラッシュである。
【００１６】
ディジタルカメラ１の側面には、画像データを記憶するためのメモリカード１３が装着脱されるカード挿入口８が設けられ、このカード挿入口８の上部にメモリカード１３をイジェクトするためのカード取出ボタン９が設けられている。撮影結果を印刷する場合、カード取出ボタン９を押してメモリカード１３をディジタルカメラ１から取り外し、メモリカードが装着可能なプリンタにこのメモリカード１３を装着することによってプリントアウトすることができる。あるいは、プリンタが接続され、メモリカードが装着可能なパーソナルコンピュータ（以下、「パソコン」と略記する。）にこのメモリカード１３を装着することによってプリントアウトすることもできる。さらに、メモリカードが装着可能なパソコンにこのメモリカード１３を装着することによって、他のディジタルカメラやスキャナで生成した画像データを記憶することもできる。
【００１７】
なお、ディジタルカメラ１にＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）のインターフェースを設け、ディジタルカメラ１とプリンタまたはパソコンとをＵＳＢのケーブルで接続することでディジタルカメラ１からプリンタまたはパソコンに画像データを直接転送させて撮影画像を印刷させるようにしてもよい。
【００１８】
また、本実施形態では画像データの記録媒体としてＰＣＭＣＩＡ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｍｅｍｏｒｙ Ｃａｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ａｓｓｏｃｉａｔｉｏｎ）準拠のメモリカードを採用しているが、撮影結果を画像データとして記録することができる記憶媒体であればよく、ハードディスクカード、ミニディスク（ＭＤ；Ｍｉｎｉ−Ｄｉｓｋ）およびＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）などの他の記録媒体でもよい。
【００１９】
ディジタルカメラ１の上面には左端部にシャッタボタン１０が設けられ、右端部にズームスイッチ１１と撮影／再生スイッチ１２が設けられている。シャッタボタン１０は、後述の制御装置２６に接続され、半押しで焦点距離調節および露出制御値設定等の撮影準備を指示するＳ１スイッチがＯＮになり、全押しでレリーズを指示するＳ２スイッチがＯＮになる操作ボタンである。ズームスイッチ１１は、制御装置２６に接続され、左右にスライド可能な３接点スイッチから成り、ズームスイッチ１１をＴ（ＴＥＬＬ）側にスライドさせると望遠側に、また、Ｗ（ＷｌＤＥ）側にスライドさせると広角側に、撮影レンズ２のズーム比を連続的に変更することができる。
【００２０】
撮影／再生スイッチ１２は、制御装置２６に接続され、撮影モードと再生モードとを切換設定するスイッチである。撮影／再生スイッチ１２は、左右にスライド可能な２接点切換スイッチから成り、撮影／再生スイッチ１２が撮影（ＲＥＣ）側に設定されていると、撮像部２０で撮像されている画像がＬＣＤ表示部１８にモニタ表示されると共に被写体の撮影が可能になり、再生（ＰＬＡＹ）側に設定されていると、メモリカード１３に記録された画像データをＬＣＤ表示部１８（図２参照）へ表示が可能になる。そして、再生側に設定されている場合に、図略のスイッチを操作することによりＬＣＤ表示部１８に表示した画像に対して後述の画像処理の開始を指示することができる。
【００２１】
そして、図２において、ディジタルカメラ１の背面には、電源投入用のメインスイッチ１４が背面上部の左端部に設けられ、ＬＣＤ表示部１８が背面の略中央に設けられ、ファインダー接眼窓１５が背面上部の右端部に設けられている。また、メインスイッチ１４の下部に撮影モード設定スイッチ１６と解像度選択スイッチ１７とが設けられている。
【００２２】
撮影モード設定スイッチ１６は、制御装置２６に接続された撮影モードを選択するスイッチであり、例えば、操作ボタンが左右にスライドするオン／オフスイッチで構成される。撮影モード設定スイッチ１６がオフ（ＯＦＦ、開）の場合には、通常撮影モードであることを示し、撮影モード設定スイッチ１６がオン（ＯＮ、閉）の場合には、文字画撮影モードであることを示す。
【００２３】
解像度選択スイッチ１７は、制御装置２６に接続された撮像画像の解像度を選択するスイッチである。解像度選択スイッチ１７は、例えば、押しボタン式スイッチで構成され、スイッチが押されるごとに画像サイズが変更され、変更された画像サイズの情報がＬＣＤ表示部１８に表示される。例えば、解像度選択スイッチ１７が押されるごとに、２５６０画素×１９２０画素のスーパーファインから順次に１９６０画素×１４４０画素のファイン、１２８０画素×９６０画素のスタンダードおよび６４０画素×４８０画素のエコノミーに変更され、そして、更に押されるとスーパーファインに戻る。
【００２４】
また、ＬＣＤ表示部１８は、撮影画像の表示だけでなく、撮影モードか再生モードかの表示や通常撮影モードか文字画撮影モードかの表示などのディジタルカメラ１の撮影設定状態なども表示される。なお、ＬＣＤ表示部１８は、液晶ではなく有機ホトルミネセンスなどを利用した表示装置でもよい。
【００２５】
そして、図３に基づいてディジタルカメラ１の構成を説明すると、ディジタルカメラ１は、撮像部２０、アナログ／ディジタル変換部（以下、「Ａ／Ｄ」と略記する。）２１、画像メモリ２２、メモリカード１３、撮像部駆動部２３、カード制御部２４、記憶部２５、制御装置２６、測距部２８、ズーム駆動部３０、レンズ駆動部３１、絞り駆動部３２、撮影モード設定スイッチ１６、シャッタボタン１０、撮影／再生スイッチ１２、発光制御部３３、ＬＣＤ駆動部３４、測光部３５、撮影レンズ２、絞り３６、解像度設定スイッチ１７、ズームスイッチ１１、閃光部７およびＬＣＤ表示部１８を備えて構成される。そして、制御装置２６は、画像サイズ判定部４１、区分分け・切出し部４２、ブロック下地レベル決定部４３、端数ブロック下地レベル充当部４４、画素下地レベル決定部４５、下地飛ばし階調補正部４６、ＬＨ／ＬＳ演算部４７、ホワイトバランス（以下、「ＷＢ」と略記する。）微調整部４８、ＲＧＢ／ＹＣｒＣｂ変換部４９、エッジ強調部５０、黒レベル引締め部５１、階調拡大補正部５２、ＡＦ制御値演算部５３および露出制御値演算部５４を備えて構成される。ここで、画像処理装置に相当する部分は、画像メモリ２２、カード制御部２４、記憶部２５および制御装置２６を備えて構成される部分である。
【００２６】
撮像部駆動部２３は、制御装置２６から入力される露出制御値のシャッタスピードに基づいて撮像部２０の撮像動作を制御する。撮像部２０は、複数の光電変換素子から成る画素を有し、撮像部駆動部２３から入力される制御信号に基づき撮像動作（電荷蓄積動作）を行うことによって、被写体光像をＲ，Ｇ，Ｂの各色成分の画像信号に光電変換して、この画像信号を時系列信号に変換しＡ／Ｄ２１に出力する。撮像部２０は、例えば、カラーエリアセンサのＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）の固体撮像素子を備えて構成される。
【００２７】
Ａ／Ｄ２１は、撮像部２０から生成されたアナログの画像信号を例えば８ビットのディジタルの画像信号（画像データ）に変換し、画像データを画像メモリ２２に出力する。画像メモリ２２は、制御装置２６に接続され、画像処理を行うために画像データを一時的に記憶するメモリであり、後述の画像処理を行った後に画像データをメモリカード１３に出力する。画像メモリ２２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ ｍｅｍｏｒｙ）を備えて構成され、後述の画像処理を一括処理し得る容量が用意される。
【００２８】
カード制御部２４は、画像データを記録するべく制御装置２６の制御信号に基づいてメモリカード１３の駆動を制御する。記憶部２５は、制御装置２６に接続され、ディジタルカメラ１を動作させるために必要な各種プログラムやプログラム実行中のデータなどの各種データを記憶するメモリである。記憶部２５は、例えば、ＲＡＭやＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を備えて構成される。
【００２９】
測距部２８は、投光窓４の後方位置に設けられた赤外光を発光する投光部２７と、受光窓５の後方位置に設けられた被写体で反射した赤外光を受光する受光部２９とを備えて構成され、制御装置２６からの制御信号に基づいて被写体距離を検出し、検出結果を制御装置２６に出力する。測光部３５は、測光窓３の後方位置に設けられたＳＰＤなどの受光素子を備えて構成され、制御装置２６からの制御信号に基づいて被写体の輝度を測光し、測光結果を制御装置２６に出力する。
【００３０】
ズーム駆動部３０は、制御装置２６から入力される駆動信号に基づき撮影レンズ２のズーム動作を制御する。レンズ駆動部３１は、制御装置２６から入力されるＡＦ制御値に基づき撮影レンズ２の合焦動作を制御する。また、絞り駆動部３２は、制御装置２６から入力される露出制御値の絞り値Ａｖに基づき絞り３６の開口量を制御する。ＬＣＤ駆動部３４は、制御装置２６の制御信号に基づいて、画像メモリ２２における画像データやディジタルカメラ１の撮影設定状態などをＬＣＤ表示部１８に表示する制御を行う。発光制御部３３は、制御装置２６の制御信号に基づいて閃光部７の発光を制御する。
【００３１】
制御回路２６は、マイクロプロセッサなどを備えて構成され、後述するように各部４１〜５４によってディジタルカメラの撮影動作および画像処理などを集中制御する。画像サイズ判定部４１は、被写体を撮像することによって生成された画像データの大きさを検出し、画像処理可能な画像サイズか？、下地飛ばし階調補正処理可能な画像サイズか？、ＷＢ微調整可能な画像サイズか？および区分処理可能な画像サイズか？を判定する。区分分け・切出し部４２は、画像データを第１区分の画像データと第２区分の画像データとに分け、第１区分の画像データを切り出す。ブロック下地レベル決定部４３は、第１区分において、統計処理によりエリアの下地レベルを演算した後にブロックの下地レベルを演算する。端数ブロック下地レベル充当部４４は、第１区分の周辺のブロックにおける下地レベルに基づいて第２区分の端数ブロックに下地レベルを割り当てる。画素下地レベル決定部４５は、ブロック下地レベル決定部４３および端数ブロック下地レベル充当部４４で設定されたブロックの下地レベルに基づいて画素の下地レベルを演算する。下地飛ばし階調補正部４６は、照度ムラを軽減し画像の下地部分を明瞭にすべく、画素の下地レベルに基づく特性曲線によって画素の輝度レベルを変換する。ＬＨ／ＬＳ演算部４７は、統計処理により画像のハイライトレベルＬＨおよびシャドーレベルＬＳを演算する。ＷＢ微調整部４８は、所定の演算式に基づいて画像のＷＢを調整する。ＲＧＢ／ＹＣｒＣｂ変換部４９は、ＲＧＢデータをＹＣｒＣｂデータに、そして、ＹＣｒＣｂデータをＲＧＢデータに所定の演算式に基づいて変換する。エッジ強調部５０は、フィルタを用いて画像のエッジを強調する。黒レベル引締め部５１は、画像の文字などの情報を明瞭にすべく、所定の特性曲線に基づいて画素の輝度レベルを変換する。階調拡大補正部５２は、画像のハイライトレベルＬＨおよびシャドーレベルＬＳに基づく特性曲線によって画像の階調を伸長する。ＡＦ制御値演算部５３は、測距部２８の出力に基づいて被写体からの光が撮像部２０の撮像素子に結像するように撮影レンズ２のフォーカスレンズの駆動量を演算する。露出制御値演算部５４は、測光部３５の出力に基づいてプログラム制御により絞り値Ａｖおよび露光時間Ｔｖを演算する。
（実施形態の動作）
次に、本発明にかかる画像処理装置を搭載したディジタルカメラの動作について概略を説明した後に詳細に説明する。まず、概略を説明する。
【００３２】
図４は、本発明にかかる画像処理の概略のフローチャートを示す図である。
【００３３】
図４において、まず、画像処理の対象となる画像データを取り込む（ステップ＃１）。画像データは、例えば、その場で被写体を撮像した画像データでもよいし、予めディジタルカメラで被写体を撮像しメモリカード１３に格納した画像データでもよいし、スチルカメラで被写体を写した写真をスキャナなどの画像読取装置で画像データ化しパソコンを介してメモリカード１３に格納した画像データでもよい。
【００３４】
次に、制御装置２６は、文書画像処理を行い得るか否かの観点から、画像データの画像サイズおよび画像を判断し、ホワイトボードなどの上に書かれた文字などの情報を撮像した文字画等である場合にはステップ＃３の処理を行い、一方、文字画等以外の画像である場合にはステップ＃９の処理を行う（ステップ＃２）。
【００３５】
ステップ＃３において、制御装置２６は、画像データを第１区分と第２区分とに分ける必要があるか否かについて区分分けの要否を判断し、画像の画像サイズがブロックサイズの整数倍でない場合にはステップ＃４の処理を行った後にステップ＃５の処理を行い、一方、画像サイズがブロックサイズの整数倍である場合にはステップ＃５の処理を行う。例えば、画像の画像サイズが１９６０画素×１４４０画素でブロックが１２８画素の正方形ブロックの場合には、横方向に４０画素分、縦方向に３２画素分だけ端数の部分が生じることになり、区分分けが必要となる。
【００３６】
ステップ＃４において、制御装置２６は、画像データを第１区分の画像データと第２区分の画像データとに分け、第１区分の画像データを切り出す。第１区分の画像データは、画素数が横方向および縦方向共にブロックにおける各辺の画素数に対し整数倍になるように全体の画像データから切り出した部分であり、第２区分の画像データは、全体の画像データのうち第１区分の画像データを切り出した残余の部分である。例えば、上述の例において、図５に示すように、１９６０画素×１４４０画素の画像６０のうち、１９２０画素×１４０８画素の部分が第１区分６１となり、残余の部分が第２区分６２となる。第２区分６２は、第１区分６１の設定の仕方によって異なり、図５（ａ）に示すように第１区分６１−ａを画像の中央に取れば第２区分６２−ａは周辺部分となり、横方向（行方向）に１２８画素×１６画素の端数ブロックと、縦方向（列方向）に２０画素×１２８画素の端数ブロックと、四隅に２０画素×１６画素の端数ブロックとが生じる。また、図５（ｂ）に示すように第１区分６１−ｂを画像の右上に取れば第２区分６２−ｂは左部及び下部のＬ字状部分となり、図５（ｃ）に示すように第１区分６１−ｃを画像の左上に取れば第２区分６２−ｃは右部及び下部の横鏡面Ｌ字状部分となり、図５（ｄ）に示すように第１区分６１−ｄを画像の右下に取れば第２区分６２−ｄは左部及び上部の縦鏡面Ｌ字状部分となり、そして、図５（ｅ）に示すように第１区分６１−ｅを画像の左下に取れば第２区分６２−ｅは右部及び上部の逆Ｌ字状部分となる。図５（ｂ）ないし（ｅ）においては、横方向（行方向）に１２８画素×３２画素の端数ブロックと、縦方向（列方向）に４０画素×１２８画素の端数ブロックと、隅に４０画素×３２画素の端数ブロックとが生じる。このように端数ブロックは、第１区分の設定の仕方によって異なるが、第１区分において正方形ブロックに分割するための横方向の分割境界線および縦方向の分割境界線をそれぞれ第２区分まで延長し、第２区分においてこの延長した分割境界線によって分割された矩形のブロックである。なお、図５は、図示の便宜上、第１区分と第２区分とは異なる尺度で表示されている。
【００３７】
ステップ＃５において、制御装置２６は、下地飛ばし階調補正処理を行うための前処理として、画像６０がブロックの整数倍の場合には画像６０に対して、また、画像６０がブロックの整数倍ではない場合には第１区分６１に対して、ブロックごとに前処理値の下地レベルを決定する。
【００３８】
そして、制御装置２６は、区分分けおよび切出し処理をしたか否かを判断する（ステップ＃６）。判断の結果、区分分けおよび切出し処理をした場合には、制御装置２６は、第１区分６１のブロックにおける下地レベルに基づいて第２区分６２の各端数ブロックに前処理値の下地レベルを割り当て、ステップ＃８の処理を行う（ステップ＃７）。一方、判断の結果、区分分けおよび切出し処理をしていない場合には、制御装置２６は、ステップ＃８の処理を行う。
【００３９】
ステップ＃８において、制御装置２６は、文字等の情報がより明瞭となるように、画素ごとに輝度レベルが所定の閾値以上の場合には最高輝度レベルに変更する下地飛ばし階調補正処理、フィルタによるエッジ強調処理、および、所定の閾値以下の輝度レベルを黒レベルに変換する黒レベル引締め処理の文書画像処理を行う。下地飛ばし階調補正処理の閾値は、ブロックごとに下地レベルを求めた後にこれを基に画素ごとに設定されるが、区分分け処理や充当処理により画像サイズがブロックの整数倍でない場合でもブロックの下地レベルを決定することができるので、画素ごとの下地レベル、すなわち、閾値を適切に設定することができる。
【００４０】
一方、ステップ＃９において、文字画等以外の画像の画像データに対し、階調拡大補正などの通常の画像処理を行い、処理を終了する。
【００４１】
次に、本発明にかかる画像処理装置を搭載したディジタルカメラの動作について詳細に説明する。図６ないし図９は、本発明にかかる画像処理装置を搭載したディジタルカメラのフローチャートを示す図である。
（撮像時の動作）
図６ないし図９において、撮影をしようと思いユーザが撮影／再生スイッチ１２を撮影側に設定すると共にメインスイッチ１４をオンにすると、ディジタルカメラ１が起動し、制御装置２６は、記憶部に格納されているプログラムを読み込んで実行し、必要な初期化をディジタルカメラ１の各部に行って撮影可能な状態となる。ユーザは、ＬＣＤ表示部１８の解像度表示を参照しながら解像度選択スイッチ１７を押すことによって所望の解像度を設定する（ステップ＃１０）。この状態で制御装置２６は、ズームスイッチ１１が操作されているか否かを判断する（ステップ＃１１）。
【００４２】
判断の結果、ズームスイッチ１１が操作されている場合には、制御装置２６は、その操作方向および操作量に応じて撮影レンズ２内のズームレンズをズーム駆動部３０で駆動することによってズーム比を変更し、その後ステップ＃１３の処理を行う（ステップ＃１２）。一方、判断の結果、ズームスイッチ１１が操作されていない場合には、制御装置２６は、撮影レンズ２内のズームレンズを駆動することなくそのままの状態でステップ＃１３の処理を行う。
【００４３】
ステップ＃１３において、制御装置２６は、シャッタボタン１０が半押しされてＳ１スイッチがオンであるか否かを判断する。判断の結果、Ｓ１スイッチがオフである場合には、制御装置２６は、処理をステップ＃１１に戻す。一方、判断の結果、Ｓ１スイッチがオンである場合には、制御装置２６は、ステップ＃１４に移行し、撮影準備のための処理を行う。
【００４４】
すなわち、ステップ＃１４において、制御装置２６は、測距部２８の投光部２７から被写体に向けて測距用の赤外光を投光させ、その赤外光が被写体によって反射した反射光を測距部２８の受光部２９で受光することによって、測距用のデータを取り込み、被写体距離を演算する。
【００４５】
次に、制御装置２６は、撮影モード設定スイッチ１６が何れに操作されているかを判断することによって撮影モードを判断する（ステップ＃１５）。判断の結果、文字画撮影モードである場合には、制御装置２６は、発光制御部３３に発光禁止の制御信号を出力することによって閃光部７の発光を禁止し（ステップ＃１６）、ステップ＃１７の処理を行う。一方、判断の結果、通常撮影モードである場合には、制御装置２６は、ステップ＃１７の処理を行う。文字画撮影モードである場合に閃光部７の発光を禁止するのは、例えば、ホワイトボードに対して正面から撮影するシーンでは閃光部７が自動発光される可能性があるが、この撮影シーンでは、閃光がホワイトボ一ドで全反射されて撮像画像の文字が判読不能になる虞れがあるからである。
【００４６】
ステップ＃１７において、制御装置２６は、ＡＦ制御値演算部５３を用いて、被写体距離に基づいて撮影レンズ２のフォーカスレンズを合焦位置に設定するレンズ駆動量を演算し（ステップ＃１７）、そして、露出制御値演算部５４を用いて、測光部３５で検出された測光データに基づいて露出制御値を演算する（ステップ＃１８）。これにより撮影準備処理は、終了してレリーズ待機状態となる。
【００４７】
このレリーズ待機状態で、制御装置２６は、シャッタボタン１０が全押しされてＳ２スイッチがオンであるか否かを判断する（ステップ＃１９）。判断の結果、シャッタボタン１０が全押しされてＳ２スイッチがＯＮである場合には、制御装置２６は、レリーズ動作を行う。一方、判断の結果、シャッタボタン１０が全押しされていない場合には、制御装置２６は、さらにシャッタボタン１０が半押されＳ１スイッチがオンであるか否かを判断する（ステップ＃２０）。判断の結果、Ｓ１スイッチがオンである場合（シャッタボタン１０の半押し状態が継続している場合）には、制御装置２６は、処理をステップ＃１９に戻してレリーズ待機状態を継続し、一方、Ｓ１スイッチがオフである場合には、制御装置２６は、処理をステップ＃１１に戻す。
【００４８】
レリーズ動作に移行すると、制御装置２６は、まず、レンズ駆動量のデータをレンズ駆動部３１に出力して撮影レンズ２の焦点調節を行い（ステップ＃２１）、露出制御値の絞り値Ａｖのデータを絞り駆動部３２に出力して絞り３６の開口量を調節する（ステップ＃２２）。そして、制御装置２６は、ステップ＃１８で得られた露光時間に対応させて撮像部２０の撮像素子を露光して電荷を蓄積することによって被写体を撮像し、撮像素子で得られた信号に周知の通常の処理を行って、Ａ／Ｄ２１を介して、解像度選択スイッチ１７で設定された画像サイズの画像データを画像メモリ２２に格納する（ステップ＃２３）。
（画像処理の動作）
次に、制御装置２６は、画像サイズ判定部４１を用いて、画像の各辺に相当する画素を計数するなどによって、格納した画像データが処理可能な画像サイズか否か判断する（ステップ＃３１）。画像サイズによって処理の可否を判断するのは、文字画像として画像処理（下地飛ばし階調補正処理）を行う場合でも写真画像として画像処理（階調拡大処理）を行う場合でも、後述するように画像データを統計処理するので、統計処理の性質上或る精度を得るためには、その精度に対応したデータ数が必要だからである。したがって、判断の結果、制御装置２６は、画像データが必要なデータ数未満の場合、例えば、４８０画素×４８０画素未満の場合には、文字画像処理を行うことができない旨の警告表示をＬＣＤ表示部１８に表示して（ステップ＃３２）、処理をステップ＃１１に戻す。
【００４９】
一方、判断の結果、制御装置２６は、画像データが必要なデータ数以上の場合には、画像サイズ判定部４１を用いて、画像データが下地飛ばし階調補正処理可能な画像サイズか否か判断する（ステップ＃３３）。下地飛ばし階調補正処理は、後述するように、画像データを複数のブロックに分割してブロックごとに処理するが、或るブロックを処理する場合に当該ブロックの周囲の情報も考慮して処理を行う。このため、必要数のブロックが横方向および縦方向に無いと充分な精度で下地飛ばし階調補正処理を行うことができない。したがって、判断の結果、制御装置２６は、画像データが必要なデータ数未満の場合、例えば、短辺が６４０画素未満の場合には、写真画像として画像処理すべくステップ＃６０の処理を行う。
【００５０】
一方、判断の結果、制御装置２６は、画像データが必要なデータ数以上の場合には、画像サイズ判定部４１を用いて、ＷＢ微調整が可能な画像サイズであるか否かを判断する（ステップ＃３４）。ＷＢ微調整は、図１０に示すように、横方向および縦方向ともに８０パーセントに当たる画像の中央部（図１０における斜線部分）における画素を用いて行うため、この画素数が画像全体の画素数に対し数パーセント未満の割合、例えば５パーセント未満の割合である場合には、使用する画素数が全体の画素数に対して少なすぎるため、ＷＢ微調整を行うのは適当ではない。したがって、判断の結果、制御装置２６は、画像データがＷＢ微調整を行うに足る画素未満の場合には、写真画像として画像処理すべくステップ＃６０の処理を行う。
【００５１】
また、全体の８０パーセントに当たる画像６０の中央部をＷＢ微調整の対象のゲイン演算領域６１とするのは、画像の周辺部分には背景などが撮像されている場合が多いため、全体の８０パーセントに当たる画像の中央部をＷＢ微調整の対象とすれば確実に文字などの情報が撮像されている部分になると考えられるからである。したがって、本実施形態では８０パーセントとしたが、この観点から他のパーセンテージを採用してもよい。
【００５２】
一方、判断の結果、制御装置２６は、生成した画像データがＷＢ微調整を行うに足る画素以上の場合には、ＷＢ微調整部４８を用いて、ＷＢの微調整を行う（ステップ＃３５）。すなわち、このＷＢ微調整において、制御装置２６は、まず、横方向および縦方向ともに８０パーセントに当たる画像の中央部における各画素に対し式１および式２を満たすか否かを判断し、両式を満たす画素を抽出する。
（Ｒ−Ｇ）２＋（Ｂ−Ｇ）２＜ＴｈＳｗｂ ・・・ （式１）
０．３Ｒ＋０．６Ｇ＋０．１Ｂ＞ＴｈＹｗｂ ・・・ （式２）
【００５３】
ここで、Ｒ、ＧおよびＢはそれぞれ画素の赤成分のデータ、緑成分のデータおよび青成分のデータである。式１がＷＢを適切に調整するために有彩色の画素を除外するための式であるので、ＴｈＳｗｂは、このために画素を無彩色であるか有彩色であるかを弁別する値として実験的に決定され、例えば本実施形態ではＴｈＳｗｂ＝９００とした。式２がＷＢを適切に調整するために輝度の暗い画素を除外するための式であるので、ＴｈＹｗｂは、このために暗い画素であるか明るい画素であるかを弁別する値として実験的に決定され、例えば本実施形態ではＴｈＹｗｂ＝１９０とした。そして、制御装置２６は、抽出した画素におけるＲ、ＧおよびＢのそれぞれの総和を求め、Ｇの総和を基準としてＲおよびＢに乗算するゲインＧａｉｎ＿ＲおよびゲインＧａｉｎ＿Ｂをそれぞれ求める。さらに、制御装置２６は、画像データの全画素に対して求めたゲインＧａｉｎ＿ＲおよびゲインＧａｉｎ＿ＢをそれぞれＲおよびＢに乗算する。このようにしてＷＢが微調整される。
【００５４】
次に、制御装置２６は、画像サイズ判定部４１を用いて、画像の各辺の画素を正方形ブロックの一辺の画素数で割り算するなどによって、画像データの画像サイズがブロックで分割した場合に端数が生じるか否かを判断する（ステップ＃３６）。これによって画像を第１区分と第２区分とに区分けすると共に第１区分を切出す区分分け・切出し処理が必要か否かが判断される。ブロックは、後述の縦方向の計算と横方向の計算とでブロックを容易に一致させ得る観点から、本実施形態では正方形とするが、ブロックを長方形としても本発明を適用することは可能である。また、ブロックを長方形とすると、ブロック内の絵に方向性がある場合に後述の縦方向の計算と横方向の計算との両結果に方向性が反映されてしまうが、ブロックを正方形にすることでこれが無くなるという利点もある。正方形ブロックの大きさは、ヒストグラムの統計処理により適切に下地レベルが検出することができる大きさに、撮像部における撮像素子の画素数や画像サイズなどを考慮して実験的に決定され、例えば本実施形態では１２８画素とした。
【００５５】
判断の結果、端数が生じない場合、すなわち区分分け・切出し処理不要な場合には、制御装置２６は、ステップ＃３８の処理を行う。一方、端数が生じる場合、すなわち区分分け・切出し処理が必要な場合には端数を解消すべく、制御装置２６は、区分分け・切出し処理部４２を用いて、画像データの画素数が横方向および縦方向共に正方形ブロックにおける一辺の画素数に対し整数倍となる第１区分と、残余の第２区分とに区分分けを行い、第１区分の画像データを画像メモリ２２の所定のアドレスにおける記憶領域に格納して切出す。さらに、画像を区分分けした旨の情報を記憶部２５の所定のアドレスにおける記憶領域に格納する（ステップ＃３７）。例えば、画像データの画像サイズが１９６０画素×１４４０画素である場合には、横方向が１２８画素の１５以下の整数倍であって縦方向が１２８画素の１２以下の整数倍である画像サイズになるように第１区分として切出すと、第１区分の画像データが正方形ブロックで分割可能となる。後述するように第２区分における下地レベルは第１区分の下地レベルに基づいて充当するので、画像劣化を抑制する観点から、切出す第１区分は、画像において最大の画像サイズであることが好ましい。このため、この場合では、制御装置２６は、第１区分の画像サイズが１９２０画素×１４０８画素となるように切出す。ここで、１９２０は１２８の１５倍であり、１４０８は１２８の１１倍である。第１区分は、例えば、本実施形態では図５（ａ）に示すように画像の中央部に設定される。
【００５６】
次に、制御装置２６は、ＲＧＢ／ＹＣｒＣｂ変換部４９を用いて、画像データのＲＧＢデータを輝度Ｙと色差ＣｒＣｂとの各データに式３ないし式５を用いて変換する（ステップ＃３８）。
Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ ・・・ （式３）
Ｃｒ＝Ｒ−Ｙ ・・・ （式４）
Ｃｂ＝Ｂ−Ｙ ・・・ （式５）
【００５７】
次に、制御装置２６は、図１１に示すように、第１区分の画像データにおいて、周囲を正方形ブロックにおける一辺の画素数の整数倍で除いた中央部の領域を正方形ブロックで分割する。もちろん、ステップ＃３６において区分分け・切出し処理が不要な画像であった場合には画像そのものの画像データにおいてこの処理が行われる。画像データの周囲を正方形ブロックで分割する対象領域から除外するのは、ＷＢ微調整で中央部を対象領域としたのと同様の理由である。除外する周囲を正方形ブロックにおける一辺の画素数の整数倍とするのは、もちろん、正方形ブロックで端数を生じることなく中央部を分割可能とするためである。例えば、上述の１９２０画素×１４０８画素の画像サイズの場合には、１２８画素の幅で周囲の領域を除外し、１６６４画素×１１５２画素の中央部を一辺１２８画素の正方形ブロックで分割する。このように分割すると中央部は、正方形ブロックで１３×９に分割される。次に、制御装置２６は、各正方形ブロックにおいて、横方向および縦方向共に所定数の画素ごとに式６および式７を用いて彩度Ｓｎおよび輝度Ｙｎをそれぞれ求める（ステップ＃３９）。
【００５８】
【数１】
【００５９】
【数２】
【００６０】
ここで、ｉ，ｊは所定数ごとの飛び飛びの値であり、ｎは正方形ブロックの番号である。例えば、正方形ブロックにおける一辺の画素数１２８の約数である１６画素ごとに彩度Ｓｎおよび輝度Ｙｎをそれぞれ求める場合には、ｉ，ｊは０、１５、３１、・・・のように１６ごとの飛び飛びの値であり、サンプリング画素総数は（１２８／１６）×（１２８／１６）＝６４となる。
【００６１】
次に、制御装置２６は、求めた彩度Ｓｎおよび輝度Ｙｎを用いて、彩度Ｓｎの平均値Ｐ１、輝度Ｙｎの標準偏差値Ｐ２、彩度Ｓｎの標準偏差値Ｐ３、輝度Ｙｎのヒストグラムにおけるピークとなる階級（クラス）Ｐ４、輝度Ｙｎのヒストグラムにおいて輝度Ｙｎの平均値±２０パーセントの累積度数Ｐ５、および輝度Ｙｎのヒストグラムにおいて輝度Ｙｎの平均値−２０パーセント以下の累積度数Ｐ６を求める（ステップ＃３９）。ここで、Ｐ４、Ｐ５、Ｐ６のヒストグラムは、輝度Ｙｎの階調を１／４にした６４階調化したデータを用いる。次に、制御装置２６は、これらＰ１ないしＰ６の６個のパラメータを用いて、予め標準的な文書画像を基に実験的に作成した基準空間に対するマハラノビス距離ｄを求め、マハラノビス距離ｄと閾値ＴｈＭとの大小を判断する。判断の結果、マハラノビス距離ｄ＞閾値ＴｈＭである場合には、制御装置２６は、画像データが暗い下地の画像、濃い色の下地の画像あるいは写真画像であると判断し、ステップ＃６０を行う。一方、判断の結果、マハラノビス距離ｄ≦閾値ＴｈＭである場合には、制御装置２６は、画像データが処理可能な文書画像であると判断し、ステップ＃４１を行う（ステップ＃４０）。
【００６２】
次に、制御装置２６は、ブロック下地レベル決定部４３を用いて、画像を縦方向に所定の矩形領域（以下、「エリア」と称する。）６５ごとに分割し、各エリア６５における縦方向下地レベルＶＢＬ＿Ｅを演算する（ステップ＃４１）。より具体的には、次のように各エリア６５の縦方向下地レベルＶＢＬ＿Ｅを演算する。まず、制御装置２６は、画像を縦方向に所定のエリア６５ごとに分割する。所定のエリア６５における横方向の幅は、後述するように正方形ブロックにおける下地レベルも演算することから、正方形ブロックの一辺の長さに等しくすることが望ましい。このため、上述の例では、図１２に示すように、制御装置２６は、１９２０画素×１４０８画素の画像を１２８画素×１４０８画素のエリア６５で分割する。次に、制御装置２６は、各エリアにおいて、横方向に８画素ごとに階調を１／４にした６４階調のデータに輝度Ｙデータを変換すると共に、縦方向も８画素ごとに階調を１／４にした６４階調のデータに輝度Ｙデータを変換する。そして、制御装置２６は、各エリア６５において、変換したこれら６４階調の輝度Ｙデータに対して、ヒストグラムを作成する。例えば、図１３に示すようなヒストグラムが作成される。図１３の横軸は６４階調の輝度に合わせて０〜６３までの階級であり、縦軸は度数である。次に、制御装置２６は、作成したヒストグラムにおいて、式８および式９を満たす度数最大の階級を求め、求めた階級の値を４倍にして２５６階調のデータに再変換し、これを当該エリア６５の暫定的な縦方向下地レベルＶＢＬ＿Ｅとする。
階級＞Ｔｈｃ１ ・・・ （式８）
度数＞３５２ ・・・ （式９）
【００６３】
ここで、式８は、下地レベルとなるべき階級の範囲を決定する式である。下地レベルは、文字ではない、すなわち、ホワイトボードや紙などの白色の部分である輝度の明るいレベルとなるべきであるから、Ｔｈｃ１は、下地レベルとして不適切な輝度の暗い階級を除外する値として実験的に決定され、本実施形態では例えばＴｈｃ１＝７０とした。式９は、下地レベルとなるべき階級における度数の範囲を決定する式である。下地レベルは、度数最大の階級として求めるので少なくとも度数が均等に分布した場合における度数を超える必要がある。そのため、例えば、本実施形態では、度数が均等に分布した場合における度数として、１２８画素×１４０８画素の画素数のエリアにおいて横方向および縦方向ともに８画素ごとにサンプリングし２５６階調を６４階調に変換しているので、１２８×１４０８／６４／８＝３５２と計算される。
【００６４】
なお、ヒストグラムを作成するための輝度Ｙデータにおけるサンプリング間隔は、短ければ精度が向上するが、輝度Ｙデータ数が増大し演算時間が増大する。このように精度と演算時間はトレードオフの関係にあり、サンプリング間隔は、精度と演算時間のバランスを考慮して決定される。したがって、例えば、制御装置２６の演算速度が高速の場合には、縦方向および横方向ともに４画素ごとに輝度Ｙデータをサンプリングしてもよい。後述のサンプリング間隔も同様に精度と演算時間のバランスを考慮して決定される。
【００６５】
次に、制御装置２６は、着目するエリア６５とこれに隣接するエリア６５との３個のエリア６５において、暫定的な縦方向下地レベルＶＢＬ＿Ｅに対してメディアンを求める。例えば、着目するエリア６５−ｎの暫定的な縦方向下地レベルＶＢＬ＿Ｅ＝２００、一方に隣接するエリア６５−（ｎ−１）の暫定的な縦方向下地レベルＶＢＬ＿Ｅ＝２１０、他方に隣接するエリア６５−（ｎ＋１）の暫定的な縦方向下地レベルＶＢＬ＿Ｅ＝２２０とすると、メディアンは、２１０となる。なお、これをｍｅｄｉａｎ（２００，２１０，２２０）＝２１０と表現する。この着目するエリア６５とこれに隣接するエリア６５との３個のエリアにおいて、暫定的な縦方向下地レベルＶＢＬ＿Ｅに対してメディアンを求めた結果を、着目するエリア６５の縦方向下地レベルＶＢＬ＿Ｅとする。そして、制御装置２６は、このメディアン処理を各エリア６５に対して行い、各エリア６５の縦方向下地レベルＶＢＬ＿Ｅを求める。さらに、制御装置２６は、求めた各エリア６５の縦方向下地レベルＶＢＬ＿Ｅのうち、最大値と最小値とを除いて、各エリア６５の縦方向下地レベルＶＢＬ＿Ｅの平均値ＡＶＢＬ＿Ｅを求める。そして、制御装置２６は、着目するエリア６５に対し隣接する両エリア６５の縦方向下地レベルＶＢＬ＿Ｅがこの縦方向下地レベルＶＢＬ＿Ｅの平均値ＡＶＢＬ＿Ｅと所定値（例えば５０）以上離れている場合には、着目するエリア６５の縦方向下地レベルＶＢＬ＿Ｅを図１２において左隣のエリア６５の縦方向下地レベルＶＢＬ＿Ｅに置き換えて修正する。
【００６６】
このようにして、制御装置２６は、各エリア６５の縦方向下地レベルＶＢＬ＿Ｅを演算する。
【００６７】
次に、制御装置２６は、ブロック下地レベル決定部４３を用いて、各エリア６５を正方形ブロックごとに分割し、各正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂを演算する（ステップ＃４２）。より具体的には、次のように各正方形ブロックの縦方向下地レベルＶＢＬ＿Ｂを演算する。まず、図１４に示すように、制御装置２６は、各エリア６５を所定の正方形ブロックごとに分割する。上述の例では、制御装置２６は、１２８画素×１４０８画素のエリアを１２８画素×１２８画素の正方形ブロックで分割する。次に、制御装置２６は、各正方形ブロックにおいて、横方向に８画素ごとに階調を１／４にした６４階調のデータに輝度Ｙデータを変換すると共に、縦方向も８画素ごとに階調を１／４にした６４階調のデータに輝度Ｙデータを変換する。そして、制御装置２６は、各正方形ブロックにおいて、変換したこれら６４階調の輝度Ｙデータに対して、ヒストグラムを作成する。例えば、図１５に示すようなヒストグラムが作成される。図１５の横軸は６４階調の輝度に合わせて０〜６３までの階級であり、縦軸は度数である。次に、制御装置２６は、作成したヒストグラムにおいて、高輝度側から低輝度側へ順に調べ、式１０、式１１および「当該階級より低輝度側３階級の各度数よりも度数が大きいこと」を満たす階級を求め、求めた階級の値を４倍にして２５６階調のデータに再変換し、これを第１ピーク輝度とする。
階級＞Ｔｈｃ２ ・・・ （式１０）
度数＞３２ ・・・ （式１１）
【００６８】
ここで、Ｔｈｃ２は、Ｔｈｃ１と同様な考え方による数値であり、例えば本実施形態ではＴｈｃ２＝７０とした。式１１の３２は、式９の３８４と同様な考え方による数値であり、度数が均等に分布した場合における度数として、１２８画素×１２８画素の画素数の正方形ブロックにおいて横方向および縦方向ともに８画素ごとにサンプリングし２５６階調を６４階調に変換しているので、１２８×１２８／６４／８＝３２として求まる数値である。
【００６９】
さらに、制御装置２６は、作成したヒストグラムにおいて、第１ピーク輝度に対応する階級から低輝度側へ順に調べ、式１２、式１３、「当該階級より１つ高輝度側の階級における度数よりも度数が大きいこと」および「当該階級より低輝度側への３つの階級における各度数よりも度数が大きいこと」を満たす階級を求め、求めた階級の値を４倍にして２５６階調のデータに再変換し、これを第２ピーク輝度とする。
階級＞Ｔｈｃ３ ・・・ （式１２）
度数＞３２ ・・・ （式１３）
【００７０】
ここで、Ｔｈｃ３は、Ｔｈｃ１と同様な考え方による数値であるが第１ピーク輝度よりも低輝度側にあるべきであるから、例えば本実施形態では８０とした。
【００７１】
次に、制御装置２６は、第１ピーク輝度と第２ピーク輝度とを当該正方形ブロックが属するエリア６５における縦方向下地レベルＶＢＬ＿Ｅとそれぞれ比較し、当該正方形ブロックが属するエリア６５における縦方向下地レベルＶＢＬ＿Ｅに近い方のピーク輝度を当該正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂとする。例えば、第１ピーク輝度＝２２０、第２ピーク輝度＝１９０で属するエリア６５の縦方向下地レベル＝２００の場合には、第２ピーク輝度の方が近いので、正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂ＝１９０となる。
【００７２】
ここで、選択されたピーク輝度が、属するエリア６５の縦方向下地レベルＶＢＬ＿Ｅと６０以上の差がある場合には、制御装置２６は、正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂを、属するエリア６５における縦方向下地レベルＶＢＬ＿Ｅに置き換える修正を行い、一方、選択されたピーク輝度が、属するエリアの縦方向下地レベルＶＢＬ＿Ｅと４０以上６０未満の差がある場合には、正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂを、正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂと属するエリア６５における縦方向下地レベルＶＢＬ＿Ｅとの平均値で置き換える修正を行う。例えば、第１ピーク輝度＝１６０、第２ピーク輝度＝１１０で属するエリア６５の縦方向下地レベル＝２３０の場合には、第１ピーク輝度の方が近いが６０以上離れているので（２３０−１６０＝７０）、正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂ＝２３０となる。また例えば、第１ピーク輝度＝１８０、第２ピーク輝度＝１１０で属するエリア６５の縦方向下地レベル＝２３０の場合には、第１ピーク輝度の方が近いが４０以上６０未満だけ離れているので（２３０−１８０＝５０）、正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂ＝（１８０＋２３０）／２＝２０５となる。
【００７３】
全正方形ブロックについて上述のように正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂを求めた後に、制御装置２６は、着目する正方形ブロックとこれに横方向および縦方向に隣接する４個の正方形ブロックとに対し、最大値と最小値とを除いた正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂの平均値を求め、求めた平均値を着目する正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂとする。例えば、着目する正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂ＝２００、これに横方向に左右に隣接する正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂ＝２１０、２２０、および、これに縦方向に上下に隣接する正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂ＝１９０、２１０の場合には、最大値２２０および最小値１９０とを除いた平均値（２００＋２１０＋２１０）／３＝２０７を着目する正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂとする。
【００７４】
ここで、画像の周辺に位置する正方形ブロックの場合、および、正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂが、属するエリア６５の縦方向下地レベルＶＢＬ＿Ｅの平均値ＡＶＢＬ＿Ｅより所定値（例えば５０）以上離れている場合には、上述の平均値を求める処理を行わずに、画像の内側隣にある正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂを当該正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂとする。例えば、図１４において一番上の列にある正方形ブロックは、１個下の正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂを採用し、右上端の正方形ブロックは、左下の正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂを採用する。
【００７５】
このようにして、制御装置２６は、各正方形ブロックの縦方向下地レベルＶＢＬ＿Ｂを演算する。
【００７６】
次に、制御装置２６は、ブロック下地レベル決定部４３を用いて、画像を横方向に所定のエリアごとに分割し、各エリアにおける横方向下地レベルＨＢＬ＿Ｅをステップ＃４１で求めたエリアにおける縦方向下地レベルＶＢＬ＿Ｅと同様に演算する（ステップ＃４３）。エリアは、例えば、１９２０画素×１４０８画素の画像を１９２０画素×１２８画素のエリアで分割する。
【００７７】
次に、制御装置２６は、ブロック下地レベル決定部４３を用いて、横方向に分割した各エリアを所定の正方形ブロックごとに分割し、各正方形ブロックにおける横方向下地レベルＨＢＬ＿Ｂをステップ＃４２で求めた正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂと同様に演算する（ステップ＃４４）。
【００７８】
制御装置２６は、ステップ＃４１ないしステップ＃４４のように動作することによって、画像の一のブロックに対して縦方向と横方向との２方向から下地レベルを算出する。
【００７９】
次に、制御装置２６は、ブロック下地レベル決定部４３を用いて、正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂと横方向下地レベルＨＢＬ＿Ｂとを比較し、値の大きい方（輝度の高い方）を当該正方形ブロックにおける下地レベルＢＬ＿Ｂとし、ステップ＃４２とステップ＃４４で求めた値を統合する（ステップ＃４５）。
【００８０】
以上の処理により、第１区分の画像または画像そのものの画像データにおいて、画像を正方形ブロックに分割し、正方形ブロック単位で前処理値である下地レベルＢＬ＿Ｂが求められたので、次に、制御装置２６は、第２区分の画像において、端数ブロックの前処理値である下地レベルＢＬ＿Ｂを演算する。
【００８１】
まず、制御装置２６は、記憶部２５の所定のアドレスにおける記憶領域を参照して、画像を区分分け・切出し処理を行ったか否かを判断する（ステップ＃４６）。判断の結果、区分分け・切出し処理を行っていない場合には、制御装置２６は、ステップ＃４８の処理を行う。一方、判断の結果、区分分け・切出し処理を行っている場合には、制御装置２６は、端数ブロック下地レベル充当部４４を用いて、端数ブロックに対してブロックの下地レベルを第１区分のブロックの下地レベルＢＬ＿Ｂに基づいて充当する（ステップ＃３７）。
【００８２】
図１６は、ブロックの下地レベルと端数ブロックの下地レベルとの関係を説明するための、画像のコーナ部分を示す図である。
【００８３】
例えば、端数ブロック７２におけるブロックの下地レベルＢＬ＿Ｂは、当該端数ブロックに隣接する第１区分に属するブロック７１におけるブロックの下地レベルＢＬ＿Ｂ＝ｚをそのまま採用することによって充当され、コーナの端数ブロックにおけるブロックの下地レベルＢＬ＿Ｂは、最も近い第１区分に属するコーナのブロックにおけるブロックの下地レベルＢＬ＿Ｂによって充当される。
【００８４】
すなわち、図１６において、図５（ａ）に示すように第１区分６１を画像６０の中央部に設定すると第２区分６２は、第１区分６１の周辺部分となる。第２区分６２および第１区分６１におけるｉ行ｊ列（ｉ，ｊは、０から始まる整数）のブロック（端数ブロック７２または正方形ブロック７１）におけるブロックの下地レベルＢＬ＿Ｂ−ｉｊ＝Ｚｉｊと表すと、０行の各端数ブロック７２−０ｊにおけるブロックの下地レベルＢＬ＿Ｂ−０ｊは、１行の各正方形ブロック７１−１ｊにおけるブロックの下地レベルＢＬ＿Ｂ−１ｊ＝Ｚ１ｊがそれぞれ採用される。０列の各端数ブロック７２−ｉ０におけるブロックの下地レベルＢＬ＿Ｂ−ｉ０は、１列の各正方形ブロック７１−ｉ１におけるブロックの下地レベルＢＬ＿Ｂ−ｉ１＝Ｚｉ１がそれぞれ採用される。コーナの端数ブロック７２−００におけるブロックの下地レベルＢＬ＿Ｂ−００は、最も近い第１区分に属するコーナのブロック７１−１１におけるブロックの下地レベルＢＬ＿Ｂ−１１＝Ｚ１１が採用される。他のコーナの端数ブロックも同様である。
【００８５】
また例えば、端数ブロック７２におけるブロックの下地レベルＢＬ＿Ｂは、当該端数ブロックに隣接する第１区分に属するブロック７１におけるブロックの下地レベルＢＬ＿Ｂと、この隣接するブロック７１の方向における１個または複数個のブロック７１の下地レベルＢＬ＿Ｂとを用いて線形外挿することによって充当され、コーナの端数ブロックにおけるブロックの下地レベルＢＬ＿Ｂは、当該コーナの端数ブロックに隣接する２個の端数ブロックにおけるブロックの下地レベルＢＬ＿Ｂを平均することによって充当されるようにしてもよい。
【００８６】
すなわち、図１６において、０行の各端数ブロック７２−０ｊにおけるブロックの下地レベルＢＬ＿Ｂ−０ｊは、２個のブロックの下地レベルＢＬ＿Ｂで線形外挿する場合には、１行の各正方形ブロック７１−１ｊにおけるブロックの下地レベルＢＬ＿Ｂ−１ｊ＝Ｚ１ｊと２行の各正方形ブロック７１−１ｊにおけるブロックの下地レベルＢＬ＿Ｂ−２ｊ＝Ｚ２ｊとを用いて線形外挿することによって求めた値Ｚ１ｊ−（Ｚ１ｊ＋Ｚ２ｊ）／２がそれぞれ採用される。０列の各端数ブロック７２−ｉ０におけるブロックの下地レベルＢＬ＿Ｂ−ｉ０は、２個のブロックの下地レベルＢＬ＿Ｂで線形外挿する場合には、１列の各正方形ブロック７１−ｉ１におけるブロックの下地レベルＢＬ＿Ｂ−ｉ１＝Ｚｉ１と２列の各正方形ブロック７１−ｉ２におけるブロックの下地レベルＢＬ＿Ｂ−ｉ２＝Ｚｉ２とを用いて線形外挿することによって求めた値Ｚｉ１−（Ｚｉ１＋Ｚｉ２）／２がそれぞれ採用される。コーナの端数ブロック７２−００におけるブロックの下地レベルＢＬ＿Ｂ−００は、隣接する端数ブロック７２−０１、７２−１０におけるブロックの下地レベルＢＬ＿Ｂ−０１、ＢＬ＿Ｂ−１０を平均することによって求めた値（Ｚ１１＋Ｚ１１）／２が採用される。
【００８７】
このようにして、制御装置２６は、第２区分の各端数ブロックにおけるブロックの下地レベルＢＬ＿Ｂを第１区分のブロックにおけるブロックの下地レベルＢＬ＿Ｂに基づいて充当する。
【００８８】
次に、制御装置２６は、画素下地レベル決定部４５を用いて、これら端数ブロックおよび正方形ブロックにおけるブロックの下地レベルを基に各画素の下地レベルを演算する（ステップ＃４８）。
【００８９】
すなわち、ｐ行ｒ列のブロック（正方形ブロックまたは端数ブロック）の下地レベルをＢＬ＿Ｂｐ、ｒとすると、制御装置２６は、図１７に示すように、ｐ行ｒ列のブロック、ｐ＋１行ｒ列のブロック、ｐ行ｒ＋１列のブロック、および、ｐ＋１行ｒ＋１列のブロックの各中心画素ＰＱＲＳを４頂点とする領域を設定し、この領域において横方向および縦方向ともに４画素ごとに各画素Ｔａ，ｂの下地レベルＢＬ＿Ｔａ，ｂをＢＬ＿Ｂｐ、ｒ、ＢＬ＿Ｂｐ＋１、ｒ、ＢＬ＿Ｂｐ、ｒ＋１、ＢＬ＿Ｂｐ＋１、ｒ＋１に基づいて線形内挿（式１４）によって計算する。
【００９０】
【数３】
【００９１】
ここで、ＰＱをｘ軸にＰＲをｙ軸にした点Ｐを座標原点とするｘｙ座標系を考えると、ａはＰＱＲＳを４頂点とする領域の一辺の長さであり、ｂは計算対象の画素Ｔａ，ｂにおけるｘ軸の座標値であり、ｃは計算対象の画素Ｔａ，ｂにおけるｙ軸の座標値である。
【００９２】
本実施形態にかかるディジタルカメラ１は、このように４画素ごとの画素の下地レベルＢＬ＿Ｔを近隣の４個のブロックの下地レベルＢＬ＿Ｂｐ、ｒ、ＢＬ＿Ｂｐ＋１、ｒ、ＢＬ＿Ｂｐ、ｒ＋１、ＢＬ＿Ｂｐ＋１、ｒ＋１を用いて求めるので、ブロック間の下地レベルＢＬ＿Ｂの相違に基づく画質の不連続を緩和することができる。
【００９３】
このように横方向および縦方向ともに４画素ごとに画素の下地レベルＢＬ＿Ｔを求めたので、図１８に示すように、４画素×４画素のセルのうちで１画素の下地レベルＢＬ＿Ｔを求めたことになる。そこで、制御装置２６は、セル内で唯一求められているこの下地レベルＢＬ＿Ｔを、セル内で下地レベルを求めていない画素の下地レベルＢＬ＿Ｔとする。
【００９４】
上記で下地レベルＢＬ＿Ｔを求めることができる画素は、図１７から分かるように、端数ブロックの一辺の半分の画素だけ横方向に内側にあって、且つ、端数ブロックの一辺の半分の画素だけ縦方向にも内側にある中央部の領域における画素である。図５（ａ）に示すように中央部に第１区分を設定すると、１９４０画素×１４２４画素の中央部の領域における画素について求めることができる。
【００９５】
したがって、この中央部を除いた周辺部分の画素の下地レベルＢＬ＿Ｔは、次にように決定する。すなわち、制御装置２６は、図１９（ａ）（ｂ）に示すように、周辺部分の画素の下地レベルＢＬ＿Ｔを中央部分の領域における最外辺の画素の下地レベルＢＬ＿Ｔをそのまま使用する。つまり、周辺部分のうち横方向の部分は、横方向における最外辺の各画素の下地レベルＢＬ＿Ｔを縦方向にそれぞれ延長してそのまま使用し、周辺部分のうち縦方向の部分は、縦方向における最外辺の各画素の下地レベルＢＬ＿Ｔを横方向にそれぞれ延長してそのまま使用し、周辺部分のうち角の部分は、最外辺の角の下地レベルを拡大してそのまま使用する。
【００９６】
このようにして制御装置２６は、総ての画素の下地レベルＢＬ＿Ｔを決定する。
【００９７】
次に、制御装置２６は、エッジ強調部５０を用いて、各画素の輝度Ｙデータにフィルタを用いてエッジ強調する（ステップ＃４９）。フィルタは、エッジ強調の程度によって最適なフィルタが選択されるが、例えば、図２０に示すように、対象画素を２倍し、対象画素に対し横方向および縦方向に隣接する画素を−１／４にするフィルタを使用する。
【００９８】
次に、制御装置２６は、下地飛ばし階調補正部４６を用いて、各画素に対して下地飛ばし補正特性を用いて下地飛ばし階調補正を行う（ステップ＃５０）。すなわち、下地飛ばし補正特性は、図２１に示すように、画素Ｔａ，ｂにおいて、零から画素Ｔａ，ｂの下地レベルＢＬ＿Ｔａ，ｂまでは入力Ｙｉｎを線形変換し、下地レベルＢＬ＿Ｔａ，ｂ以上では入力Ｙｉｎを最高の輝度レベル（例えば、２５６階調では２５５レベル）に変換する。すなわち、画素Ｔａｂの輝度Ｙデータは、画素Ｔａｂの下地レベルＢＬ＿Ｔａｂを閾値として線形変換するか可能な最高の輝度レベルに変換するかが決定される。したがって、この閾値は、画素に固有な値である。例えば、画素Ｔａｂの輝度Ｙデータは、入力輝度データＹｉｎ≦閾値ＢＬ＿Ｔａ，ｂの場合では、出力Ｙｏｕｔ＝（最高輝度階調値２５５×入力Ｙｉｎ）／ＢＬ＿Ｔａ，ｂと線形変換され、入力輝度データＹｉｎ＞閾値ＢＬ＿Ｔａ，ｂの場合では、出力Ｙｏｕｔ＝最高輝度階調値２５５と変換される。
【００９９】
次に、制御装置２６は、黒レベル引締め部５１を用いて、各画素に対して黒レベル引締め処理を行う（ステップ＃５１）。黒レベル引締め処理は、例えば、図２２に示す補正特性を用いて、輝度Ｙデータを変換する。黒レベル引締め処理に使用される補正特性は、図２２に示すように、閾値（図では一例として１４４）より小さい輝度Ｙデータの入力Ｙｉｎに対しては黒レベルに変換する特性である。
【０１００】
次に、制御装置２６は、ＲＧＢ／ＹＣｒＣｂ変換部４９を用いて、輝度Ｙ色差ＣｒＣｂデータをＲＧＢデータに式１５ないし式１７を用いて再変換する（ステップ＃５２）。
Ｒ＝Ｙ＋Ｃｒ ・・・ 式１５
Ｇ＝Ｙ−０．５１Ｃｒ−０．１９Ｃｂ ・・・ 式１６
Ｂ＝Ｙ＋Ｃｂ ・・・ 式１７
【０１０１】
次に、制御装置２６は、カード制御部２４などを用いて、画像データをメモリカード１３に格納し（ステップ＃５３）、ステップ＃１１の処理に戻る。
【０１０２】
以上のように、本実施形態にかかるディジタルカメラ１は、正方形ブロックで端数を生じることなく分割することができるように撮像画像を区分分けするので、下地飛ばし階調補正処理に必要な値をブロックごとに容易に求めることができる。このため、任意の画像サイズにおける文字画像に対して、ホワイトボードなどの白地部分に対する文字情報部分のコントラストを高くして文字情報の明瞭化を図るとともに照度ムラを低減して全体的に見やすくする画像処理を行うことができる。よって、描写性よりも情報の判読性の高い画質という、文字画像に対する要求に応えることができる。
（下地飛ばし補正処理不可能な画像、ＷＢ微調整不可能な画像、暗い下地の画像、濃い色の下地の画像または写真画像の場合における画像処理）
一方、下地飛ばし補正処理不可能な画像、ＷＢ微調整不可能な画像、暗い下地の画像、濃い色の下地の画像または写真画像の場合には、制御装置２６は、ＲＧＢ／ＹＣｒＣｂ変換部４９を用いて、画像データのＲＧＢデータを輝度Ｙと色差ＣｒＣｂとの各データに式３ないし式５を用いて変換する（ステップ＃６０）。
【０１０３】
次に、制御装置２６は、ＬＨ／ＬＳ演算部を用いて、ハイライトレベルＬＨおよびシャドーレベルＬＳを演算する（ステップ＃６１）。すなわち、制御装置２６は、まず、全画像領域において、階調を１／４にした６４階調のデータに輝度Ｙデータを変換する。次に、制御装置２６は、変換したこれら６４階調の輝度Ｙデータに対して、図２３に示すようなヒストグラムを作成する。次に、制御装置２６は、高輝度側である最高階級（６３）から度数を積算し、積算した度数が全度数の数パーセント（例えば１パーセント）を超えた時点の階級を求め、求めた階級の値を４倍にして２５６階調のデータに再変換し、これをハイライトレベルＬＨとする。次に、制御装置２６は、低輝度側である最低階級（０）から度数を積算し、積算した度数が全度数の数パーセント（例えば１パーセント）を超えた時点の階級を求め、求めた階級の値を４倍にして２５６階調のデータに再変換し、これをシャドーレベルＬＳとする。
【０１０４】
次に、制御装置２６は、階調拡大補正部５２を用いて、各画素に対して階調拡大補正特性を用いて階調拡大補正を行う（ステップ＃６２）。階調拡大補正特性は、図２４に示すように、零からシャドーレベルＬＳまでは入力Ｙｉｎを黒レベルに変換し、シャドーレベルＬＳからハイライトレベルまでは入力Ｙｉｎを線形変換し、ハイライトレベル以上では入力Ｙｉｎを最高の輝度レベル（例えば、２５６階調では２５５レベル）に変換する。
【０１０５】
次に、制御装置２６は、ＲＧＢ／ＹＣｒＣｂ変換部４９を用いて、輝度Ｙ色差ＣｒＣｂデータをＲＧＢデータに式１５ないし式１７を用いて再変換し（ステップ＃６３）、ステップ＃５２を処理する。
【０１０６】
このように本実施形態にかかるディジタルカメラ１は、下地飛ばし補正処理不可能な画像、ＷＢ微調整不可能な画像、暗い下地の画像、濃い色の下地の画像および写真画像の場合には、ステップ＃３３、ステップ＃３４およびステップ＃４０でそれぞれ自動的に判別され、ステップ＃６０ないしステップ６３によって適切な階調拡大補正処理がなされる。このため、このような画像の場合でも、本実施形態にかかるディジタルカメラ１は、階調のレンジ（本実施形態では２５６階調）を有効に活用して適切な階調で撮像画像を変換し、描写性の高い画質を得ることができる。
【０１０７】
なお、上述の実施形態では、ＲＧＢの画像データをＹＣｒＣｂの画像データに変換して輝度Ｙデータを用いて画像処理を行ったが、特開平１０−２１０２８７号公報に開示されているように、ＲＧＢの画像データのままでＧデータに基づいて照度ムラ補正用の特性を設定し、さらにＲおよびＢの照度ムラ補正用の特性を設定することによって画像処理を行ってもよい。
【０１０８】
また、上述の実施形態では、ディジタルカメラで撮影した画像データをリアルタイムで文書画像処理を行う実施形態を説明したが、予め文書画像を撮像した画像データまたはスチルカメラで文書画像を撮影した写真をスキャナなどの画像読取装置で読み取った画像データなどを画像処理装置で文書画像処理を行うようにしてもよい。画像読取装置は、例えば、画像メモリ２２、カード制御部２４、記憶部２５、コマンドなどを入力するキーボードやマウスなどの入力装置、画像や入力されたコマンドなどを表示するＬＣＤやＣＲＴなどの出力装置およびこれら画像メモリ２２、カード制御部２４、記憶部２５、入力装置および出力装置を制御すると共に図７ないし図９のステップ＃３１ないしステップ＃５３およびステップ＃６０ないしステップ＃６３を処理する制御装置２６を備えて構成する。あるいは、画像読取装置は、図７ないし図９のステップ＃３１ないしステップ５３およびステップ＃６０ないしステップ＃６３を処理するコンピュータプログラムを記録したコンピュータ読取可能な記憶媒体からインストールすることによってコンピュータを利用するようにしてもよい。コンピュータは、例えば、プログラムおよびプログラム実行中の各種データなどを記憶する記憶部と、コマンド（命令）や必要なデータなどを入力する入力部（例えばキーボードやマウスなど）と、画像や各種データなどを外部に出力する出力部（例えばディスプレイやプリンタなど）と、これら記憶部、入力部および出力部を制御すると共にプログラムの実行など各種演算処理を行うプロセッサとを備え、さらに、必要に応じて、補助記憶装置、外部記憶装置または通信インターフェースなどを備える。記憶媒体は、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤおよびメモリーカードなどである。文書画像処理対象の画像データは、メモリカードなどの記憶媒体に一端記憶させて画像処理装置に入力する。
【０１０９】
以上、本明細書に開示された主な発明を以下にまとめる。
（付記１） 画像の画像サイズを検出する画像サイズ検出手段と、前記画像サイズ検出手段の検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズの横方向および縦方向が前記所定ブロックの対応する方向の長さに対して整数倍となる第１区分と残余の第２区分とに前記画像を分ける区分け手段と、前記第１区分の画像において前記所定ブロックごとに画像処理するための前処理値を求める第１演算手段と、前記第１演算手段で求めた前処理値に基づいて前記第２区分の画像において端数ブロックごとに画像処理するための前処理値を求める第２演算手段と、前記第１および第２演算手段で求めた前処理値に基づいて前記画像を画像処理する画像処理手段とを備えることを特徴とする画像処理装置。
（付記２） 前記画像処理は、画像の階調を調整するシェーディング処理であることを特徴とする付記１に記載の画像処理装置。
（付記３） 前記前処理値は、画像の下地レベルであり、前記シェーディング処理は、前記下地レベルに基づいて画素ごとに閾値を設定し、画素の輝度レベルが前記閾値以上の場合には前記画素の輝度レベルを最高輝度レベルに画素ごとに変更する下地飛ばし階調補正処理を含むことを特徴とする付記２に記載の画像処理装置。
（付記４） 前記所定ブロックは、正方形であることを特徴とする付記１に記載の画像処理装置。
（付記５） 前記第２演算手段は、前記第１演算手段で求めた前処理値に基づいて前記第２区分の画像において端数ブロックごとに画像処理するための前処理値を線形外挿により求めることを特徴とする付記１に記載の画像処理装置。
（付記６） コンピュータに、画像の画像サイズを検出する第１ステップと、前記第１ステップの検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズの横方向および縦方向が前記所定ブロックの対応する方向の長さに対して整数倍となる第１区分と残余の第２区分とに前記画像を分ける第２ステップと、前記第１区分の画像において前記所定ブロックごとに画像処理するための前処理値を求める第３ステップと、前記第３ステップで求めた前処理値に基づいて前記第２区分の画像において端数ブロックごとに画像処理するための前処理値を求め第４ステップと、前記第３および第４ステップで求めた前処理値に基づいて前記画像を画像処理する第５ステップとを実行させるための画像処理プログラム。
（付記７） 前記画像処理は、画像の階調を調整するシェーディング処理であることを特徴とする付記６に記載の画像処理プログラム。
（付記８） 前記前処理値は、画像の下地レベルであり、前記シェーディング処理は、前記下地レベルに基づいて画素ごとに閾値を設定し、画素の輝度レベルが前記閾値以上の場合には前記画素の輝度レベルを最高輝度レベルに画素ごとに変更する下地飛ばし階調補正処理を含むことを特徴とする付記７に記載の画像処理プログラム。
（付記９） 前記所定ブロックは、正方形であることを特徴とする付記６に記載の画像処理プログラム。
（付記１０） 前記第４ステップは、前記第３ステップで求めた前処理値に基づいて前記第２区分の画像において端数ブロックごとに画像処理するための前処理値を線形外挿により求めることを特徴とする付記６に記載の画像処理プログラム。
（付記１１） 複数の光電変換素子から成る画素を有し、被写体光像を画像信号に光電変換して取り込む撮像手段と、前記撮像手段で取り込んだ画像信号に基づいて、画像の画像サイズを検出する画像サイズ検出手段と、前記画像サイズ検出手段の検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において前記所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズの横方向および縦方向が所定ブロックの対応する方向の長さに対して整数倍となる第１区分と残余の第２区分とに前記画像を分ける区分け手段と、前記第１区分の画像において前記所定ブロックごとに画像処理するための前処理値を求める第１演算手段と、前記第１演算手段で求めた前処理値に基づいて前記第２区分の画像において端数ブロックごとに画像処理するための前処理値を求める第２演算手段と、前記第１および第２演算手段で求めた前処理値に基づいて前記画像を画像処理する画像処理手段とを備えることを特徴とするディジタルカメラ。
（付記１２） 前記画像処理は、画像の階調を調整するシェーディング処理であることを特徴とする付記１０に記載のディジタルカメラ。
（付記１３） 前記前処理値は、画像の下地レベルであり、前記シェーディング処理は、前記下地レベルに基づいて画素ごとに閾値を設定し、画素の輝度レベルが前記閾値以上の場合には前記画素の輝度レベルを最高輝度レベルに画素ごとに変更する下地飛ばし階調補正処理を含むことを特徴とする付記１２に記載のディジタルカメラ。
（付記１４） 前記所定ブロックは、正方形であることを特徴とする付記１０に記載のディジタルカメラ。
（付記１５） 前記第２演算手段は、前記第１演算手段で求めた前処理値に基づいて前記第２区分の画像において端数ブロックごとに画像処理するための前処理値を線形外挿により求めることを特徴とする付記１０に記載のディジタルカメラ。
（付記１６） コンピュータに、画像の画像サイズを検出する第１ステップと、前記第１ステップの検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズの横方向および縦方向が前記所定ブロックの対応する方向の長さに対して整数倍となる第１区分と残余の第２区分とに前記画像を分ける第２ステップと、前記第１区分の画像において前記所定ブロックごとに画像処理するための前処理値を求める第３ステップと、前記第３ステップで求めた前処理値に基づいて前記第２区分の画像において端数ブロックごとに画像処理するための前処理値を求め第４ステップと、前記第３および第４ステップで求めた前処理値に基づいて前記画像を画像処理する第５ステップとを実行させるための画像処理プログラムが記録されたコンピュータ読取可能な記憶媒体。
【０１１０】
【発明の効果】
以上のように、本発明によれば、画像の画像サイズが横方向および縦方向の一方向または両方向が所定ブロックの対応する方向の長さに対して整数倍ではない場合には、画像の画像サイズが横方向および縦方向共に所定ブロックの対応する方向の長さに対して整数倍となる第１区分と残余の第２区分とに画像を区分分けするので、任意の画像サイズの画像に対して画像処理を施すことができる。
【０１１１】
さらに、本発明によれば、画像の画像サイズを所定ブロックの整数倍になるように第１区分を分けるので、この第１区分について従来のソフトウェアを用いて下地レベルを容易に求めることができる。そして、第２区分における下地レベルも第１区分における下地レベルを用いて求めることができるので、下地飛ばし階調補正処理を行うことができる。このため、画像がホワイトボードなどの上に書かれた文字などの情報を得る目的で撮られたとしても、文字などの情報が書かれたホワイトボードなどの下地部分の画像における照度ムラを軽減し、文字などの情報を明瞭化することができ、容易に情報を判読することができる。
【図面の簡単な説明】
【図１】本発明にかかる画像処理装置を搭載したディジタルカメラの外観を示す斜視図である。
【図２】本発明にかかる画像処理装置を搭載したディジタルカメラの背面図である。
【図３】本発明にかかる画像処理装置を搭載したディジタルカメラの構成を示すブロック図である。
【図４】本発明にかかる画像処理の概略のフローチャートを示す図である。
【図５】画像を第１区分と第２区分とに区分けする態様の一例を示す図である。
【図６】本発明にかかる画像処理装置を搭載したディジタルカメラのフローチャート（その１）を示す図である。
【図７】本発明にかかる画像処理装置を搭載したディジタルカメラのフローチャート（その２）を示す図である。
【図８】本発明にかかる画像処理装置を搭載したディジタルカメラのフローチャート（その３）を示す図である。
【図９】本発明にかかる画像処理装置を搭載したディジタルカメラのフローチャート（その４）を示す図である。
【図１０】ホワイトバランスを微調整する場合に使用する画像データを示す図である。
【図１１】正方形ブロックで分割する画像の中央部を示す図である。
【図１２】画像をエリアごとに分割した状況を説明する図である。
【図１３】或るエリアにおける６４階調の輝度Ｙデータに対するヒストグラムの一例を示す図である。
【図１４】画像を正方形ブロックごとに分割した状況を説明する図である。
【図１５】或る正方形ブロックにおける６４階調の輝度Ｙデータに対するヒストグラムの一例を示す図である。
【図１６】ブロックの下地レベルと端数ブロックの下地レベルとの関係を説明するための、画像のコーナ部分を示す図である。
【図１７】４個の正方形ブロックの各下地レベルから画素の下地レベルを線形内挿によって求める方法を説明する図である。
【図１８】線形内挿によって求める画素の下地レベルとセルとの関係を示す図である。
【図１９】画像の周辺部分の画素における下地レベルの決定方法を説明する図である。
【図２０】エッジ強調におけるフィルタの一例を示す図である。
【図２１】下地飛ばし階調補正に使用する補正特性の一例を示す図である。
【図２２】黒レベル引締め処理に使用する補正特性の一例を示す図である。
【図２３】画像の６４階調の輝度Ｙデータに対するヒストグラムの一例を示す図である。
【図２４】階調拡大補正に使用する補正特性の一例を示す図である。
【符号の説明】
１ ディジタルカメラ
１３ メモリカード
２２ 画像メモリ
２５ 記憶部
２６ 制御装置
４１ 画像サイズ判定部
４２ 区分分け・切出し部
４３ ブロック下地レベル決定部
４４ 端数ブロック下地レベル決定部
４５ 画素下地レベル決定部
４６ 下地飛ばし階調補正部
４７ ＬＨ／ＬＳ演算部
４８ ＷＢ微調整部
４９ ＲＧＢ／ＹＣｒＣｂ変換部
５０ エッジ強調部
５１ 黒レベル引締め部
５２ 階調拡大補正部
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置に関し、特に、画像処理に必要な値を演算し得る部分を画像から区分けして該値を求め、演算し得ない部分に該値を充てることによって、任意の画像サイズの画像を文字などの情報が明瞭となるように画像処理し得る画像処理装置に関する。さらに、該画像処理装置に適用される画像処理プログラムおよび該画像処理装置を搭載したディジタルカメラに関する。
【０００２】
【従来の技術】
近年、ディジタルカメラは、撮影後の現像処理が不要なことや画像処理により撮影した画像を様々な画像に容易に変更することができることなどから、急速に普及し始めている。ディジタルカメラは、この画像処理が容易という利点から、通常の写真撮影のためだけでなく、例えば、会議場や展示場などでホワイトボードやパネルなどに書かれた文字や図形などの情報を記録するための機器としても利用されている。このようなディジタルカメラの利用法では、ホワイトボードなどの上の情報を記録することが専ら主目的であるから、情報部分が認識できることが重要である。
【０００３】
しかしながら、ホワイトボードなどは、例えば天井灯や窓外の太陽光などによって照明される場合のように、たいてい多方向から照明される。そのため、照明光の不均一により照度ムラが生じてしまって、ホワイトボードなどの上の情報が不明瞭となってしまう場合がある。
【０００４】
そこで、本願発明者の一人は、カラー画像で撮影した場合にも適正に照度ムラ補正を行い、ホワイトボードなどの上に書かれた文字等の情報を明瞭にすることができる技術について、特願平９−１３０２０号で提案し特開平１０−２１０２８７号公報で開示された。この技術は、画像を所定の画素数より成る正方形のブロックに複数に分割し、各ブロックごとに輝度レベルを統計処理することによって画素ごとに閾値を決定し、画素の輝度レベルがこの閾値以上の場合には輝度レベルを白色飽和レベルに飛ばすことによってホワイトボードなどの画像部分を白色飽和レベルに階調補正して、ホワイトボードなどの上に書かれた文字等の情報を明瞭にするものである。このように画像処理を行うため、画像サイズは、アプリケーションソフトの設計の容易性やコストダウンの要請などから、ちょうど所定画素数の正方形ブロックで分割することができる画像サイズに限定していた。
【０００５】
【発明が解決しようとする課題】
ところで、画像処理したい画像が、机や壁などの背景がホワイトボードの周囲に写っている画像である場合や、ユーザ（使用者）が取り出したい情報の部分を全体画像から切り出した画像である場合や、ユーザがホワイトボードなどの上の情報を撮像する際に、限定した画像サイズ以外の画像サイズで撮像した画像である場合などがある。このような場合には、画像サイズが限定した画像サイズに成り難く、そのまま上述の画像処理を行うと所定画素数の正方形ブロックで分割する際に端数が生じてしまう。例えば、１５５０画素×１１４０画素の画像を１００画素の正方形ブロックで分割する場合では、１５５０画素×１１４０画素のうち１５００画素×１１００画素の部分は、この正方形ブロックで分割できるが残余の部分が正方形ブロックに満たない矩形の端数ブロックとして残ってしまう。そのため、従来の技術は、このような画像を取り扱うことができないという問題があった。
【０００６】
そこで、本発明では、上述の問題に鑑みて為された発明であり、任意の画像サイズの画像でも適正に画像処理を行い、ホワイトボードなどの上に書かれた文字等の情報を明瞭にすることができる画像処理装置を提供することを目的とする。そして、この画像処理装置に採用されている画像処理プログラムおよびこの画像処理装置を搭載したディジタルカメラを提供することを目的とする。
【０００７】
【課題を解決するための手段】
上述の目的を達成するために、本発明にかかる画像処理装置は、画像の画像サイズを検出する画像サイズ検出手段と、前記画像サイズ検出手段の検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズの横方向および縦方向が前記所定ブロックの対応する方向の長さに対して整数倍となる第１区分と残余の第２区分とに前記画像を分ける区分け手段と、前記第１区分の画像において前記所定ブロックごとに画像処理するための前処理値を求める第１演算手段と、前記第１演算手段で求めた前処理値に基づいて前記第２区分の画像において端数ブロックごとに画像処理するための前処理値を求める第２演算手段と、前記第１および第２演算手段で求めた前処理値に基づいて前記画像を画像処理する画像処理手段とを備えて構成される。
【０００８】
そして、本発明にかかる画像処理プログラムは、コンピュータに、画像の画像サイズを検出する第１ステップと、前記第１ステップの検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズの横方向および縦方向が前記所定ブロックの対応する方向の長さに対して整数倍となる第１区分と残余の第２区分とに前記画像を分ける第２ステップと、前記第１区分の画像において前記所定ブロックごとに画像処理するための前処理値を求める第３ステップと、前記第３ステップで求めた前処理値に基づいて前記第２区分の画像において端数ブロックごとに画像処理するための前処理値を求め第４ステップと、前記第３および第４ステップで求めた前処理値に基づいて前記画像を画像処理する第５ステップとを実行させるように構成される。
【０００９】
また、本発明にかかるディジタルカメラは、複数の光電変換素子から成る画素を有し、被写体光像を画像信号に光電変換して取り込む撮像手段と、前記撮像手段で取り込んだ画像信号に基づいて、画像の画像サイズを検出する画像サイズ検出手段と、前記画像サイズ検出手段の検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズの横方向および縦方向が前記所定ブロックの対応する方向の長さに対して整数倍となる第１区分と残余の第２区分とに前記画像を分ける区分け手段と、前記第１区分の画像において前記所定ブロックごとに画像処理するための前処理値を求める第１演算手段と、前記第１演算手段で求めた前処理値に基づいて前記第２区分の画像において端数ブロックごとに画像処理するための前処理値を求める第２演算手段と、前記第１および第２演算手段で求めた前処理値に基づいて前記画像を画像処理する画像処理手段とを備えて構成される。
【００１０】
このような構成の画像処理装置、画像処理プログラムおよびディジタルカメラは、画像を所定ブロックで分割し得る第１区分と残余の第２区分とに分けるので、第１区分について画像処理に必要な前処理値を既存のソフトウェアを用いて所定ブロックごとに容易に求めることができる。そして、この前処理値を用いて第２区分における前処理値を求めるので、第１区分および第２区分における前処理値を用いて画像処理することができる。第１区分および第２区分の区分分けは、任意の画像サイズの画像に行うことができるから、任意の画像サイズの画像について画像処理を行うことができる。
【００１１】
さらに、上述の画像処理装置において、好ましくは、前記画像処理は、画像の階調を調整するシェーディング処理である。このような画像処理装置は、画像の階調を調整するので、再現性の良い画像を得ることができる。
【００１２】
また、この画像処理装置において、好ましくは、前記前処理値は、画像の下地レベルであり、前記シェーディング処理は、前記下地レベルに基づいて画素ごとに閾値を設定し、画素の輝度レベルが前記閾値以上の場合には前記画素の輝度レベルを最高輝度レベルに画素ごとに変更する下地飛ばし階調補正処理を含む。このような画像処理装置は、下地飛ばし階調補正処理を行うので、画像がホワイトボードなどの上に書かれた文字などの情報を得る目的で撮られた場合に、文字などの情報が書かれたホワイトボードなどの下地部分の画像における照度ムラを軽減し、文字などの情報を明瞭化するので、容易に情報を判読することができる。
【００１３】
【発明の実施の形態】
以下、本発明に係る実施形態を図面に基づいて説明する。なお、各図において同一の構成については、同一の符号を付し、その説明を省略する。
（実施形態の構成）
図１は、本発明にかかる画像処理装置を搭載したディジタルカメラの外観を示す斜視図である。図２は、本発明にかかる画像処理装置を搭載したディジタルカメラの背面図である。図３は、本発明にかかる画像処理装置を搭載したディジタルカメラの構成を示すブロック図である。
【００１４】
図１に基づいて外観を概説すると、ディジタルカメラ１は、前面の略中央に撮影レンズ２が配設され、その上部にアクティブ測距方式により被写体距離を測定するための投光窓４と受光窓５とが配設され、両窓の間に被写体の輝度を測定するための測光窓３が配設されている。また、投光窓４の左側にファインダー対物窓６が配設され、受光窓５の右側に閃光部７が配設されている。
【００１５】
撮影レンズ２は、ズームレンズやフォーカスレンズを備えて構成され、被写体からの光を後述の撮像部２０に適切な光量および合焦点で導光する撮像光学系である。投光窓４は、被写体に対して赤外光を照射する窓であり、受光窓５は、この赤外光が被写体によって反射した反射光を受光する窓である。なお、本実施形態では測距方式としてアクティブ測距方式を採用しているが、パッシブ測距方式でもよい。閃光部７は、被写体からの光量が不足する場合などに被写体を照明する閃光を撮像動作に合わせて発光するフラッシュである。
【００１６】
ディジタルカメラ１の側面には、画像データを記憶するためのメモリカード１３が装着脱されるカード挿入口８が設けられ、このカード挿入口８の上部にメモリカード１３をイジェクトするためのカード取出ボタン９が設けられている。撮影結果を印刷する場合、カード取出ボタン９を押してメモリカード１３をディジタルカメラ１から取り外し、メモリカードが装着可能なプリンタにこのメモリカード１３を装着することによってプリントアウトすることができる。あるいは、プリンタが接続され、メモリカードが装着可能なパーソナルコンピュータ（以下、「パソコン」と略記する。）にこのメモリカード１３を装着することによってプリントアウトすることもできる。さらに、メモリカードが装着可能なパソコンにこのメモリカード１３を装着することによって、他のディジタルカメラやスキャナで生成した画像データを記憶することもできる。
【００１７】
なお、ディジタルカメラ１にＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）のインターフェースを設け、ディジタルカメラ１とプリンタまたはパソコンとをＵＳＢのケーブルで接続することでディジタルカメラ１からプリンタまたはパソコンに画像データを直接転送させて撮影画像を印刷させるようにしてもよい。
【００１８】
また、本実施形態では画像データの記録媒体としてＰＣＭＣＩＡ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｍｅｍｏｒｙ Ｃａｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ａｓｓｏｃｉａｔｉｏｎ）準拠のメモリカードを採用しているが、撮影結果を画像データとして記録することができる記憶媒体であればよく、ハードディスクカード、ミニディスク（ＭＤ；Ｍｉｎｉ−Ｄｉｓｋ）およびＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）などの他の記録媒体でもよい。
【００１９】
ディジタルカメラ１の上面には左端部にシャッタボタン１０が設けられ、右端部にズームスイッチ１１と撮影／再生スイッチ１２が設けられている。シャッタボタン１０は、後述の制御装置２６に接続され、半押しで焦点距離調節および露出制御値設定等の撮影準備を指示するＳ１スイッチがＯＮになり、全押しでレリーズを指示するＳ２スイッチがＯＮになる操作ボタンである。ズームスイッチ１１は、制御装置２６に接続され、左右にスライド可能な３接点スイッチから成り、ズームスイッチ１１をＴ（ＴＥＬＬ）側にスライドさせると望遠側に、また、Ｗ（ＷｌＤＥ）側にスライドさせると広角側に、撮影レンズ２のズーム比を連続的に変更することができる。
【００２０】
撮影／再生スイッチ１２は、制御装置２６に接続され、撮影モードと再生モードとを切換設定するスイッチである。撮影／再生スイッチ１２は、左右にスライド可能な２接点切換スイッチから成り、撮影／再生スイッチ１２が撮影（ＲＥＣ）側に設定されていると、撮像部２０で撮像されている画像がＬＣＤ表示部１８にモニタ表示されると共に被写体の撮影が可能になり、再生（ＰＬＡＹ）側に設定されていると、メモリカード１３に記録された画像データをＬＣＤ表示部１８（図２参照）へ表示が可能になる。そして、再生側に設定されている場合に、図略のスイッチを操作することによりＬＣＤ表示部１８に表示した画像に対して後述の画像処理の開始を指示することができる。
【００２１】
そして、図２において、ディジタルカメラ１の背面には、電源投入用のメインスイッチ１４が背面上部の左端部に設けられ、ＬＣＤ表示部１８が背面の略中央に設けられ、ファインダー接眼窓１５が背面上部の右端部に設けられている。また、メインスイッチ１４の下部に撮影モード設定スイッチ１６と解像度選択スイッチ１７とが設けられている。
【００２２】
撮影モード設定スイッチ１６は、制御装置２６に接続された撮影モードを選択するスイッチであり、例えば、操作ボタンが左右にスライドするオン／オフスイッチで構成される。撮影モード設定スイッチ１６がオフ（ＯＦＦ、開）の場合には、通常撮影モードであることを示し、撮影モード設定スイッチ１６がオン（ＯＮ、閉）の場合には、文字画撮影モードであることを示す。
【００２３】
解像度選択スイッチ１７は、制御装置２６に接続された撮像画像の解像度を選択するスイッチである。解像度選択スイッチ１７は、例えば、押しボタン式スイッチで構成され、スイッチが押されるごとに画像サイズが変更され、変更された画像サイズの情報がＬＣＤ表示部１８に表示される。例えば、解像度選択スイッチ１７が押されるごとに、２５６０画素×１９２０画素のスーパーファインから順次に１９６０画素×１４４０画素のファイン、１２８０画素×９６０画素のスタンダードおよび６４０画素×４８０画素のエコノミーに変更され、そして、更に押されるとスーパーファインに戻る。
【００２４】
また、ＬＣＤ表示部１８は、撮影画像の表示だけでなく、撮影モードか再生モードかの表示や通常撮影モードか文字画撮影モードかの表示などのディジタルカメラ１の撮影設定状態なども表示される。なお、ＬＣＤ表示部１８は、液晶ではなく有機ホトルミネセンスなどを利用した表示装置でもよい。
【００２５】
そして、図３に基づいてディジタルカメラ１の構成を説明すると、ディジタルカメラ１は、撮像部２０、アナログ／ディジタル変換部（以下、「Ａ／Ｄ」と略記する。）２１、画像メモリ２２、メモリカード１３、撮像部駆動部２３、カード制御部２４、記憶部２５、制御装置２６、測距部２８、ズーム駆動部３０、レンズ駆動部３１、絞り駆動部３２、撮影モード設定スイッチ１６、シャッタボタン１０、撮影／再生スイッチ１２、発光制御部３３、ＬＣＤ駆動部３４、測光部３５、撮影レンズ２、絞り３６、解像度設定スイッチ１７、ズームスイッチ１１、閃光部７およびＬＣＤ表示部１８を備えて構成される。そして、制御装置２６は、画像サイズ判定部４１、区分分け・切出し部４２、ブロック下地レベル決定部４３、端数ブロック下地レベル充当部４４、画素下地レベル決定部４５、下地飛ばし階調補正部４６、ＬＨ／ＬＳ演算部４７、ホワイトバランス（以下、「ＷＢ」と略記する。）微調整部４８、ＲＧＢ／ＹＣｒＣｂ変換部４９、エッジ強調部５０、黒レベル引締め部５１、階調拡大補正部５２、ＡＦ制御値演算部５３および露出制御値演算部５４を備えて構成される。ここで、画像処理装置に相当する部分は、画像メモリ２２、カード制御部２４、記憶部２５および制御装置２６を備えて構成される部分である。
【００２６】
撮像部駆動部２３は、制御装置２６から入力される露出制御値のシャッタスピードに基づいて撮像部２０の撮像動作を制御する。撮像部２０は、複数の光電変換素子から成る画素を有し、撮像部駆動部２３から入力される制御信号に基づき撮像動作（電荷蓄積動作）を行うことによって、被写体光像をＲ，Ｇ，Ｂの各色成分の画像信号に光電変換して、この画像信号を時系列信号に変換しＡ／Ｄ２１に出力する。撮像部２０は、例えば、カラーエリアセンサのＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）の固体撮像素子を備えて構成される。
【００２７】
Ａ／Ｄ２１は、撮像部２０から生成されたアナログの画像信号を例えば８ビットのディジタルの画像信号（画像データ）に変換し、画像データを画像メモリ２２に出力する。画像メモリ２２は、制御装置２６に接続され、画像処理を行うために画像データを一時的に記憶するメモリであり、後述の画像処理を行った後に画像データをメモリカード１３に出力する。画像メモリ２２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ ｍｅｍｏｒｙ）を備えて構成され、後述の画像処理を一括処理し得る容量が用意される。
【００２８】
カード制御部２４は、画像データを記録するべく制御装置２６の制御信号に基づいてメモリカード１３の駆動を制御する。記憶部２５は、制御装置２６に接続され、ディジタルカメラ１を動作させるために必要な各種プログラムやプログラム実行中のデータなどの各種データを記憶するメモリである。記憶部２５は、例えば、ＲＡＭやＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を備えて構成される。
【００２９】
測距部２８は、投光窓４の後方位置に設けられた赤外光を発光する投光部２７と、受光窓５の後方位置に設けられた被写体で反射した赤外光を受光する受光部２９とを備えて構成され、制御装置２６からの制御信号に基づいて被写体距離を検出し、検出結果を制御装置２６に出力する。測光部３５は、測光窓３の後方位置に設けられたＳＰＤなどの受光素子を備えて構成され、制御装置２６からの制御信号に基づいて被写体の輝度を測光し、測光結果を制御装置２６に出力する。
【００３０】
ズーム駆動部３０は、制御装置２６から入力される駆動信号に基づき撮影レンズ２のズーム動作を制御する。レンズ駆動部３１は、制御装置２６から入力されるＡＦ制御値に基づき撮影レンズ２の合焦動作を制御する。また、絞り駆動部３２は、制御装置２６から入力される露出制御値の絞り値Ａｖに基づき絞り３６の開口量を制御する。ＬＣＤ駆動部３４は、制御装置２６の制御信号に基づいて、画像メモリ２２における画像データやディジタルカメラ１の撮影設定状態などをＬＣＤ表示部１８に表示する制御を行う。発光制御部３３は、制御装置２６の制御信号に基づいて閃光部７の発光を制御する。
【００３１】
制御回路２６は、マイクロプロセッサなどを備えて構成され、後述するように各部４１〜５４によってディジタルカメラの撮影動作および画像処理などを集中制御する。画像サイズ判定部４１は、被写体を撮像することによって生成された画像データの大きさを検出し、画像処理可能な画像サイズか？、下地飛ばし階調補正処理可能な画像サイズか？、ＷＢ微調整可能な画像サイズか？および区分処理可能な画像サイズか？を判定する。区分分け・切出し部４２は、画像データを第１区分の画像データと第２区分の画像データとに分け、第１区分の画像データを切り出す。ブロック下地レベル決定部４３は、第１区分において、統計処理によりエリアの下地レベルを演算した後にブロックの下地レベルを演算する。端数ブロック下地レベル充当部４４は、第１区分の周辺のブロックにおける下地レベルに基づいて第２区分の端数ブロックに下地レベルを割り当てる。画素下地レベル決定部４５は、ブロック下地レベル決定部４３および端数ブロック下地レベル充当部４４で設定されたブロックの下地レベルに基づいて画素の下地レベルを演算する。下地飛ばし階調補正部４６は、照度ムラを軽減し画像の下地部分を明瞭にすべく、画素の下地レベルに基づく特性曲線によって画素の輝度レベルを変換する。ＬＨ／ＬＳ演算部４７は、統計処理により画像のハイライトレベルＬＨおよびシャドーレベルＬＳを演算する。ＷＢ微調整部４８は、所定の演算式に基づいて画像のＷＢを調整する。ＲＧＢ／ＹＣｒＣｂ変換部４９は、ＲＧＢデータをＹＣｒＣｂデータに、そして、ＹＣｒＣｂデータをＲＧＢデータに所定の演算式に基づいて変換する。エッジ強調部５０は、フィルタを用いて画像のエッジを強調する。黒レベル引締め部５１は、画像の文字などの情報を明瞭にすべく、所定の特性曲線に基づいて画素の輝度レベルを変換する。階調拡大補正部５２は、画像のハイライトレベルＬＨおよびシャドーレベルＬＳに基づく特性曲線によって画像の階調を伸長する。ＡＦ制御値演算部５３は、測距部２８の出力に基づいて被写体からの光が撮像部２０の撮像素子に結像するように撮影レンズ２のフォーカスレンズの駆動量を演算する。露出制御値演算部５４は、測光部３５の出力に基づいてプログラム制御により絞り値Ａｖおよび露光時間Ｔｖを演算する。
（実施形態の動作）
次に、本発明にかかる画像処理装置を搭載したディジタルカメラの動作について概略を説明した後に詳細に説明する。まず、概略を説明する。
【００３２】
図４は、本発明にかかる画像処理の概略のフローチャートを示す図である。
【００３３】
図４において、まず、画像処理の対象となる画像データを取り込む（ステップ＃１）。画像データは、例えば、その場で被写体を撮像した画像データでもよいし、予めディジタルカメラで被写体を撮像しメモリカード１３に格納した画像データでもよいし、スチルカメラで被写体を写した写真をスキャナなどの画像読取装置で画像データ化しパソコンを介してメモリカード１３に格納した画像データでもよい。
【００３４】
次に、制御装置２６は、文書画像処理を行い得るか否かの観点から、画像データの画像サイズおよび画像を判断し、ホワイトボードなどの上に書かれた文字などの情報を撮像した文字画等である場合にはステップ＃３の処理を行い、一方、文字画等以外の画像である場合にはステップ＃９の処理を行う（ステップ＃２）。
【００３５】
ステップ＃３において、制御装置２６は、画像データを第１区分と第２区分とに分ける必要があるか否かについて区分分けの要否を判断し、画像の画像サイズがブロックサイズの整数倍でない場合にはステップ＃４の処理を行った後にステップ＃５の処理を行い、一方、画像サイズがブロックサイズの整数倍である場合にはステップ＃５の処理を行う。例えば、画像の画像サイズが１９６０画素×１４４０画素でブロックが１２８画素の正方形ブロックの場合には、横方向に４０画素分、縦方向に３２画素分だけ端数の部分が生じることになり、区分分けが必要となる。
【００３６】
ステップ＃４において、制御装置２６は、画像データを第１区分の画像データと第２区分の画像データとに分け、第１区分の画像データを切り出す。第１区分の画像データは、画素数が横方向および縦方向共にブロックにおける各辺の画素数に対し整数倍になるように全体の画像データから切り出した部分であり、第２区分の画像データは、全体の画像データのうち第１区分の画像データを切り出した残余の部分である。例えば、上述の例において、図５に示すように、１９６０画素×１４４０画素の画像６０のうち、１９２０画素×１４０８画素の部分が第１区分６１となり、残余の部分が第２区分６２となる。第２区分６２は、第１区分６１の設定の仕方によって異なり、図５（ａ）に示すように第１区分６１−ａを画像の中央に取れば第２区分６２−ａは周辺部分となり、横方向（行方向）に１２８画素×１６画素の端数ブロックと、縦方向（列方向）に２０画素×１２８画素の端数ブロックと、四隅に２０画素×１６画素の端数ブロックとが生じる。また、図５（ｂ）に示すように第１区分６１−ｂを画像の右上に取れば第２区分６２−ｂは左部及び下部のＬ字状部分となり、図５（ｃ）に示すように第１区分６１−ｃを画像の左上に取れば第２区分６２−ｃは右部及び下部の横鏡面Ｌ字状部分となり、図５（ｄ）に示すように第１区分６１−ｄを画像の右下に取れば第２区分６２−ｄは左部及び上部の縦鏡面Ｌ字状部分となり、そして、図５（ｅ）に示すように第１区分６１−ｅを画像の左下に取れば第２区分６２−ｅは右部及び上部の逆Ｌ字状部分となる。図５（ｂ）ないし（ｅ）においては、横方向（行方向）に１２８画素×３２画素の端数ブロックと、縦方向（列方向）に４０画素×１２８画素の端数ブロックと、隅に４０画素×３２画素の端数ブロックとが生じる。このように端数ブロックは、第１区分の設定の仕方によって異なるが、第１区分において正方形ブロックに分割するための横方向の分割境界線および縦方向の分割境界線をそれぞれ第２区分まで延長し、第２区分においてこの延長した分割境界線によって分割された矩形のブロックである。なお、図５は、図示の便宜上、第１区分と第２区分とは異なる尺度で表示されている。
【００３７】
ステップ＃５において、制御装置２６は、下地飛ばし階調補正処理を行うための前処理として、画像６０がブロックの整数倍の場合には画像６０に対して、また、画像６０がブロックの整数倍ではない場合には第１区分６１に対して、ブロックごとに前処理値の下地レベルを決定する。
【００３８】
そして、制御装置２６は、区分分けおよび切出し処理をしたか否かを判断する（ステップ＃６）。判断の結果、区分分けおよび切出し処理をした場合には、制御装置２６は、第１区分６１のブロックにおける下地レベルに基づいて第２区分６２の各端数ブロックに前処理値の下地レベルを割り当て、ステップ＃８の処理を行う（ステップ＃７）。一方、判断の結果、区分分けおよび切出し処理をしていない場合には、制御装置２６は、ステップ＃８の処理を行う。
【００３９】
ステップ＃８において、制御装置２６は、文字等の情報がより明瞭となるように、画素ごとに輝度レベルが所定の閾値以上の場合には最高輝度レベルに変更する下地飛ばし階調補正処理、フィルタによるエッジ強調処理、および、所定の閾値以下の輝度レベルを黒レベルに変換する黒レベル引締め処理の文書画像処理を行う。下地飛ばし階調補正処理の閾値は、ブロックごとに下地レベルを求めた後にこれを基に画素ごとに設定されるが、区分分け処理や充当処理により画像サイズがブロックの整数倍でない場合でもブロックの下地レベルを決定することができるので、画素ごとの下地レベル、すなわち、閾値を適切に設定することができる。
【００４０】
一方、ステップ＃９において、文字画等以外の画像の画像データに対し、階調拡大補正などの通常の画像処理を行い、処理を終了する。
【００４１】
次に、本発明にかかる画像処理装置を搭載したディジタルカメラの動作について詳細に説明する。図６ないし図９は、本発明にかかる画像処理装置を搭載したディジタルカメラのフローチャートを示す図である。
（撮像時の動作）
図６ないし図９において、撮影をしようと思いユーザが撮影／再生スイッチ１２を撮影側に設定すると共にメインスイッチ１４をオンにすると、ディジタルカメラ１が起動し、制御装置２６は、記憶部に格納されているプログラムを読み込んで実行し、必要な初期化をディジタルカメラ１の各部に行って撮影可能な状態となる。ユーザは、ＬＣＤ表示部１８の解像度表示を参照しながら解像度選択スイッチ１７を押すことによって所望の解像度を設定する（ステップ＃１０）。この状態で制御装置２６は、ズームスイッチ１１が操作されているか否かを判断する（ステップ＃１１）。
【００４２】
判断の結果、ズームスイッチ１１が操作されている場合には、制御装置２６は、その操作方向および操作量に応じて撮影レンズ２内のズームレンズをズーム駆動部３０で駆動することによってズーム比を変更し、その後ステップ＃１３の処理を行う（ステップ＃１２）。一方、判断の結果、ズームスイッチ１１が操作されていない場合には、制御装置２６は、撮影レンズ２内のズームレンズを駆動することなくそのままの状態でステップ＃１３の処理を行う。
【００４３】
ステップ＃１３において、制御装置２６は、シャッタボタン１０が半押しされてＳ１スイッチがオンであるか否かを判断する。判断の結果、Ｓ１スイッチがオフである場合には、制御装置２６は、処理をステップ＃１１に戻す。一方、判断の結果、Ｓ１スイッチがオンである場合には、制御装置２６は、ステップ＃１４に移行し、撮影準備のための処理を行う。
【００４４】
すなわち、ステップ＃１４において、制御装置２６は、測距部２８の投光部２７から被写体に向けて測距用の赤外光を投光させ、その赤外光が被写体によって反射した反射光を測距部２８の受光部２９で受光することによって、測距用のデータを取り込み、被写体距離を演算する。
【００４５】
次に、制御装置２６は、撮影モード設定スイッチ１６が何れに操作されているかを判断することによって撮影モードを判断する（ステップ＃１５）。判断の結果、文字画撮影モードである場合には、制御装置２６は、発光制御部３３に発光禁止の制御信号を出力することによって閃光部７の発光を禁止し（ステップ＃１６）、ステップ＃１７の処理を行う。一方、判断の結果、通常撮影モードである場合には、制御装置２６は、ステップ＃１７の処理を行う。文字画撮影モードである場合に閃光部７の発光を禁止するのは、例えば、ホワイトボードに対して正面から撮影するシーンでは閃光部７が自動発光される可能性があるが、この撮影シーンでは、閃光がホワイトボ一ドで全反射されて撮像画像の文字が判読不能になる虞れがあるからである。
【００４６】
ステップ＃１７において、制御装置２６は、ＡＦ制御値演算部５３を用いて、被写体距離に基づいて撮影レンズ２のフォーカスレンズを合焦位置に設定するレンズ駆動量を演算し（ステップ＃１７）、そして、露出制御値演算部５４を用いて、測光部３５で検出された測光データに基づいて露出制御値を演算する（ステップ＃１８）。これにより撮影準備処理は、終了してレリーズ待機状態となる。
【００４７】
このレリーズ待機状態で、制御装置２６は、シャッタボタン１０が全押しされてＳ２スイッチがオンであるか否かを判断する（ステップ＃１９）。判断の結果、シャッタボタン１０が全押しされてＳ２スイッチがＯＮである場合には、制御装置２６は、レリーズ動作を行う。一方、判断の結果、シャッタボタン１０が全押しされていない場合には、制御装置２６は、さらにシャッタボタン１０が半押されＳ１スイッチがオンであるか否かを判断する（ステップ＃２０）。判断の結果、Ｓ１スイッチがオンである場合（シャッタボタン１０の半押し状態が継続している場合）には、制御装置２６は、処理をステップ＃１９に戻してレリーズ待機状態を継続し、一方、Ｓ１スイッチがオフである場合には、制御装置２６は、処理をステップ＃１１に戻す。
【００４８】
レリーズ動作に移行すると、制御装置２６は、まず、レンズ駆動量のデータをレンズ駆動部３１に出力して撮影レンズ２の焦点調節を行い（ステップ＃２１）、露出制御値の絞り値Ａｖのデータを絞り駆動部３２に出力して絞り３６の開口量を調節する（ステップ＃２２）。そして、制御装置２６は、ステップ＃１８で得られた露光時間に対応させて撮像部２０の撮像素子を露光して電荷を蓄積することによって被写体を撮像し、撮像素子で得られた信号に周知の通常の処理を行って、Ａ／Ｄ２１を介して、解像度選択スイッチ１７で設定された画像サイズの画像データを画像メモリ２２に格納する（ステップ＃２３）。
（画像処理の動作）
次に、制御装置２６は、画像サイズ判定部４１を用いて、画像の各辺に相当する画素を計数するなどによって、格納した画像データが処理可能な画像サイズか否か判断する（ステップ＃３１）。画像サイズによって処理の可否を判断するのは、文字画像として画像処理（下地飛ばし階調補正処理）を行う場合でも写真画像として画像処理（階調拡大処理）を行う場合でも、後述するように画像データを統計処理するので、統計処理の性質上或る精度を得るためには、その精度に対応したデータ数が必要だからである。したがって、判断の結果、制御装置２６は、画像データが必要なデータ数未満の場合、例えば、４８０画素×４８０画素未満の場合には、文字画像処理を行うことができない旨の警告表示をＬＣＤ表示部１８に表示して（ステップ＃３２）、処理をステップ＃１１に戻す。
【００４９】
一方、判断の結果、制御装置２６は、画像データが必要なデータ数以上の場合には、画像サイズ判定部４１を用いて、画像データが下地飛ばし階調補正処理可能な画像サイズか否か判断する（ステップ＃３３）。下地飛ばし階調補正処理は、後述するように、画像データを複数のブロックに分割してブロックごとに処理するが、或るブロックを処理する場合に当該ブロックの周囲の情報も考慮して処理を行う。このため、必要数のブロックが横方向および縦方向に無いと充分な精度で下地飛ばし階調補正処理を行うことができない。したがって、判断の結果、制御装置２６は、画像データが必要なデータ数未満の場合、例えば、短辺が６４０画素未満の場合には、写真画像として画像処理すべくステップ＃６０の処理を行う。
【００５０】
一方、判断の結果、制御装置２６は、画像データが必要なデータ数以上の場合には、画像サイズ判定部４１を用いて、ＷＢ微調整が可能な画像サイズであるか否かを判断する（ステップ＃３４）。ＷＢ微調整は、図１０に示すように、横方向および縦方向ともに８０パーセントに当たる画像の中央部（図１０における斜線部分）における画素を用いて行うため、この画素数が画像全体の画素数に対し数パーセント未満の割合、例えば５パーセント未満の割合である場合には、使用する画素数が全体の画素数に対して少なすぎるため、ＷＢ微調整を行うのは適当ではない。したがって、判断の結果、制御装置２６は、画像データがＷＢ微調整を行うに足る画素未満の場合には、写真画像として画像処理すべくステップ＃６０の処理を行う。
【００５１】
また、全体の８０パーセントに当たる画像６０の中央部をＷＢ微調整の対象のゲイン演算領域６１とするのは、画像の周辺部分には背景などが撮像されている場合が多いため、全体の８０パーセントに当たる画像の中央部をＷＢ微調整の対象とすれば確実に文字などの情報が撮像されている部分になると考えられるからである。したがって、本実施形態では８０パーセントとしたが、この観点から他のパーセンテージを採用してもよい。
【００５２】
一方、判断の結果、制御装置２６は、生成した画像データがＷＢ微調整を行うに足る画素以上の場合には、ＷＢ微調整部４８を用いて、ＷＢの微調整を行う（ステップ＃３５）。すなわち、このＷＢ微調整において、制御装置２６は、まず、横方向および縦方向ともに８０パーセントに当たる画像の中央部における各画素に対し式１および式２を満たすか否かを判断し、両式を満たす画素を抽出する。
（Ｒ−Ｇ）２＋（Ｂ−Ｇ）２＜ＴｈＳｗｂ ・・・ （式１）
０．３Ｒ＋０．６Ｇ＋０．１Ｂ＞ＴｈＹｗｂ ・・・ （式２）
【００５３】
ここで、Ｒ、ＧおよびＢはそれぞれ画素の赤成分のデータ、緑成分のデータおよび青成分のデータである。式１がＷＢを適切に調整するために有彩色の画素を除外するための式であるので、ＴｈＳｗｂは、このために画素を無彩色であるか有彩色であるかを弁別する値として実験的に決定され、例えば本実施形態ではＴｈＳｗｂ＝９００とした。式２がＷＢを適切に調整するために輝度の暗い画素を除外するための式であるので、ＴｈＹｗｂは、このために暗い画素であるか明るい画素であるかを弁別する値として実験的に決定され、例えば本実施形態ではＴｈＹｗｂ＝１９０とした。そして、制御装置２６は、抽出した画素におけるＲ、ＧおよびＢのそれぞれの総和を求め、Ｇの総和を基準としてＲおよびＢに乗算するゲインＧａｉｎ＿ＲおよびゲインＧａｉｎ＿Ｂをそれぞれ求める。さらに、制御装置２６は、画像データの全画素に対して求めたゲインＧａｉｎ＿ＲおよびゲインＧａｉｎ＿ＢをそれぞれＲおよびＢに乗算する。このようにしてＷＢが微調整される。
【００５４】
次に、制御装置２６は、画像サイズ判定部４１を用いて、画像の各辺の画素を正方形ブロックの一辺の画素数で割り算するなどによって、画像データの画像サイズがブロックで分割した場合に端数が生じるか否かを判断する（ステップ＃３６）。これによって画像を第１区分と第２区分とに区分けすると共に第１区分を切出す区分分け・切出し処理が必要か否かが判断される。ブロックは、後述の縦方向の計算と横方向の計算とでブロックを容易に一致させ得る観点から、本実施形態では正方形とするが、ブロックを長方形としても本発明を適用することは可能である。また、ブロックを長方形とすると、ブロック内の絵に方向性がある場合に後述の縦方向の計算と横方向の計算との両結果に方向性が反映されてしまうが、ブロックを正方形にすることでこれが無くなるという利点もある。正方形ブロックの大きさは、ヒストグラムの統計処理により適切に下地レベルが検出することができる大きさに、撮像部における撮像素子の画素数や画像サイズなどを考慮して実験的に決定され、例えば本実施形態では１２８画素とした。
【００５５】
判断の結果、端数が生じない場合、すなわち区分分け・切出し処理不要な場合には、制御装置２６は、ステップ＃３８の処理を行う。一方、端数が生じる場合、すなわち区分分け・切出し処理が必要な場合には端数を解消すべく、制御装置２６は、区分分け・切出し処理部４２を用いて、画像データの画素数が横方向および縦方向共に正方形ブロックにおける一辺の画素数に対し整数倍となる第１区分と、残余の第２区分とに区分分けを行い、第１区分の画像データを画像メモリ２２の所定のアドレスにおける記憶領域に格納して切出す。さらに、画像を区分分けした旨の情報を記憶部２５の所定のアドレスにおける記憶領域に格納する（ステップ＃３７）。例えば、画像データの画像サイズが１９６０画素×１４４０画素である場合には、横方向が１２８画素の１５以下の整数倍であって縦方向が１２８画素の１２以下の整数倍である画像サイズになるように第１区分として切出すと、第１区分の画像データが正方形ブロックで分割可能となる。後述するように第２区分における下地レベルは第１区分の下地レベルに基づいて充当するので、画像劣化を抑制する観点から、切出す第１区分は、画像において最大の画像サイズであることが好ましい。このため、この場合では、制御装置２６は、第１区分の画像サイズが１９２０画素×１４０８画素となるように切出す。ここで、１９２０は１２８の１５倍であり、１４０８は１２８の１１倍である。第１区分は、例えば、本実施形態では図５（ａ）に示すように画像の中央部に設定される。
【００５６】
次に、制御装置２６は、ＲＧＢ／ＹＣｒＣｂ変換部４９を用いて、画像データのＲＧＢデータを輝度Ｙと色差ＣｒＣｂとの各データに式３ないし式５を用いて変換する（ステップ＃３８）。
Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ ・・・ （式３）
Ｃｒ＝Ｒ−Ｙ ・・・ （式４）
Ｃｂ＝Ｂ−Ｙ ・・・ （式５）
【００５７】
次に、制御装置２６は、図１１に示すように、第１区分の画像データにおいて、周囲を正方形ブロックにおける一辺の画素数の整数倍で除いた中央部の領域を正方形ブロックで分割する。もちろん、ステップ＃３６において区分分け・切出し処理が不要な画像であった場合には画像そのものの画像データにおいてこの処理が行われる。画像データの周囲を正方形ブロックで分割する対象領域から除外するのは、ＷＢ微調整で中央部を対象領域としたのと同様の理由である。除外する周囲を正方形ブロックにおける一辺の画素数の整数倍とするのは、もちろん、正方形ブロックで端数を生じることなく中央部を分割可能とするためである。例えば、上述の１９２０画素×１４０８画素の画像サイズの場合には、１２８画素の幅で周囲の領域を除外し、１６６４画素×１１５２画素の中央部を一辺１２８画素の正方形ブロックで分割する。このように分割すると中央部は、正方形ブロックで１３×９に分割される。次に、制御装置２６は、各正方形ブロックにおいて、横方向および縦方向共に所定数の画素ごとに式６および式７を用いて彩度Ｓｎおよび輝度Ｙｎをそれぞれ求める（ステップ＃３９）。
【００５８】
【数１】
【００５９】
【数２】
【００６０】
ここで、ｉ，ｊは所定数ごとの飛び飛びの値であり、ｎは正方形ブロックの番号である。例えば、正方形ブロックにおける一辺の画素数１２８の約数である１６画素ごとに彩度Ｓｎおよび輝度Ｙｎをそれぞれ求める場合には、ｉ，ｊは０、１５、３１、・・・のように１６ごとの飛び飛びの値であり、サンプリング画素総数は（１２８／１６）×（１２８／１６）＝６４となる。
【００６１】
次に、制御装置２６は、求めた彩度Ｓｎおよび輝度Ｙｎを用いて、彩度Ｓｎの平均値Ｐ１、輝度Ｙｎの標準偏差値Ｐ２、彩度Ｓｎの標準偏差値Ｐ３、輝度Ｙｎのヒストグラムにおけるピークとなる階級（クラス）Ｐ４、輝度Ｙｎのヒストグラムにおいて輝度Ｙｎの平均値±２０パーセントの累積度数Ｐ５、および輝度Ｙｎのヒストグラムにおいて輝度Ｙｎの平均値−２０パーセント以下の累積度数Ｐ６を求める（ステップ＃３９）。ここで、Ｐ４、Ｐ５、Ｐ６のヒストグラムは、輝度Ｙｎの階調を１／４にした６４階調化したデータを用いる。次に、制御装置２６は、これらＰ１ないしＰ６の６個のパラメータを用いて、予め標準的な文書画像を基に実験的に作成した基準空間に対するマハラノビス距離ｄを求め、マハラノビス距離ｄと閾値ＴｈＭとの大小を判断する。判断の結果、マハラノビス距離ｄ＞閾値ＴｈＭである場合には、制御装置２６は、画像データが暗い下地の画像、濃い色の下地の画像あるいは写真画像であると判断し、ステップ＃６０を行う。一方、判断の結果、マハラノビス距離ｄ≦閾値ＴｈＭである場合には、制御装置２６は、画像データが処理可能な文書画像であると判断し、ステップ＃４１を行う（ステップ＃４０）。
【００６２】
次に、制御装置２６は、ブロック下地レベル決定部４３を用いて、画像を縦方向に所定の矩形領域（以下、「エリア」と称する。）６５ごとに分割し、各エリア６５における縦方向下地レベルＶＢＬ＿Ｅを演算する（ステップ＃４１）。より具体的には、次のように各エリア６５の縦方向下地レベルＶＢＬ＿Ｅを演算する。まず、制御装置２６は、画像を縦方向に所定のエリア６５ごとに分割する。所定のエリア６５における横方向の幅は、後述するように正方形ブロックにおける下地レベルも演算することから、正方形ブロックの一辺の長さに等しくすることが望ましい。このため、上述の例では、図１２に示すように、制御装置２６は、１９２０画素×１４０８画素の画像を１２８画素×１４０８画素のエリア６５で分割する。次に、制御装置２６は、各エリアにおいて、横方向に８画素ごとに階調を１／４にした６４階調のデータに輝度Ｙデータを変換すると共に、縦方向も８画素ごとに階調を１／４にした６４階調のデータに輝度Ｙデータを変換する。そして、制御装置２６は、各エリア６５において、変換したこれら６４階調の輝度Ｙデータに対して、ヒストグラムを作成する。例えば、図１３に示すようなヒストグラムが作成される。図１３の横軸は６４階調の輝度に合わせて０〜６３までの階級であり、縦軸は度数である。次に、制御装置２６は、作成したヒストグラムにおいて、式８および式９を満たす度数最大の階級を求め、求めた階級の値を４倍にして２５６階調のデータに再変換し、これを当該エリア６５の暫定的な縦方向下地レベルＶＢＬ＿Ｅとする。
階級＞Ｔｈｃ１ ・・・ （式８）
度数＞３５２ ・・・ （式９）
【００６３】
ここで、式８は、下地レベルとなるべき階級の範囲を決定する式である。下地レベルは、文字ではない、すなわち、ホワイトボードや紙などの白色の部分である輝度の明るいレベルとなるべきであるから、Ｔｈｃ１は、下地レベルとして不適切な輝度の暗い階級を除外する値として実験的に決定され、本実施形態では例えばＴｈｃ１＝７０とした。式９は、下地レベルとなるべき階級における度数の範囲を決定する式である。下地レベルは、度数最大の階級として求めるので少なくとも度数が均等に分布した場合における度数を超える必要がある。そのため、例えば、本実施形態では、度数が均等に分布した場合における度数として、１２８画素×１４０８画素の画素数のエリアにおいて横方向および縦方向ともに８画素ごとにサンプリングし２５６階調を６４階調に変換しているので、１２８×１４０８／６４／８＝３５２と計算される。
【００６４】
なお、ヒストグラムを作成するための輝度Ｙデータにおけるサンプリング間隔は、短ければ精度が向上するが、輝度Ｙデータ数が増大し演算時間が増大する。このように精度と演算時間はトレードオフの関係にあり、サンプリング間隔は、精度と演算時間のバランスを考慮して決定される。したがって、例えば、制御装置２６の演算速度が高速の場合には、縦方向および横方向ともに４画素ごとに輝度Ｙデータをサンプリングしてもよい。後述のサンプリング間隔も同様に精度と演算時間のバランスを考慮して決定される。
【００６５】
次に、制御装置２６は、着目するエリア６５とこれに隣接するエリア６５との３個のエリア６５において、暫定的な縦方向下地レベルＶＢＬ＿Ｅに対してメディアンを求める。例えば、着目するエリア６５−ｎの暫定的な縦方向下地レベルＶＢＬ＿Ｅ＝２００、一方に隣接するエリア６５−（ｎ−１）の暫定的な縦方向下地レベルＶＢＬ＿Ｅ＝２１０、他方に隣接するエリア６５−（ｎ＋１）の暫定的な縦方向下地レベルＶＢＬ＿Ｅ＝２２０とすると、メディアンは、２１０となる。なお、これをｍｅｄｉａｎ（２００，２１０，２２０）＝２１０と表現する。この着目するエリア６５とこれに隣接するエリア６５との３個のエリアにおいて、暫定的な縦方向下地レベルＶＢＬ＿Ｅに対してメディアンを求めた結果を、着目するエリア６５の縦方向下地レベルＶＢＬ＿Ｅとする。そして、制御装置２６は、このメディアン処理を各エリア６５に対して行い、各エリア６５の縦方向下地レベルＶＢＬ＿Ｅを求める。さらに、制御装置２６は、求めた各エリア６５の縦方向下地レベルＶＢＬ＿Ｅのうち、最大値と最小値とを除いて、各エリア６５の縦方向下地レベルＶＢＬ＿Ｅの平均値ＡＶＢＬ＿Ｅを求める。そして、制御装置２６は、着目するエリア６５に対し隣接する両エリア６５の縦方向下地レベルＶＢＬ＿Ｅがこの縦方向下地レベルＶＢＬ＿Ｅの平均値ＡＶＢＬ＿Ｅと所定値（例えば５０）以上離れている場合には、着目するエリア６５の縦方向下地レベルＶＢＬ＿Ｅを図１２において左隣のエリア６５の縦方向下地レベルＶＢＬ＿Ｅに置き換えて修正する。
【００６６】
このようにして、制御装置２６は、各エリア６５の縦方向下地レベルＶＢＬ＿Ｅを演算する。
【００６７】
次に、制御装置２６は、ブロック下地レベル決定部４３を用いて、各エリア６５を正方形ブロックごとに分割し、各正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂを演算する（ステップ＃４２）。より具体的には、次のように各正方形ブロックの縦方向下地レベルＶＢＬ＿Ｂを演算する。まず、図１４に示すように、制御装置２６は、各エリア６５を所定の正方形ブロックごとに分割する。上述の例では、制御装置２６は、１２８画素×１４０８画素のエリアを１２８画素×１２８画素の正方形ブロックで分割する。次に、制御装置２６は、各正方形ブロックにおいて、横方向に８画素ごとに階調を１／４にした６４階調のデータに輝度Ｙデータを変換すると共に、縦方向も８画素ごとに階調を１／４にした６４階調のデータに輝度Ｙデータを変換する。そして、制御装置２６は、各正方形ブロックにおいて、変換したこれら６４階調の輝度Ｙデータに対して、ヒストグラムを作成する。例えば、図１５に示すようなヒストグラムが作成される。図１５の横軸は６４階調の輝度に合わせて０〜６３までの階級であり、縦軸は度数である。次に、制御装置２６は、作成したヒストグラムにおいて、高輝度側から低輝度側へ順に調べ、式１０、式１１および「当該階級より低輝度側３階級の各度数よりも度数が大きいこと」を満たす階級を求め、求めた階級の値を４倍にして２５６階調のデータに再変換し、これを第１ピーク輝度とする。
階級＞Ｔｈｃ２ ・・・ （式１０）
度数＞３２ ・・・ （式１１）
【００６８】
ここで、Ｔｈｃ２は、Ｔｈｃ１と同様な考え方による数値であり、例えば本実施形態ではＴｈｃ２＝７０とした。式１１の３２は、式９の３８４と同様な考え方による数値であり、度数が均等に分布した場合における度数として、１２８画素×１２８画素の画素数の正方形ブロックにおいて横方向および縦方向ともに８画素ごとにサンプリングし２５６階調を６４階調に変換しているので、１２８×１２８／６４／８＝３２として求まる数値である。
【００６９】
さらに、制御装置２６は、作成したヒストグラムにおいて、第１ピーク輝度に対応する階級から低輝度側へ順に調べ、式１２、式１３、「当該階級より１つ高輝度側の階級における度数よりも度数が大きいこと」および「当該階級より低輝度側への３つの階級における各度数よりも度数が大きいこと」を満たす階級を求め、求めた階級の値を４倍にして２５６階調のデータに再変換し、これを第２ピーク輝度とする。
階級＞Ｔｈｃ３ ・・・ （式１２）
度数＞３２ ・・・ （式１３）
【００７０】
ここで、Ｔｈｃ３は、Ｔｈｃ１と同様な考え方による数値であるが第１ピーク輝度よりも低輝度側にあるべきであるから、例えば本実施形態では８０とした。
【００７１】
次に、制御装置２６は、第１ピーク輝度と第２ピーク輝度とを当該正方形ブロックが属するエリア６５における縦方向下地レベルＶＢＬ＿Ｅとそれぞれ比較し、当該正方形ブロックが属するエリア６５における縦方向下地レベルＶＢＬ＿Ｅに近い方のピーク輝度を当該正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂとする。例えば、第１ピーク輝度＝２２０、第２ピーク輝度＝１９０で属するエリア６５の縦方向下地レベル＝２００の場合には、第２ピーク輝度の方が近いので、正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂ＝１９０となる。
【００７２】
ここで、選択されたピーク輝度が、属するエリア６５の縦方向下地レベルＶＢＬ＿Ｅと６０以上の差がある場合には、制御装置２６は、正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂを、属するエリア６５における縦方向下地レベルＶＢＬ＿Ｅに置き換える修正を行い、一方、選択されたピーク輝度が、属するエリアの縦方向下地レベルＶＢＬ＿Ｅと４０以上６０未満の差がある場合には、正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂを、正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂと属するエリア６５における縦方向下地レベルＶＢＬ＿Ｅとの平均値で置き換える修正を行う。例えば、第１ピーク輝度＝１６０、第２ピーク輝度＝１１０で属するエリア６５の縦方向下地レベル＝２３０の場合には、第１ピーク輝度の方が近いが６０以上離れているので（２３０−１６０＝７０）、正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂ＝２３０となる。また例えば、第１ピーク輝度＝１８０、第２ピーク輝度＝１１０で属するエリア６５の縦方向下地レベル＝２３０の場合には、第１ピーク輝度の方が近いが４０以上６０未満だけ離れているので（２３０−１８０＝５０）、正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂ＝（１８０＋２３０）／２＝２０５となる。
【００７３】
全正方形ブロックについて上述のように正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂを求めた後に、制御装置２６は、着目する正方形ブロックとこれに横方向および縦方向に隣接する４個の正方形ブロックとに対し、最大値と最小値とを除いた正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂの平均値を求め、求めた平均値を着目する正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂとする。例えば、着目する正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂ＝２００、これに横方向に左右に隣接する正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂ＝２１０、２２０、および、これに縦方向に上下に隣接する正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂ＝１９０、２１０の場合には、最大値２２０および最小値１９０とを除いた平均値（２００＋２１０＋２１０）／３＝２０７を着目する正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂとする。
【００７４】
ここで、画像の周辺に位置する正方形ブロックの場合、および、正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂが、属するエリア６５の縦方向下地レベルＶＢＬ＿Ｅの平均値ＡＶＢＬ＿Ｅより所定値（例えば５０）以上離れている場合には、上述の平均値を求める処理を行わずに、画像の内側隣にある正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂを当該正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂとする。例えば、図１４において一番上の列にある正方形ブロックは、１個下の正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂを採用し、右上端の正方形ブロックは、左下の正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂを採用する。
【００７５】
このようにして、制御装置２６は、各正方形ブロックの縦方向下地レベルＶＢＬ＿Ｂを演算する。
【００７６】
次に、制御装置２６は、ブロック下地レベル決定部４３を用いて、画像を横方向に所定のエリアごとに分割し、各エリアにおける横方向下地レベルＨＢＬ＿Ｅをステップ＃４１で求めたエリアにおける縦方向下地レベルＶＢＬ＿Ｅと同様に演算する（ステップ＃４３）。エリアは、例えば、１９２０画素×１４０８画素の画像を１９２０画素×１２８画素のエリアで分割する。
【００７７】
次に、制御装置２６は、ブロック下地レベル決定部４３を用いて、横方向に分割した各エリアを所定の正方形ブロックごとに分割し、各正方形ブロックにおける横方向下地レベルＨＢＬ＿Ｂをステップ＃４２で求めた正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂと同様に演算する（ステップ＃４４）。
【００７８】
制御装置２６は、ステップ＃４１ないしステップ＃４４のように動作することによって、画像の一のブロックに対して縦方向と横方向との２方向から下地レベルを算出する。
【００７９】
次に、制御装置２６は、ブロック下地レベル決定部４３を用いて、正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂと横方向下地レベルＨＢＬ＿Ｂとを比較し、値の大きい方（輝度の高い方）を当該正方形ブロックにおける下地レベルＢＬ＿Ｂとし、ステップ＃４２とステップ＃４４で求めた値を統合する（ステップ＃４５）。
【００８０】
以上の処理により、第１区分の画像または画像そのものの画像データにおいて、画像を正方形ブロックに分割し、正方形ブロック単位で前処理値である下地レベルＢＬ＿Ｂが求められたので、次に、制御装置２６は、第２区分の画像において、端数ブロックの前処理値である下地レベルＢＬ＿Ｂを演算する。
【００８１】
まず、制御装置２６は、記憶部２５の所定のアドレスにおける記憶領域を参照して、画像を区分分け・切出し処理を行ったか否かを判断する（ステップ＃４６）。判断の結果、区分分け・切出し処理を行っていない場合には、制御装置２６は、ステップ＃４８の処理を行う。一方、判断の結果、区分分け・切出し処理を行っている場合には、制御装置２６は、端数ブロック下地レベル充当部４４を用いて、端数ブロックに対してブロックの下地レベルを第１区分のブロックの下地レベルＢＬ＿Ｂに基づいて充当する（ステップ＃３７）。
【００８２】
図１６は、ブロックの下地レベルと端数ブロックの下地レベルとの関係を説明するための、画像のコーナ部分を示す図である。
【００８３】
例えば、端数ブロック７２におけるブロックの下地レベルＢＬ＿Ｂは、当該端数ブロックに隣接する第１区分に属するブロック７１におけるブロックの下地レベルＢＬ＿Ｂ＝ｚをそのまま採用することによって充当され、コーナの端数ブロックにおけるブロックの下地レベルＢＬ＿Ｂは、最も近い第１区分に属するコーナのブロックにおけるブロックの下地レベルＢＬ＿Ｂによって充当される。
【００８４】
すなわち、図１６において、図５（ａ）に示すように第１区分６１を画像６０の中央部に設定すると第２区分６２は、第１区分６１の周辺部分となる。第２区分６２および第１区分６１におけるｉ行ｊ列（ｉ，ｊは、０から始まる整数）のブロック（端数ブロック７２または正方形ブロック７１）におけるブロックの下地レベルＢＬ＿Ｂ−ｉｊ＝Ｚｉｊと表すと、０行の各端数ブロック７２−０ｊにおけるブロックの下地レベルＢＬ＿Ｂ−０ｊは、１行の各正方形ブロック７１−１ｊにおけるブロックの下地レベルＢＬ＿Ｂ−１ｊ＝Ｚ１ｊがそれぞれ採用される。０列の各端数ブロック７２−ｉ０におけるブロックの下地レベルＢＬ＿Ｂ−ｉ０は、１列の各正方形ブロック７１−ｉ１におけるブロックの下地レベルＢＬ＿Ｂ−ｉ１＝Ｚｉ１がそれぞれ採用される。コーナの端数ブロック７２−００におけるブロックの下地レベルＢＬ＿Ｂ−００は、最も近い第１区分に属するコーナのブロック７１−１１におけるブロックの下地レベルＢＬ＿Ｂ−１１＝Ｚ１１が採用される。他のコーナの端数ブロックも同様である。
【００８５】
また例えば、端数ブロック７２におけるブロックの下地レベルＢＬ＿Ｂは、当該端数ブロックに隣接する第１区分に属するブロック７１におけるブロックの下地レベルＢＬ＿Ｂと、この隣接するブロック７１の方向における１個または複数個のブロック７１の下地レベルＢＬ＿Ｂとを用いて線形外挿することによって充当され、コーナの端数ブロックにおけるブロックの下地レベルＢＬ＿Ｂは、当該コーナの端数ブロックに隣接する２個の端数ブロックにおけるブロックの下地レベルＢＬ＿Ｂを平均することによって充当されるようにしてもよい。
【００８６】
すなわち、図１６において、０行の各端数ブロック７２−０ｊにおけるブロックの下地レベルＢＬ＿Ｂ−０ｊは、２個のブロックの下地レベルＢＬ＿Ｂで線形外挿する場合には、１行の各正方形ブロック７１−１ｊにおけるブロックの下地レベルＢＬ＿Ｂ−１ｊ＝Ｚ１ｊと２行の各正方形ブロック７１−１ｊにおけるブロックの下地レベルＢＬ＿Ｂ−２ｊ＝Ｚ２ｊとを用いて線形外挿することによって求めた値Ｚ１ｊ−（Ｚ１ｊ＋Ｚ２ｊ）／２がそれぞれ採用される。０列の各端数ブロック７２−ｉ０におけるブロックの下地レベルＢＬ＿Ｂ−ｉ０は、２個のブロックの下地レベルＢＬ＿Ｂで線形外挿する場合には、１列の各正方形ブロック７１−ｉ１におけるブロックの下地レベルＢＬ＿Ｂ−ｉ１＝Ｚｉ１と２列の各正方形ブロック７１−ｉ２におけるブロックの下地レベルＢＬ＿Ｂ−ｉ２＝Ｚｉ２とを用いて線形外挿することによって求めた値Ｚｉ１−（Ｚｉ１＋Ｚｉ２）／２がそれぞれ採用される。コーナの端数ブロック７２−００におけるブロックの下地レベルＢＬ＿Ｂ−００は、隣接する端数ブロック７２−０１、７２−１０におけるブロックの下地レベルＢＬ＿Ｂ−０１、ＢＬ＿Ｂ−１０を平均することによって求めた値（Ｚ１１＋Ｚ１１）／２が採用される。
【００８７】
このようにして、制御装置２６は、第２区分の各端数ブロックにおけるブロックの下地レベルＢＬ＿Ｂを第１区分のブロックにおけるブロックの下地レベルＢＬ＿Ｂに基づいて充当する。
【００８８】
次に、制御装置２６は、画素下地レベル決定部４５を用いて、これら端数ブロックおよび正方形ブロックにおけるブロックの下地レベルを基に各画素の下地レベルを演算する（ステップ＃４８）。
【００８９】
すなわち、ｐ行ｒ列のブロック（正方形ブロックまたは端数ブロック）の下地レベルをＢＬ＿Ｂｐ、ｒとすると、制御装置２６は、図１７に示すように、ｐ行ｒ列のブロック、ｐ＋１行ｒ列のブロック、ｐ行ｒ＋１列のブロック、および、ｐ＋１行ｒ＋１列のブロックの各中心画素ＰＱＲＳを４頂点とする領域を設定し、この領域において横方向および縦方向ともに４画素ごとに各画素Ｔａ，ｂの下地レベルＢＬ＿Ｔａ，ｂをＢＬ＿Ｂｐ、ｒ、ＢＬ＿Ｂｐ＋１、ｒ、ＢＬ＿Ｂｐ、ｒ＋１、ＢＬ＿Ｂｐ＋１、ｒ＋１に基づいて線形内挿（式１４）によって計算する。
【００９０】
【数３】
【００９１】
ここで、ＰＱをｘ軸にＰＲをｙ軸にした点Ｐを座標原点とするｘｙ座標系を考えると、ａはＰＱＲＳを４頂点とする領域の一辺の長さであり、ｂは計算対象の画素Ｔａ，ｂにおけるｘ軸の座標値であり、ｃは計算対象の画素Ｔａ，ｂにおけるｙ軸の座標値である。
【００９２】
本実施形態にかかるディジタルカメラ１は、このように４画素ごとの画素の下地レベルＢＬ＿Ｔを近隣の４個のブロックの下地レベルＢＬ＿Ｂｐ、ｒ、ＢＬ＿Ｂｐ＋１、ｒ、ＢＬ＿Ｂｐ、ｒ＋１、ＢＬ＿Ｂｐ＋１、ｒ＋１を用いて求めるので、ブロック間の下地レベルＢＬ＿Ｂの相違に基づく画質の不連続を緩和することができる。
【００９３】
このように横方向および縦方向ともに４画素ごとに画素の下地レベルＢＬ＿Ｔを求めたので、図１８に示すように、４画素×４画素のセルのうちで１画素の下地レベルＢＬ＿Ｔを求めたことになる。そこで、制御装置２６は、セル内で唯一求められているこの下地レベルＢＬ＿Ｔを、セル内で下地レベルを求めていない画素の下地レベルＢＬ＿Ｔとする。
【００９４】
上記で下地レベルＢＬ＿Ｔを求めることができる画素は、図１７から分かるように、端数ブロックの一辺の半分の画素だけ横方向に内側にあって、且つ、端数ブロックの一辺の半分の画素だけ縦方向にも内側にある中央部の領域における画素である。図５（ａ）に示すように中央部に第１区分を設定すると、１９４０画素×１４２４画素の中央部の領域における画素について求めることができる。
【００９５】
したがって、この中央部を除いた周辺部分の画素の下地レベルＢＬ＿Ｔは、次にように決定する。すなわち、制御装置２６は、図１９（ａ）（ｂ）に示すように、周辺部分の画素の下地レベルＢＬ＿Ｔを中央部分の領域における最外辺の画素の下地レベルＢＬ＿Ｔをそのまま使用する。つまり、周辺部分のうち横方向の部分は、横方向における最外辺の各画素の下地レベルＢＬ＿Ｔを縦方向にそれぞれ延長してそのまま使用し、周辺部分のうち縦方向の部分は、縦方向における最外辺の各画素の下地レベルＢＬ＿Ｔを横方向にそれぞれ延長してそのまま使用し、周辺部分のうち角の部分は、最外辺の角の下地レベルを拡大してそのまま使用する。
【００９６】
このようにして制御装置２６は、総ての画素の下地レベルＢＬ＿Ｔを決定する。
【００９７】
次に、制御装置２６は、エッジ強調部５０を用いて、各画素の輝度Ｙデータにフィルタを用いてエッジ強調する（ステップ＃４９）。フィルタは、エッジ強調の程度によって最適なフィルタが選択されるが、例えば、図２０に示すように、対象画素を２倍し、対象画素に対し横方向および縦方向に隣接する画素を−１／４にするフィルタを使用する。
【００９８】
次に、制御装置２６は、下地飛ばし階調補正部４６を用いて、各画素に対して下地飛ばし補正特性を用いて下地飛ばし階調補正を行う（ステップ＃５０）。すなわち、下地飛ばし補正特性は、図２１に示すように、画素Ｔａ，ｂにおいて、零から画素Ｔａ，ｂの下地レベルＢＬ＿Ｔａ，ｂまでは入力Ｙｉｎを線形変換し、下地レベルＢＬ＿Ｔａ，ｂ以上では入力Ｙｉｎを最高の輝度レベル（例えば、２５６階調では２５５レベル）に変換する。すなわち、画素Ｔａｂの輝度Ｙデータは、画素Ｔａｂの下地レベルＢＬ＿Ｔａｂを閾値として線形変換するか可能な最高の輝度レベルに変換するかが決定される。したがって、この閾値は、画素に固有な値である。例えば、画素Ｔａｂの輝度Ｙデータは、入力輝度データＹｉｎ≦閾値ＢＬ＿Ｔａ，ｂの場合では、出力Ｙｏｕｔ＝（最高輝度階調値２５５×入力Ｙｉｎ）／ＢＬ＿Ｔａ，ｂと線形変換され、入力輝度データＹｉｎ＞閾値ＢＬ＿Ｔａ，ｂの場合では、出力Ｙｏｕｔ＝最高輝度階調値２５５と変換される。
【００９９】
次に、制御装置２６は、黒レベル引締め部５１を用いて、各画素に対して黒レベル引締め処理を行う（ステップ＃５１）。黒レベル引締め処理は、例えば、図２２に示す補正特性を用いて、輝度Ｙデータを変換する。黒レベル引締め処理に使用される補正特性は、図２２に示すように、閾値（図では一例として１４４）より小さい輝度Ｙデータの入力Ｙｉｎに対しては黒レベルに変換する特性である。
【０１００】
次に、制御装置２６は、ＲＧＢ／ＹＣｒＣｂ変換部４９を用いて、輝度Ｙ色差ＣｒＣｂデータをＲＧＢデータに式１５ないし式１７を用いて再変換する（ステップ＃５２）。
Ｒ＝Ｙ＋Ｃｒ ・・・ 式１５
Ｇ＝Ｙ−０．５１Ｃｒ−０．１９Ｃｂ ・・・ 式１６
Ｂ＝Ｙ＋Ｃｂ ・・・ 式１７
【０１０１】
次に、制御装置２６は、カード制御部２４などを用いて、画像データをメモリカード１３に格納し（ステップ＃５３）、ステップ＃１１の処理に戻る。
【０１０２】
以上のように、本実施形態にかかるディジタルカメラ１は、正方形ブロックで端数を生じることなく分割することができるように撮像画像を区分分けするので、下地飛ばし階調補正処理に必要な値をブロックごとに容易に求めることができる。このため、任意の画像サイズにおける文字画像に対して、ホワイトボードなどの白地部分に対する文字情報部分のコントラストを高くして文字情報の明瞭化を図るとともに照度ムラを低減して全体的に見やすくする画像処理を行うことができる。よって、描写性よりも情報の判読性の高い画質という、文字画像に対する要求に応えることができる。
（下地飛ばし補正処理不可能な画像、ＷＢ微調整不可能な画像、暗い下地の画像、濃い色の下地の画像または写真画像の場合における画像処理）
一方、下地飛ばし補正処理不可能な画像、ＷＢ微調整不可能な画像、暗い下地の画像、濃い色の下地の画像または写真画像の場合には、制御装置２６は、ＲＧＢ／ＹＣｒＣｂ変換部４９を用いて、画像データのＲＧＢデータを輝度Ｙと色差ＣｒＣｂとの各データに式３ないし式５を用いて変換する（ステップ＃６０）。
【０１０３】
次に、制御装置２６は、ＬＨ／ＬＳ演算部を用いて、ハイライトレベルＬＨおよびシャドーレベルＬＳを演算する（ステップ＃６１）。すなわち、制御装置２６は、まず、全画像領域において、階調を１／４にした６４階調のデータに輝度Ｙデータを変換する。次に、制御装置２６は、変換したこれら６４階調の輝度Ｙデータに対して、図２３に示すようなヒストグラムを作成する。次に、制御装置２６は、高輝度側である最高階級（６３）から度数を積算し、積算した度数が全度数の数パーセント（例えば１パーセント）を超えた時点の階級を求め、求めた階級の値を４倍にして２５６階調のデータに再変換し、これをハイライトレベルＬＨとする。次に、制御装置２６は、低輝度側である最低階級（０）から度数を積算し、積算した度数が全度数の数パーセント（例えば１パーセント）を超えた時点の階級を求め、求めた階級の値を４倍にして２５６階調のデータに再変換し、これをシャドーレベルＬＳとする。
【０１０４】
次に、制御装置２６は、階調拡大補正部５２を用いて、各画素に対して階調拡大補正特性を用いて階調拡大補正を行う（ステップ＃６２）。階調拡大補正特性は、図２４に示すように、零からシャドーレベルＬＳまでは入力Ｙｉｎを黒レベルに変換し、シャドーレベルＬＳからハイライトレベルまでは入力Ｙｉｎを線形変換し、ハイライトレベル以上では入力Ｙｉｎを最高の輝度レベル（例えば、２５６階調では２５５レベル）に変換する。
【０１０５】
次に、制御装置２６は、ＲＧＢ／ＹＣｒＣｂ変換部４９を用いて、輝度Ｙ色差ＣｒＣｂデータをＲＧＢデータに式１５ないし式１７を用いて再変換し（ステップ＃６３）、ステップ＃５２を処理する。
【０１０６】
このように本実施形態にかかるディジタルカメラ１は、下地飛ばし補正処理不可能な画像、ＷＢ微調整不可能な画像、暗い下地の画像、濃い色の下地の画像および写真画像の場合には、ステップ＃３３、ステップ＃３４およびステップ＃４０でそれぞれ自動的に判別され、ステップ＃６０ないしステップ６３によって適切な階調拡大補正処理がなされる。このため、このような画像の場合でも、本実施形態にかかるディジタルカメラ１は、階調のレンジ（本実施形態では２５６階調）を有効に活用して適切な階調で撮像画像を変換し、描写性の高い画質を得ることができる。
【０１０７】
なお、上述の実施形態では、ＲＧＢの画像データをＹＣｒＣｂの画像データに変換して輝度Ｙデータを用いて画像処理を行ったが、特開平１０−２１０２８７号公報に開示されているように、ＲＧＢの画像データのままでＧデータに基づいて照度ムラ補正用の特性を設定し、さらにＲおよびＢの照度ムラ補正用の特性を設定することによって画像処理を行ってもよい。
【０１０８】
また、上述の実施形態では、ディジタルカメラで撮影した画像データをリアルタイムで文書画像処理を行う実施形態を説明したが、予め文書画像を撮像した画像データまたはスチルカメラで文書画像を撮影した写真をスキャナなどの画像読取装置で読み取った画像データなどを画像処理装置で文書画像処理を行うようにしてもよい。画像読取装置は、例えば、画像メモリ２２、カード制御部２４、記憶部２５、コマンドなどを入力するキーボードやマウスなどの入力装置、画像や入力されたコマンドなどを表示するＬＣＤやＣＲＴなどの出力装置およびこれら画像メモリ２２、カード制御部２４、記憶部２５、入力装置および出力装置を制御すると共に図７ないし図９のステップ＃３１ないしステップ＃５３およびステップ＃６０ないしステップ＃６３を処理する制御装置２６を備えて構成する。あるいは、画像読取装置は、図７ないし図９のステップ＃３１ないしステップ５３およびステップ＃６０ないしステップ＃６３を処理するコンピュータプログラムを記録したコンピュータ読取可能な記憶媒体からインストールすることによってコンピュータを利用するようにしてもよい。コンピュータは、例えば、プログラムおよびプログラム実行中の各種データなどを記憶する記憶部と、コマンド（命令）や必要なデータなどを入力する入力部（例えばキーボードやマウスなど）と、画像や各種データなどを外部に出力する出力部（例えばディスプレイやプリンタなど）と、これら記憶部、入力部および出力部を制御すると共にプログラムの実行など各種演算処理を行うプロセッサとを備え、さらに、必要に応じて、補助記憶装置、外部記憶装置または通信インターフェースなどを備える。記憶媒体は、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤおよびメモリーカードなどである。文書画像処理対象の画像データは、メモリカードなどの記憶媒体に一端記憶させて画像処理装置に入力する。
【０１０９】
以上、本明細書に開示された主な発明を以下にまとめる。
（付記１） 画像の画像サイズを検出する画像サイズ検出手段と、前記画像サイズ検出手段の検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズの横方向および縦方向が前記所定ブロックの対応する方向の長さに対して整数倍となる第１区分と残余の第２区分とに前記画像を分ける区分け手段と、前記第１区分の画像において前記所定ブロックごとに画像処理するための前処理値を求める第１演算手段と、前記第１演算手段で求めた前処理値に基づいて前記第２区分の画像において端数ブロックごとに画像処理するための前処理値を求める第２演算手段と、前記第１および第２演算手段で求めた前処理値に基づいて前記画像を画像処理する画像処理手段とを備えることを特徴とする画像処理装置。
（付記２） 前記画像処理は、画像の階調を調整するシェーディング処理であることを特徴とする付記１に記載の画像処理装置。
（付記３） 前記前処理値は、画像の下地レベルであり、前記シェーディング処理は、前記下地レベルに基づいて画素ごとに閾値を設定し、画素の輝度レベルが前記閾値以上の場合には前記画素の輝度レベルを最高輝度レベルに画素ごとに変更する下地飛ばし階調補正処理を含むことを特徴とする付記２に記載の画像処理装置。
（付記４） 前記所定ブロックは、正方形であることを特徴とする付記１に記載の画像処理装置。
（付記５） 前記第２演算手段は、前記第１演算手段で求めた前処理値に基づいて前記第２区分の画像において端数ブロックごとに画像処理するための前処理値を線形外挿により求めることを特徴とする付記１に記載の画像処理装置。
（付記６） コンピュータに、画像の画像サイズを検出する第１ステップと、前記第１ステップの検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズの横方向および縦方向が前記所定ブロックの対応する方向の長さに対して整数倍となる第１区分と残余の第２区分とに前記画像を分ける第２ステップと、前記第１区分の画像において前記所定ブロックごとに画像処理するための前処理値を求める第３ステップと、前記第３ステップで求めた前処理値に基づいて前記第２区分の画像において端数ブロックごとに画像処理するための前処理値を求め第４ステップと、前記第３および第４ステップで求めた前処理値に基づいて前記画像を画像処理する第５ステップとを実行させるための画像処理プログラム。
（付記７） 前記画像処理は、画像の階調を調整するシェーディング処理であることを特徴とする付記６に記載の画像処理プログラム。
（付記８） 前記前処理値は、画像の下地レベルであり、前記シェーディング処理は、前記下地レベルに基づいて画素ごとに閾値を設定し、画素の輝度レベルが前記閾値以上の場合には前記画素の輝度レベルを最高輝度レベルに画素ごとに変更する下地飛ばし階調補正処理を含むことを特徴とする付記７に記載の画像処理プログラム。
（付記９） 前記所定ブロックは、正方形であることを特徴とする付記６に記載の画像処理プログラム。
（付記１０） 前記第４ステップは、前記第３ステップで求めた前処理値に基づいて前記第２区分の画像において端数ブロックごとに画像処理するための前処理値を線形外挿により求めることを特徴とする付記６に記載の画像処理プログラム。
（付記１１） 複数の光電変換素子から成る画素を有し、被写体光像を画像信号に光電変換して取り込む撮像手段と、前記撮像手段で取り込んだ画像信号に基づいて、画像の画像サイズを検出する画像サイズ検出手段と、前記画像サイズ検出手段の検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において前記所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズの横方向および縦方向が所定ブロックの対応する方向の長さに対して整数倍となる第１区分と残余の第２区分とに前記画像を分ける区分け手段と、前記第１区分の画像において前記所定ブロックごとに画像処理するための前処理値を求める第１演算手段と、前記第１演算手段で求めた前処理値に基づいて前記第２区分の画像において端数ブロックごとに画像処理するための前処理値を求める第２演算手段と、前記第１および第２演算手段で求めた前処理値に基づいて前記画像を画像処理する画像処理手段とを備えることを特徴とするディジタルカメラ。
（付記１２） 前記画像処理は、画像の階調を調整するシェーディング処理であることを特徴とする付記１０に記載のディジタルカメラ。
（付記１３） 前記前処理値は、画像の下地レベルであり、前記シェーディング処理は、前記下地レベルに基づいて画素ごとに閾値を設定し、画素の輝度レベルが前記閾値以上の場合には前記画素の輝度レベルを最高輝度レベルに画素ごとに変更する下地飛ばし階調補正処理を含むことを特徴とする付記１２に記載のディジタルカメラ。
（付記１４） 前記所定ブロックは、正方形であることを特徴とする付記１０に記載のディジタルカメラ。
（付記１５） 前記第２演算手段は、前記第１演算手段で求めた前処理値に基づいて前記第２区分の画像において端数ブロックごとに画像処理するための前処理値を線形外挿により求めることを特徴とする付記１０に記載のディジタルカメラ。
（付記１６） コンピュータに、画像の画像サイズを検出する第１ステップと、前記第１ステップの検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズの横方向および縦方向が前記所定ブロックの対応する方向の長さに対して整数倍となる第１区分と残余の第２区分とに前記画像を分ける第２ステップと、前記第１区分の画像において前記所定ブロックごとに画像処理するための前処理値を求める第３ステップと、前記第３ステップで求めた前処理値に基づいて前記第２区分の画像において端数ブロックごとに画像処理するための前処理値を求め第４ステップと、前記第３および第４ステップで求めた前処理値に基づいて前記画像を画像処理する第５ステップとを実行させるための画像処理プログラムが記録されたコンピュータ読取可能な記憶媒体。
【０１１０】
【発明の効果】
以上のように、本発明によれば、画像の画像サイズが横方向および縦方向の一方向または両方向が所定ブロックの対応する方向の長さに対して整数倍ではない場合には、画像の画像サイズが横方向および縦方向共に所定ブロックの対応する方向の長さに対して整数倍となる第１区分と残余の第２区分とに画像を区分分けするので、任意の画像サイズの画像に対して画像処理を施すことができる。
【０１１１】
さらに、本発明によれば、画像の画像サイズを所定ブロックの整数倍になるように第１区分を分けるので、この第１区分について従来のソフトウェアを用いて下地レベルを容易に求めることができる。そして、第２区分における下地レベルも第１区分における下地レベルを用いて求めることができるので、下地飛ばし階調補正処理を行うことができる。このため、画像がホワイトボードなどの上に書かれた文字などの情報を得る目的で撮られたとしても、文字などの情報が書かれたホワイトボードなどの下地部分の画像における照度ムラを軽減し、文字などの情報を明瞭化することができ、容易に情報を判読することができる。
【図面の簡単な説明】
【図１】本発明にかかる画像処理装置を搭載したディジタルカメラの外観を示す斜視図である。
【図２】本発明にかかる画像処理装置を搭載したディジタルカメラの背面図である。
【図３】本発明にかかる画像処理装置を搭載したディジタルカメラの構成を示すブロック図である。
【図４】本発明にかかる画像処理の概略のフローチャートを示す図である。
【図５】画像を第１区分と第２区分とに区分けする態様の一例を示す図である。
【図６】本発明にかかる画像処理装置を搭載したディジタルカメラのフローチャート（その１）を示す図である。
【図７】本発明にかかる画像処理装置を搭載したディジタルカメラのフローチャート（その２）を示す図である。
【図８】本発明にかかる画像処理装置を搭載したディジタルカメラのフローチャート（その３）を示す図である。
【図９】本発明にかかる画像処理装置を搭載したディジタルカメラのフローチャート（その４）を示す図である。
【図１０】ホワイトバランスを微調整する場合に使用する画像データを示す図である。
【図１１】正方形ブロックで分割する画像の中央部を示す図である。
【図１２】画像をエリアごとに分割した状況を説明する図である。
【図１３】或るエリアにおける６４階調の輝度Ｙデータに対するヒストグラムの一例を示す図である。
【図１４】画像を正方形ブロックごとに分割した状況を説明する図である。
【図１５】或る正方形ブロックにおける６４階調の輝度Ｙデータに対するヒストグラムの一例を示す図である。
【図１６】ブロックの下地レベルと端数ブロックの下地レベルとの関係を説明するための、画像のコーナ部分を示す図である。
【図１７】４個の正方形ブロックの各下地レベルから画素の下地レベルを線形内挿によって求める方法を説明する図である。
【図１８】線形内挿によって求める画素の下地レベルとセルとの関係を示す図である。
【図１９】画像の周辺部分の画素における下地レベルの決定方法を説明する図である。
【図２０】エッジ強調におけるフィルタの一例を示す図である。
【図２１】下地飛ばし階調補正に使用する補正特性の一例を示す図である。
【図２２】黒レベル引締め処理に使用する補正特性の一例を示す図である。
【図２３】画像の６４階調の輝度Ｙデータに対するヒストグラムの一例を示す図である。
【図２４】階調拡大補正に使用する補正特性の一例を示す図である。
【符号の説明】
１ ディジタルカメラ
１３ メモリカード
２２ 画像メモリ
２５ 記憶部
２６ 制御装置
４１ 画像サイズ判定部
４２ 区分分け・切出し部
４３ ブロック下地レベル決定部
４４ 端数ブロック下地レベル決定部
４５ 画素下地レベル決定部
４６ 下地飛ばし階調補正部
４７ ＬＨ／ＬＳ演算部
４８ ＷＢ微調整部
４９ ＲＧＢ／ＹＣｒＣｂ変換部
５０ エッジ強調部
５１ 黒レベル引締め部
５２ 階調拡大補正部
【特許請求の範囲】
【請求項１】
画像の画像サイズを検出する画像サイズ検出手段と、
前記画像サイズ検出手段の検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズの横方向および縦方向が前記所定ブロックの対応する方向の長さに対して整数倍となる第１区分と残余の第２区分とに前記画像を分ける区分け手段と、
前記第１区分の画像において前記所定ブロックごとに画像処理するための前処理値を求める第１演算手段と、
前記第１演算手段で求めた前処理値に基づいて前記第２区分の画像において端数ブロックごとに画像処理するための前処理値を求める第２演算手段と、
前記第１および第２演算手段で求めた前処理値に基づいて前記画像を画像処理する画像処理手段とを備えること
を特徴とする画像処理装置。
【請求項２】
前記画像処理は、
画像の階調を調整するシェーディング処理であること
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記前処理値は、画像の下地レベルであり、
前記シェーディング処理は、
前記下地レベルに基づいて画素ごとに閾値を設定し、画素の輝度レベルが前記閾値以上の場合には前記画素の輝度レベルを最高輝度レベルに画素ごとに変更する下地飛ばし階調補正処理を含むこと
を特徴とする請求項２に記載の画像処理装置。
【請求項４】
コンピュータに、画像の画像サイズを検出する第１ステップと、
前記第１ステップの検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズの横方向および縦方向が前記所定ブロックの対応する方向の長さに対して整数倍となる第１区分と残余の第２区分とに前記画像を分ける第２ステップと、
前記第１区分の画像において前記所定ブロックごとに画像処理するための前処理値を求める第３ステップと、
前記第３ステップで求めた前処理値に基づいて前記第２区分の画像において端数ブロックごとに画像処理するための前処理値を求め第４ステップと、
前記第３および第４ステップで求めた前処理値に基づいて前記画像を画像処理する第５ステップとを実行させるための画像処理プログラム。
【請求項５】
複数の光電変換素子から成る画素を有し、被写体光像を画像信号に光電変換して取り込む撮像手段と、
前記撮像手段で取り込んだ画像信号に基づいて、画像の画像サイズを検出する画像サイズ検出手段と、
前記画像サイズ検出手段の検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズの横方向および縦方向が前記所定ブロックの対応する方向の長さに対して整数倍となる第１区分と残余の第２区分とに前記画像を分ける区分け手段と、
前記第１区分の画像において前記所定ブロックごとに画像処理するための前処理値を求める第１演算手段と、
前記第１演算手段で求めた前処理値に基づいて前記第２区分の画像において端数ブロックごとに画像処理するための前処理値を求める第２演算手段と、
前記第１および第２演算手段で求めた前処理値に基づいて前記画像を画像処理する画像処理手段とを備えること
を特徴とするディジタルカメラ。
【請求項１】
画像の画像サイズを検出する画像サイズ検出手段と、
前記画像サイズ検出手段の検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズの横方向および縦方向が前記所定ブロックの対応する方向の長さに対して整数倍となる第１区分と残余の第２区分とに前記画像を分ける区分け手段と、
前記第１区分の画像において前記所定ブロックごとに画像処理するための前処理値を求める第１演算手段と、
前記第１演算手段で求めた前処理値に基づいて前記第２区分の画像において端数ブロックごとに画像処理するための前処理値を求める第２演算手段と、
前記第１および第２演算手段で求めた前処理値に基づいて前記画像を画像処理する画像処理手段とを備えること
を特徴とする画像処理装置。
【請求項２】
前記画像処理は、
画像の階調を調整するシェーディング処理であること
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記前処理値は、画像の下地レベルであり、
前記シェーディング処理は、
前記下地レベルに基づいて画素ごとに閾値を設定し、画素の輝度レベルが前記閾値以上の場合には前記画素の輝度レベルを最高輝度レベルに画素ごとに変更する下地飛ばし階調補正処理を含むこと
を特徴とする請求項２に記載の画像処理装置。
【請求項４】
コンピュータに、画像の画像サイズを検出する第１ステップと、
前記第１ステップの検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズの横方向および縦方向が前記所定ブロックの対応する方向の長さに対して整数倍となる第１区分と残余の第２区分とに前記画像を分ける第２ステップと、
前記第１区分の画像において前記所定ブロックごとに画像処理するための前処理値を求める第３ステップと、
前記第３ステップで求めた前処理値に基づいて前記第２区分の画像において端数ブロックごとに画像処理するための前処理値を求め第４ステップと、
前記第３および第４ステップで求めた前処理値に基づいて前記画像を画像処理する第５ステップとを実行させるための画像処理プログラム。
【請求項５】
複数の光電変換素子から成る画素を有し、被写体光像を画像信号に光電変換して取り込む撮像手段と、
前記撮像手段で取り込んだ画像信号に基づいて、画像の画像サイズを検出する画像サイズ検出手段と、
前記画像サイズ検出手段の検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズの横方向および縦方向が前記所定ブロックの対応する方向の長さに対して整数倍となる第１区分と残余の第２区分とに前記画像を分ける区分け手段と、
前記第１区分の画像において前記所定ブロックごとに画像処理するための前処理値を求める第１演算手段と、
前記第１演算手段で求めた前処理値に基づいて前記第２区分の画像において端数ブロックごとに画像処理するための前処理値を求める第２演算手段と、
前記第１および第２演算手段で求めた前処理値に基づいて前記画像を画像処理する画像処理手段とを備えること
を特徴とするディジタルカメラ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２００４−４０３７９（Ｐ２００４−４０３７９Ａ）
【公開日】平成１６年２月５日（２００４．２．５）
【国際特許分類】
【出願番号】特願２００２−１９３３６３（Ｐ２００２−１９３３６３）
【出願日】平成１４年７月２日（２００２．７．２）
【出願人】（０００００６０７９）ミノルタ株式会社 (155)
【Ｆターム（参考）】
【公開日】平成１６年２月５日（２００４．２．５）
【国際特許分類】
【出願日】平成１４年７月２日（２００２．７．２）
【出願人】（０００００６０７９）ミノルタ株式会社 (155)
【Ｆターム（参考）】
[ Back to top ]