画像処理装置、画像処理プログラムおよびディジタルカメラ
【課題】本発明は、解像度変換後の画像から画像処理に必要な前処理値を求めることによって、任意の画像サイズの画像について、文字などの情報が明瞭になるように画像処理し得る画像処理装置、画像処理プログラムおよびディジタルカメラに関する。
【解決手段】本発明にかかる画像処理装置は、画像の画像サイズを検出する画像サイズ判定部４１と、判定結果に基づいて、画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に整数倍となるように画像サイズを変換する画像サイズ変倍部４２と、変換した画像において所定ブロックごとに画像処理するための前処理値を各々求めるブロック下地レベル決定部４３と、求めた前処理値に基づいて元画像を画像処理する制御装置２６の各部４４〜５２とを備えて構成される。
【解決手段】本発明にかかる画像処理装置は、画像の画像サイズを検出する画像サイズ判定部４１と、判定結果に基づいて、画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に整数倍となるように画像サイズを変換する画像サイズ変倍部４２と、変換した画像において所定ブロックごとに画像処理するための前処理値を各々求めるブロック下地レベル決定部４３と、求めた前処理値に基づいて元画像を画像処理する制御装置２６の各部４４〜５２とを備えて構成される。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置に関し、特に、解像度変換後の画像から画像処理に必要な前処理値を求めることによって、任意の画像サイズの画像について、文字などの情報が明瞭になるように画像処理し得る画像処理装置に関する。さらに、該画像処理装置に適用される画像処理プログラムおよび該画像処理装置を搭載したディジタルカメラに関する。
【０００２】
【従来の技術】
近年、ディジタルカメラは、撮影後の現像処理が不要なことや画像処理により撮影した画像を様々な画像に容易に変更することができることなどから、急速に普及し始めている。ディジタルカメラは、この画像処理が容易という利点から、通常の写真撮影のためだけでなく、例えば、会議場や展示場などでホワイトボードやパネルなどに書かれた文字や図形などの情報を記録するための機器としても利用されている。このようなディジタルカメラの利用法では、ホワイトボードなどの上の情報を記録することが専ら主目的であるから、情報部分が認識できることが重要である。
【０００３】
しかしながら、ホワイトボードなどは、例えば天井灯や窓外の太陽光などによって照明される場合のように、たいてい多方向から照明される。そのため、照明光の不均一により照度ムラが生じてしまって、ホワイトボードなどの上の情報が不明瞭となってしまう場合がある。
【０００４】
そこで、本願発明者の一人は、カラー画像で撮影した場合にも適正に照度ムラ補正を行い、ホワイトボードなどの上に書かれた文字等の情報を明瞭にすることができる技術について、特願平９−１３０２０号で提案し特開平１０−２１０２８７号公報で開示された。この技術は、画像を所定の画像数より成る正方形のブロックに複数に分割し、各ブロックごとに輝度レベルを統計処理することによって画素ごとに閾値を決定し、画素の輝度レベルがこの閾値以上の場合には輝度レベルを白色飽和レベルに飛ばすことによってホワイトボードなどの画像部分を白色飽和レベルに階調補正して、ホワイトボードなどの上に書かれた文字等の情報を明瞭にするものである。このように画像処理を行うため、画像サイズは、アプリケーションソフトの設計の容易性やコストダウンの要請などから、ちょうど所定画素数の正方形ブロックで分割することができる画像サイズに限定していた。
【０００５】
【発明が解決しようとする課題】
ところで、画像処理したい画像が、机や壁などの背景がホワイトボードの周囲に写っている画像である場合や、ユーザ（使用者）が取り出したい情報の部分を全体画像から切り出した画像である場合や、ユーザがホワイトボードなどの上の情報を記録する際に限定した画像サイズ以外の画像サイズで撮像した画像である場合などがある。このような場合には、画像サイズが限定した画像サイズに成り難く、そのまま上述の画像処理を行うと所定画素数の正方形ブロックで分割する際に端数が生じてしまう。例えば、１５５０画素×１１４０画素の画像を１００画素の正方形ブロックで分割する場合では、１５５０画素×１１４０画素のうち１５００画素×１１００画素の部分は、この正方形ブロックで分割できるが残余の部分が正方形ブロックに分割することができずに端数として残ってしまう。そのため、従来の技術は、このような画像を取り扱うことができないという問題があった。
【０００６】
そこで、本発明では、上述の問題に鑑みて為された発明であり、任意の画像サイズの画像でも適正に画像処理を行い、ホワイトボードなどの上に書かれた文字等の情報を明瞭にすることができる画像処理装置を提供することを目的とする。そして、この画像処理装置に採用されている画像処理プログラムおよびこの画像処理装置を搭載したディジタルカメラを提供することを目的とする。
【０００７】
【課題を解決するための手段】
上述の目的を達成するために、本発明にかかる画像処理装置は、画像の画像サイズを検出する画像サイズ検出手段と、前記画像サイズ検出手段の検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズが横方向および縦方向共に前記所定ブロックの対応する方向の長さに対して整数倍となるように、前記画像の画像サイズを変換する画像サイズ変換手段と、前記画像サイズ変換手段で変換した画像において前記所定ブロックごとに画像処理するための前処理値をそれぞれ求める演算手段と、前記演算手段で求めた前処理値に基づいて前記画像を画像処理する画像処理手段とを備えて構成される。
【０００８】
そして、本発明にかかる画像処理プログラムは、コンピュータに、画像の画像サイズを検出する第１ステップと、前記第１ステップの検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズが横方向および縦方向共に前記所定ブロックの対応する方向の長さに対して整数倍となるように、前記画像の画像サイズを変換する第２ステップと、前記第２ステップで変換した画像において前記所定ブロックごとに画像処理するための前処理値をそれぞれ求める第３ステップと、前記第３ステップで求めた前処理値に基づいて前記画像を画像処理する第４ステップとを実行させるように構成される。
【０００９】
また、本発明にかかるディジタルカメラは、複数の光電変換素子から成る画素を有し、被写体光像を画像信号に光電変換して取り込む撮像手段と、前記撮像手段で取り込んだ画像信号に基づいて、画像の画像サイズを検出する画像サイズ検出手段と、前記画像サイズ検出手段の検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズが横方向および縦方向共に前記所定ブロックの対応する方向の長さに対して整数倍となるように、前記画像の画像サイズを変換する画像サイズ変換手段と、前記画像サイズ変換手段で変換した画像において前記所定ブロックごとに画像処理するための前処理値をそれぞれ求める演算手段と、前記演算手段で求めた前処理値に基づいて前記画像を画像処理する画像処理手段とを備えて構成される。
【００１０】
このような構成の画像処理装置、画像処理プログラムおよびディジタルカメラは、画像の画像サイズが横方向および縦方向の一方向または両方向が所定ブロックの対応する方向の長さに対して整数倍ではない場合には、画像の画像サイズが横方向および縦方向共に所定ブロックの対応する方向の長さに対して整数倍となるように、画像の画像サイズを変換するので、画像処理に必要な前処理値を既存のソフトウェアを用いて所定ブロックごとに容易に求めることができる。このため、この前処理値に基づいて、任意の画像サイズの画像に対して画像処理を行うことができる。そして、画像処理は、画像サイズを変換する前の元の画像に対して行うので、画像劣化を抑制することができる。
【００１１】
さらに、上述の画像処理装置において、好ましくは、前記画像処理は、画像の階調を調整するシェーディング処理である。このような画像処理装置は、画像の階調を調整するので、再現性の良い画像を得ることができる。
【００１２】
また、この画像処理装置において、好ましくは、前記前処理値は、画像の下地レベルであり、前記シェーディング処理は、前記下地レベルに基づいて画素ごとに閾値を設定し、画素の輝度レベルが前記閾値以上の場合には前記画素の輝度レベルを最高輝度レベルに画素ごとに変更する下地飛ばし階調補正処理を含む。このような画像処理装置は、下地飛ばし階調補正処理を行うので、画像がホワイトボードなどの上に書かれた文字などの情報を得る目的で撮られた場合に、文字などの情報が書かれたホワイトボードなどの下地部分の画像における照度ムラを軽減し、文字などの情報を明瞭化するので、容易に情報を判読することができる。
【００１３】
【発明の実施の形態】
以下、本発明に係る実施形態を図面に基づいて説明する。なお、各図において同一の構成については、同一の符号を付し、その説明を省略する。
（実施形態の構成）
図１は、本発明にかかる画像処理装置を搭載したディジタルカメラの外観を示す斜視図である。図２は、本発明にかかる画像処理装置を搭載したディジタルカメラの背面図である。図３は、本発明にかかる画像処理装置を搭載したディジタルカメラの構成を示すブロック図である。
【００１４】
図１に基づいて外観を概説すると、ディジタルカメラ１は、前面の略中央に撮影レンズ２が配設され、その上部にアクティブ測距方式により被写体距離を測定するための投光窓４と受光窓５とが配設され、両窓の間に被写体の輝度を測定するための測光窓３が配設されている。また、投光窓４の左側にファインダー対物窓６が配設され、受光窓５の右側に閃光部７が配設されている。
【００１５】
撮影レンズ２は、ズームレンズやフォーカスレンズを備えて構成され、被写体からの光を後述の撮像部２０に適切な光量および合焦点で導光する撮像光学系である。投光窓４は、被写体に対して赤外光を照射する窓であり、受光窓５は、この赤外光が被写体によって反射した反射光を受光する窓である。なお、本実施の形態では測距方式としてアクティブ測距方式を採用しているが、パッシブ測距方式でもよい。閃光部７は、被写体からの光量が不足する場合などに被写体を照明する閃光を撮像動作に合わせて発光するフラッシュである。
【００１６】
ディジタルカメラ１の側面には、画像データを記憶するためのメモリカード１３が装着脱されるカード挿入口８が設けられ、このカード挿入口８の上部にメモリカード１３をイジェクトするためのカード取出ボタン９が設けられている。撮影結果を印刷する場合、カード取出ボタン９を押してメモリカード１３をディジタルカメラ１から取り外し、メモリカードが装着可能なプリンタにこのメモリカード１３を装着することによってプリントアウトすることができる。あるいは、プリンタが接続され、メモリカードが装着可能なパーソナルコンピュータ（以下、「パソコン」と略記する。）にこのメモリカード１３を装着することによってプリントアウトすることもできる。さらに、メモリカードが装着可能なパソコンにこのメモリカード１３を装着することによって、他のディジタルカメラやスキャナで生成した画像データを記憶することもできる。
【００１７】
なお、ディジタルカメラ１にＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）のインターフェースを設け、ディジタルカメラ１とプリンタまたはパソコンとをＵＳＢのケーブルで接続することでディジタルカメラ１からプリンタまたはパソコンに画像データを直接転送させて撮影画像を印刷させるようにしてもよい。
【００１８】
また、本実施形態では画像データの記録媒体としてＰＣＭＣＩＡ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｍｅｍｏｒｙ Ｃａｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ａｓｓｏｃｉａｔｉｏｎ）準拠のメモリカードを採用しているが、撮影結果を画像データとして記録することができる記憶媒体であればよく、ハードディスクカード、ミニディスク（ＭＤ；Ｍｉｎｉ−Ｄｉｓｋ）およびＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）などの他の記録媒体でもよい。
【００１９】
ディジタルカメラ１の上面には左端部にシャッタボタン１０が設けられ、右端部にズームスイッチ１１と撮影／再生スイッチ１２とが設けられている。シャッタボタン１０は、後述の制御装置２６に接続され、半押しで焦点距離調節および露出制御値設定等の撮影準備を指示するＳ１スイッチがＯＮになり、全押しでレリーズを指示するＳ２スイッチがＯＮになる操作ボタンである。ズームスイッチ１１は、制御装置２６に接続され、左右にスライド可能な３接点スイッチから成り、ズームスイッチ１１をＴ（ＴＥＬＬ）側にスライドさせると望遠側に、また、Ｗ（ＷｌＤＥ）側にスライドさせると広角側に、撮影レンズ２のズーム比を連続的に変更することができる。
【００２０】
撮影／再生スイッチ１２は、制御装置２６に接続され、撮影モードと再生モードとを切換設定するスイッチである。撮影／再生スイッチ１２は、左右にスライド可能な２接点切換スイッチから成り、撮影／再生スイッチ１２が撮影（ＲＥＣ）側に設定されていると、撮像部２０で撮像されている画像がＬＣＤ表示部１８にモニタ表示されると共に被写体の撮影が可能になり、再生（ＰＬＡＹ）側に設定されていると、メモリカード１３に記録された画像データをＬＣＤ表示部１８（図２参照）へ表示が可能になる。そして、再生側に設定されている場合に、図略のスイッチを操作することによりＬＣＤ表示部１８に表示した画像に対して後述の画像処理の開始を指示することができる。
【００２１】
そして、図２において、ディジタルカメラ１の背面には、電源投入用のメインスイッチ１４が背面上部の左端部に設けられ、ＬＣＤ表示部１８が背面の略中央に設けられ、ファインダー接眼窓１５が背面上部の右端部に設けられている。また、メインスイッチ１４の下部に撮影モード設定スイッチ１６と解像度選択スイッチ１７とが設けられている。
【００２２】
撮影モード設定スイッチ１６は、制御装置２６に接続された撮影モードを選択するスイッチであり、例えば、操作ボタンが左右にスライドするオン／オフスイッチで構成される。撮影モード設定スイッチ１６がオフ（ＯＦＦ、開）の場合には、通常撮影モードであることを示し、撮影モード設定スイッチ１６がオン（ＯＮ、閉）の場合には、文字画撮影モードであることを示す。
【００２３】
解像度選択スイッチ１７は、制御装置２６に接続された撮像画像の解像度を選択するスイッチである。解像度選択スイッチ１７は、例えば、押しボタン式スイッチで構成され、スイッチが押されるごとに画像サイズが変更され、変更された画像サイズの情報がＬＣＤ表示部１８に表示される。例えば、解像度選択スイッチ１７が押されるごとに、２５６０画素×１９２０画素のスーパーファインから順次に１９６０画素×１４４０画素のファイン、１２８０画素×９６０画素のスタンダードおよび６４０画素×４８０画素のエコノミーに変更され、そして、更に押されるとスーパーファインに戻る。
【００２４】
また、ＬＣＤ表示部１８は、撮影画像の表示だけでなく、撮影モードか再生モードかの表示や通常撮影モードか文字画撮影モードかの表示などのディジタルカメラ１の撮影設定状態なども表示される。なお、ＬＣＤ表示部１８は、液晶ではなく有機ホトルミネセンスなどを利用した表示装置でもよい。
【００２５】
そして、図３に基づいてディジタルカメラ１の構成を説明すると、ディジタルカメラ１は、撮像部２０、アナログ／ディジタル変換部（以下、「Ａ／Ｄ」と略記する。）２１、画像メモリ２２、メモリカード１３、撮像部駆動部２３、カード制御部２４、記憶部２５、制御装置２６、測距部２８、ズーム駆動部３０、レンズ駆動部３１、絞り駆動部３２、撮影モード設定スイッチ１６、シャッタボタン１０、撮影／再生スイッチ１２、発光制御部３３、ＬＣＤ駆動部３４、測光部３５、撮影レンズ２、絞り３６、解像度設定スイッチ１７、ズームスイッチ１１、閃光部７およびＬＣＤ表示部１８を備えて構成される。そして、制御装置２６は、画像サイズ判定部４１、画像サイズ変倍部４２、ブロック下地レベル決定部４３、ブロック下地レベル割当部４４、画素下地レベル決定部４５、下地飛ばし階調補正部４６、ＬＨ／ＬＳ演算部４７、ホワイトバランス（以下、「ＷＢ」と略記する。）微調整部４８、ＲＧＢ／ＹＣｒＣｂ変換部４９、エッジ強調部５０、黒レベル引締め部５１、階調拡大補正部５２、ＡＦ制御値演算部５３および露出制御値演算部５４を備えて構成される。ここで、画像処理装置に相当する部分は、画像メモリ２２、カード制御部２４、記憶部２５および制御装置２６を備えて構成される部分である。
【００２６】
撮像部駆動部２３は、制御装置２６から入力される露出制御値のシャッタスピードに基づいて撮像部２０の撮像動作を制御する。撮像部２０は、複数の光電変換素子から成る画素を有し、撮像部駆動部２３から入力される制御信号に基づき撮像動作（電荷蓄積動作）を行うことによって、被写体光像をＲ，Ｇ，Ｂの各色成分の画像信号に光電変換して、この画像信号を時系列信号に変換しＡ／Ｄ２１に出力する。撮像部２０は、例えば、カラーエリアセンサのＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）の固体撮像素子を備えて構成される。
【００２７】
Ａ／Ｄ２１は、撮像部２０から生成されたアナログの画像信号を例えば８ビットのディジタルの画像信号（画像データ）に変換し、画像データを画像メモリ２２に出力する。画像メモリ２２は、制御装置２６に接続され、画像処理を行うために画像データを一時的に記憶するメモリであり、後述の画像処理を行った後に画像データをメモリカード１３に出力する。画像メモリ２２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を備えて構成され、後述の画像処理を行うことができ得る容量、例えば、一括処理する観点から、元の画像と変倍後の撮像画像との画像データを記憶可能な容量である。
【００２８】
カード制御部２４は、画像データを記録するべく制御装置２６の制御信号に基づいてメモリカード１３の駆動を制御する。記憶部２５は、制御装置２６に接続され、ディジタルカメラ１を動作させるために必要な各種プログラムやプログラム実行中のデータなどの各種データを記憶するメモリである。記憶部２５は、例えば、ＲＡＭやＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を備えて構成される。
【００２９】
測距部２８は、投光窓４の後方位置に設けられた赤外光を発光する投光部２７と、受光窓５の後方位置に設けられた被写体で反射した赤外光を受光する受光部２９とを備えて構成され、制御装置２６からの制御信号に基づいて被写体距離を検出し、検出結果を制御装置２６に出力する。測光部３５は、測光窓３の後方位置に設けられたＳＰＤなどの受光素子を備えて構成され、制御装置２６からの制御信号に基づいて被写体の輝度を測光し、測光結果を制御装置２６に出力する。
【００３０】
ズーム駆動部３０は、制御装置２６から入力される駆動信号に基づき撮影レンズ２のズーム動作を制御する。レンズ駆動部３１は、制御装置２６から入力されるＡＦ制御値に基づき撮影レンズ２の合焦動作を制御する。また、絞り駆動部３２は、制御装置２６から入力される露出制御値の絞り値Ａｖに基づき絞り３６の開口量を制御する。ＬＣＤ駆動部３４は、制御装置２６の制御信号に基づいて、画像メモリ２２における画像データやディジタルカメラ１の撮影設定状態などをＬＣＤ表示部１８に表示する制御を行う。発光制御部３３は、制御装置２６の制御信号に基づいて閃光部７の発光を制御する。
【００３１】
制御回路２６は、マイクロプロセッサなどを備えて構成され、後述するように各部４１〜５４によってディジタルカメラの撮影動作および画像処理などを集中制御する。画像サイズ判定部４１は、被写体を撮像することによって生成された画像データの大きさを検出し、画像処理可能な画像サイズか？、下地飛ばし階調補正処理可能な画像サイズか？、ＷＢ微調整可能な画像サイズか？および変倍処理の必要な画像サイズか？を判定する。画像サイズ変倍部４２は、画像データを所定の画像サイズに拡大または縮小する変倍処理を行う。ブロック下地レベル決定部４３は、統計処理によりエリアの下地レベルを演算した後にブロックの下地レベルを演算する。ブロック下地レベル割当部４４は、元画像のブロックと変倍後のブロックとの対応関係に基づいて、変倍後の画像から求めた各ブロックの下地レベルを元画像の各ブロックにそれぞれ割り当てる。画素下地レベル決定部４５は、ブロック下地レベル割当部４４で割り当てられたブロックの下地レベルに基づいて画素の下地レベルを演算する。下地飛ばし階調補正部４６は、照度ムラを軽減し画像の下地部分を明瞭にすべく、画素の下地レベルに基づく特性曲線によって画素の輝度レベルを変換する。ＬＨ／ＬＳ演算部４７は、統計処理により画像のハイライトレベルＬＨおよびシャドーレベルＬＳを演算する。ＷＢ微調整部４８は、所定の演算式に基づいて画像のＷＢを調整する。ＲＧＢ／ＹＣｒＣｂ変換部４９は、ＲＧＢデータをＹＣｒＣｂデータに、そして、ＹＣｒＣｂデータをＲＧＢデータに所定の演算式に基づいて変換する。エッジ強調部５０は、フィルタを用いて画像のエッジを強調する。黒レベル引締め部５１は、画像の文字などの情報を明瞭にすべく、所定の特性曲線に基づいて画素の輝度レベルを変換する。階調拡大補正部５２は、画像のハイライトレベルＬＨおよびシャドーレベルＬＳに基づく特性曲線によって画像の階調を伸長する。ＡＦ制御値演算部５３は、測距部２８の出力に基づいて被写体からの光が撮像部２０の撮像素子に結像するように撮影レンズ２のフォーカスレンズの駆動量を演算する。露出制御値演算部５４は、測光部３５の出力に基づいてプログラム制御により絞り値Ａｖおよび露光時間Ｔｖを演算する。
【００３２】
（実施形態の動作）
次に、本発明にかかる画像処理装置を搭載したディジタルカメラの動作について概略を説明した後に詳細に説明する。まず、概略を説明する。
【００３３】
図４は、本発明にかかる画像処理の概略のフローチャートを示す図である。
【００３４】
図４において、まず、画像処理の対象となる画像データを取り込む（ステップ＃１）。画像データは、例えば、その場で被写体を撮像した画像データでもよいし、予めディジタルカメラで被写体を撮像しメモリカード１３に格納した画像データでもよいし、スチルカメラで被写体を写した写真をスキャナなどの画像読取装置で画像データ化しパソコンを介してメモリカード１３に格納した画像データでもよい。
【００３５】
次に、制御装置２６は、文書画像処理を行い得るか否かの観点から、画像データの画像サイズおよび画像を判断し、ホワイトボードなどの上に書かれた文字などの情報を撮像した文字画等である場合にはステップ＃３の処理を行い、一方、文字画等以外の画像である場合にはステップ＃９の処理を行う（ステップ＃２）。
【００３６】
ステップ＃３において、制御装置２６は、画像データを変倍する必要があるか否かの変倍の要否を判断し、画像の画像サイズがブロックサイズの整数倍でない場合にはステップ＃４の処理を行った後にステップ＃５の処理を行い、画像サイズがブロックサイズの整数倍である場合にはステップ＃５の処理を行う。例えば、画像の画像サイズが１９６０画素×１４４０画素でブロックが１２８画素の正方形ブロックの場合には、横方向に４０画素分、縦方向に３２画素分だけ端数の部分が生じることになり、変倍処理が必要となる。
【００３７】
ステップ＃４の変倍処理は、画像データの画素数が横方向および縦方向共にブロックにおける各辺の画素数の整数倍になるように画像サイズを拡大または縮小して変更する。例えば、画像データを横方向に２０４８／１９６０倍、縦方向に１５３６／１４４０倍にそれぞれ拡大することにより、２０４８画素×１５３６画素の画像データを生成する。
【００３８】
ステップ＃５において、制御装置２６は、下地飛ばし階調補正処理を行うために必要な前処理値としてブロックごとにブロックの下地レベルを求める。下地飛ばし階調補正処理は、後に詳述するが、文字等の情報がより明瞭となるように、画素ごとに輝度レベルが所定の閾値以上の場合には最高輝度レベルに変更する処理である。この所定の閾値は、ブロックの下地レベルに基づいて算出されるので、下地飛ばし階調補正処理の前処理として先ずこのブロックの下地レベルを求める必要がある。
【００３９】
次に、制御装置２６は、前処理値としてブロックの下地レベルを求めた画像データが変倍済みであるか否かを判断し（ステップ＃６）、未変倍である場合にはステップ＃８を行い、一方、変倍済みである場合には、変倍後の画像を元画像の画像サイズとなるように再変倍し、元画像のブロックと再変倍後のブロックとの対応関係に基づいて、ステップ＃５で変倍後の画像から求めた各ブロックの下地レベルを元画像の各ブロックにそれぞれ割り当てる（ステップ＃７）。
【００４０】
ステップ＃８において、制御装置２６は、各ブロックの下地レベルに基づいて下地飛ばし階調補正処理で用いる所定の閾値を画素ごとに求め、下地飛ばし階調補正処理、エッジ強調処理、および、所定の閾値以下の輝度レベルを黒レベルに変換する黒レベル引締め処理の文書画像処理を元画像に対して行う。このように元画像の画像サイズがブロックサイズの整数倍でない場合でもステップ＃４の変倍処理とステップ＃７のブロックの下地レベルの割当て処理とにより各ブロックの下地レベルを求めることができるので、任意の画像サイズの画像に対して下地飛ばし階調補正処理を行うことができる。そして、下地飛ばし階調補正処理は、変倍後の画像ではなく元画像に対して行うので、画像劣化を軽減することができる。
【００４１】
一方、ステップ＃９において、文字画等以外の画像の画像データに対し、階調拡大補正などの通常の画像処理を行い、処理を終了する。
【００４２】
次に、本発明にかかる画像処理装置を搭載したディジタルカメラの動作について詳細に説明する。図５ないし図８は、本発明にかかる画像処理装置を搭載したディジタルカメラのフローチャートを示す図である。
【００４３】
（撮像時の動作）
図５ないし図８において、撮影をしようと思いユーザが撮影／再生スイッチ１２を撮影側に設定すると共にメインスイッチ１４をオンにすると、ディジタルカメラ１が起動し、制御装置２６は、記憶部に格納されているプログラムを読み込んで実行し、必要な初期化をディジタルカメラ１の各部に行って撮影可能な状態となる。ユーザは、ＬＣＤ表示部１８の解像度表示を参照しながら解像度選択スイッチ１７を押すことによって所望の解像度を設定する（ステップ＃１０）。この状態で制御装置２６は、ズームスイッチ１１が操作されているか否かを判断する（ステップ＃１１）。
【００４４】
判断の結果、ズームスイッチ１１が操作されている場合には、制御装置２６は、その操作方向および操作量に応じて撮影レンズ２内のズームレンズをズーム駆動部３０で駆動することによってズーム比を変更し、その後ステップ＃１３の処理を行う（ステップ＃１２）。一方、判断の結果、ズームスイッチ１１が操作されていない場合には、制御装置２６は、撮影レンズ２内のズームレンズを駆動することなくそのままの状態でステップ＃１３の処理を行う。
【００４５】
ステップ＃１３において、制御装置２６は、シャッタボタン１０が半押しされてＳ１スイッチがオンであるか否かを判断する。判断の結果、Ｓ１スイッチがオフである場合には、制御装置２６は、処理をステップ＃１１に戻す。一方、判断の結果、Ｓ１スイッチがオンである場合には、制御装置２６は、ステップ＃１４に移行し、撮影準備のための処理を行う。
【００４６】
すなわち、ステップ＃１４において、制御装置２６は、測距部２８の投光部２７から被写体に向けて測距用の赤外光を投光させ、その赤外光が被写体によって反射した反射光を測距部２８の受光部２９で受光することによって、測距用のデータを取り込み、被写体距離を演算する。
【００４７】
次に、制御装置２６は、撮影モード設定スイッチ１６が何れに操作されているかを判断することによって撮影モードを判断する（ステップ＃１５）。判断の結果、文字画撮影モードである場合には、制御装置２６は、発光制御部３３に発光禁止の制御信号を出力することによって閃光部７の発光を禁止し（ステップ＃１６）、ステップ＃１７の処理を行う。一方、判断の結果、通常撮影モードである場合には、制御装置２６は、ステップ＃１７の処理を行う。文字画撮影モードである場合に閃光部７の発光を禁止するのは、例えば、ホワイトボードに対して正面から撮影するシーンでは閃光部７が自動発光される可能性があるが、この撮影シーンでは、閃光がホワイトボ一ドで全反射されて撮像画像の文字が判読不能になる虞れがあるからである。
【００４８】
ステップ＃１７において、制御装置２６は、ＡＦ制御値演算部５３を用いて、被写体距離に基づいて撮影レンズ２のフォーカスレンズを合焦位置に設定するレンズ駆動量を演算し（ステップ＃１７）、そして、露出制御値演算部５４を用いて、測光部３５で検出された測光データに基づいて露出制御値を演算する（ステップ＃１８）。これにより撮影準備処理は、終了してレリーズ待機状態となる。
【００４９】
このレリーズ待機状態で、制御装置２６は、シャッタボタン１０が全押しされてＳ２スイッチがオンであるか否かを判断する（ステップ＃１９）。判断の結果、シャッタボタン１０が全押しされてＳ２スイッチがＯＮである場合には、制御装置２６は、レリーズ動作を行う。一方、判断の結果、シャッタボタン１０が全押しされていない場合には、制御装置２６は、さらにシャッタボタン１０が半押されＳ１スイッチがオンであるか否かを判断する（ステップ＃２０）。判断の結果、Ｓ１スイッチがオンである場合（シャッタボタン１０の半押し状態が継続している場合）には、制御装置２６は、処理をステップ＃１９に戻してレリーズ待機状態を継続し、一方、Ｓ１スイッチがオフである場合には、制御装置２６は、処理をステップ＃１１に戻す。
【００５０】
レリーズ動作に移行すると、制御装置２６は、まず、レンズ駆動量のデータをレンズ駆動部３１に出力して撮影レンズ２の焦点調節を行い（ステップ＃２１）、露出制御値の絞り値Ａｖのデータを絞り駆動部３２に出力して絞り３６の開口量を調節する（ステップ＃２２）。そして、制御装置２６は、ステップ＃１８で得られた露光時間に対応させて撮像部２０の撮像素子を露光して電荷を蓄積することによって被写体を撮像し、撮像素子で得られた信号に周知の通常の処理を行って、Ａ／Ｄ２１を介して、解像度選択スイッチ１７で設定された画像サイズの画像データを画像メモリ２２に格納する（ステップ＃２３）。
【００５１】
（画像処理の動作）
次に、制御装置２６は、画像サイズ判定部４１を用いて、画像の各辺に相当する画素を計数するなどによって、格納した画像データが処理可能な画像サイズか否か判断する（ステップ＃３１）。画像サイズによって処理の可否を判断するのは、文字画像として画像処理（下地飛ばし階調補正処理）を行う場合でも写真画像として画像処理（階調拡大処理）を行う場合でも、後述するように画像データを統計処理するので、統計処理の性質上或る精度を得るためには、その精度に対応したデータ数が必要だからである。したがって、判断の結果、制御装置２６は、生成した画像データが必要なデータ数未満の場合、例えば、４８０画素×４８０画素未満の場合には、文字画像処理を行うことができない旨の警告表示をＬＣＤ表示部１８に表示して（ステップ＃３２）、処理をステップ＃１１に戻す。
【００５２】
一方、判断の結果、制御装置２６は、生成した画像データが必要なデータ数以上の場合には、画像サイズ判定部４１を用いて、生成した画像データが下地飛ばし階調補正処理可能な画像サイズか否か判断する（ステップ＃３３）。下地飛ばし階調補正処理は、後述するように、画像データを複数のブロックに分割してブロックごとに処理するが、或るブロックを処理する場合に当該ブロックの周囲の情報も考慮して処理を行う。このため、必要数のブロックが横方向および縦方向に無いと充分な精度で下地飛ばし階調補正処理を行うことができない。したがって、判断の結果、制御装置２６は、生成した画像データが必要なデータ数未満の場合、例えば、短辺が６４０画素未満の場合には、写真画像として画像処理すべくステップ＃６０の処理を行う。
【００５３】
一方、判断の結果、制御装置２６は、生成した画像データが必要なデータ数以上の場合には、画像サイズ判定部４１を用いて、ＷＢ微調整が可能な画像サイズであるか否かを判断する（ステップ＃３４）。ＷＢ微調整は、図９に示すように、横方向および縦方向ともに８０パーセントに当たる画像６０の中央部（図９における斜線部分、ゲイン演算領域６１）における画素を用いて行うため、この画素数が画像６０全体の画素数に対し数パーセント未満の割合、例えば５パーセント未満の割合である場合には、使用する画素数が全体の画素数に対して少なすぎるため、ＷＢ微調整を行うのは適当ではない。したがって、判断の結果、制御装置２６は、生成した画像データがＷＢ微調整を行うに足る画素未満の場合には、写真画像として画像処理すべくステップ＃６０の処理を行う。
【００５４】
また、全体の８０パーセントに当たる画像６０の中央部をＷＢ微調整の対象とするのは、画像６０の周辺部分には背景などが撮像されている場合が多いため、全体の８０パーセントに当たる画像６０の中央部をＷＢ微調整の対象とすれば確実に文字などの情報が撮像されている部分になると考えられるからである。したがって、本実施形態では８０パーセントとしたが、この観点から他のパーセンテージを採用してもよい。
【００５５】
一方、判断の結果、制御装置２６は、生成した画像データがＷＢ微調整を行うに足る画素以上の場合には、ＷＢ微調整部４８を用いて、ＷＢの微調整を行う（ステップ＃３５）。すなわち、このＷＢ微調整において、制御装置２６は、まず、横方向および縦方向ともに８０パーセントに当たる画像６０の中央部における各画素に対し式１および式２を満たすか否かを判断し、両式を満たす画素を抽出する。
（Ｒ−Ｇ）２＋（Ｂ−Ｇ）２＜ＴｈＳｗｂ ・・・ （式１）
０．３Ｒ＋０．６Ｇ＋０．１Ｂ＞ＴｈＹｗｂ ・・・ （式２）
【００５６】
ここで、Ｒ、ＧおよびＢはそれぞれ画素の赤成分のデータ、緑成分のデータおよび青成分のデータである。式１がＷＢを適切に調整するために有彩色の画素を除外するための式であるので、ＴｈＳｗｂは、このために画素を無彩色であるか有彩色であるかを弁別する値として実験的に決定され、例えば本実施形態ではＴｈＳｗｂ＝９００とした。式２がＷＢを適切に調整するために輝度の暗い画素を除外するための式であるので、ＴｈＹｗｂは、このために暗い画素であるか明るい画素であるかを弁別する値として実験的に決定され、例えば本実施形態ではＴｈＹｗｂ＝１９０とした。そして、制御装置２６は、抽出した画素におけるＲ、ＧおよびＢのそれぞれの総和を求め、Ｇの総和を基準としてＲおよびＢに乗算するゲインＧａｉｎ＿ＲおよびゲインＧａｉｎ＿Ｂをそれぞれ求める。さらに、制御装置２６は、画像データの全画素に対して求めたゲインＧａｉｎ＿ＲおよびゲインＧａｉｎ＿ＢをそれぞれＲおよびＢに乗算する。このようにしてＷＢが微調整される。
【００５７】
次に、制御装置２６は、画像サイズ判定部４１を用いて、画像６０の各辺の画素を正方形ブロックの一辺の画素数で割り算するなどによって、画像データの画像サイズがブロックで分割した場合に端数が生じるか否かを判断する（ステップ＃３６）。これによって画像サイズを変更する変倍処理が必要か否かが判断される。ブロックは、後述の縦方向の計算と横方向の計算とでブロックを容易に一致させ得る観点から、本実施形態では正方形とするが、ブロックを長方形としても本発明を適用することは可能である。また、ブロックを長方形とすると、ブロック内の絵に方向性がある場合に後述の縦方向の計算と横方向の計算との両結果に方向性が反映されてしまうが、ブロックを正方形にすることでこれが無くなるという利点もある。正方形ブロックの大きさは、ヒストグラムの統計処理により適切に下地レベルが検出することができる大きさに、撮像部２０における撮像素子の画素数や画像サイズなどを考慮して実験的に決定され、例えば本実施形態では１２８画素とした。
【００５８】
判断の結果、端数が生じない場合、すなわち変倍処理不要な場合には、制御装置２６は、ステップ＃３８の処理を行う。一方、端数が生じる場合、すなわち変倍処理が必要な場合には端数を解消すべく、制御装置２６は、画像サイズ変倍部４２を用いて、画像データの画素数が横方向および縦方向共に正方形ブロックにおける一辺の画素数の整数倍になるように画像サイズを拡大することによって変倍処理を行い、そして、画像サイズを変倍した旨の情報を記憶部２５の所定のアドレスにおける記憶領域に格納する（ステップ＃３７）。例えば、画像データの画像サイズが１９６０画素×１４４０画素である場合には、横方向が１２８画素の１６以上の整数倍であって縦方向が１２８画素の１２以上の整数倍である画像サイズになるように拡大すると、画像データが正方形ブロックで分割可能となる。処理するデータ数を最小にすることによって処理時間を短縮する観点から、拡大後の画像サイズが最小であることが好ましい。このため、この場合では、拡大後の画像サイズが２０４８画素×１５３６画素にすることが好ましいので、制御装置２６は、画像データを横方向に２０４８／１９６０倍、縦方向に１５３６／１４４０倍にそれぞれ拡大することにより、２０４８画素×１５３６画素の画像データを生成する。例えば、１画素のデータが（２０４８／１９６０）×（１５３６／１４４０）画素分のデータに拡大される。ここで、２０４８は１２８の１６倍であり、１５３６は１２８の１２倍である。
【００５９】
ここで、端数ブロックとは、元画像をブロックで分割することができる第１区分と残余の第２区分とに分けた場合に、第１区分においてブロックに分割するための横方向の分割境界線および縦方向の分割境界線をそれぞれ第２区分まで延長し、第２区分においてこの延長した分割境界線によって分割された矩形のブロックである。例えば、上述の例では、図１０に示すように、第１区分６２を画像の左上に取れば第２区分６３は右部および下部の逆Ｌ字状部分となり、横方向（行方向）に１５個の１２８画素×３２画素の端数ブロック６４−１と、縦方向（列方向）に１１個の４０画素×１２８画素の端数ブロック６４−２と、隅に１個の４０画素×３２画素の端数ブロック６４−３とが生じる。
【００６０】
なお、制御装置２６は、画像データの画素数が横方向および縦方向共に正方形ブロックにおける一辺の画素数の整数倍になるように画像サイズを縮小することによって変倍処理を行ってもよい。
【００６１】
次に、制御装置２６は、ＲＧＢ／ＹＣｒＣｂ変換部４９を用いて、画像データのＲＧＢデータを輝度Ｙと色差ＣｒＣｂとの各データに式３ないし式５を用いて変換する（ステップ＃３８）。
Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ ・・・ （式３）
Ｃｒ＝Ｒ−Ｙ ・・・ （式４）
Ｃｂ＝Ｂ−Ｙ ・・・ （式５）
【００６２】
次に、制御装置２６は、図１１に示すように、画像データの周囲を正方形ブロックにおける一辺の画素数の整数倍で除いた中央部の領域（図１１の演算領域６５）を正方形ブロックで分割する。画像データの周囲を正方形ブロックで分割する対象領域から除外するのは、ＷＢ微調整で中央部を対象領域としたのと同様の理由である。除外する周囲を正方形ブロックにおける一辺の画素数の整数倍とするのは、もちろん、正方形ブロックで端数を生じることなく中央部を分割可能とするためである。例えば、上述の２０４８画素×１５３６画素の画像サイズの場合には、１２８画素の幅で周囲の領域を除外し、１７９２画素×１２８０画素の中央部（演算領域６５）を一辺１２８画素の正方形ブロックで分割する。このように分割すると中央部は、正方形ブロックで１４×１０に分割される。次に、制御装置２６は、各正方形ブロックにおいて、横方向および縦方向共に所定数の画素ごとに式６および式７を用いて彩度Ｓｎおよび輝度Ｙｎをそれぞれ求める（ステップ＃３９）。
【００６３】
【数１】
【００６４】
【数２】
【００６５】
ここで、ｉ，ｊは所定数ごとの飛び飛びの値であり、ｎは正方形ブロックの番号である。例えば、正方形ブロックにおける一辺の画素数１２８の約数である１６画素ごとに彩度Ｓｎおよび輝度Ｙｎをそれぞれ求める場合には、ｉ，ｊは０、１５、３１、・・・のように１６ごとの飛び飛びの値であり、サンプリング画素総数は（１２８／１６）×（１２８／１６）＝６４となる。
【００６６】
次に、制御装置２６は、求めた彩度Ｓｎおよび輝度Ｙｎを用いて、彩度Ｓｎの平均値Ｐ１、輝度Ｙｎの標準偏差値Ｐ２、彩度Ｓｎの標準偏差値Ｐ３、輝度Ｙｎのヒストグラムにおけるピークとなる階級（クラス）Ｐ４、輝度Ｙｎのヒストグラムにおいて輝度Ｙｎの平均値±２０パーセントの累積度数Ｐ５、および輝度Ｙｎのヒストグラムにおいて輝度Ｙｎの平均値−２０パーセント以下の累積度数Ｐ６を求める（ステップ＃３９）。ここで、Ｐ４、Ｐ５、Ｐ６のヒストグラムは、輝度Ｙｎの階調を１／４にした６４階調化したデータを用いる。次に、制御装置２６は、これらＰ１ないしＰ６の６個のパラメータを用いて、予め標準的な文書画像を基に実験的に作成した基準空間に対するマハラノビス距離ｄを求め、マハラノビス距離ｄと閾値ＴｈＭとの大小を判断する。判断の結果、マハラノビス距離ｄ＞閾値ＴｈＭである場合には、制御装置２６は、画像データが暗い下地の画像、濃い色の下地の画像あるいは写真画像であると判断し、ステップ＃６０を行う。一方、判断の結果、マハラノビス距離ｄ≦閾値ＴｈＭである場合には、制御装置２６は、画像データが処理可能な文書画像であると判断し、ステップ＃４１を行う（ステップ＃４０）。
【００６７】
次に、制御装置２６は、ブロック下地レベル決定部４３を用いて、画像６０を縦方向に所定の矩形領域（以下、「エリア」と称する。）ごとに分割し、各エリアにおける縦方向下地レベルＶＢＬ＿Ｅを演算する（ステップ＃４１）。より具体的には、次のように各エリア６６の縦方向下地レベルＶＢＬ＿Ｅを演算する。まず、図１２に示すように、制御装置２６は、画像６０を縦方向に所定のエリア６６ごとに分割する。所定のエリア６６における横方向の幅は、後述するように正方形ブロックにおける下地レベルも演算することから、正方形ブロックの一辺の長さに等しくすることが望ましい。このため、上述の例では、制御装置２６は、２０４８画素×１５３６画素の画像を１２８画素×１５３６画素のエリア６６で１６個に分割する。次に、制御装置２６は、各エリア６６において、横方向に８画素ごとに階調を１／４にした６４階調のデータに輝度Ｙデータを変換すると共に、縦方向も８画素ごとに階調を１／４にした６４階調のデータに輝度Ｙデータを変換する。そして、制御装置２６は、各エリア６６において、変換したこれら６４階調の輝度Ｙデータに対して、ヒストグラムを作成する。例えば、図１３に示すようなヒストグラムが作成される。図１３の横軸は６４階調の輝度に合わせて０〜６３までの階級であり、縦軸は度数である。次に、制御装置２６は、作成したヒストグラムにおいて、式８および式９を満たす度数最大の階級を求め、求めた階級の値を４倍にして２５６階調のデータに再変換し、これを当該エリア６６の暫定的な縦方向下地レベルＶＢＬ＿Ｅとする。
階級＞Ｔｈｃ１ ・・・ （式８）
度数＞３８４ ・・・ （式９）
【００６８】
ここで、式８は、下地レベルとなるべき階級の範囲を決定する式である。下地レベルは、文字ではない、すなわち、ホワイトボードや紙などの白色の部分である輝度の明るいレベルとなるべきであるから、Ｔｈｃ１は、下地レベルとして不適切な輝度の暗い階級を除外する値として実験的に決定され、本実施形態では例えばＴｈｃ１＝７０とした。式９は、下地レベルとなるべき階級における度数の範囲を決定する式である。下地レベルは、度数最大の階級として求めるので少なくとも度数が均等に分布した場合における度数を超える必要がある。そのため、例えば、本実施形態では、度数が均等に分布した場合における度数として、１２８画素×１５３６画素の画素数のエリア６６において横方向および縦方向ともに８画素ごとにサンプリングし２５６階調を６４階調に変換しているので、１２８×１５３６／６４／８＝３８４と計算される。
【００６９】
なお、ヒストグラムを作成するための輝度Ｙデータにおけるサンプリング間隔は、短ければ精度が向上するが、輝度Ｙデータ数が増大し演算時間が増大する。このように精度と演算時間はトレードオフの関係にあり、サンプリング間隔は、精度と演算時間のバランスを考慮して決定される。したがって、例えば、制御装置２６の演算速度が高速の場合には、縦方向および横方向ともに４画素ごとに輝度Ｙデータをサンプリングしてもよい。後述のサンプリング間隔も同様に精度と演算時間のバランスを考慮して決定される。
【００７０】
次に、制御装置２６は、着目するエリア６６とこれに隣接するエリア６６との３個のエリア６６において、暫定的な縦方向下地レベルＶＢＬ＿Ｅに対してメディアンを求める。例えば、着目するエリア６６の暫定的な縦方向下地レベルＶＢＬ＿Ｅ＝２００、一方に隣接するエリア６６の暫定的な縦方向下地レベルＶＢＬ＿Ｅ＝２１０、他方に隣接するエリア６６の暫定的な縦方向下地レベルＶＢＬ＿Ｅ＝２２０とすると、メディアンは、２１０となる。なお、これをｍｅｄｉａｎ（２００，２１０，２２０）＝２１０と表現する。この着目するエリア６６とこれに隣接するエリア６６との３個のエリア６６において、暫定的な縦方向下地レベルＶＢＬ＿Ｅに対してメディアンを求めた結果を、着目するエリア６６の縦方向下地レベルＶＢＬ＿Ｅとする。そして、制御装置２６は、このメディアン処理を各エリア６６に対して行い、各エリア６６の縦方向下地レベルＶＢＬ＿Ｅを求める。さらに、制御装置２６は、求めた各エリア６６の縦方向下地レベルＶＢＬ＿Ｅのうち、最大値と最小値とを除いて、各エリア６６の縦方向下地レベルＶＢＬ＿Ｅの平均値ＡＶＢＬ＿Ｅを求める。そして、制御装置２６は、着目するエリア６６に対し隣接する両エリア６６の縦方向下地レベルＶＢＬ＿Ｅがこの縦方向下地レベルＶＢＬ＿Ｅの平均値ＡＶＢＬ＿Ｅと所定値（例えば５０）以上離れている場合には、着目するエリア６６の縦方向下地レベルＶＢＬ＿Ｅを図１２において左隣のエリア６６の縦方向下地レベルＶＢＬ＿Ｅに置き換えて修正する。
【００７１】
このようにして、制御装置２６は、各エリア６６の縦方向下地レベルＶＢＬ＿Ｅを演算する。
【００７２】
次に、制御装置２６は、ブロック下地レベル決定部４３を用いて、各エリア６６を正方形ブロックごとに分割し、各正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂを演算する（ステップ＃４２）。より具体的には、次のように各正方形ブロックの縦方向下地レベルＶＢＬ＿Ｂを演算する。まず、図１４に示すように、制御装置２６は、各エリア６６を所定の正方形ブロックごとに分割する。上述の例では、制御装置２６は、１２８画素×１５３６画素のエリア６６を１２８画素×１２８画素の正方形ブロックで分割する。次に、制御装置２６は、各正方形ブロックにおいて、横方向に８画素ごとに階調を１／４にした６４階調のデータに輝度Ｙデータを変換すると共に、縦方向も８画素ごとに階調を１／４にした６４階調のデータに輝度Ｙデータを変換する。そして、制御装置２６は、各正方形ブロックにおいて、変換したこれら６４階調の輝度Ｙデータに対して、ヒストグラムを作成する。例えば、図１５に示すようなヒストグラムが作成される。図１５の横軸は６４階調の輝度に合わせて０〜６３までの階級であり、縦軸は度数である。次に、制御装置２６は、作成したヒストグラムにおいて、高輝度側から低輝度側へ順に調べ、式１０、式１１および「当該階級より低輝度側３階級の各度数よりも度数が大きいこと」を満たす階級を求め、求めた階級の値を４倍にして２５６階調のデータに再変換し、これを第１ピーク輝度とする。
階級＞Ｔｈｃ２ ・・・ （式１０）
度数＞３２ ・・・ （式１１）
【００７３】
ここで、Ｔｈｃ２は、Ｔｈｃ１と同様な考え方による数値であり、例えば本実施形態ではＴｈｃ２＝７０とした。式１１の３２は、式９の３８４と同様な考え方による数値であり、度数が均等に分布した場合における度数として、１２８画素×１２８画素の画素数の正方形ブロックにおいて横方向および縦方向ともに８画素ごとにサンプリングし２５６階調を６４階調に変換しているので、１２８×１２８／６４／８＝３２として求まる数値である。
【００７４】
さらに、制御装置２６は、作成したヒストグラムにおいて、第１ピーク輝度に対応する階級から低輝度側へ順に調べ、式１２、式１３、「当該階級より１つ高輝度側の階級における度数よりも度数が大きいこと」および「当該階級より低輝度側への３つの階級における各度数よりも度数が大きいこと」を満たす階級を求め、求めた階級の値を４倍にして２５６階調のデータに再変換し、これを第２ピーク輝度とする。
階級＞Ｔｈｃ３ ・・・ （式１２）
度数＞３２ ・・・ （式１３）
【００７５】
ここで、Ｔｈｃ３は、Ｔｈｃ１と同様な考え方による数値であるが第１ピーク輝度よりも低輝度側にあるべきであるから、例えば本実施形態では８０とした。
【００７６】
次に、制御装置２６は、第１ピーク輝度と第２ピーク輝度とを当該正方形ブロックが属するエリア６６における縦方向下地レベルＶＢＬ＿Ｅとそれぞれ比較し、当該正方形ブロックが属するエリア６６における縦方向下地レベルＶＢＬ＿Ｅに近い方のピーク輝度を当該正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂとする。例えば、第１ピーク輝度＝２２０、第２ピーク輝度＝１９０で属するエリア６６の縦方向下地レベル＝２００の場合には、第２ピーク輝度の方が近いので、正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂ＝１９０となる。
【００７７】
ここで、制御装置２６は、選択されたピーク輝度が属するエリア６６の縦方向下地レベルＶＢＬ＿Ｅと６０以上の差がある場合には、正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂを属するエリア６６における縦方向下地レベルＶＢＬ＿Ｅに置き換える修正を行い、一方、選択されたピーク輝度が属するエリア６６の縦方向下地レベルＶＢＬ＿Ｅと４０以上６０未満の差がある場合には、正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂを正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂと属するエリア６６における縦方向下地レベルＶＢＬ＿Ｅとの平均値で置き換える修正を行う。例えば、第１ピーク輝度＝１６０、第２ピーク輝度＝１１０で属するエリア６６の縦方向下地レベル＝２３０の場合には、第１ピーク輝度の方が近いが６０以上離れているので（２３０−１６０＝７０）、正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂ＝２３０となる。また例えば、第１ピーク輝度＝１８０、第２ピーク輝度＝１１０で属するエリア６６の縦方向下地レベル＝２３０の場合には、第１ピーク輝度の方が近いが４０以上６０未満だけ離れているので（２３０−１８０＝５０）、正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂ＝（１８０＋２３０）／２＝２０５となる。
【００７８】
全正方形ブロックについて上述のように正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂを求めた後に、制御装置２６は、着目する正方形ブロックとこれに横方向および縦方向に隣接する４個の正方形ブロックとに対し、最大値と最小値とを除いた正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂの平均値を求め、求めた平均値を着目する正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂとする。例えば、着目する正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂ＝２００、これに横方向に左右に隣接する正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂ＝２１０、２２０、および、これに縦方向に上下に隣接する正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂ＝１９０、２１０の場合には、最大値２２０および最小値１９０とを除いた平均値（２００＋２１０＋２１０）／３＝２０７を着目する正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂとする。
【００７９】
ここで、画像の周辺に位置する正方形ブロックの場合、および、正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂが属するエリア６６の縦方向下地レベルＶＢＬ＿Ｅの平均値ＡＶＢＬ＿Ｅより所定値（例えば５０）以上離れている場合には、上述の平均値を求める処理を行わずに、画像の内側隣にある正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂを当該正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂとする。例えば、図１４において一番上の列にある正方形ブロックは、１個下の正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂを採用し、右上端の正方形ブロックは、左下の正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂを採用する。
【００８０】
このようにして、制御装置２６は、各正方形ブロックの縦方向下地レベルＶＢＬ＿Ｂを演算する。
【００８１】
次に、制御装置２６は、ブロック下地レベル決定部４３を用いて、画像を横方向に所定のエリアごとに分割し、各エリアにおける横方向下地レベルＨＢＬ＿Ｅをステップ＃４１で求めたエリア６６における縦方向下地レベルＶＢＬ＿Ｅと同様に演算する（ステップ＃４３）。エリアは、例えば、２０４８画素×１５３６画素の画像を２０４８画素×１２８画素のエリアで分割する。
【００８２】
次に、制御装置２６は、ブロック下地レベル決定部４３を用いて、横方向に分割した各エリアを所定の正方形ブロックごとに分割し、各正方形ブロックにおける横方向下地レベルＨＢＬ＿Ｂをステップ＃４２で求めた正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂと同様に演算する（ステップ＃４４）。
【００８３】
制御装置２６は、ステップ＃４１ないしステップ＃４４のように動作することによって、画像の一のブロックに対して縦方向と横方向との２方向から下地レベルを算出する。
【００８４】
次に、制御装置２６は、ブロック下地レベル決定部４３を用いて、正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂと横方向下地レベルＨＢＬ＿Ｂとを比較し、値の大きい方（輝度の高い方）を当該正方形ブロックにおける下地レベルＢＬ＿Ｂとし、ステップ＃４２とステップ＃４４で求めた値を統合する（ステップ＃４５）。
【００８５】
以上の処理により、変倍後の画像６０に対して各ブロックの下地レベルが算出される。
【００８６】
次に、制御装置２６は、画像６０が変倍された画像であるか否かを判断する（ステップ＃４６）。判断の結果、制御装置２６は、変倍されている場合には、ステップ＃４７を処理した後にステップ＃４８を処理し、変倍されていない場合にはそのままステップ＃４８を処理する。
【００８７】
ステップ＃４７において、制御装置２６は、画像サイズ変倍部４２を用いて変倍後の画像を元画像の画像サイズになるように再変倍する。例えば、上述の例では、画像サイズ変倍部４２は、図１６（ａ）に示すように２０４８画素×１５３６画素の変倍後の画像６０における画像データを横方向に１９６０／２０４８倍におよび縦方向に１４４０／１５３６倍にそれぞれ縮小することにより、図１６（ｂ）左側に示すように再変倍後の画像６７として１９６０画素×１４４０画素の画像データを生成する。この結果、１２８画素×１２８画素の正方形ブロックは、横方向に１９６０／２０４８倍、縦方向に１４４０／１５３６倍にそれぞれ縮小される。次に、制御装置２６は、ブロック下地レベル割当部４４を用いて、元画像の各ブロックと再変倍後の画像における各ブロックとの対応関係に基づいて、変倍後の画像を用いて算出した各ブロックの下地レベルＢＬ＿Ｂを元画像の各ブロックにそれぞれ割り当てる。例えば、上述の例では、ブロック下地レベル割当部４４は、図１６（ｂ）に示すように、まず元画像６８を横方向および縦方向共に再変倍後の画像と同数になるように正方形ブロックで分割する。本例では、元画像６８は、横方向に１６個、縦方向に１２個に分割される。この正方形ブロックの大きさは、ステップ＃４１ないしステップ＃４４などのような統計処理する必要が無いので上述のような制約は無い。そして、元画像６８が再変倍後の画像６７と同様に正方形ブロックで分割されるので、元画像６８のｉ行ｊ列のブロックは、再変倍後の画像６７のｉ行ｊ列のブロックに対応する。さらに、再変倍後の画像６７のｉ行ｊ列のブロックは、変倍されただけなので、変倍後の画像６０のｉ行ｊ列のブロックに対応する。したがって、元画像６８のｉ行ｊ列のブロックにおける下地レベルＢＬ＿Ｂは、変倍後の画像６０のｉ行ｊ列のブロックにおける下地レベルＢＬ＿Ｂに対応することになるので、ブロック下地レベル割当部４４は、この対応関係によって変倍後の画像６０のｉ行ｊ列のブロックにおける下地レベルＢＬ＿Ｂを元画像６８のｉ行ｊ列のブロックにおける下地レベルＢＬ＿Ｂに割り当てる。ここで、ｉ，ｊは、それぞれ縦方向および横方向の分割数の範囲で取り得る正の整数であり、上述の例では、ｉ＝１〜１２でｊ＝１〜１６である。
【００８８】
以上の処理により、元画像の各ブロックにブロックの下地レベルＢＬ＿Ｂが割り当てられたので、次に、制御装置２６は、これを基に各画素の下地レベルを演算する（ステップ＃４８）。
【００８９】
すなわち、ｐ行ｒ列の正方形ブロックの下地レベルをＢＬ＿Ｂｐ、ｒとすると、制御装置２６は、図１７に示すように、ｐ行ｒ列の正方形ブロック、ｐ＋１行ｒ列の正方形ブロック、ｐ行ｒ＋１列の正方形ブロック、および、ｐ＋１行ｒ＋１列の正方形ブロックの各中心画素ＰＱＲＳを４頂点とする領域を設定し、この領域において横方向および縦方向ともに４画素ごとに各画素Ｔａ，ｂの下地レベルＢＬ＿Ｔａ，ｂをＢＬ＿Ｂｐ、ｒ、ＢＬ＿Ｂｐ＋１、ｒ、ＢＬ＿Ｂｐ、ｒ＋１、ＢＬ＿Ｂｐ＋１、ｒ＋１に基づいて線形内挿（式１４）によって計算する。
【００９０】
【数３】
【００９１】
ここで、ＰＱをｘ軸にＰＲをｙ軸にした点Ｐを座標原点とするｘｙ座標系を考えると、ａはＰＱＲＳを４頂点とする領域の一辺の長さであり、ｂは計算対象の画素Ｔａ，ｂにおけるｘ軸の座標値であり、ｃは計算対象の画素Ｔａ，ｂにおけるｙ軸の座標値である。
【００９２】
本実施形態にかかるディジタルカメラ１は、このように４画素ごとの画素の下地レベルＢＬ＿Ｔを近隣の４個の正方形ブロックの下地レベルＢＬ＿Ｂｐ、ｒ、ＢＬ＿Ｂｐ＋１、ｒ、ＢＬ＿Ｂｐ、ｒ＋１、ＢＬ＿Ｂｐ＋１、ｒ＋１を用いて求めるので、正方形ブロック間の下地レベルＢＬ＿Ｂの相違に基づく画質の不連続を緩和することができる。
【００９３】
このように横方向および縦方向ともに４画素ごとに画素の下地レベルＢＬ＿Ｔを求めたので、図１８に示すように、４画素×４画素のセルのうちで１画素の下地レベルＢＬ＿Ｔを求めたことになる。そこで、制御装置２６は、セル内で唯一求められているこの下地レベルＢＬ＿Ｔを、セル内で下地レベルを求めていない画素の下地レベルＢＬ＿Ｔとする。
【００９４】
上記で下地レベルＢＬ＿Ｔを求めることができる画素は、図１７から分かるように、正方形ブロックの一辺の半分の画素だけ横方向に内側にあって、且つ、正方形ブロックの一辺の半分の画素だけ縦方向にも内側にある中央部の領域における画素である。
【００９５】
したがって、この中央部を除いた周辺部分の画素の下地レベルＢＬ＿Ｔは、次にように決定する。すなわち、制御装置２６は、図１９（ａ）（ｂ）に示すように、周辺部分の画素の下地レベルＢＬ＿Ｔを中央部分の領域における最外辺の画素の下地レベルＢＬ＿Ｔをそのまま使用する。つまり、周辺部分のうち横方向の部分は、横方向における最外辺の各画素の下地レベルＢＬ＿Ｔ（図１９（ｂ）のａ，ｂ，ｃ，ｄ，ｅ，・・・）を縦方向にそれぞれ延長してそのまま使用し、周辺部分のうち縦方向の部分は、縦方向における最外辺の各画素の下地レベルＢＬ＿Ｔ（図１９（ｂ）のａ，ｘ，ｙ，・・・）を横方向にそれぞれ延長してそのまま使用し、周辺部分のうち角の部分は、最外辺の角の下地レベルＢＬ＿Ｔ（図１９（ｂ）のａ）を拡大してそのまま使用する。
【００９６】
このようにして制御装置２６は、総ての画素の下地レベルＢＬ＿Ｔを決定する。
【００９７】
次に、制御装置２６は、エッジ強調部５０を用いて、各画素の輝度Ｙデータにフィルタを用いてエッジ強調する（ステップ＃４９）。フィルタは、エッジ強調の程度によって最適なフィルタが選択されるが、例えば、図２０に示すように、対象画素を２倍し、対象画素に対し横方向および縦方向に隣接する画素を−１／４にするフィルタを使用する。
【００９８】
次に、制御装置２６は、下地飛ばし階調補正部４６を用いて、各画素に対して下地飛ばし補正特性を用いて下地飛ばし階調補正を行う（ステップ＃５０）。すなわち、下地飛ばし補正特性は、図２１に示すように、画素Ｔａ，ｂにおいて、零から画素Ｔａ，ｂの下地レベルＢＬ＿Ｔａ，ｂまでは入力Ｙｉｎを線形変換し、下地レベルＢＬ＿Ｔａ，ｂ以上では入力Ｙｉｎを最高の輝度レベル（例えば、２５６階調では２５５レベル）に変換する。すなわち、画素Ｔａｂの輝度Ｙデータは、画素Ｔａｂの下地レベルＢＬ＿Ｔａｂを閾値として線形変換するか可能な最高の輝度レベルに変換するかが決定される。したがって、この閾値は、画素に固有な値である。例えば、画素Ｔａｂの輝度Ｙデータは、入力輝度データＹｉｎ≦閾値ＢＬ＿Ｔａ，ｂの場合では、出力Ｙｏｕｔ＝（最高輝度階調値２５５×入力Ｙｉｎ）／ＢＬ＿Ｔａ，ｂと線形変換され、入力輝度データＹｉｎ＞閾値ＢＬ＿Ｔａ，ｂの場合では、出力Ｙｏｕｔ＝最高輝度階調値２５５と変換される。
【００９９】
次に、制御装置２６は、黒レベル引締め部５１を用いて、各画素に対して黒レベル引締め処理を行う（ステップ＃５１）。黒レベル引締め処理は、例えば、図２２に示す補正特性を用いて、輝度Ｙデータを変換する。黒レベル引締め処理に使用される補正特性は、図２２に示すように、閾値（図２２では一例として１４４）より小さい輝度Ｙデータの入力Ｙｉｎに対しては黒レベルに変換する特性である。
【０１００】
次に、制御装置２６は、ＲＧＢ／ＹＣｒＣｂ変換部４９を用いて、輝度Ｙ色差ＣｒＣｂデータをＲＧＢデータに式１５ないし式１７を用いて再変換する（ステップ＃５２）。
Ｒ＝Ｙ＋Ｃｒ ・・・ 式１５
Ｇ＝Ｙ−０．５１Ｃｒ−０．１９Ｃｂ ・・・ 式１６
Ｂ＝Ｙ＋Ｃｂ ・・・ 式１７
【０１０１】
次に、制御装置２６は、カード制御部２４などを用いて、画像データをメモリカード１３に格納し（ステップ＃５２）、ステップ＃１１の処理に戻る。
【０１０２】
以上のように、本実施形態にかかるディジタルカメラ１は、正方形ブロックで端数を生じることなく分割することができるように撮像画像を変倍する。このため、下地飛ばし階調補正処理に必要なブロックの下地レベルを算出することができる。そして、この算出したブロックの下地レベルを元画像の各ブロックに割り当てて下地飛ばし階調補正処理に必要な所定の閾値を算出するので、任意の画像サイズにおける文字画像に対して、ホワイトボードなどの白地部分に対する文字情報部分のコントラストを高くして文字情報の明瞭化を図るとともに照度ムラを低減して全体的に見やすくする画像処理を行うことができる。よって、描写性よりも情報の判読性の高い画質という、文字画像に対する要求に応えることができる。そして、本実施形態にかかるディジタルカメラ１は、元画像に対して画像処理を行うので画像の劣化を抑制することができる。
（下地飛ばし補正処理不可能な画像、ＷＢ微調整不可能な画像、暗い下地の画像、濃い色の下地の画像または写真画像の場合における画像処理）
一方、下地飛ばし補正処理不可能な画像、ＷＢ微調整不可能な画像、暗い下地の画像、濃い色の下地の画像または写真画像の場合には、制御装置２６は、ＲＧＢ／ＹＣｒＣｂ変換部４９を用いて、画像データのＲＧＢデータを輝度Ｙと色差ＣｒＣｂとの各データに式３ないし式５を用いて変換する（ステップ＃６０）。
【０１０３】
次に、制御装置２６は、ＬＨ／ＬＳ演算部を用いて、ハイライトレベルＬＨおよびシャドーレベルＬＳを演算する（ステップ＃６１）。すなわち、制御装置２６は、まず、全画像領域において、階調を１／４にした６４階調のデータに輝度Ｙデータを変換する。次に、制御装置２６は、変換したこれら６４階調の輝度Ｙデータに対して、図２３に示すようなヒストグラムを作成する。次に、制御装置２６は、高輝度側である最高階級（６３）から度数を積算し、積算した度数が全度数の数パーセント（例えば１パーセント）を超えた時点の階級を求め、求めた階級の値を４倍にして２５６階調のデータに再変換し、これをハイライトレベルＬＨとする。次に、制御装置２６は、低輝度側である最低階級（０）から度数を積算し、積算した度数が全度数の数パーセント（例えば１パーセント）を超えた時点の階級を求め、求めた階級の値を４倍にして２５６階調のデータに再変換し、これをシャドーレベルＬＳとする。
【０１０４】
次に、制御装置２６は、階調拡大補正部５２を用いて、各画素に対して階調拡大補正特性を用いて階調拡大補正を行う（ステップ＃６２）。階調拡大補正特性は、図２４に示すように、零からシャドーレベルＬＳまでは入力Ｙｉｎを黒レベルに変換し、シャドーレベルＬＳからハイライトレベルまでは入力Ｙｉｎを線形変換し、ハイライトレベル以上では入力Ｙｉｎを最高の輝度レベル（例えば、２５６階調では２５５レベル）に変換する。
【０１０５】
次に、制御装置２６は、ＲＧＢ／ＹＣｒＣｂ変換部４９を用いて、輝度Ｙ色差ＣｒＣｂデータをＲＧＢデータに式１５ないし式１７を用いて再変換し（ステップ＃６３）、ステップ＃５２を処理する。
【０１０６】
このように本実施形態にかかるディジタルカメラ１は、下地飛ばし補正処理不可能な画像、ＷＢ微調整不可能な画像、暗い下地の画像、濃い色の下地の画像および写真画像の場合には、ステップ＃３３、ステップ＃３４およびステップ＃４０でそれぞれ自動的に判別され、適切な階調拡大補正処理がなされる。このため、このような画像の場合でも、本実施形態にかかるディジタルカメラ１は、階調のレンジ（本実施形態では２５６階調）を有効に活用して適切な階調で撮像画像を変換し、描写性の高い画質を得ることができる。
【０１０７】
なお、上述の実施形態では、ＲＧＢの画像データをＹＣｒＣｂの画像データに変換して輝度Ｙデータを用いて画像処理を行ったが、特開平１０−２１０２８７号公報に開示されているように、ＲＧＢの画像データのままでＧデータに基づいて照度ムラ補正用の特性を設定し、さらにＲおよびＢの照度ムラ補正用の特性を設定することによって画像処理を行ってもよい。
【０１０８】
また、上述の実施形態では、ディジタルカメラで撮影した画像データをリアルタイムで文書画像処理を行う実施形態を説明したが、予め文書画像を撮像した画像データまたはスチルカメラで文書画像を撮影した写真をスキャナなどの画像読取装置で読み取った画像データなどを画像処理装置で文書画像処理を行うようにしてもよい。画像読取装置は、例えば、画像メモリ２２、カード制御部２４、記憶部２５、コマンドなどを入力するキーボードやマウスなどの入力装置、画像や入力されたコマンドなどを表示するＬＣＤやＣＲＴなどの出力装置およびこれら画像メモリ２２、カード制御部２４、記憶部２５、入力装置および出力装置を制御すると共に図６ないし図８のステップ＃３１ないしステップ５２およびステップ＃６０ないしステップ＃６３を処理する制御装置２６を備えて構成する。あるいは、画像読取装置は、図６ないし図８のステップ＃３１ないしステップ５２およびステップ＃６０ないしステップ＃６３を処理するコンピュータプログラムを記録したコンピュータ読取可能な記憶媒体からインストールすることによってコンピュータを利用するようにしてもよい。コンピュータは、例えば、プログラムおよびプログラム実行中の各種データなどを記憶する記憶部と、コマンド（命令）や必要なデータなどを入力する入力部（例えばキーボードやマウスなど）と、画像や各種データなどを外部に出力する出力部（例えばディスプレイやプリンタなど）と、これら記憶部、入力部および出力部を制御すると共にプログラムの実行など各種演算処理を行うプロセッサとを備え、さらに、必要に応じて、補助記憶装置、外部記憶装置または通信インターフェースなどを備える。記憶媒体は、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤおよびメモリーカードなどである。文書画像処理対象の画像データは、メモリカードなどの記憶媒体に一端記憶させて画像処理装置に入力する。
【０１０９】
以上、本明細書に開示された主な発明を以下にまとめる。
（付記１）画像の画像サイズを検出する画像サイズ検出手段と、前記画像サイズ検出手段の検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズが横方向および縦方向共に前記所定ブロックの対応する方向の長さに対して整数倍となるように、前記画像の画像サイズを変換する画像サイズ変換手段と、前記画像サイズ変換手段で変換した画像において前記所定ブロックごとに画像処理するための前処理値をそれぞれ求める演算手段と、前記演算手段で求めた前処理値に基づいて前記画像を画像処理する画像処理手段とを備えることを特徴とする画像処理装置。
（付記２） 前記画像処理は、画像の階調を調整するシェーディング処理であることを特徴とする付記１に記載の画像処理装置。
（付記３） 前記前処理値は、画像の下地レベルであり、前記シェーディング処理は、前記下地レベルに基づいて画素ごとに閾値を設定し、画素の輝度レベルが前記閾値以上の場合には前記画素の輝度レベルを最高輝度レベルに画素ごとに変更する下地飛ばし階調補正処理を含むことを特徴とする付記２に記載の画像処理装置。
（付記４） 前記所定ブロックは、正方形であることを特徴とする付記１に記載の画像処理装置。
（付記５） コンピュータに、画像の画像サイズを検出する第１ステップと、前記第１ステップの検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズが横方向および縦方向共に前記所定ブロックの対応する方向の長さに対して整数倍となるように、前記画像の画像サイズを変換する第２ステップと、前記第２ステップで変換した画像において前記所定ブロックごとに画像処理するための前処理値をそれぞれ求める第３ステップと、前記第３ステップで求めた前処理値に基づいて前記画像を画像処理する第４ステップとを実行させるための画像処理プログラム。
（付記６） 前記画像処理は、画像の階調を調整するシェーディング処理であることを特徴とする付記５に記載の画像処理プログラム。
（付記７） 前記前処理値は、画像の下地レベルであり、前記シェーディング処理は、前記下地レベルに基づいて画素ごとに閾値を設定し、画素の輝度レベルが前記閾値以上の場合には前記画素の輝度レベルを最高輝度レベルに画素ごとに変更する下地飛ばし階調補正処理を含むことを特徴とする付記６に記載の画像処理プログラム。
（付記８） 前記所定ブロックは、正方形であることを特徴とする付記５に記載の画像処理プログラム。
（付記９） 複数の光電変換素子から成る画素を有し、被写体光像を画像信号に光電変換して取り込む撮像手段と、前記撮像手段で取り込んだ画像信号に基づいて、画像の画像サイズを検出する画像サイズ検出手段と、前記画像サイズ検出手段の検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズが横方向および縦方向共に前記所定ブロックの対応する方向の長さに対して整数倍となるように、前記画像の画像サイズを変換する画像サイズ変換手段と、前記画像サイズ変換手段で変換した画像において前記所定ブロックごとに画像処理するための前処理値をそれぞれ求める演算手段と、前記演算手段で求めた前処理値に基づいて前記画像を画像処理する画像処理手段とを備えることを特徴とするディジタルカメラ。
（付記１０） 前記画像処理は、画像の階調を調整するシェーディング処理であることを特徴とする付記９に記載のディジタルカメラ。
（付記１１） 前記前処理値は、画像の下地レベルであり、前記シェーディング処理は、前記下地レベルに基づいて画素ごとに閾値を設定し、画素の輝度レベルが前記閾値以上の場合には前記画素の輝度レベルを最高輝度レベルに画素ごとに変更する下地飛ばし階調補正処理を含むことを特徴とする付記１０に記載のディジタルカメラ。
（付記１２） 前記所定ブロックは、正方形であることを特徴とする付記９に記載のディジタルカメラ。
（付記１３） コンピュータに、画像の画像サイズを検出する第１ステップと、前記第１ステップの検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズが横方向および縦方向共に前記所定ブロックの対応する方向の長さに対して整数倍となるように、前記画像の画像サイズを変換する第２ステップと、前記第２ステップで変換した画像において前記所定ブロックごとに画像処理するための前処理値をそれぞれ求める第３ステップと、前記第３ステップで求めた前処理値に基づいて前記画像を画像処理する第４ステップとを実行させるための画像処理プログラムが記録されたコンピュータ読取可能な記憶媒体。
【０１１０】
【発明の効果】
以上のように、本発明によれば、画像の画像サイズが横方向および縦方向の一方向または両方向が所定ブロックの対応する方向の長さに対して整数倍ではない場合には、画像の画像サイズが横方向および縦方向共に所定ブロックの対応する方向の長さに対して整数倍となるように、画像の画像サイズを変換するので、画像処理に必要な前処理値を既存のソフトウェアを用いて所定ブロックごとに容易に求めることができる。このため、この前処理値に基づいて、任意の画像サイズの画像に対して画像処理を行うことができる。そして、画像処理は、画像サイズを変換する前の元の画像に対して行うので、画像劣化を抑制することができる。
【０１１１】
また、本発明によれば、画像の画像サイズを所定ブロックの整数倍になるように変換するので下地飛ばし階調補正処理に必要なブロックの下地レベルを求めることができるから、下地飛ばし階調補正処理を行うことができる。このため、画像がホワイトボードなどの上に書かれた文字などの情報を得る目的で撮られたとしても、文字などの情報を除いた下地部分における照度ムラを軽減し、文字などの情報を明瞭化することができ、容易に情報を判読することができる。
【図面の簡単な説明】
【図１】本発明にかかる画像処理装置を搭載したディジタルカメラの外観を示す斜視図である。
【図２】本発明にかかる画像処理装置を搭載したディジタルカメラの背面図である。
【図３】本発明にかかる画像処理装置を搭載したディジタルカメラの構成を示すブロック図である。
【図４】本発明にかかる画像処理の概略のフローチャートを示す図である。
【図５】本発明にかかる画像処理装置を搭載したディジタルカメラのフローチャート（その１）を示す図である。
【図６】本発明にかかる画像処理装置を搭載したディジタルカメラのフローチャート（その２）を示す図である。
【図７】本発明にかかる画像処理装置を搭載したディジタルカメラのフローチャート（その３）を示す図である。
【図８】本発明にかかる画像処理装置を搭載したディジタルカメラのフローチャート（その４）を示す図である。
【図９】ホワイトバランスを微調整する場合に使用する画像データを示す図である。
【図１０】端数ブロックを説明するための図である。
【図１１】正方形ブロックで分割する画像の中央部を示す図である。
【図１２】画像をエリアごとに分割した状況を説明する図である。
【図１３】或るエリアにおける６４階調の輝度Ｙデータに対するヒストグラムの一例を示す図である。
【図１４】画像を正方形ブロックごとに分割した状況を説明する図である。
【図１５】或る正方形ブロックにおける６４階調の輝度Ｙデータに対するヒストグラムの一例を示す図である。
【図１６】変倍後の各ブロックにおける下地レベルと元画像の各ブロックにおける下地レベルとの対応関係を示す図である。
【図１７】４個の正方形ブロックの各下地レベルから画素の下地レベルを線形内挿によって求める方法を説明する図である。
【図１８】線形内挿によって求める画素の下地レベルとセルとの関係を示す図である。
【図１９】画像の周辺部分の画素における下地レベルの決定方法を説明する図である。
【図２０】エッジ強調におけるフィルタの一例を示す図である。
【図２１】下地飛ばし階調補正に使用する補正特性の一例を示す図である。
【図２２】黒レベル引締め処理に使用する補正特性の一例を示す図である。
【図２３】画像の６４階調の輝度Ｙデータに対するヒストグラムの一例を示す図である。
【図２４】階調拡大補正に使用する補正特性の一例を示す図である。
【符号の説明】
１ ディジタルカメラ
１３ メモリカード
２２ 画像メモリ
２５ 記憶部
２６ 制御装置
４１ 画像サイズ判定部
４２ 画像サイズ変倍部
４３ ブロック下地レベル決定部
４４ ブロック下地レベル割当部
４５ 画素下地レベル決定部
４６ 下地飛ばし階調補正部
４７ ＬＨ／ＬＳ演算部
４８ ＷＢ微調整部
４９ ＲＧＢ／ＹＣｒＣｂ変換部
５０ エッジ強調部
５１ 黒レベル引締め部
５２ 階調拡大補正部
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置に関し、特に、解像度変換後の画像から画像処理に必要な前処理値を求めることによって、任意の画像サイズの画像について、文字などの情報が明瞭になるように画像処理し得る画像処理装置に関する。さらに、該画像処理装置に適用される画像処理プログラムおよび該画像処理装置を搭載したディジタルカメラに関する。
【０００２】
【従来の技術】
近年、ディジタルカメラは、撮影後の現像処理が不要なことや画像処理により撮影した画像を様々な画像に容易に変更することができることなどから、急速に普及し始めている。ディジタルカメラは、この画像処理が容易という利点から、通常の写真撮影のためだけでなく、例えば、会議場や展示場などでホワイトボードやパネルなどに書かれた文字や図形などの情報を記録するための機器としても利用されている。このようなディジタルカメラの利用法では、ホワイトボードなどの上の情報を記録することが専ら主目的であるから、情報部分が認識できることが重要である。
【０００３】
しかしながら、ホワイトボードなどは、例えば天井灯や窓外の太陽光などによって照明される場合のように、たいてい多方向から照明される。そのため、照明光の不均一により照度ムラが生じてしまって、ホワイトボードなどの上の情報が不明瞭となってしまう場合がある。
【０００４】
そこで、本願発明者の一人は、カラー画像で撮影した場合にも適正に照度ムラ補正を行い、ホワイトボードなどの上に書かれた文字等の情報を明瞭にすることができる技術について、特願平９−１３０２０号で提案し特開平１０−２１０２８７号公報で開示された。この技術は、画像を所定の画像数より成る正方形のブロックに複数に分割し、各ブロックごとに輝度レベルを統計処理することによって画素ごとに閾値を決定し、画素の輝度レベルがこの閾値以上の場合には輝度レベルを白色飽和レベルに飛ばすことによってホワイトボードなどの画像部分を白色飽和レベルに階調補正して、ホワイトボードなどの上に書かれた文字等の情報を明瞭にするものである。このように画像処理を行うため、画像サイズは、アプリケーションソフトの設計の容易性やコストダウンの要請などから、ちょうど所定画素数の正方形ブロックで分割することができる画像サイズに限定していた。
【０００５】
【発明が解決しようとする課題】
ところで、画像処理したい画像が、机や壁などの背景がホワイトボードの周囲に写っている画像である場合や、ユーザ（使用者）が取り出したい情報の部分を全体画像から切り出した画像である場合や、ユーザがホワイトボードなどの上の情報を記録する際に限定した画像サイズ以外の画像サイズで撮像した画像である場合などがある。このような場合には、画像サイズが限定した画像サイズに成り難く、そのまま上述の画像処理を行うと所定画素数の正方形ブロックで分割する際に端数が生じてしまう。例えば、１５５０画素×１１４０画素の画像を１００画素の正方形ブロックで分割する場合では、１５５０画素×１１４０画素のうち１５００画素×１１００画素の部分は、この正方形ブロックで分割できるが残余の部分が正方形ブロックに分割することができずに端数として残ってしまう。そのため、従来の技術は、このような画像を取り扱うことができないという問題があった。
【０００６】
そこで、本発明では、上述の問題に鑑みて為された発明であり、任意の画像サイズの画像でも適正に画像処理を行い、ホワイトボードなどの上に書かれた文字等の情報を明瞭にすることができる画像処理装置を提供することを目的とする。そして、この画像処理装置に採用されている画像処理プログラムおよびこの画像処理装置を搭載したディジタルカメラを提供することを目的とする。
【０００７】
【課題を解決するための手段】
上述の目的を達成するために、本発明にかかる画像処理装置は、画像の画像サイズを検出する画像サイズ検出手段と、前記画像サイズ検出手段の検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズが横方向および縦方向共に前記所定ブロックの対応する方向の長さに対して整数倍となるように、前記画像の画像サイズを変換する画像サイズ変換手段と、前記画像サイズ変換手段で変換した画像において前記所定ブロックごとに画像処理するための前処理値をそれぞれ求める演算手段と、前記演算手段で求めた前処理値に基づいて前記画像を画像処理する画像処理手段とを備えて構成される。
【０００８】
そして、本発明にかかる画像処理プログラムは、コンピュータに、画像の画像サイズを検出する第１ステップと、前記第１ステップの検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズが横方向および縦方向共に前記所定ブロックの対応する方向の長さに対して整数倍となるように、前記画像の画像サイズを変換する第２ステップと、前記第２ステップで変換した画像において前記所定ブロックごとに画像処理するための前処理値をそれぞれ求める第３ステップと、前記第３ステップで求めた前処理値に基づいて前記画像を画像処理する第４ステップとを実行させるように構成される。
【０００９】
また、本発明にかかるディジタルカメラは、複数の光電変換素子から成る画素を有し、被写体光像を画像信号に光電変換して取り込む撮像手段と、前記撮像手段で取り込んだ画像信号に基づいて、画像の画像サイズを検出する画像サイズ検出手段と、前記画像サイズ検出手段の検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズが横方向および縦方向共に前記所定ブロックの対応する方向の長さに対して整数倍となるように、前記画像の画像サイズを変換する画像サイズ変換手段と、前記画像サイズ変換手段で変換した画像において前記所定ブロックごとに画像処理するための前処理値をそれぞれ求める演算手段と、前記演算手段で求めた前処理値に基づいて前記画像を画像処理する画像処理手段とを備えて構成される。
【００１０】
このような構成の画像処理装置、画像処理プログラムおよびディジタルカメラは、画像の画像サイズが横方向および縦方向の一方向または両方向が所定ブロックの対応する方向の長さに対して整数倍ではない場合には、画像の画像サイズが横方向および縦方向共に所定ブロックの対応する方向の長さに対して整数倍となるように、画像の画像サイズを変換するので、画像処理に必要な前処理値を既存のソフトウェアを用いて所定ブロックごとに容易に求めることができる。このため、この前処理値に基づいて、任意の画像サイズの画像に対して画像処理を行うことができる。そして、画像処理は、画像サイズを変換する前の元の画像に対して行うので、画像劣化を抑制することができる。
【００１１】
さらに、上述の画像処理装置において、好ましくは、前記画像処理は、画像の階調を調整するシェーディング処理である。このような画像処理装置は、画像の階調を調整するので、再現性の良い画像を得ることができる。
【００１２】
また、この画像処理装置において、好ましくは、前記前処理値は、画像の下地レベルであり、前記シェーディング処理は、前記下地レベルに基づいて画素ごとに閾値を設定し、画素の輝度レベルが前記閾値以上の場合には前記画素の輝度レベルを最高輝度レベルに画素ごとに変更する下地飛ばし階調補正処理を含む。このような画像処理装置は、下地飛ばし階調補正処理を行うので、画像がホワイトボードなどの上に書かれた文字などの情報を得る目的で撮られた場合に、文字などの情報が書かれたホワイトボードなどの下地部分の画像における照度ムラを軽減し、文字などの情報を明瞭化するので、容易に情報を判読することができる。
【００１３】
【発明の実施の形態】
以下、本発明に係る実施形態を図面に基づいて説明する。なお、各図において同一の構成については、同一の符号を付し、その説明を省略する。
（実施形態の構成）
図１は、本発明にかかる画像処理装置を搭載したディジタルカメラの外観を示す斜視図である。図２は、本発明にかかる画像処理装置を搭載したディジタルカメラの背面図である。図３は、本発明にかかる画像処理装置を搭載したディジタルカメラの構成を示すブロック図である。
【００１４】
図１に基づいて外観を概説すると、ディジタルカメラ１は、前面の略中央に撮影レンズ２が配設され、その上部にアクティブ測距方式により被写体距離を測定するための投光窓４と受光窓５とが配設され、両窓の間に被写体の輝度を測定するための測光窓３が配設されている。また、投光窓４の左側にファインダー対物窓６が配設され、受光窓５の右側に閃光部７が配設されている。
【００１５】
撮影レンズ２は、ズームレンズやフォーカスレンズを備えて構成され、被写体からの光を後述の撮像部２０に適切な光量および合焦点で導光する撮像光学系である。投光窓４は、被写体に対して赤外光を照射する窓であり、受光窓５は、この赤外光が被写体によって反射した反射光を受光する窓である。なお、本実施の形態では測距方式としてアクティブ測距方式を採用しているが、パッシブ測距方式でもよい。閃光部７は、被写体からの光量が不足する場合などに被写体を照明する閃光を撮像動作に合わせて発光するフラッシュである。
【００１６】
ディジタルカメラ１の側面には、画像データを記憶するためのメモリカード１３が装着脱されるカード挿入口８が設けられ、このカード挿入口８の上部にメモリカード１３をイジェクトするためのカード取出ボタン９が設けられている。撮影結果を印刷する場合、カード取出ボタン９を押してメモリカード１３をディジタルカメラ１から取り外し、メモリカードが装着可能なプリンタにこのメモリカード１３を装着することによってプリントアウトすることができる。あるいは、プリンタが接続され、メモリカードが装着可能なパーソナルコンピュータ（以下、「パソコン」と略記する。）にこのメモリカード１３を装着することによってプリントアウトすることもできる。さらに、メモリカードが装着可能なパソコンにこのメモリカード１３を装着することによって、他のディジタルカメラやスキャナで生成した画像データを記憶することもできる。
【００１７】
なお、ディジタルカメラ１にＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）のインターフェースを設け、ディジタルカメラ１とプリンタまたはパソコンとをＵＳＢのケーブルで接続することでディジタルカメラ１からプリンタまたはパソコンに画像データを直接転送させて撮影画像を印刷させるようにしてもよい。
【００１８】
また、本実施形態では画像データの記録媒体としてＰＣＭＣＩＡ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｍｅｍｏｒｙ Ｃａｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ａｓｓｏｃｉａｔｉｏｎ）準拠のメモリカードを採用しているが、撮影結果を画像データとして記録することができる記憶媒体であればよく、ハードディスクカード、ミニディスク（ＭＤ；Ｍｉｎｉ−Ｄｉｓｋ）およびＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）などの他の記録媒体でもよい。
【００１９】
ディジタルカメラ１の上面には左端部にシャッタボタン１０が設けられ、右端部にズームスイッチ１１と撮影／再生スイッチ１２とが設けられている。シャッタボタン１０は、後述の制御装置２６に接続され、半押しで焦点距離調節および露出制御値設定等の撮影準備を指示するＳ１スイッチがＯＮになり、全押しでレリーズを指示するＳ２スイッチがＯＮになる操作ボタンである。ズームスイッチ１１は、制御装置２６に接続され、左右にスライド可能な３接点スイッチから成り、ズームスイッチ１１をＴ（ＴＥＬＬ）側にスライドさせると望遠側に、また、Ｗ（ＷｌＤＥ）側にスライドさせると広角側に、撮影レンズ２のズーム比を連続的に変更することができる。
【００２０】
撮影／再生スイッチ１２は、制御装置２６に接続され、撮影モードと再生モードとを切換設定するスイッチである。撮影／再生スイッチ１２は、左右にスライド可能な２接点切換スイッチから成り、撮影／再生スイッチ１２が撮影（ＲＥＣ）側に設定されていると、撮像部２０で撮像されている画像がＬＣＤ表示部１８にモニタ表示されると共に被写体の撮影が可能になり、再生（ＰＬＡＹ）側に設定されていると、メモリカード１３に記録された画像データをＬＣＤ表示部１８（図２参照）へ表示が可能になる。そして、再生側に設定されている場合に、図略のスイッチを操作することによりＬＣＤ表示部１８に表示した画像に対して後述の画像処理の開始を指示することができる。
【００２１】
そして、図２において、ディジタルカメラ１の背面には、電源投入用のメインスイッチ１４が背面上部の左端部に設けられ、ＬＣＤ表示部１８が背面の略中央に設けられ、ファインダー接眼窓１５が背面上部の右端部に設けられている。また、メインスイッチ１４の下部に撮影モード設定スイッチ１６と解像度選択スイッチ１７とが設けられている。
【００２２】
撮影モード設定スイッチ１６は、制御装置２６に接続された撮影モードを選択するスイッチであり、例えば、操作ボタンが左右にスライドするオン／オフスイッチで構成される。撮影モード設定スイッチ１６がオフ（ＯＦＦ、開）の場合には、通常撮影モードであることを示し、撮影モード設定スイッチ１６がオン（ＯＮ、閉）の場合には、文字画撮影モードであることを示す。
【００２３】
解像度選択スイッチ１７は、制御装置２６に接続された撮像画像の解像度を選択するスイッチである。解像度選択スイッチ１７は、例えば、押しボタン式スイッチで構成され、スイッチが押されるごとに画像サイズが変更され、変更された画像サイズの情報がＬＣＤ表示部１８に表示される。例えば、解像度選択スイッチ１７が押されるごとに、２５６０画素×１９２０画素のスーパーファインから順次に１９６０画素×１４４０画素のファイン、１２８０画素×９６０画素のスタンダードおよび６４０画素×４８０画素のエコノミーに変更され、そして、更に押されるとスーパーファインに戻る。
【００２４】
また、ＬＣＤ表示部１８は、撮影画像の表示だけでなく、撮影モードか再生モードかの表示や通常撮影モードか文字画撮影モードかの表示などのディジタルカメラ１の撮影設定状態なども表示される。なお、ＬＣＤ表示部１８は、液晶ではなく有機ホトルミネセンスなどを利用した表示装置でもよい。
【００２５】
そして、図３に基づいてディジタルカメラ１の構成を説明すると、ディジタルカメラ１は、撮像部２０、アナログ／ディジタル変換部（以下、「Ａ／Ｄ」と略記する。）２１、画像メモリ２２、メモリカード１３、撮像部駆動部２３、カード制御部２４、記憶部２５、制御装置２６、測距部２８、ズーム駆動部３０、レンズ駆動部３１、絞り駆動部３２、撮影モード設定スイッチ１６、シャッタボタン１０、撮影／再生スイッチ１２、発光制御部３３、ＬＣＤ駆動部３４、測光部３５、撮影レンズ２、絞り３６、解像度設定スイッチ１７、ズームスイッチ１１、閃光部７およびＬＣＤ表示部１８を備えて構成される。そして、制御装置２６は、画像サイズ判定部４１、画像サイズ変倍部４２、ブロック下地レベル決定部４３、ブロック下地レベル割当部４４、画素下地レベル決定部４５、下地飛ばし階調補正部４６、ＬＨ／ＬＳ演算部４７、ホワイトバランス（以下、「ＷＢ」と略記する。）微調整部４８、ＲＧＢ／ＹＣｒＣｂ変換部４９、エッジ強調部５０、黒レベル引締め部５１、階調拡大補正部５２、ＡＦ制御値演算部５３および露出制御値演算部５４を備えて構成される。ここで、画像処理装置に相当する部分は、画像メモリ２２、カード制御部２４、記憶部２５および制御装置２６を備えて構成される部分である。
【００２６】
撮像部駆動部２３は、制御装置２６から入力される露出制御値のシャッタスピードに基づいて撮像部２０の撮像動作を制御する。撮像部２０は、複数の光電変換素子から成る画素を有し、撮像部駆動部２３から入力される制御信号に基づき撮像動作（電荷蓄積動作）を行うことによって、被写体光像をＲ，Ｇ，Ｂの各色成分の画像信号に光電変換して、この画像信号を時系列信号に変換しＡ／Ｄ２１に出力する。撮像部２０は、例えば、カラーエリアセンサのＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）の固体撮像素子を備えて構成される。
【００２７】
Ａ／Ｄ２１は、撮像部２０から生成されたアナログの画像信号を例えば８ビットのディジタルの画像信号（画像データ）に変換し、画像データを画像メモリ２２に出力する。画像メモリ２２は、制御装置２６に接続され、画像処理を行うために画像データを一時的に記憶するメモリであり、後述の画像処理を行った後に画像データをメモリカード１３に出力する。画像メモリ２２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を備えて構成され、後述の画像処理を行うことができ得る容量、例えば、一括処理する観点から、元の画像と変倍後の撮像画像との画像データを記憶可能な容量である。
【００２８】
カード制御部２４は、画像データを記録するべく制御装置２６の制御信号に基づいてメモリカード１３の駆動を制御する。記憶部２５は、制御装置２６に接続され、ディジタルカメラ１を動作させるために必要な各種プログラムやプログラム実行中のデータなどの各種データを記憶するメモリである。記憶部２５は、例えば、ＲＡＭやＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を備えて構成される。
【００２９】
測距部２８は、投光窓４の後方位置に設けられた赤外光を発光する投光部２７と、受光窓５の後方位置に設けられた被写体で反射した赤外光を受光する受光部２９とを備えて構成され、制御装置２６からの制御信号に基づいて被写体距離を検出し、検出結果を制御装置２６に出力する。測光部３５は、測光窓３の後方位置に設けられたＳＰＤなどの受光素子を備えて構成され、制御装置２６からの制御信号に基づいて被写体の輝度を測光し、測光結果を制御装置２６に出力する。
【００３０】
ズーム駆動部３０は、制御装置２６から入力される駆動信号に基づき撮影レンズ２のズーム動作を制御する。レンズ駆動部３１は、制御装置２６から入力されるＡＦ制御値に基づき撮影レンズ２の合焦動作を制御する。また、絞り駆動部３２は、制御装置２６から入力される露出制御値の絞り値Ａｖに基づき絞り３６の開口量を制御する。ＬＣＤ駆動部３４は、制御装置２６の制御信号に基づいて、画像メモリ２２における画像データやディジタルカメラ１の撮影設定状態などをＬＣＤ表示部１８に表示する制御を行う。発光制御部３３は、制御装置２６の制御信号に基づいて閃光部７の発光を制御する。
【００３１】
制御回路２６は、マイクロプロセッサなどを備えて構成され、後述するように各部４１〜５４によってディジタルカメラの撮影動作および画像処理などを集中制御する。画像サイズ判定部４１は、被写体を撮像することによって生成された画像データの大きさを検出し、画像処理可能な画像サイズか？、下地飛ばし階調補正処理可能な画像サイズか？、ＷＢ微調整可能な画像サイズか？および変倍処理の必要な画像サイズか？を判定する。画像サイズ変倍部４２は、画像データを所定の画像サイズに拡大または縮小する変倍処理を行う。ブロック下地レベル決定部４３は、統計処理によりエリアの下地レベルを演算した後にブロックの下地レベルを演算する。ブロック下地レベル割当部４４は、元画像のブロックと変倍後のブロックとの対応関係に基づいて、変倍後の画像から求めた各ブロックの下地レベルを元画像の各ブロックにそれぞれ割り当てる。画素下地レベル決定部４５は、ブロック下地レベル割当部４４で割り当てられたブロックの下地レベルに基づいて画素の下地レベルを演算する。下地飛ばし階調補正部４６は、照度ムラを軽減し画像の下地部分を明瞭にすべく、画素の下地レベルに基づく特性曲線によって画素の輝度レベルを変換する。ＬＨ／ＬＳ演算部４７は、統計処理により画像のハイライトレベルＬＨおよびシャドーレベルＬＳを演算する。ＷＢ微調整部４８は、所定の演算式に基づいて画像のＷＢを調整する。ＲＧＢ／ＹＣｒＣｂ変換部４９は、ＲＧＢデータをＹＣｒＣｂデータに、そして、ＹＣｒＣｂデータをＲＧＢデータに所定の演算式に基づいて変換する。エッジ強調部５０は、フィルタを用いて画像のエッジを強調する。黒レベル引締め部５１は、画像の文字などの情報を明瞭にすべく、所定の特性曲線に基づいて画素の輝度レベルを変換する。階調拡大補正部５２は、画像のハイライトレベルＬＨおよびシャドーレベルＬＳに基づく特性曲線によって画像の階調を伸長する。ＡＦ制御値演算部５３は、測距部２８の出力に基づいて被写体からの光が撮像部２０の撮像素子に結像するように撮影レンズ２のフォーカスレンズの駆動量を演算する。露出制御値演算部５４は、測光部３５の出力に基づいてプログラム制御により絞り値Ａｖおよび露光時間Ｔｖを演算する。
【００３２】
（実施形態の動作）
次に、本発明にかかる画像処理装置を搭載したディジタルカメラの動作について概略を説明した後に詳細に説明する。まず、概略を説明する。
【００３３】
図４は、本発明にかかる画像処理の概略のフローチャートを示す図である。
【００３４】
図４において、まず、画像処理の対象となる画像データを取り込む（ステップ＃１）。画像データは、例えば、その場で被写体を撮像した画像データでもよいし、予めディジタルカメラで被写体を撮像しメモリカード１３に格納した画像データでもよいし、スチルカメラで被写体を写した写真をスキャナなどの画像読取装置で画像データ化しパソコンを介してメモリカード１３に格納した画像データでもよい。
【００３５】
次に、制御装置２６は、文書画像処理を行い得るか否かの観点から、画像データの画像サイズおよび画像を判断し、ホワイトボードなどの上に書かれた文字などの情報を撮像した文字画等である場合にはステップ＃３の処理を行い、一方、文字画等以外の画像である場合にはステップ＃９の処理を行う（ステップ＃２）。
【００３６】
ステップ＃３において、制御装置２６は、画像データを変倍する必要があるか否かの変倍の要否を判断し、画像の画像サイズがブロックサイズの整数倍でない場合にはステップ＃４の処理を行った後にステップ＃５の処理を行い、画像サイズがブロックサイズの整数倍である場合にはステップ＃５の処理を行う。例えば、画像の画像サイズが１９６０画素×１４４０画素でブロックが１２８画素の正方形ブロックの場合には、横方向に４０画素分、縦方向に３２画素分だけ端数の部分が生じることになり、変倍処理が必要となる。
【００３７】
ステップ＃４の変倍処理は、画像データの画素数が横方向および縦方向共にブロックにおける各辺の画素数の整数倍になるように画像サイズを拡大または縮小して変更する。例えば、画像データを横方向に２０４８／１９６０倍、縦方向に１５３６／１４４０倍にそれぞれ拡大することにより、２０４８画素×１５３６画素の画像データを生成する。
【００３８】
ステップ＃５において、制御装置２６は、下地飛ばし階調補正処理を行うために必要な前処理値としてブロックごとにブロックの下地レベルを求める。下地飛ばし階調補正処理は、後に詳述するが、文字等の情報がより明瞭となるように、画素ごとに輝度レベルが所定の閾値以上の場合には最高輝度レベルに変更する処理である。この所定の閾値は、ブロックの下地レベルに基づいて算出されるので、下地飛ばし階調補正処理の前処理として先ずこのブロックの下地レベルを求める必要がある。
【００３９】
次に、制御装置２６は、前処理値としてブロックの下地レベルを求めた画像データが変倍済みであるか否かを判断し（ステップ＃６）、未変倍である場合にはステップ＃８を行い、一方、変倍済みである場合には、変倍後の画像を元画像の画像サイズとなるように再変倍し、元画像のブロックと再変倍後のブロックとの対応関係に基づいて、ステップ＃５で変倍後の画像から求めた各ブロックの下地レベルを元画像の各ブロックにそれぞれ割り当てる（ステップ＃７）。
【００４０】
ステップ＃８において、制御装置２６は、各ブロックの下地レベルに基づいて下地飛ばし階調補正処理で用いる所定の閾値を画素ごとに求め、下地飛ばし階調補正処理、エッジ強調処理、および、所定の閾値以下の輝度レベルを黒レベルに変換する黒レベル引締め処理の文書画像処理を元画像に対して行う。このように元画像の画像サイズがブロックサイズの整数倍でない場合でもステップ＃４の変倍処理とステップ＃７のブロックの下地レベルの割当て処理とにより各ブロックの下地レベルを求めることができるので、任意の画像サイズの画像に対して下地飛ばし階調補正処理を行うことができる。そして、下地飛ばし階調補正処理は、変倍後の画像ではなく元画像に対して行うので、画像劣化を軽減することができる。
【００４１】
一方、ステップ＃９において、文字画等以外の画像の画像データに対し、階調拡大補正などの通常の画像処理を行い、処理を終了する。
【００４２】
次に、本発明にかかる画像処理装置を搭載したディジタルカメラの動作について詳細に説明する。図５ないし図８は、本発明にかかる画像処理装置を搭載したディジタルカメラのフローチャートを示す図である。
【００４３】
（撮像時の動作）
図５ないし図８において、撮影をしようと思いユーザが撮影／再生スイッチ１２を撮影側に設定すると共にメインスイッチ１４をオンにすると、ディジタルカメラ１が起動し、制御装置２６は、記憶部に格納されているプログラムを読み込んで実行し、必要な初期化をディジタルカメラ１の各部に行って撮影可能な状態となる。ユーザは、ＬＣＤ表示部１８の解像度表示を参照しながら解像度選択スイッチ１７を押すことによって所望の解像度を設定する（ステップ＃１０）。この状態で制御装置２６は、ズームスイッチ１１が操作されているか否かを判断する（ステップ＃１１）。
【００４４】
判断の結果、ズームスイッチ１１が操作されている場合には、制御装置２６は、その操作方向および操作量に応じて撮影レンズ２内のズームレンズをズーム駆動部３０で駆動することによってズーム比を変更し、その後ステップ＃１３の処理を行う（ステップ＃１２）。一方、判断の結果、ズームスイッチ１１が操作されていない場合には、制御装置２６は、撮影レンズ２内のズームレンズを駆動することなくそのままの状態でステップ＃１３の処理を行う。
【００４５】
ステップ＃１３において、制御装置２６は、シャッタボタン１０が半押しされてＳ１スイッチがオンであるか否かを判断する。判断の結果、Ｓ１スイッチがオフである場合には、制御装置２６は、処理をステップ＃１１に戻す。一方、判断の結果、Ｓ１スイッチがオンである場合には、制御装置２６は、ステップ＃１４に移行し、撮影準備のための処理を行う。
【００４６】
すなわち、ステップ＃１４において、制御装置２６は、測距部２８の投光部２７から被写体に向けて測距用の赤外光を投光させ、その赤外光が被写体によって反射した反射光を測距部２８の受光部２９で受光することによって、測距用のデータを取り込み、被写体距離を演算する。
【００４７】
次に、制御装置２６は、撮影モード設定スイッチ１６が何れに操作されているかを判断することによって撮影モードを判断する（ステップ＃１５）。判断の結果、文字画撮影モードである場合には、制御装置２６は、発光制御部３３に発光禁止の制御信号を出力することによって閃光部７の発光を禁止し（ステップ＃１６）、ステップ＃１７の処理を行う。一方、判断の結果、通常撮影モードである場合には、制御装置２６は、ステップ＃１７の処理を行う。文字画撮影モードである場合に閃光部７の発光を禁止するのは、例えば、ホワイトボードに対して正面から撮影するシーンでは閃光部７が自動発光される可能性があるが、この撮影シーンでは、閃光がホワイトボ一ドで全反射されて撮像画像の文字が判読不能になる虞れがあるからである。
【００４８】
ステップ＃１７において、制御装置２６は、ＡＦ制御値演算部５３を用いて、被写体距離に基づいて撮影レンズ２のフォーカスレンズを合焦位置に設定するレンズ駆動量を演算し（ステップ＃１７）、そして、露出制御値演算部５４を用いて、測光部３５で検出された測光データに基づいて露出制御値を演算する（ステップ＃１８）。これにより撮影準備処理は、終了してレリーズ待機状態となる。
【００４９】
このレリーズ待機状態で、制御装置２６は、シャッタボタン１０が全押しされてＳ２スイッチがオンであるか否かを判断する（ステップ＃１９）。判断の結果、シャッタボタン１０が全押しされてＳ２スイッチがＯＮである場合には、制御装置２６は、レリーズ動作を行う。一方、判断の結果、シャッタボタン１０が全押しされていない場合には、制御装置２６は、さらにシャッタボタン１０が半押されＳ１スイッチがオンであるか否かを判断する（ステップ＃２０）。判断の結果、Ｓ１スイッチがオンである場合（シャッタボタン１０の半押し状態が継続している場合）には、制御装置２６は、処理をステップ＃１９に戻してレリーズ待機状態を継続し、一方、Ｓ１スイッチがオフである場合には、制御装置２６は、処理をステップ＃１１に戻す。
【００５０】
レリーズ動作に移行すると、制御装置２６は、まず、レンズ駆動量のデータをレンズ駆動部３１に出力して撮影レンズ２の焦点調節を行い（ステップ＃２１）、露出制御値の絞り値Ａｖのデータを絞り駆動部３２に出力して絞り３６の開口量を調節する（ステップ＃２２）。そして、制御装置２６は、ステップ＃１８で得られた露光時間に対応させて撮像部２０の撮像素子を露光して電荷を蓄積することによって被写体を撮像し、撮像素子で得られた信号に周知の通常の処理を行って、Ａ／Ｄ２１を介して、解像度選択スイッチ１７で設定された画像サイズの画像データを画像メモリ２２に格納する（ステップ＃２３）。
【００５１】
（画像処理の動作）
次に、制御装置２６は、画像サイズ判定部４１を用いて、画像の各辺に相当する画素を計数するなどによって、格納した画像データが処理可能な画像サイズか否か判断する（ステップ＃３１）。画像サイズによって処理の可否を判断するのは、文字画像として画像処理（下地飛ばし階調補正処理）を行う場合でも写真画像として画像処理（階調拡大処理）を行う場合でも、後述するように画像データを統計処理するので、統計処理の性質上或る精度を得るためには、その精度に対応したデータ数が必要だからである。したがって、判断の結果、制御装置２６は、生成した画像データが必要なデータ数未満の場合、例えば、４８０画素×４８０画素未満の場合には、文字画像処理を行うことができない旨の警告表示をＬＣＤ表示部１８に表示して（ステップ＃３２）、処理をステップ＃１１に戻す。
【００５２】
一方、判断の結果、制御装置２６は、生成した画像データが必要なデータ数以上の場合には、画像サイズ判定部４１を用いて、生成した画像データが下地飛ばし階調補正処理可能な画像サイズか否か判断する（ステップ＃３３）。下地飛ばし階調補正処理は、後述するように、画像データを複数のブロックに分割してブロックごとに処理するが、或るブロックを処理する場合に当該ブロックの周囲の情報も考慮して処理を行う。このため、必要数のブロックが横方向および縦方向に無いと充分な精度で下地飛ばし階調補正処理を行うことができない。したがって、判断の結果、制御装置２６は、生成した画像データが必要なデータ数未満の場合、例えば、短辺が６４０画素未満の場合には、写真画像として画像処理すべくステップ＃６０の処理を行う。
【００５３】
一方、判断の結果、制御装置２６は、生成した画像データが必要なデータ数以上の場合には、画像サイズ判定部４１を用いて、ＷＢ微調整が可能な画像サイズであるか否かを判断する（ステップ＃３４）。ＷＢ微調整は、図９に示すように、横方向および縦方向ともに８０パーセントに当たる画像６０の中央部（図９における斜線部分、ゲイン演算領域６１）における画素を用いて行うため、この画素数が画像６０全体の画素数に対し数パーセント未満の割合、例えば５パーセント未満の割合である場合には、使用する画素数が全体の画素数に対して少なすぎるため、ＷＢ微調整を行うのは適当ではない。したがって、判断の結果、制御装置２６は、生成した画像データがＷＢ微調整を行うに足る画素未満の場合には、写真画像として画像処理すべくステップ＃６０の処理を行う。
【００５４】
また、全体の８０パーセントに当たる画像６０の中央部をＷＢ微調整の対象とするのは、画像６０の周辺部分には背景などが撮像されている場合が多いため、全体の８０パーセントに当たる画像６０の中央部をＷＢ微調整の対象とすれば確実に文字などの情報が撮像されている部分になると考えられるからである。したがって、本実施形態では８０パーセントとしたが、この観点から他のパーセンテージを採用してもよい。
【００５５】
一方、判断の結果、制御装置２６は、生成した画像データがＷＢ微調整を行うに足る画素以上の場合には、ＷＢ微調整部４８を用いて、ＷＢの微調整を行う（ステップ＃３５）。すなわち、このＷＢ微調整において、制御装置２６は、まず、横方向および縦方向ともに８０パーセントに当たる画像６０の中央部における各画素に対し式１および式２を満たすか否かを判断し、両式を満たす画素を抽出する。
（Ｒ−Ｇ）２＋（Ｂ−Ｇ）２＜ＴｈＳｗｂ ・・・ （式１）
０．３Ｒ＋０．６Ｇ＋０．１Ｂ＞ＴｈＹｗｂ ・・・ （式２）
【００５６】
ここで、Ｒ、ＧおよびＢはそれぞれ画素の赤成分のデータ、緑成分のデータおよび青成分のデータである。式１がＷＢを適切に調整するために有彩色の画素を除外するための式であるので、ＴｈＳｗｂは、このために画素を無彩色であるか有彩色であるかを弁別する値として実験的に決定され、例えば本実施形態ではＴｈＳｗｂ＝９００とした。式２がＷＢを適切に調整するために輝度の暗い画素を除外するための式であるので、ＴｈＹｗｂは、このために暗い画素であるか明るい画素であるかを弁別する値として実験的に決定され、例えば本実施形態ではＴｈＹｗｂ＝１９０とした。そして、制御装置２６は、抽出した画素におけるＲ、ＧおよびＢのそれぞれの総和を求め、Ｇの総和を基準としてＲおよびＢに乗算するゲインＧａｉｎ＿ＲおよびゲインＧａｉｎ＿Ｂをそれぞれ求める。さらに、制御装置２６は、画像データの全画素に対して求めたゲインＧａｉｎ＿ＲおよびゲインＧａｉｎ＿ＢをそれぞれＲおよびＢに乗算する。このようにしてＷＢが微調整される。
【００５７】
次に、制御装置２６は、画像サイズ判定部４１を用いて、画像６０の各辺の画素を正方形ブロックの一辺の画素数で割り算するなどによって、画像データの画像サイズがブロックで分割した場合に端数が生じるか否かを判断する（ステップ＃３６）。これによって画像サイズを変更する変倍処理が必要か否かが判断される。ブロックは、後述の縦方向の計算と横方向の計算とでブロックを容易に一致させ得る観点から、本実施形態では正方形とするが、ブロックを長方形としても本発明を適用することは可能である。また、ブロックを長方形とすると、ブロック内の絵に方向性がある場合に後述の縦方向の計算と横方向の計算との両結果に方向性が反映されてしまうが、ブロックを正方形にすることでこれが無くなるという利点もある。正方形ブロックの大きさは、ヒストグラムの統計処理により適切に下地レベルが検出することができる大きさに、撮像部２０における撮像素子の画素数や画像サイズなどを考慮して実験的に決定され、例えば本実施形態では１２８画素とした。
【００５８】
判断の結果、端数が生じない場合、すなわち変倍処理不要な場合には、制御装置２６は、ステップ＃３８の処理を行う。一方、端数が生じる場合、すなわち変倍処理が必要な場合には端数を解消すべく、制御装置２６は、画像サイズ変倍部４２を用いて、画像データの画素数が横方向および縦方向共に正方形ブロックにおける一辺の画素数の整数倍になるように画像サイズを拡大することによって変倍処理を行い、そして、画像サイズを変倍した旨の情報を記憶部２５の所定のアドレスにおける記憶領域に格納する（ステップ＃３７）。例えば、画像データの画像サイズが１９６０画素×１４４０画素である場合には、横方向が１２８画素の１６以上の整数倍であって縦方向が１２８画素の１２以上の整数倍である画像サイズになるように拡大すると、画像データが正方形ブロックで分割可能となる。処理するデータ数を最小にすることによって処理時間を短縮する観点から、拡大後の画像サイズが最小であることが好ましい。このため、この場合では、拡大後の画像サイズが２０４８画素×１５３６画素にすることが好ましいので、制御装置２６は、画像データを横方向に２０４８／１９６０倍、縦方向に１５３６／１４４０倍にそれぞれ拡大することにより、２０４８画素×１５３６画素の画像データを生成する。例えば、１画素のデータが（２０４８／１９６０）×（１５３６／１４４０）画素分のデータに拡大される。ここで、２０４８は１２８の１６倍であり、１５３６は１２８の１２倍である。
【００５９】
ここで、端数ブロックとは、元画像をブロックで分割することができる第１区分と残余の第２区分とに分けた場合に、第１区分においてブロックに分割するための横方向の分割境界線および縦方向の分割境界線をそれぞれ第２区分まで延長し、第２区分においてこの延長した分割境界線によって分割された矩形のブロックである。例えば、上述の例では、図１０に示すように、第１区分６２を画像の左上に取れば第２区分６３は右部および下部の逆Ｌ字状部分となり、横方向（行方向）に１５個の１２８画素×３２画素の端数ブロック６４−１と、縦方向（列方向）に１１個の４０画素×１２８画素の端数ブロック６４−２と、隅に１個の４０画素×３２画素の端数ブロック６４−３とが生じる。
【００６０】
なお、制御装置２６は、画像データの画素数が横方向および縦方向共に正方形ブロックにおける一辺の画素数の整数倍になるように画像サイズを縮小することによって変倍処理を行ってもよい。
【００６１】
次に、制御装置２６は、ＲＧＢ／ＹＣｒＣｂ変換部４９を用いて、画像データのＲＧＢデータを輝度Ｙと色差ＣｒＣｂとの各データに式３ないし式５を用いて変換する（ステップ＃３８）。
Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ ・・・ （式３）
Ｃｒ＝Ｒ−Ｙ ・・・ （式４）
Ｃｂ＝Ｂ−Ｙ ・・・ （式５）
【００６２】
次に、制御装置２６は、図１１に示すように、画像データの周囲を正方形ブロックにおける一辺の画素数の整数倍で除いた中央部の領域（図１１の演算領域６５）を正方形ブロックで分割する。画像データの周囲を正方形ブロックで分割する対象領域から除外するのは、ＷＢ微調整で中央部を対象領域としたのと同様の理由である。除外する周囲を正方形ブロックにおける一辺の画素数の整数倍とするのは、もちろん、正方形ブロックで端数を生じることなく中央部を分割可能とするためである。例えば、上述の２０４８画素×１５３６画素の画像サイズの場合には、１２８画素の幅で周囲の領域を除外し、１７９２画素×１２８０画素の中央部（演算領域６５）を一辺１２８画素の正方形ブロックで分割する。このように分割すると中央部は、正方形ブロックで１４×１０に分割される。次に、制御装置２６は、各正方形ブロックにおいて、横方向および縦方向共に所定数の画素ごとに式６および式７を用いて彩度Ｓｎおよび輝度Ｙｎをそれぞれ求める（ステップ＃３９）。
【００６３】
【数１】
【００６４】
【数２】
【００６５】
ここで、ｉ，ｊは所定数ごとの飛び飛びの値であり、ｎは正方形ブロックの番号である。例えば、正方形ブロックにおける一辺の画素数１２８の約数である１６画素ごとに彩度Ｓｎおよび輝度Ｙｎをそれぞれ求める場合には、ｉ，ｊは０、１５、３１、・・・のように１６ごとの飛び飛びの値であり、サンプリング画素総数は（１２８／１６）×（１２８／１６）＝６４となる。
【００６６】
次に、制御装置２６は、求めた彩度Ｓｎおよび輝度Ｙｎを用いて、彩度Ｓｎの平均値Ｐ１、輝度Ｙｎの標準偏差値Ｐ２、彩度Ｓｎの標準偏差値Ｐ３、輝度Ｙｎのヒストグラムにおけるピークとなる階級（クラス）Ｐ４、輝度Ｙｎのヒストグラムにおいて輝度Ｙｎの平均値±２０パーセントの累積度数Ｐ５、および輝度Ｙｎのヒストグラムにおいて輝度Ｙｎの平均値−２０パーセント以下の累積度数Ｐ６を求める（ステップ＃３９）。ここで、Ｐ４、Ｐ５、Ｐ６のヒストグラムは、輝度Ｙｎの階調を１／４にした６４階調化したデータを用いる。次に、制御装置２６は、これらＰ１ないしＰ６の６個のパラメータを用いて、予め標準的な文書画像を基に実験的に作成した基準空間に対するマハラノビス距離ｄを求め、マハラノビス距離ｄと閾値ＴｈＭとの大小を判断する。判断の結果、マハラノビス距離ｄ＞閾値ＴｈＭである場合には、制御装置２６は、画像データが暗い下地の画像、濃い色の下地の画像あるいは写真画像であると判断し、ステップ＃６０を行う。一方、判断の結果、マハラノビス距離ｄ≦閾値ＴｈＭである場合には、制御装置２６は、画像データが処理可能な文書画像であると判断し、ステップ＃４１を行う（ステップ＃４０）。
【００６７】
次に、制御装置２６は、ブロック下地レベル決定部４３を用いて、画像６０を縦方向に所定の矩形領域（以下、「エリア」と称する。）ごとに分割し、各エリアにおける縦方向下地レベルＶＢＬ＿Ｅを演算する（ステップ＃４１）。より具体的には、次のように各エリア６６の縦方向下地レベルＶＢＬ＿Ｅを演算する。まず、図１２に示すように、制御装置２６は、画像６０を縦方向に所定のエリア６６ごとに分割する。所定のエリア６６における横方向の幅は、後述するように正方形ブロックにおける下地レベルも演算することから、正方形ブロックの一辺の長さに等しくすることが望ましい。このため、上述の例では、制御装置２６は、２０４８画素×１５３６画素の画像を１２８画素×１５３６画素のエリア６６で１６個に分割する。次に、制御装置２６は、各エリア６６において、横方向に８画素ごとに階調を１／４にした６４階調のデータに輝度Ｙデータを変換すると共に、縦方向も８画素ごとに階調を１／４にした６４階調のデータに輝度Ｙデータを変換する。そして、制御装置２６は、各エリア６６において、変換したこれら６４階調の輝度Ｙデータに対して、ヒストグラムを作成する。例えば、図１３に示すようなヒストグラムが作成される。図１３の横軸は６４階調の輝度に合わせて０〜６３までの階級であり、縦軸は度数である。次に、制御装置２６は、作成したヒストグラムにおいて、式８および式９を満たす度数最大の階級を求め、求めた階級の値を４倍にして２５６階調のデータに再変換し、これを当該エリア６６の暫定的な縦方向下地レベルＶＢＬ＿Ｅとする。
階級＞Ｔｈｃ１ ・・・ （式８）
度数＞３８４ ・・・ （式９）
【００６８】
ここで、式８は、下地レベルとなるべき階級の範囲を決定する式である。下地レベルは、文字ではない、すなわち、ホワイトボードや紙などの白色の部分である輝度の明るいレベルとなるべきであるから、Ｔｈｃ１は、下地レベルとして不適切な輝度の暗い階級を除外する値として実験的に決定され、本実施形態では例えばＴｈｃ１＝７０とした。式９は、下地レベルとなるべき階級における度数の範囲を決定する式である。下地レベルは、度数最大の階級として求めるので少なくとも度数が均等に分布した場合における度数を超える必要がある。そのため、例えば、本実施形態では、度数が均等に分布した場合における度数として、１２８画素×１５３６画素の画素数のエリア６６において横方向および縦方向ともに８画素ごとにサンプリングし２５６階調を６４階調に変換しているので、１２８×１５３６／６４／８＝３８４と計算される。
【００６９】
なお、ヒストグラムを作成するための輝度Ｙデータにおけるサンプリング間隔は、短ければ精度が向上するが、輝度Ｙデータ数が増大し演算時間が増大する。このように精度と演算時間はトレードオフの関係にあり、サンプリング間隔は、精度と演算時間のバランスを考慮して決定される。したがって、例えば、制御装置２６の演算速度が高速の場合には、縦方向および横方向ともに４画素ごとに輝度Ｙデータをサンプリングしてもよい。後述のサンプリング間隔も同様に精度と演算時間のバランスを考慮して決定される。
【００７０】
次に、制御装置２６は、着目するエリア６６とこれに隣接するエリア６６との３個のエリア６６において、暫定的な縦方向下地レベルＶＢＬ＿Ｅに対してメディアンを求める。例えば、着目するエリア６６の暫定的な縦方向下地レベルＶＢＬ＿Ｅ＝２００、一方に隣接するエリア６６の暫定的な縦方向下地レベルＶＢＬ＿Ｅ＝２１０、他方に隣接するエリア６６の暫定的な縦方向下地レベルＶＢＬ＿Ｅ＝２２０とすると、メディアンは、２１０となる。なお、これをｍｅｄｉａｎ（２００，２１０，２２０）＝２１０と表現する。この着目するエリア６６とこれに隣接するエリア６６との３個のエリア６６において、暫定的な縦方向下地レベルＶＢＬ＿Ｅに対してメディアンを求めた結果を、着目するエリア６６の縦方向下地レベルＶＢＬ＿Ｅとする。そして、制御装置２６は、このメディアン処理を各エリア６６に対して行い、各エリア６６の縦方向下地レベルＶＢＬ＿Ｅを求める。さらに、制御装置２６は、求めた各エリア６６の縦方向下地レベルＶＢＬ＿Ｅのうち、最大値と最小値とを除いて、各エリア６６の縦方向下地レベルＶＢＬ＿Ｅの平均値ＡＶＢＬ＿Ｅを求める。そして、制御装置２６は、着目するエリア６６に対し隣接する両エリア６６の縦方向下地レベルＶＢＬ＿Ｅがこの縦方向下地レベルＶＢＬ＿Ｅの平均値ＡＶＢＬ＿Ｅと所定値（例えば５０）以上離れている場合には、着目するエリア６６の縦方向下地レベルＶＢＬ＿Ｅを図１２において左隣のエリア６６の縦方向下地レベルＶＢＬ＿Ｅに置き換えて修正する。
【００７１】
このようにして、制御装置２６は、各エリア６６の縦方向下地レベルＶＢＬ＿Ｅを演算する。
【００７２】
次に、制御装置２６は、ブロック下地レベル決定部４３を用いて、各エリア６６を正方形ブロックごとに分割し、各正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂを演算する（ステップ＃４２）。より具体的には、次のように各正方形ブロックの縦方向下地レベルＶＢＬ＿Ｂを演算する。まず、図１４に示すように、制御装置２６は、各エリア６６を所定の正方形ブロックごとに分割する。上述の例では、制御装置２６は、１２８画素×１５３６画素のエリア６６を１２８画素×１２８画素の正方形ブロックで分割する。次に、制御装置２６は、各正方形ブロックにおいて、横方向に８画素ごとに階調を１／４にした６４階調のデータに輝度Ｙデータを変換すると共に、縦方向も８画素ごとに階調を１／４にした６４階調のデータに輝度Ｙデータを変換する。そして、制御装置２６は、各正方形ブロックにおいて、変換したこれら６４階調の輝度Ｙデータに対して、ヒストグラムを作成する。例えば、図１５に示すようなヒストグラムが作成される。図１５の横軸は６４階調の輝度に合わせて０〜６３までの階級であり、縦軸は度数である。次に、制御装置２６は、作成したヒストグラムにおいて、高輝度側から低輝度側へ順に調べ、式１０、式１１および「当該階級より低輝度側３階級の各度数よりも度数が大きいこと」を満たす階級を求め、求めた階級の値を４倍にして２５６階調のデータに再変換し、これを第１ピーク輝度とする。
階級＞Ｔｈｃ２ ・・・ （式１０）
度数＞３２ ・・・ （式１１）
【００７３】
ここで、Ｔｈｃ２は、Ｔｈｃ１と同様な考え方による数値であり、例えば本実施形態ではＴｈｃ２＝７０とした。式１１の３２は、式９の３８４と同様な考え方による数値であり、度数が均等に分布した場合における度数として、１２８画素×１２８画素の画素数の正方形ブロックにおいて横方向および縦方向ともに８画素ごとにサンプリングし２５６階調を６４階調に変換しているので、１２８×１２８／６４／８＝３２として求まる数値である。
【００７４】
さらに、制御装置２６は、作成したヒストグラムにおいて、第１ピーク輝度に対応する階級から低輝度側へ順に調べ、式１２、式１３、「当該階級より１つ高輝度側の階級における度数よりも度数が大きいこと」および「当該階級より低輝度側への３つの階級における各度数よりも度数が大きいこと」を満たす階級を求め、求めた階級の値を４倍にして２５６階調のデータに再変換し、これを第２ピーク輝度とする。
階級＞Ｔｈｃ３ ・・・ （式１２）
度数＞３２ ・・・ （式１３）
【００７５】
ここで、Ｔｈｃ３は、Ｔｈｃ１と同様な考え方による数値であるが第１ピーク輝度よりも低輝度側にあるべきであるから、例えば本実施形態では８０とした。
【００７６】
次に、制御装置２６は、第１ピーク輝度と第２ピーク輝度とを当該正方形ブロックが属するエリア６６における縦方向下地レベルＶＢＬ＿Ｅとそれぞれ比較し、当該正方形ブロックが属するエリア６６における縦方向下地レベルＶＢＬ＿Ｅに近い方のピーク輝度を当該正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂとする。例えば、第１ピーク輝度＝２２０、第２ピーク輝度＝１９０で属するエリア６６の縦方向下地レベル＝２００の場合には、第２ピーク輝度の方が近いので、正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂ＝１９０となる。
【００７７】
ここで、制御装置２６は、選択されたピーク輝度が属するエリア６６の縦方向下地レベルＶＢＬ＿Ｅと６０以上の差がある場合には、正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂを属するエリア６６における縦方向下地レベルＶＢＬ＿Ｅに置き換える修正を行い、一方、選択されたピーク輝度が属するエリア６６の縦方向下地レベルＶＢＬ＿Ｅと４０以上６０未満の差がある場合には、正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂを正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂと属するエリア６６における縦方向下地レベルＶＢＬ＿Ｅとの平均値で置き換える修正を行う。例えば、第１ピーク輝度＝１６０、第２ピーク輝度＝１１０で属するエリア６６の縦方向下地レベル＝２３０の場合には、第１ピーク輝度の方が近いが６０以上離れているので（２３０−１６０＝７０）、正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂ＝２３０となる。また例えば、第１ピーク輝度＝１８０、第２ピーク輝度＝１１０で属するエリア６６の縦方向下地レベル＝２３０の場合には、第１ピーク輝度の方が近いが４０以上６０未満だけ離れているので（２３０−１８０＝５０）、正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂ＝（１８０＋２３０）／２＝２０５となる。
【００７８】
全正方形ブロックについて上述のように正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂを求めた後に、制御装置２６は、着目する正方形ブロックとこれに横方向および縦方向に隣接する４個の正方形ブロックとに対し、最大値と最小値とを除いた正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂの平均値を求め、求めた平均値を着目する正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂとする。例えば、着目する正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂ＝２００、これに横方向に左右に隣接する正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂ＝２１０、２２０、および、これに縦方向に上下に隣接する正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂ＝１９０、２１０の場合には、最大値２２０および最小値１９０とを除いた平均値（２００＋２１０＋２１０）／３＝２０７を着目する正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂとする。
【００７９】
ここで、画像の周辺に位置する正方形ブロックの場合、および、正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂが属するエリア６６の縦方向下地レベルＶＢＬ＿Ｅの平均値ＡＶＢＬ＿Ｅより所定値（例えば５０）以上離れている場合には、上述の平均値を求める処理を行わずに、画像の内側隣にある正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂを当該正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂとする。例えば、図１４において一番上の列にある正方形ブロックは、１個下の正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂを採用し、右上端の正方形ブロックは、左下の正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂを採用する。
【００８０】
このようにして、制御装置２６は、各正方形ブロックの縦方向下地レベルＶＢＬ＿Ｂを演算する。
【００８１】
次に、制御装置２６は、ブロック下地レベル決定部４３を用いて、画像を横方向に所定のエリアごとに分割し、各エリアにおける横方向下地レベルＨＢＬ＿Ｅをステップ＃４１で求めたエリア６６における縦方向下地レベルＶＢＬ＿Ｅと同様に演算する（ステップ＃４３）。エリアは、例えば、２０４８画素×１５３６画素の画像を２０４８画素×１２８画素のエリアで分割する。
【００８２】
次に、制御装置２６は、ブロック下地レベル決定部４３を用いて、横方向に分割した各エリアを所定の正方形ブロックごとに分割し、各正方形ブロックにおける横方向下地レベルＨＢＬ＿Ｂをステップ＃４２で求めた正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂと同様に演算する（ステップ＃４４）。
【００８３】
制御装置２６は、ステップ＃４１ないしステップ＃４４のように動作することによって、画像の一のブロックに対して縦方向と横方向との２方向から下地レベルを算出する。
【００８４】
次に、制御装置２６は、ブロック下地レベル決定部４３を用いて、正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂと横方向下地レベルＨＢＬ＿Ｂとを比較し、値の大きい方（輝度の高い方）を当該正方形ブロックにおける下地レベルＢＬ＿Ｂとし、ステップ＃４２とステップ＃４４で求めた値を統合する（ステップ＃４５）。
【００８５】
以上の処理により、変倍後の画像６０に対して各ブロックの下地レベルが算出される。
【００８６】
次に、制御装置２６は、画像６０が変倍された画像であるか否かを判断する（ステップ＃４６）。判断の結果、制御装置２６は、変倍されている場合には、ステップ＃４７を処理した後にステップ＃４８を処理し、変倍されていない場合にはそのままステップ＃４８を処理する。
【００８７】
ステップ＃４７において、制御装置２６は、画像サイズ変倍部４２を用いて変倍後の画像を元画像の画像サイズになるように再変倍する。例えば、上述の例では、画像サイズ変倍部４２は、図１６（ａ）に示すように２０４８画素×１５３６画素の変倍後の画像６０における画像データを横方向に１９６０／２０４８倍におよび縦方向に１４４０／１５３６倍にそれぞれ縮小することにより、図１６（ｂ）左側に示すように再変倍後の画像６７として１９６０画素×１４４０画素の画像データを生成する。この結果、１２８画素×１２８画素の正方形ブロックは、横方向に１９６０／２０４８倍、縦方向に１４４０／１５３６倍にそれぞれ縮小される。次に、制御装置２６は、ブロック下地レベル割当部４４を用いて、元画像の各ブロックと再変倍後の画像における各ブロックとの対応関係に基づいて、変倍後の画像を用いて算出した各ブロックの下地レベルＢＬ＿Ｂを元画像の各ブロックにそれぞれ割り当てる。例えば、上述の例では、ブロック下地レベル割当部４４は、図１６（ｂ）に示すように、まず元画像６８を横方向および縦方向共に再変倍後の画像と同数になるように正方形ブロックで分割する。本例では、元画像６８は、横方向に１６個、縦方向に１２個に分割される。この正方形ブロックの大きさは、ステップ＃４１ないしステップ＃４４などのような統計処理する必要が無いので上述のような制約は無い。そして、元画像６８が再変倍後の画像６７と同様に正方形ブロックで分割されるので、元画像６８のｉ行ｊ列のブロックは、再変倍後の画像６７のｉ行ｊ列のブロックに対応する。さらに、再変倍後の画像６７のｉ行ｊ列のブロックは、変倍されただけなので、変倍後の画像６０のｉ行ｊ列のブロックに対応する。したがって、元画像６８のｉ行ｊ列のブロックにおける下地レベルＢＬ＿Ｂは、変倍後の画像６０のｉ行ｊ列のブロックにおける下地レベルＢＬ＿Ｂに対応することになるので、ブロック下地レベル割当部４４は、この対応関係によって変倍後の画像６０のｉ行ｊ列のブロックにおける下地レベルＢＬ＿Ｂを元画像６８のｉ行ｊ列のブロックにおける下地レベルＢＬ＿Ｂに割り当てる。ここで、ｉ，ｊは、それぞれ縦方向および横方向の分割数の範囲で取り得る正の整数であり、上述の例では、ｉ＝１〜１２でｊ＝１〜１６である。
【００８８】
以上の処理により、元画像の各ブロックにブロックの下地レベルＢＬ＿Ｂが割り当てられたので、次に、制御装置２６は、これを基に各画素の下地レベルを演算する（ステップ＃４８）。
【００８９】
すなわち、ｐ行ｒ列の正方形ブロックの下地レベルをＢＬ＿Ｂｐ、ｒとすると、制御装置２６は、図１７に示すように、ｐ行ｒ列の正方形ブロック、ｐ＋１行ｒ列の正方形ブロック、ｐ行ｒ＋１列の正方形ブロック、および、ｐ＋１行ｒ＋１列の正方形ブロックの各中心画素ＰＱＲＳを４頂点とする領域を設定し、この領域において横方向および縦方向ともに４画素ごとに各画素Ｔａ，ｂの下地レベルＢＬ＿Ｔａ，ｂをＢＬ＿Ｂｐ、ｒ、ＢＬ＿Ｂｐ＋１、ｒ、ＢＬ＿Ｂｐ、ｒ＋１、ＢＬ＿Ｂｐ＋１、ｒ＋１に基づいて線形内挿（式１４）によって計算する。
【００９０】
【数３】
【００９１】
ここで、ＰＱをｘ軸にＰＲをｙ軸にした点Ｐを座標原点とするｘｙ座標系を考えると、ａはＰＱＲＳを４頂点とする領域の一辺の長さであり、ｂは計算対象の画素Ｔａ，ｂにおけるｘ軸の座標値であり、ｃは計算対象の画素Ｔａ，ｂにおけるｙ軸の座標値である。
【００９２】
本実施形態にかかるディジタルカメラ１は、このように４画素ごとの画素の下地レベルＢＬ＿Ｔを近隣の４個の正方形ブロックの下地レベルＢＬ＿Ｂｐ、ｒ、ＢＬ＿Ｂｐ＋１、ｒ、ＢＬ＿Ｂｐ、ｒ＋１、ＢＬ＿Ｂｐ＋１、ｒ＋１を用いて求めるので、正方形ブロック間の下地レベルＢＬ＿Ｂの相違に基づく画質の不連続を緩和することができる。
【００９３】
このように横方向および縦方向ともに４画素ごとに画素の下地レベルＢＬ＿Ｔを求めたので、図１８に示すように、４画素×４画素のセルのうちで１画素の下地レベルＢＬ＿Ｔを求めたことになる。そこで、制御装置２６は、セル内で唯一求められているこの下地レベルＢＬ＿Ｔを、セル内で下地レベルを求めていない画素の下地レベルＢＬ＿Ｔとする。
【００９４】
上記で下地レベルＢＬ＿Ｔを求めることができる画素は、図１７から分かるように、正方形ブロックの一辺の半分の画素だけ横方向に内側にあって、且つ、正方形ブロックの一辺の半分の画素だけ縦方向にも内側にある中央部の領域における画素である。
【００９５】
したがって、この中央部を除いた周辺部分の画素の下地レベルＢＬ＿Ｔは、次にように決定する。すなわち、制御装置２６は、図１９（ａ）（ｂ）に示すように、周辺部分の画素の下地レベルＢＬ＿Ｔを中央部分の領域における最外辺の画素の下地レベルＢＬ＿Ｔをそのまま使用する。つまり、周辺部分のうち横方向の部分は、横方向における最外辺の各画素の下地レベルＢＬ＿Ｔ（図１９（ｂ）のａ，ｂ，ｃ，ｄ，ｅ，・・・）を縦方向にそれぞれ延長してそのまま使用し、周辺部分のうち縦方向の部分は、縦方向における最外辺の各画素の下地レベルＢＬ＿Ｔ（図１９（ｂ）のａ，ｘ，ｙ，・・・）を横方向にそれぞれ延長してそのまま使用し、周辺部分のうち角の部分は、最外辺の角の下地レベルＢＬ＿Ｔ（図１９（ｂ）のａ）を拡大してそのまま使用する。
【００９６】
このようにして制御装置２６は、総ての画素の下地レベルＢＬ＿Ｔを決定する。
【００９７】
次に、制御装置２６は、エッジ強調部５０を用いて、各画素の輝度Ｙデータにフィルタを用いてエッジ強調する（ステップ＃４９）。フィルタは、エッジ強調の程度によって最適なフィルタが選択されるが、例えば、図２０に示すように、対象画素を２倍し、対象画素に対し横方向および縦方向に隣接する画素を−１／４にするフィルタを使用する。
【００９８】
次に、制御装置２６は、下地飛ばし階調補正部４６を用いて、各画素に対して下地飛ばし補正特性を用いて下地飛ばし階調補正を行う（ステップ＃５０）。すなわち、下地飛ばし補正特性は、図２１に示すように、画素Ｔａ，ｂにおいて、零から画素Ｔａ，ｂの下地レベルＢＬ＿Ｔａ，ｂまでは入力Ｙｉｎを線形変換し、下地レベルＢＬ＿Ｔａ，ｂ以上では入力Ｙｉｎを最高の輝度レベル（例えば、２５６階調では２５５レベル）に変換する。すなわち、画素Ｔａｂの輝度Ｙデータは、画素Ｔａｂの下地レベルＢＬ＿Ｔａｂを閾値として線形変換するか可能な最高の輝度レベルに変換するかが決定される。したがって、この閾値は、画素に固有な値である。例えば、画素Ｔａｂの輝度Ｙデータは、入力輝度データＹｉｎ≦閾値ＢＬ＿Ｔａ，ｂの場合では、出力Ｙｏｕｔ＝（最高輝度階調値２５５×入力Ｙｉｎ）／ＢＬ＿Ｔａ，ｂと線形変換され、入力輝度データＹｉｎ＞閾値ＢＬ＿Ｔａ，ｂの場合では、出力Ｙｏｕｔ＝最高輝度階調値２５５と変換される。
【００９９】
次に、制御装置２６は、黒レベル引締め部５１を用いて、各画素に対して黒レベル引締め処理を行う（ステップ＃５１）。黒レベル引締め処理は、例えば、図２２に示す補正特性を用いて、輝度Ｙデータを変換する。黒レベル引締め処理に使用される補正特性は、図２２に示すように、閾値（図２２では一例として１４４）より小さい輝度Ｙデータの入力Ｙｉｎに対しては黒レベルに変換する特性である。
【０１００】
次に、制御装置２６は、ＲＧＢ／ＹＣｒＣｂ変換部４９を用いて、輝度Ｙ色差ＣｒＣｂデータをＲＧＢデータに式１５ないし式１７を用いて再変換する（ステップ＃５２）。
Ｒ＝Ｙ＋Ｃｒ ・・・ 式１５
Ｇ＝Ｙ−０．５１Ｃｒ−０．１９Ｃｂ ・・・ 式１６
Ｂ＝Ｙ＋Ｃｂ ・・・ 式１７
【０１０１】
次に、制御装置２６は、カード制御部２４などを用いて、画像データをメモリカード１３に格納し（ステップ＃５２）、ステップ＃１１の処理に戻る。
【０１０２】
以上のように、本実施形態にかかるディジタルカメラ１は、正方形ブロックで端数を生じることなく分割することができるように撮像画像を変倍する。このため、下地飛ばし階調補正処理に必要なブロックの下地レベルを算出することができる。そして、この算出したブロックの下地レベルを元画像の各ブロックに割り当てて下地飛ばし階調補正処理に必要な所定の閾値を算出するので、任意の画像サイズにおける文字画像に対して、ホワイトボードなどの白地部分に対する文字情報部分のコントラストを高くして文字情報の明瞭化を図るとともに照度ムラを低減して全体的に見やすくする画像処理を行うことができる。よって、描写性よりも情報の判読性の高い画質という、文字画像に対する要求に応えることができる。そして、本実施形態にかかるディジタルカメラ１は、元画像に対して画像処理を行うので画像の劣化を抑制することができる。
（下地飛ばし補正処理不可能な画像、ＷＢ微調整不可能な画像、暗い下地の画像、濃い色の下地の画像または写真画像の場合における画像処理）
一方、下地飛ばし補正処理不可能な画像、ＷＢ微調整不可能な画像、暗い下地の画像、濃い色の下地の画像または写真画像の場合には、制御装置２６は、ＲＧＢ／ＹＣｒＣｂ変換部４９を用いて、画像データのＲＧＢデータを輝度Ｙと色差ＣｒＣｂとの各データに式３ないし式５を用いて変換する（ステップ＃６０）。
【０１０３】
次に、制御装置２６は、ＬＨ／ＬＳ演算部を用いて、ハイライトレベルＬＨおよびシャドーレベルＬＳを演算する（ステップ＃６１）。すなわち、制御装置２６は、まず、全画像領域において、階調を１／４にした６４階調のデータに輝度Ｙデータを変換する。次に、制御装置２６は、変換したこれら６４階調の輝度Ｙデータに対して、図２３に示すようなヒストグラムを作成する。次に、制御装置２６は、高輝度側である最高階級（６３）から度数を積算し、積算した度数が全度数の数パーセント（例えば１パーセント）を超えた時点の階級を求め、求めた階級の値を４倍にして２５６階調のデータに再変換し、これをハイライトレベルＬＨとする。次に、制御装置２６は、低輝度側である最低階級（０）から度数を積算し、積算した度数が全度数の数パーセント（例えば１パーセント）を超えた時点の階級を求め、求めた階級の値を４倍にして２５６階調のデータに再変換し、これをシャドーレベルＬＳとする。
【０１０４】
次に、制御装置２６は、階調拡大補正部５２を用いて、各画素に対して階調拡大補正特性を用いて階調拡大補正を行う（ステップ＃６２）。階調拡大補正特性は、図２４に示すように、零からシャドーレベルＬＳまでは入力Ｙｉｎを黒レベルに変換し、シャドーレベルＬＳからハイライトレベルまでは入力Ｙｉｎを線形変換し、ハイライトレベル以上では入力Ｙｉｎを最高の輝度レベル（例えば、２５６階調では２５５レベル）に変換する。
【０１０５】
次に、制御装置２６は、ＲＧＢ／ＹＣｒＣｂ変換部４９を用いて、輝度Ｙ色差ＣｒＣｂデータをＲＧＢデータに式１５ないし式１７を用いて再変換し（ステップ＃６３）、ステップ＃５２を処理する。
【０１０６】
このように本実施形態にかかるディジタルカメラ１は、下地飛ばし補正処理不可能な画像、ＷＢ微調整不可能な画像、暗い下地の画像、濃い色の下地の画像および写真画像の場合には、ステップ＃３３、ステップ＃３４およびステップ＃４０でそれぞれ自動的に判別され、適切な階調拡大補正処理がなされる。このため、このような画像の場合でも、本実施形態にかかるディジタルカメラ１は、階調のレンジ（本実施形態では２５６階調）を有効に活用して適切な階調で撮像画像を変換し、描写性の高い画質を得ることができる。
【０１０７】
なお、上述の実施形態では、ＲＧＢの画像データをＹＣｒＣｂの画像データに変換して輝度Ｙデータを用いて画像処理を行ったが、特開平１０−２１０２８７号公報に開示されているように、ＲＧＢの画像データのままでＧデータに基づいて照度ムラ補正用の特性を設定し、さらにＲおよびＢの照度ムラ補正用の特性を設定することによって画像処理を行ってもよい。
【０１０８】
また、上述の実施形態では、ディジタルカメラで撮影した画像データをリアルタイムで文書画像処理を行う実施形態を説明したが、予め文書画像を撮像した画像データまたはスチルカメラで文書画像を撮影した写真をスキャナなどの画像読取装置で読み取った画像データなどを画像処理装置で文書画像処理を行うようにしてもよい。画像読取装置は、例えば、画像メモリ２２、カード制御部２４、記憶部２５、コマンドなどを入力するキーボードやマウスなどの入力装置、画像や入力されたコマンドなどを表示するＬＣＤやＣＲＴなどの出力装置およびこれら画像メモリ２２、カード制御部２４、記憶部２５、入力装置および出力装置を制御すると共に図６ないし図８のステップ＃３１ないしステップ５２およびステップ＃６０ないしステップ＃６３を処理する制御装置２６を備えて構成する。あるいは、画像読取装置は、図６ないし図８のステップ＃３１ないしステップ５２およびステップ＃６０ないしステップ＃６３を処理するコンピュータプログラムを記録したコンピュータ読取可能な記憶媒体からインストールすることによってコンピュータを利用するようにしてもよい。コンピュータは、例えば、プログラムおよびプログラム実行中の各種データなどを記憶する記憶部と、コマンド（命令）や必要なデータなどを入力する入力部（例えばキーボードやマウスなど）と、画像や各種データなどを外部に出力する出力部（例えばディスプレイやプリンタなど）と、これら記憶部、入力部および出力部を制御すると共にプログラムの実行など各種演算処理を行うプロセッサとを備え、さらに、必要に応じて、補助記憶装置、外部記憶装置または通信インターフェースなどを備える。記憶媒体は、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤおよびメモリーカードなどである。文書画像処理対象の画像データは、メモリカードなどの記憶媒体に一端記憶させて画像処理装置に入力する。
【０１０９】
以上、本明細書に開示された主な発明を以下にまとめる。
（付記１）画像の画像サイズを検出する画像サイズ検出手段と、前記画像サイズ検出手段の検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズが横方向および縦方向共に前記所定ブロックの対応する方向の長さに対して整数倍となるように、前記画像の画像サイズを変換する画像サイズ変換手段と、前記画像サイズ変換手段で変換した画像において前記所定ブロックごとに画像処理するための前処理値をそれぞれ求める演算手段と、前記演算手段で求めた前処理値に基づいて前記画像を画像処理する画像処理手段とを備えることを特徴とする画像処理装置。
（付記２） 前記画像処理は、画像の階調を調整するシェーディング処理であることを特徴とする付記１に記載の画像処理装置。
（付記３） 前記前処理値は、画像の下地レベルであり、前記シェーディング処理は、前記下地レベルに基づいて画素ごとに閾値を設定し、画素の輝度レベルが前記閾値以上の場合には前記画素の輝度レベルを最高輝度レベルに画素ごとに変更する下地飛ばし階調補正処理を含むことを特徴とする付記２に記載の画像処理装置。
（付記４） 前記所定ブロックは、正方形であることを特徴とする付記１に記載の画像処理装置。
（付記５） コンピュータに、画像の画像サイズを検出する第１ステップと、前記第１ステップの検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズが横方向および縦方向共に前記所定ブロックの対応する方向の長さに対して整数倍となるように、前記画像の画像サイズを変換する第２ステップと、前記第２ステップで変換した画像において前記所定ブロックごとに画像処理するための前処理値をそれぞれ求める第３ステップと、前記第３ステップで求めた前処理値に基づいて前記画像を画像処理する第４ステップとを実行させるための画像処理プログラム。
（付記６） 前記画像処理は、画像の階調を調整するシェーディング処理であることを特徴とする付記５に記載の画像処理プログラム。
（付記７） 前記前処理値は、画像の下地レベルであり、前記シェーディング処理は、前記下地レベルに基づいて画素ごとに閾値を設定し、画素の輝度レベルが前記閾値以上の場合には前記画素の輝度レベルを最高輝度レベルに画素ごとに変更する下地飛ばし階調補正処理を含むことを特徴とする付記６に記載の画像処理プログラム。
（付記８） 前記所定ブロックは、正方形であることを特徴とする付記５に記載の画像処理プログラム。
（付記９） 複数の光電変換素子から成る画素を有し、被写体光像を画像信号に光電変換して取り込む撮像手段と、前記撮像手段で取り込んだ画像信号に基づいて、画像の画像サイズを検出する画像サイズ検出手段と、前記画像サイズ検出手段の検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズが横方向および縦方向共に前記所定ブロックの対応する方向の長さに対して整数倍となるように、前記画像の画像サイズを変換する画像サイズ変換手段と、前記画像サイズ変換手段で変換した画像において前記所定ブロックごとに画像処理するための前処理値をそれぞれ求める演算手段と、前記演算手段で求めた前処理値に基づいて前記画像を画像処理する画像処理手段とを備えることを特徴とするディジタルカメラ。
（付記１０） 前記画像処理は、画像の階調を調整するシェーディング処理であることを特徴とする付記９に記載のディジタルカメラ。
（付記１１） 前記前処理値は、画像の下地レベルであり、前記シェーディング処理は、前記下地レベルに基づいて画素ごとに閾値を設定し、画素の輝度レベルが前記閾値以上の場合には前記画素の輝度レベルを最高輝度レベルに画素ごとに変更する下地飛ばし階調補正処理を含むことを特徴とする付記１０に記載のディジタルカメラ。
（付記１２） 前記所定ブロックは、正方形であることを特徴とする付記９に記載のディジタルカメラ。
（付記１３） コンピュータに、画像の画像サイズを検出する第１ステップと、前記第１ステップの検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズが横方向および縦方向共に前記所定ブロックの対応する方向の長さに対して整数倍となるように、前記画像の画像サイズを変換する第２ステップと、前記第２ステップで変換した画像において前記所定ブロックごとに画像処理するための前処理値をそれぞれ求める第３ステップと、前記第３ステップで求めた前処理値に基づいて前記画像を画像処理する第４ステップとを実行させるための画像処理プログラムが記録されたコンピュータ読取可能な記憶媒体。
【０１１０】
【発明の効果】
以上のように、本発明によれば、画像の画像サイズが横方向および縦方向の一方向または両方向が所定ブロックの対応する方向の長さに対して整数倍ではない場合には、画像の画像サイズが横方向および縦方向共に所定ブロックの対応する方向の長さに対して整数倍となるように、画像の画像サイズを変換するので、画像処理に必要な前処理値を既存のソフトウェアを用いて所定ブロックごとに容易に求めることができる。このため、この前処理値に基づいて、任意の画像サイズの画像に対して画像処理を行うことができる。そして、画像処理は、画像サイズを変換する前の元の画像に対して行うので、画像劣化を抑制することができる。
【０１１１】
また、本発明によれば、画像の画像サイズを所定ブロックの整数倍になるように変換するので下地飛ばし階調補正処理に必要なブロックの下地レベルを求めることができるから、下地飛ばし階調補正処理を行うことができる。このため、画像がホワイトボードなどの上に書かれた文字などの情報を得る目的で撮られたとしても、文字などの情報を除いた下地部分における照度ムラを軽減し、文字などの情報を明瞭化することができ、容易に情報を判読することができる。
【図面の簡単な説明】
【図１】本発明にかかる画像処理装置を搭載したディジタルカメラの外観を示す斜視図である。
【図２】本発明にかかる画像処理装置を搭載したディジタルカメラの背面図である。
【図３】本発明にかかる画像処理装置を搭載したディジタルカメラの構成を示すブロック図である。
【図４】本発明にかかる画像処理の概略のフローチャートを示す図である。
【図５】本発明にかかる画像処理装置を搭載したディジタルカメラのフローチャート（その１）を示す図である。
【図６】本発明にかかる画像処理装置を搭載したディジタルカメラのフローチャート（その２）を示す図である。
【図７】本発明にかかる画像処理装置を搭載したディジタルカメラのフローチャート（その３）を示す図である。
【図８】本発明にかかる画像処理装置を搭載したディジタルカメラのフローチャート（その４）を示す図である。
【図９】ホワイトバランスを微調整する場合に使用する画像データを示す図である。
【図１０】端数ブロックを説明するための図である。
【図１１】正方形ブロックで分割する画像の中央部を示す図である。
【図１２】画像をエリアごとに分割した状況を説明する図である。
【図１３】或るエリアにおける６４階調の輝度Ｙデータに対するヒストグラムの一例を示す図である。
【図１４】画像を正方形ブロックごとに分割した状況を説明する図である。
【図１５】或る正方形ブロックにおける６４階調の輝度Ｙデータに対するヒストグラムの一例を示す図である。
【図１６】変倍後の各ブロックにおける下地レベルと元画像の各ブロックにおける下地レベルとの対応関係を示す図である。
【図１７】４個の正方形ブロックの各下地レベルから画素の下地レベルを線形内挿によって求める方法を説明する図である。
【図１８】線形内挿によって求める画素の下地レベルとセルとの関係を示す図である。
【図１９】画像の周辺部分の画素における下地レベルの決定方法を説明する図である。
【図２０】エッジ強調におけるフィルタの一例を示す図である。
【図２１】下地飛ばし階調補正に使用する補正特性の一例を示す図である。
【図２２】黒レベル引締め処理に使用する補正特性の一例を示す図である。
【図２３】画像の６４階調の輝度Ｙデータに対するヒストグラムの一例を示す図である。
【図２４】階調拡大補正に使用する補正特性の一例を示す図である。
【符号の説明】
１ ディジタルカメラ
１３ メモリカード
２２ 画像メモリ
２５ 記憶部
２６ 制御装置
４１ 画像サイズ判定部
４２ 画像サイズ変倍部
４３ ブロック下地レベル決定部
４４ ブロック下地レベル割当部
４５ 画素下地レベル決定部
４６ 下地飛ばし階調補正部
４７ ＬＨ／ＬＳ演算部
４８ ＷＢ微調整部
４９ ＲＧＢ／ＹＣｒＣｂ変換部
５０ エッジ強調部
５１ 黒レベル引締め部
５２ 階調拡大補正部
【特許請求の範囲】
【請求項１】
画像の画像サイズを検出する画像サイズ検出手段と、
前記画像サイズ検出手段の検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズが横方向および縦方向共に前記所定ブロックの対応する方向の長さに対して整数倍となるように、前記画像の画像サイズを変換する画像サイズ変換手段と、
前記画像サイズ変換手段で変換した画像において前記所定ブロックごとに画像処理するための前処理値をそれぞれ求める演算手段と、
前記演算手段で求めた前処理値に基づいて前記画像を画像処理する画像処理手段とを備えること
を特徴とする画像処理装置。
【請求項２】
前記画像処理は、
画像の階調を調整するシェーディング処理であること
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記前処理値は、画像の下地レベルであり、
前記シェーディング処理は、
前記下地レベルに基づいて画素ごとに閾値を設定し、画素の輝度レベルが前記閾値以上の場合には前記画素の輝度レベルを最高輝度レベルに画素ごとに変更する下地飛ばし階調補正処理を含むこと
を特徴とする請求項２に記載の画像処理装置。
【請求項４】
コンピュータに、画像の画像サイズを検出する第１ステップと、
前記第１ステップの検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズが横方向および縦方向共に前記所定ブロックの対応する方向の長さに対して整数倍となるように、前記画像の画像サイズを変換する第２ステップと、
前記第２ステップで変換した画像において前記所定ブロックごとに画像処理するための前処理値をそれぞれ求める第３ステップと、
前記第３ステップで求めた前処理値に基づいて前記画像を画像処理する第４ステップとを実行させるための画像処理プログラム。
【請求項５】
複数の光電変換素子から成る画素を有し、被写体光像を画像信号に光電変換して取り込む撮像手段と、
前記撮像手段で取り込んだ画像信号に基づいて、画像の画像サイズを検出する画像サイズ検出手段と、
前記画像サイズ検出手段の検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズが横方向および縦方向共に前記所定ブロックの対応する方向の長さに対して整数倍となるように、前記画像の画像サイズを変換する画像サイズ変換手段と、
前記画像サイズ変換手段で変換した画像において前記所定ブロックごとに画像処理するための前処理値をそれぞれ求める演算手段と、
前記演算手段で求めた前処理値に基づいて前記画像を画像処理する画像処理手段とを備えること
を特徴とするディジタルカメラ。
【請求項１】
画像の画像サイズを検出する画像サイズ検出手段と、
前記画像サイズ検出手段の検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズが横方向および縦方向共に前記所定ブロックの対応する方向の長さに対して整数倍となるように、前記画像の画像サイズを変換する画像サイズ変換手段と、
前記画像サイズ変換手段で変換した画像において前記所定ブロックごとに画像処理するための前処理値をそれぞれ求める演算手段と、
前記演算手段で求めた前処理値に基づいて前記画像を画像処理する画像処理手段とを備えること
を特徴とする画像処理装置。
【請求項２】
前記画像処理は、
画像の階調を調整するシェーディング処理であること
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記前処理値は、画像の下地レベルであり、
前記シェーディング処理は、
前記下地レベルに基づいて画素ごとに閾値を設定し、画素の輝度レベルが前記閾値以上の場合には前記画素の輝度レベルを最高輝度レベルに画素ごとに変更する下地飛ばし階調補正処理を含むこと
を特徴とする請求項２に記載の画像処理装置。
【請求項４】
コンピュータに、画像の画像サイズを検出する第１ステップと、
前記第１ステップの検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズが横方向および縦方向共に前記所定ブロックの対応する方向の長さに対して整数倍となるように、前記画像の画像サイズを変換する第２ステップと、
前記第２ステップで変換した画像において前記所定ブロックごとに画像処理するための前処理値をそれぞれ求める第３ステップと、
前記第３ステップで求めた前処理値に基づいて前記画像を画像処理する第４ステップとを実行させるための画像処理プログラム。
【請求項５】
複数の光電変換素子から成る画素を有し、被写体光像を画像信号に光電変換して取り込む撮像手段と、
前記撮像手段で取り込んだ画像信号に基づいて、画像の画像サイズを検出する画像サイズ検出手段と、
前記画像サイズ検出手段の検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向において所定ブロックの対応する方向の長さに対して整数倍ではない場合に、画像サイズが横方向および縦方向共に前記所定ブロックの対応する方向の長さに対して整数倍となるように、前記画像の画像サイズを変換する画像サイズ変換手段と、
前記画像サイズ変換手段で変換した画像において前記所定ブロックごとに画像処理するための前処理値をそれぞれ求める演算手段と、
前記演算手段で求めた前処理値に基づいて前記画像を画像処理する画像処理手段とを備えること
を特徴とするディジタルカメラ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２００４−３８４５６（Ｐ２００４−３８４５６Ａ）
【公開日】平成１６年２月５日（２００４．２．５）
【国際特許分類】
【出願番号】特願２００２−１９３３６２（Ｐ２００２−１９３３６２）
【出願日】平成１４年７月２日（２００２．７．２）
【出願人】（０００００６０７９）ミノルタ株式会社 (155)
【Ｆターム（参考）】
【公開日】平成１６年２月５日（２００４．２．５）
【国際特許分類】
【出願日】平成１４年７月２日（２００２．７．２）
【出願人】（０００００６０７９）ミノルタ株式会社 (155)
【Ｆターム（参考）】
[ Back to top ]