説明

画像補正方法、装置及び撮像装置

【課題】 精度の高い画像補正が可能な画像補正方法を提供すること
【解決手段】 画像の撮影時データを用いて適切な補正内容を決定する。例えば、ストロボ使用の有無(S212)、日時情報と対応する日の出、日の入り時刻等のデータから、光源がどのような色温度であったかを推定(S213〜S215)するとともに、撮像素子のゲインを用いて撮影時の光量を推定(S216〜S218)して、基準となる値にホワイトバランスを補正する(S219〜S2111)。

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ビデオカメラやデジタルスチルカメラ(以下デジカメと記述する)により撮影した被写体のデータを補正する画像補正方法、装置及び高品質な出力結果が得られる撮像装置に関する。
【0002】
【従来の技術】従来、デジカメ等の入力機器を使用して撮影された画像は、色かぶり等のホワイトバランス補正、露出オーバーやアンダーによるコントラストの不足の補正、更にコントラスト補正、シャープネス補正、彩度補正などを必要とする画像が多く、そのまま使用するには高品位の画像を期待出来ないため、画像データの輝度部分より決めた補正を行い画質を向上する手法が採られている(特開平10−198802号公報、特開平10−200778号公報等)。
【0003】
【発明が解決しようとする課題】しかしながら、上記従来例では、天候や時間、撮影場所などの状況に関わらず、補正対象の画像データの輝度データのみを用いて推測した結果に基づき補正を行うため、補正の精度が低いという問題があった。
【0004】本出願に係わる発明の目的は、精度の高い画像補正が可能な画像補正方法を提供することにある。また本発明に係る別の目的は、忠実度の高い画像出力が得られる撮像装置を提供することにある。
【0005】
【課題を解決するための手段】すなわち、本発明の要旨は、撮像条件に関する情報を入力し、撮像条件によつて得られた画像情報に基づきヒストグラムを作成し、撮像条件およびヒストグラムに基づき、色処理条件を設定し、設定された色処理条件に基づき画像情報に対して色処理を行うことを特徴とする画像処理方法に存する。
【0006】また、本発明の別の要旨は、入力画像を示す画像データを入力し、入力画像のハイライトボイントを検出し、色順応変換処理を用いて得られたハイライトボイントに対応するターゲットポイントを設定し、ハイライトボイントおよびターゲットポイントに基づき色補正条件を設定し、設定された色補正条件に基づき、入力画像を示す画像データに対して色補正することを特徴とする画像処理方法に存する。
【0007】また、本発明の別の要旨は、撮像条件に関する情報を入力する手段と、撮像条件によつて得られた画像情報に基づきヒストグラムを作成する手段と、撮像条件およびヒストグラムに基づき、色処理条件を設定する手段と、設定された色処理条件に基づき画像情報に対して色処理を行う手段とを有することを特徴とする画像処理装置に存する。
【0008】また、本発明の別の要旨は、入力画像を示す画像データを入力する手段と、入力画像のハイライトボイントを検出する手段と、色順応変換処理を用いて得られたハイライトボイントに対応するターゲットポイントを設定する手段と、ハイライトボイントおよびターゲットポイントに基づき色補正条件を設定する手段と、設定された色補正条件に基づき、入力画像を示す画像データに対して色補正する手段とを有することを特徴とする画像処理装置に存する。
【0009】また、本発明の別の要旨は、装置が実施可能なプログラムを格納した記憶媒体であって、プログラムを実行した装置を、撮像条件に関する情報を入力する手段と、撮像条件によつて得られた画像情報に基づきヒストグラムを作成する手段と、撮像条件およびヒストグラムに基づき、色処理条件を設定する手段と、設定された色処理条件に基づき画像情報に対して色処理を行う手段とを有する画像処理装置として動作させることを特徴とする記憶媒体に存する。
【0010】また、本発明の別の要旨は、装置が実施可能なプログラムを格納した記憶媒体であって、プログラムを実行した装置を、入力画像を示す画像データを入力する手段と、入力画像のハイライトボイントを検出する手段と、色順応変換処理を用いて得られたハイライトボイントに対応するターゲットポイントを設定する手段と、ハイライトボイントおよびターゲットポイントに基づき色補正条件を設定する手段と、設定された色補正条件に基づき、入力画像を示す画像データに対して色補正する手段とを有する画像処理装置として動作させることを特徴とする記憶媒体に存する。
【0011】
【発明の実施の形態】以下、本発明を好適な実施形態を用いて詳細に説明する。以下の実施形態においては印刷機能を有するデジタルカメラに本発明を適用した例を用いて説明する。
【0012】図1は本発明の一実施形態である印刷機能付きデジタルカメラのブロック図である。同図において、制御部101は、マイクロコンピュータを中心とする構成の制御回路部で、主にデジカメ機能を含むシステムコントロールを行うシステムコントローラ1011と、印刷のためのプリンタコントロールを行なうプリンタコントローラ1012を有し、デジタルカメラの全体制御を行なう。
【0013】撮像光学系は、複数のレンズ群の他、絞り機構等が含まれ、オートフォーカス機能とAE機能によりピント、露出等が自動的に行われるようになっている(詳細は不図示)。本ブロック図において撮像光学系はレンズ102として表している。また、撮像対象を目で見るためのファインダーは、光学系とミラーを介して撮像対象からの像が現れるように構成してある(不図示)。
【0014】撮像光学系により結像される被写体の静止画(光学像)の結像面上には、CCDユニット103が配置される。
【0015】CCDユニット103は、光学像を電気信号に変換し蓄える部分で、図2に示すような構成になっている。すなわち、レンズ102に近い方から、光学フィルタ201、集光レンズ202、カラーフィルタ203及びCCD204の順に配置された構成を有する。光学フィルタ201は本実施形態においては入射光から赤外線を除去する。集光レンズ202はCCD204に結像するためのものである。カラーフィルタ203は、画像の色識別情報としてRGBの三原色に分解するために設けられている。CCD204としては、例えば有効画素1280ドット*1024ドットを得るため、140万画素クラスのものを使用している。
【0016】図3は、色分解用カラーフィルタ203の構成を示している。図3においては、便宜上かつ90°回転した状態を示してある。カラーフィルタ203はRGBの各色フィルタ要素が1画素毎に規則的に配列された構成を有する。具体的には横方向に緑信号(G)と赤信号(R)が交互に配列された第1ラインと、青信号(B)と緑信号(G)が交互に配列された第2ラインが交互に配列され、単位印刷情報が形成される。
【0017】本実施形態においては、1280ドット*1024ドットの有効画素が得られる様に構成するため、色分解用カラーフィルタを使用することにより足りない部分の色データは補間処理を用いて各有効画素分の24ビットRGBデータ(各8ビット)を作成する。
【0018】また、本実施形態では、モザイクカラーフィルタを用いた例を示したが、補間処理の必要の無い3CCD構成によるカラーフィルタを用いる場合やカラーフィルタとしてCMY(補色)系を用いてもよい。
【0019】図1に戻って、CCDユニット103の出力は、信号増幅処理とノイズ除去を主に行なう信号処理回路104を経由して、A/D変換器105へ入力され、デジタル信号化された後、メモリコントローラ106により記憶素子であるRAM107の所定領域にRGB各8ビットの24ビットrawRGBデータとして蓄えられる。
【0020】詳細は後で述べるが、モード設定がメモリーカード111に画像を蓄えるモード(SAVEモード)になっている場合、まず、RAM107に展開しているrawRGBデータを画像処理112ユニットにおいて、ガンマ補正やシェーディング補正/エッジ補正や色補正する。その後、符号化ユニット108は、画像処理112ユニットからのデータを着脱可能なメモリーカード111へ記録するために汎用の画像データファイル形式(例えばJPEG形式)に変換する。符号化されたデータはデータ書き込み用のカードインターフェイス回路109及びコネクタ110を経てメモリーカード111へ画像ファイルとしてを蓄えられる。
【0021】一方、同様に詳細は後で述べるが、設定が撮像直後の画像を同時印刷するモード(PRTモード)になっている場合と、メモリーカード111に蓄えられている画像データファイルを印刷するモード(SAVE PRTモード)の場合においては、内蔵プリンタで印字が行なえるように、画像処理112ユニットにより機能選択した処理を行なう。
【0022】次に、その結果のRGBデータを印刷出力の為の色空間(例えばCMYK)へ変換する処理を色変換ユニット113で行ない、最後にプリンタ特有の階調に変換する2値化処理(プリンタのドット階調表現能力により異なる)を2値化処理ユニット114で行なう。2値化処理ユニット114で形成したデータは、プリンタエンジンにより、そのまま印刷出来る様にデータ展開された後印字ヘッド(図示せず)ヘ送り込まれる。
【0023】図4は、印字ヘッドの構成を示す図である。本図は発熱体を用いたインクジェットプリンタヘッドを示している。
【0024】一列に配置される印字用ドットの抵抗体(発熱体)アレイ405は、1280個の抵抗体(発熱体)R1からR1280で構成され、例えば360ドット/インチで配置した場合の印字記録可能範囲は約90[mm]となる。この抵抗体は、その片方を電源ラインである“VH”と接続し、反対側はおのおの1280ビットトランジスタアレイ401のコレクタと接続している。この1280ビットトランジスタアレイを駆動するベース信号は、ヘッドコントローラ及びドライバ115(図1)からシリアルデータとして1280ビットのS/R(シフトレジスタ)404へDCLK(から入力される)信号に従ってIdata端子から入力され、ラッチユニット403にてLTCK(から入力される)信号のタイミングでラッチされる。ヘッド・コントロール回路402は、ラッチユニット403でラッチされたデータに基づき、特定のブロック単位で時間差の管理をしながら1280ビットトランジスタアレイ401のベース駆動信号を供給する。詳細な説明は省くが、この印字ヘッドは、製造工程ばらつきによる抵抗体R1〜R1280の固体差を検出するためのRANK端子及び印字ヘッドの温度を調整する目的で設けられたヒータ(図示せず)の制御信号用端子SUBHなどを有している。
【0025】図4に示す印字ヘッドは、単色構成であるので、印字色毎(4色ヘッドであれば例えばCMYKの4色分)に一定の間隔を置いて並列に配置される。プリンタコントローラ101は、4値化したデータをCMYK毎に管理する。
【0026】印字ヘッドの“Block0〜4”の端子は、ラッチユニット403に蓄えられている有効データの中で、一度に同時にヒータをONする(以下、ヒートすると記述)ドット数(以後ヒートブロックと記述する)を指定する端子である。
【0027】ヒートブロックは“Block0〜4”の5ビット信号で指定する。この5ビット信号の0から31に対して16個おきのヒートブロック0,16,32,48,64,…512がそれぞれ対応している。指定されたヒートブロックごとのイネーブル信号が“ENB0〜7”の8ビット信号で、ヘッドのヒータを駆動する。
【0028】図5は、ヒートブロックを”16”と指定した場合の概念図である。1ライン分の有効ドット(印刷する必要のあるドット)数により、ヒートブロックの指定回数は変わることが考えられるが、印刷用画像データにより同一ライン上の各色データの有効ドット数をカウントし、ラインごとのヒートブロック指定回数を一致させる。
【0029】印刷用ラインヘッドは、図6の様に360dpiで1280ドット構成のものが各色、黒(K),シアン(C),マゼンダ(M),イエロー(Y)の順に一定間隔を置いて配置している。印刷においては、最初に黒(K)のラインデータを指定のヒートブロックに従って、順次行なう。同じ要領でシアン(C),マゼンダ(M),イエロー(Y)のラインを印刷後、再び黒(K)のラインの印刷を行なうシーケンスでカラー印刷を行なう。
【0030】再び図1に戻って、LFモータ117は、印刷用紙を用紙カセットより給紙し、また、印字中から排紙までの紙搬送を行う紙送り用モータである。モータドライバ116は、プリンタコントローラ1012の制御信号によりLFモータ117を駆動する。
【0031】表示装置118は、撮像直後の画像やメモリーカード111に蓄積した画像ファイルデータやユーザに対するメッセージ等が表示でき、例えばカラーLCDで構成される。
【0032】システムコントローラ1011により制御されるストロボ駆動ユニット119は、ストロボの発光を行なう。I/F回路120は、外部とデータ、例えば画像データの送受信を行なう。
【0033】センサー121は、主にプリンタコントローラ1012に対して、必要な情報を提供する。情報としては、・電池残量 :電池パックからの残量情報や、出力電圧/電流値・電池ID :電力容量の異なる電池パックのうち、どの電池パックが装着されているかを判別するために電池パックが個別に有するID・紙検出 :印刷用紙の有無・排紙検出 :印刷し終えた用紙が正常に排紙したか否か・温度 :環境温度・CCDゲイン:アンプのゲイン(撮影時の輝度レンジ検出用)
等が考えられる。
【0034】操作部122は、シャッターの他、各種設定用スイッチ(SW1〜3)、モードスイッチ(後述)などの設定スイッチを有する。
【0035】図7は、モードスイッチの模式図であり、上矢印方向からのシャッタースイッチを中心に、回転式の切り換えスイッチが設けられており、目盛601が示す位置のモードが設定される。各モードは例えば、★OFF:装置全体の電源OFF★PRT:シャッターを押して入力した画像をそのままプリントするモード★SAVE:シャッターを押して、入力した画像をプリントせずメモリーカード111にファイルとして保存するモード★PRT SAVE:メモリーカード111にファイルとして保存した画像をプリントアウトするモードである。
【0036】上述のモードのうち、PRT SAVEモードを実行する方法としては、例えばLCD表示装置118にメモリーカード111から読み出した画像を表示し、所定の位置に設けたスイッチ1で画像をスクロール等によって切替表示して、印刷したい画面が表示されている状態で、シャッタを押した回数だけ印刷する方法を採ることができる。
【0037】図8は、本実施形態におけるデジタルカメラの電源回路の構成を示すブロック図である。本実施形態において利用可能な電源としては、ACアダプタ502と、例えばリチウムイオン電池の組み電池で構成される2次電池パック503がある。
【0038】図9は、2次電池パック503(タイプ1)の構成を示す図である。制御部701は、直列に接続している2次電池(702,703)の残量検知、充電制御、ID管理、電圧/電流検出をしている。パワーFET(704,705)は電源ラインのON/OFFを制御し、そのラインに直列に温度ヒューズ706とポリスイッチ707が保護素子として挿入されている。また、制御部701から電池パック情報をシリアルデータとして出力する端子707を備えている。
【0039】図10は、図9に示した2次電池パックより、電源容量の大きい2次電池パック(タイプ2)の構成を示す図である。図9との違いは、2次電池セル(802,803)が並列接続される所と、電池パックのID番号(例えばタイプ1はID=1、タイプ2はID=2とする)である。
【0040】制御部101は、後述する用に、本体に接続された電源の種類及び電池パックの種類と残容量を検出し、プリンタ制御へ反映する。
【0041】ACアダプタ502及び2次電池パック503電源の少なくとも一方の供給を受けることでパワーコントロールユニット501が起動し、各DC/DCコンバータユニット501〜507を必要に応じて駆動する。
【0042】DC/DCコンバータ504〜507は、それぞれ以下の機能を有する。
・DC/DC for logic504 :ロジック電圧供給用電源・DC/DC for motor505 :アクチュエータ駆動用電源・DC/DC for Head506 :ヘッド駆動用電源・DC/DC for 充電507 :2次電池パック充電用電源
【0043】(データ処理)PRTモードにおけるデータ処理の流れを図11及び図12に示す。図11は、デジタルカメラとプリンタが別個である場合、図12は本実施形態のごとく、デジタルカメラにプリンタ機能を含む場合のデータ処理を示している。
【0044】先ず、カメラとプリンタが別個である構成について説明する。デジタルカメラで撮影した画像に画像処理を行い(S111)、そのデータをプリンタに送信するための符号化処理を行う(S112)。図11において、画像はJPEGによる符号化を施されている。
【0045】一方、プリンタ側はデジタルカメラが送信したJPEGファイルを受信すると、JPEGファイルを解凍(展開)し、rawRGBデータへ変換する(S113)。次に、画像データの一辺の有効画素数とプリンタヘッドのドット数とが整合するように画像データを変倍(リサイズ)し(S114)、境界ずれ及び/又はエッジ補正を行う(S115)。
【0046】次いで、ホワイトバランスの調整やガンマ補正等の色補正が行われ(S116)た後、RGB色空間からCMYK色空間への変換を行う(S117)。CMYK色空間に変換されたデータは、更にハーフトーニング処理及び4値化処理(S118)及びI/F用変換処理(S119)が施された後にプリンタエンジンへ出力される。
【0047】一方、図12に示すように、カメラとプリンタを一体化することにより汎用ファイル(JPEGファイルなど)の作成及び解凍やI/F用変換処理が不要となる。また、入力素子であるCCDの一辺の有効画素数と、出力印字ヘッドの素子数を特定の条件下で一致させることで、更にリサイズ(拡大など)処理が省略できる。
【0048】すなわち、CCDからの入力データは、カラーフィルタを通したものを補間処理をすることによって、一辺1280ドットかつ各ドットは、RGB各8ビットの24ビットカラーとして扱う。また、出力用プリンタは、1ドットの階調性はCMYK各4階調となり、誤差拡散フィルタを通すことで拡大などのリサイズ処理をすることなく1対1で対応する構成を特徴とする。当然、プリンタの解像度が高いか、階調性の良いものを使用し、誤差拡散フィルタを使用せずにCCDからの入力画素データに対応することも考えられる。この場合、プリンタ解像度を高くして、CCDの1有効画素の階調による色情報とプリンタの有効ドット数と階調性の積が一致する関係においてもリサイズ処理を無くすことが出来る。
【0049】よって、カメラとプリンタを一体化した場合にはカメラの入力データに直接境界ずれ及び/又はエッジ補正処理を行い(S121)、その後別構成の場合と同様に色補正(S122)、RGB色空間からCMYK色空間への変換(S123)、ハーフトーニング並びに4値化処理(S124)を行った後、I/F用変換処理を行わずにプリンタエンジンへ出力される。
【0050】(ヒートブロック制御)図4に示す印字ヘッドは、先述したように印刷用紙の一辺(約90mm+α[余白分])をカバー出来る1280ドット構成になっているが、1280ドットを一度にヒートすると瞬時に大量の電力を必要とし、モバイル機器である本装置の電源である電池パックは、負荷の超過により対応不可能となるおそれがあるため、その電源パックの能力(ID及び残容量)に合わせたヒートブロック制御を行なうことが好ましい。
【0051】電池パック制御は、制御部101が行なう。制御部101は、装着されている電源がACアダプタか電池パックかを確認し、ACアダプタが装着されている時は、印刷のために印字ヘッドに同時に通電する事を許す有効データの数を例えば128と設定し、電池パックのみの接続の場合電池パック制御に移行する。まず、電池パックの“ID/残量”端子(707又は808)よりシリアルデータとして得られる、識別子である電池IDとその電池残容量情報をポーリングすることで監視する。そこで検出したデータの基づいて制御を行う。
【0052】図13は、電池パック制御の詳細を示すフローチャートである。まず、S131において、電池パックの残容量が10%以下と判断された場合は、装置本体の動作が急激に悪化することが考えられるので画像データをメモリーカード111へ退避する処理(S135)を行ない、その後すべての電源を切断し、装置動作を終了する。
【0053】S131において電池パックの残容量が10%を超えると判断され、かつS132において電池パックの残容量が20%以下であると判断された場合、すなわち電池パックの残容量が10%を超え20%以下の場合は、電気的負荷の大きいプリンタ動作を禁止し(S136)、プリンタ駆動用DC/DCコンバータ(motor/Head)505及び506も停止する。但し、この状態を検出した時にプリンタが印刷動作をしている場合は一連の動作を終了した後に移行する。
【0054】S132において電池パックの残容量が20%を超えると判断され、かつS133において電池パックの残容量が30%以下であると判断された場合、すなわち電池パックの残容量が20%を超え30%以下の場合は、印刷のために印字ヘッドに同時に通電する事を許す有効データの数(ヒート・ブロック)を、電力供給能力の違いのある電池パックIDを元に、各々設定する。S137において、例えば、ID=1(タイプ1)の場合はヒートブロックを32ドットに設定し(S1311)、ID=1でない場合、すなわちID=2(タイプ2)の場合は64ドットと設定(S1310)して、処理を終了する。
【0055】S133において電池パックの残容量が30%を超えると判断された場合、すなわち電池パックの残容量が30%より多く100%までの場合は、装着されている電池の能力を最大活用できるので、電池のタイプによって印字ヘッドに同時に通電する事を許す有効データの数を設定する。S134において装着されている電池タイプを判断し、例えばID=1(タイプ1)の場合はヒートブロックを64ドットに設定し(S139)、ID=1でない場合、すなわちID=2(タイプ2)の場合はヒートブロックを128ドットとセ設定(S138)して、処理を終了する。
【0056】この様に、ヒートブロックの最大幅を状況により変更する場合、ヒートブロックの幅の大小により1ライン分のデータを印字し終える時間が違うので、その大きさにより紙送り用フィードモータの単位時間当たりの送り量を連動させる。
【0057】また、2次電池パックは使用環境により内部抵抗が変化するので、低温に対しての設定温度より環境温度が低い場合は、設定されたヒートブロックの数に対して、特定の比率を乗算または特定の値を減算して、1ヒートブロックの数を減らす。
【0058】モード設定において、“SAVEモード”においてはプリンタ駆動系であるモータ用とヘッド用DC/DCコンバータは発振を行なわず動作を禁止する。
【0059】“PRTモード”と“PRT SAVEモード”においても、画像入力及び印刷命令であるシャッターを押された時に、制御部101からパワーコントロールユニットを経て、プリンタ駆動系であるモータ用とヘッド用DC/DCコンバータに10msecの間隔をあけ順次起動をかけ、その後プリンタの初期化及びその後の印刷を行なう。
【0060】DC/DCコンバータ回路は起動時の突入電流を避けるためにスロースタート回路を採用しているが、起動がかかってから約10msec後には電源が安定し、プリンタ動作が可能になる。図14は、立上げのタイミングチャートを示す。
【0061】また、画像入力データを印刷するプリンタ動作は、装置全体の消費電力の大きな比率を占めるため、装置の電源を有効使用するために、プリンタ動作中はそれ以外の装置での電力消費を抑制或いは禁止する。例えば、表示装置118への電力供給を停止し、ストロボ駆動119への充電動作を禁止するなど、印刷動作に不必要な機能の動作を停止或いは禁止する。
【0062】プリント時の制御動作について図15を参照して更に詳細に説明する。PRTモードでシャッター入力があると(S151)、ストロボの充電中であるか否かをチェックし(S152)、充電中でなければ直ちに、充電中の場合は充電動作を中止(S153)してから、ストロボの充電が可能か否かを示すストロボ充電フラグを無効にセットする(S154)。
【0063】ついで、表示装置への電力供給を停止し(S155)、プリンタ用DC/DCコンバータ(for moter505及びfor Head506)のフラグを有効にセットする(S156)。DC/DCコンバータの動作安定を待つため、例えば制御部101内部に有するタイマーをスタートさせ(S157)、上述した安定動作に必要な10msec待つ(S158)。タイマーが10msecを経過したら、プリンタの初期化動作を行い(S159)、ヘッドのヒートブロック数をセットして(S1510)印刷を開始する(S1511)。
【0064】印刷が終了したら(S1512)、表示装置への電力供給を再開するとともに、動作を有効にする(1513)。次いでストロボ充電フラグを有効にセットし(S1514)て印刷時の電力制御を終了する。
【0065】(画像補正)本実施形態において、撮影した入力画像を印刷する場合、入力されたRGB信号形式の画像データは、画像補正を加える必要があるか判断するため、画像処理ユニット112において例えば次の式を適用して輝度情報に分解し、ヒストグラムを作成する。
Y(輝度)=0.299R+0.587G+0.114B
【0066】図16は、薄暗い室内で撮影したシーン(A)の補正前のデータについて、上式を用いて輝度、R,G,Bのヒストグラムを作成したものである。縦軸は、発生頻度を表し、横軸は、8ビット(0〜255)で表される階調成分で左端が“0”、右端が“255”になる。この撮影データは露出不足のため画像全体が暗く、高輝度部分にはデータが無いことがわかる。この画像においてはコントラストの増加による補正が必要である。
【0067】図17は補正後のヒストグラムである。輝度及びR,G,Bにおいて、同じ程度コントラストが補正されたヒストグラムとなっている。
【0068】図18は、撮影したシーン(B)の補正前のデータである。日没1時間前の夕焼けの状況であり、高輝度部分におけるR,G,Bの値で、Rが突出して高い。この画像においてはコントラストの増加による補正及びホワイトバランス補正が必要である。
【0069】撮影時には、撮影データのほかにセンサー121からは撮影時のCCD103の信号をA/D変換器105のレンジに適合させたアンプのCCDゲイン(L)情報(65,536段階/16bit)と温度センサーからの温度情報、システムコントローラ1011からは国情報を含む日時情報を、画像情報やストロボ使用の有無など画像補正判断に有効な情報に対応して装置内の記憶素子107に記憶し、画像情報が削除されるまで対応して保持する。
【0070】一般的に画像補正におけるターゲットハイライトは、RGB階調値で247〜235程度、ターゲットシャドウは、RGB階調値で15〜25程度が得られるように「レベル補正」や「トーンカーブ補正」の処理を与えている。
【0071】本実施形態においては、図21に示す入出力特性を有するルックアップテーブル(以下、LUTと記述する)を用いてコントラストとホワイトバランスの補正を行なっている。データとしては、3原色信号である赤(R)、緑(G)、青(B)信号で各8ビットである。図21における縦軸は、元の信号値である0〜255幅の入力信号、横軸は、変換後の出力信号である。ホワイトバランス補正では基本画像条件下において、出力値240の値に対して、ヒストグラムの上から2%の輝度に対するRGBのバランスを調整する方法である。
【0072】このLUTの場合、ターゲットハイライトを240とし、ここでホワイトバランスを補正している。図21では、シーン(B)について行なっているものである。
【0073】(ホワイトバランス補正)ホワイトバランスの補正方法について説明する。人間の視覚系は明るさや色に対する恒常性を有するため、照明光源の変化は色の見えに大きな変化は与えない色順応特性を持っている。この色順応を定量化し、ホワイトバランスに、その比率を反映させることで、人間の見た目の色を標準観察環境下において再現することが可能になる。ここで言う標準観察環境下とは、sRGB色空間において規定している発行体色のD65光源(x=0.3127,y=0.3291)の基準白を想定している。
【0074】利用する色順応式は「von Kries」や、「Fairchild」モデルによるものが有力であり、ここでは図20に示すように、3項目((1)日の出1時間後及び日の入り1時間前の太陽光[4000K]、(2)日の出2時間後及び日の入り2時間前の太陽光[4800K]、(3)正午平均光[5035K])と、D65光源の輝度240相当時の色差を、「von Kries」モデルにより求めた、(1)(R1,G1,B1)、(2)(R2,G2,B2)、(3)(R3,G3,B3)を代表値とする。このような、ホワイトバランスによれば人間の視覚特性(恒常性)に応じた良好な補正を行うことができる。
【0075】図22は図20のテーブルを利用する適応条件を規定するフローチャートである。まず、撮影時の日時情報から、その日の日の出時間、日の入り時間を例えばI/F回路120に接続された外部記憶装置等から読み出して、RAM107の所定領域にセットする(S211)。図20のテーブルは記載されているように、全て野外の太陽光を光源としているため、撮影されたシーンが野外の太陽光下であることが適応の条件になる。よって、撮影時の情報から、ストロボが未使用であるか否か確認し(S212)、ストロボ使用時には画像データから抽出した輝度情報を用いた従来のホワイトバランス補正処理(S2112)を行って処理を終了する。S212においてストロボを使用していないと判断された場合は、撮影時間が上述の(1)〜(3)の条件のいずれかに適応しているか否かを撮影時の日時情報とステップS211でセットした日の出時刻及び日の入り時刻とを比較してチェックする。
【0076】すなわち、S213において撮影時刻が夜及び日の出後或いは日の入り前30分未満か否かをチェックし、そうであれば従来のホワイトバランス補正処理を行って(S2112)処理を終了し、そうでなければS214で日の出後或いは日の入り前30分〜1時間30分未満であるかをチェックする。この期間に該当する場合には撮影時のCCDゲインを所定の値(L1)未満であるかどうかをチェックする(S217)。これは、時間が条件を満たしても、光源として十分な太陽光が使用されているかが不明であるため、曇天時や室内での撮影を除去するためのチェックである。すなわち、天候が良い時に比べて曇天や室内撮影においてはCCDゲインが大きくなることを利用し、所定のゲインレベルL1と比較している。
【0077】S217において、CCDゲインがL1を超える場合は従来のホワイトバランス補正処理(S2112)を行った後処理を終了し、L1未満であればターゲットハイライト(R,G,B)を図20に示した代表値(1)(R1,G1,B1)に設定し(S2111)、処理を終了する。
【0078】一方、S214において、撮影時刻が日の出後或いは日の入り前30分〜1時間30分未満でないと判断された場合は、撮影時刻が日の出後或いは日の入り前1時間30分〜2時間30分未満であるかどうかをチェックする。この範囲に含まれる場合はさらにS218においてCCDゲインが所定の値(L2)未満であるかをチェックする。CCDゲインがL2未満である場合はターゲットハイライト(R,G,B)を図20に示した代表値(2)(R2,G2,B2)に設定(S2110)して処理を終了する。S218においてCCDゲインがL2を超えると判断された場合には、従来のホワイトバランス補正処理(S2112)を行って処理を終了する。
【0079】S215において撮影時間が日の出後或いは日の入り前1時間30分〜2時間30分未満ではないと判断された場合には、日の出後2時間30〜日の入り前2時間30分までに撮影されたものであるから、正午付近と見なし、CCDゲインを所定値L3と比較(S216)して、CCDゲインがL3未満であればターゲットハイライト(R,G,B)を図20における平均正午光の代表値(3)(R3,G3,B3)に設定し(S219)、処理を終了する。一方、S219においてCCDゲインがL3を超えると判断された場合は、従来のホワイトバランス補正処理(S2112)を行って処理を終了する。
【0080】このようして設定されたターゲットハイライトに基づき作成されたLUTを用いることによって人間の視覚に残る色と近似の画像を作り出すことが出来る。本実施形態において、S216〜S218で用いられるCCDゲインは、例えば緑色用のCCDのゲインを代表値として用いることができる。また、比較する閾値L1〜L3は、所望の輝度を得るためのCCDゲインから決定することができる。
【0081】また、ホワイトバランス補正方法は数式による変換など他の方法も利用できることは容易に考えられるし、テーブルを利用する適応条件に漏れたものについてもホワイトバランスの一致を行なうような処理を入れても良い。
【0082】さらに、ターゲットシャドゥにおいても、ターゲットハイライトに対する補正と同じ手法にて対応することができる。
【0083】図18のシーン(B)に対して以上の画像補正を行なった結果を図19に示す。R信号が突出していたのがG,B信号との比率差が減り、加えてコントラストが改善されていることがわかる。
【0084】以上の様に、本実施形態においては画像が夕焼や朝焼という特定の場合にはターゲットハイライト又はターゲットシャドゥを色順応式を用いて求めるので、良好なホワイトバランス補正を行うことができる。つまり、人間の視覚特性の恒常性に応じたホワイトバランス補正を行うことができる。
【0085】
【他の実施形態】上述の実施形態においては、日時情報とCCDゲインを用いてホワイトバランスの補正を行ったが、温度など他の情報を用いて行っても良い。また、カメラとプリンタをデチャッタブルな構成として、カメラの可搬性を向上させても良い。
【0086】また、デジタルスチルカメラのみならず、ビデオカメラの静止画撮影機能を用いて撮影したデータや、ビデオのフレーム画像データなど、いかなる撮影データに対しても本発明の補正方法を適用することができる。
【0087】また、撮影時に自動的に状況データを記録するようにしたが、例えば補正時にマニュアル入力することもできる。また、撮像器が外光センサーを有している場合には、外光センサーにより得られた光源情報に基づき、特定シーンにおけるターゲットハイライトを色順応志木を用いて求めるようにしても構わない。
【0088】また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【0089】この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0090】プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク,ハードディスク,光ディスク,光磁気ディスク,CD−ROM,CD−R,磁気テープ,不揮発性のメモリカード,ROMなどを用いることができる。
【0091】また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0092】さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0093】
【発明の効果】以上説明したように、本出願に係わる発明によれば、画像データを補正する場合に、撮影時の情報およびヒストグラムに基づき色補正条件を設定するので、高精度な色補正を行うことができる。また、色順変換処理によりターゲットポイントを求めるので人間の視覚特性に応じた良好な色補正を行うことができる。
【図面の簡単な説明】
【図1】本発明の実施形態であるデジタルカメラのシステムブロック図である。
【図2】図1における受光系概念図である。
【図3】図1におけるCCD用カラーフィルタ構成図である。
【図4】本発明の実施形態における印字ヘッドの構成図である。
【図5】本発明の実施形態におけるヒートブロック概念図である。
【図6】本発明の実施形態における各色ラインヘッドの構成図である。
【図7】本発明の実施形態におけるスイッチを含む繰作部の外観図である。
【図8】本発明の実施形態における電源回路のブロック図である。
【図9】本発明の実施形態における電池パック(タイプ1)の構成図である。
【図10】本発明の実施形態における電池パック(タイプ2)の構成図である。
【図11】印刷機能を一体化しない場合のデータ処理フロー図である。
【図12】本発明の実施形態におけるデータ処理フロー図である。
【図13】本発明の実施形態における電池制御のフローチャートである。
【図14】本発明の実施形態におけるDC/DCコンバータの起動タイミングのタイミングチャートである。
【図15】本発明の実施形態におけるプリント制御を示すフローチャートである。
【図16】シーン(A)の補正前ヒストグラム(輝度,R,G,B)である。
【図17】シーン(A)の補正後ヒストグラム(輝度,R,G,B)である。
【図18】シーン(B)の補正前ヒストグラム(輝度,R,G,B)である。
【図19】シーン(B)の補正後ヒストグラム(輝度,R,G,B)である。
【図20】本発明の実施形態における時間による色温度とホワイトバランスの対応を示す図である。
【図21】本発明の実施形態におけるルックアップテーブルの入出力特性を示す図である。
【図22】本発明の実施形態におけるホワイトバランス補正動作を示すフローチャート図である。

【特許請求の範囲】
【請求項1】 撮像条件に関する情報を入力し、前記撮像条件によつて得られた画像情報に基づきヒストグラムを作成し、前記撮像条件および前記ヒストグラムに基づき、色処理条件を設定し、前記設定された色処理条件に基づき前記画像情報に対して色処理を行うことを特徴とする画像処理方法。
【請求項2】 前記撮像条件が、撮像時間に関する情報、撮像時の光量に関する情報、撮像時の温度に関する情報、撮像時の場所に関する情報のいずれかを含むことを特徴とする請求項1記載の画像処理方法。
【請求項3】 前記撮像時の光量に関する情報が、撮像素子の制御情報であることを特徴とする請求項2記載の画像処理方法。
【請求項4】 前記ヒストグラムは、前記画像情報から求められた輝度情報のヒストグラムであることを特徴とする請求項1記載の画像処理方法。
【請求項5】 入力画像を示す画像データを入力し、前記入力画像のハイライトボイントを検出し、色順応変換処理を用いて得られた前記ハイライトボイントに対応するターゲットポイントを設定し、前記ハイライトボイントおよび前記ターゲットポイントに基づき色補正条件を設定し、前記設定された色補正条件に基づき、前記入力画像を示す画像データに対して色補正することを特徴とする画像処理方法。
【請求項6】 前記色順応変換処理は、前記入力画像に関する撮像条件に基づいていることを特徴とする講求項5記我の画像処理方法。
【請求項7】 入力画像が特定のシーンであると判定された場合に、前記色順応変換処理を用いてターゲットポイントを設定することを特徴とする請求項5記載の画像処理方法.
【請求項8】 撮像条件に関する情報を入力する手段と、前記撮像条件によつて得られた画像情報に基づきヒストグラムを作成する手段と、前記撮像条件および前記ヒストグラムに基づき、色処理条件を設定する手段と、前記設定された色処理条件に基づき前記画像情報に対して色処理を行う手段とを有することを特徴とする画像処理装置。
【請求項9】 入力画像を示す画像データを入力する手段と、前記入力画像のハイライトボイントを検出する手段と、色順応変換処理を用いて得られた前記ハイライトボイントに対応するターゲットポイントを設定する手段と、前記ハイライトボイントおよび前記ターゲットポイントに基づき色補正条件を設定する手段と、前記設定された色補正条件に基づき、前記入力画像を示す画像データに対して色補正する手段とを有することを特徴とする画像処理装置。
【請求項10】 装置が実施可能なプログラムを格納した記憶媒体であって、プログラムを実行した装置を、撮像条件に関する情報を入力する手段と、前記撮像条件によつて得られた画像情報に基づきヒストグラムを作成する手段と、前記撮像条件および前記ヒストグラムに基づき、色処理条件を設定する手段と、前記設定された色処理条件に基づき前記画像情報に対して色処理を行う手段とを有する画像処理装置として動作させることを特徴とする記憶媒体。
【請求項11】 装置が実施可能なプログラムを格納した記憶媒体であって、プログラムを実行した装置を、入力画像を示す画像データを入力する手段と、前記入力画像のハイライトボイントを検出する手段と、色順応変換処理を用いて得られた前記ハイライトボイントに対応するターゲットポイントを設定する手段と、前記ハイライトボイントおよび前記ターゲットポイントに基づき色補正条件を設定する手段と、前記設定された色補正条件に基づき、前記入力画像を示す画像データに対して色補正する手段とを有する画像処理装置として動作させることを特徴とする記憶媒体。

【図1】
image rotate


【図5】
image rotate


【図2】
image rotate


【図3】
image rotate


【図4】
image rotate


【図7】
image rotate


【図6】
image rotate


【図8】
image rotate


【図9】
image rotate


【図10】
image rotate


【図11】
image rotate


【図12】
image rotate


【図13】
image rotate


【図14】
image rotate


【図16】
image rotate


【図17】
image rotate


【図15】
image rotate


【図19】
image rotate


【図18】
image rotate


【図20】
image rotate


【図21】
image rotate


【図22】
image rotate


【公開番号】特開2000−175207(P2000−175207A)
【公開日】平成12年6月23日(2000.6.23)
【国際特許分類】
【出願番号】特願平10−347628
【出願日】平成10年12月7日(1998.12.7)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】