説明

画像処理装置、画像処理方法、画像処理装置つき携帯端末及び画像処理プログラム

【課題】
デジタルカメラ等の撮像装置は、撮影画像のホワイトバランスを調整するために種々の調整モードを搭載している。ホワイトバランス調整モードとして、オートモードを有するものもある。オートモードとは万能な調整モードではなく、照明光の特性によっては不適切な場合もある。ユーザはデフォルトでオートモードが選択されている場合には、不適切な環境下であっても使用し続けることが多い。
【解決】
照明光の色温度が、オートモードの調整範囲外である場合には、自動的に最適な調整モードを検索し、ユーザに切り替えをうながすメッセージを表示する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像を撮影する技術に関する。例えば、画像を撮影する、デジタルビデオカメラ、デジタルカメラ等の撮像装置の画像処理技術、また、携帯端末等に搭載した撮像装置の画像処理の技術に関する。
【背景技術】
【0002】
近年のデジタル技術の進歩により、従来のカメラやビデオカメラがデジタルカメラやデジタルビデオカメラに置き換わりつつある。デジタルカメラ、デジタルビデオは、CCDやCMOSなどの光に反応する半導体素子を使って被写体からの反射光を電気信号に変換し、デジタルデータとしてフラッシュメモリなどの記憶媒体に記憶する装置である。
【0003】
デジタルカメラ、デジタルビデオカメラ等の撮像装置は、単体の機器として販売、使用されることもあれば、携帯電話やPHS、PDC、ノートPC等の携帯端末の一部に搭載された形で販売、使用されることもある。
【0004】
ところで、照明光には色温度という特性がある。色温度は、照明光の色の特性を温度として表現したものである。色温度は、完全黒体がその色を放つ時の黒体の温度として定義される。図5は、代表的な照明光の色温度を示すグラフである。白熱灯は晴天下に比べて赤味がかっており、曇天時の太陽光は晴天下に比べて青味がかっている。
【0005】
蛍光灯は、現在様々な種類のものが販売されており、一概に蛍光灯というカテゴリで色温度の範囲を特定することは難しい。また、晴天、曇天、白熱灯のカテゴリも、温度範囲を明確にすることは困難である。図5の数値はあくまで一例であり、他の数値設定を排除するものではない。
【0006】
撮像装置は、被写体からの反射光を正確に記録するため、照明光の色温度の影響を受けた被写体をそのまま記録する。一方、人間は照明光の色温度に関わらず、白いものを白と認識する傾向がある。この結果、撮像装置が認識した色と、人間が認識した色が異なる場合がある。
【0007】
撮像装置が認識した色と、人間が認識した色を同じにするためには、撮像装置に照明光の色温度に基づいて撮影画像の調整を行う機能を付加する必要がある。一般に、撮影画像に含まれる色成分の調整を照明光の色温度に基づいて行うことは、ホワイトバランス調整やホワイトバランス補正、又は単にホワイトバランスと呼ばれている。
【0008】
ホワイトバランス調整とは、被写体の撮影画像の色成分を、被写体の色温度に基づいて補正し、撮像装置が記録した撮像画像を人間が認識した色に近づける機能である。一般に、補正される撮影画像の色成分に、R(赤)成分とB(青)成分を用いることが多い。
【0009】
次に、ホワイトバランス調整に関する従来技術を開示する。特許文献1には、ホワイトバランス調整装置が開示されている。特許文献1の従来技術のホワイトバランス調整装置は、照明光の種類に応じた固定ホワイトバランスモードを有している。1つの固定ホワイトバランスモードに割り当てられた照明光の色温度範囲が広いため、適切なホワイトバランス調整ができなかった。
【0010】
特許文献1の発明のホワイトバランス調整装置は、固定ホワイトバランスモードに割り当てられた色温度の範囲をさらに細分することで、より適切なホワイトバランス調整が可能となる。
【0011】
特許文献2にも、ホワイトバランス調整装置が開示されている。特許文献2の従来技術では、撮影画像のR(赤)成分とB(青)成分の利得を調整することで、ホワイトバランス調整を実現する。また、被写体の輝度に基づいて、上記利得の範囲、すなわちホワイトバランス調整の調整可能な範囲が制限される。被写体の輝度が十分高い場合には、ホワイトバランスの調整範囲が狭く設定され、逆に被写体の輝度が低い場合には、ホワイトバランスの調整範囲が広く設定される。この従来技術では、被写体の輝度が低いとき、被写体領域が無彩色となってしまうことがあった。
【0012】
特許文献2の発明のホワイトバランス調整装置は、外光を測定する手段を設けて、外光の測定結果に基づいてより適切にホワイトバランスの調整範囲を制御することで、被写体の輝度が低い場合の上記問題を解決する。
【0013】
特許文献3にも、ホワイトバランス調整装置が開示されている。特許文献3の従来技術では、蛍光灯使用環境下におけるホワイトバランス調整モードとして蛍光灯モード使用される。しかし、蛍光灯には種々のものがあり、それらは種々の発光色を有するにも関わらず、蛍光灯モードの調整値は1種類だったので、被写体の色を正確に再現できなかった。
【0014】
刊行物3の発明のホワイトバランス調整装置は、蛍光灯モードが選択された場合、被写体の色温度に基づいて、蛍光灯の種類に応じたさらに細分化したホワイトバランス調整を行うことで、被写体の色をより正確に再現する。
【0015】
【特許文献1】特開2001−268589
【特許文献2】特開2003−134531
【特許文献3】特開平06−165189 ホワイトバランス調整装置の従来技術は以上の通りである。撮像装置に、照明光に応じた種々のホワイトバランス調整のための調整モードを設けることは可能である。しかし、撮像装置に多くの調整モードを設ければ設けるほど、ユーザはわずらわしい設定を強いられる。
【0016】
わずらわしい設定からユーザを解放するため、ホワイトバランス調整の調整モードとして、自動調整モードなるものを備える撮像装置もある。
【0017】
自動調整モードとは、標準的な照明光に対応した調整モードである。標準的な照明光の環境下でしようする限り適切に機能する。照明光の色温度の範囲は3000Kから5500K程度に設定されることが一般的である。もっとも、機種によっては、自動調整モードの対応色温度範囲が上記範囲と異なる場合もある。
【0018】
自動調整モードで調整可能な照明光の色温度の範囲を広くすればするほど、自動調整モードで対応できる環境が増えるため、ユーザの使い勝手は向上する。
【0019】
しかしながら、自動調整モードの調整可能な色温度の範囲をいたずらに広くすることは好ましくない。広く設定した場合、照明光の色温度測定と被写体の撮影とを同一カメラで行う撮像装置では、以下のような問題点を生ずる。
【0020】
例えば、晴天下の環境において、真っ赤な被写体を撮影した場合、撮影画像のR成分が多いため、照明光の色温度は低い(赤い)と判断する。被写体が大きく撮影されればされるほど、撮像装置は照明光の色温度を低いと判断する傾向が大きくなる。照明光の色温度が低いため、被写体の色を青くする方向に補正がかかり、本来の色を再現できなくなる。
【0021】
特許文献2及び3では、外光の色温度を測定する手段を、被写体を撮影するカメラとは別に設けているため、このような問題は生じにくい。しかし、特許文献2及び3では、別途外光の色温度を測定する手段を設けるために、回路が大きくなり、製造コスト、開発コストが増大するという問題がある。
【0022】
照明光の色温度測定と被写体の撮影とを同一カメラで行う撮像装置では、ユーザの使い勝手の向上と、被写体の正確な色の再現とのバランスを考慮し、自動調整モードは、一般に3000Kから5500K程度の色温度範囲を調整可能と設定することが多い。
【0023】
ユーザは、操作のわずらわしさのため、撮像装置を自動補正モードに設定したまま使用し続けることが多い。しかしながら、上述の通り、自動補正モードは調整可能な色温度の範囲が制限されているため、例えば、白熱灯(約2600K)を使用した環境下では被写体の正確な色を再現できない。
【発明の開示】
【発明が解決しようとする課題】
【0024】
本願発明は、撮像装置の使い勝手を向上させることにある。
【0025】
また、複数のホワイトバランスの調整モードを有する撮像装置を、簡易な操作で適切に調整モードの選択ができることも、本願発明が解決しようとする課題である。
【0026】
また、ホワイトバランスの調整モードとして自動調整モードを有する撮像装置において、不適切な環境下で自動調整モードを選択してしまうことを防止することも、本願発明が解決しようとする課題である。
【0027】
また、ホワイトバランスの調整モードの調整可能範囲を広げすぎることなく、簡易な付加機能により、より適切な調整モードを選択できるようにすることも、本願発明が解決しようとする課題である。
【課題を解決するための手段】
【0028】
上記課題を解決するために、請求項1に記載の画像処理装置は、
被写体の撮影画像を生成する撮像部と、
前記撮影画像の色温度を判断する色温度判定部と、
2以上の撮影画像のホワイトバランスの調整モードを保持するメモリと、
前記色温度判定部の判断結果及び選択された調整モードに基づいて前記撮影画像の補正をする画像補正部と、
前記補正された撮像画像を表示する表示部と、
前記色温度判定部の判断結果及び選択された調整モードに基づいて、所定のメッセージを前記表示部に表示させる画像処理制御部とを有することを特徴とする。
【0029】
また、好ましい態様として、前記所定のメッセージとは、前記選択された調整モードの切り替えをうながすメッセージであってもよい。
【0030】
また、好ましい態様として、前記画像処理制御部は、前記色温度判定部により判定された撮影画像の色温度が、前記選択された調整モードの所定範囲外である場合に、前記所定のメッセージを前記表示部に表示させてもよい。
【0031】
また、好ましい態様として、前記画像処理制御部は、前記選択された調整モードが特定の調整モードである場合に、前記所定のメッセージを前記表示部に表示させてもよい。
【0032】
上記課題を解決するために、請求項5に記載の画像処理装置は、
2以上のホワイトバランスの調整モードを有し、
被写体の撮影画像から色温度を判定し、
判定した色温度及び選択された調整モードに基づいて所定のメッセージを表示することを特徴とする。
【0033】
上記課題を解決するために、請求項6に記載の携帯端末は、
2以上のホワイトバランスの調整モードを有し、
被写体の撮影画像から色温度を判定し、
判定した色温度及び選択された調整モードに基づいて所定のメッセージを表示することを特徴とする。
【0034】
上記課題を解決するために、請求項7に記載の画像処理の方法は、
2以上のホワイトバランスの調整モードから1の調整モードを選択し、
被写体の撮影画像から色温度を判定し、
判定された撮影画像の色温度と前記調整モードに基づいて所定のメッセージを表示することを特徴とする。
【0035】
上記課題を解決するために、請求項8に記載の画像処理プログラムは、
演算処理装置を、
撮影画像の色温度を判断する色温度判定部と、
2以上の撮影画像のホワイトバランスの調整モードを保持するメモリから選択された調整モード及び前記色温度判定部の判断結果に基づいて前記撮影画像の補正をする画像補正部と、
前記補正された撮像画像を表示する外部の表示部に表示させ、前記色温度判定部の判断結果及び選択された調整モードに基づいて所定のメッセージを前記表示部に表示させる画像処理制御部、
として機能させることを特徴とする。
【発明の効果】
【0036】
本願発明により、撮像装置のホワイトバランス調整の使い勝手が向上する。
【0037】
また、本願発明により、複数のホワイトバランスの調整モードを有する撮像装置を、簡易な操作で適切に調整モードの選択ができる。
【0038】
また、本願発明により、ホワイトバランスの調整モードとして自動調整モードを有する撮像装置において、不適切な環境下で自動調整モードを選択してしまうことを防止することができる。
【0039】
また、本願発明により、ホワイトバランスの調整モードの調整可能範囲を広げすぎることなく、簡易な付加機能により、より適切な調整モードを選択できるようにすることができる。
【発明を実施するための最良の形態】
【0040】
本発明を実施するための最良の形態について説明する。しかしながら、この実施形態は、本願発明の技術的範囲を制限するものではない。
【実施例】
【0041】
本実施例に係る画像処理装置について説明する。画像処理装置は、少なくとも撮像部3と、DSP6と、画像処理用メモリ7と、表示部10を有しており、撮像装置1に内蔵される。図1は、本実施例に係る撮像装置1の構成を示した図である。
【0042】
撮像装置1は、カメラモジュール8、CPU9、表示部10、入力部11、メモリ12を備えている。カメラモジュール8はカメラ部4、ADコンバータ5、DSP6、画像処理用メモリ7を備える。
【0043】
カメラ部4は、撮影レンズ2と撮像部3を備える。撮影レンズ2は、被写体からの反射光を撮像部3に集光する。撮像部3は、CCDやCMOSセンサ等から構成され、光信号を電気信号に変換する機能を有する。
【0044】
ADコンバータ5は、アナログ信号をデジタル信号に変換する回路である。撮像部3からの信号をデジタル信号に変換しDSP6に入力する。DSP6は種々の信号処理を行うことができる演算装置であり、例えばホワイトバランス調整に用いられる。
【0045】
画像処理用メモリ7は、ホワイトバランス調整に用いられる種々のデータを保存するメモリである。ホワイトバランス調整には種々の調整モードが存在し、画像処理用メモリ7にはそれぞれの調整モードに関する制御データが格納されている。調整モードとしては、本実施例では、固有の照明光に対応した固有値調整モードと、汎用的にある程度幅のある色温度(3000Kから5500K)の照明光に対応した自動調整モードの2種類の調整モードを有している。本実施例において、撮像装置1は固有値調整モードを複数有しており、白熱灯に対応した白熱灯モードと、曇天に対応した曇天モードを有している。これらの調整モードは例示であり、本発明をこれらのモードに限定するものではない。
【0046】
CPU9は中央演算処理装置であり、撮像装置全体の動作を制御する。CPU9は、バスを介してカメラモジュール8、表示部10、入力部11、メモリ12を制御する。表示部10は、LCDまたは有機ELで作られたディスプレイであり、撮影画像の表示や各種メッセージ、制御用のアイコンの表示を行う。
【0047】
入力部11は、ボタンやキーパッド、キーボード等の入力装置である。ユーザは、入力部11を用いてCPU9を操作することにより、撮像装置1の操作を行う。メモリ12は、CPU9の動作プログラムや、撮影画像、種々のデータの保存に用いられる。撮像装置が携帯電話等に内蔵される場合には、電話番号などの情報の保存にも用いられる。
【0048】
CPU9は、表示部10に撮影画像データや、アイコン、所定のメッセージなどのデータを、バスを介して伝達し、表示部10に表示させることができる。CPU9は、入力部11からの入力信号に基づいて、メモリ12、表示部10、カメラモジュール8の制御を、バスを介して行うことができる。CPU9は、撮影画像データや、各種制御に関連するデータをメモリ12から読み出し、または書き込むことができる。
【0049】
次に、図1の撮像装置1の動作について説明する。被写体からの反射光は、撮影レンズ2を介して、撮像部3に入射される。入射された反射光は撮像部3にて、電気信号に変換され、ADコンバータ5に出力される。ADコンバータ5は、撮影画像の電気信号(アナログ信号)をデジタル信号に変換する。デジタル化された撮影画像のデータはDSP6に入力され、ホワイトバランス調整等の信号処理に供される。DSP6は、画像処理用メモリ7に保存された制御用データを用いて、デジタル化された撮影画像データのホワイトバランス調整を行う。DSP6が行う処理の詳細は、後述する。
【0050】
ホワイトバランス調整された撮影画像のデータは、CPU9の制御のもと、バスを介して表示部10に伝送される。表示部10は、撮影画像のデータを表示する。
【0051】
ADコンバータ5は、図示しないクロック源から出力されたクロックに基づいて、一定周期毎に撮影画像をデジタル化し、デジタル化された撮影画像データをDSP6へ出力する。DSP6が、表示部10に表示された撮影画像を一定周期毎に書き換えることで、後述するプレビュー表示が行われる。プレビュー表示状態において、表示部10は、被写体の動きに追従した動画を再生する。
【0052】
DSP6は、CPU9から所定の指示がなされると、ホワイトバランス調整に用いられる調整モードを切り替える。CPU9から調整モードが切り替え指示されるのは、ユーザが入力部11に調整モードの切り替えを指示する所定の入力を行った場合である。なお、DSP6は、所定の制御信号をCPU9に出力することで、ユーザに調整モードの切り替えをうながすメッセージを、表示部10に表示させることもできる。
【0053】
図2は、DSP6の内部機能を説明するための図である。以下、機能ブロック毎に説明する。
【0054】
DSP6は、色温度判定機能、画像調整機能、画像処理制御機能を有し、各々色温度判定部100、画像調整部101、画像処理制御部102と表す。これらの機能はソフトウェアで実現される。
【0055】
撮影画像データは図1のADコンバータ5からDSP6に入力される。画像処理用メモリ7、CPU9、表示部10、入力部11、メモリ12は、図1に示したものと同じ構成である。
【0056】
色温度判定部100は、撮影画像データから照明光の色温度を判定する。判定は、撮影画像のRGB成分の比率に基づいて行う。RGB成分の比率と温度との関係に関する情報は、画像処理用メモリ7から、画像処理制御部102を介して受け取る。
【0057】
画像調整部101は、撮影画像データのRGB成分に補正をかけることにより、撮影画像データのホワイトバランス調整を行う。補正の際に撮影画像データのRGB成分にかける補正利得は、画像処理制御部102により設定される。
【0058】
画像処理制御部102は、色温度判定部100により判定された撮影画像の色温度と、画像処理用メモリ7に格納された現在設定されている調整モードに応じた制御データとに基づいて、画像調整部101が行うRGB成分の補正利得を伝達する。また、画像処理制御部102は、撮影画像データから得られた色温度が、現在設定されている調整モードの調整範囲外であるか否かを判断する。さらに、調整モードの調整範囲外である場合には、調整モードの切り替えをユーザにうながすメッセージを表示部10に表示させる。また、CPU9から調整モードの切り替えを指示された場合には、画像処理用メモリ7から、支持された調整モードに対応する制御データを用いて、画像調整部101にRGB成分の補正利得を伝達する。
【0059】
画像処理用メモリ7は、前述のとおり、種々の調整モードに対応する制御データを格納しており、画像処理制御部102によって制御される。
【0060】
CPU9は、画像調整部101から、ホワイトバランス調整後の画像データを入力され、また画像処理制御部102から信号を受け、また、画像処理制御部102に信号を送信する。
【0061】
表示部10、入力部11、メモリ12は、DSP6とバスを介して接続されている。撮像装置1は、CPU9をマスタとするバス構成なので、DSP6は、直接それらのデバイスを制御することはできない。よって、DSP6は必ずCPU9を介して、表示部10等と情報をやり取りする。
【0062】
図2に示した機能図の動作を説明する前に、ホワイトバランス調整について説明する。
【0063】
図3は、画像処理用メモリ7に保存された調整モードのうち、一つの調整モードの制御用データを模式的に示したものである。ここでは、調整モードとして自動調整モードを例に説明する。調整用メモリ7には、このような調整モードの制御用データが複数保存されている。図3において、横軸は撮影画像の色温度、縦軸は補正利得を示している。横軸は、右に行くほど色温度が高く、縦軸は、上に行くほど補正利得が大きい。
【0064】
線203は、R成分の補正利得を示しており、線204はB成分の補正利得を示している。色温度が高いほど、R成分の補正利得は高く、B成分の補正利得は低い。例えば、色温度の高い撮影画像が入力された場合、撮影画像は、赤味がかる方向に調整される。色温度が高いとは、青味がかっていることを意味するので、撮影画像のRB成分を赤味がかる方向に補正をかけることで、適切に撮影画像のホワイトバランスが調整される。
【0065】
線202は、自動調整モードで調整可能な色温度の上限値である。撮影画像の色温度が線202で示す色温度より高くても、当該調整モードではR成分について、線205で示す補正利得より大きい利得はかけられず、B成分について線206で示す補正利得より小さい利得はかけられない。
【0066】
線201は、自動調整モードで調整可能な色温度の下限値である。線202と同様、補正利得の制限値として機能する。
【0067】
図3では、制御用データを2次元グラフとして模式的に示したが、画像処理用メモリ7への保存形式は、表形式でも、数式形式でも構わない。
【0068】
図3では、R成分は色温度に対して増加関数、B成分は減少関数として表現したが、自動調整モードの設計次第では、これと異なる特性にしてもよい。例えば、自動調整モードが調整可能な色温度範囲の中心付近では、R成分、B成分ともに補正利得をかけないという特性でもよい。要するに、R成分、B成分の補正利得と、調整可能な色温度の範囲がわかるようなデータであればよく、また、ホワイトバランス調整が適切に行われればよい。また、上述のことは他の固定値調整モードでも同様である。
【0069】
次に、図2の各機能のブロックの動作について説明する。図1のADコンバータ5にてデジタル化された撮影画像データは、色温度判定部100と画像調整部101に入力される。
【0070】
色温度判定部100は、撮影画像データのR(赤)成分、G(緑)成分、B(青)成分を抽出し、RGBの各成分の比率に基づいて、撮影画像の色温度を判定する。色温度とRGBの各成分の比率との対応関係は、予め画像処理用メモリ7に保存されている。色温度判定部100は、画像処理制御部102を介して、画像処理用メモリ7からRGBの各成分の比率と色温度の対応関係の情報を取得する。色温度判定部100は、判定した撮影画像の色温度情報を画像処理制御部102に伝達する。
【0071】
画像調整部101は、撮影画像データの色成分を調整することにより、撮影画像データのホワイトバランス調整を行う。具体的には、画像処理制御部102から設定されたR成分、B成分の補正利得にしたがって、撮影画像データのR成分、B成分の値を演算する。例えば、画像処理部102から設定された補正利得が、R成分は2、B成分は1/2である場合、撮影画像データのR成分を2倍にし、B成分を半分にする演算を行う。ホワイトバランス調整された撮影画像データは、CPU9に出力され、表示部10に表示される。
【0072】
画像処理制御部102は、CPU9から設定された調整モードにて、撮影画像データのホワイトバランス調整を実行する。入力部11からの入力にしたがって、CPU9が調整モードの変更を画像処理制御部102に指示すれば、画像処理制御部102は、変更された調整モードにてホワイトバランス調整を行う。
【0073】
具体的には以下のように行う。画像処理制御部102は、設定された調整モードに対応する制御用データを画像処理用メモリ7から読み込む。制御用データは、RB成分の補正利得と、調整可能な色温度の制限範囲である。画像処理制御部102は、色温度判定部100から得た色温度情報が当該調整モードの色温度の調整範囲内(線201で示す色温度以上、線202で示す色温度以下)であれば、当該調整モードにてホワイトバランス調整の制御を行う。一方、色温度判定部100から得た色温度情報が、調整範囲外であれば、CPU9に、表示部10に所定のメッセージを表示させるよう指示する。
【0074】
また、CPU9からホワイトバランスの調整モードの変更が指示された場合には、画像処理制御部102は、画像処理用メモリ7から、指示された調整モードの制御用データを読み込み、色温度判定部100が判定した色温度と制御用データに基づいて、画像調整部101にR成分、B成分の補正利得を伝達する。
【0075】
画像調整部101は、再度設定されたR成分、B成分の補正利得を用いて、上述の通り、撮影画像データのホワイトバランス調整を行う。なお、調整モードの変更は、入力部11にて入力された信号をトリガとして行われる。
【0076】
次に、撮像装置1全体の動作について図4を用いて説明する。撮像装置1のカメラ機能が起動される(300)。カメラ機能の起動は、入力部11からの入力信号、または他のプロセスからの呼び出しなどをトリガとして行われる。CPU9はメモリ12から、カメラの起動に関するプログラムを読み出し、プログラムの実行を開始する。
【0077】
次に、調整モードの読み込みが行われる(301)。CPU9は、予めカメラ機能起動時に動作すると設定された調整モードを、メモリ12から読み出す。予め設定されていなければ自動調整モードが読み込まれる。以下では、カメラ機能起動直後に自動調整モードが読み込まれたとして説明する。
【0078】
調整モードの読み込み(301)に続き、色温度の判定が行われる(302)。これは、301で読み込んだ自動調整モードにて行われる。画像処理用メモリ7から撮影画像のRGB成分と色温度の対応関係を示すデータが、画像処理制御部102にて読み込まれ、色温度判定部100に伝達される。色温度判定部100は、その制御データに基づいて、撮影画像データから色温度を判定する。判定された色温度情報は画像処理制御部102に伝達される。画像処理制御部102は、画像処理用メモリ7から読み出した自動調整モードの調整可能範囲と、撮影画像の色温度とを比較する。
【0079】
撮影画像の色温度が自動調整モードの調整範囲内であれば、プレビュー表示(313)の動作へ移行し、調整範囲外であれば、代替調整モードの検索(310)の動作に移行する。
【0080】
プレビュー表示(313)について説明する。プレビュー表示の動作は、その内部動作としてホワイトバランス調整(303)と、画像表示(304)の2つの動作を備えている。後述するように、2つの動作は交互に繰り返し実行される。プレビュー表示(313)動作が開始する際は、ホワイトバランス調整(303)が先に実行される。逆に、プレビュー表示(313)動作を終了する際は、画像表示(304)動作が終了した後、他の動作に移行する。
【0081】
ホワイトバランス調整(303)の動作について説明する。画像処理制御部102は、色温度判定部100で判定された色温度と、画像処理用メモリ7の制御用データから、RB成分の補正利得を決定し、画像調整部101に伝達する。画像調整部101では、撮影画像データのRB成分に対して、補正利得をかけ、ホワイトバランス調整を行う。
【0082】
画像表示(304)では、ホワイトバランス調整された撮影画像データが画像調整部101からCPU9に伝達される。CPU9は表示部10に、ホワイトバランス調整された撮影画像データを表示する。
【0083】
ADコンバータ5は、一定周期で撮影画像データをDSP6に入力する。ホワイトバランス調整(303)と、プレビュー表示(304)は、その周期毎に繰り返し行われる。この動作により、被写体が動いた場合でも、撮影画像の表示をADコンバータ5の動作周期にて更新することで、リアルタイムに被写体をプレビュー表示することができる。
【0084】
プレビュー表示(313)動作の際、ユーザは、入力部11の操作にて、調整モードの変更(305)またはプレビューで表示された画像の撮影(306)を行うことができる。
【0085】
画像撮影(306)は、プレビュー表示(313)動作中に、入力部11にて所定の操作が実行されたことをトリガとして動作を開始する。入力部11の操作されたときに表示部10に画像表示されていた撮影画像をメモリ12または図示しないバッファメモリに一時的に保存する。
【0086】
撮影画像表示(307)は、一時的に保存された撮影画像を表示部10に表示する動作である。CPU9が表示部10を制御することで実現する。撮影画像が表示(307)された際、入力部11で所定の操作が行われると、CPU9は、その撮影画像をメモリ12に保存する(308)。一方、撮影画像が表示(307)された際、入力部11で別の所定の操作が行われると、プレビュー表示(313)に戻る。
【0087】
画像保存(308)では、CPU9は、メモリ12または図示しないバッファメモリに一時的に記憶された撮影画像を、メモリ12の所定の画像保存領域に保存する。画像保存(308)が行われると、撮像装置1は、プレビュー表示(313)の動作に戻る。
【0088】
次に、代替調整モードの検索(310)について説明する。画像処理制御部102は、色温度判定(302)で得られた撮影画像の色温度に適合した固定値モードがあるか否か、画像処理制御部102が画像処理用メモリ7内を検索する。
【0089】
適合した固定値モードがない場合は、プレビュー表示(313)の動作へ移行する。適合した固定一モードがある場合は、所定のメッセージを表示する(311)。所定のメッセージは、画像処理制御部102がCPU9に表示部10へ表示させることで実現する。
【0090】
所定のメッセージとは、検索された調整モードが対応する照明光であるか否かをユーザに確認させるものである。例えば、検索の結果固定値モードとして蛍光灯モードが適合すると判断された場合には、「照明は蛍光灯ですか?」というメッセージを表示部10に表示する。また、例えば、検索の結果固有値モードとして曇天モードが適合すると判断された場合には、「曇天又は日陰ですか?」というメッセージを表示する。以下では、蛍光灯モードが検索されたとして説明する。
【0091】
ユーザは、入力部11にて、所定のメッセージに対しYESを意味する所定の操作をする。入力部11から信号を受けたCPU9は、画像処理制御部102に、蛍光灯モードへの変更を指示する。
【0092】
調整モードの変更(312)では、画像処理制御部102は、CPU9から指示された固定値モードの制御用データを画像処理用メモリ7から読み出す。その後、プレビュー表示(313)の動作に移行する。
【0093】
一方、所定のメッセージが表示部10に表示された際(311)、ユーザが、入力部11にて、NOを意味する所定の操作をすると、自動調整モードのまま、プレビュー表示(313)動作に移行する。
【0094】
上述の動作によって、例えば、白熱灯下の環境で撮影をしている際、被写体固有の色が真っ青であるがために、所定のメッセージとして「曇天又は日陰ですか?」と表示された場合、ユーザは、NOを意味する所定の操作を入力部11にて行い、誤った固定値モードが設定されることを防止することができる。また、メッセージを表示内容と実際の照明光が一致するかどうかを、YES、NOを選択するだけで、より適切な調整モードが選択されることで、ユーザの使い勝手が向上する。
【0095】
プレビュー表示(313)の動作にて、ユーザが、ホワイトバランス調整された撮影画像が気に入らない場合、入力部11にて所定の操作を行うことで、調整モードの変更(305)をすることができる。
【0096】
調整モードの変更(305)の動作では、画像処理用メモリ7に格納された調整モードが選択できるよう、表示部11に所定の表示がされる。入力部11に所定の入力がされることで、CPU9は画像処理部102に対し、調整モードの変更を指示する。画像処理制御部102は、CPU9から指示された固定値モードの制御用データを画像処理用メモリ7から読み出す。その後、プレビュー表示(313)の動作に移行する。
【0097】
図4のすべての状態において、入力部11にて所定の終了操作がされると、カメラ動作は終了する(309)。CPU9は、DSP6に対してカメラモジュール8の動作の終了を指示し、自らも実行中のカメラ機能のプログラムを終了する。
【0098】
上述の実施例では、所定のメッセージ表示として「照明は蛍光灯ですか?」、「曇天又は日陰ですか?」を例示し、撮影画像の色温度から検索した照明光であるか否かの確認をする内容のメッセージであるとしたが、他の態様でもよい。例えば、単に「ホワイトバランス設定をより適切な調整モードに変更しますか?」と表示するだけでもよいし、「蛍光灯?」とだけ表示してもよい。
【0099】
上述の実施例では、DSP6とCPU9で機能の切り分けが行われているが、本願発明は他の態様でも構わない。例えば、上述の実施例のDSP6とCPU9で実現する機能が、同一の演算処理装置で実現されてもよい。また、DSP6がDSPではなく、他の種類のプロセッサでも構わないし、DSP6の実現する機能が、FPGAのようなプログラマブルなハードウェアで実現されてもよい。
【0100】
上述の実施例では、撮像装置1で説明したが、撮像装置1を備えた携帯端末でも同様に本発明は適用可能である。上述の実施例では、ユーザが予め設定していない場合には、カメラ起動時に実行される調整モードとして自動調整モードが設定されるとしたが、他の固定値モードが設定されてもよい。
【0101】
上述の実施例では、図4にあるように、一度調整モードが設定されると、カメラ機能を再起動しない限り、色温度判定(302)の動作は実行されないが、本願発明はこの態様に制限されない。例えば、プレビュー表示(313)中において、照明環境が変わり、撮影画像データの色温度がその時点で選択されている調整モードの調整範囲を逸脱する場合には、より適切な代替調整モードの検索を行い(310)、メッセージ表示(311)、調整モード変更(312)と同様な処理を行ってもよい。
【0102】
そうすることで、撮像装置1をユーザが持ち歩いて撮影する場合など、リアルタイムに照明環境が変化する場合において、常に適切なホワイトバランス調整の調整モードを選択することができる。
【0103】
上述の実施例では、メモリ12と、画像処理用メモリ7の二つのメモリを使用したが、一つのメモリにまとめてDSP6とCPU9からアクセス可能に配置してもよい。
【0104】
本願発明の撮像装置1は、図4で説明した動作を行うことで、自動調整モードの調整範囲外の色温度の場合には、ユーザに調整モードの切り替えをうながす表示をすることができる。専門的なユーザを対象とした撮像装置ではなく、専門的でないユーザを対象にした撮像装置では、可能な限りユーザが自ら設定する手間を省く設計になっている。
【0105】
自動調整モードを有する撮像装置において、自動調整モードは、「オートホワイトバランスモード」や「スタンダード」などと表現されることが多い。それらの名称から、ユーザはあらゆる環境に対応する調整モードであると誤解することが多い。自動調整モードでは調整しきれない環境下において、所定のメッセージによりユーザに適切な調整モードの選択をうながすことができる。
【図面の簡単な説明】
【0106】
【図1】本願実施例に係る画像処理装置の構成を表した図である。
【図2】本願実施例に係る画像処理装置の機能の関連を表した図である。
【図3】本願実施例に係る画像調整部101における補正ゲインを示したグラフである。
【図4】本願実施例に係る画像処理装置の動作状態の関連を示す図である。
【図5】代表的な照明光の色温度を示した図である。
【符号の説明】
【0107】
1 撮像装置
2 撮影レンズ
3 撮像部
4 カメラ部
5 ADコンバータ
6 DSP
7 画像処理用メモリ
8 カメラモジュール
9 CPU
10 表示部
11 入力部
12 メモリ
100 色温度判定部
101 画像調整部
102 画像処理制御部

【特許請求の範囲】
【請求項1】
被写体の撮影画像を生成する撮像部と、
前記撮影画像の色温度を判断する色温度判定部と、
2以上の撮影画像のホワイトバランスの調整モードを保持するメモリと、
前記色温度判定部の判断結果及び選択された調整モードに基づいて前記撮影画像の補正をする画像補正部と、
前記補正された撮像画像を表示する表示部と、
前記色温度判定部の判断結果及び選択された調整モードに基づいて、所定のメッセージを前記表示部に表示させる画像処理制御部と
を有する画像処理装置。
【請求項2】
前記所定のメッセージとは、前記選択された調整モードの切り替えをうながすメッセージである請求項1記載の画像処理装置。
【請求項3】
前記画像処理制御部は、前記色温度判定部により判定された撮影画像の色温度が、前記選択された調整モードの所定範囲外である場合に、前記所定のメッセージを前記表示部に表示させる請求項1記載の画像処理装置。
【請求項4】
前記画像処理制御部は、前記選択された調整モードが特定の調整モードである場合に、前記所定のメッセージを前記表示部に表示させる請求項1記載の画像処理装置。
【請求項5】
2以上のホワイトバランスの調整モードを有し、
被写体の撮影画像から色温度を判定し、
判定した色温度及び選択された調整モードに基づいて所定のメッセージを表示する画像処理装置。
【請求項6】
2以上のホワイトバランスの調整モードを有し、
被写体の撮影画像から色温度を判定し、
判定した色温度及び選択された調整モードに基づいて所定のメッセージを表示する携帯端末。
【請求項7】
2以上のホワイトバランスの調整モードから1の調整モードを選択し、
被写体の撮影画像から色温度を判定し、
判定された撮影画像の色温度と前記調整モードに基づいて所定のメッセージを表示する
画像処理の方法。
【請求項8】
演算処理装置を、
撮影画像の色温度を判断する色温度判定部と、
2以上の撮影画像のホワイトバランスの調整モードを保持するメモリから選択された調整モード及び前記色温度判定部の判断結果に基づいて前記撮影画像の補正をする画像補正部と、
前記補正された撮像画像を表示する外部の表示部に表示させ、前記色温度判定部の判断結果及び選択された調整モードに基づいて所定のメッセージを前記表示部に表示させる画像処理制御部、
として機能させるための画像処理プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2006−279708(P2006−279708A)
【公開日】平成18年10月12日(2006.10.12)
【国際特許分類】
【出願番号】特願2005−97878(P2005−97878)
【出願日】平成17年3月30日(2005.3.30)
【出願人】(390010179)埼玉日本電気株式会社 (1,228)
【Fターム(参考)】