画像補正装置、画像補正方法、肌診断方法およびプログラム
【課題】人物画像をより美しく見せるための画像補正の技術を提供する。
【解決手段】第１撮像条件で撮像された第１画像において予め定められた条件を満たす肌の部分領域を特定する部分領域特定部と、第１撮像条件と異なる第２撮像条件で撮像された第２画像において部分領域に対応する対応領域を特定する対応領域特定部と、第２画像の対応領域に予め定められた画像処理を施すことによって第２画像を補正する画像補正部と、を備える画像補正装置を提供する。
【解決手段】第１撮像条件で撮像された第１画像において予め定められた条件を満たす肌の部分領域を特定する部分領域特定部と、第１撮像条件と異なる第２撮像条件で撮像された第２画像において部分領域に対応する対応領域を特定する対応領域特定部と、第２画像の対応領域に予め定められた画像処理を施すことによって第２画像を補正する画像補正部と、を備える画像補正装置を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像補正装置、画像補正方法、肌診断方法およびプログラムに関する。特に、人物撮影における当該人物の肌を美しく補正することができ、肌診断に供することができる画像補正装置、画像補正方法、肌診断方法およびプログラムに関する。
【背景技術】
【０００２】
物体の表面で直線偏光の光を反射する場合、照射光の偏光方向が維持されることが知られている。また照射光が物体の内部に侵入して反射される場合には物体内部での光の行程に応じて偏光方向が回転して、照射光の偏光方向とは相違する偏光方向の光が反射されることが知られている。この光反射の性質を人物の撮影に応用すれば、当該人物の肌の状態を強調した撮影ができるようになる。
【０００３】
たとえば、特許文献１には、皮膚にＳ偏光とＰ偏光とを別個に入射させ、各入射光に対する皮膚からの反射光もＳ偏光成分とＰ偏光成分の双方を個別に受光して、皮膚表面を観察する皮膚表面観察装置が記載されている。また特許文献２には、偏光を利用して表面反射光を除外した内部反射光によるメラニン成分等の色を測定する肌色測定装置が記載されている。
【特許文献１】特開平７−３２３０１３号公報
【特許文献２】特開２００２−２０００５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし既存の技術においては、単に偏光等を利用して人物の肌の状態を観察するに止まる。人物画像を撮影する分野では、人物画像をより美しく見せるための画像補正の技術が要請されている。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の第１の形態においては、第１撮像条件で撮像された第１画像において予め定められた条件を満たす肌の部分領域を特定する部分領域特定部と、第１撮像条件と異なる第２撮像条件で撮像された第２画像において部分領域に対応する対応領域を特定する対応領域特定部と、第２画像の対応領域に予め定められた画像処理を施すことによって第２画像を補正する画像補正部と、を備える画像補正装置を提供する。
【０００６】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明の効果】
【０００７】
以上の説明から明らかなように、本発明によれば、予め定められた条件を満たす肌の部分領域を特定して、当該部分領域に対応する対応領域に画像処理を施せる。この結果、人物画像をより美しく補正した画像を得ることができる。
【発明を実施するための最良の形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
図１は、本実施形態に係る撮像装置１００の一例を示す。本実施形態の撮像装置１００は、照射部１１０、撮像部１２０、偏光板駆動制御部１３０、表示部１４０、操作部１５０、画像処理部１６０、システム制御部１７０および格納部１８０を備える。なお、撮像装置１００は、画像補正装置の一例である。請求項に記載の画像補正装置は、撮像装置１００の他、パーソナルコンピュータでも良く、インターネット等の通信網に接続されたサーバであっても良い。
【００１０】
照射部１１０は、光源１１２および照射光偏光板１１４を備える。光源１１２は、いわゆるフラッシュランプであってよく、被写体に照射する光を発する。光源１１２を発した光は任意方向の偏光成分を含み、照射光偏光板１１４は、特定方向の偏光だけを透過させる。照射部１１０から発せられる光は、照射光偏光板１１４を通過することにより特定方向の偏光成分だけを有する直線偏光になる。
【００１１】
なお、後に説明する偏光板駆動部により、照射光偏光板１１４は回転されてよく、あるいは光路から取り除かれてもよい。照射光偏光板１１４が回転される場合、照射部１１０から発せられる光は、当該回転に応じて直線偏光の偏向方向が回転する。また照射光偏光板１１４が光路から取り除かれる場合、照射部１１０から発せられる光は、直線偏光でなく任意の偏光成分を含む円偏光になる。
【００１２】
撮像部１２０は、撮像信号処理部１２２、受光素子１２４および受光偏光板１２６を備える。撮像信号処理部１２２は、受光素子１２４のアナログ出力をＡＤ変換して、たとえば８ビットの輝度データに変換する。受光素子１２４のアナログ出力がＲＧＢ成分に色分解される場合には、前記８ビットの輝度データはＲＧＢの成分ごとに得られる。
【００１３】
また撮像信号処理部１２２は、ＲＧＢの各成分を調整してホワイトバランスをとることができる。撮像信号処理部１２２は、システム制御部１７０等にインターフェイスする。受光素子１２４は、入射光を電気信号（アナログ値）に変換する。受光素子１２４として代表的にはＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）が例示できる。
【００１４】
受光偏光板１２６は、照射光偏光板１１４と同様に、特定方向の偏光を透過させる。被写体で反射した光のうち、受光偏光板１２６の偏光方向に一致した偏光成分の反射光が受光偏光板１２６を通過して受光素子１２４に達する。なお、後に説明する偏光板駆動部により、受光偏光板１２６は回転されてよく、あるいは光路から取り除かれてもよい。受光偏光板１２６が回転される場合、回転に応じて透過する光の偏光方向も回転する。また受光偏光板１２６が光路から取り除かれる場合、被写体を反射した光の全偏光成分が受光素子１２４に達する。
【００１５】
偏光板駆動制御部１３０は、照射光偏光板駆動部１３２および受光偏光板駆動部１３４を備える。照射光偏光板駆動部１３２は、照射光偏光板１１４の回転または光路からの取り除きを駆動する。受光偏光板駆動部１３４は、受光偏光板１２６の回転または光路からの取り除きを駆動する。偏光板駆動制御部１３０は、システム制御部１７０からの制御を受けて照射光偏光板駆動部１３２および受光偏光板駆動部１３４を制御する。
【００１６】
表示部１４０は、たとえば液晶表示パネルおよびパネルドライバを備え、撮像装置１００が撮像した画像を表示する。操作部１５０は、たとえば電源スイッチ、レリーズスイッチ、ズームボタンあるいは機能設定ボタン等を備える。特に操作部１５０は、当該撮像装置１００で撮像が可能になる美肌モードでの撮像と通常モードでの撮像の何れのモードで撮像するかを設定するモード設定部１５２を備える。
【００１７】
画像処理部１６０は、上記した各種条件で撮像した画像を単独または組み合わせて処理して、被写体が美しく見えるよう補正対象画像を補正する。画像処理部１６０は、部分領域特定部１６１、対応領域特定部１６２、画像補正部１６３、ガンマ補正部１６４および人物特定部１６５を備える。
【００１８】
部分領域特定部１６１は、前記したしわ部分領域特定用画像からしわ部分領域を特定する。また部分領域特定部１６１は、前記したしみ部分領域特定用画像からしみ部分領域を特定する。しわまたはしみ部分領域の特定は、たとえば肌領域を特定して、当該肌領域のなかで輝度変化の大きい一連の画素を特定する。
【００１９】
この一連の画素が閉じた領域を形成するとともに閉領域内での輝度が周りよりも低い場合には当該閉領域がしみ領域である可能性が高い。一連の画素が直線的に開いており、当該直線的な一連の画素が平行して複数存在する場合にはしわ領域である可能性が高い。以上のような推論の下、各画素の輝度データを処理すれば、しわまたはしみの部分領域を特定できる。
【００２０】
対応領域特定部１６２は、前記した補正対象画像において、しわ部分領域に対応する領域あるいはしみ部分領域に対応する領域を特定する。しわ部分領域特定用画像またはしみ部分領域特定用画像と補正対象画像とが時間的に近接して撮像され、画像内における被写体の構図がほぼ同じ場合には、しわ部分領域またはしみ部分領域に対応する画素に相当する補正対象画像の画素を特定して対応領域を特定できる。しわ部分領域特定用画像またはしみ部分領域特定用画像の被写体構図と補正対象画像の被写体構図とが一致しない場合には、たとえば被写体構図内の人物の顔画像を解析して、目、まゆ、口元等の特徴点を抽出する。そして、しわ部分領域あるいはしみ部分領域の位置を当該特徴点からの相対距離で規格化して補正対象画像における該当位置を対応領域として特定できる。
【００２１】
画像補正部１６３は、補正対象画像に対して、しわ部分領域あるいはしみ部分領域に対応する対応領域に画像補正を施す。画像補正により当該補正対象画像の対応領域に存在するしわあるいはしみを目立たないようにできる。しわまたはしみの補正は、たとえば対応領域の周辺画素の平均輝度で対応領域内の画素の輝度を置き換えることができる。
【００２２】
より自然に補正するためには、画素ごとの輝度変化の空間周波数を抽出して、当該空間周波数の高周波域をカットすると共に低周波域について画素間の輝度を補間しても良い。空間周波数の高周波域がたとえば黒子を反映する場合には当該高周波域を保存することもできる。なお、画像補正の方法として既存の任意の画像補正方法を適用できる。
【００２３】
ガンマ補正部１６４は、しわ部分領域特定用画像、しみ部分領域特定用画像および補正対象画像に所定のガンマカーブを適用して画素ごとの輝度データを変更する。ここでガンマ補正とは、補正前の画素ごとの輝度データを、その入力値に応じて出力値が決定されているガンマカーブに従って変換して補正後の値とする入出力変換操作をいう。入力値に応じた出力値を示す変換曲線としてガンマカーブが定義される。すなわち、ガンマ補正は、ある画素の輝度データを入力値としてガンマカーブに従い出力値を割り出す。そして当該出力値を補正後の輝度データとする操作を全画素について実施する。
【００２４】
ガンマ補正により画像入出力機器の非線形な入出力特性を線形化でき、ある画像について特に強調したい輝度領域のコントラストを高めることができるようになる。なお、輝度データがＲＧＢの各成分に分解されている場合は各ＲＧＢ成分の輝度データについてガンマ補正を施すことができる。
【００２５】
ガンマ補正部１６４で実施されるガンマ補正では、しわ部分領域特定用画像およびしみ部分領域特定用画像に適用するガンマカーブと補正対象画像とに適用するガンマカーブが相違する。そして、しわ部分領域特定用画像およびしみ部分領域特定用画像に適用するガンマカーブの肌の輝度範囲における傾きは、補正対象画像に適用するガンマカーブの肌の輝度範囲における傾きより大きい。しわ部分領域特定用画像およびしみ部分領域特定用画像に適用するガンマカーブの傾きを大きくすることにより、肌の輝度の範囲で輝度差が明瞭に現れるようになり、しわ部分領域およびしみ部分領域の特定が容易になる。
【００２６】
なお、肌の輝度範囲は、予め撮影したしわまたはしみ部分領域特定用画像から肌領域を特定して、当該肌領域内の各画素の最高輝度および最低輝度を上限および下限として決定できる。そして当該肌の輝度範囲内で傾きが最大になるようガンマカーブを定義できる。また、輝度データがＲＧＢの各成分に分解されているときには、各色成分のそれぞれについて肌の輝度範囲のガンマカーブ傾きを大きくできる。ブルー系統色に吸収帯のある可能性の高いしみの観測ではＢ成分輝度の変化としてしみが観測される可能性が高いから、特にＢ成分のガンマカーブ傾きを大きくしてガンマ補正を適用できる。
【００２７】
人物特定部１６５は、補正対象画像に含まれる人物を特定する。人物特定部１６５は、たとえば当該人物の顔画像から目、まゆ、鼻、口等の特徴点を抽出して顔パターンを計算する。そして、後に説明する格納部１８０の顔パターン格納部にアクセスして一致する顔パターンを検索する。一致する顔パターンが検索された場合にはその人物で特定する。
【００２８】
システム制御部１７０は、撮像装置１００の全体を制御する。システム制御部１７０は、制御ＣＰＵ１７２およびモード切替部１７４を備える。制御ＣＰＵ１７２はシステムの制御に要請される演算を実行する。モード切替部１７４は、美肌撮像モードと通常撮像モードとを切り替える。美肌撮像モードにおいては前記した照射光偏光板１１４および受光偏光板１２６の駆動制御、しわ部分領域特定用画像、しみ部分領域特定用画像および補正対象画像の取得および記録、しみ部分領域およびしわ部分領域ならびに対応領域の特定、ガンマ補正ならびに画像補正等の美肌モードに特有な各種制御を実行する。
【００２９】
格納部１８０は、撮像装置１００で利用する各種データを格納する。格納部１８０は、部分領域位置格納部１８２および顔パターン格納部１８４を備える。部分領域位置格納部１８２は、名前等人物識別情報に対応付けて当該人物のしわまたはしみ部分領域の位置を格納する。顔パターン格納部１８４は、名前等人物識別情報に対応付けて当該人物の顔パターンを格納する。前記の通り顔パターンは人物特定に利用される。
【００３０】
図２は、照射光偏光板１１４および受光偏光板１２６の回転および光路からの除外の組み合わせを示す。図２（ａ）は照射光偏光板１１４の偏光方向と同じ方向に受光偏光板１２６の偏光方向を設定した場合を示す。図２（ｂ）は照射光偏光板１１４の偏光方向と垂直な方向に受光偏光板１２６の偏光方向を設定した場合を示す。図２（ｃ）は照射光偏光板１１４および受光偏光板１２６を光路から取り除いた場合を示す。図２に示すような照射光偏光板１１４および受光偏光板１２６の回転および光路からの除外の組み合わせにより、被写体からの反射光のうち被写体表面で反射した光の成分と被写体内部に侵入して反射した光の成分とを分離できる。
【００３１】
すなわち被写体表面で反射する光の偏光方向は維持される一方被写体内部に侵入した光の偏光方向は変化するという反射光の性質を利用する。つまり、照射光偏光板１１４の偏光方向とほぼ同じ方向に受光偏光板１２６の偏光方向を設定すれば（図２（ａ）の場合）、受光素子１２４に入射する光は被写体の表面で反射した光が主になる。逆に、照射光偏光板１１４の偏光方向とほぼ垂直な方向に受光偏光板１２６の偏光方向を設定すれば（図２（ｂ）の場合）、受光素子１２４に入射する光は被写体の内部に侵入して反射した光が主になる。被写体表面で反射した光で撮像すれば、たとえば肌表面のしわが強調され、被写体の内部に侵入して反射した光で撮像すれば、たとえば肌内部のしみが強調される。
【００３２】
上記のような、肌表面のしわまたは肌内部のしみを強調して撮像した画像は画像の補正に利用できる。すなわち照射光偏光板１１４と受光偏光板１２６との偏光方向が一致した条件での撮像画像（肌表面を強調した画像）は、しわ部分領域特定用画像として利用できる。また照射光偏光板１１４と受光偏光板１２６との偏光方向が垂直な条件での撮像画像（肌内部を強調した画像）は、しみ部分領域特定用画像として利用できる。照射光偏光板１１４および受光偏光板１２６の何れか一方または両方を光路から取り除いた場合（図２（ｃ）の場合）には、被写体からの反射光と同じ任意の偏光方向を含んだ光が受光素子１２４に入射する。このような条件で撮像された画像は補正対象画像として利用できる。
【００３３】
図３は本実施形態の撮像方法例の前半部分を示す。なお、本実施形態の撮像方法は、画像補正方法の一例である。まず、処理を開始すると撮像モードを選択する（Ｓ２００）。美肌モードを選択した場合にはステップＳ２１０に進み、通常撮像モードが選択された場合にはステップＳ４３０に進む。通常撮像モードの場合は後に説明する。
【００３４】
美肌モード（Ｓ２１０）では、最初に人物情報を使用するかを判断する（Ｓ２２０）。人物情報を使用する場合には人物情報フラグＰＩＦｌａｇをＯＮ（ＰＩＦｌａｇをｔｒｕｅにセット）にして（Ｓ２３０）、ステップＳ２６０に進む。ステップＳ２２０で人物情報を使用しないと判断した場合にはしわ部分領域特定用画像を撮像する（Ｓ２４０）。その後、しみ部分領域特定用画像を撮像して（Ｓ２５０）、ステップＳ２６０に進む。
【００３５】
ステップＳ２６０では補正対象画像を撮像する（Ｓ２６０）。次に、撮像した、しわ部分領域特定用画像、しみ部分領域特定用画像および補正対象画像にガンマ補正を施す（Ｓ２７０）。なお、しわ部分領域特定用画像およびしみ部分領域特定用画像を撮像していない場合は撮像した補正対象画像にガンマ補正を施す。
【００３６】
図４は、本実施形態の撮像方法例の後半部分を示す。ステップＳ２７０でガンマ補正を施した後、ＰＩＦｌａｇがｔｒｕｅにセットされているかを判断する（Ｓ２８０）。ＰＩＦｌａｇがｔｒｕｅにセットされている、つまり人物情報を使用する場合には、人物識別情報として名前が入力されるかを判断する（Ｓ２９０）。名前が入力された場合には、当該名前から人物を特定して（Ｓ３００）、ステップＳ３３０に進む。
【００３７】
ステップＳ２９０で名前が入力されないときには、撮像した補正対象画像を分析して顔パターンを抽出する（Ｓ３１０）。抽出した顔パターンで顔パターン格納部１８４を検索して人物を特定する（Ｓ３２０）。なお、顔パターンの特定に失敗した場合には、その時点で処理を終了してもよく、またはステップＳ２４０に戻って処理を再開してもよい。ステップＳ３００またはステップＳ３２０で人物が特定されれば、当該人物に対応付けて部分領域位置格納部１８２に記録されているしわ部分領域位置およびしみ部分領域位置を取得する（Ｓ３３０）。
【００３８】
ステップＳ２８０でＰＩＦｌａｇがｔｒｕｅにセットされていない、つまり人物情報を使用しないと判断した場合には、しわ部分領域特定用画像からしわ部分領域を特定する（Ｓ３４０）。さらにしみ部分領域特定用画像からしみ部分領域を特定する（Ｓ３５０）。次に、人物情報を記録するかを判断する（Ｓ３６０）。人物情報を記録する場合は、補正対象画像から顔パターンを分析して（Ｓ３７０）、当該顔パターンに対応付ける名前を人物識別情報として登録する（Ｓ３８０）。なお、顔パターンの分析はしわ部分領域特定用画像またはしみ部分領域特定用画像を用いてもよい。
【００３９】
次に、ステップＳ３４０およびＳ３５０で特定したしわ部分領域およびしみ部分領域の位置とステップＳ３７０で分析した顔パターンとをステップＳ３８０で登録した名前に対応付けて各々部分領域位置格納部１８２および顔パターン格納部１８４に記録する（Ｓ３９０）。記録したしわ部分領域およびしみ部分領域の位置ならびに顔パターンは、後に人物情報を使用する場合に利用できる。
【００４０】
次に、ステップＳ３４０およびＳ３５０で特定したしわ部分領域およびしみ部分領域、もしくはステップＳ３３０で取得したしわ部分領域位置およびしみ部分領域位置から補正対象画像のしわ対応領域およびしみ対応領域を特定する（Ｓ４００）。特定したしわ対応領域およびしみ対応領域に対し補正処理を施して（Ｓ４１０）、補正後の画像を不揮発性メモリ等に記録する（Ｓ４２０）。その後処理を終了する。
【００４１】
ステップＳ２００で通常撮像モードを選択した場合、ステップＳ４３０以降の通常撮像モードに移行する（Ｓ４３０）。通常撮像モードでは、受光偏光板１２６をＯＦＦに（Ｓ４４０）、照射光偏光板１１４をＯＦＦにする（Ｓ４５０）。その後撮像する（Ｓ４６０）。撮像した画像を不揮発性メモリ等に記録して（Ｓ４７０）、処理を終了する。
【００４２】
図５は、しわ部分領域特定用画像の撮像の一例を示す。しわ部分領域特定用画像の撮像では、まず受光偏光板１２６をＯＮにして（Ｓ２４１）、照射光偏光板１１４をＯＮにする（Ｓ２４２）。ここでＯＮとは偏光板を光路上にセットすることをいう（以下同じ）。照射光偏光板１１４の偏光方向は受光偏光板１２６の偏光方向と同じにする。その後撮像して（Ｓ２４３）、撮像した画像をしわ部分領域特定用画像として記録する（Ｓ２４４）。
【００４３】
図６は、しみ部分領域特定用画像の撮像の一例を示す。しみ部分領域特定用画像の撮像では、受光偏光板１２６をＯＮにして（Ｓ２５１）、照射光偏光板１１４をＯＮにする（Ｓ２５２）。照射光偏光板１１４の偏光方向は受光偏光板１２６の偏光方向に対して垂直にする。その後撮像して（Ｓ２５３）、撮像した画像をしみ部分領域特定用画像として記録する（Ｓ２５４）。
【００４４】
図７は、補正対象画像の撮像の一例を示す。補正対象画像の撮像では、受光偏光板１２６をＯＦＦにして（Ｓ２６１）、照射光偏光板１１４をＯＦＦにする（Ｓ２６２）。ここでＯＦＦとは偏光板を光路上から除外することをいう。その後撮像して（Ｓ２６３）、撮像した画像を補正対象画像として記録する（Ｓ２６４）。
【００４５】
上記した撮像装置１００によれば、偏光板の組み合わせによって被写体表面を強調したしわ部分領域特定用画像、被写体内部を強調したしみ部分領域特定用画像を取得できる。しわ部分領域特定用画像およびしみ部分領域特定用画像によりしわ部分領域およびしみ部分領域を特定でき、補正対象画像の対応領域を特定してしわおよびしみを目立たないよう補正対象画像を補正できる。この結果、人物画像をより美しく見せることができる。
【００４６】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００４７】
たとえば、上記した実施形態では、一つの受光素子１２４で、しわ部分領域特定用画像、しみ部分領域特定用画像および補正対象画像を撮像する例を示した。しかし、しわ部分領域特定用画像、しみ部分領域特定用画像および補正対象画像の各々に専用の受光素子を備えるようにしてもよい。
【００４８】
図８は、撮像装置１００の変更例を示す。以下の説明において撮像装置１００と同じ符号を付した同様の部材については説明を省略する。撮像装置８００には、照射部８１０と撮像部８２０とを備える。照射部８１０に含まれる照射光偏光板８１４は光源１１２の光路上に配置された固定の偏光板であってよい。従って照射部８１０からは常に一定の偏光方向を持つ光が照射される。
【００４９】
撮像部８２０には受光素子１２４ａ、受光素子１２４ｂ、受光素子１２４ｃを備える。受光素子１２４ａは、その光路上に受光偏光板を有さないから、受光素子１２４ａで撮像される画像は補正対象画像になる。受光素子１２４ｂは、その光路上に照射部８１０の照射光偏光板８１４と同じ偏光方向の受光偏光板８２２を有するから、受光素子１２４ｂで撮像される画像はしわ部分領域特定用画像になる。受光素子１２４ｃは、その光路上に照射部８１０の照射光偏光板８１４の変更方向に垂直な偏光方向の受光偏光板８２４を有するから、受光素子１２４ｃで撮像される画像はしみ部分領域特定用画像になる。
【００５０】
撮像装置８００によれば、しわ部分領域特定用画像、しみ部分領域特定用画像および補正対象画像の各々に専用の受光素子を備えるので、偏光板を駆動しなくてもよい。その結果、撮像装置が簡略化できる。
【００５１】
また、上記実施形態では、受光偏光板１２６、受光偏光板８２２および受光偏光板８２４として、所定の偏光方向の光を透過する単一の透過領域を有する偏光板を例示した。しかし、偏光板には、第１偏光方向の光を透過する第１透過領域および第１偏光方向に略垂直な第２偏光方向の光を透過する第２透過領域を有することができ、当該偏光板に対応する受光素子には、第１透過領域を透過した光を受光する第１受光領域および第２透過領域を透過した光を受光する第２受光領域を有することができる。
【００５２】
図９は、撮像装置８００の変更例である撮像装置９００の一例を示す。以下の説明において撮像装置８００と同じ符号を付した同様の部材については説明を省略する。撮像装置９００の撮像部８２０には、受光素子９２４および受光偏光板９２６を有する。
【００５３】
図１０は、受光偏光板９２６の平面例を示す。受光偏光板９２６は、第１偏光方向の光を透過する第１透過領域９２６ａおよび第１偏光方向に略垂直な第２偏光方向の光を透過する第２透過領域９２６ｂを有する。第１透過領域９２６ａおよび第２透過領域９２６ｂは、一つの画素領域９２６ｅを形成する。画素領域９２６ｅは、二次元方向に複数個繰り返して形成され、撮像画像の一画素分に対応する。
【００５４】
画素領域９２６ｅは、第１透過領域９２６ａおよび第２透過領域９２６ｂごとに、色成分に対応した各色成分領域を含んでもよい。すなわち、第１透過領域９２６ａは、たとえばＲ（赤）、Ｇ（緑）およびＢ（青）の色成分ごとの色成分領域を含んでよく、同様に第２透過領域９２６ｂは、たとえばＲ（赤）、Ｇ（緑）およびＢ（青）の色成分ごとの色成分領域を含んでよい。
【００５５】
受光素子９２４は、第１透過領域９２６ａを透過した光を受光する第１受光領域および第２透過領域９２６ｂを透過した光を受光する第２受光領域を有する。受光素子９２４は、たとえばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサであってよく、第１受光領域および第２受光領域は、イメージセンサに配列されているフォトダイオードであってよい。第１透過領域９２６ａおよび第２透過領域９２６ｂに色成分領域を含む場合には、受光素子９２４の第１受光領域および第２受光領域も、当該色成分領域に対応する受光領域を含む。
【００５６】
本実施形態の撮像装置９００における受光素子９２４では、図３における、しわ部分領域特定用画像の撮像（ステップＳ２４０）、しみ部分領域特定用画像の撮像（ステップＳ２５０）および補正対象画像の撮像（ステップＳ２６０）が同時に為される。すなわち、受光素子９２４は、肌測定モードにおいて、第１透過領域９２６ａに対応する第１受光領域で受光した被写体からの光により、第１画像であってよいしわ部分領域特定用画像を撮像する。また受光素子９２４は、肌測定モードにおいて、第２透過領域９２６ｂに対応する第２受光領域で受光した被写体からの光により、第１画像であってよいしみ部分領域特定用画像を撮像する。さらに受光素子９２４は、補正撮像モードにおいて、第１透過領域９２６ａに対応する第１受光領域および第２透過領域９２６ｂに対応する第２受光領域で受光した被写体からの光による信号を合成して、第２画像であってよい補正対象画像を撮像する。
【００５７】
撮像装置９００によれば、しわ部分領域特定用画像、しみ部分領域特定用画像および補正対象画像を単一の受光偏光板９２６および受光素子９２４により、同時に撮像できるので、部品点数を削減でき、照射光偏光板８１４を駆動しなくてもよい。その結果、撮像装置９００がさらに簡略化できる。なお、受光偏光板９２６は、第１偏光方向の光および第２偏光方向の光を含む光を透過する第３透過領域をさらに有する受光偏光板に代えてもよい。
【００５８】
図１１は、受光偏光板９２８の平面例を示す。受光偏光板９２８は、第１偏光方向の光を透過する第１透過領域９２８ａ、第１偏光方向に略垂直な第２偏光方向の光を透過する第２透過領域９２８ｂおよび第１偏光方向と第２偏光方向との両方方向の光を透過する第３透過領域９２８ｃを有する。第１透過領域９２８ａ、第２透過領域９２８ｂおよび第３透過領域９２８ｃは、一つの画素領域９２８ｅを形成する。画素領域９２８ｅは、二次元方向に複数個繰り返して形成され、撮像画像の一画素分に対応する。画素領域９２８ｅが色成分領域を含んでよいことは受光偏光板９２６の場合と同様であってよい。
【００５９】
上記の場合受光素子９２４に、第３透過領域９２８ｃを透過した光を受光する第３受光領域をさらに有してよい。受光素子９２４は、補正撮像モードにおいて、第３透過領域９２８ｃに対応する第３受光領域で受光した光により、第２画像であってよい補正対象画像を撮像できる。
【００６０】
また、上記した撮像装置は、治療対象の施術領域を含む治療前後の画像から、施術領域における治療前後の画像の輝度変化量または色度変化量を算出する変化量算出部を備えてよく、変化量算出部が算出した輝度変化量または色度変化量を、成功事例または失敗事例の指標に関連付けて格納する事例格納部を備えてよい。図９には、撮像装置９００に変化量算出部９９０および事例格納部９８６を備える例を示している。
【００６１】
変化量算出部９９０は、治療対象の施術領域を含む治療前後の画像から、施術領域における治療前後の画像の輝度変化量または色度変化量を算出する。事例格納部９８６は、変化量算出部９９０が算出した輝度変化量または色度変化量を、成功事例または失敗事例の指標に関連付けて格納する。そして、画像補正部１６３は、第２画像の一例である補正対象画像を成功事例の予測画像として補正する場合には、成功事例の指標に関連付けて事例格納部９８６に格納されている輝度変化量または色度変化量だけ対応領域の輝度または色度が変化するよう補正対象画像に画像処理を施す。画像補正部１６３は、補正対象画像を失敗事例の予測画像として補正する場合には、失敗事例の指標に関連付けて事例格納部９８６に格納されている輝度変化量または色度変化量だけ対応領域の輝度または色度が変化するよう補正対象画像に画像処理を施す。表示部１４０は、画像補正部１６３が補正した補正対象画像（第２画像）を、成功事例または失敗事例の何れかの事例の予測画像として表示する。
【００６２】
変化量算出部９９０および事例格納部９８６を備える撮像装置９００によれば、肌治療の前に、治療が成功した場合、あるいは治療が失敗した場合の肌の状況を予測画像で確認できる。なお、変化量算出部９９０および事例格納部９８６を備える撮像装置９００は、それを肌の診断に適用すれば、肌診断方法として把握することも可能になる。肌診断方法においては、肌治療の前後における、対応領域の画像の輝度変化量または色度変化量を変化量算出部９９０により算出する段階と、算出した輝度変化量または色度変化量を、成功事例または失敗事例の指標に関連付けて事例格納部９８６に格納する段階と、をさらに備えることもできる。
【００６３】
また、上記実施形態では、本願の画像補正装置の一例として撮像装置の例を説明した。しかし、本願の画像補正装置、特に撮像装置１００における画像処理部１６０、システム制御部１７０および格納部１８０はパーソナルコンピュータまたはネットワーク接続されたサーバ等の電子情報処理装置によって構成することもできる。
【００６４】
図１２は、本願の画像補正装置をパーソナルコンピュータ等の電子情報処理装置１５００で構成した場合のハードウェア構成の一例を示す。画像補正装置は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有する。
【００６５】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００６６】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。
【００６７】
入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、画像補正装置が起動時に実行するブート・プログラム、あるいは画像補正装置のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【００６８】
ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。ＣＰＵ１５０５により実行されるプログラムは、図１から１１に関連して説明した、画像処理部１６０、システム制御部１７０および格納部１８０として機能させる。
【００６９】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして画像補正装置を提供してもよい。
【産業上の利用可能性】
【００７０】
本願発明は、撮像装置および撮像装置で利用可能な画像補正技術に関する。よって、本願発明は、撮像装置産業および画像補正技術を利用する産業において利用できる。
【図面の簡単な説明】
【００７１】
【図１】本実施形態に係る撮像装置１００の一例を示す。
【図２】照射光偏光板１１４および受光偏光板１２６の回転および光路からの除外の組み合わせを示す。
【図３】本実施形態の撮像方法の一例を示す。
【図４】本実施形態の撮像方法の一例を示す。
【図５】しわ部分領域特定用画像の撮像の一例を示す。
【図６】しみ部分領域特定用画像の撮像の一例を示す。
【図７】補正対象画像の撮像の一例を示す。
【図８】撮像装置１００の変更例を示す。
【図９】撮像装置８００の変更例である撮像装置９００の一例を示す。
【図１０】受光偏光板９２６の平面例を示す。
【図１１】受光偏光板９２８の平面例を示す。
【図１２】本願の画像補正装置をパーソナルコンピュータ等の電子情報処理装置で構成した場合のハードウェア構成の一例を示す。
【符号の説明】
【００７２】
１００ 撮像装置
１１０ 照射部
１１２ 光源
１１４ 照射光偏光板
１２０ 撮像部
１２２ 撮像信号処理部
１２４ 受光素子
１２４ａ 受光素子
１２４ｂ 受光素子
１２４ｃ 受光素子
１２６ 受光偏光板
１３０ 偏光板駆動制御部
１３２ 照射光偏光板駆動部
１３４ 受光偏光板駆動部
１４０ 表示部
１５０ 操作部
１５２ モード設定部
１６０ 画像処理部
１６１ 部分領域特定部
１６２ 対応領域特定部
１６３ 画像補正部
１６４ ガンマ補正部
１６５ 人物特定部
１７０ システム制御部
１７２ 制御ＣＰＵ
１７４ モード切替部
１８０ 格納部
１８２ 部分領域位置格納部
１８４ 顔パターン格納部
８００ 撮像装置
８１０ 照射部
８１４ 照射光偏光板
８２０ 撮像部
８２２ 受光偏光板
８２４ 受光偏光板
９００ 撮像装置
９２４ 受光素子
９２６ 受光偏光板
９２６ａ 第１透過領域
９２６ｂ 第２透過領域
９２６ｅ 画素領域
９２８ 受光偏光板
９２８ａ 第１透過領域
９２８ｂ 第２透過領域
９２８ｃ 第３透過領域
９２８ｅ 画素領域
９８６ 事例格納部
９９０ 変化量算出部
１５００ 電子情報処理装置
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示装置
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ
１５９８ ネットワーク通信装置
【技術分野】
【０００１】
本発明は、画像補正装置、画像補正方法、肌診断方法およびプログラムに関する。特に、人物撮影における当該人物の肌を美しく補正することができ、肌診断に供することができる画像補正装置、画像補正方法、肌診断方法およびプログラムに関する。
【背景技術】
【０００２】
物体の表面で直線偏光の光を反射する場合、照射光の偏光方向が維持されることが知られている。また照射光が物体の内部に侵入して反射される場合には物体内部での光の行程に応じて偏光方向が回転して、照射光の偏光方向とは相違する偏光方向の光が反射されることが知られている。この光反射の性質を人物の撮影に応用すれば、当該人物の肌の状態を強調した撮影ができるようになる。
【０００３】
たとえば、特許文献１には、皮膚にＳ偏光とＰ偏光とを別個に入射させ、各入射光に対する皮膚からの反射光もＳ偏光成分とＰ偏光成分の双方を個別に受光して、皮膚表面を観察する皮膚表面観察装置が記載されている。また特許文献２には、偏光を利用して表面反射光を除外した内部反射光によるメラニン成分等の色を測定する肌色測定装置が記載されている。
【特許文献１】特開平７−３２３０１３号公報
【特許文献２】特開２００２−２０００５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし既存の技術においては、単に偏光等を利用して人物の肌の状態を観察するに止まる。人物画像を撮影する分野では、人物画像をより美しく見せるための画像補正の技術が要請されている。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の第１の形態においては、第１撮像条件で撮像された第１画像において予め定められた条件を満たす肌の部分領域を特定する部分領域特定部と、第１撮像条件と異なる第２撮像条件で撮像された第２画像において部分領域に対応する対応領域を特定する対応領域特定部と、第２画像の対応領域に予め定められた画像処理を施すことによって第２画像を補正する画像補正部と、を備える画像補正装置を提供する。
【０００６】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明の効果】
【０００７】
以上の説明から明らかなように、本発明によれば、予め定められた条件を満たす肌の部分領域を特定して、当該部分領域に対応する対応領域に画像処理を施せる。この結果、人物画像をより美しく補正した画像を得ることができる。
【発明を実施するための最良の形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
図１は、本実施形態に係る撮像装置１００の一例を示す。本実施形態の撮像装置１００は、照射部１１０、撮像部１２０、偏光板駆動制御部１３０、表示部１４０、操作部１５０、画像処理部１６０、システム制御部１７０および格納部１８０を備える。なお、撮像装置１００は、画像補正装置の一例である。請求項に記載の画像補正装置は、撮像装置１００の他、パーソナルコンピュータでも良く、インターネット等の通信網に接続されたサーバであっても良い。
【００１０】
照射部１１０は、光源１１２および照射光偏光板１１４を備える。光源１１２は、いわゆるフラッシュランプであってよく、被写体に照射する光を発する。光源１１２を発した光は任意方向の偏光成分を含み、照射光偏光板１１４は、特定方向の偏光だけを透過させる。照射部１１０から発せられる光は、照射光偏光板１１４を通過することにより特定方向の偏光成分だけを有する直線偏光になる。
【００１１】
なお、後に説明する偏光板駆動部により、照射光偏光板１１４は回転されてよく、あるいは光路から取り除かれてもよい。照射光偏光板１１４が回転される場合、照射部１１０から発せられる光は、当該回転に応じて直線偏光の偏向方向が回転する。また照射光偏光板１１４が光路から取り除かれる場合、照射部１１０から発せられる光は、直線偏光でなく任意の偏光成分を含む円偏光になる。
【００１２】
撮像部１２０は、撮像信号処理部１２２、受光素子１２４および受光偏光板１２６を備える。撮像信号処理部１２２は、受光素子１２４のアナログ出力をＡＤ変換して、たとえば８ビットの輝度データに変換する。受光素子１２４のアナログ出力がＲＧＢ成分に色分解される場合には、前記８ビットの輝度データはＲＧＢの成分ごとに得られる。
【００１３】
また撮像信号処理部１２２は、ＲＧＢの各成分を調整してホワイトバランスをとることができる。撮像信号処理部１２２は、システム制御部１７０等にインターフェイスする。受光素子１２４は、入射光を電気信号（アナログ値）に変換する。受光素子１２４として代表的にはＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）が例示できる。
【００１４】
受光偏光板１２６は、照射光偏光板１１４と同様に、特定方向の偏光を透過させる。被写体で反射した光のうち、受光偏光板１２６の偏光方向に一致した偏光成分の反射光が受光偏光板１２６を通過して受光素子１２４に達する。なお、後に説明する偏光板駆動部により、受光偏光板１２６は回転されてよく、あるいは光路から取り除かれてもよい。受光偏光板１２６が回転される場合、回転に応じて透過する光の偏光方向も回転する。また受光偏光板１２６が光路から取り除かれる場合、被写体を反射した光の全偏光成分が受光素子１２４に達する。
【００１５】
偏光板駆動制御部１３０は、照射光偏光板駆動部１３２および受光偏光板駆動部１３４を備える。照射光偏光板駆動部１３２は、照射光偏光板１１４の回転または光路からの取り除きを駆動する。受光偏光板駆動部１３４は、受光偏光板１２６の回転または光路からの取り除きを駆動する。偏光板駆動制御部１３０は、システム制御部１７０からの制御を受けて照射光偏光板駆動部１３２および受光偏光板駆動部１３４を制御する。
【００１６】
表示部１４０は、たとえば液晶表示パネルおよびパネルドライバを備え、撮像装置１００が撮像した画像を表示する。操作部１５０は、たとえば電源スイッチ、レリーズスイッチ、ズームボタンあるいは機能設定ボタン等を備える。特に操作部１５０は、当該撮像装置１００で撮像が可能になる美肌モードでの撮像と通常モードでの撮像の何れのモードで撮像するかを設定するモード設定部１５２を備える。
【００１７】
画像処理部１６０は、上記した各種条件で撮像した画像を単独または組み合わせて処理して、被写体が美しく見えるよう補正対象画像を補正する。画像処理部１６０は、部分領域特定部１６１、対応領域特定部１６２、画像補正部１６３、ガンマ補正部１６４および人物特定部１６５を備える。
【００１８】
部分領域特定部１６１は、前記したしわ部分領域特定用画像からしわ部分領域を特定する。また部分領域特定部１６１は、前記したしみ部分領域特定用画像からしみ部分領域を特定する。しわまたはしみ部分領域の特定は、たとえば肌領域を特定して、当該肌領域のなかで輝度変化の大きい一連の画素を特定する。
【００１９】
この一連の画素が閉じた領域を形成するとともに閉領域内での輝度が周りよりも低い場合には当該閉領域がしみ領域である可能性が高い。一連の画素が直線的に開いており、当該直線的な一連の画素が平行して複数存在する場合にはしわ領域である可能性が高い。以上のような推論の下、各画素の輝度データを処理すれば、しわまたはしみの部分領域を特定できる。
【００２０】
対応領域特定部１６２は、前記した補正対象画像において、しわ部分領域に対応する領域あるいはしみ部分領域に対応する領域を特定する。しわ部分領域特定用画像またはしみ部分領域特定用画像と補正対象画像とが時間的に近接して撮像され、画像内における被写体の構図がほぼ同じ場合には、しわ部分領域またはしみ部分領域に対応する画素に相当する補正対象画像の画素を特定して対応領域を特定できる。しわ部分領域特定用画像またはしみ部分領域特定用画像の被写体構図と補正対象画像の被写体構図とが一致しない場合には、たとえば被写体構図内の人物の顔画像を解析して、目、まゆ、口元等の特徴点を抽出する。そして、しわ部分領域あるいはしみ部分領域の位置を当該特徴点からの相対距離で規格化して補正対象画像における該当位置を対応領域として特定できる。
【００２１】
画像補正部１６３は、補正対象画像に対して、しわ部分領域あるいはしみ部分領域に対応する対応領域に画像補正を施す。画像補正により当該補正対象画像の対応領域に存在するしわあるいはしみを目立たないようにできる。しわまたはしみの補正は、たとえば対応領域の周辺画素の平均輝度で対応領域内の画素の輝度を置き換えることができる。
【００２２】
より自然に補正するためには、画素ごとの輝度変化の空間周波数を抽出して、当該空間周波数の高周波域をカットすると共に低周波域について画素間の輝度を補間しても良い。空間周波数の高周波域がたとえば黒子を反映する場合には当該高周波域を保存することもできる。なお、画像補正の方法として既存の任意の画像補正方法を適用できる。
【００２３】
ガンマ補正部１６４は、しわ部分領域特定用画像、しみ部分領域特定用画像および補正対象画像に所定のガンマカーブを適用して画素ごとの輝度データを変更する。ここでガンマ補正とは、補正前の画素ごとの輝度データを、その入力値に応じて出力値が決定されているガンマカーブに従って変換して補正後の値とする入出力変換操作をいう。入力値に応じた出力値を示す変換曲線としてガンマカーブが定義される。すなわち、ガンマ補正は、ある画素の輝度データを入力値としてガンマカーブに従い出力値を割り出す。そして当該出力値を補正後の輝度データとする操作を全画素について実施する。
【００２４】
ガンマ補正により画像入出力機器の非線形な入出力特性を線形化でき、ある画像について特に強調したい輝度領域のコントラストを高めることができるようになる。なお、輝度データがＲＧＢの各成分に分解されている場合は各ＲＧＢ成分の輝度データについてガンマ補正を施すことができる。
【００２５】
ガンマ補正部１６４で実施されるガンマ補正では、しわ部分領域特定用画像およびしみ部分領域特定用画像に適用するガンマカーブと補正対象画像とに適用するガンマカーブが相違する。そして、しわ部分領域特定用画像およびしみ部分領域特定用画像に適用するガンマカーブの肌の輝度範囲における傾きは、補正対象画像に適用するガンマカーブの肌の輝度範囲における傾きより大きい。しわ部分領域特定用画像およびしみ部分領域特定用画像に適用するガンマカーブの傾きを大きくすることにより、肌の輝度の範囲で輝度差が明瞭に現れるようになり、しわ部分領域およびしみ部分領域の特定が容易になる。
【００２６】
なお、肌の輝度範囲は、予め撮影したしわまたはしみ部分領域特定用画像から肌領域を特定して、当該肌領域内の各画素の最高輝度および最低輝度を上限および下限として決定できる。そして当該肌の輝度範囲内で傾きが最大になるようガンマカーブを定義できる。また、輝度データがＲＧＢの各成分に分解されているときには、各色成分のそれぞれについて肌の輝度範囲のガンマカーブ傾きを大きくできる。ブルー系統色に吸収帯のある可能性の高いしみの観測ではＢ成分輝度の変化としてしみが観測される可能性が高いから、特にＢ成分のガンマカーブ傾きを大きくしてガンマ補正を適用できる。
【００２７】
人物特定部１６５は、補正対象画像に含まれる人物を特定する。人物特定部１６５は、たとえば当該人物の顔画像から目、まゆ、鼻、口等の特徴点を抽出して顔パターンを計算する。そして、後に説明する格納部１８０の顔パターン格納部にアクセスして一致する顔パターンを検索する。一致する顔パターンが検索された場合にはその人物で特定する。
【００２８】
システム制御部１７０は、撮像装置１００の全体を制御する。システム制御部１７０は、制御ＣＰＵ１７２およびモード切替部１７４を備える。制御ＣＰＵ１７２はシステムの制御に要請される演算を実行する。モード切替部１７４は、美肌撮像モードと通常撮像モードとを切り替える。美肌撮像モードにおいては前記した照射光偏光板１１４および受光偏光板１２６の駆動制御、しわ部分領域特定用画像、しみ部分領域特定用画像および補正対象画像の取得および記録、しみ部分領域およびしわ部分領域ならびに対応領域の特定、ガンマ補正ならびに画像補正等の美肌モードに特有な各種制御を実行する。
【００２９】
格納部１８０は、撮像装置１００で利用する各種データを格納する。格納部１８０は、部分領域位置格納部１８２および顔パターン格納部１８４を備える。部分領域位置格納部１８２は、名前等人物識別情報に対応付けて当該人物のしわまたはしみ部分領域の位置を格納する。顔パターン格納部１８４は、名前等人物識別情報に対応付けて当該人物の顔パターンを格納する。前記の通り顔パターンは人物特定に利用される。
【００３０】
図２は、照射光偏光板１１４および受光偏光板１２６の回転および光路からの除外の組み合わせを示す。図２（ａ）は照射光偏光板１１４の偏光方向と同じ方向に受光偏光板１２６の偏光方向を設定した場合を示す。図２（ｂ）は照射光偏光板１１４の偏光方向と垂直な方向に受光偏光板１２６の偏光方向を設定した場合を示す。図２（ｃ）は照射光偏光板１１４および受光偏光板１２６を光路から取り除いた場合を示す。図２に示すような照射光偏光板１１４および受光偏光板１２６の回転および光路からの除外の組み合わせにより、被写体からの反射光のうち被写体表面で反射した光の成分と被写体内部に侵入して反射した光の成分とを分離できる。
【００３１】
すなわち被写体表面で反射する光の偏光方向は維持される一方被写体内部に侵入した光の偏光方向は変化するという反射光の性質を利用する。つまり、照射光偏光板１１４の偏光方向とほぼ同じ方向に受光偏光板１２６の偏光方向を設定すれば（図２（ａ）の場合）、受光素子１２４に入射する光は被写体の表面で反射した光が主になる。逆に、照射光偏光板１１４の偏光方向とほぼ垂直な方向に受光偏光板１２６の偏光方向を設定すれば（図２（ｂ）の場合）、受光素子１２４に入射する光は被写体の内部に侵入して反射した光が主になる。被写体表面で反射した光で撮像すれば、たとえば肌表面のしわが強調され、被写体の内部に侵入して反射した光で撮像すれば、たとえば肌内部のしみが強調される。
【００３２】
上記のような、肌表面のしわまたは肌内部のしみを強調して撮像した画像は画像の補正に利用できる。すなわち照射光偏光板１１４と受光偏光板１２６との偏光方向が一致した条件での撮像画像（肌表面を強調した画像）は、しわ部分領域特定用画像として利用できる。また照射光偏光板１１４と受光偏光板１２６との偏光方向が垂直な条件での撮像画像（肌内部を強調した画像）は、しみ部分領域特定用画像として利用できる。照射光偏光板１１４および受光偏光板１２６の何れか一方または両方を光路から取り除いた場合（図２（ｃ）の場合）には、被写体からの反射光と同じ任意の偏光方向を含んだ光が受光素子１２４に入射する。このような条件で撮像された画像は補正対象画像として利用できる。
【００３３】
図３は本実施形態の撮像方法例の前半部分を示す。なお、本実施形態の撮像方法は、画像補正方法の一例である。まず、処理を開始すると撮像モードを選択する（Ｓ２００）。美肌モードを選択した場合にはステップＳ２１０に進み、通常撮像モードが選択された場合にはステップＳ４３０に進む。通常撮像モードの場合は後に説明する。
【００３４】
美肌モード（Ｓ２１０）では、最初に人物情報を使用するかを判断する（Ｓ２２０）。人物情報を使用する場合には人物情報フラグＰＩＦｌａｇをＯＮ（ＰＩＦｌａｇをｔｒｕｅにセット）にして（Ｓ２３０）、ステップＳ２６０に進む。ステップＳ２２０で人物情報を使用しないと判断した場合にはしわ部分領域特定用画像を撮像する（Ｓ２４０）。その後、しみ部分領域特定用画像を撮像して（Ｓ２５０）、ステップＳ２６０に進む。
【００３５】
ステップＳ２６０では補正対象画像を撮像する（Ｓ２６０）。次に、撮像した、しわ部分領域特定用画像、しみ部分領域特定用画像および補正対象画像にガンマ補正を施す（Ｓ２７０）。なお、しわ部分領域特定用画像およびしみ部分領域特定用画像を撮像していない場合は撮像した補正対象画像にガンマ補正を施す。
【００３６】
図４は、本実施形態の撮像方法例の後半部分を示す。ステップＳ２７０でガンマ補正を施した後、ＰＩＦｌａｇがｔｒｕｅにセットされているかを判断する（Ｓ２８０）。ＰＩＦｌａｇがｔｒｕｅにセットされている、つまり人物情報を使用する場合には、人物識別情報として名前が入力されるかを判断する（Ｓ２９０）。名前が入力された場合には、当該名前から人物を特定して（Ｓ３００）、ステップＳ３３０に進む。
【００３７】
ステップＳ２９０で名前が入力されないときには、撮像した補正対象画像を分析して顔パターンを抽出する（Ｓ３１０）。抽出した顔パターンで顔パターン格納部１８４を検索して人物を特定する（Ｓ３２０）。なお、顔パターンの特定に失敗した場合には、その時点で処理を終了してもよく、またはステップＳ２４０に戻って処理を再開してもよい。ステップＳ３００またはステップＳ３２０で人物が特定されれば、当該人物に対応付けて部分領域位置格納部１８２に記録されているしわ部分領域位置およびしみ部分領域位置を取得する（Ｓ３３０）。
【００３８】
ステップＳ２８０でＰＩＦｌａｇがｔｒｕｅにセットされていない、つまり人物情報を使用しないと判断した場合には、しわ部分領域特定用画像からしわ部分領域を特定する（Ｓ３４０）。さらにしみ部分領域特定用画像からしみ部分領域を特定する（Ｓ３５０）。次に、人物情報を記録するかを判断する（Ｓ３６０）。人物情報を記録する場合は、補正対象画像から顔パターンを分析して（Ｓ３７０）、当該顔パターンに対応付ける名前を人物識別情報として登録する（Ｓ３８０）。なお、顔パターンの分析はしわ部分領域特定用画像またはしみ部分領域特定用画像を用いてもよい。
【００３９】
次に、ステップＳ３４０およびＳ３５０で特定したしわ部分領域およびしみ部分領域の位置とステップＳ３７０で分析した顔パターンとをステップＳ３８０で登録した名前に対応付けて各々部分領域位置格納部１８２および顔パターン格納部１８４に記録する（Ｓ３９０）。記録したしわ部分領域およびしみ部分領域の位置ならびに顔パターンは、後に人物情報を使用する場合に利用できる。
【００４０】
次に、ステップＳ３４０およびＳ３５０で特定したしわ部分領域およびしみ部分領域、もしくはステップＳ３３０で取得したしわ部分領域位置およびしみ部分領域位置から補正対象画像のしわ対応領域およびしみ対応領域を特定する（Ｓ４００）。特定したしわ対応領域およびしみ対応領域に対し補正処理を施して（Ｓ４１０）、補正後の画像を不揮発性メモリ等に記録する（Ｓ４２０）。その後処理を終了する。
【００４１】
ステップＳ２００で通常撮像モードを選択した場合、ステップＳ４３０以降の通常撮像モードに移行する（Ｓ４３０）。通常撮像モードでは、受光偏光板１２６をＯＦＦに（Ｓ４４０）、照射光偏光板１１４をＯＦＦにする（Ｓ４５０）。その後撮像する（Ｓ４６０）。撮像した画像を不揮発性メモリ等に記録して（Ｓ４７０）、処理を終了する。
【００４２】
図５は、しわ部分領域特定用画像の撮像の一例を示す。しわ部分領域特定用画像の撮像では、まず受光偏光板１２６をＯＮにして（Ｓ２４１）、照射光偏光板１１４をＯＮにする（Ｓ２４２）。ここでＯＮとは偏光板を光路上にセットすることをいう（以下同じ）。照射光偏光板１１４の偏光方向は受光偏光板１２６の偏光方向と同じにする。その後撮像して（Ｓ２４３）、撮像した画像をしわ部分領域特定用画像として記録する（Ｓ２４４）。
【００４３】
図６は、しみ部分領域特定用画像の撮像の一例を示す。しみ部分領域特定用画像の撮像では、受光偏光板１２６をＯＮにして（Ｓ２５１）、照射光偏光板１１４をＯＮにする（Ｓ２５２）。照射光偏光板１１４の偏光方向は受光偏光板１２６の偏光方向に対して垂直にする。その後撮像して（Ｓ２５３）、撮像した画像をしみ部分領域特定用画像として記録する（Ｓ２５４）。
【００４４】
図７は、補正対象画像の撮像の一例を示す。補正対象画像の撮像では、受光偏光板１２６をＯＦＦにして（Ｓ２６１）、照射光偏光板１１４をＯＦＦにする（Ｓ２６２）。ここでＯＦＦとは偏光板を光路上から除外することをいう。その後撮像して（Ｓ２６３）、撮像した画像を補正対象画像として記録する（Ｓ２６４）。
【００４５】
上記した撮像装置１００によれば、偏光板の組み合わせによって被写体表面を強調したしわ部分領域特定用画像、被写体内部を強調したしみ部分領域特定用画像を取得できる。しわ部分領域特定用画像およびしみ部分領域特定用画像によりしわ部分領域およびしみ部分領域を特定でき、補正対象画像の対応領域を特定してしわおよびしみを目立たないよう補正対象画像を補正できる。この結果、人物画像をより美しく見せることができる。
【００４６】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００４７】
たとえば、上記した実施形態では、一つの受光素子１２４で、しわ部分領域特定用画像、しみ部分領域特定用画像および補正対象画像を撮像する例を示した。しかし、しわ部分領域特定用画像、しみ部分領域特定用画像および補正対象画像の各々に専用の受光素子を備えるようにしてもよい。
【００４８】
図８は、撮像装置１００の変更例を示す。以下の説明において撮像装置１００と同じ符号を付した同様の部材については説明を省略する。撮像装置８００には、照射部８１０と撮像部８２０とを備える。照射部８１０に含まれる照射光偏光板８１４は光源１１２の光路上に配置された固定の偏光板であってよい。従って照射部８１０からは常に一定の偏光方向を持つ光が照射される。
【００４９】
撮像部８２０には受光素子１２４ａ、受光素子１２４ｂ、受光素子１２４ｃを備える。受光素子１２４ａは、その光路上に受光偏光板を有さないから、受光素子１２４ａで撮像される画像は補正対象画像になる。受光素子１２４ｂは、その光路上に照射部８１０の照射光偏光板８１４と同じ偏光方向の受光偏光板８２２を有するから、受光素子１２４ｂで撮像される画像はしわ部分領域特定用画像になる。受光素子１２４ｃは、その光路上に照射部８１０の照射光偏光板８１４の変更方向に垂直な偏光方向の受光偏光板８２４を有するから、受光素子１２４ｃで撮像される画像はしみ部分領域特定用画像になる。
【００５０】
撮像装置８００によれば、しわ部分領域特定用画像、しみ部分領域特定用画像および補正対象画像の各々に専用の受光素子を備えるので、偏光板を駆動しなくてもよい。その結果、撮像装置が簡略化できる。
【００５１】
また、上記実施形態では、受光偏光板１２６、受光偏光板８２２および受光偏光板８２４として、所定の偏光方向の光を透過する単一の透過領域を有する偏光板を例示した。しかし、偏光板には、第１偏光方向の光を透過する第１透過領域および第１偏光方向に略垂直な第２偏光方向の光を透過する第２透過領域を有することができ、当該偏光板に対応する受光素子には、第１透過領域を透過した光を受光する第１受光領域および第２透過領域を透過した光を受光する第２受光領域を有することができる。
【００５２】
図９は、撮像装置８００の変更例である撮像装置９００の一例を示す。以下の説明において撮像装置８００と同じ符号を付した同様の部材については説明を省略する。撮像装置９００の撮像部８２０には、受光素子９２４および受光偏光板９２６を有する。
【００５３】
図１０は、受光偏光板９２６の平面例を示す。受光偏光板９２６は、第１偏光方向の光を透過する第１透過領域９２６ａおよび第１偏光方向に略垂直な第２偏光方向の光を透過する第２透過領域９２６ｂを有する。第１透過領域９２６ａおよび第２透過領域９２６ｂは、一つの画素領域９２６ｅを形成する。画素領域９２６ｅは、二次元方向に複数個繰り返して形成され、撮像画像の一画素分に対応する。
【００５４】
画素領域９２６ｅは、第１透過領域９２６ａおよび第２透過領域９２６ｂごとに、色成分に対応した各色成分領域を含んでもよい。すなわち、第１透過領域９２６ａは、たとえばＲ（赤）、Ｇ（緑）およびＢ（青）の色成分ごとの色成分領域を含んでよく、同様に第２透過領域９２６ｂは、たとえばＲ（赤）、Ｇ（緑）およびＢ（青）の色成分ごとの色成分領域を含んでよい。
【００５５】
受光素子９２４は、第１透過領域９２６ａを透過した光を受光する第１受光領域および第２透過領域９２６ｂを透過した光を受光する第２受光領域を有する。受光素子９２４は、たとえばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサであってよく、第１受光領域および第２受光領域は、イメージセンサに配列されているフォトダイオードであってよい。第１透過領域９２６ａおよび第２透過領域９２６ｂに色成分領域を含む場合には、受光素子９２４の第１受光領域および第２受光領域も、当該色成分領域に対応する受光領域を含む。
【００５６】
本実施形態の撮像装置９００における受光素子９２４では、図３における、しわ部分領域特定用画像の撮像（ステップＳ２４０）、しみ部分領域特定用画像の撮像（ステップＳ２５０）および補正対象画像の撮像（ステップＳ２６０）が同時に為される。すなわち、受光素子９２４は、肌測定モードにおいて、第１透過領域９２６ａに対応する第１受光領域で受光した被写体からの光により、第１画像であってよいしわ部分領域特定用画像を撮像する。また受光素子９２４は、肌測定モードにおいて、第２透過領域９２６ｂに対応する第２受光領域で受光した被写体からの光により、第１画像であってよいしみ部分領域特定用画像を撮像する。さらに受光素子９２４は、補正撮像モードにおいて、第１透過領域９２６ａに対応する第１受光領域および第２透過領域９２６ｂに対応する第２受光領域で受光した被写体からの光による信号を合成して、第２画像であってよい補正対象画像を撮像する。
【００５７】
撮像装置９００によれば、しわ部分領域特定用画像、しみ部分領域特定用画像および補正対象画像を単一の受光偏光板９２６および受光素子９２４により、同時に撮像できるので、部品点数を削減でき、照射光偏光板８１４を駆動しなくてもよい。その結果、撮像装置９００がさらに簡略化できる。なお、受光偏光板９２６は、第１偏光方向の光および第２偏光方向の光を含む光を透過する第３透過領域をさらに有する受光偏光板に代えてもよい。
【００５８】
図１１は、受光偏光板９２８の平面例を示す。受光偏光板９２８は、第１偏光方向の光を透過する第１透過領域９２８ａ、第１偏光方向に略垂直な第２偏光方向の光を透過する第２透過領域９２８ｂおよび第１偏光方向と第２偏光方向との両方方向の光を透過する第３透過領域９２８ｃを有する。第１透過領域９２８ａ、第２透過領域９２８ｂおよび第３透過領域９２８ｃは、一つの画素領域９２８ｅを形成する。画素領域９２８ｅは、二次元方向に複数個繰り返して形成され、撮像画像の一画素分に対応する。画素領域９２８ｅが色成分領域を含んでよいことは受光偏光板９２６の場合と同様であってよい。
【００５９】
上記の場合受光素子９２４に、第３透過領域９２８ｃを透過した光を受光する第３受光領域をさらに有してよい。受光素子９２４は、補正撮像モードにおいて、第３透過領域９２８ｃに対応する第３受光領域で受光した光により、第２画像であってよい補正対象画像を撮像できる。
【００６０】
また、上記した撮像装置は、治療対象の施術領域を含む治療前後の画像から、施術領域における治療前後の画像の輝度変化量または色度変化量を算出する変化量算出部を備えてよく、変化量算出部が算出した輝度変化量または色度変化量を、成功事例または失敗事例の指標に関連付けて格納する事例格納部を備えてよい。図９には、撮像装置９００に変化量算出部９９０および事例格納部９８６を備える例を示している。
【００６１】
変化量算出部９９０は、治療対象の施術領域を含む治療前後の画像から、施術領域における治療前後の画像の輝度変化量または色度変化量を算出する。事例格納部９８６は、変化量算出部９９０が算出した輝度変化量または色度変化量を、成功事例または失敗事例の指標に関連付けて格納する。そして、画像補正部１６３は、第２画像の一例である補正対象画像を成功事例の予測画像として補正する場合には、成功事例の指標に関連付けて事例格納部９８６に格納されている輝度変化量または色度変化量だけ対応領域の輝度または色度が変化するよう補正対象画像に画像処理を施す。画像補正部１６３は、補正対象画像を失敗事例の予測画像として補正する場合には、失敗事例の指標に関連付けて事例格納部９８６に格納されている輝度変化量または色度変化量だけ対応領域の輝度または色度が変化するよう補正対象画像に画像処理を施す。表示部１４０は、画像補正部１６３が補正した補正対象画像（第２画像）を、成功事例または失敗事例の何れかの事例の予測画像として表示する。
【００６２】
変化量算出部９９０および事例格納部９８６を備える撮像装置９００によれば、肌治療の前に、治療が成功した場合、あるいは治療が失敗した場合の肌の状況を予測画像で確認できる。なお、変化量算出部９９０および事例格納部９８６を備える撮像装置９００は、それを肌の診断に適用すれば、肌診断方法として把握することも可能になる。肌診断方法においては、肌治療の前後における、対応領域の画像の輝度変化量または色度変化量を変化量算出部９９０により算出する段階と、算出した輝度変化量または色度変化量を、成功事例または失敗事例の指標に関連付けて事例格納部９８６に格納する段階と、をさらに備えることもできる。
【００６３】
また、上記実施形態では、本願の画像補正装置の一例として撮像装置の例を説明した。しかし、本願の画像補正装置、特に撮像装置１００における画像処理部１６０、システム制御部１７０および格納部１８０はパーソナルコンピュータまたはネットワーク接続されたサーバ等の電子情報処理装置によって構成することもできる。
【００６４】
図１２は、本願の画像補正装置をパーソナルコンピュータ等の電子情報処理装置１５００で構成した場合のハードウェア構成の一例を示す。画像補正装置は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有する。
【００６５】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００６６】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。
【００６７】
入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、画像補正装置が起動時に実行するブート・プログラム、あるいは画像補正装置のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【００６８】
ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。ＣＰＵ１５０５により実行されるプログラムは、図１から１１に関連して説明した、画像処理部１６０、システム制御部１７０および格納部１８０として機能させる。
【００６９】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして画像補正装置を提供してもよい。
【産業上の利用可能性】
【００７０】
本願発明は、撮像装置および撮像装置で利用可能な画像補正技術に関する。よって、本願発明は、撮像装置産業および画像補正技術を利用する産業において利用できる。
【図面の簡単な説明】
【００７１】
【図１】本実施形態に係る撮像装置１００の一例を示す。
【図２】照射光偏光板１１４および受光偏光板１２６の回転および光路からの除外の組み合わせを示す。
【図３】本実施形態の撮像方法の一例を示す。
【図４】本実施形態の撮像方法の一例を示す。
【図５】しわ部分領域特定用画像の撮像の一例を示す。
【図６】しみ部分領域特定用画像の撮像の一例を示す。
【図７】補正対象画像の撮像の一例を示す。
【図８】撮像装置１００の変更例を示す。
【図９】撮像装置８００の変更例である撮像装置９００の一例を示す。
【図１０】受光偏光板９２６の平面例を示す。
【図１１】受光偏光板９２８の平面例を示す。
【図１２】本願の画像補正装置をパーソナルコンピュータ等の電子情報処理装置で構成した場合のハードウェア構成の一例を示す。
【符号の説明】
【００７２】
１００ 撮像装置
１１０ 照射部
１１２ 光源
１１４ 照射光偏光板
１２０ 撮像部
１２２ 撮像信号処理部
１２４ 受光素子
１２４ａ 受光素子
１２４ｂ 受光素子
１２４ｃ 受光素子
１２６ 受光偏光板
１３０ 偏光板駆動制御部
１３２ 照射光偏光板駆動部
１３４ 受光偏光板駆動部
１４０ 表示部
１５０ 操作部
１５２ モード設定部
１６０ 画像処理部
１６１ 部分領域特定部
１６２ 対応領域特定部
１６３ 画像補正部
１６４ ガンマ補正部
１６５ 人物特定部
１７０ システム制御部
１７２ 制御ＣＰＵ
１７４ モード切替部
１８０ 格納部
１８２ 部分領域位置格納部
１８４ 顔パターン格納部
８００ 撮像装置
８１０ 照射部
８１４ 照射光偏光板
８２０ 撮像部
８２２ 受光偏光板
８２４ 受光偏光板
９００ 撮像装置
９２４ 受光素子
９２６ 受光偏光板
９２６ａ 第１透過領域
９２６ｂ 第２透過領域
９２６ｅ 画素領域
９２８ 受光偏光板
９２８ａ 第１透過領域
９２８ｂ 第２透過領域
９２８ｃ 第３透過領域
９２８ｅ 画素領域
９８６ 事例格納部
９９０ 変化量算出部
１５００ 電子情報処理装置
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示装置
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ
１５９８ ネットワーク通信装置
【特許請求の範囲】
【請求項１】
第１撮像条件で撮像された第１画像において、予め定められた条件を満たす肌の部分領域を特定する部分領域特定部と、
前記第１撮像条件と異なる第２撮像条件で撮像された第２画像において、前記部分領域に対応する対応領域を特定する対応領域特定部と、
前記第２画像の前記対応領域に予め定められた画像処理を施すことによって、前記第２画像を補正する画像補正部と、
を備える画像補正装置。
【請求項２】
前記第１画像および前記第２画像を撮像する撮像部と、
前記第１撮像条件で前記撮像部に前記第１画像を撮像させる肌測定モードと、前記第２撮像条件で前記撮像部に前記第２画像を撮像させる補正撮像モードとを切り換えるモード設定部と、
をさらに備える請求項１に記載の画像補正装置。
【請求項３】
前記撮像部は、
第１偏光方向の光を透過する偏光板と、
前記肌測定モードにおいて前記偏光板を介して被写体からの光を受光して前記第１画像を撮像し、前記補正撮像モードでは前記偏光板を介さずに被写体からの光を受光して前記第２画像を撮像する受光素子と、
を有する請求項２に記載の画像補正装置。
【請求項４】
前記第１偏光方向の光を被写体に照射する照射部をさらに備え、
前記部分領域特定部は、前記第１画像において、肌の表面が予め定められた条件を満たす肌の前記部分領域を特定する請求項３に記載の画像補正装置。
【請求項５】
前記受光素子は、前記偏光板を介して前記第１偏光方向に略平行な偏光を有する光を受光して前記第１画像を撮像し、
前記部分領域特定部は、前記第１画像において、しわが存在する前記部分領域を特定し、
前記画像補正部は、前記第２画像の前記対応領域に対して、しわを補正する画像処理を施す請求項４に記載の画像補正装置。
【請求項６】
前記第１偏光方向と略垂直方向の第２偏光方向の光を被写体に照射する照射部をさらに備え、
前記部分領域特定部は、前記第１画像において、肌の内部が予め定められた条件を満たす肌の部分領域を特定する請求項３に記載の画像補正装置。
【請求項７】
前記受光素子は、前記偏光板を介して前記第１偏光方向に略垂直な偏光を有する光を受光して前記第１画像を撮像し、
前記部分領域特定部は、前記第１画像において、しみが存在する前記部分領域を特定し、
前記画像補正部は、前記第２画像の前記対応領域に対して、しみを補正する画像処理を施す請求項６に記載の画像補正装置。
【請求項８】
第１ガンマカーブを用いて、前記撮像部が撮像した前記第１画像をガンマ補正し、前記第１ガンマカーブと異なる第２ガンマカーブを用いて、前記撮像部が撮像した前記第２画像をガンマ補正するガンマ補正部をさらに備え、
前記部分領域特定部は、前記第１ガンマカーブを用いてガンマ補正された前記第１画像を解析して、前記第１画像における前記部分領域を特定する請求項２に記載の画像補正装置。
【請求項９】
前記撮像部が撮像した前記第１画像における肌の輝度の範囲において、前記第１ガンマカーブの傾きは、前記第２ガンマカーブの傾きより大きい請求項８に記載の画像補正装置。
【請求項１０】
人物を識別する人物識別情報に対応づけて、人物の前記部分領域の位置を格納する部分領域位置格納部と、
前記第２画像に含まれる人物を特定する人物特定部と、
をさらに備え、
前記対応領域特定部は、前記人物特定部が特定した人物を識別する人物識別情報に対応づけて前記部分領域位置格納部が格納している前記部分領域の位置に基づいて、前記第２画像において、前記部分領域に対応する前記対応領域を特定する請求項１に記載の画像補正装置。
【請求項１１】
前記撮像部は、
第１偏光方向の光を透過する第１透過領域および前記第１偏光方向に略垂直な第２偏光方向の光を透過する第２透過領域を有する偏光板と、
前記第１透過領域を透過した光を受光する第１受光領域および前記第２透過領域を透過した光を受光する第２受光領域を有する受光素子と、
を有し、
前記受光素子は、前記肌測定モードにおいて、前記第１受光領域または前記第２受光領域で受光した被写体からの光により前記第１画像を撮像する、
請求項２に記載の画像補正装置。
【請求項１２】
前記受光素子は、前記補正撮像モードにおいて、前記第１受光領域で受光した光による信号および前記第２受光領域で受光した光による信号を合成して前記第２画像を撮像する、
請求項１１に記載の画像補正装置。
【請求項１３】
前記偏光板は、前記第１偏光方向の光および前記第２偏光方向の光を含む光を透過する第３透過領域をさらに有し、
前記受光素子は、前記第３透過領域を透過した光を受光する第３受光領域をさらに有し、前記補正撮像モードにおいて、前記第３受光領域で受光した光により前記第２画像を撮像する、
請求項１１に記載の画像補正装置。
【請求項１４】
治療対象の施術領域を含む治療前後の画像から、前記施術領域における治療前後の前記画像の輝度変化量または色度変化量を算出する変化量算出部と、
前記変化量算出部が算出した前記輝度変化量または前記色度変化量を、成功事例または失敗事例の指標に関連付けて格納する事例格納部と、
前記画像補正部が補正した前記第２画像を、前記成功事例または前記失敗事例の何れかの事例の予測画像として表示する表示部と、
をさらに備え、
前記画像補正部は、
前記第２画像を前記成功事例の前記予測画像として補正する場合には、前記成功事例の指標に関連付けて前記事例格納部に格納されている前記輝度変化量または前記色度変化量だけ前記対応領域の輝度または色度が変化するよう前記第２画像に画像処理を施し、
前記第２画像を前記失敗事例の前記予測画像として補正する場合には、前記失敗事例の指標に関連付けて前記事例格納部に格納されている前記輝度変化量または前記色度変化量だけ前記対応領域の輝度または色度が変化するよう前記第２画像に画像処理を施す、
請求項１に記載の画像補正装置。
【請求項１５】
第１撮像条件で撮像された第１画像において、予め定められた条件を満たす肌の部分領域を特定する部分領域特定段階と、
前記第１撮像条件と異なる第２撮像条件で撮像された第２画像において、前記部分領域に対応する対応領域を特定する対応領域特定段階と、
前記第２画像の前記対応領域に予め定められた画像処理を施すことによって、前記第２画像を補正する画像補正段階と、
を備える画像補正方法。
【請求項１６】
第１撮像条件で第１画像を撮像する段階と、
前記第１画像において、予め定められた条件を満たす肌の部分領域を特定する部分領域特定段階と、
前記第１撮像条件と異なる第２撮像条件で第２画像を撮像する段階と、
前記第２画像において、前記部分領域に対応する対応領域を特定する対応領域特定段階と、
治療対象の施術領域を含む治療前後の画像から算出した、前記施術領域における治療前後の前記画像の輝度変化量または色度変化量を、成功事例または失敗事例の指標に関連付けて前記輝度変化量または前記色度変化量を格納した事例格納部から読み出す段階と、
前記第２画像を前記成功事例の予測画像として補正する場合には、前記成功事例の指標に関連付けて前記事例格納部に格納されている前記輝度変化量または前記色度変化量だけ前記対応領域の輝度または色度が変化するよう前記第２画像に画像処理を施し、前記第２画像を前記失敗事例の予測画像として補正する場合には、前記失敗事例の指標に関連付けて前記事例格納部に格納されている前記輝度変化量または前記色度変化量だけ前記対応領域の輝度または色度が変化するよう前記第２画像に画像処理を施す画像補正段階と、
前記画像補正段階で補正した前記第２画像を、前記成功事例または前記失敗事例の何れかの事例の予測画像として表示する表示段階と、
を備えた肌診断方法。
【請求項１７】
肌治療の前後における、前記対応領域の画像の輝度変化量または色度変化量を算出する段階と、
算出した前記輝度変化量または前記色度変化量を、成功事例または失敗事例の指標に関連付けて前記事例格納部に格納する段階と、
をさらに備えた請求項１６に記載の肌診断方法。
【請求項１８】
画像を補正する画像補正装置用のプログラムであって、画像処理装置を、
第１撮像条件で撮像された第１画像において、予め定められた条件を満たす肌の部分領域を特定する部分領域特定部、
前記第１撮像条件と異なる第２撮像条件で撮像された第２画像において、前記部分領域に対応する対応領域を特定する対応領域特定部、および、
前記第２画像の前記対応領域に予め定められた画像処理を施すことによって、前記第２画像を補正する画像補正部、
として機能させるプログラム。
【請求項１】
第１撮像条件で撮像された第１画像において、予め定められた条件を満たす肌の部分領域を特定する部分領域特定部と、
前記第１撮像条件と異なる第２撮像条件で撮像された第２画像において、前記部分領域に対応する対応領域を特定する対応領域特定部と、
前記第２画像の前記対応領域に予め定められた画像処理を施すことによって、前記第２画像を補正する画像補正部と、
を備える画像補正装置。
【請求項２】
前記第１画像および前記第２画像を撮像する撮像部と、
前記第１撮像条件で前記撮像部に前記第１画像を撮像させる肌測定モードと、前記第２撮像条件で前記撮像部に前記第２画像を撮像させる補正撮像モードとを切り換えるモード設定部と、
をさらに備える請求項１に記載の画像補正装置。
【請求項３】
前記撮像部は、
第１偏光方向の光を透過する偏光板と、
前記肌測定モードにおいて前記偏光板を介して被写体からの光を受光して前記第１画像を撮像し、前記補正撮像モードでは前記偏光板を介さずに被写体からの光を受光して前記第２画像を撮像する受光素子と、
を有する請求項２に記載の画像補正装置。
【請求項４】
前記第１偏光方向の光を被写体に照射する照射部をさらに備え、
前記部分領域特定部は、前記第１画像において、肌の表面が予め定められた条件を満たす肌の前記部分領域を特定する請求項３に記載の画像補正装置。
【請求項５】
前記受光素子は、前記偏光板を介して前記第１偏光方向に略平行な偏光を有する光を受光して前記第１画像を撮像し、
前記部分領域特定部は、前記第１画像において、しわが存在する前記部分領域を特定し、
前記画像補正部は、前記第２画像の前記対応領域に対して、しわを補正する画像処理を施す請求項４に記載の画像補正装置。
【請求項６】
前記第１偏光方向と略垂直方向の第２偏光方向の光を被写体に照射する照射部をさらに備え、
前記部分領域特定部は、前記第１画像において、肌の内部が予め定められた条件を満たす肌の部分領域を特定する請求項３に記載の画像補正装置。
【請求項７】
前記受光素子は、前記偏光板を介して前記第１偏光方向に略垂直な偏光を有する光を受光して前記第１画像を撮像し、
前記部分領域特定部は、前記第１画像において、しみが存在する前記部分領域を特定し、
前記画像補正部は、前記第２画像の前記対応領域に対して、しみを補正する画像処理を施す請求項６に記載の画像補正装置。
【請求項８】
第１ガンマカーブを用いて、前記撮像部が撮像した前記第１画像をガンマ補正し、前記第１ガンマカーブと異なる第２ガンマカーブを用いて、前記撮像部が撮像した前記第２画像をガンマ補正するガンマ補正部をさらに備え、
前記部分領域特定部は、前記第１ガンマカーブを用いてガンマ補正された前記第１画像を解析して、前記第１画像における前記部分領域を特定する請求項２に記載の画像補正装置。
【請求項９】
前記撮像部が撮像した前記第１画像における肌の輝度の範囲において、前記第１ガンマカーブの傾きは、前記第２ガンマカーブの傾きより大きい請求項８に記載の画像補正装置。
【請求項１０】
人物を識別する人物識別情報に対応づけて、人物の前記部分領域の位置を格納する部分領域位置格納部と、
前記第２画像に含まれる人物を特定する人物特定部と、
をさらに備え、
前記対応領域特定部は、前記人物特定部が特定した人物を識別する人物識別情報に対応づけて前記部分領域位置格納部が格納している前記部分領域の位置に基づいて、前記第２画像において、前記部分領域に対応する前記対応領域を特定する請求項１に記載の画像補正装置。
【請求項１１】
前記撮像部は、
第１偏光方向の光を透過する第１透過領域および前記第１偏光方向に略垂直な第２偏光方向の光を透過する第２透過領域を有する偏光板と、
前記第１透過領域を透過した光を受光する第１受光領域および前記第２透過領域を透過した光を受光する第２受光領域を有する受光素子と、
を有し、
前記受光素子は、前記肌測定モードにおいて、前記第１受光領域または前記第２受光領域で受光した被写体からの光により前記第１画像を撮像する、
請求項２に記載の画像補正装置。
【請求項１２】
前記受光素子は、前記補正撮像モードにおいて、前記第１受光領域で受光した光による信号および前記第２受光領域で受光した光による信号を合成して前記第２画像を撮像する、
請求項１１に記載の画像補正装置。
【請求項１３】
前記偏光板は、前記第１偏光方向の光および前記第２偏光方向の光を含む光を透過する第３透過領域をさらに有し、
前記受光素子は、前記第３透過領域を透過した光を受光する第３受光領域をさらに有し、前記補正撮像モードにおいて、前記第３受光領域で受光した光により前記第２画像を撮像する、
請求項１１に記載の画像補正装置。
【請求項１４】
治療対象の施術領域を含む治療前後の画像から、前記施術領域における治療前後の前記画像の輝度変化量または色度変化量を算出する変化量算出部と、
前記変化量算出部が算出した前記輝度変化量または前記色度変化量を、成功事例または失敗事例の指標に関連付けて格納する事例格納部と、
前記画像補正部が補正した前記第２画像を、前記成功事例または前記失敗事例の何れかの事例の予測画像として表示する表示部と、
をさらに備え、
前記画像補正部は、
前記第２画像を前記成功事例の前記予測画像として補正する場合には、前記成功事例の指標に関連付けて前記事例格納部に格納されている前記輝度変化量または前記色度変化量だけ前記対応領域の輝度または色度が変化するよう前記第２画像に画像処理を施し、
前記第２画像を前記失敗事例の前記予測画像として補正する場合には、前記失敗事例の指標に関連付けて前記事例格納部に格納されている前記輝度変化量または前記色度変化量だけ前記対応領域の輝度または色度が変化するよう前記第２画像に画像処理を施す、
請求項１に記載の画像補正装置。
【請求項１５】
第１撮像条件で撮像された第１画像において、予め定められた条件を満たす肌の部分領域を特定する部分領域特定段階と、
前記第１撮像条件と異なる第２撮像条件で撮像された第２画像において、前記部分領域に対応する対応領域を特定する対応領域特定段階と、
前記第２画像の前記対応領域に予め定められた画像処理を施すことによって、前記第２画像を補正する画像補正段階と、
を備える画像補正方法。
【請求項１６】
第１撮像条件で第１画像を撮像する段階と、
前記第１画像において、予め定められた条件を満たす肌の部分領域を特定する部分領域特定段階と、
前記第１撮像条件と異なる第２撮像条件で第２画像を撮像する段階と、
前記第２画像において、前記部分領域に対応する対応領域を特定する対応領域特定段階と、
治療対象の施術領域を含む治療前後の画像から算出した、前記施術領域における治療前後の前記画像の輝度変化量または色度変化量を、成功事例または失敗事例の指標に関連付けて前記輝度変化量または前記色度変化量を格納した事例格納部から読み出す段階と、
前記第２画像を前記成功事例の予測画像として補正する場合には、前記成功事例の指標に関連付けて前記事例格納部に格納されている前記輝度変化量または前記色度変化量だけ前記対応領域の輝度または色度が変化するよう前記第２画像に画像処理を施し、前記第２画像を前記失敗事例の予測画像として補正する場合には、前記失敗事例の指標に関連付けて前記事例格納部に格納されている前記輝度変化量または前記色度変化量だけ前記対応領域の輝度または色度が変化するよう前記第２画像に画像処理を施す画像補正段階と、
前記画像補正段階で補正した前記第２画像を、前記成功事例または前記失敗事例の何れかの事例の予測画像として表示する表示段階と、
を備えた肌診断方法。
【請求項１７】
肌治療の前後における、前記対応領域の画像の輝度変化量または色度変化量を算出する段階と、
算出した前記輝度変化量または前記色度変化量を、成功事例または失敗事例の指標に関連付けて前記事例格納部に格納する段階と、
をさらに備えた請求項１６に記載の肌診断方法。
【請求項１８】
画像を補正する画像補正装置用のプログラムであって、画像処理装置を、
第１撮像条件で撮像された第１画像において、予め定められた条件を満たす肌の部分領域を特定する部分領域特定部、
前記第１撮像条件と異なる第２撮像条件で撮像された第２画像において、前記部分領域に対応する対応領域を特定する対応領域特定部、および、
前記第２画像の前記対応領域に予め定められた画像処理を施すことによって、前記第２画像を補正する画像補正部、
として機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００８−２７８４６８（Ｐ２００８−２７８４６８Ａ）
【公開日】平成２０年１１月１３日（２００８．１１．１３）
【国際特許分類】
【出願番号】特願２００８−５４９４７（Ｐ２００８−５４９４７）
【出願日】平成２０年３月５日（２００８．３．５）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２０年１１月１３日（２００８．１１．１３）
【国際特許分類】
【出願日】平成２０年３月５日（２００８．３．５）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]