画像処理方法、画像処理装置及び画像処理プログラム
【課題】撮影環境に関わらず、撮影画像の天地判定の精度を向上させる。
【解決手段】画像処理装置１は、撮影画像データから、撮影時の配光条件（順光、逆光、ストロボ）を判別し（ステップＳ２）、その判別された配光条件から、画像領域の抽出条件を決定する（ステップＳ３）。そして、決定された抽出条件に従って、撮影画像データから空領域、顔領域（人物が含まれている場合）を抽出し（ステップＳ４）、その抽出された画像領域に基づいて撮影画像データの天地を判定する（ステップＳ５）。
【解決手段】画像処理装置１は、撮影画像データから、撮影時の配光条件（順光、逆光、ストロボ）を判別し（ステップＳ２）、その判別された配光条件から、画像領域の抽出条件を決定する（ステップＳ３）。そして、決定された抽出条件に従って、撮影画像データから空領域、顔領域（人物が含まれている場合）を抽出し（ステップＳ４）、その抽出された画像領域に基づいて撮影画像データの天地を判定する（ステップＳ５）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像データに対して画像処理を施す画像処理方法、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラ（玩具用、携帯電話やラップトップパソコン等の機器に組み込まれたもの、一般ユーザ用の汎用用途、高機能なプロ用途のカメラを含む。以下、ＤＳＣと略称する。）が広く普及し、カラー写真フィルムと同様に、ハードコピー画像として出力されたり、ＣＲＴ（Cathode Ray Tube）等の出力媒体に表示されたりして鑑賞されている。
【０００３】
また、カラー写真フィルム上に形成された画像をＣＣＤ（Charge Coupled Device）センサ等で光電的に読みとって画像信号に変換する技術が広く用いられている。このような画像信号は、ネガポジ反転、輝度調整、カラーバランス調整、粒状除去、鮮鋭性強調に代表される種々の画像処理を施された後に、ＣＤ−Ｒ（CD-Recordable）、ＣＤ−ＲＷ（CD-ReWritable）、フロッピー（登録商標）ディスク、メモリーカード等の記録媒体に記録されたり、インターネット経由で配布され、銀塩印画紙、インクジェットプリンタ、サーマルプリンタ等でハードコピーとして出力されたり、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の出力媒体に表示されたりして鑑賞される。
【０００４】
画像鑑賞時若しくは画像処理時に、撮影シーンの上下が正しく表示されない（天地が逆である）ことは、鑑賞時の高揚感が損なわれたり、画像処理の処理効率が低下したりするため（回転処理の一手間が入るため）好ましくない。このような背景を受けて、撮影画像の天地を自動的に判定する技術が多々開示されている。例えば、特許文献１には、ＡＰＳ（Advanced Photo System）フィルムの磁気情報、デジタル画像データのＥｘｉｆ（Exchangeable Image File Format）等のタグ情報に記録されている天地情報を画像表示時や画像処理時に参照し、タグ情報の天地情報と、実際に表示されている天地が逆であれば、回転処理を適用する技術が開示されている。
【０００５】
また、特許文献２には、撮影画像の撮影シーンを解析して天地を自動的に判定する技術が開示されている。この特許文献２では、天頂から水平線にかけて空の色味が濃い色から白に向けてグラデーションを有する特性を利用したものであり、まず、撮影画像から空領域を抽出し、その抽出された領域の色勾配を基に天地方向を決定している。
【特許文献１】特開平１０−１７１０３５号公報
【特許文献２】特開２００１−１９５５９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された技術は、必ずしも、タグ情報に天地情報が記録されているものではなく不完全なものであり、また、記録されている情報も、実際の撮影シーンの天地と適合していないこともあり、天地判定の精度が十分であるとは言えなかった。また、実際の撮影シーンでは、空の色は様々であり、また、ダイナミックレンジの低いデジタルカメラで撮影された画像では、特に撮影条件によって、空領域や単色の背景領域の勾配が低くなることも多々あるため（例えば、逆光状態では、背景が白くとんでしまう。）、特許文献２の技術を適用しても、天地判定の精度が十分であるとは言えなかった。
【０００７】
本発明の課題は、撮影環境に関わらず、撮影画像の天地判定の精度を向上させることである。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、請求項１に記載の発明は、撮影画像データから、撮影時の配光条件を判別する判別工程と、前記判別された配光条件から、所定の画像領域の抽出条件を決定する決定工程と、前記決定された抽出条件に従って、前記撮影画像データから少なくとも１つの画像領域を抽出する抽出工程と、前記抽出された画像領域に基づいて前記撮影画像データの天地を判定する判定工程と、を含むことを特徴としている。
【０００９】
請求項２に記載の発明は、撮影画像データから、撮影時の配光条件を判別する判別工程と、前記判別された配光条件から、所定の画像領域の抽出条件を決定する決定工程と、前記決定された抽出条件に従って、前記撮影画像データから少なくとも１つの画像領域を抽出する抽出工程と、前記抽出された画像領域から所定の特徴量を算出する算出工程と、前記算出された特徴量及び前記判別された配光条件に基づいて算出された特徴量を入力信号として、ニューラルネットワークを用いて前記撮影画像データの天地を判定する判定工程と、を含むことを特徴としている。
【００１０】
ここで、「所定の特徴量」には、抽出された画像領域の撮影画像データ中における位置と、抽出された画像領域の確度（例えば、空である確度）の二種類がある。位置の例としては、重心位置、色値の勾配の方向等があり、確度の例としては、色に関する統計値や勾配値、形状、コントラスト、テクスチャの一様性等がある。本発明では、所定の特徴量として、位置を表す特徴量が含まれることが好ましい。更に、位置とともに確度を表す特徴量が含まれることがより好ましい。
【００１１】
請求項３に記載の発明は、請求項１又は２に記載の画像処理方法において、前記撮影時の配光条件には、逆光状態及び／又はフラッシュ光利用状態が含まれることを特徴としている。
【００１２】
請求項４に記載の発明は、請求項１〜３の何れか一項に記載の画像処理方法において、前記抽出工程において抽出される画像領域には、少なくとも主要被写体の背景領域が含まれることを特徴としている。
【００１３】
本発明における「背景領域」としては、天地の位置的関係がある確度をもって不変である被写体が撮影されている画像領域であることが好ましい。具体的には、一定の色相において構成され、且つ、テクスチャや強いエッジがなく平坦な、或いはなだらかな勾配を有する被写体（例えば、空や雲など）であることが好ましい。また、一定の周期的なテクスチャで構成される被写体（例えば、芝生や地面、木の葉が密集している部分）を追加することも好ましい。
【００１４】
請求項５に記載の発明は、請求項４に記載の画像処理方法において、前記抽出工程において抽出される画像領域には、少なくとも人物の顔領域が含まれることを特徴としている。
【００１５】
請求項６に記載の発明は、撮影画像データから、撮影時の配光条件を判別する判別手段と、前記判別された配光条件から、所定の画像領域の抽出条件を決定する決定手段と、前記決定された抽出条件に従って、前記撮影画像データから少なくとも１つの画像領域を抽出する抽出手段と、前記抽出された画像領域に基づいて前記撮影画像データの天地を判定する判定手段と、を備えることを特徴としている。
【００１６】
請求項７に記載の発明は、撮影画像データから、撮影時の配光条件を判別する判別手段と、前記判別された配光条件から、所定の画像領域の抽出条件を決定する決定手段と、前記決定された抽出条件に従って、前記撮影画像データから少なくとも１つの画像領域を抽出する抽出手段と、前記抽出された画像領域から所定の特徴量を算出する算出手段と、前記算出された特徴量及び前記判別された配光条件に基づいて算出された特徴量を入力信号として、ニューラルネットワークを用いて前記撮影画像データの天地を判定する判定手段と、を備えることを特徴としている。
【００１７】
請求項８に記載の発明は、請求項６又は７に記載の画像処理装置において、前記撮影時の配光条件には、逆光状態及び／又はフラッシュ光利用状態が含まれることを特徴としている。
【００１８】
請求項９に記載の発明は、請求項６〜８の何れか一項に記載の画像処理装置において、前記抽出手段は、前記撮影画像データから、少なくとも主要被写体の背景領域を抽出することを特徴としている。
【００１９】
請求項１０に記載の発明は、請求項９に記載の画像処理装置において、前記抽出手段は、前記撮影画像データから、少なくとも人物の顔領域を抽出することを特徴としている。
【００２０】
請求項１１に記載の発明は、画像処理を実行するコンピュータに、撮影画像データから、撮影時の配光条件を判別する判別機能と、前記判別された配光条件から、所定の画像領域の抽出条件を決定する決定機能と、前記決定された抽出条件に従って、前記撮影画像データから少なくとも１つの画像領域を抽出する抽出機能と、前記抽出された画像領域に基づいて前記撮影画像データの天地を判定する判定機能と、を実現させる。
【００２１】
請求項１２に記載の発明は、画像処理を実行するコンピュータに、撮影画像データから、撮影時の配光条件を判別する判別機能と、前記判別された配光条件から、所定の画像領域の抽出条件を決定する決定機能と、前記決定された抽出条件に従って、前記撮影画像データから少なくとも１つの画像領域を抽出する抽出機能と、前記抽出された画像領域から所定の特徴量を算出する算出機能と、前記算出された特徴量及び前記判別された配光条件に基づいて算出された特徴量を入力信号として、ニューラルネットワークを用いて前記撮影画像データの天地を判定する判定機能と、を実現させる。
【００２２】
請求項１３に記載の発明は、請求項１１又は１２に記載の画像処理プログラムにおいて、前記撮影時の配光条件には、逆光状態及び／又はフラッシュ光利用状態が含まれることを特徴としている。
【００２３】
請求項１４に記載の発明は、請求項１１〜１３の何れか一項に記載の画像処理プログラムにおいて、前記抽出機能を実現させる際に、前記撮影画像データから、少なくとも主要被写体の背景領域を抽出させることを特徴としている。
【００２４】
請求項１５に記載の発明は、請求項１４に記載の画像処理プログラムにおいて、前記抽出機能を実現させる際に、前記撮影画像データから、少なくとも人物の顔領域を抽出させることを特徴としている。
【発明の効果】
【００２５】
本発明によれば、撮影画像データから、配光条件に応じて決定された画像領域を抽出して、抽出された画像領域に基づいて天地判定を行うことにより、どのような撮影環境であっても天地判定の判定精度を向上させることができる。
【００２６】
また、撮影画像データから、配光条件に応じて決定された画像領域を抽出して、抽出された画像領域の特徴量と、配光条件の特徴量を入力信号としたニューラルネットワークを用いて天地を判定することにより、どのような撮影環境であっても天地判定の判定精度を向上させることができるとともに、ユーザの撮影状況が反映された天地判定を行うことができる。
【００２７】
更に、撮影時の配光条件として、逆光状態、フラッシュ光状態（ストロボ）になる頻度は高く、被写体の色味への影響も大きいため、先に配光条件を判別し、その判別結果に適した画像領域を抽出することにより、天地判定の精度を一層向上させることができる。
【００２８】
特に、背景領域に基づいて天地判定を行うと、判定精度を更に向上させることができる。また、撮影画像データに人物が含まれている場合、背景領域だけでなく人物の顔領域に基づいて天地判定を行うと、判定精度を一層高めることができる。
【発明を実施するための最良の形態】
【００２９】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
まず、図１〜３を参照して、本発明の実施形態１及び２に共通の構成として、本発明が適用された画像処理装置１の外観構成及び内部構成について説明する。
【００３０】
[実施形態１]
〈画像処理装置１の外観構成〉
図１は、本発明の実施形態１及び２における画像処理装置１の外観構成を示す斜視図である。図１に示すように、画像処理装置１には、筐体２の一側面に感光材料を装填するためのマガジン装填部３が設けられている。筐体２の内側には、感光材料に露光する露光処理部４と、露光された感光材料を現像処理して乾燥し、プリントを作成するプリント作成部５が設けられている。作成されたプリントは、筐体２の他側面に設けられたトレー６に排出される。
【００３１】
また、筐体２の上部には、表示装置としてのＣＲＴ（Cathode Ray Tube）８、透過原稿を読み込む装置であるフィルムスキャナ部９、反射原稿入力装置１０、操作部１１が備えられている。さらに、筐体２には、各種デジタル記録媒体に記録された画像情報を読み取り可能な画像読込部１４、各種デジタル記録媒体に画像信号を書き込み（出力）可能な画像書込部１５が備えられている。また、筐体２の内部には、これらの各部を集中制御する制御部７が備えられている。
【００３２】
画像読込部１４には、ＰＣカード用アダプタ１４ａ、フロッピー（登録商標）ディスク用アダプタ１４ｂが備えられ、ＰＣカード１３ａやフロッピー（登録商標）ディスク１３ｂが差し込み可能になっている。ＰＣカード１３ａは、デジタルカメラで撮像された複数の画像データが記録されたメモリを有する。フロッピー（登録商標）ディスク１３ｂには、例えば、デジタルカメラで撮像された複数の画像データが記録されている。その他、画像データを有する記録媒体としては、マルチメディアカード、メモリースティック、ＭＤ（Mini Disc）データ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等が挙げられる。
【００３３】
画像書込部１５には、フロッピー（登録商標）ディスク用アダプタ１５ａ、ＭＯ用アダプタ１５ｂ、光ディスク用アダプタ１５ｃが備えられ、各々、フロッピー（登録商標）ディスク１６ａ、ＭＯ１６ｂ、光ディスク１６ｃが差し込み可能になっており、画像情報を画像記録メディアに書き込むことができるようになっている。光ディスク１６ｃとしては、ＣＤ−Ｒ（Compact Disc-Recordable）、ＤＶＤ−Ｒ（Digital Versatile Disk-Recordable）等がある。
【００３４】
なお、図１では、操作部１１、ＣＲＴ８、フィルムスキャナ部９、反射原稿入力装置１０、画像読込部１４が、筐体２に一体的に備えられた構造となっているが、これらのいずれか１つ以上を別体として設けるようにしてもよい。
【００３５】
なお、図１に示した画像処理装置１では、感光材料に露光して現像してプリントを作成するものが例示されているが、プリント作成方式はこれに限定されず、例えば、インクジェット方式、電子写真方式、感熱方式、昇華方式等の方式を用いてもよい。
【００３６】
〈画像処理装置１の内部構成〉
図２に、画像処理装置１内部の主要部構成を示す。画像処理装置１は、図２に示すように、制御部７、露光処理部４、プリント作成部５、ＣＲＴ８、フィルムスキャナ部９、反射原稿入力装置１０、操作部１１、画像読込部１４、画像書込部１５、通信手段（入力）３２、通信手段（出力）３３、データ蓄積手段７１から構成される。
【００３７】
制御部７は、マイクロコンピュータにより構成され、ＲＯＭ（Read Only Memory）等の記憶部（図示略）に記憶されている画像処理プログラム等の各種制御プログラムと、ＣＰＵ（Central Processing Unit）（図示略）との協働により、画像処理装置１を構成する各部の動作を統括的に制御する。
【００３８】
制御部７は、画像処理部７０を有し、操作部１１からの入力信号（指令情報）に基づいて、フィルムスキャナ部９や反射原稿入力装置１０により取得した画像データ、画像読込部１４から読み込まれた画像データ、外部機器から通信手段（入力）３２を介して入力された画像データに対して、画像処理を施して出力用画像データを生成し、露光処理部４に出力する。また、画像処理部７０は、画像処理された画像データに対して出力形態に応じた変換処理を施して出力する。画像処理部７０の出力先としては、ＣＲＴ８、画像書込部１５、通信手段（出力）３３等がある。
【００３９】
露光処理部４は、感光材料に画像の露光を行い、この感光材料をプリント作成部５に出力する。プリント作成部５は、露光された感光材料を現像処理して乾燥し、プリントＰ１、Ｐ２、Ｐ３を作成する。プリントＰ１は、サービスサイズ、ハイビジョンサイズ、パノラマサイズ等のプリントであり、プリントＰ２は、Ａ４サイズのプリントであり、プリントＰ３は、名刺サイズのプリントである。
【００４０】
フィルムスキャナ部９は、アナログカメラにより撮像された現像済みのネガフィルムＮやリバーサルフィルム等の透過原稿に記録された画像を読み取る。
【００４１】
反射原稿入力装置１０は、図示しないフラットベッドスキャナにより、プリントＰ（写真プリント、書画、各種の印刷物）に形成された画像を読み取る。
【００４２】
操作部１１は、情報入力手段１２を有する。情報入力手段１２は、例えば、タッチパネル等により構成されており、情報入力手段１２の押下信号を入力信号として制御部７に出力する。なお、操作部１１は、キーボードやマウス等を備えて構成するようにしてもよい。ＣＲＴ８は、制御部７から入力された表示制御信号に従って、画像データ等を表示する。
【００４３】
画像読込部１４は、画像転送手段３０として、ＰＣカード用アダプタ１４ａ、フロッピー（登録商標）ディスク用アダプタ１４ｂ等を有し、ＰＣカード用アダプタ１４ａに差し込まれたＰＣカード１３ａや、フロッピー（登録商標）ディスク用アダプタ１４ｂに差し込まれたフロッピー（登録商標）ディスク１３ｂに記録された画像データを読み出して制御部７に転送する。ＰＣカード用アダプタ１４ａとしては、例えばＰＣカードリーダやＰＣカードスロット等が用いられる。
【００４４】
画像書込部１５は、画像搬送部３１として、フロッピー（登録商標）ディスク用アダプタ１５ａ、ＭＯ用アダプタ１５ｂ、光ディスク用アダプタ１５ｃを備えている。画像書込部１５は、制御部７から入力される書込信号に従って、フロッピー（登録商標）ディスク用アダプタ１５ａに差し込まれたフロッピー（登録商標）ディスク１６ａ、ＭＯ用アダプタ１５ｂに差し込まれたＭＯ１６ｂ、光ディスク用アダプタ１５ｃに差し込まれた光ディスク１６ｃに、生成された画像データを書き込む。
【００４５】
通信手段（入力）３２は、画像処理装置１が設置された施設内の別のコンピュータや、インターネット等を介した遠方のコンピュータから、撮像画像を表す画像データやプリント命令信号を受信する。
【００４６】
通信手段（出力）３３は、画像処理を施した後の撮影画像を表す画像データと注文情報を、画像処理装置１が設置された施設内の他のコンピュータや、インターネット等を介した遠方のコンピュータに対して送信する。
【００４７】
データ蓄積手段７１は、画像データとそれに対応する注文情報（どの駒の画像から何枚プリントを作成するかの情報、プリントサイズの情報等）とを記憶し、順次蓄積する。
【００４８】
〈画像処理部７０の構成〉
図３に、画像処理部７０内部の主要部構成を示す。画像処理部７０は、図３に示すように、フィルムスキャンデータ処理部７０１、反射原稿スキャンデータ処理部７０２、画像データ書式解読処理部７０３、画像調整処理部７０４、ＣＲＴ固有処理部７０５、プリンタ固有処理部（１）７０６、プリンタ固有処理部（２）７０７、画像データ書式作成処理部７０８から構成される。
【００４９】
フィルムスキャンデータ処理部７０１は、フィルムスキャナ部９から入力された画像データに対し、フィルムスキャナ部９固有の校正操作・ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、粒状ノイズ除去、鮮鋭化強調等を施し、画像調整処理部７０４に出力する。また、フィルムスキャンデータ処理部７０１は、フィルムサイズ、ネガポジ種別、フィルムに光学的あるいは磁気的に記録されたＩＳＯ（International Organization for Standardization）感度、メーカー名、主要被写体に関わる情報・撮影条件に関する情報（例えばＡＰＳ（Advanced Photo System）の記載情報内容）等も併せて画像調整処理部７０４に出力する。
【００５０】
反射原稿スキャンデータ処理部７０２は、反射原稿入力装置１０から入力された画像データに対し、反射原稿入力装置１０固有の校正操作、ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、ノイズ除去、鮮鋭化強調等を施し、画像調整処理部７０４に出力する。
【００５１】
画像データ書式解読処理部７０３は、画像転送手段３０や通信手段（入力）３２から入力された画像データのデータ書式に従って、必要に応じて圧縮符号の復元、色データの表現方法の変換等を行い、画像処理部７０内の演算に適したデータ形式に変換し、画像調整処理部７０４に出力する。
【００５２】
画像調整処理部７０４は、操作部１１又は制御部７の指令に基づいて、フィルムスキャナ部９、反射原稿入力装置１０、画像転送手段３０、通信手段（入力）３２から受け取った画像に対して各種画像処理を行い、ＣＲＴ固有処理部７０５、プリンタ固有処理部（１）７０６、プリンタ固有処理部（２）７０７、画像データ書式作成処理部７０８、データ蓄積手段７１へ処理済みの画像データを出力する。実施形態１の画像調整処理部７０４で実行される画像処理については、後に図４〜図１６を参照して詳細に説明する。
【００５３】
ＣＲＴ固有処理部７０５は、画像調整処理部７０４から入力された画像データに対して、必要に応じて画素数変更やカラーマッチング等の処理を施し、制御情報等表示が必要な情報と合成した表示用の画像データをＣＲＴ８に出力する。
【００５４】
プリンタ固有処理部（１）７０６は、画像調整処理部７０４から入力された画像データに対して、必要に応じてプリンタ固有の校正処理、カラーマッチング、画素数変更等を行い、露光処理部４に出力する。
【００５５】
画像処理装置１に、大判インクジェットプリンタ等の外部プリンタ３４が接続されている場合には、接続されたプリンタ毎にプリンタ固有処理部（２）７０７が設けられている。このプリンタ固有処理部（２）７０７は、画像調整処理部７０４から入力された画像データに対して、適正なプリンタ固有の校正処理、カラーマッチング、画素数変更等を行う。
【００５６】
画像データ書式作成処理部７０８は、画像調整処理部７０４から入力された画像データに対して、必要に応じてＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、Ｅｘｉｆ（Exchangeable Image File Format）等に代表される各種の汎用画像フォーマットへの変換を行い、画像搬送部３１や通信手段（出力）３３に出力する。
【００５７】
なお、フィルムスキャンデータ処理部７０１、反射原稿スキャンデータ処理部７０２、画像データ書式解読処理部７０３、画像調整処理部７０４、ＣＲＴ固有処理部７０５、プリンタ固有処理部（１）７０６、プリンタ固有処理部（２）７０７、画像データ書式作成処理部７０８という区分は、画像処理部７０の機能の理解を助けるために設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、例えば、単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されてもよい。また、本実施形態１及び２における画像処理装置１は、上述の内容に限定されるものではなく、デジタルフォトプリンタ、プリンタドライバ、各種の画像処理ソフトのプラグイン等、種々の形態に適用することができる。
【００５８】
次に、本実施形態１における動作について説明する。
まず、図４のフローチャートを参照して、画像調整処理部７０４において実行される画像処理全体の流れを説明する。
【００５９】
まず、フィルムスキャナ部９、反射原稿入力装置１０、画像転送手段３０、通信手段（入力）３２等を介して、画像処理対象の撮影画像データが取得され（ステップＳ１）、その取得された撮影画像データから撮影時の配光条件（光源状態）を判別する配光条件判別処理が行われる（ステップＳ２）。撮影時の配光条件には、順光、逆光、ストロボ（フラッシュ光利用状態）が含まれる。ステップＳ２の配光条件判別処理については、後に図５を参照して詳細に説明する。
【００６０】
次いで、ステップＳ２において判別された配光条件に基づいて、所定の画像領域の抽出条件が決定され（ステップＳ３）、その決定された抽出条件に従って、撮影画像データから画像領域が抽出される（ステップＳ４）。ここで、所定の画像領域には、空領域、顔領域（人物が撮影された場合）が含まれる。撮影画像データから空領域を抽出する処理、撮影画像データから顔領域を抽出する処理については、後に図１６を参照して詳細に説明する。
【００６１】
次いで、ステップＳ４において抽出された画像領域に基づいて、撮影画像データの天地を判定する天地判定処理が行われ（ステップＳ５）、本画像処理が終了する。ステップＳ５では、撮影画像データ全体に対する空領域の位置から、当該撮影画像データの天方向（上方向）が判定される。また、撮影画像データから顔領域が更に抽出された場合、空領域と顔領域との位置関係から、天地を確実に判定することができる。
【００６２】
次に、図５のフローチャートを参照して、図４のステップＳ２に示した配光条件判別処理について説明する。
【００６３】
まず、撮影画像データが所定の画像領域に分割され、各分割領域が撮影画像データ全体に占める割合を示す占有率を算出する占有率算出処理が行われる（ステップＳ６）。占有率算出処理については、後に図６及び図１２を参照して詳細に説明する。
【００６４】
次いで、ステップＳ６において算出された占有率と、撮影条件に応じて予め設定された係数に基づいて、配光条件を特定する（光源状態を定量的に表す）指標（指標１〜５）が算出される（ステップＳ７）。ステップＳ７における指標算出処理は、後に詳細に説明する。
【００６５】
次いで、ステップＳ７において算出された指標に基づいて撮影画像データの配光条件が判別され（ステップＳ８）、本配光条件判別処理が終了する。配光条件の判別方法は、後に詳細に説明する。
【００６６】
次に、図６のフローチャートを参照して、図５のステップＳ６に示した占有率算出処理について詳細に説明する。
【００６７】
まず、撮影画像データのＲＧＢ値がＨＳＶ表色系に変換される（ステップＳ１０）。図７は、ＲＧＢからＨＳＶ表色系に変換することにより色相値、彩度値、明度値を得る変換プログラム（ＨＳＶ変換プログラム）の一例を、プログラムコード（ｃ言語）により示したものである。図７に示すＨＳＶ変換プログラムでは、入力画像データであるデジタル画像データの値を、InR、InG、InBと定義し、算出された色相値をOutHとし、スケールを0〜360と定義し、彩度値をOutS、明度値をOutVとし、単位を0〜255と定義している。
【００６８】
次いで、撮影画像データが、所定の明度と色相の組み合わせからなる領域に分割され、分割領域毎に累積画素数を算出することにより２次元ヒストグラムが作成される（ステップＳ１１）。以下、撮影画像データの領域分割について詳細に説明する。
【００６９】
明度（V）は、明度値が0〜25(v1)、26-50(v2)、51〜84(v3)、85〜169(v4)、170〜199(v5)、200〜224(v6)、225〜255(v7)の７つの領域に分割される。色相(H)は、色相値が0〜39、330〜359の肌色色相領域（H1及びH2）、色相値が40〜160の緑色色相領域（H3）、色相値が161〜250の青色色相領域（H4）、赤色色相領域（H5）の４つの領域に分割される。なお、赤色色相領域（H5）は、配光条件の判別への寄与が少ないとの知見から、以下の計算では用いていない。肌色色相領域は、更に、肌色領域（H1）と、それ以外の領域（H2）に分割される。以下、肌色色相領域（H＝0〜39、330〜359）のうち、下記の式（１）を満たす色相'(H)を肌色領域（H1）とし、式（１）を満たさない領域を（H2）とする。
10 ＜ 彩度(S) ＜175、
色相'(H) = 色相(H) + 60 (0 ≦ 色相(H) < 300のとき)、
色相'(H) = 色相(H) - 300 (300 ≦ 色相(H) < 360のとき)、
輝度Y = InR × 0.30 + InG × 0.59 + InB × 0.11
として、
色相'(H)／輝度(Y) ＜ 3.0 ×(彩度(S)／255)＋0.7 （１）
従って、撮影画像データの分割領域の数は４×７＝２８個となる。なお、式（１）において明度(V)を用いることも可能である。
【００７０】
２次元ヒストグラムが作成されると、分割領域毎に算出された累積画素数の全画素数（撮影画像全体）に占める割合を示す第１の占有率が算出され（ステップＳ１２）、本占有率算出処理が終了する。明度領域vi、色相領域Hjの組み合わせからなる分割領域において算出された第１の占有率をRijとすると、各分割領域における第１の占有率は表１のように表される。
【表１】
【００７１】
次に、指標１及び指標２の算出方法について説明する。
表２に、判別分析により得られた、ストロボ撮影としての確度、即ち、ストロボ撮影時の顔領域の明度状態を定量的に示す指標１を算出するために必要な第１の係数を分割領域別に示す。表２に示された各分割領域の係数は、表１に示した各分割領域の第１の占有率Rijに乗算する重み係数である。
【表２】
【００７２】
図８に、明度（v）−色相（H）平面を示す。表２によると、図８において高明度の肌色色相領域に分布する領域(r1)から算出される第１の占有率には、正(+)の係数が用いられ、それ以外の色相である青色色相領域(r2)から算出される第１の占有率には、負(-)の係数が用いられる。図１０は、肌色領域（H1）における第１の係数と、その他の領域（緑色色相領域（H3））における第１の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。表２及び図１０によると、高明度（V＝170〜224）の領域では、肌色領域（H1）における第１の係数の符号は正(+)であり、その他の領域（例えば、緑色色相領域（H3））における第１の係数の符号は負(-)であり、両者の符号が異なっていることがわかる。
【００７３】
明度領域vi、色相領域Hjにおける第１の係数をCijとすると、指標１を算出するためのHk領域の和は、式（２）のように定義される。
【数１】
従って、H1〜H4領域の和は、下記の式(2-1)〜式(2-4)のように表される。
H1領域の和＝R11×(-44.0)＋R21×(-16.0)＋（中略）...＋R71×(-11.3) (2-1)
H2領域の和＝R12×0.0＋R22×8.6＋（中略）... ＋R72×(-11.1) (2-2)
H3領域の和＝R13×0.0＋R23×(-6.3)＋（中略）...＋R73×(-10.0) (2-3)
H4領域の和＝R14×0.0＋R24×(-1.8)＋（中略）...＋R74×(-14.6) (2-4)
【００７４】
指標１は、式（2-1）〜（2-4）で示されたH1〜H4領域の和を用いて、式（３）のように定義される。
指標１＝H1領域の和＋H2領域の和＋H3領域の和＋H4領域の和＋4.424 （３）
【００７５】
表３に、判別分析により得られた、逆光撮影としての確度、即ち、逆光撮影時の顔領域の明度状態を定量的に示す指標２を算出するために必要な第２の係数を分割領域別に示す。表３に示された各分割領域の係数は、表１に示した各分割領域の第１の占有率Rijに乗算する重み係数である。
【表３】
【００７６】
図９に、明度（v）−色相（H）平面を示す。表３によると、図９において肌色色相領域の中間明度に分布する領域(r4)から算出される占有率には負(-)の係数が用いられ、肌色色相領域の低明度（シャドー）領域(r3)から算出される占有率には正(+)の係数が用いられる。図１１は、肌色領域（H1）における第２の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。表３及び図１１によると、肌色色相領域の、明度値が85〜169(v4)の中間明度領域の第２の係数の符号は負(-)であり、明度値が26〜84(v2,v3)の低明度（シャドー）領域の第２の係数の符号は正(+)であり、両領域での係数の符号が異なっていることがわかる。
【００７７】
明度領域vi、色相領域Hjにおける第２の係数をDijとすると、指標２を算出するためのHk領域の和は、式（４）のように定義される。
【数２】
従って、H1〜H4領域の和は、下記の式(4-1)〜式(4-4)のように表される。
H1領域の和＝R11×(-27.0)＋R21×4.5＋（中略）...＋R71×(-24.0) (4-1)
H2領域の和＝R12×0.0＋R22×4.7＋（中略）... ＋R72×(-8.5) (4-2)
H3領域の和＝R13×0.0＋R23×0.0＋（中略）...＋R73×0.0 (4-3)
H4領域の和＝R14×0.0＋R24×(-5.1)＋（中略）...＋R74×7.2 (4-4)
【００７８】
指標２は、式（4-1）〜（4-4）で示されたH1〜H4領域の和を用いて、式（５）のように定義される。
指標２＝H1領域の和＋H2領域の和＋H3領域の和＋H4領域の和＋1.554 （５）
指標１及び指標２は、撮影画像データの明度と色相の分布量に基づいて算出されるため、撮影画像データがカラー画像である場合の配光条件の判別に有効である。
【００７９】
次に、図１２のフローチャートを参照して、指標３を算出するための占有率算出処理（図５のステップＳ６）について詳細に説明する。
【００８０】
まず、撮影画像データのＲＧＢ値がＨＳＶ表色系に変換される（ステップＳ２０）。次いで、撮影画像データが、撮影画像画面の外縁からの距離と明度の組み合わせからなる領域に分割され、分割領域毎に累積画素数を算出することにより２次元ヒストグラムが作成される（ステップＳ２１）。以下、撮影画像データの領域分割について詳細に説明する。
【００８１】
図１３（ａ）〜（ｄ）に、撮影画像データの画面の外縁からの距離に応じて分割された４つの領域ｎ１〜ｎ４を示す。図１３（ａ）に示す領域ｎ１が外枠であり、図１３（ｂ）に示す領域ｎ２が、外枠の内側の領域であり、図１３（ｃ）に示す領域ｎ３が、領域ｎ２の更に内側の領域であり、図１３（ｄ）に示す領域ｎ４が、撮影画像画面の中心部の領域である。また、明度は、上述のようにv1〜v7の７つの領域に分割するものとする。従って、撮影画像データを、撮影画像画面の外縁からの距離と明度の組み合わせからなる領域に分割した場合の分割領域の数は４×７＝２８個となる。
【００８２】
２次元ヒストグラムが作成されると、分割領域毎に算出された累積画素数の全画素数（撮影画像全体）に占める割合を示す第２の占有率が算出され（ステップＳ２２）、本占有率算出処理が終了する。明度領域vi、画面領域njの組み合わせからなる分割領域において算出された第２の占有率をQijとすると、各分割領域における第２の占有率は表４のように表される。
【表４】
【００８３】
次に、指標３の算出方法について説明する。
表５に、指標３を算出するために必要な第３の係数を分割領域別に示す。表５に示された各分割領域の係数は、表４に示した各分割領域の第２の占有率Qijに乗算する重み係数であり、判別分析により得られる。
【表５】
図１４は、画面領域ｎ１〜ｎ４における第３の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。
【００８４】
明度領域vi、画面領域njにおける第３の係数をEijとすると、指標３を算出するためのnk領域（画面領域nk）の和は、式（６）のように定義される。
【数３】
従って、n1〜n4領域の和は、下記の式(6-1)〜式(6-4)のように表される。
n1領域の和＝Q11×40.1＋Q21×37.0＋（中略）...＋Q71×22.0 (6-1)
n2領域の和＝Q12×(-14.8)＋Q22×(-10.5)＋（中略）...＋Q72×0.0 (6-2)
n3領域の和＝Q13×24.6＋Q23×12.1＋（中略）...＋Q73×10.1 (6-3)
n4領域の和＝Q14×1.5＋Q24×(-32.9)＋（中略）...＋Q74×(-52.2) (6-4)
【００８５】
指標３は、式（6-1）〜（6-4）で示されたN1〜H4領域の和を用いて、式（７）のように定義される。
指標３＝n1領域の和＋n2領域の和＋n3領域の和＋n4領域の和−12.6201 （７）
指標３は、撮影画像データの明度の分布位置による構図的な特徴（撮影画像データの画面の外縁からの距離）に基づいて算出されるため、カラー画像だけでなくモノクロ画像の配光条件を判別するのにも有効である。
【００８６】
指標４は、指標１及び指標３を用いて式（８）のように定義され、指標５は、指標１〜３を用いて式（９）のように定義される。
指標４＝0.565×指標１＋0.565×指標３＋0.457 （８）
指標５＝(-0.121)×指標１＋0.91×指標２＋0.113×指標３−0.072 （９）
ここで、式（８）及び式（９）において各指標に乗算される重み係数は、撮影条件に応じて予め設定されている。
【００８７】
〈配光条件の判別方法〉
次に、配光条件の判別方法について説明する。
図１５は、順光、逆光、ストロボの各配光条件で６０枚ずつ撮影し、合計１８０枚のデジタル画像データについて、指標４、５を算出し、各配光条件での指標４、５の値をプロットしたものである。図１５によれば、指標４の値が０．５より大きい場合、ストロボシーンが多く、指標４の値が０．５以下で、指標５の値が−０．５より大きい場合、逆光シーンが多いことがわかる。表６に、指標４、５の値による配光条件の判別内容を示す。
【表６】
このように指標４、５の値により配光条件を定量的に判別することができる。
【００８８】
次に、図１６のフローチャートを参照して、図４のステップＳ３及びＳ４に示した画像領域抽出処理について説明する。
【００８９】
まず、図１６（ａ）のフローチャートを参照して、画像領域として領域１（空）領域を抽出する処理について説明する。
【００９０】
まず、配光条件判別処理（図５参照）において判別された配光条件から配光状態が判定される（ステップＳ３０）。配光状態が逆光である場合（ステップＳ３０；逆光）、逆光に対応する領域１（空）領域の抽出条件が決定される（ステップＳ３１）。次いで、ステップＳ３１で決定された抽出条件に従って、領域１（空）として、撮影画像データから白色の背景領域が抽出され（ステップＳ３２）、本領域１（空）抽出処理が終了する。逆光の場合、撮影画像データ中では、空の色が実際の空の色よりも白っぽく薄い水色に偏ることが多いため、略白乃至薄水色の平坦乃至なだらかな勾配を有する領域を抽出するような抽出条件にすることで、該当する領域を高精度に抽出することができる。
【００９１】
配光状態が順光である場合（ステップＳ３０；順光）、順光に対応する領域１（空）領域の抽出条件（空色（水色）領域の抽出）が決定される（ステップＳ３３）。次いで、ステップＳ３３で決定された抽出条件に従って、領域１（空）として、撮影画像データから空色（水色）の背景領域が抽出され（ステップＳ３４）、本領域１（空）抽出処理が終了する。
【００９２】
配光状態がストロボである場合（ステップＳ３０；ストロボ）、ストロボに対応する領域１（空）の抽出条件が決定される（ステップＳ３５）。次いで、ステップＳ３５で決定された抽出条件に従って、領域１（空）として、撮影画像データから黒色の背景領域が抽出され（ステップＳ３６）、本領域１（空）抽出処理が終了する。ストロボの場合、周囲が暗い場合に撮影されることが多いため、明度の低い（暗い）空色相当の色相領域を抽出するような抽出条件にすればよい。但し、夜間を想定した極低い明度の領域を抽出する場合には、色相の値が計算上不安定になるため、色相の指定を抽出条件から除外する方が好ましい。
【００９３】
次に、図１６（ｂ）のフローチャートを参照して、画像領域として領域２（顔）領域を抽出する処理について説明する。
【００９４】
まず、配光条件判別処理（図５参照）において判別された配光条件から配光状態が判定される（ステップＳ４０）。配光状態が逆光である場合（ステップＳ４０；逆光）、逆光に対応する顔候補領域の抽出条件（低明度の肌色領域の抽出）が決定され（ステップＳ４１）、その決定された抽出条件に従って、撮影画像データから低明度の肌色領域が抽出される（ステップＳ４２）。
【００９５】
配光状態が順光である場合（ステップＳ４０；順光）、順光に対応する顔候補領域の抽出条件（所定の肌色領域の抽出）が決定され（ステップＳ４３）、その決定された抽出条件に従って、撮影画像データから所定の肌色領域が抽出される（ステップＳ４４）。
【００９６】
配光状態がストロボである場合（ステップＳ４０；ストロボ）、ストロボに対応する顔候補領域の抽出条件（略白から高明度の肌色領域の抽出）が決定され（ステップＳ４５）、その決定された抽出条件に従って、撮影画像データから、略白から高明度の肌色領域が抽出される（ステップＳ４６）。
【００９７】
ステップＳ４２、Ｓ４４及びＳ４６で適用される顔候補領域の抽出処理として、単純領域拡張法を利用することができる。単純領域拡張法とは、画素間のデータ差が閾値以下の互いに隣接する画素を同一画像領域に属するものとして当該領域を拡張していくことにより画像領域の抽出を行う画像処理方法である。即ち、指定された特定条件に合致する初期画素から出発し、当該初期画素に対して隣接する画素（４連結、８連結の何れでも可）のデータ差が閾値以下である場合に当該隣接画素と初期画素とを同一画像領域に属するものとし、更に、当該同一画素に属するとした画素に対し隣接する画素についても同様の判定を行っていき、初期画素から出発して同一領域を除々に拡張させることによって画像領域の抽出を行う画像処理方法である。本実施形態では、更に、画像中のエッジ成分を抽出し、画像エッジに達した場合に単純領域拡張を終了することで、顔候補領域を確定する処理を用いることが好ましい。
【００９８】
初期画素の特定条件としては、人物の肌を表す画素を特定する条件を採用すればよい。人物の肌を表す画素を特定する条件としては、予め決められたＲＧＢ値に基づいて設定されるものであればよく、人物の肌色は略同一の光源下では一定範囲内の色相値を有するため、肌色の初期画素は、色相を規定した条件に基づいて選択するのが好ましい。例えば、ＨＳＶ表色系の色相値（Hue）で０〜３０及び３３０〜３５９の範囲の画素を選択するのが好ましい。
【００９９】
また、彩度（Satulation）を合わせて規定することも好ましい。色相、彩度を規定した条件は、撮影時の光源種により変更されるのが好ましく、更に、撮影時の光源種は公知の方法により自動的に判別されるのが好ましい。
【０１００】
更に、初期画素の特定条件に、明るさに関する配光条件に応じた条件を加えればよい。Th1、Th2、Th3、Th4、Th5、Th6を、抽出対象の領域の明るさを制限するための閾値とし、領域内における明るさを表すパラメータ（例えば、輝度成分の平均値）をVaveとすると、予め、個々の配光状態にある複数の顔画像のＲＧＢ値に基づいて、下記の関係式を満たすように設定されるものであればよい。
逆光 ：Th1＜Vave＜Th2
順光 ：Th3＜Vave＜Th4
ストロボ：Th5＜Vave＜Th6
ここで、Th1〜6は、Th1＜ Th2 ≦ Th3 ＜ Th4 ≦ Th5 ＜ Th6 を満たしており、例えば、
逆光 ：２０＜Vave＜６５
順光 ：６５＜Vave＜２００
ストロボ：２００＜Vave＜２５５
の条件を設定すればよい。また、処理能力に余裕があれば、下記式のような条件（範囲が重なっている場合）を設けると、顔候補領域の抽出精度を向上させることができる。
Th1＜Th3＜Th5
Th2＜Th4＜Th6
Th1＜Th2＜Th3
Th5＜Th4＜Th6
【０１０１】
ステップＳ４２、Ｓ４４、Ｓ４６の何れか一つにおいて顔候補領域が抽出されると、その抽出された顔候補領域から顔領域を抽出するために、当該顔候補領域に対して顔判定処理が行われる（ステップＳ４７）。そして、顔判定処理の判定結果に基づいて顔候補領域から顔領域が抽出され（ステップＳ４８）、本領域２（顔）抽出処理が終了する。
【０１０２】
ステップＳ４７の顔判定処理は、パターンマッチングやニューラルネットワークを用いた公知の判定方法を適用することが可能である。例えば、抽出された顔候補領域から目画素、口画素等の特徴部位を抽出し、顔候補領域に対する特徴部位の面積率、当該顔候補領域の平均色相値、平均彩度値等を入力信号、顔らしさを表すパラメータを出力信号としたニューラルネットワークを用いて、当該顔候補領域が顔であるか否かを判定することができる。
【０１０３】
以上のように、本実施形態１の画像処理装置１によれば、撮影画像データから、配光条件に応じて決定された画像領域を抽出して、抽出された画像領域に基づいて天地判定を行うことにより、どのような撮影環境であっても天地判定の判定精度を向上させることができる。
【０１０４】
特に、空のようなテクスチャの少ない背景領域に基づいて天地判定を行うと、判定精度を更に向上させることができる。また、撮影画像データに人物が含まれている場合、背景領域だけでなく人物の顔領域に基づいて天地判定を行うと、背景領域と顔領域との位置関係を考慮した天地判定を行うことができるため、判定精度を一層高めることができる。
【０１０５】
[実施形態２]
次に、図１７〜図２２を参照して、本発明の実施形態２について説明する。
実施形態２の画像処理装置の外観構成及び内部構成は、実施形態１において図１〜３に示した構成と同一ゆえ、以下では、実施形態１と同一の符号を用い、構成説明を省略する。
【０１０６】
次に、本実施形態２の画像処理装置１における動作について説明する。
まず、図１７のフローチャートを参照して、実施形態２の画像調整処理部７０４において実行される画像処理全体の流れについて説明する。
【０１０７】
まず、フィルムスキャナ部９、反射原稿入力装置１０、画像転送手段３０、通信手段（入力）３２等を介して、画像処理対象の撮影画像データが取得され（ステップＳ５０）、その取得された撮影画像データから撮影時の配光条件（光源状態）を判別する配光条件判別処理が行われる（ステップＳ５１）。ステップＳ５１の配光条件判別処理は、実施形態１において図５に示した処理と同一である。
【０１０８】
次いで、ステップＳ５１において判別された配光条件に基づいて、所定の画像領域の抽出条件が決定され（ステップＳ５２）、その決定された抽出条件に従って、撮影画像データから画像領域が抽出される（ステップＳ５３）。ステップＳ５２及びＳ５３の処理は、実施形態１において図１６に示した処理と同一である。
【０１０９】
次いで、ステップＳ５３において抽出された画像領域から所定の特徴量を算出する特徴量算出処理が行われる（ステップＳ５４）。ここで、所定の特徴量とは、抽出された画像領域の重心、面積率、色値の勾配等のデータである。ステップＳ５４の特徴量算出処理については、後に図１８を参照して詳細に説明する。
【０１１０】
次いで、ステップＳ５４において算出された特徴量と、ステップＳ５１において判別された配光条件に基づいて算出された特徴量を入力信号として、ニューラルネットワークを用いて撮影画像データの天地判定が行われ（ステップＳ５５）、本画像処理が終了する。ここで、配光条件に基づいて算出された特徴量とは、順光度（順光の程度）、逆光度（逆光の程度）、ストロボ度（ストロボの程度）であり、指標４、５の値に基づいて算出される。ステップＳ５５のニューラルネットワークを用いた天地判定処理については、後に図２１及び図２２を参照して詳細に説明する。
【０１１１】
次に、図１８のフローチャートを参照して、図１７のステップＳ５４に示した特徴量算出処理について詳細に説明する。
【０１１２】
図１６（ａ）の領域１（空）抽出処理により領域１（空）が抽出されると、領域１の特徴量１として、領域１の重心が算出され（ステップＳ６０）、特徴量２として、領域１の面積率が算出され（ステップＳ６１）、特徴量３として、領域１の色値の勾配（グラデーションの方向）が算出される（ステップＳ６２）。領域１の面積率とは、領域１が、撮影画像データ全体を構成する画素数に対してどの程度の比率を占めるかを示すパラメータであり、（領域１の画素数）／（撮影画像データ全体の画素数）として求められる。
【０１１３】
また、領域１のその他の特徴量ｎとして、明度・色相・彩度の統計値、明度・色相・彩度の勾配、領域１が画像の４辺を占める割合等も算出される（ステップＳ６３）。
【０１１４】
また、図１６（ｂ）の領域２（顔）抽出処理により領域２（顔）が抽出されると、領域２の特徴量１として、領域２の重心が算出され（ステップＳ７０）、特徴量２として、領域２の面積率が算出され（ステップＳ７１）、特徴量３として、領域２の個数（即ち、顔の個数）が算出される（ステップＳ７２）。また、領域２のその他の特徴量ｎも算出される（ステップＳ７３）。
【０１１５】
〈ニューラルネットワーク〉
次に、図１７の天地判定処理（ステップＳ５５）において使用されるニューラルネットワークについて簡単に説明する。このニューラルネットワークは、図１９に示すように、入力層、中間層、及び出力層を有する階層型のニューラルネットワーク（以下、単にニューラルネットワークという。）である。ニューラルネットワークは、デジタルニューラルネットワークチップを利用することが望ましいが、汎用のＤＳＰ（Digital Signal Processor）と専用のエミュレートプログラムを用いても実現することができるし、通常のＣＰＵとエミュレートプログラムを用いても構わない。
【０１１６】
ニューラルネットワークの各層は、ニューロンと呼ばれる構成単位からなっている。入力層を除けば、任意のニューロンは図２０に示すようにシナプスと呼ばれる入力を多数受け取り、各々の入力値ｘiに対して結合強度と呼ばれる所定の重みｗiを掛けてその総和を求め、それを所定の出力関数ｆで評価した結果を出力ｙとして与える機能素子として機能する。出力関数ｆは、式（１０）のように表される。
【数４】
ここで、ｆ（ｘ）は一般に式（１１）に示すような非線形のシグモイド関数が用いられるが、必ずしもこれに限定されるわけではない。
【数５】
【０１１７】
ここで、各ニューロンの入力の重みｗiはニューラルネットワークの入力・出力の関係、言い替えればニューラルネットワークの動作を決定する重要な情報であり、ニューラルネットワークに対して学習作業を行うことによって決定する。なお、図１９では中間層は１層のみ記してあるが、これは１以上の任意の階層の構成とすることができる。階層型ネットワークでは、中間層は１層あれば、合成可能な任意の関数を実現できることが知られているが、中間層を多くした方が学習効率や、ニューロンの個数の点から有利であることが知られている。
【０１１８】
ニューラルネットワークは以下のような特徴を有している。
（１）比較的単純な構成でありながら、多入力・多出力の非線形システムを実現できる。（２）各層内の各ニューロンは独立して動作させることができ、並列処理によって高速な動作が期待できる。
（３）適切な教師データを与えて学習させることにより、任意の入出力関係を実現させることができる。
（４）系として汎化能力がある。すなわち、必ずしも教師データとして与えていない、未学習の入力パターンに対しても、おおむね正しい出力を与える能力がある。
【０１１９】
ここで、教師データとは、入力パターンと、その入力パターンに対する望ましい出力パターンの対であり、通常複数個用意する。特定の入力パターンに対して望ましい出力パターンを決定する作業は、一般に熟練者の主観的な判断に頼って決定する。ニューラルネットワークの主な応用としては（ａ）非線形の関数近似、（ｂ）クラスタリング（識別、認識、分類）が挙げられる。
【０１２０】
一般に非線形関数近似は実現が容易であり、汎化能力も高い系を得やすい。一方、クラスタリングへの応用は教師データへの依存性が高く、かつ複雑な入力に関しては、複数の教師データ相互の間に矛盾関係が存在する可能性が高い。このため、クラスタリングへ応用した場合には、入力が非常に簡単な場合を除けば、結果的に汎化能力が低いのみならず、特定の教師データに対する適合性という意味でも不満足な系しか得られないことも少なくない。
【０１２１】
次に、ニューラルネットワークに対する教師データを用いた学習方法について説明する。ｐ番目の入力パターンに対する、第Ｌ層のi番目のニューロンの状態を式（１２）及び式（１３）のように表現する。
【数６】
【数７】
ここで、式（１２）の関数ｆ（ｘ）は、式（１１）に示した非線形のシグモイド関数、ＹiLはニューロンの出力、ＵiLはニューロンの内部状態、Ｙi＜Ｌ−１＞はL−１層のニューロンの出力＝Ｌ層のニューロンの入力、ｗij＜Ｌ＞は結合強度である。
【０１２２】
このように定義した場合に、広く用いられている誤差逆伝搬学習法（バックプロパゲーション学習法、以下ＢＰ法と略す。）では、誤差評価関数として平均自乗誤差を用いて、以下のようにエラーＥを定義する。
【数８】
ただしｋは出力層の番号であり、Ｔi（ｐ）はｐ番目の入力パターンに対する望ましい出力パターンである。
【０１２３】
この場合、ＢＰ法に基づく各結合強度の修正量Δｗは次式で定められる。
【数９】
ここで、∂は偏微分記号（ラウンド）、ηは学習率を表す係数である。Δｗij＜Ｌ＞を各々のｗij＜Ｌ＞に加算することによって学習が進む。なお、この形式のＢＰ法では学習が進んだ結果、教師データとの誤差の絶対値が小さくなってくると、Δｗの絶対値も小さくなり、学習が進まなくなるという現象が指摘されており、その問題点を回避するために、種々の改良が提案されている。
【０１２４】
例えば、Δｗの定義を次のように変更するという提案がある。
【数１０】
式（１６）の第二項は慣性項（モーメンタム項）と呼ばれ、現在の修正量だけでなく、過去の修正量も考慮することで収束時の振動を抑え、学習を高速化する効果がある。安定化定数αは1．0以下の正の実数で、過去の修正量の考慮の度合いを規定する係数である。
【０１２５】
あるいは、学習率ηを学習回数ｎに応じて、次式を満たすように動的に変化させるという提案もある。
【数１１】
【０１２６】
さらには、エラーの評価を平均自乗誤差ではなく、シグモイド関数の導関数を打ち消すような形式にするという提案もある。いずれにせよ、ＢＰ法を用いて十分な回数学習作業を施すことにより、教師データに対して近似した出力を得ることができるようになる。
【０１２７】
図２１に、実施形態２の天地判定処理で適用されるニューラルネットワークの一例を示す。ここで用いるニューラルネットワークは、領域１（空）の特徴量１、特徴量２及び特徴量ｎ、領域２（顔）の特徴量１、特徴量２及び特徴量ｎ、配光条件に基づいて算出された特徴量（逆光の程度、ストロボの程度等）を入力信号とし、画像のｘ方向（横方向）における天方向を表す出力値Outx、画像のｙ方向（縦方向）における天方向を表す出力値Outyを出力信号とするニューラルネットワークである。
【０１２８】
図２２に、出力値Outx、Outyと、画像の天方向の関係を示す。例えば、Outxが、画像の左から右に向かって0.0〜1.0の範囲の値をとる場合、Outx〜1.0であれば、画像の右方向を天方向とし、Outx〜0.0であれば、画像の左方向を天方向とする。また、Outyが、画像の下から上に向かって0.0〜1.0の範囲の値を取る場合、Outy〜1.0であれば、画像の上方向を天方向とし、Outy〜0.0であれば、画像の下方向を天方向とする。従って、この２つの出力値Outx、Outyの大小に応じて、天方向を決定することができる。例えば、Outx〜0.5で、Outy〜1.0である場合、上方向が天方向であるとみなされる。
【０１２９】
なお、図２１では、出力層の要素数が２個になっているが、上下左右の４方向に対応して４個にしてもよい。また、ニューラルネットワークの構成は、中間層の数が２層以上でもよく、各層の要素数も合わせて最も認識率が高くなるように決定すればよい。
【０１３０】
以上のように、本実施形態２の画像処理装置１によれば、撮影画像データから、配光条件に応じて決定された画像領域を抽出して、抽出された画像領域の特徴量と、配光条件の特徴量を入力信号、画像の天方向を表す出力値を出力信号としたニューラルネットワークを用いて天地を判定することにより、どのような撮影環境であっても天地判定の判定精度を向上させることができるとともに、ユーザの撮影状況が反映された天地判定を行うことができる。
【０１３１】
特に、空などのテクスチャの少ない背景領域から算出された特徴量に基づいて天地判定を行うと、判定精度を更に向上させることができる。また、撮影画像データに人物が含まれている場合、空領域だけでなく人物の顔領域を抽出し、空領域の特徴量及び顔領域の特徴量に基づいて天地判定を行うと、ユーザの撮影意図にそった天地判定を行うことができ、天地判定の判定精度を一層高めることができる。
【０１３２】
なお、上記各実施形態及びにおける記述内容は、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
【図面の簡単な説明】
【０１３３】
【図１】本発明の実施形態１及び２における画像処理装置の外観構成を示す斜視図。
【図２】実施形態１及び２の画像処理装置の主要部構成を示すブロック図。
【図３】図２の画像処理部の主要部構成を示すブロック図。
【図４】実施形態１の画像調整処理部において実行される画像処理全体の流れを示すフローチャート。
【図５】配光条件判別処理を示すフローチャート。
【図６】明度・色相の領域毎に第１の占有率を算出する占有率算出処理を示すフローチャート。
【図７】ＲＧＢからＨＳＶ表色系に変換するプログラムの一例を示す図。
【図８】明度（Ｖ）−色相（Ｈ）平面と、Ｖ−Ｈ平面上の領域ｒ１及び領域ｒ２を示す図。
【図９】明度（Ｖ）−色相（Ｈ）平面と、Ｖ−Ｈ平面上の領域ｒ３及び領域ｒ４を示す図。
【図１０】指標１を算出するための、第１の占有率に乗算する第１の係数を表す曲線を示す図。
【図１１】指標２を算出するための、第１の占有率に乗算する第２の係数を表す曲線を示す図。
【図１２】撮影画像データの構図に基づいて第２の占有率を算出する占有率算出処理を示すフローチャート。
【図１３】撮影画像データの画面の外縁からの距離に応じて決定される領域ｎ１〜ｎ４を示す図。
【図１４】指標３を算出するための、第２の占有率に乗算する第３の係数を表す曲線を領域別（ｎ１〜ｎ４）に示す図。
【図１５】配光条件（順光、ストロボ、逆光）別に算出された指標４及び指標５のプロット図。
【図１６】領域１（空）抽出処理を示すフローチャート（ａ）と、領域２（顔）抽出処理を示すフローチャート（ｂ）。
【図１７】実施形態２の画像調整処理部において実行される画像処理全体の流れを示すフローチャート。
【図１８】特徴量算出処理を示すフローチャート。
【図１９】階層型ニューラルネットワークの構造を模式的に示す図。
【図２０】ニューラルネットワークを構成するニューロンの構造を示す図。
【図２１】実施形態２で適用されるニューラルネットワークを示す図。
【図２２】図２１のニューラルネットワークの出力値と撮影画像との関係を示す図。
【符号の説明】
【０１３４】
１ 画像処理装置
４ 露光処理部
５ プリント作成部
７ 制御部
８ ＣＲＴ
９ フィルムスキャナ部
１０ 反射原稿入力装置
１１ 操作部
１４ 画像読込部
１５ 画像書込部
３０ 画像転送手段
３１ 画像搬送部
３２ 通信手段（入力）
３３ 通信手段（出力）
３４ 外部プリンタ
７０ 画像処理部
７０１ フィルムスキャンデータ処理部
７０２ 反射原稿スキャンデータ処理部
７０３ 画像データ書式解読処理部
７０４ 画像調整処理部
７０５ ＣＲＴ固有処理部
７０６ プリンタ固有処理部（１）
７０７ プリンタ固有処理部（２）
７０８ 画像データ書式作成処理部
７１ データ蓄積手段
【技術分野】
【０００１】
本発明は、撮影画像データに対して画像処理を施す画像処理方法、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラ（玩具用、携帯電話やラップトップパソコン等の機器に組み込まれたもの、一般ユーザ用の汎用用途、高機能なプロ用途のカメラを含む。以下、ＤＳＣと略称する。）が広く普及し、カラー写真フィルムと同様に、ハードコピー画像として出力されたり、ＣＲＴ（Cathode Ray Tube）等の出力媒体に表示されたりして鑑賞されている。
【０００３】
また、カラー写真フィルム上に形成された画像をＣＣＤ（Charge Coupled Device）センサ等で光電的に読みとって画像信号に変換する技術が広く用いられている。このような画像信号は、ネガポジ反転、輝度調整、カラーバランス調整、粒状除去、鮮鋭性強調に代表される種々の画像処理を施された後に、ＣＤ−Ｒ（CD-Recordable）、ＣＤ−ＲＷ（CD-ReWritable）、フロッピー（登録商標）ディスク、メモリーカード等の記録媒体に記録されたり、インターネット経由で配布され、銀塩印画紙、インクジェットプリンタ、サーマルプリンタ等でハードコピーとして出力されたり、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の出力媒体に表示されたりして鑑賞される。
【０００４】
画像鑑賞時若しくは画像処理時に、撮影シーンの上下が正しく表示されない（天地が逆である）ことは、鑑賞時の高揚感が損なわれたり、画像処理の処理効率が低下したりするため（回転処理の一手間が入るため）好ましくない。このような背景を受けて、撮影画像の天地を自動的に判定する技術が多々開示されている。例えば、特許文献１には、ＡＰＳ（Advanced Photo System）フィルムの磁気情報、デジタル画像データのＥｘｉｆ（Exchangeable Image File Format）等のタグ情報に記録されている天地情報を画像表示時や画像処理時に参照し、タグ情報の天地情報と、実際に表示されている天地が逆であれば、回転処理を適用する技術が開示されている。
【０００５】
また、特許文献２には、撮影画像の撮影シーンを解析して天地を自動的に判定する技術が開示されている。この特許文献２では、天頂から水平線にかけて空の色味が濃い色から白に向けてグラデーションを有する特性を利用したものであり、まず、撮影画像から空領域を抽出し、その抽出された領域の色勾配を基に天地方向を決定している。
【特許文献１】特開平１０−１７１０３５号公報
【特許文献２】特開２００１−１９５５９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された技術は、必ずしも、タグ情報に天地情報が記録されているものではなく不完全なものであり、また、記録されている情報も、実際の撮影シーンの天地と適合していないこともあり、天地判定の精度が十分であるとは言えなかった。また、実際の撮影シーンでは、空の色は様々であり、また、ダイナミックレンジの低いデジタルカメラで撮影された画像では、特に撮影条件によって、空領域や単色の背景領域の勾配が低くなることも多々あるため（例えば、逆光状態では、背景が白くとんでしまう。）、特許文献２の技術を適用しても、天地判定の精度が十分であるとは言えなかった。
【０００７】
本発明の課題は、撮影環境に関わらず、撮影画像の天地判定の精度を向上させることである。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、請求項１に記載の発明は、撮影画像データから、撮影時の配光条件を判別する判別工程と、前記判別された配光条件から、所定の画像領域の抽出条件を決定する決定工程と、前記決定された抽出条件に従って、前記撮影画像データから少なくとも１つの画像領域を抽出する抽出工程と、前記抽出された画像領域に基づいて前記撮影画像データの天地を判定する判定工程と、を含むことを特徴としている。
【０００９】
請求項２に記載の発明は、撮影画像データから、撮影時の配光条件を判別する判別工程と、前記判別された配光条件から、所定の画像領域の抽出条件を決定する決定工程と、前記決定された抽出条件に従って、前記撮影画像データから少なくとも１つの画像領域を抽出する抽出工程と、前記抽出された画像領域から所定の特徴量を算出する算出工程と、前記算出された特徴量及び前記判別された配光条件に基づいて算出された特徴量を入力信号として、ニューラルネットワークを用いて前記撮影画像データの天地を判定する判定工程と、を含むことを特徴としている。
【００１０】
ここで、「所定の特徴量」には、抽出された画像領域の撮影画像データ中における位置と、抽出された画像領域の確度（例えば、空である確度）の二種類がある。位置の例としては、重心位置、色値の勾配の方向等があり、確度の例としては、色に関する統計値や勾配値、形状、コントラスト、テクスチャの一様性等がある。本発明では、所定の特徴量として、位置を表す特徴量が含まれることが好ましい。更に、位置とともに確度を表す特徴量が含まれることがより好ましい。
【００１１】
請求項３に記載の発明は、請求項１又は２に記載の画像処理方法において、前記撮影時の配光条件には、逆光状態及び／又はフラッシュ光利用状態が含まれることを特徴としている。
【００１２】
請求項４に記載の発明は、請求項１〜３の何れか一項に記載の画像処理方法において、前記抽出工程において抽出される画像領域には、少なくとも主要被写体の背景領域が含まれることを特徴としている。
【００１３】
本発明における「背景領域」としては、天地の位置的関係がある確度をもって不変である被写体が撮影されている画像領域であることが好ましい。具体的には、一定の色相において構成され、且つ、テクスチャや強いエッジがなく平坦な、或いはなだらかな勾配を有する被写体（例えば、空や雲など）であることが好ましい。また、一定の周期的なテクスチャで構成される被写体（例えば、芝生や地面、木の葉が密集している部分）を追加することも好ましい。
【００１４】
請求項５に記載の発明は、請求項４に記載の画像処理方法において、前記抽出工程において抽出される画像領域には、少なくとも人物の顔領域が含まれることを特徴としている。
【００１５】
請求項６に記載の発明は、撮影画像データから、撮影時の配光条件を判別する判別手段と、前記判別された配光条件から、所定の画像領域の抽出条件を決定する決定手段と、前記決定された抽出条件に従って、前記撮影画像データから少なくとも１つの画像領域を抽出する抽出手段と、前記抽出された画像領域に基づいて前記撮影画像データの天地を判定する判定手段と、を備えることを特徴としている。
【００１６】
請求項７に記載の発明は、撮影画像データから、撮影時の配光条件を判別する判別手段と、前記判別された配光条件から、所定の画像領域の抽出条件を決定する決定手段と、前記決定された抽出条件に従って、前記撮影画像データから少なくとも１つの画像領域を抽出する抽出手段と、前記抽出された画像領域から所定の特徴量を算出する算出手段と、前記算出された特徴量及び前記判別された配光条件に基づいて算出された特徴量を入力信号として、ニューラルネットワークを用いて前記撮影画像データの天地を判定する判定手段と、を備えることを特徴としている。
【００１７】
請求項８に記載の発明は、請求項６又は７に記載の画像処理装置において、前記撮影時の配光条件には、逆光状態及び／又はフラッシュ光利用状態が含まれることを特徴としている。
【００１８】
請求項９に記載の発明は、請求項６〜８の何れか一項に記載の画像処理装置において、前記抽出手段は、前記撮影画像データから、少なくとも主要被写体の背景領域を抽出することを特徴としている。
【００１９】
請求項１０に記載の発明は、請求項９に記載の画像処理装置において、前記抽出手段は、前記撮影画像データから、少なくとも人物の顔領域を抽出することを特徴としている。
【００２０】
請求項１１に記載の発明は、画像処理を実行するコンピュータに、撮影画像データから、撮影時の配光条件を判別する判別機能と、前記判別された配光条件から、所定の画像領域の抽出条件を決定する決定機能と、前記決定された抽出条件に従って、前記撮影画像データから少なくとも１つの画像領域を抽出する抽出機能と、前記抽出された画像領域に基づいて前記撮影画像データの天地を判定する判定機能と、を実現させる。
【００２１】
請求項１２に記載の発明は、画像処理を実行するコンピュータに、撮影画像データから、撮影時の配光条件を判別する判別機能と、前記判別された配光条件から、所定の画像領域の抽出条件を決定する決定機能と、前記決定された抽出条件に従って、前記撮影画像データから少なくとも１つの画像領域を抽出する抽出機能と、前記抽出された画像領域から所定の特徴量を算出する算出機能と、前記算出された特徴量及び前記判別された配光条件に基づいて算出された特徴量を入力信号として、ニューラルネットワークを用いて前記撮影画像データの天地を判定する判定機能と、を実現させる。
【００２２】
請求項１３に記載の発明は、請求項１１又は１２に記載の画像処理プログラムにおいて、前記撮影時の配光条件には、逆光状態及び／又はフラッシュ光利用状態が含まれることを特徴としている。
【００２３】
請求項１４に記載の発明は、請求項１１〜１３の何れか一項に記載の画像処理プログラムにおいて、前記抽出機能を実現させる際に、前記撮影画像データから、少なくとも主要被写体の背景領域を抽出させることを特徴としている。
【００２４】
請求項１５に記載の発明は、請求項１４に記載の画像処理プログラムにおいて、前記抽出機能を実現させる際に、前記撮影画像データから、少なくとも人物の顔領域を抽出させることを特徴としている。
【発明の効果】
【００２５】
本発明によれば、撮影画像データから、配光条件に応じて決定された画像領域を抽出して、抽出された画像領域に基づいて天地判定を行うことにより、どのような撮影環境であっても天地判定の判定精度を向上させることができる。
【００２６】
また、撮影画像データから、配光条件に応じて決定された画像領域を抽出して、抽出された画像領域の特徴量と、配光条件の特徴量を入力信号としたニューラルネットワークを用いて天地を判定することにより、どのような撮影環境であっても天地判定の判定精度を向上させることができるとともに、ユーザの撮影状況が反映された天地判定を行うことができる。
【００２７】
更に、撮影時の配光条件として、逆光状態、フラッシュ光状態（ストロボ）になる頻度は高く、被写体の色味への影響も大きいため、先に配光条件を判別し、その判別結果に適した画像領域を抽出することにより、天地判定の精度を一層向上させることができる。
【００２８】
特に、背景領域に基づいて天地判定を行うと、判定精度を更に向上させることができる。また、撮影画像データに人物が含まれている場合、背景領域だけでなく人物の顔領域に基づいて天地判定を行うと、判定精度を一層高めることができる。
【発明を実施するための最良の形態】
【００２９】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
まず、図１〜３を参照して、本発明の実施形態１及び２に共通の構成として、本発明が適用された画像処理装置１の外観構成及び内部構成について説明する。
【００３０】
[実施形態１]
〈画像処理装置１の外観構成〉
図１は、本発明の実施形態１及び２における画像処理装置１の外観構成を示す斜視図である。図１に示すように、画像処理装置１には、筐体２の一側面に感光材料を装填するためのマガジン装填部３が設けられている。筐体２の内側には、感光材料に露光する露光処理部４と、露光された感光材料を現像処理して乾燥し、プリントを作成するプリント作成部５が設けられている。作成されたプリントは、筐体２の他側面に設けられたトレー６に排出される。
【００３１】
また、筐体２の上部には、表示装置としてのＣＲＴ（Cathode Ray Tube）８、透過原稿を読み込む装置であるフィルムスキャナ部９、反射原稿入力装置１０、操作部１１が備えられている。さらに、筐体２には、各種デジタル記録媒体に記録された画像情報を読み取り可能な画像読込部１４、各種デジタル記録媒体に画像信号を書き込み（出力）可能な画像書込部１５が備えられている。また、筐体２の内部には、これらの各部を集中制御する制御部７が備えられている。
【００３２】
画像読込部１４には、ＰＣカード用アダプタ１４ａ、フロッピー（登録商標）ディスク用アダプタ１４ｂが備えられ、ＰＣカード１３ａやフロッピー（登録商標）ディスク１３ｂが差し込み可能になっている。ＰＣカード１３ａは、デジタルカメラで撮像された複数の画像データが記録されたメモリを有する。フロッピー（登録商標）ディスク１３ｂには、例えば、デジタルカメラで撮像された複数の画像データが記録されている。その他、画像データを有する記録媒体としては、マルチメディアカード、メモリースティック、ＭＤ（Mini Disc）データ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等が挙げられる。
【００３３】
画像書込部１５には、フロッピー（登録商標）ディスク用アダプタ１５ａ、ＭＯ用アダプタ１５ｂ、光ディスク用アダプタ１５ｃが備えられ、各々、フロッピー（登録商標）ディスク１６ａ、ＭＯ１６ｂ、光ディスク１６ｃが差し込み可能になっており、画像情報を画像記録メディアに書き込むことができるようになっている。光ディスク１６ｃとしては、ＣＤ−Ｒ（Compact Disc-Recordable）、ＤＶＤ−Ｒ（Digital Versatile Disk-Recordable）等がある。
【００３４】
なお、図１では、操作部１１、ＣＲＴ８、フィルムスキャナ部９、反射原稿入力装置１０、画像読込部１４が、筐体２に一体的に備えられた構造となっているが、これらのいずれか１つ以上を別体として設けるようにしてもよい。
【００３５】
なお、図１に示した画像処理装置１では、感光材料に露光して現像してプリントを作成するものが例示されているが、プリント作成方式はこれに限定されず、例えば、インクジェット方式、電子写真方式、感熱方式、昇華方式等の方式を用いてもよい。
【００３６】
〈画像処理装置１の内部構成〉
図２に、画像処理装置１内部の主要部構成を示す。画像処理装置１は、図２に示すように、制御部７、露光処理部４、プリント作成部５、ＣＲＴ８、フィルムスキャナ部９、反射原稿入力装置１０、操作部１１、画像読込部１４、画像書込部１５、通信手段（入力）３２、通信手段（出力）３３、データ蓄積手段７１から構成される。
【００３７】
制御部７は、マイクロコンピュータにより構成され、ＲＯＭ（Read Only Memory）等の記憶部（図示略）に記憶されている画像処理プログラム等の各種制御プログラムと、ＣＰＵ（Central Processing Unit）（図示略）との協働により、画像処理装置１を構成する各部の動作を統括的に制御する。
【００３８】
制御部７は、画像処理部７０を有し、操作部１１からの入力信号（指令情報）に基づいて、フィルムスキャナ部９や反射原稿入力装置１０により取得した画像データ、画像読込部１４から読み込まれた画像データ、外部機器から通信手段（入力）３２を介して入力された画像データに対して、画像処理を施して出力用画像データを生成し、露光処理部４に出力する。また、画像処理部７０は、画像処理された画像データに対して出力形態に応じた変換処理を施して出力する。画像処理部７０の出力先としては、ＣＲＴ８、画像書込部１５、通信手段（出力）３３等がある。
【００３９】
露光処理部４は、感光材料に画像の露光を行い、この感光材料をプリント作成部５に出力する。プリント作成部５は、露光された感光材料を現像処理して乾燥し、プリントＰ１、Ｐ２、Ｐ３を作成する。プリントＰ１は、サービスサイズ、ハイビジョンサイズ、パノラマサイズ等のプリントであり、プリントＰ２は、Ａ４サイズのプリントであり、プリントＰ３は、名刺サイズのプリントである。
【００４０】
フィルムスキャナ部９は、アナログカメラにより撮像された現像済みのネガフィルムＮやリバーサルフィルム等の透過原稿に記録された画像を読み取る。
【００４１】
反射原稿入力装置１０は、図示しないフラットベッドスキャナにより、プリントＰ（写真プリント、書画、各種の印刷物）に形成された画像を読み取る。
【００４２】
操作部１１は、情報入力手段１２を有する。情報入力手段１２は、例えば、タッチパネル等により構成されており、情報入力手段１２の押下信号を入力信号として制御部７に出力する。なお、操作部１１は、キーボードやマウス等を備えて構成するようにしてもよい。ＣＲＴ８は、制御部７から入力された表示制御信号に従って、画像データ等を表示する。
【００４３】
画像読込部１４は、画像転送手段３０として、ＰＣカード用アダプタ１４ａ、フロッピー（登録商標）ディスク用アダプタ１４ｂ等を有し、ＰＣカード用アダプタ１４ａに差し込まれたＰＣカード１３ａや、フロッピー（登録商標）ディスク用アダプタ１４ｂに差し込まれたフロッピー（登録商標）ディスク１３ｂに記録された画像データを読み出して制御部７に転送する。ＰＣカード用アダプタ１４ａとしては、例えばＰＣカードリーダやＰＣカードスロット等が用いられる。
【００４４】
画像書込部１５は、画像搬送部３１として、フロッピー（登録商標）ディスク用アダプタ１５ａ、ＭＯ用アダプタ１５ｂ、光ディスク用アダプタ１５ｃを備えている。画像書込部１５は、制御部７から入力される書込信号に従って、フロッピー（登録商標）ディスク用アダプタ１５ａに差し込まれたフロッピー（登録商標）ディスク１６ａ、ＭＯ用アダプタ１５ｂに差し込まれたＭＯ１６ｂ、光ディスク用アダプタ１５ｃに差し込まれた光ディスク１６ｃに、生成された画像データを書き込む。
【００４５】
通信手段（入力）３２は、画像処理装置１が設置された施設内の別のコンピュータや、インターネット等を介した遠方のコンピュータから、撮像画像を表す画像データやプリント命令信号を受信する。
【００４６】
通信手段（出力）３３は、画像処理を施した後の撮影画像を表す画像データと注文情報を、画像処理装置１が設置された施設内の他のコンピュータや、インターネット等を介した遠方のコンピュータに対して送信する。
【００４７】
データ蓄積手段７１は、画像データとそれに対応する注文情報（どの駒の画像から何枚プリントを作成するかの情報、プリントサイズの情報等）とを記憶し、順次蓄積する。
【００４８】
〈画像処理部７０の構成〉
図３に、画像処理部７０内部の主要部構成を示す。画像処理部７０は、図３に示すように、フィルムスキャンデータ処理部７０１、反射原稿スキャンデータ処理部７０２、画像データ書式解読処理部７０３、画像調整処理部７０４、ＣＲＴ固有処理部７０５、プリンタ固有処理部（１）７０６、プリンタ固有処理部（２）７０７、画像データ書式作成処理部７０８から構成される。
【００４９】
フィルムスキャンデータ処理部７０１は、フィルムスキャナ部９から入力された画像データに対し、フィルムスキャナ部９固有の校正操作・ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、粒状ノイズ除去、鮮鋭化強調等を施し、画像調整処理部７０４に出力する。また、フィルムスキャンデータ処理部７０１は、フィルムサイズ、ネガポジ種別、フィルムに光学的あるいは磁気的に記録されたＩＳＯ（International Organization for Standardization）感度、メーカー名、主要被写体に関わる情報・撮影条件に関する情報（例えばＡＰＳ（Advanced Photo System）の記載情報内容）等も併せて画像調整処理部７０４に出力する。
【００５０】
反射原稿スキャンデータ処理部７０２は、反射原稿入力装置１０から入力された画像データに対し、反射原稿入力装置１０固有の校正操作、ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、ノイズ除去、鮮鋭化強調等を施し、画像調整処理部７０４に出力する。
【００５１】
画像データ書式解読処理部７０３は、画像転送手段３０や通信手段（入力）３２から入力された画像データのデータ書式に従って、必要に応じて圧縮符号の復元、色データの表現方法の変換等を行い、画像処理部７０内の演算に適したデータ形式に変換し、画像調整処理部７０４に出力する。
【００５２】
画像調整処理部７０４は、操作部１１又は制御部７の指令に基づいて、フィルムスキャナ部９、反射原稿入力装置１０、画像転送手段３０、通信手段（入力）３２から受け取った画像に対して各種画像処理を行い、ＣＲＴ固有処理部７０５、プリンタ固有処理部（１）７０６、プリンタ固有処理部（２）７０７、画像データ書式作成処理部７０８、データ蓄積手段７１へ処理済みの画像データを出力する。実施形態１の画像調整処理部７０４で実行される画像処理については、後に図４〜図１６を参照して詳細に説明する。
【００５３】
ＣＲＴ固有処理部７０５は、画像調整処理部７０４から入力された画像データに対して、必要に応じて画素数変更やカラーマッチング等の処理を施し、制御情報等表示が必要な情報と合成した表示用の画像データをＣＲＴ８に出力する。
【００５４】
プリンタ固有処理部（１）７０６は、画像調整処理部７０４から入力された画像データに対して、必要に応じてプリンタ固有の校正処理、カラーマッチング、画素数変更等を行い、露光処理部４に出力する。
【００５５】
画像処理装置１に、大判インクジェットプリンタ等の外部プリンタ３４が接続されている場合には、接続されたプリンタ毎にプリンタ固有処理部（２）７０７が設けられている。このプリンタ固有処理部（２）７０７は、画像調整処理部７０４から入力された画像データに対して、適正なプリンタ固有の校正処理、カラーマッチング、画素数変更等を行う。
【００５６】
画像データ書式作成処理部７０８は、画像調整処理部７０４から入力された画像データに対して、必要に応じてＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、Ｅｘｉｆ（Exchangeable Image File Format）等に代表される各種の汎用画像フォーマットへの変換を行い、画像搬送部３１や通信手段（出力）３３に出力する。
【００５７】
なお、フィルムスキャンデータ処理部７０１、反射原稿スキャンデータ処理部７０２、画像データ書式解読処理部７０３、画像調整処理部７０４、ＣＲＴ固有処理部７０５、プリンタ固有処理部（１）７０６、プリンタ固有処理部（２）７０７、画像データ書式作成処理部７０８という区分は、画像処理部７０の機能の理解を助けるために設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、例えば、単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されてもよい。また、本実施形態１及び２における画像処理装置１は、上述の内容に限定されるものではなく、デジタルフォトプリンタ、プリンタドライバ、各種の画像処理ソフトのプラグイン等、種々の形態に適用することができる。
【００５８】
次に、本実施形態１における動作について説明する。
まず、図４のフローチャートを参照して、画像調整処理部７０４において実行される画像処理全体の流れを説明する。
【００５９】
まず、フィルムスキャナ部９、反射原稿入力装置１０、画像転送手段３０、通信手段（入力）３２等を介して、画像処理対象の撮影画像データが取得され（ステップＳ１）、その取得された撮影画像データから撮影時の配光条件（光源状態）を判別する配光条件判別処理が行われる（ステップＳ２）。撮影時の配光条件には、順光、逆光、ストロボ（フラッシュ光利用状態）が含まれる。ステップＳ２の配光条件判別処理については、後に図５を参照して詳細に説明する。
【００６０】
次いで、ステップＳ２において判別された配光条件に基づいて、所定の画像領域の抽出条件が決定され（ステップＳ３）、その決定された抽出条件に従って、撮影画像データから画像領域が抽出される（ステップＳ４）。ここで、所定の画像領域には、空領域、顔領域（人物が撮影された場合）が含まれる。撮影画像データから空領域を抽出する処理、撮影画像データから顔領域を抽出する処理については、後に図１６を参照して詳細に説明する。
【００６１】
次いで、ステップＳ４において抽出された画像領域に基づいて、撮影画像データの天地を判定する天地判定処理が行われ（ステップＳ５）、本画像処理が終了する。ステップＳ５では、撮影画像データ全体に対する空領域の位置から、当該撮影画像データの天方向（上方向）が判定される。また、撮影画像データから顔領域が更に抽出された場合、空領域と顔領域との位置関係から、天地を確実に判定することができる。
【００６２】
次に、図５のフローチャートを参照して、図４のステップＳ２に示した配光条件判別処理について説明する。
【００６３】
まず、撮影画像データが所定の画像領域に分割され、各分割領域が撮影画像データ全体に占める割合を示す占有率を算出する占有率算出処理が行われる（ステップＳ６）。占有率算出処理については、後に図６及び図１２を参照して詳細に説明する。
【００６４】
次いで、ステップＳ６において算出された占有率と、撮影条件に応じて予め設定された係数に基づいて、配光条件を特定する（光源状態を定量的に表す）指標（指標１〜５）が算出される（ステップＳ７）。ステップＳ７における指標算出処理は、後に詳細に説明する。
【００６５】
次いで、ステップＳ７において算出された指標に基づいて撮影画像データの配光条件が判別され（ステップＳ８）、本配光条件判別処理が終了する。配光条件の判別方法は、後に詳細に説明する。
【００６６】
次に、図６のフローチャートを参照して、図５のステップＳ６に示した占有率算出処理について詳細に説明する。
【００６７】
まず、撮影画像データのＲＧＢ値がＨＳＶ表色系に変換される（ステップＳ１０）。図７は、ＲＧＢからＨＳＶ表色系に変換することにより色相値、彩度値、明度値を得る変換プログラム（ＨＳＶ変換プログラム）の一例を、プログラムコード（ｃ言語）により示したものである。図７に示すＨＳＶ変換プログラムでは、入力画像データであるデジタル画像データの値を、InR、InG、InBと定義し、算出された色相値をOutHとし、スケールを0〜360と定義し、彩度値をOutS、明度値をOutVとし、単位を0〜255と定義している。
【００６８】
次いで、撮影画像データが、所定の明度と色相の組み合わせからなる領域に分割され、分割領域毎に累積画素数を算出することにより２次元ヒストグラムが作成される（ステップＳ１１）。以下、撮影画像データの領域分割について詳細に説明する。
【００６９】
明度（V）は、明度値が0〜25(v1)、26-50(v2)、51〜84(v3)、85〜169(v4)、170〜199(v5)、200〜224(v6)、225〜255(v7)の７つの領域に分割される。色相(H)は、色相値が0〜39、330〜359の肌色色相領域（H1及びH2）、色相値が40〜160の緑色色相領域（H3）、色相値が161〜250の青色色相領域（H4）、赤色色相領域（H5）の４つの領域に分割される。なお、赤色色相領域（H5）は、配光条件の判別への寄与が少ないとの知見から、以下の計算では用いていない。肌色色相領域は、更に、肌色領域（H1）と、それ以外の領域（H2）に分割される。以下、肌色色相領域（H＝0〜39、330〜359）のうち、下記の式（１）を満たす色相'(H)を肌色領域（H1）とし、式（１）を満たさない領域を（H2）とする。
10 ＜ 彩度(S) ＜175、
色相'(H) = 色相(H) + 60 (0 ≦ 色相(H) < 300のとき)、
色相'(H) = 色相(H) - 300 (300 ≦ 色相(H) < 360のとき)、
輝度Y = InR × 0.30 + InG × 0.59 + InB × 0.11
として、
色相'(H)／輝度(Y) ＜ 3.0 ×(彩度(S)／255)＋0.7 （１）
従って、撮影画像データの分割領域の数は４×７＝２８個となる。なお、式（１）において明度(V)を用いることも可能である。
【００７０】
２次元ヒストグラムが作成されると、分割領域毎に算出された累積画素数の全画素数（撮影画像全体）に占める割合を示す第１の占有率が算出され（ステップＳ１２）、本占有率算出処理が終了する。明度領域vi、色相領域Hjの組み合わせからなる分割領域において算出された第１の占有率をRijとすると、各分割領域における第１の占有率は表１のように表される。
【表１】
【００７１】
次に、指標１及び指標２の算出方法について説明する。
表２に、判別分析により得られた、ストロボ撮影としての確度、即ち、ストロボ撮影時の顔領域の明度状態を定量的に示す指標１を算出するために必要な第１の係数を分割領域別に示す。表２に示された各分割領域の係数は、表１に示した各分割領域の第１の占有率Rijに乗算する重み係数である。
【表２】
【００７２】
図８に、明度（v）−色相（H）平面を示す。表２によると、図８において高明度の肌色色相領域に分布する領域(r1)から算出される第１の占有率には、正(+)の係数が用いられ、それ以外の色相である青色色相領域(r2)から算出される第１の占有率には、負(-)の係数が用いられる。図１０は、肌色領域（H1）における第１の係数と、その他の領域（緑色色相領域（H3））における第１の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。表２及び図１０によると、高明度（V＝170〜224）の領域では、肌色領域（H1）における第１の係数の符号は正(+)であり、その他の領域（例えば、緑色色相領域（H3））における第１の係数の符号は負(-)であり、両者の符号が異なっていることがわかる。
【００７３】
明度領域vi、色相領域Hjにおける第１の係数をCijとすると、指標１を算出するためのHk領域の和は、式（２）のように定義される。
【数１】
従って、H1〜H4領域の和は、下記の式(2-1)〜式(2-4)のように表される。
H1領域の和＝R11×(-44.0)＋R21×(-16.0)＋（中略）...＋R71×(-11.3) (2-1)
H2領域の和＝R12×0.0＋R22×8.6＋（中略）... ＋R72×(-11.1) (2-2)
H3領域の和＝R13×0.0＋R23×(-6.3)＋（中略）...＋R73×(-10.0) (2-3)
H4領域の和＝R14×0.0＋R24×(-1.8)＋（中略）...＋R74×(-14.6) (2-4)
【００７４】
指標１は、式（2-1）〜（2-4）で示されたH1〜H4領域の和を用いて、式（３）のように定義される。
指標１＝H1領域の和＋H2領域の和＋H3領域の和＋H4領域の和＋4.424 （３）
【００７５】
表３に、判別分析により得られた、逆光撮影としての確度、即ち、逆光撮影時の顔領域の明度状態を定量的に示す指標２を算出するために必要な第２の係数を分割領域別に示す。表３に示された各分割領域の係数は、表１に示した各分割領域の第１の占有率Rijに乗算する重み係数である。
【表３】
【００７６】
図９に、明度（v）−色相（H）平面を示す。表３によると、図９において肌色色相領域の中間明度に分布する領域(r4)から算出される占有率には負(-)の係数が用いられ、肌色色相領域の低明度（シャドー）領域(r3)から算出される占有率には正(+)の係数が用いられる。図１１は、肌色領域（H1）における第２の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。表３及び図１１によると、肌色色相領域の、明度値が85〜169(v4)の中間明度領域の第２の係数の符号は負(-)であり、明度値が26〜84(v2,v3)の低明度（シャドー）領域の第２の係数の符号は正(+)であり、両領域での係数の符号が異なっていることがわかる。
【００７７】
明度領域vi、色相領域Hjにおける第２の係数をDijとすると、指標２を算出するためのHk領域の和は、式（４）のように定義される。
【数２】
従って、H1〜H4領域の和は、下記の式(4-1)〜式(4-4)のように表される。
H1領域の和＝R11×(-27.0)＋R21×4.5＋（中略）...＋R71×(-24.0) (4-1)
H2領域の和＝R12×0.0＋R22×4.7＋（中略）... ＋R72×(-8.5) (4-2)
H3領域の和＝R13×0.0＋R23×0.0＋（中略）...＋R73×0.0 (4-3)
H4領域の和＝R14×0.0＋R24×(-5.1)＋（中略）...＋R74×7.2 (4-4)
【００７８】
指標２は、式（4-1）〜（4-4）で示されたH1〜H4領域の和を用いて、式（５）のように定義される。
指標２＝H1領域の和＋H2領域の和＋H3領域の和＋H4領域の和＋1.554 （５）
指標１及び指標２は、撮影画像データの明度と色相の分布量に基づいて算出されるため、撮影画像データがカラー画像である場合の配光条件の判別に有効である。
【００７９】
次に、図１２のフローチャートを参照して、指標３を算出するための占有率算出処理（図５のステップＳ６）について詳細に説明する。
【００８０】
まず、撮影画像データのＲＧＢ値がＨＳＶ表色系に変換される（ステップＳ２０）。次いで、撮影画像データが、撮影画像画面の外縁からの距離と明度の組み合わせからなる領域に分割され、分割領域毎に累積画素数を算出することにより２次元ヒストグラムが作成される（ステップＳ２１）。以下、撮影画像データの領域分割について詳細に説明する。
【００８１】
図１３（ａ）〜（ｄ）に、撮影画像データの画面の外縁からの距離に応じて分割された４つの領域ｎ１〜ｎ４を示す。図１３（ａ）に示す領域ｎ１が外枠であり、図１３（ｂ）に示す領域ｎ２が、外枠の内側の領域であり、図１３（ｃ）に示す領域ｎ３が、領域ｎ２の更に内側の領域であり、図１３（ｄ）に示す領域ｎ４が、撮影画像画面の中心部の領域である。また、明度は、上述のようにv1〜v7の７つの領域に分割するものとする。従って、撮影画像データを、撮影画像画面の外縁からの距離と明度の組み合わせからなる領域に分割した場合の分割領域の数は４×７＝２８個となる。
【００８２】
２次元ヒストグラムが作成されると、分割領域毎に算出された累積画素数の全画素数（撮影画像全体）に占める割合を示す第２の占有率が算出され（ステップＳ２２）、本占有率算出処理が終了する。明度領域vi、画面領域njの組み合わせからなる分割領域において算出された第２の占有率をQijとすると、各分割領域における第２の占有率は表４のように表される。
【表４】
【００８３】
次に、指標３の算出方法について説明する。
表５に、指標３を算出するために必要な第３の係数を分割領域別に示す。表５に示された各分割領域の係数は、表４に示した各分割領域の第２の占有率Qijに乗算する重み係数であり、判別分析により得られる。
【表５】
図１４は、画面領域ｎ１〜ｎ４における第３の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。
【００８４】
明度領域vi、画面領域njにおける第３の係数をEijとすると、指標３を算出するためのnk領域（画面領域nk）の和は、式（６）のように定義される。
【数３】
従って、n1〜n4領域の和は、下記の式(6-1)〜式(6-4)のように表される。
n1領域の和＝Q11×40.1＋Q21×37.0＋（中略）...＋Q71×22.0 (6-1)
n2領域の和＝Q12×(-14.8)＋Q22×(-10.5)＋（中略）...＋Q72×0.0 (6-2)
n3領域の和＝Q13×24.6＋Q23×12.1＋（中略）...＋Q73×10.1 (6-3)
n4領域の和＝Q14×1.5＋Q24×(-32.9)＋（中略）...＋Q74×(-52.2) (6-4)
【００８５】
指標３は、式（6-1）〜（6-4）で示されたN1〜H4領域の和を用いて、式（７）のように定義される。
指標３＝n1領域の和＋n2領域の和＋n3領域の和＋n4領域の和−12.6201 （７）
指標３は、撮影画像データの明度の分布位置による構図的な特徴（撮影画像データの画面の外縁からの距離）に基づいて算出されるため、カラー画像だけでなくモノクロ画像の配光条件を判別するのにも有効である。
【００８６】
指標４は、指標１及び指標３を用いて式（８）のように定義され、指標５は、指標１〜３を用いて式（９）のように定義される。
指標４＝0.565×指標１＋0.565×指標３＋0.457 （８）
指標５＝(-0.121)×指標１＋0.91×指標２＋0.113×指標３−0.072 （９）
ここで、式（８）及び式（９）において各指標に乗算される重み係数は、撮影条件に応じて予め設定されている。
【００８７】
〈配光条件の判別方法〉
次に、配光条件の判別方法について説明する。
図１５は、順光、逆光、ストロボの各配光条件で６０枚ずつ撮影し、合計１８０枚のデジタル画像データについて、指標４、５を算出し、各配光条件での指標４、５の値をプロットしたものである。図１５によれば、指標４の値が０．５より大きい場合、ストロボシーンが多く、指標４の値が０．５以下で、指標５の値が−０．５より大きい場合、逆光シーンが多いことがわかる。表６に、指標４、５の値による配光条件の判別内容を示す。
【表６】
このように指標４、５の値により配光条件を定量的に判別することができる。
【００８８】
次に、図１６のフローチャートを参照して、図４のステップＳ３及びＳ４に示した画像領域抽出処理について説明する。
【００８９】
まず、図１６（ａ）のフローチャートを参照して、画像領域として領域１（空）領域を抽出する処理について説明する。
【００９０】
まず、配光条件判別処理（図５参照）において判別された配光条件から配光状態が判定される（ステップＳ３０）。配光状態が逆光である場合（ステップＳ３０；逆光）、逆光に対応する領域１（空）領域の抽出条件が決定される（ステップＳ３１）。次いで、ステップＳ３１で決定された抽出条件に従って、領域１（空）として、撮影画像データから白色の背景領域が抽出され（ステップＳ３２）、本領域１（空）抽出処理が終了する。逆光の場合、撮影画像データ中では、空の色が実際の空の色よりも白っぽく薄い水色に偏ることが多いため、略白乃至薄水色の平坦乃至なだらかな勾配を有する領域を抽出するような抽出条件にすることで、該当する領域を高精度に抽出することができる。
【００９１】
配光状態が順光である場合（ステップＳ３０；順光）、順光に対応する領域１（空）領域の抽出条件（空色（水色）領域の抽出）が決定される（ステップＳ３３）。次いで、ステップＳ３３で決定された抽出条件に従って、領域１（空）として、撮影画像データから空色（水色）の背景領域が抽出され（ステップＳ３４）、本領域１（空）抽出処理が終了する。
【００９２】
配光状態がストロボである場合（ステップＳ３０；ストロボ）、ストロボに対応する領域１（空）の抽出条件が決定される（ステップＳ３５）。次いで、ステップＳ３５で決定された抽出条件に従って、領域１（空）として、撮影画像データから黒色の背景領域が抽出され（ステップＳ３６）、本領域１（空）抽出処理が終了する。ストロボの場合、周囲が暗い場合に撮影されることが多いため、明度の低い（暗い）空色相当の色相領域を抽出するような抽出条件にすればよい。但し、夜間を想定した極低い明度の領域を抽出する場合には、色相の値が計算上不安定になるため、色相の指定を抽出条件から除外する方が好ましい。
【００９３】
次に、図１６（ｂ）のフローチャートを参照して、画像領域として領域２（顔）領域を抽出する処理について説明する。
【００９４】
まず、配光条件判別処理（図５参照）において判別された配光条件から配光状態が判定される（ステップＳ４０）。配光状態が逆光である場合（ステップＳ４０；逆光）、逆光に対応する顔候補領域の抽出条件（低明度の肌色領域の抽出）が決定され（ステップＳ４１）、その決定された抽出条件に従って、撮影画像データから低明度の肌色領域が抽出される（ステップＳ４２）。
【００９５】
配光状態が順光である場合（ステップＳ４０；順光）、順光に対応する顔候補領域の抽出条件（所定の肌色領域の抽出）が決定され（ステップＳ４３）、その決定された抽出条件に従って、撮影画像データから所定の肌色領域が抽出される（ステップＳ４４）。
【００９６】
配光状態がストロボである場合（ステップＳ４０；ストロボ）、ストロボに対応する顔候補領域の抽出条件（略白から高明度の肌色領域の抽出）が決定され（ステップＳ４５）、その決定された抽出条件に従って、撮影画像データから、略白から高明度の肌色領域が抽出される（ステップＳ４６）。
【００９７】
ステップＳ４２、Ｓ４４及びＳ４６で適用される顔候補領域の抽出処理として、単純領域拡張法を利用することができる。単純領域拡張法とは、画素間のデータ差が閾値以下の互いに隣接する画素を同一画像領域に属するものとして当該領域を拡張していくことにより画像領域の抽出を行う画像処理方法である。即ち、指定された特定条件に合致する初期画素から出発し、当該初期画素に対して隣接する画素（４連結、８連結の何れでも可）のデータ差が閾値以下である場合に当該隣接画素と初期画素とを同一画像領域に属するものとし、更に、当該同一画素に属するとした画素に対し隣接する画素についても同様の判定を行っていき、初期画素から出発して同一領域を除々に拡張させることによって画像領域の抽出を行う画像処理方法である。本実施形態では、更に、画像中のエッジ成分を抽出し、画像エッジに達した場合に単純領域拡張を終了することで、顔候補領域を確定する処理を用いることが好ましい。
【００９８】
初期画素の特定条件としては、人物の肌を表す画素を特定する条件を採用すればよい。人物の肌を表す画素を特定する条件としては、予め決められたＲＧＢ値に基づいて設定されるものであればよく、人物の肌色は略同一の光源下では一定範囲内の色相値を有するため、肌色の初期画素は、色相を規定した条件に基づいて選択するのが好ましい。例えば、ＨＳＶ表色系の色相値（Hue）で０〜３０及び３３０〜３５９の範囲の画素を選択するのが好ましい。
【００９９】
また、彩度（Satulation）を合わせて規定することも好ましい。色相、彩度を規定した条件は、撮影時の光源種により変更されるのが好ましく、更に、撮影時の光源種は公知の方法により自動的に判別されるのが好ましい。
【０１００】
更に、初期画素の特定条件に、明るさに関する配光条件に応じた条件を加えればよい。Th1、Th2、Th3、Th4、Th5、Th6を、抽出対象の領域の明るさを制限するための閾値とし、領域内における明るさを表すパラメータ（例えば、輝度成分の平均値）をVaveとすると、予め、個々の配光状態にある複数の顔画像のＲＧＢ値に基づいて、下記の関係式を満たすように設定されるものであればよい。
逆光 ：Th1＜Vave＜Th2
順光 ：Th3＜Vave＜Th4
ストロボ：Th5＜Vave＜Th6
ここで、Th1〜6は、Th1＜ Th2 ≦ Th3 ＜ Th4 ≦ Th5 ＜ Th6 を満たしており、例えば、
逆光 ：２０＜Vave＜６５
順光 ：６５＜Vave＜２００
ストロボ：２００＜Vave＜２５５
の条件を設定すればよい。また、処理能力に余裕があれば、下記式のような条件（範囲が重なっている場合）を設けると、顔候補領域の抽出精度を向上させることができる。
Th1＜Th3＜Th5
Th2＜Th4＜Th6
Th1＜Th2＜Th3
Th5＜Th4＜Th6
【０１０１】
ステップＳ４２、Ｓ４４、Ｓ４６の何れか一つにおいて顔候補領域が抽出されると、その抽出された顔候補領域から顔領域を抽出するために、当該顔候補領域に対して顔判定処理が行われる（ステップＳ４７）。そして、顔判定処理の判定結果に基づいて顔候補領域から顔領域が抽出され（ステップＳ４８）、本領域２（顔）抽出処理が終了する。
【０１０２】
ステップＳ４７の顔判定処理は、パターンマッチングやニューラルネットワークを用いた公知の判定方法を適用することが可能である。例えば、抽出された顔候補領域から目画素、口画素等の特徴部位を抽出し、顔候補領域に対する特徴部位の面積率、当該顔候補領域の平均色相値、平均彩度値等を入力信号、顔らしさを表すパラメータを出力信号としたニューラルネットワークを用いて、当該顔候補領域が顔であるか否かを判定することができる。
【０１０３】
以上のように、本実施形態１の画像処理装置１によれば、撮影画像データから、配光条件に応じて決定された画像領域を抽出して、抽出された画像領域に基づいて天地判定を行うことにより、どのような撮影環境であっても天地判定の判定精度を向上させることができる。
【０１０４】
特に、空のようなテクスチャの少ない背景領域に基づいて天地判定を行うと、判定精度を更に向上させることができる。また、撮影画像データに人物が含まれている場合、背景領域だけでなく人物の顔領域に基づいて天地判定を行うと、背景領域と顔領域との位置関係を考慮した天地判定を行うことができるため、判定精度を一層高めることができる。
【０１０５】
[実施形態２]
次に、図１７〜図２２を参照して、本発明の実施形態２について説明する。
実施形態２の画像処理装置の外観構成及び内部構成は、実施形態１において図１〜３に示した構成と同一ゆえ、以下では、実施形態１と同一の符号を用い、構成説明を省略する。
【０１０６】
次に、本実施形態２の画像処理装置１における動作について説明する。
まず、図１７のフローチャートを参照して、実施形態２の画像調整処理部７０４において実行される画像処理全体の流れについて説明する。
【０１０７】
まず、フィルムスキャナ部９、反射原稿入力装置１０、画像転送手段３０、通信手段（入力）３２等を介して、画像処理対象の撮影画像データが取得され（ステップＳ５０）、その取得された撮影画像データから撮影時の配光条件（光源状態）を判別する配光条件判別処理が行われる（ステップＳ５１）。ステップＳ５１の配光条件判別処理は、実施形態１において図５に示した処理と同一である。
【０１０８】
次いで、ステップＳ５１において判別された配光条件に基づいて、所定の画像領域の抽出条件が決定され（ステップＳ５２）、その決定された抽出条件に従って、撮影画像データから画像領域が抽出される（ステップＳ５３）。ステップＳ５２及びＳ５３の処理は、実施形態１において図１６に示した処理と同一である。
【０１０９】
次いで、ステップＳ５３において抽出された画像領域から所定の特徴量を算出する特徴量算出処理が行われる（ステップＳ５４）。ここで、所定の特徴量とは、抽出された画像領域の重心、面積率、色値の勾配等のデータである。ステップＳ５４の特徴量算出処理については、後に図１８を参照して詳細に説明する。
【０１１０】
次いで、ステップＳ５４において算出された特徴量と、ステップＳ５１において判別された配光条件に基づいて算出された特徴量を入力信号として、ニューラルネットワークを用いて撮影画像データの天地判定が行われ（ステップＳ５５）、本画像処理が終了する。ここで、配光条件に基づいて算出された特徴量とは、順光度（順光の程度）、逆光度（逆光の程度）、ストロボ度（ストロボの程度）であり、指標４、５の値に基づいて算出される。ステップＳ５５のニューラルネットワークを用いた天地判定処理については、後に図２１及び図２２を参照して詳細に説明する。
【０１１１】
次に、図１８のフローチャートを参照して、図１７のステップＳ５４に示した特徴量算出処理について詳細に説明する。
【０１１２】
図１６（ａ）の領域１（空）抽出処理により領域１（空）が抽出されると、領域１の特徴量１として、領域１の重心が算出され（ステップＳ６０）、特徴量２として、領域１の面積率が算出され（ステップＳ６１）、特徴量３として、領域１の色値の勾配（グラデーションの方向）が算出される（ステップＳ６２）。領域１の面積率とは、領域１が、撮影画像データ全体を構成する画素数に対してどの程度の比率を占めるかを示すパラメータであり、（領域１の画素数）／（撮影画像データ全体の画素数）として求められる。
【０１１３】
また、領域１のその他の特徴量ｎとして、明度・色相・彩度の統計値、明度・色相・彩度の勾配、領域１が画像の４辺を占める割合等も算出される（ステップＳ６３）。
【０１１４】
また、図１６（ｂ）の領域２（顔）抽出処理により領域２（顔）が抽出されると、領域２の特徴量１として、領域２の重心が算出され（ステップＳ７０）、特徴量２として、領域２の面積率が算出され（ステップＳ７１）、特徴量３として、領域２の個数（即ち、顔の個数）が算出される（ステップＳ７２）。また、領域２のその他の特徴量ｎも算出される（ステップＳ７３）。
【０１１５】
〈ニューラルネットワーク〉
次に、図１７の天地判定処理（ステップＳ５５）において使用されるニューラルネットワークについて簡単に説明する。このニューラルネットワークは、図１９に示すように、入力層、中間層、及び出力層を有する階層型のニューラルネットワーク（以下、単にニューラルネットワークという。）である。ニューラルネットワークは、デジタルニューラルネットワークチップを利用することが望ましいが、汎用のＤＳＰ（Digital Signal Processor）と専用のエミュレートプログラムを用いても実現することができるし、通常のＣＰＵとエミュレートプログラムを用いても構わない。
【０１１６】
ニューラルネットワークの各層は、ニューロンと呼ばれる構成単位からなっている。入力層を除けば、任意のニューロンは図２０に示すようにシナプスと呼ばれる入力を多数受け取り、各々の入力値ｘiに対して結合強度と呼ばれる所定の重みｗiを掛けてその総和を求め、それを所定の出力関数ｆで評価した結果を出力ｙとして与える機能素子として機能する。出力関数ｆは、式（１０）のように表される。
【数４】
ここで、ｆ（ｘ）は一般に式（１１）に示すような非線形のシグモイド関数が用いられるが、必ずしもこれに限定されるわけではない。
【数５】
【０１１７】
ここで、各ニューロンの入力の重みｗiはニューラルネットワークの入力・出力の関係、言い替えればニューラルネットワークの動作を決定する重要な情報であり、ニューラルネットワークに対して学習作業を行うことによって決定する。なお、図１９では中間層は１層のみ記してあるが、これは１以上の任意の階層の構成とすることができる。階層型ネットワークでは、中間層は１層あれば、合成可能な任意の関数を実現できることが知られているが、中間層を多くした方が学習効率や、ニューロンの個数の点から有利であることが知られている。
【０１１８】
ニューラルネットワークは以下のような特徴を有している。
（１）比較的単純な構成でありながら、多入力・多出力の非線形システムを実現できる。（２）各層内の各ニューロンは独立して動作させることができ、並列処理によって高速な動作が期待できる。
（３）適切な教師データを与えて学習させることにより、任意の入出力関係を実現させることができる。
（４）系として汎化能力がある。すなわち、必ずしも教師データとして与えていない、未学習の入力パターンに対しても、おおむね正しい出力を与える能力がある。
【０１１９】
ここで、教師データとは、入力パターンと、その入力パターンに対する望ましい出力パターンの対であり、通常複数個用意する。特定の入力パターンに対して望ましい出力パターンを決定する作業は、一般に熟練者の主観的な判断に頼って決定する。ニューラルネットワークの主な応用としては（ａ）非線形の関数近似、（ｂ）クラスタリング（識別、認識、分類）が挙げられる。
【０１２０】
一般に非線形関数近似は実現が容易であり、汎化能力も高い系を得やすい。一方、クラスタリングへの応用は教師データへの依存性が高く、かつ複雑な入力に関しては、複数の教師データ相互の間に矛盾関係が存在する可能性が高い。このため、クラスタリングへ応用した場合には、入力が非常に簡単な場合を除けば、結果的に汎化能力が低いのみならず、特定の教師データに対する適合性という意味でも不満足な系しか得られないことも少なくない。
【０１２１】
次に、ニューラルネットワークに対する教師データを用いた学習方法について説明する。ｐ番目の入力パターンに対する、第Ｌ層のi番目のニューロンの状態を式（１２）及び式（１３）のように表現する。
【数６】
【数７】
ここで、式（１２）の関数ｆ（ｘ）は、式（１１）に示した非線形のシグモイド関数、ＹiLはニューロンの出力、ＵiLはニューロンの内部状態、Ｙi＜Ｌ−１＞はL−１層のニューロンの出力＝Ｌ層のニューロンの入力、ｗij＜Ｌ＞は結合強度である。
【０１２２】
このように定義した場合に、広く用いられている誤差逆伝搬学習法（バックプロパゲーション学習法、以下ＢＰ法と略す。）では、誤差評価関数として平均自乗誤差を用いて、以下のようにエラーＥを定義する。
【数８】
ただしｋは出力層の番号であり、Ｔi（ｐ）はｐ番目の入力パターンに対する望ましい出力パターンである。
【０１２３】
この場合、ＢＰ法に基づく各結合強度の修正量Δｗは次式で定められる。
【数９】
ここで、∂は偏微分記号（ラウンド）、ηは学習率を表す係数である。Δｗij＜Ｌ＞を各々のｗij＜Ｌ＞に加算することによって学習が進む。なお、この形式のＢＰ法では学習が進んだ結果、教師データとの誤差の絶対値が小さくなってくると、Δｗの絶対値も小さくなり、学習が進まなくなるという現象が指摘されており、その問題点を回避するために、種々の改良が提案されている。
【０１２４】
例えば、Δｗの定義を次のように変更するという提案がある。
【数１０】
式（１６）の第二項は慣性項（モーメンタム項）と呼ばれ、現在の修正量だけでなく、過去の修正量も考慮することで収束時の振動を抑え、学習を高速化する効果がある。安定化定数αは1．0以下の正の実数で、過去の修正量の考慮の度合いを規定する係数である。
【０１２５】
あるいは、学習率ηを学習回数ｎに応じて、次式を満たすように動的に変化させるという提案もある。
【数１１】
【０１２６】
さらには、エラーの評価を平均自乗誤差ではなく、シグモイド関数の導関数を打ち消すような形式にするという提案もある。いずれにせよ、ＢＰ法を用いて十分な回数学習作業を施すことにより、教師データに対して近似した出力を得ることができるようになる。
【０１２７】
図２１に、実施形態２の天地判定処理で適用されるニューラルネットワークの一例を示す。ここで用いるニューラルネットワークは、領域１（空）の特徴量１、特徴量２及び特徴量ｎ、領域２（顔）の特徴量１、特徴量２及び特徴量ｎ、配光条件に基づいて算出された特徴量（逆光の程度、ストロボの程度等）を入力信号とし、画像のｘ方向（横方向）における天方向を表す出力値Outx、画像のｙ方向（縦方向）における天方向を表す出力値Outyを出力信号とするニューラルネットワークである。
【０１２８】
図２２に、出力値Outx、Outyと、画像の天方向の関係を示す。例えば、Outxが、画像の左から右に向かって0.0〜1.0の範囲の値をとる場合、Outx〜1.0であれば、画像の右方向を天方向とし、Outx〜0.0であれば、画像の左方向を天方向とする。また、Outyが、画像の下から上に向かって0.0〜1.0の範囲の値を取る場合、Outy〜1.0であれば、画像の上方向を天方向とし、Outy〜0.0であれば、画像の下方向を天方向とする。従って、この２つの出力値Outx、Outyの大小に応じて、天方向を決定することができる。例えば、Outx〜0.5で、Outy〜1.0である場合、上方向が天方向であるとみなされる。
【０１２９】
なお、図２１では、出力層の要素数が２個になっているが、上下左右の４方向に対応して４個にしてもよい。また、ニューラルネットワークの構成は、中間層の数が２層以上でもよく、各層の要素数も合わせて最も認識率が高くなるように決定すればよい。
【０１３０】
以上のように、本実施形態２の画像処理装置１によれば、撮影画像データから、配光条件に応じて決定された画像領域を抽出して、抽出された画像領域の特徴量と、配光条件の特徴量を入力信号、画像の天方向を表す出力値を出力信号としたニューラルネットワークを用いて天地を判定することにより、どのような撮影環境であっても天地判定の判定精度を向上させることができるとともに、ユーザの撮影状況が反映された天地判定を行うことができる。
【０１３１】
特に、空などのテクスチャの少ない背景領域から算出された特徴量に基づいて天地判定を行うと、判定精度を更に向上させることができる。また、撮影画像データに人物が含まれている場合、空領域だけでなく人物の顔領域を抽出し、空領域の特徴量及び顔領域の特徴量に基づいて天地判定を行うと、ユーザの撮影意図にそった天地判定を行うことができ、天地判定の判定精度を一層高めることができる。
【０１３２】
なお、上記各実施形態及びにおける記述内容は、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
【図面の簡単な説明】
【０１３３】
【図１】本発明の実施形態１及び２における画像処理装置の外観構成を示す斜視図。
【図２】実施形態１及び２の画像処理装置の主要部構成を示すブロック図。
【図３】図２の画像処理部の主要部構成を示すブロック図。
【図４】実施形態１の画像調整処理部において実行される画像処理全体の流れを示すフローチャート。
【図５】配光条件判別処理を示すフローチャート。
【図６】明度・色相の領域毎に第１の占有率を算出する占有率算出処理を示すフローチャート。
【図７】ＲＧＢからＨＳＶ表色系に変換するプログラムの一例を示す図。
【図８】明度（Ｖ）−色相（Ｈ）平面と、Ｖ−Ｈ平面上の領域ｒ１及び領域ｒ２を示す図。
【図９】明度（Ｖ）−色相（Ｈ）平面と、Ｖ−Ｈ平面上の領域ｒ３及び領域ｒ４を示す図。
【図１０】指標１を算出するための、第１の占有率に乗算する第１の係数を表す曲線を示す図。
【図１１】指標２を算出するための、第１の占有率に乗算する第２の係数を表す曲線を示す図。
【図１２】撮影画像データの構図に基づいて第２の占有率を算出する占有率算出処理を示すフローチャート。
【図１３】撮影画像データの画面の外縁からの距離に応じて決定される領域ｎ１〜ｎ４を示す図。
【図１４】指標３を算出するための、第２の占有率に乗算する第３の係数を表す曲線を領域別（ｎ１〜ｎ４）に示す図。
【図１５】配光条件（順光、ストロボ、逆光）別に算出された指標４及び指標５のプロット図。
【図１６】領域１（空）抽出処理を示すフローチャート（ａ）と、領域２（顔）抽出処理を示すフローチャート（ｂ）。
【図１７】実施形態２の画像調整処理部において実行される画像処理全体の流れを示すフローチャート。
【図１８】特徴量算出処理を示すフローチャート。
【図１９】階層型ニューラルネットワークの構造を模式的に示す図。
【図２０】ニューラルネットワークを構成するニューロンの構造を示す図。
【図２１】実施形態２で適用されるニューラルネットワークを示す図。
【図２２】図２１のニューラルネットワークの出力値と撮影画像との関係を示す図。
【符号の説明】
【０１３４】
１ 画像処理装置
４ 露光処理部
５ プリント作成部
７ 制御部
８ ＣＲＴ
９ フィルムスキャナ部
１０ 反射原稿入力装置
１１ 操作部
１４ 画像読込部
１５ 画像書込部
３０ 画像転送手段
３１ 画像搬送部
３２ 通信手段（入力）
３３ 通信手段（出力）
３４ 外部プリンタ
７０ 画像処理部
７０１ フィルムスキャンデータ処理部
７０２ 反射原稿スキャンデータ処理部
７０３ 画像データ書式解読処理部
７０４ 画像調整処理部
７０５ ＣＲＴ固有処理部
７０６ プリンタ固有処理部（１）
７０７ プリンタ固有処理部（２）
７０８ 画像データ書式作成処理部
７１ データ蓄積手段
【特許請求の範囲】
【請求項１】
撮影画像データから、撮影時の配光条件を判別する判別工程と、
前記判別された配光条件から、所定の画像領域の抽出条件を決定する決定工程と、
前記決定された抽出条件に従って、前記撮影画像データから少なくとも１つの画像領域を抽出する抽出工程と、
前記抽出された画像領域に基づいて前記撮影画像データの天地を判定する判定工程と、
を含むことを特徴とする画像処理方法。
【請求項２】
撮影画像データから、撮影時の配光条件を判別する判別工程と、
前記判別された配光条件から、所定の画像領域の抽出条件を決定する決定工程と、
前記決定された抽出条件に従って、前記撮影画像データから少なくとも１つの画像領域を抽出する抽出工程と、
前記抽出された画像領域から所定の特徴量を算出する算出工程と、
前記算出された特徴量及び前記判別された配光条件に基づいて算出された特徴量を入力信号として、ニューラルネットワークを用いて前記撮影画像データの天地を判定する判定工程と、
を含むことを特徴とする画像処理方法。
【請求項３】
前記撮影時の配光条件には、逆光状態及び／又はフラッシュ光利用状態が含まれることを特徴とする請求項１又は２に記載の画像処理方法。
【請求項４】
前記抽出工程において抽出される画像領域には、少なくとも主要被写体の背景領域が含まれることを特徴とする請求項１〜３の何れか一項に記載の画像処理方法。
【請求項５】
前記抽出工程において抽出される画像領域には、少なくとも人物の顔領域が含まれることを特徴とする請求項４に記載の画像処理方法。
【請求項６】
撮影画像データから、撮影時の配光条件を判別する判別手段と、
前記判別された配光条件から、所定の画像領域の抽出条件を決定する決定手段と、
前記決定された抽出条件に従って、前記撮影画像データから少なくとも１つの画像領域を抽出する抽出手段と、
前記抽出された画像領域に基づいて前記撮影画像データの天地を判定する判定手段と、
を備えることを特徴とする画像処理装置。
【請求項７】
撮影画像データから、撮影時の配光条件を判別する判別手段と、
前記判別された配光条件から、所定の画像領域の抽出条件を決定する決定手段と、
前記決定された抽出条件に従って、前記撮影画像データから少なくとも１つの画像領域を抽出する抽出手段と、
前記抽出された画像領域から所定の特徴量を算出する算出手段と、
前記算出された特徴量及び前記判別された配光条件に基づいて算出された特徴量を入力信号として、ニューラルネットワークを用いて前記撮影画像データの天地を判定する判定手段と、
を備えることを特徴とする画像処理装置。
【請求項８】
前記撮影時の配光条件には、逆光状態及び／又はフラッシュ光利用状態が含まれることを特徴とする請求項６又は７に記載の画像処理装置。
【請求項９】
前記抽出手段は、前記撮影画像データから、少なくとも主要被写体の背景領域を抽出することを特徴とする請求項６〜８の何れか一項に記載の画像処理装置。
【請求項１０】
前記抽出手段は、前記撮影画像データから、少なくとも人物の顔領域を抽出することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
画像処理を実行するコンピュータに、
撮影画像データから、撮影時の配光条件を判別する判別機能と、
前記判別された配光条件から、所定の画像領域の抽出条件を決定する決定機能と、
前記決定された抽出条件に従って、前記撮影画像データから少なくとも１つの画像領域を抽出する抽出機能と、
前記抽出された画像領域に基づいて前記撮影画像データの天地を判定する判定機能と、
を実現させるための画像処理プログラム。
【請求項１２】
画像処理を実行するコンピュータに、
撮影画像データから、撮影時の配光条件を判別する判別機能と、
前記判別された配光条件から、所定の画像領域の抽出条件を決定する決定機能と、
前記決定された抽出条件に従って、前記撮影画像データから少なくとも１つの画像領域を抽出する抽出機能と、
前記抽出された画像領域から所定の特徴量を算出する算出機能と、
前記算出された特徴量及び前記判別された配光条件に基づいて算出された特徴量を入力信号として、ニューラルネットワークを用いて前記撮影画像データの天地を判定する判定機能と、
を実現させるための画像処理プログラム。
【請求項１３】
前記撮影時の配光条件には、逆光状態及び／又はフラッシュ光利用状態が含まれることを特徴とする請求項１１又は１２に記載の画像処理プログラム。
【請求項１４】
前記抽出機能を実現させる際に、前記撮影画像データから、少なくとも主要被写体の背景領域を抽出させることを特徴とする請求項１１〜１３の何れか一項に記載の画像処理プログラム。
【請求項１５】
前記抽出機能を実現させる際に、前記撮影画像データから、少なくとも人物の顔領域を抽出させることを特徴とする請求項１４に記載の画像処理プログラム。
【請求項１】
撮影画像データから、撮影時の配光条件を判別する判別工程と、
前記判別された配光条件から、所定の画像領域の抽出条件を決定する決定工程と、
前記決定された抽出条件に従って、前記撮影画像データから少なくとも１つの画像領域を抽出する抽出工程と、
前記抽出された画像領域に基づいて前記撮影画像データの天地を判定する判定工程と、
を含むことを特徴とする画像処理方法。
【請求項２】
撮影画像データから、撮影時の配光条件を判別する判別工程と、
前記判別された配光条件から、所定の画像領域の抽出条件を決定する決定工程と、
前記決定された抽出条件に従って、前記撮影画像データから少なくとも１つの画像領域を抽出する抽出工程と、
前記抽出された画像領域から所定の特徴量を算出する算出工程と、
前記算出された特徴量及び前記判別された配光条件に基づいて算出された特徴量を入力信号として、ニューラルネットワークを用いて前記撮影画像データの天地を判定する判定工程と、
を含むことを特徴とする画像処理方法。
【請求項３】
前記撮影時の配光条件には、逆光状態及び／又はフラッシュ光利用状態が含まれることを特徴とする請求項１又は２に記載の画像処理方法。
【請求項４】
前記抽出工程において抽出される画像領域には、少なくとも主要被写体の背景領域が含まれることを特徴とする請求項１〜３の何れか一項に記載の画像処理方法。
【請求項５】
前記抽出工程において抽出される画像領域には、少なくとも人物の顔領域が含まれることを特徴とする請求項４に記載の画像処理方法。
【請求項６】
撮影画像データから、撮影時の配光条件を判別する判別手段と、
前記判別された配光条件から、所定の画像領域の抽出条件を決定する決定手段と、
前記決定された抽出条件に従って、前記撮影画像データから少なくとも１つの画像領域を抽出する抽出手段と、
前記抽出された画像領域に基づいて前記撮影画像データの天地を判定する判定手段と、
を備えることを特徴とする画像処理装置。
【請求項７】
撮影画像データから、撮影時の配光条件を判別する判別手段と、
前記判別された配光条件から、所定の画像領域の抽出条件を決定する決定手段と、
前記決定された抽出条件に従って、前記撮影画像データから少なくとも１つの画像領域を抽出する抽出手段と、
前記抽出された画像領域から所定の特徴量を算出する算出手段と、
前記算出された特徴量及び前記判別された配光条件に基づいて算出された特徴量を入力信号として、ニューラルネットワークを用いて前記撮影画像データの天地を判定する判定手段と、
を備えることを特徴とする画像処理装置。
【請求項８】
前記撮影時の配光条件には、逆光状態及び／又はフラッシュ光利用状態が含まれることを特徴とする請求項６又は７に記載の画像処理装置。
【請求項９】
前記抽出手段は、前記撮影画像データから、少なくとも主要被写体の背景領域を抽出することを特徴とする請求項６〜８の何れか一項に記載の画像処理装置。
【請求項１０】
前記抽出手段は、前記撮影画像データから、少なくとも人物の顔領域を抽出することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
画像処理を実行するコンピュータに、
撮影画像データから、撮影時の配光条件を判別する判別機能と、
前記判別された配光条件から、所定の画像領域の抽出条件を決定する決定機能と、
前記決定された抽出条件に従って、前記撮影画像データから少なくとも１つの画像領域を抽出する抽出機能と、
前記抽出された画像領域に基づいて前記撮影画像データの天地を判定する判定機能と、
を実現させるための画像処理プログラム。
【請求項１２】
画像処理を実行するコンピュータに、
撮影画像データから、撮影時の配光条件を判別する判別機能と、
前記判別された配光条件から、所定の画像領域の抽出条件を決定する決定機能と、
前記決定された抽出条件に従って、前記撮影画像データから少なくとも１つの画像領域を抽出する抽出機能と、
前記抽出された画像領域から所定の特徴量を算出する算出機能と、
前記算出された特徴量及び前記判別された配光条件に基づいて算出された特徴量を入力信号として、ニューラルネットワークを用いて前記撮影画像データの天地を判定する判定機能と、
を実現させるための画像処理プログラム。
【請求項１３】
前記撮影時の配光条件には、逆光状態及び／又はフラッシュ光利用状態が含まれることを特徴とする請求項１１又は１２に記載の画像処理プログラム。
【請求項１４】
前記抽出機能を実現させる際に、前記撮影画像データから、少なくとも主要被写体の背景領域を抽出させることを特徴とする請求項１１〜１３の何れか一項に記載の画像処理プログラム。
【請求項１５】
前記抽出機能を実現させる際に、前記撮影画像データから、少なくとも人物の顔領域を抽出させることを特徴とする請求項１４に記載の画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２００６−３９６６６（Ｐ２００６−３９６６６Ａ）
【公開日】平成１８年２月９日（２００６．２．９）
【国際特許分類】
【出願番号】特願２００４−２１４５８９（Ｐ２００４−２１４５８９）
【出願日】平成１６年７月２２日（２００４．７．２２）
【出願人】（３０３０５０１５９）コニカミノルタフォトイメージング株式会社 (1,066)
【Ｆターム（参考）】
【公開日】平成１８年２月９日（２００６．２．９）
【国際特許分類】
【出願日】平成１６年７月２２日（２００４．７．２２）
【出願人】（３０３０５０１５９）コニカミノルタフォトイメージング株式会社 (1,066)
【Ｆターム（参考）】
[ Back to top ]