画像処理方法
【課題】被写体人物毎の好みや感情を反映した、または娯楽性の高い再生画像を自動的または容易に得ることのできる画像処理方法を提供する。
【解決手段】予め特定の人物毎に所定の画像処理条件を登録し、入力画像中の人物を抽出し、人物同定を行い、同定された特定の人物に対応する画像処理条件を選択し、選択された画像処理条件に基づいて画像処理を行うこと、撮影画像に応じて被写体人物の感情の種類を判定し、判定された感情の種類に対応する画像処理パターンを適用した画像処理を撮影画像に対して行うこと、または予め登録されたエリア画像または画像特徴量を用いて、撮影画像中の該当エリアに合成するまたは濃度および色味の調整を行うことにより、上記課題を解決する。
【解決手段】予め特定の人物毎に所定の画像処理条件を登録し、入力画像中の人物を抽出し、人物同定を行い、同定された特定の人物に対応する画像処理条件を選択し、選択された画像処理条件に基づいて画像処理を行うこと、撮影画像に応じて被写体人物の感情の種類を判定し、判定された感情の種類に対応する画像処理パターンを適用した画像処理を撮影画像に対して行うこと、または予め登録されたエリア画像または画像特徴量を用いて、撮影画像中の該当エリアに合成するまたは濃度および色味の調整を行うことにより、上記課題を解決する。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、入力された画像データに対して画像処理を施して出力画像データとする画像処理方法に係り、特に個々の顧客の要望に応じた出力画像を作成する画像処理方法、および人物画像を表示する画像表示媒体等に、その人物の感情に応じた情報を付加的に表示する、または感情に応じた画像に置換する、あるいは変更する、もしくは調整する画像処理方法、ならびに人物画像を当該人物の好みの画像もしくは違和感のない画像にする画像処理方法に関する。
【０００２】
【従来の技術】従来、ネガフィルム、リバーサルフィルム等の写真フィルム（以下、フィルムとする。）に撮影された画像の感光材料（印画紙）への焼き付けは、フィルムの画像を感光材料に投影して感光材料を面露光する、いわゆる直接露光によって行われている。
【０００３】これに対し、近年では、デジタル露光を利用する焼き付け装置、すなわち、フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を走査露光して画像（潜像）を記録し、プリント（写真）とするデジタルフォトプリンタが実用化されている。
【０００４】デジタルフォトプリンタでは、画像をデジタルの画像データとして、画像データ処理によって焼き付け時の露光条件を決定することができるので、逆光やストロボ撮影等に起因する画像の飛びやツブレの補正、カラーフェリアや濃度フェリアの補正、アンダー露光やオーバー露光の補正、周辺光量不足の補正、シャープネス（鮮鋭化）処理、濃度ダイナミックレンジの圧縮／伸長処理（画像データ処理による覆い焼き効果の付与）等、従来の直接露光では不可能あるいは困難であった各種の画像処理を、高い自由度で行うことができ、直接露光に比して非常に高品位なプリントを得る事ができる。しかも、複数画像の合成や画像分割、さらには文字の合成等も画像データ処理によって行う事ができ、用途に応じて自由に編集／処理したプリントも出力可能である。
【０００５】また、デジタルフォトプリンタによれば、画像をプリントとして出力するのみならず、画像データをコンピュータ等に供給したり、フロッピー（登録商標）ディスク等の記録媒体に保存しておくこともできるので、画像データを、写真以外の様々な用途に利用することもできる。このように、デジタルフォトプリンタによれば、画像データ処理によって、より自由度の高い画像処理を施すことが可能であり、より商品価値の高いプリントを出力することができる。
【０００６】ところで、プリントに再生される画像は、できる限り顧客（プリント作成依頼者）の要望を反映したものであることが好ましい。この点に関して本出願人は、特開平１１−３３１５７０号公報において、顧客に好適に対応した仕上がり画像を再生する画像処理方法を提案している。すなわち、これは、画像供給源から供給された画像データに関する顧客の情報を取得し、この顧客の情報に応じて画像処理条件を設定し、この画像処理条件に基づいて画像処理を行うことにより、顧客に好適に対応した再生画像を得るものである。
【０００７】ここで、顧客の情報とは、顧客の職業、顧客の性別、顧客の年齢等である。また、顧客の情報を取得する方法としては、顧客からプリントの注文を受け付ける際、顧客から聴取し、これをオペレータに伝達してオペレータがマウス等の操作手段を用いて入力する方法や、顧客カードに顧客情報を記載しておき、プリント作成時にオペレータが顧客カードを見て顧客情報を入力する方法、あるいは顧客情報をデータベース化しておき、データベースから顧客情報を取得する方法等が例示されている。
【０００８】また、顧客に好適に対応した画像処理の例としては、例えば、フィルムがリバーサルで職業がプロカメラマンの場合には、フィルムに撮影された画像を忠実に再現するようにし、プロカメラマンでない場合には、通常に画像の色・濃度調整を行い、オーバー（露光過剰）やアンダー（露光不足）、逆光等の撮影の失敗を救済するようにする。また、男性の場合には、顔領域を抽出して、階調を立てるとともにディテールを出すように、シャープネスを強めに掛け、女性の場合には、顔領域を抽出して、階調を寝かせ（柔らかくし）るとともに、しみ、しわ、そばかす等が目立たないようにシャープネスを弱めに掛け、あるいは極弱くソフトフォーカスを掛けるようにする等の処理が例示されている。
【０００９】しかしながら、前記従来の画像処理方法では、顧客の情報をオペレータが入力しなければならず、処理が煩雑であるという問題がある。また、取得した顧客の情報に応じて設定する画像処理条件が一定に決められており、せいぜいその処理を行うか否かの選択しかできず、顧客、あるいはさらにきめ細かく、被写体人物ごとの好みに応じた画像処理条件を設定するという機能はなく、真に顧客あるいは被写体人物の好みを反映させた画像再生が実現できていないという問題があった。
【００１０】ところで、従来、画像形成媒体として、静止画を再現する写真（プリント）、動画として再現する映画（映写機およびスクリーン）があったが、近年ブラウン管（ＣＲＴ）が発明されて以来、テレビ（ＴＶ）は全家庭に普及し、さらに技術の進歩は目覚ましいものがあり、画像形成媒体として、液晶ディスプレイ、プラズマディスプレイ、電子ペーパー等の様々な画像表示手段が開発されている。そして、最近では、これらの画像形成媒体を利用して、ビデオカメラ、デジタルカメラ、デジタルビデオムービー、携帯ＴＶ電話等の、画像とともに音声をも取り込めるような画像形成手段が開発されている。
【００１１】しかしながら、前記従来の画像形成手段は、画像を撮影するとともに音声も録音可能であるが、取り込まれた音声データは単に音としてそのまま再生するのみであった。また、画像も撮影したままをできるだけ忠実に再現することに主眼がおかれており、娯楽性という点に関しては、まっまく考慮されていないという問題があった。
【００１２】さらにまた、現在、デジタル画像処理の技術では、デジタル画像データとして取り込まれた撮影画像の濃度や色味等の調整が可能であり、また、撮影画像自体の修正や他の画像との合成や置換等の画像処理も可能であり、種々のデジタル画像処理技術が提案されている。その中で、従来より写真の分野で行われてきた人物の顔や視線の修正や調整を行うデジタル画像処理技術が提案されている。例えば、特開２０００−１５１９８５号公報では、人物の顔画像の部位および調整パラメータを設定し、化粧顔に修正する技術が開示されている。しかしながら、色調や階調の調整は、一般人にはなじみがないし、素人には難しい処理である。特に、パーソナルコンピュータ（パソコンまたはＰＣ）に慣れたユーザでない場合にはかなり難しい。場合によっては良い調整結果が得られないばかりか、調整後の画像に違和感が生じる虞も多々あるという問題があった。
【００１３】また、特開平５−２０５０３０号公報には、人物の顔画像の３次元モデルからコンピュータグラフィックス（以下、ＣＧ略称する）技術によって、正面を見ている眼の画像を作成する技術が開示されている。しかしながら、ＣＧ技術によって作成された眼の画像では、違和感が残る可能性があるという問題があった。また、３次元モデルからのＣＧ技術であるため、演算量が膨大になるという問題もあった。一方、また、このようなデジタル画像処理の内簡単なものは、パソコンでも可能であり、そのための画像処理ソフトも種々市販されている。しかしながら、これらの市販の画像処理ソフトを使って、人物の顔画像を好みの顔に仕上げたり、視線を撮影方向に合わせて、正面に向いているように仕上げるのは、簡単なものでは十分な精度が得られなかったり、素人には操作が困難であったりという問題があった。
【００１４】
【発明が解決しようとする課題】本発明は、前記従来の問題に鑑みてなされたものであり、被写体人物ごとの好みを反映した再生画像を、自動的に得ることのできる画像処理方法を提供することを第１の課題とする。
【００１５】また、本発明は、前記従来の問題に鑑みてなされたものであり、撮影画像、特に人物画像において、その人物の感情の種類に応じて、強調したい内容を視覚化して、画像形成を行うようにして、写真、ビデオ、ＴＶ電話等の画像形成媒体における娯楽性を高めることのできる画像処理方法を提供することを第２の課題とする。
【００１６】また、本発明は、前記従来の問題に鑑みてなされたものであり、パーソナルコンピュータや画像処理ソフトの未経験者や未熟練者であっても、容易に、気に入った化粧顔や好みの顔画像に修正することができ、視線の不一致による違和感を解消することができる画像処理方法を提供することを第３の課題とする。
【００１７】
【課題を解決するための手段】上記第１の課題を解決するために、本発明の第１の態様は、入力された画像データに対して、画像処理を施す画像処理方法であって、予め特定の人物毎に所定の画像処理条件を登録し、前記入力された画像データ中の人物を抽出し、該抽出された人物が前記特定の人物か否かを人物同定し、当該人物同定された特定の人物に対応する画像処理条件を選択し、該選択された画像処理条件に基づいて画像処理を行うことを特徴とする画像処理方法を提供するものである。
【００１８】ここで、前記人物同定を、予め登録された人物の顔画像、または撮影コマに付属する人物指定情報を用いて行うことが好ましい。
【００１９】また、前記特定の人物毎に予め登録される所定の画像処理条件は、該特定の人物毎に複数種類設定されることが好ましい。
【００２０】また、前記複数種類の画像処理条件の中から選択した、少なくとも１以上の画像処理条件を組み合わせて、前記画像処理を行うようにしたことが好ましい。
【００２１】さらに、前記選択された画像処理条件による画像処理を画面全体に施すのか、該当する人物のみあるいはその人物とその周辺近傍のみに施すのか、を設定するようにしたことが好ましい。
【００２２】上記第２の課題を解決するために、本発明の第２の態様は、撮影画像中から抽出された人物の表情、または該抽出された人物のジェスチャ、あるいは前記撮影画像に付属する音声データ、のうちいずれか一つ以上の情報に基づいて、予め登録された感情の種類を判定し、予め設定された画像処理パターンのうち前記判定された感情の種類に対応する画像処理パターンを適用した画像処理を、前記撮影画像に対して行うことを特徴とする画像処理方法を提供するものである。
【００２３】ここで 前記画像処理パターンは、前記感情の種類に対応して設定され、前記画像処理パターンを適用した画像処理は、前記感情の種類に対応した所定のマークの合成処理、前記感情の種類に対応したアニメーション画像またはコンピュータグラフィックス画像への置換処理、前記感情の種類に対応した、前記撮影画像に対する画像変形処理、および前記感情の種類に対応した、前記撮影画像の濃度および色の変更処理の少なくと１つの処理であるのが好ましい。
【００２４】また、前記合成処理は、前記撮影画像中の所定位置に、または予めもしくはこの時に前記撮影画像中から抽出された人物に対して所定の位置に、もしくは予めもしくはこの時に前記撮影画像中から抽出された人物に対して相対的な位置に、かつ、前記撮影画像または前記抽出された人物に対して、所定のサイズおよび所定の向きで、あるいは相対的なサイズおよび相対的な向きで、前記所定のマークを合成する処理であるのが好ましい。また、前記置換処理は、予めもしくはこの時に前記撮影画像中から前記抽出された人物の所定の部位を前記もしくは前記アニメーション画像またはコンピュータグラフィックス画像に置き換える処理であるのが好ましい。
【００２５】前記画像処理パターンは前記感情の種類に対応して設定され、前記画像処理パターンを適用した画像処理は、必要に応じて前記撮影画像中から人物を抽出し、該抽出された人物に対する所定の相対的な位置への、相対的なサイズおよび相対的な向きでの、前記感情の種類に対応した所定のマークの合成、または前記抽出された人物に対する所定の位置への、所定のサイズおよび所定の向きでの、前記感情の種類に対応した所定のマークの合成、あるいは、前記撮影画像に対する画像変形、または、濃度および色の変更のいずれか一つ以上の処理であることが好ましい。
【００２６】また、前記撮影画像は、録音機能付き画像撮像装置の撮影画像であり、前記画像処理パターンを前記録音機能付き画像撮像装置に予め登録しておき、前記画像処理パターンを適用した画像処理を前記録音機能付き画像撮像装置で行うことが好ましい。
【００２７】また、前記画像処理パターンを適用した画像処理を、前記録音機能付き画像撮像装置による前記録音された音声データを含む画像撮影情報を受け取ったラボ側で行うことが好ましい。
【００２８】また、前記撮影画像は、撮影機能付き通話装置の撮影画像であり、前記撮影画像に対して、前記人物の感情の種類に対応する前記画像処理パターンを適用した画像処理を行うことが好ましい。
【００２９】また、前記画像処理パターンを前記撮影機能付き通話装置に予め登録しておき、前記画像処理を前記撮影機能付き通話装置で行い、処理画像を通話相手側の端末に送信することが好ましい。
【００３０】また、前記画像処理パターンを前記撮影機能付き通話装置の中継局に予め登録しておき、前記画像処理を前記中継局で行い、処理画像を通話中の一方の端末に送信することが好ましい。
【００３１】また、前記画像処理パターンを前記撮影機能付き通話装置に予め登録しておき、前記撮影機能付き通話装置が受信した、通信相手側端末による撮影画像に対して、前記画像処理パターンを適用した画像処理を前記撮影機能付き通話装置で行なうことが好ましい。
【００３２】また、前記画像処理パターンを適用した画像処理において、前記感情の種類に対応した所定のマークまたはその合成位置を間違えた場合に、前記感情の種類、マークの合成位置、マークのサイズまたは向きの修正を可能としたことが好ましい。
【００３３】また、上記第２の課題を解決するために、本発明の第３の態様は、テレビ画像をパーソナルコンピュータに取り込み、該パーソナルコンピュータにおいて、前記取り込んだテレビ画像に対して、予め設定された画像処理パターンを適用した画像処理を行なうことを特徴とする画像処理方法を提供するものである。
【００３４】また、上記第３の課題を解決するために、本発明の第４の態様は、予め画像の特定エリア内のエリア画像または画像特徴量を登録しておき、前記予め登録されたエリア画像または画像特徴量を用いて、撮影画像中の該当エリアに合成する、または濃度および色味の調整を行うことを特徴とする画像処理方法を提供するものである。ここで、前記該当エリアは、前記予め登録されたエリア画像または画像特徴量に応じて撮影画像中から抽出されるのが好ましい。また、前記特定エリアは、人物の顔、人物の顔を構成する少なくとも１つの部位、人物が身に付ける装飾品および背景の少なくとも１つであるのが好ましい。
【００３５】また、前記特定エリアは、人物の顔であり、前記予め登録されたエリア画像は、前記人物の化粧顔または前記人物の最良の顔画像であるのが好ましい。また、前記特定エリアは、人物の顔を構成する眼のエリアであり、前記撮影画像中の被写体である人物が定常状態にあるかどうかを判定し、前記定常状態にある時、前記人物の顔を構成する前記眼のエリアに前記予め登録された前記特定エリアの前記エリア画像を合成するのが好ましい。また、前記予め登録されたエリア画像は、前記人物の視線が撮影方向に一致する前記眼のエリアの画像であるのが好ましい。
【００３６】
【発明の実施の形態】本発明に係る画像処理方法を添付の図面に示す好適実施形態に基づいて以下に詳細に説明する。まず、図１〜図３を参照して、本発明の第１の態様に係る画像処理方法を説明する。
【００３７】図１は、本発明の第１の態様に係る、個々の顧客ごとの好みを反映した再生画像を自動的に得る画像処理方法を実施する画像処理方法を実施する画像処理装置を含むデジタルフォトプリンタの一実施例の概略を示すブロック図である。図１に示すデジタルフォトプリンタ（以下、フォトプリンタという）１０は、フィルムＦに撮影された画像を光電的に読み取るスキャナ（画像読取装置）１２と、このスキャナ１２で読み取られた画像データの電子変倍処理や、画像データのエッジ検出やシャープネス強調（鮮鋭度強調）、平滑化処理（粒状抑制）などの画像処理やフォトプリンタ１０全体の操作および制御等を行う画像処理装置１４と、この画像処理装置１４から出力された画像データに応じて変調した光ビームで感光材料（印画紙）を画像露光し、現像処理して（仕上がり）画像をプリントとして出力する画像記録装置１６と、を有する。また、画像処理装置１４には、様々な条件の入力、設定、処理の選択や指示、色／濃度補正などの指示等を入力するためのキーボード１８ａおよびマウス１８ｂを有する操作系１８と、スキャナ１２で読み取られた画像、各種の操作指示、様々な条件の設定／登録画面等を表示するモニタ２０が接続される。
【００３８】スキャナ１２は、フィルムＦ等に撮影された画像を１コマずつ光電的に読み取る装置で、光源２２と、可変絞り２４と、フィルムＦに入射する読取光をフィルムＦの面方向で均一にする拡散ボックス２６と、フィルムＦのキャリア２８と、結像レンズユニット３０と、Ｒ（赤）、Ｇ（緑）およびＢ（青）の各色画像濃度の読取に対応する３ラインＣＣＤセンサを有するイメージセンサ３２と、アンプ（増幅器）３３と、Ａ／Ｄ（アナログ／デジタル）変換器３４とを有する。
【００３９】フォトプリンタ１０においては、スキャナ１２の本体に装着自在な専用のキャリア２８が、新写真システム（Ａdvanced Ｐhoto Ｓystem)や１３５サイズのネガ（あるいはリバーサル）フィルム等のフィルムＦの種類やサイズ、ストリップスやスライド等のフィルムの形態等に応じて用意されており、キャリア２８の交換によって、各種のフィルムや処理に対応することができる。フィルムに撮影され、プリント作成に供される画像（コマ）は、このキャリア２８によって所定の読取位置に搬送される。また、周知のように、新写真システムのフィルムには、磁気記録媒体が形成され、カートリッジＩＤやフィルムサイズや、ＩＳＯ感度等が記録されており、また、撮影時や現像時等に、撮影や現像日時、露出レベル、カメラや現像機の機種等の各種のデータが記録可能である。新写真システムのフィルム（カートリッジ）に対応するキャリア２８には、この磁気情報の読取手段が配置されており、フィルムを読取位置に搬送する際に磁気情報を読み取り、これらの各種の情報が画像処理装置１４に送られる。
【００４０】このようなスキャナ１２において、フィルムＦに撮影された画像を読み取る際には、光源２２から射出され、可変絞り２４および拡散ボックス２６によって光量調整された均一な読取光が、キャリア２８によって所定の読取位置に位置されたフィルムＦに入射して、透過することにより、フィルムＦに撮影された画像を担持する投影光を得る。なお、カラー画像信号は、このようにフィルムを透過した光を読み取ることによって入力されるものには限定されず、反射原稿でもよいし、あるいはデジタルカメラによって撮影された画像を用いてもよい。すなわち、フィルムの画像を読み取るスキャナ１２以外にも、デジタルカメラやデジタルビデオカメラ等の撮像手段、反射原稿の画像を読み取る画像読取装置、ＬＡＮ（Local Aera Network）やコンピュータ通信ネットワーク等の通信手段、スマートメディアなどのメモリカードやＭＯ（光磁気記録媒体）等のメディア（記録媒体）等の画像供給源Ｒから画像（デジタルの画像信号）を画像処理装置１４に入力することもできる。
【００４１】図示例のキャリア２８は、２４枚撮りの１３５サイズのフィルムや新写真システムのカートリッジ等の、長尺なフィルムＦ（ストリップス）に対応するものである。フィルムＦは、このキャリア２８によって読取位置に位置されて、ＲＧＢの３ラインＣＣＤセンサの延在方向である主走査方向と直交する副走査方向に搬送されつつ、読取光を入射される。これにより、結果的に、フィルムＦが２次元的にスリット走査され、フィルムＦに撮影された各コマの画像が読み取られる。
【００４２】フィルムＦの投影光は、結像レンズユニット３０によってイメージセンサ３２の受光面に結像される。イメージセンサ３２から出力されたＲ、ＧおよびＢの各出力信号は、アンプ３３で増幅されて、Ａ／Ｄ変換器３４に送られ、Ａ／Ｄ変換器３４において、それぞれ、例えば１２ｂｉｔのＲＧＢデジタル画像データに変換された後、画像処理装置１４に出力される。
【００４３】なお、スキャナ１２においては、フィルムＦに撮影された画像を読み取るに際し、低解像度で読み取るプレスキャン（第１回目の画像読取）と、出力画像の画像データを得るためのファインスキャン（第２回目の画像読取）との２回の画像読取を行う。ここで、プレスキャンは、スキャナ１２が対象とするフィルムＦの全ての画像を、イメージセンサ３２が飽和することなく読み取れるように、予め設定されたプレスキャン読取条件で行われる。一方、ファインスキャンは、プレスキャンデータから、その画像（コマ）の最低濃度よりも若干低い濃度でイメージセンサ３２が飽和するように、各コマ毎に設定されたファインスキャンの読取条件で行われる。なお、プレスキャンおよびファインスキャン出力画像信号は、解像度および出力画像信号レベルが異なる以外は、基本的に同様な画像データである。
【００４４】なお、フォトプリンタ１０に用いられるスキャナ１２は、このようなスリット走査読取を行うものに限定されず、１コマのフィルム画像の全面を一度に読み取る面状読取を行うものであってもよい。この場合には、例えばエリアＣＣＤセンサなどのエリアセンサを用い、光源２２とフィルムＦとの間にＲ、ＧおよびＢの各色フィルタの挿入手段を設け、光源２２からの射出光の光路に挿入して、色フィルタを透過した読取光をフィルムＦ全面に照射して、透過光をエリアＣＣＤセンサに結像させてフィルム全画像を読み取ることを、Ｒ、ＧおよびＢの各色フィルタを切り換えて順次行うことで、フィルムＦに撮影された画像を３原色に分解して読み取る。
【００４５】前述したように、スキャナ１２から出力されるデジタル画像データ信号は、本態様に係る画像処理方法を実施する画像処理装置１４に出力される。スキャナ１２から画像処理装置１４に入力されたＲ、ＧおよびＢの画像信号に対して、まずＣＣＤセンサに起因するＲＧＢデジタル画像データの画素毎の感度ばらつきや暗電流を補正するために、ＤＣオフセット補正、暗時補正、欠陥画素補正、シェーディング補正等の読取画像データのデータ補正が行われる。その後画像データは、対数変換処理、階調変換されデジタル画像濃度データに変換される。
【００４６】デジタル画像濃度データは、プレスキャン画像データ、ファインスキャン画像データそれぞれ別々に記憶（格納）される。プレスキャン画像データは、所定の画像処理を施されモニタ２０に表示される。また、プレスキャン画像データから、濃度ヒストグラムの作成や、平均濃度、ＬＡＴＤ（大面積透過濃度）、ハイライト（最低濃度）、シャドー（最高濃度）等の画像特徴量の算出が行われ、ファインスキャンの読取条件および画像処理条件が設定されるが、本態様では、後で詳述するように個々の顧客毎の好みを反映させるように画像処理条件が設定される。ファインスキャン画像データは、設定された画像処理条件により、画像処理が施され、カラープリントとして所望の濃度、階調および色調で、カラーペーパー上に、最適、高品質な画像として画像記録装置１６より出力される。本発明の第１の態様に係る画像処理方法を実施する画像処理装置を含むデジタルフォトプリンタは、基本的に以上のように構成される。
【００４７】以下、本発明の第１の態様の第１実施形態の作用を説明する。画像処理装置１４において、前述したように、プレスキャン画像データに基づいて設定された画像読み取り条件によって読み込まれたファインスキャン画像データに対して、画像データの濃度、色および階調の変換、彩度の変換、電子変倍等の処理とともに、顧客ごとの好みに応じた画像処理を実行する。
【００４８】以下、顧客毎の好みを反映した画像処理について説明する。まず、その前提として、画像中の人物が特定の人物であるか否か人物同定し、その特定の人物毎の好みに応じた画像処理を実行するために、個人識別情報および各個人の希望する画像処理条件（リクエスト処理情報）等のデータを、予めラボに登録しておく。図２に登録データの一例を示す。図２に示す例は、ある家族の全員のデータを登録する場合である。
【００４９】登録データの内容としては、例えば、登録顧客ＩＤ、登録する者の代表者名、そして各家族の個人データ、すなわち、家族構成、各個人の顔画像および各自の希望する画像処理内容（リクエスト処理）等である。顔画像データは、例えば注文済撮影シーン中の顔エリアを指定して取り込むようにしてもよい。また、個人同定の精度を上げるために、一人あたり複数パターンを設定登録するようにしてもよい。
【００５０】また、リクエスト処理の例としては、顔の濃度・色味の調整、髪・目・口紅等の指定色への変換、歯の美白仕上げ、特殊効果、細身仕上げ、画像合成、等が挙げられる。ここで、顔の濃度・色味の調整としては、肌を美白にするモード、しわ消し、日焼けモード等が考えられる。特殊効果としては、クロスフィルタの使用、ソフトフォーカス仕上げ等がある。画像合成としては、縁飾り、特定キャラクタの合成、特別なメイクの化粧等がある。これらのリクエスト処理は、人物毎に複数種類設定し、複数種類設定された中からいくつか選択したものを組み合わせて、その特定の人物の画像処理に適用するようにしてもよい。さらに、処理内容によっては、当該処理を画面全体に施すのか、該当する人物のみあるいはその人物とその周辺近傍のみに施すのか等の条件を設定する。
【００５１】以下、図３のフローチャートを参照して、顧客ごとの好みを反映した画像処理について説明する。ステップ１１０において、人物の顔領域の抽出を行う。顔領域の抽出方法も特に限定はなく、色々な方法があり、公知の特定箇所抽出方法（抽出アルゴリズム）を用いればよい。このような特定箇所抽出方法としては、例えば、特開平９−１３８４７０号公報に開示される、特定色を抽出する方法、特定形状パターンを抽出する方法、背景に相当すると推定される領域を除去する方法等、複数の異なる特定箇所（主要部）抽出方法をあらかじめ評価して重みを定め、各抽出方法で特定箇所を抽出して、抽出された特定箇所を定めた重みで重み付けし、その結果に応じて主要部を判定、抽出する方法が例示される。
【００５２】また、別の特定箇所抽出方法としては、特開平９−１３８４７１号公報に開示される、画像中の複数点の濃度または輝度を測定してその変化量を求め、変化量が所定値以上の点を基準点として設定した後に、基準点から所定範囲内で濃度等の変化量等を用いて検索範囲および検索方向パターンを設定し、検索範囲内で検索方向パターンが示す方向における濃度等の変化量が所定値以上の箇所を検索して、次いでこの箇所を基準として検索を行うことを繰り返し、検索・設定した基準点を結んで特定箇所を抽出する方法が例示される。
【００５３】本態様においては、これ以外にも、特開平４−３４６３３３号、同５−１５８１６４号、同５−１６５１２０号、同６−１６０９９３号、同８−１２２９４４号、同８−１８４９２５号、同９−１０１５７９号、同９−１４６１９４号、同９−１９７５７５号等の各公報に開示される特定箇所抽出方法も好適に利用可能である。
【００５４】顔が抽出されたら、次に、ステップ１２０において、人物の同定を行い、画像中の人物を特定する。抽出した顔画像に対して、サイズを正規化した後、登録されている顔画像をテンプレートとして、マッチングを行い、その一致度を求め、人物の同定を行う。このとき、画像に付属するコメント関連情報として、その画像中の人物を示す情報がある場合には、その情報を人物同定に利用してもよい。人物同定の結果、人物が特定できたら、ステップ１３０において、その特定の人物に対して、登録されている当該人物のリクエスト処理を実施する。
【００５５】このように本実施形態によれば、個々の顧客毎の好みに応じた仕上げの画像を自動的に得ることができる。例えば、父親であれば、日焼け顔になるように処理され、母親であれば、ソフトフォーカスおよびしわ消し処理が施され、Ａ子であれば、色白、細身仕上げがなされ、それぞれ自分の希望通りの仕上げ画像を得ることができる。
【００５６】次に、本発明の第１の態様の第２実施形態について説明する。第二実施形態は、顧客が、デジタルカメラやパーソナルコンピュータ（以下、パソコンという）あるいはフォトプレーヤ等で画像の再生処理をする場合に、第一実施形態で述べたような処理を実行するものである。すなわち、顧客がラボに注文をする前に、撮影済の画像をこれらの機器に表示して画像の修正を行うものである。デジタルカメラやフォトプレーヤに修正機能を持たせたり、あるいは、パソコンと接続することにより修正を行うことができる。
【００５７】また、表示画像の修正をする場合、第１実施形態と同様の処理を行う画像処理ソフトを用いて自動的に修正を行うこともできるが、表示画像を見ながら、顧客が人物の同定および人物検出結果を手動で修正するようにしてもよい。また、修正結果の画像は、家庭用のビデオプリンタでプリントしてもよいし、該当コマの修正データをそのコマの付属情報として記録して、ラボに注文するようにしてもよい。例えば、ＡＰＳで撮影された画像をフォトプレーヤに表示して、修正を行い、ネガフィルムでラボに注文する場合には、フォトプレーヤに磁気記録機能をもたせ、付属情報をネガフィルムに磁気記録すればよい。また、パソコンで通信回線を用いてラボに注文する場合には、付属情報をファイルに記録するようにすればよい。
【００５８】次に本発明の第１の態様の第３実施形態について説明する。本実施形態は、人物同定において、第１実施形態で説明したように、顔を抽出し、登録された顔画像との間でテンプレートマッチングを行う際、髪形や衣服等を人物指定情報として、個人認識用の特徴量に追加することにより、人物同定の精度を向上させようというものである。ここで、個人認識用の特徴量としては、濃度、色味の分布、テクスチャパターン等が考えられる。
【００５９】本実施形態では、まず、最初は、第１実施形態と同様に、入力画像から顔領域を抽出し、登録されている顔画像をテンプレートとしてマッチングを行い、その一致度を求め、人物の同定を行う。人物同定により、画像中の人物が特定されたら、その入力画像からその人物の髪形や衣服等を抽出し、人物指定情報として、その人物に対応する登録データとして登録する。次の入力画像に対する処理においては、抽出顔画像のテンプレートマッチングによる他、先に登録された髪形、衣服等をも参照して、人物同定を行う。人物同定により、人物が特定されたら、その入力画像から新たに髪形、衣服を登録し、人物指定情報として自動的に集積する。
【００６０】例えば、衣服エリアの色味に関して、今までの集計データが次の表１のようになっているものとする。この表１は、衣服エリアの色味を分類し、その人物における出現頻度をｐijで示したものである。
Ｊは、色味分類数であり、衣服が複数色から構成される場合は、面積比を用いる。例えば、半分が赤で、半分が白の場合は、赤＝０．５、白＝０．５を蓄積データに登録する。
【００６１】ここで、顔画像のパターンマッチングによる類似度を点数化したものをＭｉ、衣服の出現頻度から導出する点数をＮｉとする。それぞれ類似度が大である程、点数も大となる。表１において、ｉは、登録人物を示す番号である。例えば、Ａ子は、ｉ＝３である。対象とする被写体人物の衣服エリアの色味が分類番号ｊに相当する場合、Ｎｉ＝ｐij／（ｐ1j＋ｐ2j＋ｐ3j）とする。
人物判定ポイントＤｉ＝ａ×Ｍｉ＋ｂ×Ｎｉ（ａ、ｂは、重み係数）
により、最大ポイントとなった番号ｉの人物が画像中の人物であると判定する。例えば、顔画像のマッチングでは、Ｍ１＜Ｍ２≒Ｍ３となり母とＡ子が略同点だったとする。ここで、服の色味が赤だった場合、赤い服で写った回数は、父０、母３、Ａ子１０であるから、点数ＤｉはＡ子が最大となる。従って、画像中の人物はＡ子であると判定する。
【００６２】人物同定に間違いがあった場合には、間違いを発見したオペレータ、あるいは顧客から通知を受けたオペレータが、マニュアルで修正を行い、正しい画像中の人物に関する処理を行うとともに、人物指定情報の集積処理を訂正する。また、このとき人物同定のための判別アルゴリズム用のパラメータが自動的に修正される。また、第２実施形態におけるように、顧客が自分のパソコンに画像処理ソフトをダウンロードして自分で画像の修正を行っている場合には、人物同定の間違いを発見した顧客自身が処理の訂正を行うようにしてもよい。
【００６３】本実施形態によれば、単に登録された顔画像とのテンプレートマッチングを行うのみでなく、髪型や衣服等の人物指定情報をも個人認識用の特徴量に加え、さらに人物指定情報の集積処理に学習機能的要素を加味して集積データの訂正を行うようにしたため、人物同定の精度を高めることができ、各自の好みに応じた画像処理をより適切に行うことが可能となる。
【００６４】以上説明したものは、個々の顧客ごとの好みに応じた画像処理を画像中の各人物ごとに加えることにより個々の顧客ごとの好みを反映させたプリント（出力画像）を得るものであったが、個々の顧客ごとの好みに対応する他、顧客の地域性あるいは季節等による好みの傾向を反映させたプリントを出力することが望まれる場合もある。
【００６５】例えば、写真プリンタにおいて写真プリントを日本人好みの肌色に仕上げよるように露光制御アルゴリズムが設定されていた場合、同じ機種のプリンタを同じ露光制御アルゴリズムのままで欧州で使用すると、欧州人にとっては好みの色とならないことがある。また、日本での太陽光による撮影を基準に露光制御アルゴリズムが設定されていた場合、日本と緯度が大幅に異なる地域で同じ機種の写真プリンタを同じ露光制御アルゴリズムで使用すると、この地域では日本と太陽光も異なるので、日本と同じ品質のプリントを得ることができない。
【００６６】そこで、本出願人は、すでに、アナログ露光方式の場合については、地域的な人の好みや顧客個人の好みがプリントに適正に反映されるような露光制御方法を特開平６−３０８６３２号公報、あるいは、特開平８−１３７０３３号公報において提案している。しかし、デジタル画像処理の場合についても、以下述べるように、地域性や顧客の好みの傾向を反映させたプリント（出力画像）を得ることができる。
【００６７】すなわち、以下述べる例は、顧客またはラボあるいは地域毎による画像処理条件設定の修正傾向を蓄積し、画像処理の設定パラメータを修正・最適化するデジタル画像処理方法である。また、このとき各コマをシーン分類し、シーン分類毎に修正傾向の蓄積および設定パラメータの修正・最適化を行うものである。例えば、オペレータが画像処理を行う際、シーン分類した上で、ある地域について、オペレータの補正傾向がコントラストを強調するのが好まれるとか、コントラストを抑え目にするのが好まれるとかという傾向が分かれる場合には、その地域については、補正のパラメータをその傾向に合わせて直すようにする。
【００６８】具体的に処理方法を説明すると、まず、オペレータによる処理パラメータの変更を過去Ｎコマ分蓄積し、特定のシーン分類との関連性を調べる。このとき、シーン分類の方法としては、以下のような方法が挙げられる。例えば、濃度ヒストグラムまたは画像の中央部および周辺部の濃度差の関係から、その分布パターンにより、通常シーン、オーバー露光あるいはアンダー露光等を推定し、ストロボシーンあるいは逆光シーン等と推定する。あるいは、顔抽出をすることにより、人物かまたは風景か等のシーン推定を行う。あるいは、オペレータ自身がマニュアルで人物、風景、夜景、アンダーまたはハイコントラスト等のシーンの分類を推定する方法等がある。
【００６９】また、処理パラメータの変更例としては、例えば、コントラスト強調や解像度（シャープネス）のかけ方とか、あるいは、人物肌色の色味や濃度の目標値を変えてやる等がある。これは、人物、好ましい肌色というのが地域によって違うと考えられるため、その地域による違いを考慮したものである。東洋人を基準にした肌色よりも欧州では、人の顔は、より濃度を薄くする方が好まれ、オペレータが濃度を引く傾向があるため、蓄積データから判定して、顔抽出後、デフォルト値より濃度が薄目になるようアルゴリズムが自動で更新されるようにする。
【００７０】上述したようにオペレータによる処理パラメータの変更を過去Ｎコマ分類し、特定のシーン分類との関連性を調べ、その後、所定のシーン分類において、各画像処理パラメータについて統計的なマニュアル補正傾向を反映させて、一定周期でアルゴリズムを更新し、画像処理パラメータを最適化する。なお、このとき、蓄積データも一定周期で最新データに更新することが好ましい。
【００７１】また、上記処理において、季節ごとにシーン分類の種類やデータ蓄積期間を設定するようにしてもよい。例えば、スキー場周辺においては、冬季のみシーン中のハイライト比に応じて判定する「雪シーン」分類を追加したり、「雪シーン」に対し、白さを強調する階調特性を適用するようにしてもよい。
【００７２】また、ある一定の地域において、その地域内の各ミニラボ店と、その地域のラボ管理センタとをネットワークで結び、各ミニラボ店でのオペレータによる修正情報をラボ管理センタで収集し、その地域全体の傾向を把握し、あるタイミングでその地域全体のミニラボ店の画像処理ソフトを修正し、更新されたアルゴリズムを各ミニラボ店に配布するようにして、ラボ管理センタでその地域のアルゴリズム更新処理を地域単位で行うようにしてもよい。
【００７３】また、上記処理を行う際、顧客ＩＤとセットでデータ記録を行い、顧客毎にデータの管理を行い、顧客別に画像処理パラメータの最適化を行うようにしてもよい。なお、上記ミニラボプリンタの代わりに各顧客の家庭用プリンタに対して上記処理を行うようにすることもできる。
【００７４】上に述べた例によれば、顧客個人、あるいは地域性または季節等によりシーン毎に好みの傾向が変わることに対応し、適切な画像再生が可能となる。また、フォトプリンタ製造時に、その製品輸出先の各地域の傾向に合わせていちいちパラメータを設定する必要がなくなり、製品製造出荷作業も容易となる。また、プリント処理とモニタ表示処理とで、リクエスト内容を分ける様にしてもよいし、特定コマに限定して、登録データ処理の停止や、特定のリクエスト処理を指定できる様にしてもよい。本発明の第１の態様の画像処理方法は、基本的に以上のように構成される。次に、図４〜図７を参照して、本発明の第２および第３の態様に係る画像処理方法を説明する。
【００７５】本発明の第２の態様に係る画像処理方法は、基本的に、撮影された画像シーンに付属する音声データからあるいはこの撮影された画像の中から抽出された人物の表情またはジェスチャーから、その画像シーン中の人物の感情の種類を判定して、その感情の種類に対応するその感情を強調するようなマークをその人物画像に付す（合成する）ことにより、写真や画像表現の娯楽性を高めるものである。なお、以下では、撮影された画像シーンに付属する音声データから撮影画像シーン中の人物の感情の種類を判定する場合を代表例として説明するが、本態様はこれに限定されるわけではない。また、本発明の第２の態様が適用される対象は、写真（静止画）のみならずビデオ（動画）やＴＶ電話等のリアルタイムでの画像表示等、広い範囲に及ぶ。
【００７６】まず、本発明の第２の態様の第１実施形態について説明する。本第１実施形態は、音声録音機能を有するデジタルカメラ等で撮影された音声データを付属情報として持つ撮影画像に対して所定の画像処理を行うものである。図４は、本発明の第２の態様の第１実施形態に係る画像処理方法を実施する画像処理装置を含むデジタルフォトプリンタの概略を示すブロック図である。図４に示すデジタルフォトプリンタ５０は、主に、撮影情報入力手段５２、画像処理装置５４および画像記録装置１６とを有する。なお、画像記録装置１６、操作系１８およびモニタ２０は、図１に示すフォトプリンタ１０と同様のものを用いることができる。
【００７７】撮影情報入力手段５２は、デジタルカメラ等の録音機能付き画像撮像装置によって画像データおよび音声データが記録された記録メディアから画像データおよび音声データを読み込むものである。画像処理装置５４は、本態様に係る画像処理方法およびその他各種の画像処理を実行するものである。また、画像処理装置５４には、様々な画像処理に関する条件の入力、設定、処理の選択や指示、色／濃度補正などの指示等を入力するためのキーボード１８ａおよびマウス１８ｂを有する操作系１８と、撮影情報入力手段５２から入力された画像および各種の操作指示等様々な条件の設定／登録画面等を表示するモニタ２０が接続される。画像記録装置１６は、画像処理装置５４から出力された画像データに応じて変調した光ビームで感光材料（印画紙）を画像露光し、現像処理して（仕上がり）画像をプリントとして出力するものである。
【００７８】以下、図５のフローチャートに沿って、この第１実施形態の画像処理について説明する。まず、ステップ２００において、予め各種感情の種類に応じた画像処理パターンを設定する。しかし人間の感情は多種多様であり、すべての感情を扱うのは不可能であり、ここでは比較的はっきりと外へ現れる典型的なもののみを扱う。図６に、画像処理パターンの設定の一例を示す。図６のモードと書かれた欄にあるように、ここで扱う感情の種類は、「焦り」、「驚き」、「怒り」、「哀愁」、「悩み（疑問）」、「愛情」、「喜び」・・・等である。
【００７９】本実施形態では、撮影画像シーンに付属した音声データ（音声情報）により、感情の種類を判定するようにしている。また、画像処理パターンとしては、各感情の種類に対し、その感情を強調するようなマーク（画像合成パターン）を合成するようにしている。従って、感情の種類に対応した画像処理パターンを設定するということは、結局、特定の音声情報に対応した画像合成パターンを設定することである。
【００８０】すなわち、予め設定する項目としては、感情の種類を表すモード、各モードを引き出す言語（キーワード、図６の表では省略）、各モードに対応する画像合成パターンがある。画像合成パターンとしては、合成すべき合成画像（マーク）、合成すべき位置（画像中の位置、画像中の人物またはその顔の位置に対する所定位置または相対位置）、合成画像の大きさ（サイズ、画像に対するサイズ、画像中の人物またはその顔の大きさに対する相対的なサイズ）、人物またはその顔に対する合成画像の向き等がある。
【００８１】例えば、「うぅっ」、「やばい」、「やばっ」等のキーワードが音声情報中にある場合には、「焦り」モードが対応し、人物画像に対し、「汗マーク」が合成される。合成画像は一つには限らず、複数あってもよい。また、合成位置は、画像中の顔の位置に対する相対位置で指定されるのがよく、顔幅で正規化されるのが良い。合成画像の大きさも、やはり顔基準で指定されるのが良い。また、合成画像を合成する向きも画像中の人物の顔を基準にして設定されるのが良い。例えば、図６の場合、２つの汗マーク（２つで１セット）の中心の座標が（目を原点として）目の横（ｘ１，ｙ１）の位置に、サイズは顔幅を１としたとき、０．１の大きさで、顔の左側に合成される。
【００８２】また、「うひょー」、「ひぇー」、「びっくりー」等のキーワードが、音声情報中にある場合には、「驚き」モードが対応し、「びっくりして飛び出した目のマーク」がそれぞれの目のマークの中心の座標がそれぞれ（ｘ２，ｙ２）、（ｘ３，ｙ３）の位置に合成される。また、図６における「向き判定結果」というのは、カメラに対する人物顔の向きをパターンマッチング手法等により正面、右斜めあるいは左斜めのいずれかであるかを判定し、その判定結果に応じて目の飛び出す方向を変えたパターンを合成することを示すものである。
【００８３】また、「寒い」、「さぶっ」等のキーワードが音声情報中にある場合には、「哀愁」モードが対応し、顔に「影（斜線）マーク」を入れ、周囲に「枯れ葉マーク」が合成される。このとき、顔に斜線を入れる代わりに顔色を白く（青白く）するようにしてもよい。さらに、背景をモノトーン化して一層哀愁感を漂わせるようにしてもよい。また、この他、「うーん」、「えーと」等の言葉があれば、「悩み（疑問）」モードとして「はてなマーク」を合成するようにし、「うっふーん」、「すき」等の言葉があれば、「愛情」モードとして「ハート」を合成するようにし、「ワーイ」、「やったー」等の言葉があれば、「喜び」モードとし「打ち上げ花火」を合成する等のようにしてもよい。これらの画像処理パターンは、システムの側である程度用意して、それに顧客が作成してデータを追加するようにしてもよい。このとき、顧客が口癖としてよく使うような言葉をモードを引き出す言葉として設定し、また、顧客の趣味で合成画像や各種感情モード用キーワードを登録するようにしてもよい。
【００８４】上で述べた画像処理パターンの設定は、個々の画像処理に先立って１回行っておけばよい。この設定は、ラボ側のデータベースに対して行なわれる。次に、ステップ２１０において、録音機能を有するデジタルカメラ等で撮影された、付属情報として音声データを有する撮影情報を、撮影情報入力手段５２から入力する。入力された撮影情報は、音声データおよび画像データそれぞれ画像処理装置５４に送られる。次に、ステップ２２０で、画像処理装置５４において、音声データより感情の種類を特定する。それには、まず音声データを認識し、登録されている感情の種類を示すモードを導くキーワードが含まれているか、マッチングを行う。特定のキーワードが音声データから検出された場合には、そのキーワードに対応するモードにより、特定の画像処理パターンが特定される。
【００８５】次のステップ２３０において、上で特定された画像処理パターンの合成画像を撮影画像に合成する。ここで、撮影画像に合成される合成画像の合成位置が、撮影画像に対して所定位置、例えば、右上隅などの四隅のいずれか等に決まっており、合成画像のサイズが撮影画像のサイズに対して所定サイズまたは相対的なサイズが決まっている場合には、撮影画像にその決まった合成位置に決まったサイズで合成画像が合成される。
【００８６】なお、このとき、撮影画像に合成される合成画像の合成位置や合成サイズが、撮影画像中の人物やその顔に対して固定的または相対的に決められている場合には、撮影画像から公知の方法により、人物またはその顔を抽出しておくのが好ましい。顔抽出の方法としては、例えば本出願人による特開平８−１２２９４４号公報に開示された方法がある。なお、人物の顔領域等の特定領域を抽出する方法としては、上記以外にも、特開平４−３４６３３３号、同５−１５８１６４号、同５−１６５１２０号、同６−１６０９９３号、同８−１８４９２５号、同９−１０１５７９号、同９−１３８４７０号、同９−１３８４７１号、同９−１４６１９４号、同９−１９７５７５号等の各公報に開示された方法も好適に利用可能である。
【００８７】撮影画像から人物の顔が抽出されたら、顔の中から目を抽出し、さらに、顔の幅、目の位置等を算出する。そして、これらのデータを基に、画像処理パターンで指定された合成位置、合成サイズ、向きに従って合成画像を合成する。また、その他、背景、あるいは画面全体の濃度や色を変更する等の指定がある場合には、それらの変更処理を行う。またその後、通常の画像処理をも行い、出力画像を作成する。ところで、撮影画像中の人物（顔）の感情の種類の判別は、上述の音声データによるものに限定されず、詳細は後述するが、人物の表情やジェスチャーを用いて感情の種類の判別を行っても良い。なお、上述のように音声データのみから感情の種類を判定するにあたっては、撮影画像中からの人物の抽出は必要ではないが、これに対し、人物の表情やジェスチャーから、あるいは音声データおよび人物の表情やジェスチャーから、感情の種類を判定する場合には、画像中からの人物の抽出が必要となる。
【００８８】また、感情の判定には画像中からの人物の抽出が必要なくても、画像処理パターンを合成する際には、人物またはその顔に対して合成する方が好ましいので、人物抽出を行うのが好ましい。しかし、撮影画像中の所定の位置に合成する場合や、背景を変更したり、画面全体の濃度や色を変更したり、あるいは、例えば特にその位置を問題とせずに枯れ葉を舞わせるような場合には、特に人物の抽出をする必要はない。このように画像中からの人物の抽出は必要に応じて行なうようにすればよい。また、そのため、例えば、予め感情の種類の判定方法等も選択して設定することができるようにしておくことが好ましい。最後に、ステップ２４０で、画像記録装置１６から出力画像を出力する。
【００８９】なお、上で説明した例では、デジタルカメラ等で撮影を行った顧客の依頼を受けたラボ側が、ラボのプリンタで画像処理を行い、感情を強調したマークの合成されたプリントを作成していたが、上記画像処理をデジタルカメラ側で行うようにしてもよい。カメラ側で処理を行なう場合には、予め画像処理パターン等は、カメラ側に設定しおく。また、上記処理は、上述したように、音声データ認識と撮影画像からの顔抽出とに基づいて、すべて、自動で行ってもよいし、オペレータが顧客の指示に従って、操作キー等により入力して行うようにしてもよい。また、デジタルカメラ側で処理を行う場合にも、デジタルカメラに上記画像処理を実行するソフトを組み込んで、自動で画像合成処理を行なってもよいし、撮影時に、顧客がキー／ボタン等でカメラに指示を出して合成処理を行なうようにしてもよい。
【００９０】また、主プリントは通常の処理を行い、インデックスプリントにのみ上記画像処理パターンによる画像処理を行なうようにしてもよい。また、本実施形態では、感情を強調する画像（マーク）を合成するようにしていたが、モーフィング処理等の画像変形処理により表情を感情の種類に対応するように変更するようにしてもよい。例えば、「怒り」の場合には、モーフィング処理により、目をつり上げるようにする等の画像変形処理を行うことができる。しかし、写真の娯楽性を高めるためには、あまりリアルな表情の変更より、図６に示す例のような多少漫画的な方が面白みがあり、効果的である。
【００９１】さらに、上述したような撮影画像中の人物に対応した合成ではなく、当該人物自体やその構成部位、例えば、顔や胴体自体を全面的に、アニメーション画像またはコンピュータグラフィックス（ＣＧ）画像、特に好ましくは、感情の種類に対応したアニメーション画像またはＣＧ画像で置換する処理を行っても良い。ここで、用いられるアニメーション画像やＣＧ画像は、感情の種類に応じて決められた１つの画像であっても良いが、静止画および動画についてそれぞれ複数パターン選択できるようにしておくのが好ましい。
【００９２】また、このようなアニメーション画像やＣＧ画像は、顧客自身で予め作成し、登録した内容であっても良いし、後述するように、中継業者等で提供する内容であっても良い。また、上述の場合と同様に、撮影画像の被写体である人物の表情、ジェスチャおよび音声内容の少なくとも１つの情報に基づいて、変換パターンを設定できるようにしておくのがよいし、さらに、顧客の要望を登録できるようにしておくのが好ましいのはもちろんである。このようにすることにより、写真、ビデオ、ＴＶ電話等の画像表現における娯楽性を大幅に向上させることができ、また、ＴＶ電話等で、顔を出したくない場合などに便利であり、通話相手にも不快感を与えることがない。
【００９３】次に、本発明の第２の態様の第２実施形態について説明する。第２実施形態は、写真のような静止画ではなく、携帯ＴＶ電話やムービー編集等における動画に対して本発明の第２の態様の画像処理方法を適用したものである。携帯ＴＶ電話の表示画面に表示される画像やムービーの表示画像のような動画の場合にも、画像処理方法自体は、基本的には、上述した第１実施形態と同様である。
【００９４】すなわち、予め、携帯ＴＶ電話端末等のマイクロコンピュータに上述の場合と同じ画像処理パターンを登録しておき、また画像処理ソフトも組み込んでおく。そして、携帯ＴＶ電話の場合、通話中その会話の音声中に、登録されていたキーワードが検出された場合には、そのキーワードに対応するモードの合成画像を合成する処理がその端末で行なわれる。そして、合成画像は、通話の相手側の端末に送信され、表示される。このとき、表示画像自体も、動画であり、合成した、例えば図６に示すような「汗マーク」も、このまま静止しているのではなく、例えば少しずつ下へ流れて行くように移動するようにすれば効果的である。なお、十分なＣＰＵの演算速度を確保することにより、携帯ＴＶ電話での通話中において、あるいは、ムービー編集中において再生しながら、リアルタイムでの画像処理を行なうことも可能となる。
【００９５】次に、本発明の第２の態様の第３実施形態について説明する。本実施形態もＴＶ電話（あるいは携帯ＴＶ電話）のようにリアルタイムで画像処理をするものに関するものである。すなわち、本実施形態は、人物の感情の種類を判定する付属情報としての音声データの代わりに、表情認識やジェスチャ認識を用いて感情の種類を判定するものである。予め、表情認識のため、個人別に喜怒哀楽の表情をした画像とその表情に対応するモードとの対応表を各自の携帯ＴＶ電話端末に登録しておく。また、ジェスチャ認識のため、例えば、指を１本立てた場合はこのモード、指を２本立てた場合はこのモード・・・という具合に各自が決めたジェスチャとモードとの対応表を各自の携帯ＴＶ電話端末に登録しておく。
【００９６】そして、通話中に、その携帯ＴＶ電話端末において、話し手の撮影画像から顔を抽出し、パターンマッチングによる表情の種類の同定を行い、予め登録された特定の表情と一致する表情が検出された場合には、その登録された表情に対応するモードの画像処理パターンの画像処理を行い、処理済画像を通話の相手側の端末に送信し表示する。あるいは、ジェスチャ認識により、話し手が特定のジェスチャをしていることが検出された場合にも、同様の処理を行なう。
【００９７】なお、表情認識やジェスチャ認識についての公知技術としては、例えば、電子情報通信学会技術研究報告１９９９年１１月１８日および１９日、ＰＲＭＵ９９−１０６「動作位置の変化に頑健なジェスチャ認識」天田泰亨・鈴木基之・後藤英昭・牧野正三（東北大）、ＰＲＭＵ９９−１３８「顔器官輪郭の自動抽出と表情認識の自動化」小林宏・高橋久徳・菊地耕生（東京理科大）、ＰＲＭＵ９９−１３９「ポテンシャルネットを用いた顔領域の推定と表情認識」別所弘章（イメージ情報科研）・岩井儀雄・谷内田正彦（阪大）、ＰＲＭＵ９９−１４０（特別講演）「顔面表情認知研究と画像処理技術」山田寛（日大／ＡＩＲ）、ＰＲＭＵ９９−１４２（特別招待論文）「インタラクションのための人物動作解析と認識」谷内田正彦・岩井儀雄（阪大）等があり、これらの技術が好適に適用可能である。
【００９８】次に、本発明の第２の態様の第４実施形態について説明する。本実施形態もＴＶ電話あるいは携帯ＴＶ電話に係るものであるが、本実施形態は画像合成処理をＴＶ電話の中継局側で行なうものである。本実施形態における携帯ＴＶ電話システムの概略を図７に示す。予め、携帯ＴＶ電話の端末６０、７０を通して通信業者の中継局８０のデータベース８４に、利用者毎の顔画像データ（感情の種類に対応するモードを判定するための各モードごとの表情）や音声データ（各モードを引き出すためのキーワード）および各モードにおける画像合成パターンを登録しておく。
【００９９】通信時には、図７に示すようにＡの携帯ＴＶ電話端末６０からは、画像センサ６２によって撮影されたＡの撮影画像およびＡの音声が、また、Ｂの携帯ＴＶ電話端末７０からは、画像センサ７２によって撮影されたＢの撮影画像およびＢの音声がそれぞれ中継局８０に伝送される。中継局８０の処理部８２では、常に、ＡおよびＢの撮影画像から顔抽出を行い、登録された表情とのマッチングが行なわれるとともに、通話音声中に登録されたキーワードが出てこないかチェックが行なわれる。
【０１００】そして、例えば、Ａの会話から焦りモードを検出した場合には、Ａの撮影画像に対して、例えば、汗マークを合成する処理を行い、処理画像をＢの端末７０へ送信する。また、この時、Ａの処理画像を確認用として、その縮小版をＡの端末６０へも送るようにしてもよい。Ａの端末６０の表示画面６４には、Ｂの顔画像が表示されているが、その隅にＡの処理画像の確認用として表示枠６６が設けられ、この表示枠６６にＡの処理画像が表示される。この時、同様に、Ｂの端末７０の表示画面７４には、Ａの処理画像が表示されるとともに、その隅の確認用の表示枠７６に、中継局８０から送られるＢの処理画像の縮小版が表示される。
【０１０１】なお、利用者毎の顔画像データ、音声データおよび画像合成パターン等を利用者の端末に登録しておき、携帯ＴＶ電話の端末側で、モード検出から画像合成処理を行なうようにしてもよい。また、中継局および端末の両方に上記データを登録しておき、どちらでも処理を行なえるようにしてもよい。また、画像合成処理は、送信する場合に限らず、受信した音声・画像データに対して合成処理を適用するようにしてもよい。例えば、図７において、Ｂ氏からの受信画像に対する合成処理をＡ氏の端末で行なってもよい。この場合、受け手であるＡ氏の好みのパターンを付けることで娯楽性が向上する。
【０１０２】次に、本発明の第２の態様の第５実施形態について説明する。本実施形態は、リアルタイムで画像合成処理を行なっている場合に、合成パターンに位置ずれが生じた場合に、それを修正するものである。合成パターンの位置ずれの原因は、ほとんど顔抽出の失敗にあるため、表示画面で、合成パターンの位置ずれを発見したときには、電子ペン等により撮影画像中の顔を指定する。このとき、電子ペンで顔の輪郭をぐるっと囲んでもよいし、両目を線で結んでもよい。さらに、口の位置等を指定するようにしてもよい。あるいは、キー操作により、合成パターンを平行移動すべき位置およびサイズの調整量等を指定するようにしてもよい。
【０１０３】その後、修正した合成パターンの位置およびサイズを基に、本来の合成パターンと照合する様に顔位置候補エリアを自動で修正し、顔抽出処理を再実行する。これにより、携帯ＴＶ電話のように動画の場合においても、リアルタイムで合成パターンの位置やサイズが顔の動きに合わせて修正される。従って、合成パターンが顔に自動追従して表示画像中の所定位置に表示されるため、画像表示媒体における画像表示の娯楽性が向上される。
【０１０４】また、本発明の第３の態様の画像処理方法は、ＴＶ画像をパソコンに取り込んで、取り込んだ画像に対して、上述した本発明の第２の態様の画像処理方法を適用するものである。すなわち、ＴＶ画像をパソコンに取り込み、上記合成処理や置換処理や画像変形処理や色や濃度の変更処理等をしたり、あるいはデジタルＴＶにおいて、受像機に上記合成処理機能等を持たせ、さらに、合成パターンを顧客が設定できるようにするものである。こうすることにより、娯楽性をいっそう向上させることができる。本発明の第２および第３の態様の画像処理方法は、基本的に以上のように構成される。
【０１０５】次に、図８および図９を参照して、本発明の第４の態様に係る画像処理方法を説明する。本発明の第４の態様の画像処理方法は、基本的に、予め、撮影画像中の特定エリア内のエリア画像または画像特徴量を登録しておき、予め登録されたエリア画像または画像特徴量を用いて、撮影画像中の該当エリアに合成する、または濃度および色味の調整を行うものである。
【０１０６】例えば、本態様の画像処理方法は、撮影画像中の被写体である人物の顔画像として、予め、基準顔画像として、当該人物の気に入った化粧顔や好みの顔画像やその画像特徴量や、正面を向いた、撮影方向と視線が一致した顔画像を登録しておき、当該人物が撮影画像の被写体となった時、撮影画像中の人物の顔を、予め基準顔画像として登録されている当該人物の気に入った化粧顔や好みの顔画像や正面を向いた撮影方向と視線が一致した顔画像に修正、または合成、または変換したり、あるいは、予め登録されている画像特徴量を用いて気に入った化粧顔や好みの顔画像に仕上がるように、その濃度や色味を修正、または調整するものである。こうすることにより、だれでも、容易に、気に入った化粧顔や好みの顔画像等の基準顔画像に修正することができ、視線の不一致による違和感を解消することができるというものである。
【０１０７】なお、以下では、撮影画像中の被写体である人物の顔画像を、気に入った化粧顔や好みの顔画像や正面を向いた撮影方向と視線が一致した顔画像をに修正する場合を代表例として説明するが、本態様はこれに限定されるわけではない。また、本発明の第４の態様が適用される対象は、本発明の第２および第３の態様と同様に、写真（静止画）のみならずビデオ（動画）やＴＶ電話等のリアルタイムでの画像表示等、広い範囲に及ぶのは言うまでもないことである。
【０１０８】まず、本発明の第４の態様の第１実施形態について説明する。本第１実施形態は、デジタルカメラ等で撮影された撮影画像に対して、予め登録された登録パターンを用いて、所定の画像処理を行うものである。図８は、本発明の第４の態様の第１実施形態に係る画像処理方法を実施する画像処理装置を含むデジタルフォトプリンタの概略を示すブロック図である。図８に示すデジタルフォトプリンタ９０は、主に、撮影画像取得手段９２、画像処理装置９４、データベース９６および画像記録装置１６とを有する。なお、画像記録装置１６、操作系１８およびモニタ２０は、基本的に、図４に示すデジタルフォトプリンタ５０と同様のものを用いることができる。
【０１０９】撮影画像取得手段９２は、デジタルカメラ等の画像撮像装置によって画像データが記録された記録メディアから撮影画像データを読み込むものである。画像処理装置９４は、撮影画像取得手段９２によって読み込まれた撮影画像データから予めデータベース９６に登録するための基準顔画像の取得、抽出、作成や予めデータベース９６に登録されている基準顔画像の選択や、選択された基準顔画像を用いた撮影画像中の顔画像の修正、合成、変換等の本態様に係る画像処理方法およびその他各種の画像処理を実施するものである。データベース９６は、予め基準顔画像として、撮影画像の被写体となる人物の気に入った化粧顔や好みの顔画像や、その画像特徴量や、被写体人物の正面を向いた、撮影方向と視線が一致した顔画像（以下、カメラ視線顔画像という）を登録しておくためのものである。また、画像処理装置９４のその他の機能や、キーボード１８ａおよびマウス１８ｂを有する操作系１８や、モニタ２０や、画像記録装置１６の機能については、図４に示すデジタルフォトプリンタ５０と、基本的に、同様であるので、その説明は省略する。
【０１１０】以下、図９のフローチャートに沿って、この第１実施形態の画像処理について説明する。まず、ステップ３００において、予め、最も気に入った状況で顔を、例えば、デジタルカメラ等の撮影装置で撮影し、撮影画像取得手段９２によって、この顔の撮影画像を登録用撮影画像として取得する。
【０１１１】次に、ステップ３１０で、画像処理装置９４において、顔抽出アルゴリズムを適用して、撮影画像取得手段９２によって取得された顔の撮影画像から、基準顔画像として顔領域を抽出する。この時、基準顔画像の画像特徴量を算出しておいても良い。なお、顔の撮影画像全体を基準顔画像とする場合には、基準顔画像の画像特徴量の算出を省略することにより、このステップ３１０の抽出工程を省略しても良い。このステップ３１０で基準顔画像の画像特徴量の算出を省略する場合には、前後のステップ３００または３２０、もしくは後述するステップ３６０の修正工程で行っても良い。ステップ３２０において、顔の撮影画像中の抽出された顔領域または顔の撮影画像全体を基準顔画像としてデータベース９６に登録する。こうして、予め行う前処理が終了する。
【０１１２】なお、データベース９６に登録される基準顔画像としては、きちんと化粧した時の顔や美容院や理容室等で髪を整えた時の顔や髭を剃った時の顔や髭を整えた時の顔等を用いれば良く、特定の人物について複数の基準顔画像、例えば朝用／夜用、季節別、ＴＶ電話や携帯電話の表示用では通信相手による切り分け用等）を使い分けても良い。また、基準顔画像において、顔画像の構成要素の部位毎に基準パターンとして登録しても良い。すなわち、ステップ３１０の抽出工程で、修正や合成に利用したいエリアを自動的に抽出して、あるいはマニュアルで指定して、抽出または指定されたエリアを基準パターンとして登録しても良い。基準パターンとしては、例えば、目、眉、頬、唇、鼻、耳、髪、髭等の顔の構成要素の各部位や、イヤリングや、帽子（バンダナや鉢巻等も含む）や、眼鏡 (サングラスも含む）の装飾品等をも挙げることができる。なお、この場合、顔抽出アルゴリズムを適用して、指定されたエリアが顔のどの部位を示すかを自動認識できるようになっていると一層の望ましい。顔抽出精度が低い場合には、逐一、各部位を指定しながら、エリア設定を行うものとするのが良い。
【０１１３】次に、ステップ３３０で、撮影画像取得手段９２によって、撮影画像を取得する。このステップ３３０の撮影画像の取得工程は、例えば、ＴＶ電話や携帯電話の表示画面への撮影画像の送信や表示に先だって行われる。例えば、このような電話の通信時には、撮影画像中の被写体人物は、ＴＶ電話や携帯電話の所有者や専用の使用者である場合が多く、特定されている場合が多いので、その情報、例えばＩＤ等を自動的に取得できるようにしておくのが良い。また、使用者が多数の場合には各人にＩＤを付しておき、このステップ３３０で撮影画像取得手段９２によって撮影画像とともに被写体人物のＩＤを取得できるようにしておくのが良い。
【０１１４】次いで、ステップ３４０で、画像処理装置９４において、撮影画像取得手段９２によって取得された撮影画像に対し、顔抽出アルゴリズムを適用して、撮影画像中から被写体人物の顔領域を顔画像として抽出する。この時、単に顔領域全体のみならず、顔画像の構成要素の各部位のエリアを割り出しておくのが良い。例えば、まず、顔の輪郭を抽出し、次に各部位のエリアの絞込みを行い、最後に形状パターンマッチングにより、各部位のエリアを確定することができる。なお、顔抽出の精度が低い場合には、デジタルカメラ等の撮影装置で撮影を開始する時に、顔枠等のガイドをファインダーや表示装置に表示して、表示されたガイド内の位置に被写体人物の顔が来る（収まる）ように、被写体人物の姿勢を取らせるのが良い。こうしておくことにより、形状パターンマッチングによる顔画像の抽出が容易となるし、撮影コマが異なっていても、一旦、顔をキャッチすれば、撮影コマ間の局所マッチングによって、被写体の顔を追跡することができる。
【０１１５】ステップ３５０において、画像処理装置９４によってデータベース９６から上述したＩＤ等によって検索された、または特定された人物の登録済基準顔画像、および基準パターン、ならびに必要に応じて、これらの画像特徴量を選択して呼び出す。なお、ここでは、上述した特定の人物の顔画像の各部位について、それぞれ別の基準画像から選んで組み合せを変え、新たな組み合せを作ることも可能である。例えば、目は第１の基準顔画像から、眉は第３の基準顔画像から、イヤリングは第８の基準顔画像から新しい組み合せの顔画像を作ることもできる。ところで、ステップ３４０とステップ３５０とは、どちらをを先にやっても良いし、両者を同じにやっても良い。
【０１１６】次ぎに、ステップ３６０において、ステップ３４０で抽出された顔画像および顔画像の構成要素の各部位のエリアを、ステップ３５０で選択された特定の人物の登録済基準顔画像および基準パターンならびにそれらの画像特徴量を用いて、修正、または合成、または置換する。ここで、顔画像全体を登録済基準顔画像に合成あるいは置換しても良いが、顔の各部位毎に、登録済基準パターン画像を用いて修正、または合成、または置換しても良いし、登録済基準パターン画像の特徴量を用いて修正しても良い。例えば、頬や唇は、当該部位の基準パターンの色味に修正する。特に、唇は、動くために、色味で唇と肌のエリアを画素レベルで分離した後、唇の色味のみを修正するのがよい。また、髪、眉、頬、耳（耳たぶ）は、基準パターンを上書き合成するのが好ましい。この場合には、合成エリアの周辺部には、平滑化をかけて境界をぼかすのが好ましい。
【０１１７】最後に、ステップ３７０において、こうしてステップ３６０で顔画像が修正された撮影画像を、出力画像として、画像処理装置９４から出力する。この出力画像は、プリンタ１６から写真プリントとして出力しても良いし、モニタ２０に表示しても良いし、ＴＶ電話や携帯電話端末（の画像処理装置；図７参照）に出力し、そこから相手のＴＶ電話や携帯電話端末（の画像処理装置；図７参照）に送信して、その表示画面に表示しても良いし、直接相手側に送信して、その表示画面に表示することもできる。もちろん、自分の側の装置の表示画面に表示しても良い。
【０１１８】こうすることにより、パーソナルコンピュータや画像処理ソフトの未経験者や未熟練者であっても、容易に、気に入った化粧顔や好みの顔画像に修正することができる。ところで、この他、被写体人物の衣服部分（顔の下に設定されるエリア）や背景（顔エリア以外の領域）に装飾パターンをちりばめるようにしても良い。こうすることにより、普段着や寝巻き（パジャマ）や部屋等の目隠しをすることができ、相手に不愉快な感情を与えることがない。
【０１１９】次に、本発明の第４の態様の第２実施形態について説明する。本第２実施形態も、第１実施態様と同様に、デジタルカメラ等で撮影された撮影画像に対して、予め登録された登録パターンを用いて所定の画像処理を行うものであるが、予め登録された登録パターンが撮影方向と被写体人物の視線が一致した画像（カメラ視線画像または視線一致画像）である点で異なるものであるので、同様に図８および図９を参照して、本第２実施形態を以下に説明する。
【０１２０】本第２実施形態では、まず、図９に示すステップ３００において、デジタルカメラ等の撮影装置でこれを直視した撮影画像を撮影して、記録し、この記録された撮影画像を撮影画像取得手段９２（図８参照）によって登録用撮影画像として取得する。次に、ステップ３１０で、画像処理装置９４において、顔抽出アルゴリズムを適用して、撮影画像取得手段９２によって取得された登録用撮影画像から、基準パターンとして眼のエリアを抽出し、ステップ３２０において、抽出された眼のエリアを基準パターンとしてデータベース９６に登録する。こうして、予め行う前処理が終了する。
【０１２１】次に、ステップ３３０で、撮影画像取得手段９２によって、撮影画像を取得する。このステップ３３０の撮影画像の取得工程は、例えば、ＴＶ電話や携帯電話の表示画面への撮影画像の送信や表示に先だって行われる。次いで、ステップ３４０で、例えばこのような電話の通信時には、画像処理装置９４において、撮影画像取得手段９２によって取得された撮影画像に対し、顔抽出アルゴリズムを適用して、撮影画像中から被写体人物の両眼のエリアを抽出する。ステップ３５０において、画像処理装置９４によってデータベース９６から登録済基準パターン選択して呼び出す。なお、ステップ３４０とステップ３５０とは、どちらを先にやっても良いし、両者を同じにやっても良い。
【０１２２】次ぎに、ステップ３６０において、ステップ３４０で抽出された両眼のエリアを、ステップ３５０で選択された登録済基準パターンを用いて、修正、または合成、または置換する。ここで、画像フレーム間の動きが小さい場合、または（左右のバランスでチェックした結果）正面を向いていると判定できる場合には、登録した基準パターン画像を合成しても良い。
【０１２３】最後に、ステップ３７０において、こうしてステップ３６０で両眼がカメラ視線に修正された撮影画像を、出力画像として、画像処理装置９４から出力する。あるいは、ＴＶ電話や携帯電話端末の場合には、撮影画像の定常状態（例えば、起動時に姿勢を正してモニタを見て撮影した画像の状態）を仮記憶しておき、仮記憶画像と現画像との差が所定以上の場合には、動きが大きいとして、違和感防止のために、撮影画像をそのまま出力画像として伝送しても良い。なお、この出力画像は、プリンタ１６から写真プリントとして出力しても良いし、モニタ２０に表示しても良いし、上述のように、ＴＶ電話や携帯電話端末に出力し、そこから相手のＴＶ電話や携帯電話端末に送信して、その表示画面に表示しても良いし、直接相手側に送信して、その表示画面に表示しても良い。こうすることにより、視線の不一致による違和感を解消することができる。
【０１２４】ところで、この他、基準パターンの登録時に、カメラを直視した撮影画像の動画、例えば、瞬きを１回以上含むように撮影した動画を記録しておく。ＴＶ電話等での通信時の合成においては、実際の瞬きタイミングとは無関係に、動画として合成することもできる。あるいは、撮影画像の取得に際し、瞬き検出を行い、同期を取るようにするとさらに望ましい。
【０１２５】さらに、本発明の第４の態様の第３実施形態においては、ＴＶ電話や携帯電話端末等の送信端末（図７参照）の演算能力が大きければ、本態様の第１および第２実施形態において説明した種々の修正処理を、これらの送信端末で実行しても良い。あるいは、中継局（図７参照）側に基準顔画像、装飾パターンデータを顧客ＩＤとセットで登録し、中継局側で、実行してもらっても良い。また、本態様において、ＴＶ電話や携帯電話端末等を家族で使う場合、上述した第１の態様のように、家族の人物別に基準顔画像や基準パターンを登録しておくのが好ましい。本発明の第４の態様の画像処理方法は、基本的に以上のように構成される。
【０１２６】以上、本発明の画像処理方法について詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのはもちろんである。
【０１２７】
【発明の効果】以上詳述したように、本発明の第１の態様によれば、自動的に個々の顧客毎の好みを反映した出力画像を得ることができ、写真の娯楽性を向上させることが出来る。
【０１２８】また、以上詳述したように、本発明の第２の態様によれば、画像中の特に人物の顔の表示において、感情に応じて強調したい内容が自動的に視覚化されて表現されるため写真、ビデオ、ＴＶ電話等の画像表現における娯楽性を大いに向上させることが可能となり、また、ＴＶ電話等で、顔を出したくない場合などに便利であり、通話相手にも不快感を与えることがない。
【０１２９】また、以上詳述したように、本発明によれば、上記従来技術の問題を鑑解消して、パーソナルコンピュータや画像処理ソフトの未経験者や未熟練者などであっても、容易に、気に入った化粧顔や好みの顔画像に修正することができ、視線の不一致による違和感を解消することができる。
【図面の簡単な説明】
【図１】 本発明の第１の態様に係る画像処理方法を実施する画像処理装置を含むデジタルフォトプリンタの一実施例の概略を示すブロック図である。
【図２】 本発明で用いられる登録データの例を示す説明図である。
【図３】 本発明の第１の態様の第１実施形態の作用を示すフローチャートである。
【図４】 本発明の第２の態様に係る画像処理方法を実施する画像処理装置を含むデジタルフォトプリンタの一実施例の概略を示すブロック図である。
【図５】 本発明の第２態様の第１実施形態に係る画像処理方法の処理の流れを示すフローチャートである。
【図６】 画像処理パターンの例を示す説明図である。
【図７】 本発明の第２態様の第４実施形態に係る携帯ＴＶ電話システムの概略を示す説明図である。
【図８】 本発明の第４の態様に係る画像処理方法を実施する画像処理装置を含むデジタルフォトプリンタの一実施例の概略を示すブロック図である。
【図９】 本発明の第４態様の第１および第２実施形態に係る画像処理方法の処理の流れを示すフローチャートである。
【符号の説明】
１０ デジタルフォトプリンタ
１２ スキャナ
１４ （画像）処理装置
１６ 画像記録装置
１８ 操作系
１８ａ キーボード
１８ｂ マウス
２０ モニタ
２２ 光源
２４ 可変絞り
２６ 拡散ボックス
２８ キャリア
３０ 結像レンズユニット
３２ イメージセンサ
３４ Ａ／Ｄ変換器
５０ デジタルフォトプリンタ（プリンタ）
５２ 撮影情報入力手段
５４ 画像処理装置
５６ 画像記録装置
６０、７０ 携帯ＴＶ電話端末
６２、７２ 画像センサ
６４、７４ 表示画面
６６、７６ 表示枠
８０ 中継局
８２ 処理部
８４ データベース
【０００１】
【発明の属する技術分野】本発明は、入力された画像データに対して画像処理を施して出力画像データとする画像処理方法に係り、特に個々の顧客の要望に応じた出力画像を作成する画像処理方法、および人物画像を表示する画像表示媒体等に、その人物の感情に応じた情報を付加的に表示する、または感情に応じた画像に置換する、あるいは変更する、もしくは調整する画像処理方法、ならびに人物画像を当該人物の好みの画像もしくは違和感のない画像にする画像処理方法に関する。
【０００２】
【従来の技術】従来、ネガフィルム、リバーサルフィルム等の写真フィルム（以下、フィルムとする。）に撮影された画像の感光材料（印画紙）への焼き付けは、フィルムの画像を感光材料に投影して感光材料を面露光する、いわゆる直接露光によって行われている。
【０００３】これに対し、近年では、デジタル露光を利用する焼き付け装置、すなわち、フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を走査露光して画像（潜像）を記録し、プリント（写真）とするデジタルフォトプリンタが実用化されている。
【０００４】デジタルフォトプリンタでは、画像をデジタルの画像データとして、画像データ処理によって焼き付け時の露光条件を決定することができるので、逆光やストロボ撮影等に起因する画像の飛びやツブレの補正、カラーフェリアや濃度フェリアの補正、アンダー露光やオーバー露光の補正、周辺光量不足の補正、シャープネス（鮮鋭化）処理、濃度ダイナミックレンジの圧縮／伸長処理（画像データ処理による覆い焼き効果の付与）等、従来の直接露光では不可能あるいは困難であった各種の画像処理を、高い自由度で行うことができ、直接露光に比して非常に高品位なプリントを得る事ができる。しかも、複数画像の合成や画像分割、さらには文字の合成等も画像データ処理によって行う事ができ、用途に応じて自由に編集／処理したプリントも出力可能である。
【０００５】また、デジタルフォトプリンタによれば、画像をプリントとして出力するのみならず、画像データをコンピュータ等に供給したり、フロッピー（登録商標）ディスク等の記録媒体に保存しておくこともできるので、画像データを、写真以外の様々な用途に利用することもできる。このように、デジタルフォトプリンタによれば、画像データ処理によって、より自由度の高い画像処理を施すことが可能であり、より商品価値の高いプリントを出力することができる。
【０００６】ところで、プリントに再生される画像は、できる限り顧客（プリント作成依頼者）の要望を反映したものであることが好ましい。この点に関して本出願人は、特開平１１−３３１５７０号公報において、顧客に好適に対応した仕上がり画像を再生する画像処理方法を提案している。すなわち、これは、画像供給源から供給された画像データに関する顧客の情報を取得し、この顧客の情報に応じて画像処理条件を設定し、この画像処理条件に基づいて画像処理を行うことにより、顧客に好適に対応した再生画像を得るものである。
【０００７】ここで、顧客の情報とは、顧客の職業、顧客の性別、顧客の年齢等である。また、顧客の情報を取得する方法としては、顧客からプリントの注文を受け付ける際、顧客から聴取し、これをオペレータに伝達してオペレータがマウス等の操作手段を用いて入力する方法や、顧客カードに顧客情報を記載しておき、プリント作成時にオペレータが顧客カードを見て顧客情報を入力する方法、あるいは顧客情報をデータベース化しておき、データベースから顧客情報を取得する方法等が例示されている。
【０００８】また、顧客に好適に対応した画像処理の例としては、例えば、フィルムがリバーサルで職業がプロカメラマンの場合には、フィルムに撮影された画像を忠実に再現するようにし、プロカメラマンでない場合には、通常に画像の色・濃度調整を行い、オーバー（露光過剰）やアンダー（露光不足）、逆光等の撮影の失敗を救済するようにする。また、男性の場合には、顔領域を抽出して、階調を立てるとともにディテールを出すように、シャープネスを強めに掛け、女性の場合には、顔領域を抽出して、階調を寝かせ（柔らかくし）るとともに、しみ、しわ、そばかす等が目立たないようにシャープネスを弱めに掛け、あるいは極弱くソフトフォーカスを掛けるようにする等の処理が例示されている。
【０００９】しかしながら、前記従来の画像処理方法では、顧客の情報をオペレータが入力しなければならず、処理が煩雑であるという問題がある。また、取得した顧客の情報に応じて設定する画像処理条件が一定に決められており、せいぜいその処理を行うか否かの選択しかできず、顧客、あるいはさらにきめ細かく、被写体人物ごとの好みに応じた画像処理条件を設定するという機能はなく、真に顧客あるいは被写体人物の好みを反映させた画像再生が実現できていないという問題があった。
【００１０】ところで、従来、画像形成媒体として、静止画を再現する写真（プリント）、動画として再現する映画（映写機およびスクリーン）があったが、近年ブラウン管（ＣＲＴ）が発明されて以来、テレビ（ＴＶ）は全家庭に普及し、さらに技術の進歩は目覚ましいものがあり、画像形成媒体として、液晶ディスプレイ、プラズマディスプレイ、電子ペーパー等の様々な画像表示手段が開発されている。そして、最近では、これらの画像形成媒体を利用して、ビデオカメラ、デジタルカメラ、デジタルビデオムービー、携帯ＴＶ電話等の、画像とともに音声をも取り込めるような画像形成手段が開発されている。
【００１１】しかしながら、前記従来の画像形成手段は、画像を撮影するとともに音声も録音可能であるが、取り込まれた音声データは単に音としてそのまま再生するのみであった。また、画像も撮影したままをできるだけ忠実に再現することに主眼がおかれており、娯楽性という点に関しては、まっまく考慮されていないという問題があった。
【００１２】さらにまた、現在、デジタル画像処理の技術では、デジタル画像データとして取り込まれた撮影画像の濃度や色味等の調整が可能であり、また、撮影画像自体の修正や他の画像との合成や置換等の画像処理も可能であり、種々のデジタル画像処理技術が提案されている。その中で、従来より写真の分野で行われてきた人物の顔や視線の修正や調整を行うデジタル画像処理技術が提案されている。例えば、特開２０００−１５１９８５号公報では、人物の顔画像の部位および調整パラメータを設定し、化粧顔に修正する技術が開示されている。しかしながら、色調や階調の調整は、一般人にはなじみがないし、素人には難しい処理である。特に、パーソナルコンピュータ（パソコンまたはＰＣ）に慣れたユーザでない場合にはかなり難しい。場合によっては良い調整結果が得られないばかりか、調整後の画像に違和感が生じる虞も多々あるという問題があった。
【００１３】また、特開平５−２０５０３０号公報には、人物の顔画像の３次元モデルからコンピュータグラフィックス（以下、ＣＧ略称する）技術によって、正面を見ている眼の画像を作成する技術が開示されている。しかしながら、ＣＧ技術によって作成された眼の画像では、違和感が残る可能性があるという問題があった。また、３次元モデルからのＣＧ技術であるため、演算量が膨大になるという問題もあった。一方、また、このようなデジタル画像処理の内簡単なものは、パソコンでも可能であり、そのための画像処理ソフトも種々市販されている。しかしながら、これらの市販の画像処理ソフトを使って、人物の顔画像を好みの顔に仕上げたり、視線を撮影方向に合わせて、正面に向いているように仕上げるのは、簡単なものでは十分な精度が得られなかったり、素人には操作が困難であったりという問題があった。
【００１４】
【発明が解決しようとする課題】本発明は、前記従来の問題に鑑みてなされたものであり、被写体人物ごとの好みを反映した再生画像を、自動的に得ることのできる画像処理方法を提供することを第１の課題とする。
【００１５】また、本発明は、前記従来の問題に鑑みてなされたものであり、撮影画像、特に人物画像において、その人物の感情の種類に応じて、強調したい内容を視覚化して、画像形成を行うようにして、写真、ビデオ、ＴＶ電話等の画像形成媒体における娯楽性を高めることのできる画像処理方法を提供することを第２の課題とする。
【００１６】また、本発明は、前記従来の問題に鑑みてなされたものであり、パーソナルコンピュータや画像処理ソフトの未経験者や未熟練者であっても、容易に、気に入った化粧顔や好みの顔画像に修正することができ、視線の不一致による違和感を解消することができる画像処理方法を提供することを第３の課題とする。
【００１７】
【課題を解決するための手段】上記第１の課題を解決するために、本発明の第１の態様は、入力された画像データに対して、画像処理を施す画像処理方法であって、予め特定の人物毎に所定の画像処理条件を登録し、前記入力された画像データ中の人物を抽出し、該抽出された人物が前記特定の人物か否かを人物同定し、当該人物同定された特定の人物に対応する画像処理条件を選択し、該選択された画像処理条件に基づいて画像処理を行うことを特徴とする画像処理方法を提供するものである。
【００１８】ここで、前記人物同定を、予め登録された人物の顔画像、または撮影コマに付属する人物指定情報を用いて行うことが好ましい。
【００１９】また、前記特定の人物毎に予め登録される所定の画像処理条件は、該特定の人物毎に複数種類設定されることが好ましい。
【００２０】また、前記複数種類の画像処理条件の中から選択した、少なくとも１以上の画像処理条件を組み合わせて、前記画像処理を行うようにしたことが好ましい。
【００２１】さらに、前記選択された画像処理条件による画像処理を画面全体に施すのか、該当する人物のみあるいはその人物とその周辺近傍のみに施すのか、を設定するようにしたことが好ましい。
【００２２】上記第２の課題を解決するために、本発明の第２の態様は、撮影画像中から抽出された人物の表情、または該抽出された人物のジェスチャ、あるいは前記撮影画像に付属する音声データ、のうちいずれか一つ以上の情報に基づいて、予め登録された感情の種類を判定し、予め設定された画像処理パターンのうち前記判定された感情の種類に対応する画像処理パターンを適用した画像処理を、前記撮影画像に対して行うことを特徴とする画像処理方法を提供するものである。
【００２３】ここで 前記画像処理パターンは、前記感情の種類に対応して設定され、前記画像処理パターンを適用した画像処理は、前記感情の種類に対応した所定のマークの合成処理、前記感情の種類に対応したアニメーション画像またはコンピュータグラフィックス画像への置換処理、前記感情の種類に対応した、前記撮影画像に対する画像変形処理、および前記感情の種類に対応した、前記撮影画像の濃度および色の変更処理の少なくと１つの処理であるのが好ましい。
【００２４】また、前記合成処理は、前記撮影画像中の所定位置に、または予めもしくはこの時に前記撮影画像中から抽出された人物に対して所定の位置に、もしくは予めもしくはこの時に前記撮影画像中から抽出された人物に対して相対的な位置に、かつ、前記撮影画像または前記抽出された人物に対して、所定のサイズおよび所定の向きで、あるいは相対的なサイズおよび相対的な向きで、前記所定のマークを合成する処理であるのが好ましい。また、前記置換処理は、予めもしくはこの時に前記撮影画像中から前記抽出された人物の所定の部位を前記もしくは前記アニメーション画像またはコンピュータグラフィックス画像に置き換える処理であるのが好ましい。
【００２５】前記画像処理パターンは前記感情の種類に対応して設定され、前記画像処理パターンを適用した画像処理は、必要に応じて前記撮影画像中から人物を抽出し、該抽出された人物に対する所定の相対的な位置への、相対的なサイズおよび相対的な向きでの、前記感情の種類に対応した所定のマークの合成、または前記抽出された人物に対する所定の位置への、所定のサイズおよび所定の向きでの、前記感情の種類に対応した所定のマークの合成、あるいは、前記撮影画像に対する画像変形、または、濃度および色の変更のいずれか一つ以上の処理であることが好ましい。
【００２６】また、前記撮影画像は、録音機能付き画像撮像装置の撮影画像であり、前記画像処理パターンを前記録音機能付き画像撮像装置に予め登録しておき、前記画像処理パターンを適用した画像処理を前記録音機能付き画像撮像装置で行うことが好ましい。
【００２７】また、前記画像処理パターンを適用した画像処理を、前記録音機能付き画像撮像装置による前記録音された音声データを含む画像撮影情報を受け取ったラボ側で行うことが好ましい。
【００２８】また、前記撮影画像は、撮影機能付き通話装置の撮影画像であり、前記撮影画像に対して、前記人物の感情の種類に対応する前記画像処理パターンを適用した画像処理を行うことが好ましい。
【００２９】また、前記画像処理パターンを前記撮影機能付き通話装置に予め登録しておき、前記画像処理を前記撮影機能付き通話装置で行い、処理画像を通話相手側の端末に送信することが好ましい。
【００３０】また、前記画像処理パターンを前記撮影機能付き通話装置の中継局に予め登録しておき、前記画像処理を前記中継局で行い、処理画像を通話中の一方の端末に送信することが好ましい。
【００３１】また、前記画像処理パターンを前記撮影機能付き通話装置に予め登録しておき、前記撮影機能付き通話装置が受信した、通信相手側端末による撮影画像に対して、前記画像処理パターンを適用した画像処理を前記撮影機能付き通話装置で行なうことが好ましい。
【００３２】また、前記画像処理パターンを適用した画像処理において、前記感情の種類に対応した所定のマークまたはその合成位置を間違えた場合に、前記感情の種類、マークの合成位置、マークのサイズまたは向きの修正を可能としたことが好ましい。
【００３３】また、上記第２の課題を解決するために、本発明の第３の態様は、テレビ画像をパーソナルコンピュータに取り込み、該パーソナルコンピュータにおいて、前記取り込んだテレビ画像に対して、予め設定された画像処理パターンを適用した画像処理を行なうことを特徴とする画像処理方法を提供するものである。
【００３４】また、上記第３の課題を解決するために、本発明の第４の態様は、予め画像の特定エリア内のエリア画像または画像特徴量を登録しておき、前記予め登録されたエリア画像または画像特徴量を用いて、撮影画像中の該当エリアに合成する、または濃度および色味の調整を行うことを特徴とする画像処理方法を提供するものである。ここで、前記該当エリアは、前記予め登録されたエリア画像または画像特徴量に応じて撮影画像中から抽出されるのが好ましい。また、前記特定エリアは、人物の顔、人物の顔を構成する少なくとも１つの部位、人物が身に付ける装飾品および背景の少なくとも１つであるのが好ましい。
【００３５】また、前記特定エリアは、人物の顔であり、前記予め登録されたエリア画像は、前記人物の化粧顔または前記人物の最良の顔画像であるのが好ましい。また、前記特定エリアは、人物の顔を構成する眼のエリアであり、前記撮影画像中の被写体である人物が定常状態にあるかどうかを判定し、前記定常状態にある時、前記人物の顔を構成する前記眼のエリアに前記予め登録された前記特定エリアの前記エリア画像を合成するのが好ましい。また、前記予め登録されたエリア画像は、前記人物の視線が撮影方向に一致する前記眼のエリアの画像であるのが好ましい。
【００３６】
【発明の実施の形態】本発明に係る画像処理方法を添付の図面に示す好適実施形態に基づいて以下に詳細に説明する。まず、図１〜図３を参照して、本発明の第１の態様に係る画像処理方法を説明する。
【００３７】図１は、本発明の第１の態様に係る、個々の顧客ごとの好みを反映した再生画像を自動的に得る画像処理方法を実施する画像処理方法を実施する画像処理装置を含むデジタルフォトプリンタの一実施例の概略を示すブロック図である。図１に示すデジタルフォトプリンタ（以下、フォトプリンタという）１０は、フィルムＦに撮影された画像を光電的に読み取るスキャナ（画像読取装置）１２と、このスキャナ１２で読み取られた画像データの電子変倍処理や、画像データのエッジ検出やシャープネス強調（鮮鋭度強調）、平滑化処理（粒状抑制）などの画像処理やフォトプリンタ１０全体の操作および制御等を行う画像処理装置１４と、この画像処理装置１４から出力された画像データに応じて変調した光ビームで感光材料（印画紙）を画像露光し、現像処理して（仕上がり）画像をプリントとして出力する画像記録装置１６と、を有する。また、画像処理装置１４には、様々な条件の入力、設定、処理の選択や指示、色／濃度補正などの指示等を入力するためのキーボード１８ａおよびマウス１８ｂを有する操作系１８と、スキャナ１２で読み取られた画像、各種の操作指示、様々な条件の設定／登録画面等を表示するモニタ２０が接続される。
【００３８】スキャナ１２は、フィルムＦ等に撮影された画像を１コマずつ光電的に読み取る装置で、光源２２と、可変絞り２４と、フィルムＦに入射する読取光をフィルムＦの面方向で均一にする拡散ボックス２６と、フィルムＦのキャリア２８と、結像レンズユニット３０と、Ｒ（赤）、Ｇ（緑）およびＢ（青）の各色画像濃度の読取に対応する３ラインＣＣＤセンサを有するイメージセンサ３２と、アンプ（増幅器）３３と、Ａ／Ｄ（アナログ／デジタル）変換器３４とを有する。
【００３９】フォトプリンタ１０においては、スキャナ１２の本体に装着自在な専用のキャリア２８が、新写真システム（Ａdvanced Ｐhoto Ｓystem)や１３５サイズのネガ（あるいはリバーサル）フィルム等のフィルムＦの種類やサイズ、ストリップスやスライド等のフィルムの形態等に応じて用意されており、キャリア２８の交換によって、各種のフィルムや処理に対応することができる。フィルムに撮影され、プリント作成に供される画像（コマ）は、このキャリア２８によって所定の読取位置に搬送される。また、周知のように、新写真システムのフィルムには、磁気記録媒体が形成され、カートリッジＩＤやフィルムサイズや、ＩＳＯ感度等が記録されており、また、撮影時や現像時等に、撮影や現像日時、露出レベル、カメラや現像機の機種等の各種のデータが記録可能である。新写真システムのフィルム（カートリッジ）に対応するキャリア２８には、この磁気情報の読取手段が配置されており、フィルムを読取位置に搬送する際に磁気情報を読み取り、これらの各種の情報が画像処理装置１４に送られる。
【００４０】このようなスキャナ１２において、フィルムＦに撮影された画像を読み取る際には、光源２２から射出され、可変絞り２４および拡散ボックス２６によって光量調整された均一な読取光が、キャリア２８によって所定の読取位置に位置されたフィルムＦに入射して、透過することにより、フィルムＦに撮影された画像を担持する投影光を得る。なお、カラー画像信号は、このようにフィルムを透過した光を読み取ることによって入力されるものには限定されず、反射原稿でもよいし、あるいはデジタルカメラによって撮影された画像を用いてもよい。すなわち、フィルムの画像を読み取るスキャナ１２以外にも、デジタルカメラやデジタルビデオカメラ等の撮像手段、反射原稿の画像を読み取る画像読取装置、ＬＡＮ（Local Aera Network）やコンピュータ通信ネットワーク等の通信手段、スマートメディアなどのメモリカードやＭＯ（光磁気記録媒体）等のメディア（記録媒体）等の画像供給源Ｒから画像（デジタルの画像信号）を画像処理装置１４に入力することもできる。
【００４１】図示例のキャリア２８は、２４枚撮りの１３５サイズのフィルムや新写真システムのカートリッジ等の、長尺なフィルムＦ（ストリップス）に対応するものである。フィルムＦは、このキャリア２８によって読取位置に位置されて、ＲＧＢの３ラインＣＣＤセンサの延在方向である主走査方向と直交する副走査方向に搬送されつつ、読取光を入射される。これにより、結果的に、フィルムＦが２次元的にスリット走査され、フィルムＦに撮影された各コマの画像が読み取られる。
【００４２】フィルムＦの投影光は、結像レンズユニット３０によってイメージセンサ３２の受光面に結像される。イメージセンサ３２から出力されたＲ、ＧおよびＢの各出力信号は、アンプ３３で増幅されて、Ａ／Ｄ変換器３４に送られ、Ａ／Ｄ変換器３４において、それぞれ、例えば１２ｂｉｔのＲＧＢデジタル画像データに変換された後、画像処理装置１４に出力される。
【００４３】なお、スキャナ１２においては、フィルムＦに撮影された画像を読み取るに際し、低解像度で読み取るプレスキャン（第１回目の画像読取）と、出力画像の画像データを得るためのファインスキャン（第２回目の画像読取）との２回の画像読取を行う。ここで、プレスキャンは、スキャナ１２が対象とするフィルムＦの全ての画像を、イメージセンサ３２が飽和することなく読み取れるように、予め設定されたプレスキャン読取条件で行われる。一方、ファインスキャンは、プレスキャンデータから、その画像（コマ）の最低濃度よりも若干低い濃度でイメージセンサ３２が飽和するように、各コマ毎に設定されたファインスキャンの読取条件で行われる。なお、プレスキャンおよびファインスキャン出力画像信号は、解像度および出力画像信号レベルが異なる以外は、基本的に同様な画像データである。
【００４４】なお、フォトプリンタ１０に用いられるスキャナ１２は、このようなスリット走査読取を行うものに限定されず、１コマのフィルム画像の全面を一度に読み取る面状読取を行うものであってもよい。この場合には、例えばエリアＣＣＤセンサなどのエリアセンサを用い、光源２２とフィルムＦとの間にＲ、ＧおよびＢの各色フィルタの挿入手段を設け、光源２２からの射出光の光路に挿入して、色フィルタを透過した読取光をフィルムＦ全面に照射して、透過光をエリアＣＣＤセンサに結像させてフィルム全画像を読み取ることを、Ｒ、ＧおよびＢの各色フィルタを切り換えて順次行うことで、フィルムＦに撮影された画像を３原色に分解して読み取る。
【００４５】前述したように、スキャナ１２から出力されるデジタル画像データ信号は、本態様に係る画像処理方法を実施する画像処理装置１４に出力される。スキャナ１２から画像処理装置１４に入力されたＲ、ＧおよびＢの画像信号に対して、まずＣＣＤセンサに起因するＲＧＢデジタル画像データの画素毎の感度ばらつきや暗電流を補正するために、ＤＣオフセット補正、暗時補正、欠陥画素補正、シェーディング補正等の読取画像データのデータ補正が行われる。その後画像データは、対数変換処理、階調変換されデジタル画像濃度データに変換される。
【００４６】デジタル画像濃度データは、プレスキャン画像データ、ファインスキャン画像データそれぞれ別々に記憶（格納）される。プレスキャン画像データは、所定の画像処理を施されモニタ２０に表示される。また、プレスキャン画像データから、濃度ヒストグラムの作成や、平均濃度、ＬＡＴＤ（大面積透過濃度）、ハイライト（最低濃度）、シャドー（最高濃度）等の画像特徴量の算出が行われ、ファインスキャンの読取条件および画像処理条件が設定されるが、本態様では、後で詳述するように個々の顧客毎の好みを反映させるように画像処理条件が設定される。ファインスキャン画像データは、設定された画像処理条件により、画像処理が施され、カラープリントとして所望の濃度、階調および色調で、カラーペーパー上に、最適、高品質な画像として画像記録装置１６より出力される。本発明の第１の態様に係る画像処理方法を実施する画像処理装置を含むデジタルフォトプリンタは、基本的に以上のように構成される。
【００４７】以下、本発明の第１の態様の第１実施形態の作用を説明する。画像処理装置１４において、前述したように、プレスキャン画像データに基づいて設定された画像読み取り条件によって読み込まれたファインスキャン画像データに対して、画像データの濃度、色および階調の変換、彩度の変換、電子変倍等の処理とともに、顧客ごとの好みに応じた画像処理を実行する。
【００４８】以下、顧客毎の好みを反映した画像処理について説明する。まず、その前提として、画像中の人物が特定の人物であるか否か人物同定し、その特定の人物毎の好みに応じた画像処理を実行するために、個人識別情報および各個人の希望する画像処理条件（リクエスト処理情報）等のデータを、予めラボに登録しておく。図２に登録データの一例を示す。図２に示す例は、ある家族の全員のデータを登録する場合である。
【００４９】登録データの内容としては、例えば、登録顧客ＩＤ、登録する者の代表者名、そして各家族の個人データ、すなわち、家族構成、各個人の顔画像および各自の希望する画像処理内容（リクエスト処理）等である。顔画像データは、例えば注文済撮影シーン中の顔エリアを指定して取り込むようにしてもよい。また、個人同定の精度を上げるために、一人あたり複数パターンを設定登録するようにしてもよい。
【００５０】また、リクエスト処理の例としては、顔の濃度・色味の調整、髪・目・口紅等の指定色への変換、歯の美白仕上げ、特殊効果、細身仕上げ、画像合成、等が挙げられる。ここで、顔の濃度・色味の調整としては、肌を美白にするモード、しわ消し、日焼けモード等が考えられる。特殊効果としては、クロスフィルタの使用、ソフトフォーカス仕上げ等がある。画像合成としては、縁飾り、特定キャラクタの合成、特別なメイクの化粧等がある。これらのリクエスト処理は、人物毎に複数種類設定し、複数種類設定された中からいくつか選択したものを組み合わせて、その特定の人物の画像処理に適用するようにしてもよい。さらに、処理内容によっては、当該処理を画面全体に施すのか、該当する人物のみあるいはその人物とその周辺近傍のみに施すのか等の条件を設定する。
【００５１】以下、図３のフローチャートを参照して、顧客ごとの好みを反映した画像処理について説明する。ステップ１１０において、人物の顔領域の抽出を行う。顔領域の抽出方法も特に限定はなく、色々な方法があり、公知の特定箇所抽出方法（抽出アルゴリズム）を用いればよい。このような特定箇所抽出方法としては、例えば、特開平９−１３８４７０号公報に開示される、特定色を抽出する方法、特定形状パターンを抽出する方法、背景に相当すると推定される領域を除去する方法等、複数の異なる特定箇所（主要部）抽出方法をあらかじめ評価して重みを定め、各抽出方法で特定箇所を抽出して、抽出された特定箇所を定めた重みで重み付けし、その結果に応じて主要部を判定、抽出する方法が例示される。
【００５２】また、別の特定箇所抽出方法としては、特開平９−１３８４７１号公報に開示される、画像中の複数点の濃度または輝度を測定してその変化量を求め、変化量が所定値以上の点を基準点として設定した後に、基準点から所定範囲内で濃度等の変化量等を用いて検索範囲および検索方向パターンを設定し、検索範囲内で検索方向パターンが示す方向における濃度等の変化量が所定値以上の箇所を検索して、次いでこの箇所を基準として検索を行うことを繰り返し、検索・設定した基準点を結んで特定箇所を抽出する方法が例示される。
【００５３】本態様においては、これ以外にも、特開平４−３４６３３３号、同５−１５８１６４号、同５−１６５１２０号、同６−１６０９９３号、同８−１２２９４４号、同８−１８４９２５号、同９−１０１５７９号、同９−１４６１９４号、同９−１９７５７５号等の各公報に開示される特定箇所抽出方法も好適に利用可能である。
【００５４】顔が抽出されたら、次に、ステップ１２０において、人物の同定を行い、画像中の人物を特定する。抽出した顔画像に対して、サイズを正規化した後、登録されている顔画像をテンプレートとして、マッチングを行い、その一致度を求め、人物の同定を行う。このとき、画像に付属するコメント関連情報として、その画像中の人物を示す情報がある場合には、その情報を人物同定に利用してもよい。人物同定の結果、人物が特定できたら、ステップ１３０において、その特定の人物に対して、登録されている当該人物のリクエスト処理を実施する。
【００５５】このように本実施形態によれば、個々の顧客毎の好みに応じた仕上げの画像を自動的に得ることができる。例えば、父親であれば、日焼け顔になるように処理され、母親であれば、ソフトフォーカスおよびしわ消し処理が施され、Ａ子であれば、色白、細身仕上げがなされ、それぞれ自分の希望通りの仕上げ画像を得ることができる。
【００５６】次に、本発明の第１の態様の第２実施形態について説明する。第二実施形態は、顧客が、デジタルカメラやパーソナルコンピュータ（以下、パソコンという）あるいはフォトプレーヤ等で画像の再生処理をする場合に、第一実施形態で述べたような処理を実行するものである。すなわち、顧客がラボに注文をする前に、撮影済の画像をこれらの機器に表示して画像の修正を行うものである。デジタルカメラやフォトプレーヤに修正機能を持たせたり、あるいは、パソコンと接続することにより修正を行うことができる。
【００５７】また、表示画像の修正をする場合、第１実施形態と同様の処理を行う画像処理ソフトを用いて自動的に修正を行うこともできるが、表示画像を見ながら、顧客が人物の同定および人物検出結果を手動で修正するようにしてもよい。また、修正結果の画像は、家庭用のビデオプリンタでプリントしてもよいし、該当コマの修正データをそのコマの付属情報として記録して、ラボに注文するようにしてもよい。例えば、ＡＰＳで撮影された画像をフォトプレーヤに表示して、修正を行い、ネガフィルムでラボに注文する場合には、フォトプレーヤに磁気記録機能をもたせ、付属情報をネガフィルムに磁気記録すればよい。また、パソコンで通信回線を用いてラボに注文する場合には、付属情報をファイルに記録するようにすればよい。
【００５８】次に本発明の第１の態様の第３実施形態について説明する。本実施形態は、人物同定において、第１実施形態で説明したように、顔を抽出し、登録された顔画像との間でテンプレートマッチングを行う際、髪形や衣服等を人物指定情報として、個人認識用の特徴量に追加することにより、人物同定の精度を向上させようというものである。ここで、個人認識用の特徴量としては、濃度、色味の分布、テクスチャパターン等が考えられる。
【００５９】本実施形態では、まず、最初は、第１実施形態と同様に、入力画像から顔領域を抽出し、登録されている顔画像をテンプレートとしてマッチングを行い、その一致度を求め、人物の同定を行う。人物同定により、画像中の人物が特定されたら、その入力画像からその人物の髪形や衣服等を抽出し、人物指定情報として、その人物に対応する登録データとして登録する。次の入力画像に対する処理においては、抽出顔画像のテンプレートマッチングによる他、先に登録された髪形、衣服等をも参照して、人物同定を行う。人物同定により、人物が特定されたら、その入力画像から新たに髪形、衣服を登録し、人物指定情報として自動的に集積する。
【００６０】例えば、衣服エリアの色味に関して、今までの集計データが次の表１のようになっているものとする。この表１は、衣服エリアの色味を分類し、その人物における出現頻度をｐijで示したものである。
Ｊは、色味分類数であり、衣服が複数色から構成される場合は、面積比を用いる。例えば、半分が赤で、半分が白の場合は、赤＝０．５、白＝０．５を蓄積データに登録する。
【００６１】ここで、顔画像のパターンマッチングによる類似度を点数化したものをＭｉ、衣服の出現頻度から導出する点数をＮｉとする。それぞれ類似度が大である程、点数も大となる。表１において、ｉは、登録人物を示す番号である。例えば、Ａ子は、ｉ＝３である。対象とする被写体人物の衣服エリアの色味が分類番号ｊに相当する場合、Ｎｉ＝ｐij／（ｐ1j＋ｐ2j＋ｐ3j）とする。
人物判定ポイントＤｉ＝ａ×Ｍｉ＋ｂ×Ｎｉ（ａ、ｂは、重み係数）
により、最大ポイントとなった番号ｉの人物が画像中の人物であると判定する。例えば、顔画像のマッチングでは、Ｍ１＜Ｍ２≒Ｍ３となり母とＡ子が略同点だったとする。ここで、服の色味が赤だった場合、赤い服で写った回数は、父０、母３、Ａ子１０であるから、点数ＤｉはＡ子が最大となる。従って、画像中の人物はＡ子であると判定する。
【００６２】人物同定に間違いがあった場合には、間違いを発見したオペレータ、あるいは顧客から通知を受けたオペレータが、マニュアルで修正を行い、正しい画像中の人物に関する処理を行うとともに、人物指定情報の集積処理を訂正する。また、このとき人物同定のための判別アルゴリズム用のパラメータが自動的に修正される。また、第２実施形態におけるように、顧客が自分のパソコンに画像処理ソフトをダウンロードして自分で画像の修正を行っている場合には、人物同定の間違いを発見した顧客自身が処理の訂正を行うようにしてもよい。
【００６３】本実施形態によれば、単に登録された顔画像とのテンプレートマッチングを行うのみでなく、髪型や衣服等の人物指定情報をも個人認識用の特徴量に加え、さらに人物指定情報の集積処理に学習機能的要素を加味して集積データの訂正を行うようにしたため、人物同定の精度を高めることができ、各自の好みに応じた画像処理をより適切に行うことが可能となる。
【００６４】以上説明したものは、個々の顧客ごとの好みに応じた画像処理を画像中の各人物ごとに加えることにより個々の顧客ごとの好みを反映させたプリント（出力画像）を得るものであったが、個々の顧客ごとの好みに対応する他、顧客の地域性あるいは季節等による好みの傾向を反映させたプリントを出力することが望まれる場合もある。
【００６５】例えば、写真プリンタにおいて写真プリントを日本人好みの肌色に仕上げよるように露光制御アルゴリズムが設定されていた場合、同じ機種のプリンタを同じ露光制御アルゴリズムのままで欧州で使用すると、欧州人にとっては好みの色とならないことがある。また、日本での太陽光による撮影を基準に露光制御アルゴリズムが設定されていた場合、日本と緯度が大幅に異なる地域で同じ機種の写真プリンタを同じ露光制御アルゴリズムで使用すると、この地域では日本と太陽光も異なるので、日本と同じ品質のプリントを得ることができない。
【００６６】そこで、本出願人は、すでに、アナログ露光方式の場合については、地域的な人の好みや顧客個人の好みがプリントに適正に反映されるような露光制御方法を特開平６−３０８６３２号公報、あるいは、特開平８−１３７０３３号公報において提案している。しかし、デジタル画像処理の場合についても、以下述べるように、地域性や顧客の好みの傾向を反映させたプリント（出力画像）を得ることができる。
【００６７】すなわち、以下述べる例は、顧客またはラボあるいは地域毎による画像処理条件設定の修正傾向を蓄積し、画像処理の設定パラメータを修正・最適化するデジタル画像処理方法である。また、このとき各コマをシーン分類し、シーン分類毎に修正傾向の蓄積および設定パラメータの修正・最適化を行うものである。例えば、オペレータが画像処理を行う際、シーン分類した上で、ある地域について、オペレータの補正傾向がコントラストを強調するのが好まれるとか、コントラストを抑え目にするのが好まれるとかという傾向が分かれる場合には、その地域については、補正のパラメータをその傾向に合わせて直すようにする。
【００６８】具体的に処理方法を説明すると、まず、オペレータによる処理パラメータの変更を過去Ｎコマ分蓄積し、特定のシーン分類との関連性を調べる。このとき、シーン分類の方法としては、以下のような方法が挙げられる。例えば、濃度ヒストグラムまたは画像の中央部および周辺部の濃度差の関係から、その分布パターンにより、通常シーン、オーバー露光あるいはアンダー露光等を推定し、ストロボシーンあるいは逆光シーン等と推定する。あるいは、顔抽出をすることにより、人物かまたは風景か等のシーン推定を行う。あるいは、オペレータ自身がマニュアルで人物、風景、夜景、アンダーまたはハイコントラスト等のシーンの分類を推定する方法等がある。
【００６９】また、処理パラメータの変更例としては、例えば、コントラスト強調や解像度（シャープネス）のかけ方とか、あるいは、人物肌色の色味や濃度の目標値を変えてやる等がある。これは、人物、好ましい肌色というのが地域によって違うと考えられるため、その地域による違いを考慮したものである。東洋人を基準にした肌色よりも欧州では、人の顔は、より濃度を薄くする方が好まれ、オペレータが濃度を引く傾向があるため、蓄積データから判定して、顔抽出後、デフォルト値より濃度が薄目になるようアルゴリズムが自動で更新されるようにする。
【００７０】上述したようにオペレータによる処理パラメータの変更を過去Ｎコマ分類し、特定のシーン分類との関連性を調べ、その後、所定のシーン分類において、各画像処理パラメータについて統計的なマニュアル補正傾向を反映させて、一定周期でアルゴリズムを更新し、画像処理パラメータを最適化する。なお、このとき、蓄積データも一定周期で最新データに更新することが好ましい。
【００７１】また、上記処理において、季節ごとにシーン分類の種類やデータ蓄積期間を設定するようにしてもよい。例えば、スキー場周辺においては、冬季のみシーン中のハイライト比に応じて判定する「雪シーン」分類を追加したり、「雪シーン」に対し、白さを強調する階調特性を適用するようにしてもよい。
【００７２】また、ある一定の地域において、その地域内の各ミニラボ店と、その地域のラボ管理センタとをネットワークで結び、各ミニラボ店でのオペレータによる修正情報をラボ管理センタで収集し、その地域全体の傾向を把握し、あるタイミングでその地域全体のミニラボ店の画像処理ソフトを修正し、更新されたアルゴリズムを各ミニラボ店に配布するようにして、ラボ管理センタでその地域のアルゴリズム更新処理を地域単位で行うようにしてもよい。
【００７３】また、上記処理を行う際、顧客ＩＤとセットでデータ記録を行い、顧客毎にデータの管理を行い、顧客別に画像処理パラメータの最適化を行うようにしてもよい。なお、上記ミニラボプリンタの代わりに各顧客の家庭用プリンタに対して上記処理を行うようにすることもできる。
【００７４】上に述べた例によれば、顧客個人、あるいは地域性または季節等によりシーン毎に好みの傾向が変わることに対応し、適切な画像再生が可能となる。また、フォトプリンタ製造時に、その製品輸出先の各地域の傾向に合わせていちいちパラメータを設定する必要がなくなり、製品製造出荷作業も容易となる。また、プリント処理とモニタ表示処理とで、リクエスト内容を分ける様にしてもよいし、特定コマに限定して、登録データ処理の停止や、特定のリクエスト処理を指定できる様にしてもよい。本発明の第１の態様の画像処理方法は、基本的に以上のように構成される。次に、図４〜図７を参照して、本発明の第２および第３の態様に係る画像処理方法を説明する。
【００７５】本発明の第２の態様に係る画像処理方法は、基本的に、撮影された画像シーンに付属する音声データからあるいはこの撮影された画像の中から抽出された人物の表情またはジェスチャーから、その画像シーン中の人物の感情の種類を判定して、その感情の種類に対応するその感情を強調するようなマークをその人物画像に付す（合成する）ことにより、写真や画像表現の娯楽性を高めるものである。なお、以下では、撮影された画像シーンに付属する音声データから撮影画像シーン中の人物の感情の種類を判定する場合を代表例として説明するが、本態様はこれに限定されるわけではない。また、本発明の第２の態様が適用される対象は、写真（静止画）のみならずビデオ（動画）やＴＶ電話等のリアルタイムでの画像表示等、広い範囲に及ぶ。
【００７６】まず、本発明の第２の態様の第１実施形態について説明する。本第１実施形態は、音声録音機能を有するデジタルカメラ等で撮影された音声データを付属情報として持つ撮影画像に対して所定の画像処理を行うものである。図４は、本発明の第２の態様の第１実施形態に係る画像処理方法を実施する画像処理装置を含むデジタルフォトプリンタの概略を示すブロック図である。図４に示すデジタルフォトプリンタ５０は、主に、撮影情報入力手段５２、画像処理装置５４および画像記録装置１６とを有する。なお、画像記録装置１６、操作系１８およびモニタ２０は、図１に示すフォトプリンタ１０と同様のものを用いることができる。
【００７７】撮影情報入力手段５２は、デジタルカメラ等の録音機能付き画像撮像装置によって画像データおよび音声データが記録された記録メディアから画像データおよび音声データを読み込むものである。画像処理装置５４は、本態様に係る画像処理方法およびその他各種の画像処理を実行するものである。また、画像処理装置５４には、様々な画像処理に関する条件の入力、設定、処理の選択や指示、色／濃度補正などの指示等を入力するためのキーボード１８ａおよびマウス１８ｂを有する操作系１８と、撮影情報入力手段５２から入力された画像および各種の操作指示等様々な条件の設定／登録画面等を表示するモニタ２０が接続される。画像記録装置１６は、画像処理装置５４から出力された画像データに応じて変調した光ビームで感光材料（印画紙）を画像露光し、現像処理して（仕上がり）画像をプリントとして出力するものである。
【００７８】以下、図５のフローチャートに沿って、この第１実施形態の画像処理について説明する。まず、ステップ２００において、予め各種感情の種類に応じた画像処理パターンを設定する。しかし人間の感情は多種多様であり、すべての感情を扱うのは不可能であり、ここでは比較的はっきりと外へ現れる典型的なもののみを扱う。図６に、画像処理パターンの設定の一例を示す。図６のモードと書かれた欄にあるように、ここで扱う感情の種類は、「焦り」、「驚き」、「怒り」、「哀愁」、「悩み（疑問）」、「愛情」、「喜び」・・・等である。
【００７９】本実施形態では、撮影画像シーンに付属した音声データ（音声情報）により、感情の種類を判定するようにしている。また、画像処理パターンとしては、各感情の種類に対し、その感情を強調するようなマーク（画像合成パターン）を合成するようにしている。従って、感情の種類に対応した画像処理パターンを設定するということは、結局、特定の音声情報に対応した画像合成パターンを設定することである。
【００８０】すなわち、予め設定する項目としては、感情の種類を表すモード、各モードを引き出す言語（キーワード、図６の表では省略）、各モードに対応する画像合成パターンがある。画像合成パターンとしては、合成すべき合成画像（マーク）、合成すべき位置（画像中の位置、画像中の人物またはその顔の位置に対する所定位置または相対位置）、合成画像の大きさ（サイズ、画像に対するサイズ、画像中の人物またはその顔の大きさに対する相対的なサイズ）、人物またはその顔に対する合成画像の向き等がある。
【００８１】例えば、「うぅっ」、「やばい」、「やばっ」等のキーワードが音声情報中にある場合には、「焦り」モードが対応し、人物画像に対し、「汗マーク」が合成される。合成画像は一つには限らず、複数あってもよい。また、合成位置は、画像中の顔の位置に対する相対位置で指定されるのがよく、顔幅で正規化されるのが良い。合成画像の大きさも、やはり顔基準で指定されるのが良い。また、合成画像を合成する向きも画像中の人物の顔を基準にして設定されるのが良い。例えば、図６の場合、２つの汗マーク（２つで１セット）の中心の座標が（目を原点として）目の横（ｘ１，ｙ１）の位置に、サイズは顔幅を１としたとき、０．１の大きさで、顔の左側に合成される。
【００８２】また、「うひょー」、「ひぇー」、「びっくりー」等のキーワードが、音声情報中にある場合には、「驚き」モードが対応し、「びっくりして飛び出した目のマーク」がそれぞれの目のマークの中心の座標がそれぞれ（ｘ２，ｙ２）、（ｘ３，ｙ３）の位置に合成される。また、図６における「向き判定結果」というのは、カメラに対する人物顔の向きをパターンマッチング手法等により正面、右斜めあるいは左斜めのいずれかであるかを判定し、その判定結果に応じて目の飛び出す方向を変えたパターンを合成することを示すものである。
【００８３】また、「寒い」、「さぶっ」等のキーワードが音声情報中にある場合には、「哀愁」モードが対応し、顔に「影（斜線）マーク」を入れ、周囲に「枯れ葉マーク」が合成される。このとき、顔に斜線を入れる代わりに顔色を白く（青白く）するようにしてもよい。さらに、背景をモノトーン化して一層哀愁感を漂わせるようにしてもよい。また、この他、「うーん」、「えーと」等の言葉があれば、「悩み（疑問）」モードとして「はてなマーク」を合成するようにし、「うっふーん」、「すき」等の言葉があれば、「愛情」モードとして「ハート」を合成するようにし、「ワーイ」、「やったー」等の言葉があれば、「喜び」モードとし「打ち上げ花火」を合成する等のようにしてもよい。これらの画像処理パターンは、システムの側である程度用意して、それに顧客が作成してデータを追加するようにしてもよい。このとき、顧客が口癖としてよく使うような言葉をモードを引き出す言葉として設定し、また、顧客の趣味で合成画像や各種感情モード用キーワードを登録するようにしてもよい。
【００８４】上で述べた画像処理パターンの設定は、個々の画像処理に先立って１回行っておけばよい。この設定は、ラボ側のデータベースに対して行なわれる。次に、ステップ２１０において、録音機能を有するデジタルカメラ等で撮影された、付属情報として音声データを有する撮影情報を、撮影情報入力手段５２から入力する。入力された撮影情報は、音声データおよび画像データそれぞれ画像処理装置５４に送られる。次に、ステップ２２０で、画像処理装置５４において、音声データより感情の種類を特定する。それには、まず音声データを認識し、登録されている感情の種類を示すモードを導くキーワードが含まれているか、マッチングを行う。特定のキーワードが音声データから検出された場合には、そのキーワードに対応するモードにより、特定の画像処理パターンが特定される。
【００８５】次のステップ２３０において、上で特定された画像処理パターンの合成画像を撮影画像に合成する。ここで、撮影画像に合成される合成画像の合成位置が、撮影画像に対して所定位置、例えば、右上隅などの四隅のいずれか等に決まっており、合成画像のサイズが撮影画像のサイズに対して所定サイズまたは相対的なサイズが決まっている場合には、撮影画像にその決まった合成位置に決まったサイズで合成画像が合成される。
【００８６】なお、このとき、撮影画像に合成される合成画像の合成位置や合成サイズが、撮影画像中の人物やその顔に対して固定的または相対的に決められている場合には、撮影画像から公知の方法により、人物またはその顔を抽出しておくのが好ましい。顔抽出の方法としては、例えば本出願人による特開平８−１２２９４４号公報に開示された方法がある。なお、人物の顔領域等の特定領域を抽出する方法としては、上記以外にも、特開平４−３４６３３３号、同５−１５８１６４号、同５−１６５１２０号、同６−１６０９９３号、同８−１８４９２５号、同９−１０１５７９号、同９−１３８４７０号、同９−１３８４７１号、同９−１４６１９４号、同９−１９７５７５号等の各公報に開示された方法も好適に利用可能である。
【００８７】撮影画像から人物の顔が抽出されたら、顔の中から目を抽出し、さらに、顔の幅、目の位置等を算出する。そして、これらのデータを基に、画像処理パターンで指定された合成位置、合成サイズ、向きに従って合成画像を合成する。また、その他、背景、あるいは画面全体の濃度や色を変更する等の指定がある場合には、それらの変更処理を行う。またその後、通常の画像処理をも行い、出力画像を作成する。ところで、撮影画像中の人物（顔）の感情の種類の判別は、上述の音声データによるものに限定されず、詳細は後述するが、人物の表情やジェスチャーを用いて感情の種類の判別を行っても良い。なお、上述のように音声データのみから感情の種類を判定するにあたっては、撮影画像中からの人物の抽出は必要ではないが、これに対し、人物の表情やジェスチャーから、あるいは音声データおよび人物の表情やジェスチャーから、感情の種類を判定する場合には、画像中からの人物の抽出が必要となる。
【００８８】また、感情の判定には画像中からの人物の抽出が必要なくても、画像処理パターンを合成する際には、人物またはその顔に対して合成する方が好ましいので、人物抽出を行うのが好ましい。しかし、撮影画像中の所定の位置に合成する場合や、背景を変更したり、画面全体の濃度や色を変更したり、あるいは、例えば特にその位置を問題とせずに枯れ葉を舞わせるような場合には、特に人物の抽出をする必要はない。このように画像中からの人物の抽出は必要に応じて行なうようにすればよい。また、そのため、例えば、予め感情の種類の判定方法等も選択して設定することができるようにしておくことが好ましい。最後に、ステップ２４０で、画像記録装置１６から出力画像を出力する。
【００８９】なお、上で説明した例では、デジタルカメラ等で撮影を行った顧客の依頼を受けたラボ側が、ラボのプリンタで画像処理を行い、感情を強調したマークの合成されたプリントを作成していたが、上記画像処理をデジタルカメラ側で行うようにしてもよい。カメラ側で処理を行なう場合には、予め画像処理パターン等は、カメラ側に設定しおく。また、上記処理は、上述したように、音声データ認識と撮影画像からの顔抽出とに基づいて、すべて、自動で行ってもよいし、オペレータが顧客の指示に従って、操作キー等により入力して行うようにしてもよい。また、デジタルカメラ側で処理を行う場合にも、デジタルカメラに上記画像処理を実行するソフトを組み込んで、自動で画像合成処理を行なってもよいし、撮影時に、顧客がキー／ボタン等でカメラに指示を出して合成処理を行なうようにしてもよい。
【００９０】また、主プリントは通常の処理を行い、インデックスプリントにのみ上記画像処理パターンによる画像処理を行なうようにしてもよい。また、本実施形態では、感情を強調する画像（マーク）を合成するようにしていたが、モーフィング処理等の画像変形処理により表情を感情の種類に対応するように変更するようにしてもよい。例えば、「怒り」の場合には、モーフィング処理により、目をつり上げるようにする等の画像変形処理を行うことができる。しかし、写真の娯楽性を高めるためには、あまりリアルな表情の変更より、図６に示す例のような多少漫画的な方が面白みがあり、効果的である。
【００９１】さらに、上述したような撮影画像中の人物に対応した合成ではなく、当該人物自体やその構成部位、例えば、顔や胴体自体を全面的に、アニメーション画像またはコンピュータグラフィックス（ＣＧ）画像、特に好ましくは、感情の種類に対応したアニメーション画像またはＣＧ画像で置換する処理を行っても良い。ここで、用いられるアニメーション画像やＣＧ画像は、感情の種類に応じて決められた１つの画像であっても良いが、静止画および動画についてそれぞれ複数パターン選択できるようにしておくのが好ましい。
【００９２】また、このようなアニメーション画像やＣＧ画像は、顧客自身で予め作成し、登録した内容であっても良いし、後述するように、中継業者等で提供する内容であっても良い。また、上述の場合と同様に、撮影画像の被写体である人物の表情、ジェスチャおよび音声内容の少なくとも１つの情報に基づいて、変換パターンを設定できるようにしておくのがよいし、さらに、顧客の要望を登録できるようにしておくのが好ましいのはもちろんである。このようにすることにより、写真、ビデオ、ＴＶ電話等の画像表現における娯楽性を大幅に向上させることができ、また、ＴＶ電話等で、顔を出したくない場合などに便利であり、通話相手にも不快感を与えることがない。
【００９３】次に、本発明の第２の態様の第２実施形態について説明する。第２実施形態は、写真のような静止画ではなく、携帯ＴＶ電話やムービー編集等における動画に対して本発明の第２の態様の画像処理方法を適用したものである。携帯ＴＶ電話の表示画面に表示される画像やムービーの表示画像のような動画の場合にも、画像処理方法自体は、基本的には、上述した第１実施形態と同様である。
【００９４】すなわち、予め、携帯ＴＶ電話端末等のマイクロコンピュータに上述の場合と同じ画像処理パターンを登録しておき、また画像処理ソフトも組み込んでおく。そして、携帯ＴＶ電話の場合、通話中その会話の音声中に、登録されていたキーワードが検出された場合には、そのキーワードに対応するモードの合成画像を合成する処理がその端末で行なわれる。そして、合成画像は、通話の相手側の端末に送信され、表示される。このとき、表示画像自体も、動画であり、合成した、例えば図６に示すような「汗マーク」も、このまま静止しているのではなく、例えば少しずつ下へ流れて行くように移動するようにすれば効果的である。なお、十分なＣＰＵの演算速度を確保することにより、携帯ＴＶ電話での通話中において、あるいは、ムービー編集中において再生しながら、リアルタイムでの画像処理を行なうことも可能となる。
【００９５】次に、本発明の第２の態様の第３実施形態について説明する。本実施形態もＴＶ電話（あるいは携帯ＴＶ電話）のようにリアルタイムで画像処理をするものに関するものである。すなわち、本実施形態は、人物の感情の種類を判定する付属情報としての音声データの代わりに、表情認識やジェスチャ認識を用いて感情の種類を判定するものである。予め、表情認識のため、個人別に喜怒哀楽の表情をした画像とその表情に対応するモードとの対応表を各自の携帯ＴＶ電話端末に登録しておく。また、ジェスチャ認識のため、例えば、指を１本立てた場合はこのモード、指を２本立てた場合はこのモード・・・という具合に各自が決めたジェスチャとモードとの対応表を各自の携帯ＴＶ電話端末に登録しておく。
【００９６】そして、通話中に、その携帯ＴＶ電話端末において、話し手の撮影画像から顔を抽出し、パターンマッチングによる表情の種類の同定を行い、予め登録された特定の表情と一致する表情が検出された場合には、その登録された表情に対応するモードの画像処理パターンの画像処理を行い、処理済画像を通話の相手側の端末に送信し表示する。あるいは、ジェスチャ認識により、話し手が特定のジェスチャをしていることが検出された場合にも、同様の処理を行なう。
【００９７】なお、表情認識やジェスチャ認識についての公知技術としては、例えば、電子情報通信学会技術研究報告１９９９年１１月１８日および１９日、ＰＲＭＵ９９−１０６「動作位置の変化に頑健なジェスチャ認識」天田泰亨・鈴木基之・後藤英昭・牧野正三（東北大）、ＰＲＭＵ９９−１３８「顔器官輪郭の自動抽出と表情認識の自動化」小林宏・高橋久徳・菊地耕生（東京理科大）、ＰＲＭＵ９９−１３９「ポテンシャルネットを用いた顔領域の推定と表情認識」別所弘章（イメージ情報科研）・岩井儀雄・谷内田正彦（阪大）、ＰＲＭＵ９９−１４０（特別講演）「顔面表情認知研究と画像処理技術」山田寛（日大／ＡＩＲ）、ＰＲＭＵ９９−１４２（特別招待論文）「インタラクションのための人物動作解析と認識」谷内田正彦・岩井儀雄（阪大）等があり、これらの技術が好適に適用可能である。
【００９８】次に、本発明の第２の態様の第４実施形態について説明する。本実施形態もＴＶ電話あるいは携帯ＴＶ電話に係るものであるが、本実施形態は画像合成処理をＴＶ電話の中継局側で行なうものである。本実施形態における携帯ＴＶ電話システムの概略を図７に示す。予め、携帯ＴＶ電話の端末６０、７０を通して通信業者の中継局８０のデータベース８４に、利用者毎の顔画像データ（感情の種類に対応するモードを判定するための各モードごとの表情）や音声データ（各モードを引き出すためのキーワード）および各モードにおける画像合成パターンを登録しておく。
【００９９】通信時には、図７に示すようにＡの携帯ＴＶ電話端末６０からは、画像センサ６２によって撮影されたＡの撮影画像およびＡの音声が、また、Ｂの携帯ＴＶ電話端末７０からは、画像センサ７２によって撮影されたＢの撮影画像およびＢの音声がそれぞれ中継局８０に伝送される。中継局８０の処理部８２では、常に、ＡおよびＢの撮影画像から顔抽出を行い、登録された表情とのマッチングが行なわれるとともに、通話音声中に登録されたキーワードが出てこないかチェックが行なわれる。
【０１００】そして、例えば、Ａの会話から焦りモードを検出した場合には、Ａの撮影画像に対して、例えば、汗マークを合成する処理を行い、処理画像をＢの端末７０へ送信する。また、この時、Ａの処理画像を確認用として、その縮小版をＡの端末６０へも送るようにしてもよい。Ａの端末６０の表示画面６４には、Ｂの顔画像が表示されているが、その隅にＡの処理画像の確認用として表示枠６６が設けられ、この表示枠６６にＡの処理画像が表示される。この時、同様に、Ｂの端末７０の表示画面７４には、Ａの処理画像が表示されるとともに、その隅の確認用の表示枠７６に、中継局８０から送られるＢの処理画像の縮小版が表示される。
【０１０１】なお、利用者毎の顔画像データ、音声データおよび画像合成パターン等を利用者の端末に登録しておき、携帯ＴＶ電話の端末側で、モード検出から画像合成処理を行なうようにしてもよい。また、中継局および端末の両方に上記データを登録しておき、どちらでも処理を行なえるようにしてもよい。また、画像合成処理は、送信する場合に限らず、受信した音声・画像データに対して合成処理を適用するようにしてもよい。例えば、図７において、Ｂ氏からの受信画像に対する合成処理をＡ氏の端末で行なってもよい。この場合、受け手であるＡ氏の好みのパターンを付けることで娯楽性が向上する。
【０１０２】次に、本発明の第２の態様の第５実施形態について説明する。本実施形態は、リアルタイムで画像合成処理を行なっている場合に、合成パターンに位置ずれが生じた場合に、それを修正するものである。合成パターンの位置ずれの原因は、ほとんど顔抽出の失敗にあるため、表示画面で、合成パターンの位置ずれを発見したときには、電子ペン等により撮影画像中の顔を指定する。このとき、電子ペンで顔の輪郭をぐるっと囲んでもよいし、両目を線で結んでもよい。さらに、口の位置等を指定するようにしてもよい。あるいは、キー操作により、合成パターンを平行移動すべき位置およびサイズの調整量等を指定するようにしてもよい。
【０１０３】その後、修正した合成パターンの位置およびサイズを基に、本来の合成パターンと照合する様に顔位置候補エリアを自動で修正し、顔抽出処理を再実行する。これにより、携帯ＴＶ電話のように動画の場合においても、リアルタイムで合成パターンの位置やサイズが顔の動きに合わせて修正される。従って、合成パターンが顔に自動追従して表示画像中の所定位置に表示されるため、画像表示媒体における画像表示の娯楽性が向上される。
【０１０４】また、本発明の第３の態様の画像処理方法は、ＴＶ画像をパソコンに取り込んで、取り込んだ画像に対して、上述した本発明の第２の態様の画像処理方法を適用するものである。すなわち、ＴＶ画像をパソコンに取り込み、上記合成処理や置換処理や画像変形処理や色や濃度の変更処理等をしたり、あるいはデジタルＴＶにおいて、受像機に上記合成処理機能等を持たせ、さらに、合成パターンを顧客が設定できるようにするものである。こうすることにより、娯楽性をいっそう向上させることができる。本発明の第２および第３の態様の画像処理方法は、基本的に以上のように構成される。
【０１０５】次に、図８および図９を参照して、本発明の第４の態様に係る画像処理方法を説明する。本発明の第４の態様の画像処理方法は、基本的に、予め、撮影画像中の特定エリア内のエリア画像または画像特徴量を登録しておき、予め登録されたエリア画像または画像特徴量を用いて、撮影画像中の該当エリアに合成する、または濃度および色味の調整を行うものである。
【０１０６】例えば、本態様の画像処理方法は、撮影画像中の被写体である人物の顔画像として、予め、基準顔画像として、当該人物の気に入った化粧顔や好みの顔画像やその画像特徴量や、正面を向いた、撮影方向と視線が一致した顔画像を登録しておき、当該人物が撮影画像の被写体となった時、撮影画像中の人物の顔を、予め基準顔画像として登録されている当該人物の気に入った化粧顔や好みの顔画像や正面を向いた撮影方向と視線が一致した顔画像に修正、または合成、または変換したり、あるいは、予め登録されている画像特徴量を用いて気に入った化粧顔や好みの顔画像に仕上がるように、その濃度や色味を修正、または調整するものである。こうすることにより、だれでも、容易に、気に入った化粧顔や好みの顔画像等の基準顔画像に修正することができ、視線の不一致による違和感を解消することができるというものである。
【０１０７】なお、以下では、撮影画像中の被写体である人物の顔画像を、気に入った化粧顔や好みの顔画像や正面を向いた撮影方向と視線が一致した顔画像をに修正する場合を代表例として説明するが、本態様はこれに限定されるわけではない。また、本発明の第４の態様が適用される対象は、本発明の第２および第３の態様と同様に、写真（静止画）のみならずビデオ（動画）やＴＶ電話等のリアルタイムでの画像表示等、広い範囲に及ぶのは言うまでもないことである。
【０１０８】まず、本発明の第４の態様の第１実施形態について説明する。本第１実施形態は、デジタルカメラ等で撮影された撮影画像に対して、予め登録された登録パターンを用いて、所定の画像処理を行うものである。図８は、本発明の第４の態様の第１実施形態に係る画像処理方法を実施する画像処理装置を含むデジタルフォトプリンタの概略を示すブロック図である。図８に示すデジタルフォトプリンタ９０は、主に、撮影画像取得手段９２、画像処理装置９４、データベース９６および画像記録装置１６とを有する。なお、画像記録装置１６、操作系１８およびモニタ２０は、基本的に、図４に示すデジタルフォトプリンタ５０と同様のものを用いることができる。
【０１０９】撮影画像取得手段９２は、デジタルカメラ等の画像撮像装置によって画像データが記録された記録メディアから撮影画像データを読み込むものである。画像処理装置９４は、撮影画像取得手段９２によって読み込まれた撮影画像データから予めデータベース９６に登録するための基準顔画像の取得、抽出、作成や予めデータベース９６に登録されている基準顔画像の選択や、選択された基準顔画像を用いた撮影画像中の顔画像の修正、合成、変換等の本態様に係る画像処理方法およびその他各種の画像処理を実施するものである。データベース９６は、予め基準顔画像として、撮影画像の被写体となる人物の気に入った化粧顔や好みの顔画像や、その画像特徴量や、被写体人物の正面を向いた、撮影方向と視線が一致した顔画像（以下、カメラ視線顔画像という）を登録しておくためのものである。また、画像処理装置９４のその他の機能や、キーボード１８ａおよびマウス１８ｂを有する操作系１８や、モニタ２０や、画像記録装置１６の機能については、図４に示すデジタルフォトプリンタ５０と、基本的に、同様であるので、その説明は省略する。
【０１１０】以下、図９のフローチャートに沿って、この第１実施形態の画像処理について説明する。まず、ステップ３００において、予め、最も気に入った状況で顔を、例えば、デジタルカメラ等の撮影装置で撮影し、撮影画像取得手段９２によって、この顔の撮影画像を登録用撮影画像として取得する。
【０１１１】次に、ステップ３１０で、画像処理装置９４において、顔抽出アルゴリズムを適用して、撮影画像取得手段９２によって取得された顔の撮影画像から、基準顔画像として顔領域を抽出する。この時、基準顔画像の画像特徴量を算出しておいても良い。なお、顔の撮影画像全体を基準顔画像とする場合には、基準顔画像の画像特徴量の算出を省略することにより、このステップ３１０の抽出工程を省略しても良い。このステップ３１０で基準顔画像の画像特徴量の算出を省略する場合には、前後のステップ３００または３２０、もしくは後述するステップ３６０の修正工程で行っても良い。ステップ３２０において、顔の撮影画像中の抽出された顔領域または顔の撮影画像全体を基準顔画像としてデータベース９６に登録する。こうして、予め行う前処理が終了する。
【０１１２】なお、データベース９６に登録される基準顔画像としては、きちんと化粧した時の顔や美容院や理容室等で髪を整えた時の顔や髭を剃った時の顔や髭を整えた時の顔等を用いれば良く、特定の人物について複数の基準顔画像、例えば朝用／夜用、季節別、ＴＶ電話や携帯電話の表示用では通信相手による切り分け用等）を使い分けても良い。また、基準顔画像において、顔画像の構成要素の部位毎に基準パターンとして登録しても良い。すなわち、ステップ３１０の抽出工程で、修正や合成に利用したいエリアを自動的に抽出して、あるいはマニュアルで指定して、抽出または指定されたエリアを基準パターンとして登録しても良い。基準パターンとしては、例えば、目、眉、頬、唇、鼻、耳、髪、髭等の顔の構成要素の各部位や、イヤリングや、帽子（バンダナや鉢巻等も含む）や、眼鏡 (サングラスも含む）の装飾品等をも挙げることができる。なお、この場合、顔抽出アルゴリズムを適用して、指定されたエリアが顔のどの部位を示すかを自動認識できるようになっていると一層の望ましい。顔抽出精度が低い場合には、逐一、各部位を指定しながら、エリア設定を行うものとするのが良い。
【０１１３】次に、ステップ３３０で、撮影画像取得手段９２によって、撮影画像を取得する。このステップ３３０の撮影画像の取得工程は、例えば、ＴＶ電話や携帯電話の表示画面への撮影画像の送信や表示に先だって行われる。例えば、このような電話の通信時には、撮影画像中の被写体人物は、ＴＶ電話や携帯電話の所有者や専用の使用者である場合が多く、特定されている場合が多いので、その情報、例えばＩＤ等を自動的に取得できるようにしておくのが良い。また、使用者が多数の場合には各人にＩＤを付しておき、このステップ３３０で撮影画像取得手段９２によって撮影画像とともに被写体人物のＩＤを取得できるようにしておくのが良い。
【０１１４】次いで、ステップ３４０で、画像処理装置９４において、撮影画像取得手段９２によって取得された撮影画像に対し、顔抽出アルゴリズムを適用して、撮影画像中から被写体人物の顔領域を顔画像として抽出する。この時、単に顔領域全体のみならず、顔画像の構成要素の各部位のエリアを割り出しておくのが良い。例えば、まず、顔の輪郭を抽出し、次に各部位のエリアの絞込みを行い、最後に形状パターンマッチングにより、各部位のエリアを確定することができる。なお、顔抽出の精度が低い場合には、デジタルカメラ等の撮影装置で撮影を開始する時に、顔枠等のガイドをファインダーや表示装置に表示して、表示されたガイド内の位置に被写体人物の顔が来る（収まる）ように、被写体人物の姿勢を取らせるのが良い。こうしておくことにより、形状パターンマッチングによる顔画像の抽出が容易となるし、撮影コマが異なっていても、一旦、顔をキャッチすれば、撮影コマ間の局所マッチングによって、被写体の顔を追跡することができる。
【０１１５】ステップ３５０において、画像処理装置９４によってデータベース９６から上述したＩＤ等によって検索された、または特定された人物の登録済基準顔画像、および基準パターン、ならびに必要に応じて、これらの画像特徴量を選択して呼び出す。なお、ここでは、上述した特定の人物の顔画像の各部位について、それぞれ別の基準画像から選んで組み合せを変え、新たな組み合せを作ることも可能である。例えば、目は第１の基準顔画像から、眉は第３の基準顔画像から、イヤリングは第８の基準顔画像から新しい組み合せの顔画像を作ることもできる。ところで、ステップ３４０とステップ３５０とは、どちらをを先にやっても良いし、両者を同じにやっても良い。
【０１１６】次ぎに、ステップ３６０において、ステップ３４０で抽出された顔画像および顔画像の構成要素の各部位のエリアを、ステップ３５０で選択された特定の人物の登録済基準顔画像および基準パターンならびにそれらの画像特徴量を用いて、修正、または合成、または置換する。ここで、顔画像全体を登録済基準顔画像に合成あるいは置換しても良いが、顔の各部位毎に、登録済基準パターン画像を用いて修正、または合成、または置換しても良いし、登録済基準パターン画像の特徴量を用いて修正しても良い。例えば、頬や唇は、当該部位の基準パターンの色味に修正する。特に、唇は、動くために、色味で唇と肌のエリアを画素レベルで分離した後、唇の色味のみを修正するのがよい。また、髪、眉、頬、耳（耳たぶ）は、基準パターンを上書き合成するのが好ましい。この場合には、合成エリアの周辺部には、平滑化をかけて境界をぼかすのが好ましい。
【０１１７】最後に、ステップ３７０において、こうしてステップ３６０で顔画像が修正された撮影画像を、出力画像として、画像処理装置９４から出力する。この出力画像は、プリンタ１６から写真プリントとして出力しても良いし、モニタ２０に表示しても良いし、ＴＶ電話や携帯電話端末（の画像処理装置；図７参照）に出力し、そこから相手のＴＶ電話や携帯電話端末（の画像処理装置；図７参照）に送信して、その表示画面に表示しても良いし、直接相手側に送信して、その表示画面に表示することもできる。もちろん、自分の側の装置の表示画面に表示しても良い。
【０１１８】こうすることにより、パーソナルコンピュータや画像処理ソフトの未経験者や未熟練者であっても、容易に、気に入った化粧顔や好みの顔画像に修正することができる。ところで、この他、被写体人物の衣服部分（顔の下に設定されるエリア）や背景（顔エリア以外の領域）に装飾パターンをちりばめるようにしても良い。こうすることにより、普段着や寝巻き（パジャマ）や部屋等の目隠しをすることができ、相手に不愉快な感情を与えることがない。
【０１１９】次に、本発明の第４の態様の第２実施形態について説明する。本第２実施形態も、第１実施態様と同様に、デジタルカメラ等で撮影された撮影画像に対して、予め登録された登録パターンを用いて所定の画像処理を行うものであるが、予め登録された登録パターンが撮影方向と被写体人物の視線が一致した画像（カメラ視線画像または視線一致画像）である点で異なるものであるので、同様に図８および図９を参照して、本第２実施形態を以下に説明する。
【０１２０】本第２実施形態では、まず、図９に示すステップ３００において、デジタルカメラ等の撮影装置でこれを直視した撮影画像を撮影して、記録し、この記録された撮影画像を撮影画像取得手段９２（図８参照）によって登録用撮影画像として取得する。次に、ステップ３１０で、画像処理装置９４において、顔抽出アルゴリズムを適用して、撮影画像取得手段９２によって取得された登録用撮影画像から、基準パターンとして眼のエリアを抽出し、ステップ３２０において、抽出された眼のエリアを基準パターンとしてデータベース９６に登録する。こうして、予め行う前処理が終了する。
【０１２１】次に、ステップ３３０で、撮影画像取得手段９２によって、撮影画像を取得する。このステップ３３０の撮影画像の取得工程は、例えば、ＴＶ電話や携帯電話の表示画面への撮影画像の送信や表示に先だって行われる。次いで、ステップ３４０で、例えばこのような電話の通信時には、画像処理装置９４において、撮影画像取得手段９２によって取得された撮影画像に対し、顔抽出アルゴリズムを適用して、撮影画像中から被写体人物の両眼のエリアを抽出する。ステップ３５０において、画像処理装置９４によってデータベース９６から登録済基準パターン選択して呼び出す。なお、ステップ３４０とステップ３５０とは、どちらを先にやっても良いし、両者を同じにやっても良い。
【０１２２】次ぎに、ステップ３６０において、ステップ３４０で抽出された両眼のエリアを、ステップ３５０で選択された登録済基準パターンを用いて、修正、または合成、または置換する。ここで、画像フレーム間の動きが小さい場合、または（左右のバランスでチェックした結果）正面を向いていると判定できる場合には、登録した基準パターン画像を合成しても良い。
【０１２３】最後に、ステップ３７０において、こうしてステップ３６０で両眼がカメラ視線に修正された撮影画像を、出力画像として、画像処理装置９４から出力する。あるいは、ＴＶ電話や携帯電話端末の場合には、撮影画像の定常状態（例えば、起動時に姿勢を正してモニタを見て撮影した画像の状態）を仮記憶しておき、仮記憶画像と現画像との差が所定以上の場合には、動きが大きいとして、違和感防止のために、撮影画像をそのまま出力画像として伝送しても良い。なお、この出力画像は、プリンタ１６から写真プリントとして出力しても良いし、モニタ２０に表示しても良いし、上述のように、ＴＶ電話や携帯電話端末に出力し、そこから相手のＴＶ電話や携帯電話端末に送信して、その表示画面に表示しても良いし、直接相手側に送信して、その表示画面に表示しても良い。こうすることにより、視線の不一致による違和感を解消することができる。
【０１２４】ところで、この他、基準パターンの登録時に、カメラを直視した撮影画像の動画、例えば、瞬きを１回以上含むように撮影した動画を記録しておく。ＴＶ電話等での通信時の合成においては、実際の瞬きタイミングとは無関係に、動画として合成することもできる。あるいは、撮影画像の取得に際し、瞬き検出を行い、同期を取るようにするとさらに望ましい。
【０１２５】さらに、本発明の第４の態様の第３実施形態においては、ＴＶ電話や携帯電話端末等の送信端末（図７参照）の演算能力が大きければ、本態様の第１および第２実施形態において説明した種々の修正処理を、これらの送信端末で実行しても良い。あるいは、中継局（図７参照）側に基準顔画像、装飾パターンデータを顧客ＩＤとセットで登録し、中継局側で、実行してもらっても良い。また、本態様において、ＴＶ電話や携帯電話端末等を家族で使う場合、上述した第１の態様のように、家族の人物別に基準顔画像や基準パターンを登録しておくのが好ましい。本発明の第４の態様の画像処理方法は、基本的に以上のように構成される。
【０１２６】以上、本発明の画像処理方法について詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのはもちろんである。
【０１２７】
【発明の効果】以上詳述したように、本発明の第１の態様によれば、自動的に個々の顧客毎の好みを反映した出力画像を得ることができ、写真の娯楽性を向上させることが出来る。
【０１２８】また、以上詳述したように、本発明の第２の態様によれば、画像中の特に人物の顔の表示において、感情に応じて強調したい内容が自動的に視覚化されて表現されるため写真、ビデオ、ＴＶ電話等の画像表現における娯楽性を大いに向上させることが可能となり、また、ＴＶ電話等で、顔を出したくない場合などに便利であり、通話相手にも不快感を与えることがない。
【０１２９】また、以上詳述したように、本発明によれば、上記従来技術の問題を鑑解消して、パーソナルコンピュータや画像処理ソフトの未経験者や未熟練者などであっても、容易に、気に入った化粧顔や好みの顔画像に修正することができ、視線の不一致による違和感を解消することができる。
【図面の簡単な説明】
【図１】 本発明の第１の態様に係る画像処理方法を実施する画像処理装置を含むデジタルフォトプリンタの一実施例の概略を示すブロック図である。
【図２】 本発明で用いられる登録データの例を示す説明図である。
【図３】 本発明の第１の態様の第１実施形態の作用を示すフローチャートである。
【図４】 本発明の第２の態様に係る画像処理方法を実施する画像処理装置を含むデジタルフォトプリンタの一実施例の概略を示すブロック図である。
【図５】 本発明の第２態様の第１実施形態に係る画像処理方法の処理の流れを示すフローチャートである。
【図６】 画像処理パターンの例を示す説明図である。
【図７】 本発明の第２態様の第４実施形態に係る携帯ＴＶ電話システムの概略を示す説明図である。
【図８】 本発明の第４の態様に係る画像処理方法を実施する画像処理装置を含むデジタルフォトプリンタの一実施例の概略を示すブロック図である。
【図９】 本発明の第４態様の第１および第２実施形態に係る画像処理方法の処理の流れを示すフローチャートである。
【符号の説明】
１０ デジタルフォトプリンタ
１２ スキャナ
１４ （画像）処理装置
１６ 画像記録装置
１８ 操作系
１８ａ キーボード
１８ｂ マウス
２０ モニタ
２２ 光源
２４ 可変絞り
２６ 拡散ボックス
２８ キャリア
３０ 結像レンズユニット
３２ イメージセンサ
３４ Ａ／Ｄ変換器
５０ デジタルフォトプリンタ（プリンタ）
５２ 撮影情報入力手段
５４ 画像処理装置
５６ 画像記録装置
６０、７０ 携帯ＴＶ電話端末
６２、７２ 画像センサ
６４、７４ 表示画面
６６、７６ 表示枠
８０ 中継局
８２ 処理部
８４ データベース
【特許請求の範囲】
【請求項１】入力された画像データに対して、画像処理を施す画像処理方法であって、予め特定の人物毎に所定の画像処理条件を登録し、前記入力された画像データ中の人物を抽出し、該抽出された人物が前記特定の人物か否かを人物同定し、当該人物同定された特定の人物に対応する画像処理条件を選択し、該選択された画像処理条件に基づいて画像処理を行うことを特徴とする画像処理方法。
【請求項２】前記人物同定を、予め登録された人物の顔画像、または撮影コマに付属する人物指定情報を用いて行う、請求項１に記載の画像処理方法。
【請求項３】前記特定の人物毎に予め登録される所定の画像処理条件は、該特定の人物毎に複数種類設定される請求項１または２に記載の画像処理方法。
【請求項４】前記複数種類の画像処理条件の中から選択した、少なくとも１つの画像処理条件を組み合わせて、前記画像処理を行うようにした請求項３に記載の画像処理方法。
【請求項５】前記選択された画像処理条件による画像処理を画面全体に施すのか、該当する人物のみあるいはその人物とその周辺近傍のみに施すのか、を設定するようにした請求項１〜４のいずれかに記載の画像処理方法。
【請求項６】撮影画像に付属する音声データ、あるいは前記撮影画像中から抽出された人物の表情、または抽出された人物のジェスチャー、のうちの少なくとも１つの情報に基づいて、予め登録された感情の種類を判定し、予め設定された画像処理パターンのうち前記判定された感情の種類に対応する画像処理パターンを適用した画像処理を、前記撮影画像に対して行うことを特徴とする画像処理方法。
【請求項７】前記画像処理パターンは、前記感情の種類に対応して設定され、前記画像処理パターンを適用した画像処理は、前記感情の種類に対応した所定のマークの合成処理、前記感情の種類に対応したアニメーション画像またはコンピュータグラフィックス画像への置換処理、前記感情の種類に対応した、前記撮影画像に対する画像変形処理、および前記感情の種類に対応した、前記撮影画像の濃度および色の変更処理の少なくとも１つの処理である請求項６に記載の画像処理方法。
【請求項８】前記合成処理は、前記撮影画像中の所定位置に、または予めもしくはこの時に前記撮影画像中から抽出された人物に対して所定の位置に、もしくは予めもしくはこの時に前記撮影画像中から抽出された人物に対して相対的な位置に、かつ、前記撮影画像または前記抽出された人物に対して、所定のサイズおよび所定の向きで、あるいは相対的なサイズおよび相対的な向きで、前記所定のマークを合成する処理である請求項７に記載の画像処理方法。
【請求項９】前記置換処理は、予めもしくはこの時に前記撮影画像中から前記抽出された人物の所定の部位を前記アニメーション画像またはコンピュータグラフィックス画像に置き換える処理である請求項７に記載の画像処理方法。
【請求項１０】前記撮影画像は、録音機能付き画像撮像装置の撮影画像であり、前記画像処理パターンを前記録音機能付き画像撮像装置に予め登録しておき、前記画像処理パターンを適用した画像処理を前記録音機能付き画像撮像装置で行う請求項６〜９のいずれかに記載の画像処理方法。
【請求項１１】前記画像処理パターンを適用した画像処理を、前記録音機能付き画像撮像装置による前記録音された音声データを含む画像撮影情報を受け取ったラボ側で行う請求項１０に記載の画像処理方法。
【請求項１２】前記撮影画像は、撮影機能付き通話装置の撮影画像であり、前記撮影画像に対して、前記人物の感情の種類に対応する前記画像処理パターンを適用した画像処理を行う請求項６〜９のいずれかに記載の画像処理方法。
【請求項１３】前記画像処理パターンを前記撮影機能付き通話装置に予め登録しておき、前記画像処理を前記撮影機能付き通話装置で行い、処理画像を通話相手側の端末に送信する請求項１２に記載の画像処理方法。
【請求項１４】前記画像処理パターンを前記撮影機能付き通話装置の中継局に予め登録しておき、前記画像処理を前記中継局で行い、処理画像を通話中の一方の端末に送信する請求項１２に記載の画像処理方法。
【請求項１５】前記画像処理パターンを前記撮影機能付き通話装置に予め登録しておき、前記撮影機能付き通話装置が受信した、通信相手側端末による撮影画像に対して、前記画像処理パターンを適用した画像処理を前記撮影機能付き通話装置で行なう請求項１２に記載の画像処理方法。
【請求項１６】前記画像処理パターンを適用した画像処理において、前記感情の種類に対応した所定のマークまたはその合成位置を間違えた場合に、前記感情の種類に対応したマーク、マークの合成位置、マークのサイズまたは向きの修正を可能とした請求項６〜１５のいずれかに記載の画像処理方法。
【請求項１７】テレビ画像をパーソナルコンピュータに取り込み、該パーソナルコンピュータにおいて、前記取り込んだテレビ画像に対して、予め設定された画像処理パターンを適用した画像処理を行なうことを特徴とする画像処理方法。
【請求項１８】予め、画像の特定エリア内のエリア画像または画像特徴量を登録しておき、前記予め登録されたエリア画像または画像特徴量を用いて、撮影画像中の該当エリアに合成する、または濃度および色味の調整を行うことを特徴とする画像処理方法。
【請求項１９】前記該当エリアは、前記予め登録されたエリア画像または画像特徴量に応じて撮影画像中から抽出される請求項１８に記載の画像処理方法。
【請求項２０】前記特定エリアは、人物の顔、人物の顔を構成する少なくとも１つの部位、人物が身に付ける装飾品および背景の少なくとも１つである請求項１８または１９に記載の画像処理方法。
【請求項２１】前記特定エリアは、人物の顔であり、前記予め登録されたエリア画像は、前記人物の化粧顔または前記人物の最良の顔画像である請求項１８〜２０のいずれかに記載の画像処理方法。
【請求項２２】前記特定エリアは、人物の顔を構成する眼のエリアであり、前記撮影画像中の被写体である人物が定常状態にあるかどうかを判定し、前記定常状態にある時、前記人物の顔を構成する前記眼のエリアに前記予め登録された前記特定エリアの前記エリア画像を合成する請求項１８〜２０のいずれかに記載の画像処理方法。
【請求項２３】前記予め登録されたエリア画像は、前記人物の視線が撮影方向に一致する前記眼のエリアの画像である請求項２２に記載の画像処理方法。
【請求項１】入力された画像データに対して、画像処理を施す画像処理方法であって、予め特定の人物毎に所定の画像処理条件を登録し、前記入力された画像データ中の人物を抽出し、該抽出された人物が前記特定の人物か否かを人物同定し、当該人物同定された特定の人物に対応する画像処理条件を選択し、該選択された画像処理条件に基づいて画像処理を行うことを特徴とする画像処理方法。
【請求項２】前記人物同定を、予め登録された人物の顔画像、または撮影コマに付属する人物指定情報を用いて行う、請求項１に記載の画像処理方法。
【請求項３】前記特定の人物毎に予め登録される所定の画像処理条件は、該特定の人物毎に複数種類設定される請求項１または２に記載の画像処理方法。
【請求項４】前記複数種類の画像処理条件の中から選択した、少なくとも１つの画像処理条件を組み合わせて、前記画像処理を行うようにした請求項３に記載の画像処理方法。
【請求項５】前記選択された画像処理条件による画像処理を画面全体に施すのか、該当する人物のみあるいはその人物とその周辺近傍のみに施すのか、を設定するようにした請求項１〜４のいずれかに記載の画像処理方法。
【請求項６】撮影画像に付属する音声データ、あるいは前記撮影画像中から抽出された人物の表情、または抽出された人物のジェスチャー、のうちの少なくとも１つの情報に基づいて、予め登録された感情の種類を判定し、予め設定された画像処理パターンのうち前記判定された感情の種類に対応する画像処理パターンを適用した画像処理を、前記撮影画像に対して行うことを特徴とする画像処理方法。
【請求項７】前記画像処理パターンは、前記感情の種類に対応して設定され、前記画像処理パターンを適用した画像処理は、前記感情の種類に対応した所定のマークの合成処理、前記感情の種類に対応したアニメーション画像またはコンピュータグラフィックス画像への置換処理、前記感情の種類に対応した、前記撮影画像に対する画像変形処理、および前記感情の種類に対応した、前記撮影画像の濃度および色の変更処理の少なくとも１つの処理である請求項６に記載の画像処理方法。
【請求項８】前記合成処理は、前記撮影画像中の所定位置に、または予めもしくはこの時に前記撮影画像中から抽出された人物に対して所定の位置に、もしくは予めもしくはこの時に前記撮影画像中から抽出された人物に対して相対的な位置に、かつ、前記撮影画像または前記抽出された人物に対して、所定のサイズおよび所定の向きで、あるいは相対的なサイズおよび相対的な向きで、前記所定のマークを合成する処理である請求項７に記載の画像処理方法。
【請求項９】前記置換処理は、予めもしくはこの時に前記撮影画像中から前記抽出された人物の所定の部位を前記アニメーション画像またはコンピュータグラフィックス画像に置き換える処理である請求項７に記載の画像処理方法。
【請求項１０】前記撮影画像は、録音機能付き画像撮像装置の撮影画像であり、前記画像処理パターンを前記録音機能付き画像撮像装置に予め登録しておき、前記画像処理パターンを適用した画像処理を前記録音機能付き画像撮像装置で行う請求項６〜９のいずれかに記載の画像処理方法。
【請求項１１】前記画像処理パターンを適用した画像処理を、前記録音機能付き画像撮像装置による前記録音された音声データを含む画像撮影情報を受け取ったラボ側で行う請求項１０に記載の画像処理方法。
【請求項１２】前記撮影画像は、撮影機能付き通話装置の撮影画像であり、前記撮影画像に対して、前記人物の感情の種類に対応する前記画像処理パターンを適用した画像処理を行う請求項６〜９のいずれかに記載の画像処理方法。
【請求項１３】前記画像処理パターンを前記撮影機能付き通話装置に予め登録しておき、前記画像処理を前記撮影機能付き通話装置で行い、処理画像を通話相手側の端末に送信する請求項１２に記載の画像処理方法。
【請求項１４】前記画像処理パターンを前記撮影機能付き通話装置の中継局に予め登録しておき、前記画像処理を前記中継局で行い、処理画像を通話中の一方の端末に送信する請求項１２に記載の画像処理方法。
【請求項１５】前記画像処理パターンを前記撮影機能付き通話装置に予め登録しておき、前記撮影機能付き通話装置が受信した、通信相手側端末による撮影画像に対して、前記画像処理パターンを適用した画像処理を前記撮影機能付き通話装置で行なう請求項１２に記載の画像処理方法。
【請求項１６】前記画像処理パターンを適用した画像処理において、前記感情の種類に対応した所定のマークまたはその合成位置を間違えた場合に、前記感情の種類に対応したマーク、マークの合成位置、マークのサイズまたは向きの修正を可能とした請求項６〜１５のいずれかに記載の画像処理方法。
【請求項１７】テレビ画像をパーソナルコンピュータに取り込み、該パーソナルコンピュータにおいて、前記取り込んだテレビ画像に対して、予め設定された画像処理パターンを適用した画像処理を行なうことを特徴とする画像処理方法。
【請求項１８】予め、画像の特定エリア内のエリア画像または画像特徴量を登録しておき、前記予め登録されたエリア画像または画像特徴量を用いて、撮影画像中の該当エリアに合成する、または濃度および色味の調整を行うことを特徴とする画像処理方法。
【請求項１９】前記該当エリアは、前記予め登録されたエリア画像または画像特徴量に応じて撮影画像中から抽出される請求項１８に記載の画像処理方法。
【請求項２０】前記特定エリアは、人物の顔、人物の顔を構成する少なくとも１つの部位、人物が身に付ける装飾品および背景の少なくとも１つである請求項１８または１９に記載の画像処理方法。
【請求項２１】前記特定エリアは、人物の顔であり、前記予め登録されたエリア画像は、前記人物の化粧顔または前記人物の最良の顔画像である請求項１８〜２０のいずれかに記載の画像処理方法。
【請求項２２】前記特定エリアは、人物の顔を構成する眼のエリアであり、前記撮影画像中の被写体である人物が定常状態にあるかどうかを判定し、前記定常状態にある時、前記人物の顔を構成する前記眼のエリアに前記予め登録された前記特定エリアの前記エリア画像を合成する請求項１８〜２０のいずれかに記載の画像処理方法。
【請求項２３】前記予め登録されたエリア画像は、前記人物の視線が撮影方向に一致する前記眼のエリアの画像である請求項２２に記載の画像処理方法。
【図２】
【図３】
【図１】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図３】
【図１】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００２−７７５９２（Ｐ２００２−７７５９２Ａ）
【公開日】平成１４年３月１５日（２００２．３．１５）
【国際特許分類】
【出願番号】特願２００１−１１１３６１（Ｐ２００１−１１１３６１）
【出願日】平成１３年４月１０日（２００１．４．１０）
【出願人】（０００００５２０１）富士写真フイルム株式会社 (7,609)
【Ｆターム（参考）】
【公開日】平成１４年３月１５日（２００２．３．１５）
【国際特許分類】
【出願日】平成１３年４月１０日（２００１．４．１０）
【出願人】（０００００５２０１）富士写真フイルム株式会社 (7,609)
【Ｆターム（参考）】
[ Back to top ]