画像処理装置およびデジタルカメラ
【課題】被写体人物の感情を明瞭に伝えられる画像を提供すること。
【解決手段】顔表情検出部２３は、被写体画像中の被写体人物の笑顔を検出し、吹き出し挿入部２７は、その笑顔に相応しい形状および色の少なくとも一方を有する吹き出しを自動挿入するとともに、テキスト挿入部２９は、その笑顔に相応しいテキストを吹き出し内へ自動挿入する。吹き出しとテキストが挿入された挿入済みの被写体画像データは、メモリ１６ａに記憶される。
【解決手段】顔表情検出部２３は、被写体画像中の被写体人物の笑顔を検出し、吹き出し挿入部２７は、その笑顔に相応しい形状および色の少なくとも一方を有する吹き出しを自動挿入するとともに、テキスト挿入部２９は、その笑顔に相応しいテキストを吹き出し内へ自動挿入する。吹き出しとテキストが挿入された挿入済みの被写体画像データは、メモリ１６ａに記憶される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に所定の情報を付加する画像処理装置およびその画像処理装置を備えるデジタルカメラに関する。
【背景技術】
【０００２】
従来、デジタルカメラで撮影した被写体画像に所定の情報を付加する場合、記録媒体に記録された被写体画像をディスプレイに再生表示して、その再生画像を見ながら画像処理ソフトを用いてマニュアルで付加していた。しかしながら、上述の従来の技術は、ディスプレイ上の再生画像を見ながら付加すべき情報を選んで画像中に配置するため、手間のかかる作業であった。
一方、画像中の被写体の顔表情を認識し、所定の顔表情であるときにその雰囲気に合わせたテキストやキャラクタをフィルムの下方に写し込む機能を有するカメラが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−５１３３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の特許文献に記載されたカメラでは、テキストやキャラクタを写し込む場所が常に画像の下方であるため、テキストやキャラクタの内容は、被写体人物が発したものか、撮影者が加えた説明文なのかが不明確であるという問題がある。
【課題を解決するための手段】
【０００５】
（１）請求項１の発明による画像処理装置は、被写体画像データ中の被写体人物の顔表情が所定の顔表情であることを検出する顔表情検出手段と、顔表情検出手段により所定の顔表情であると検出された被写体画像データに、所定の顔表情に相応しい形状および色の少なくとも一方を有する吹き出しを自動挿入する吹き出し挿入手段と、顔表情検出手段が検出した所定の顔表情に相応しいテキストを吹き出し内へ自動挿入するテキスト挿入手段と、吹き出し挿入手段により吹き出しが挿入され、テキスト挿入手段によりテキストが挿入された挿入済みの被写体画像データに基づく再生画像を表示する表示手段と、挿入済みの被写体画像データを記憶する記憶手段と、を備えることを特徴とする。
【発明の効果】
【０００６】
本発明の画像処理装置によれば、被写体人物の所定の顔表情を検出した画像に、その顔表情に相応しい吹き出し及びテキストを自動挿入するので、被写体人物が発したものであることが明らかであり、分かり易い画像となる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施の形態に係るデジタルカメラの構成を示すブロック図である。
【図２】被写体人物の顔に吹き出し、テキスト、イラストを挿入した一例を模式的に示す図である。
【図３】吹き出し、テキストの別例を模式的に示す図である。図３（ａ）は怒りの表情に対応し、図３（ｂ）は悲しみの表情に対応する図である。
【発明を実施するための形態】
【０００８】
以下、本発明の実施の形態によるデジタルカメラについて、図面を参照しながら説明する。
図１は、本発明の実施の形態によるデジタルカメラの構成を示すブロック図である。
図１に示されるように、デジタルカメラは、撮影レンズ１１、絞り１２、撮像素子１３、バッファメモリ１４および画像処理部１５を備える。また、デジタルカメラは、画像記録部１６、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１７、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１８、バス１９、画像読出し部２０、顔表情設定部３６、手動編集部３７、表示制御部４１およびディスプレイ４２を備える。
【０００９】
画像処理部１５、画像記録部１６、ＣＰＵ１７、ＲＯＭ１８、画像読出し部２０、顔表情設定部３６、手動編集部３７および表示制御部４１は、バス１９を介して互いに接続されている。
【００１０】
ＣＰＵ１７は、顔検出部２１、顔表情検出部２３、顔表情レベル判定部２５、吹き出し挿入部２７、テキスト挿入部２９、年代／性別推論部３１、イラスト挿入部３３およびデータ保存指示部３５として機能する。また、ＣＰＵ１７は、撮影手段である撮影レンズ１１、絞り１２、撮像素子１３を制御する。
ＲＯＭ１８は、顔データ記憶部２２、顔表情データ記憶部２４、顔表情レベルデータ記憶部２６、吹き出しデータ記憶部２８、テキストデータ記憶部３０、年代／性別データ記憶部３２およびイラストデータ記憶部３４として機能する。
【００１１】
撮影レンズ１１は、ズームレンズやフォーカスレンズを含む複数のレンズで構成され、被写体像を撮像素子１３上に結像する。図１では簡単のため、撮影レンズ１１は１枚のレンズで示されている。撮像素子１３は、撮影レンズ１１からの被写体光Ｌ１を光電変換することにより画像信号を生成する。
【００１２】
撮像素子１３から出力される画像信号は、バッファメモリ１４を介して画像処理部１５に送られ、ここで所定の種々の画像処理が施される。撮影開始前の段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５を経てバス１９を介してディスプレイ４２に送られ、スルー画像として表示される。撮影段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５を経てバス１９を介して画像記録部１６にて記録される。
【００１３】
画像記録部１６は、画像データとその画像データに関する属性データとを関連付けて不揮発性のメモリ（記憶媒体）１６ａに記録する。画像データには、撮像素子１３からの被写体画像データや、外部機器から画像記録部１６に入力された被写体画像データが含まれる。
【００１４】
画像読出し部２０は、画像記録部１６のメモリ１６ａに記録されている画像データの検索や属性データに基づいて画像の再生を行う操作部である。
【００１５】
顔検出部２１は、被写体画像データを入力し、これを顔データ記憶部２２に予め記憶されている顔データと比較することにより、画像中の被写体人物の顔を検出する。被写体人物が複数人の場合は各人の顔を検出する。顔データ記憶部２２は、例えば、眉、眼、鼻、唇の形状に関する特徴点のデータを記憶している。
【００１６】
顔検出には、例えば、特開２００１−１６５７３号公報に開示されている検出手法を用いることができる。この検出手法は、入力画像中から特徴点を抽出して被写体の顔領域、顔の大きさ等を検出するものである。特徴点としては、眉、眼、鼻、唇の各端点、および顔の輪郭点、例えば頭頂点や顎の下端点が挙げられる。
【００１７】
他の顔検出としては、例えば、特開２００５−１５７６７９号公報に開示されている検出手法を用いることができる。この検出手法は、先ず、入力画像中の２画素間の輝度差を特徴量として学習しておき、その特徴量に基づいて入力画像中の所定領域に顔が存在するか否かを示す推定値を算出し、推定値が１以上のときにその所定領域に顔が存在すると判別するものである。
【００１８】
顔表情検出部２３は、顔検出部２１により検出された顔領域の画像の顔表情を顔表情データ記憶部２４に予め記憶されている所定の顔表情データと比較することにより、被写体画像中の被写体人物の顔表情が所定の顔表情に対応することを検出する。この顔表情検出部２３は、被写体人物が複数人の場合は各人の顔について顔表情を検出する。
顔表情には、笑顔、泣き顔、怒り顔、驚き顔、寝顔などの様々な種類があり、顔表情データ記憶部２４は、これらの複数の顔表情データを記憶している。顔表情検出部２３は、例えば、被写体画像中の被写体人物の顔表情が笑顔であることを検出すると、その旨の検出信号を出力する。画像記録部１６は、被写体画像データと、検出信号に基づく属性データとを関連付けてメモリ１６ａに記録する。
【００１９】
顔表情検出部２３が顔領域の画像の顔表情を検出する場合には、特開２００８−４２３１９号公報に開示されている検出手法を用いることができる。この検出手法は、例えば笑顔であることを検出するには、検出された画像の顔が笑顔と通常時の顔という２つの顔表情のいずれに近いかに基づいて表情の種類を判断するものである。
【００２０】
顔表情レベル判定部２５は、顔検出部２１により検出された顔領域の画像の顔表情を顔表情レベルデータ記憶部２６に予め記憶されている複数の顔表情レベルデータと比較することにより、顔領域の画像中の被写体人物の顔表情がいずれの顔表情レベルに対応するかを判定する。顔表情レベル判定部２５は、被写体人物の顔表情レベルに対応する判定信号を出力する。画像記録部１６は、被写体画像データと、所定の顔表情がどのレベルであるかを表す属性データとを関連付けてメモリ１６ａに記録する。
【００２１】
顔表情レベルデータ記憶部２６は、顔表情の種類毎に表情の度合い（顔表情レベル）として、例えば笑顔であれば、微笑、中位の笑い、大笑いという３段階の笑顔レベルデータを記憶している。
【００２２】
笑顔の度合いを判定する手法には、例えば、特開２００４−４６５９１号公報に開示されている手法を用いることができる。この判定手法は、入力された部分画像の笑顔について笑顔の度合いの評価を行い、笑顔評価値を算出する。笑顔評価の際は、予め記憶されている笑顔データを参照して眉、瞳孔、唇の各要素の形状の評価ポイントを算出し、各評価ポイントを係数により重み付けした上で合算した値を笑顔評価値としている。
【００２３】
吹き出し挿入部２７は、顔表情検出部２３により被写体人物の顔が所定の顔表情であることが検出された被写体画像データ中の人物の顔に対して自動で吹き出しを挿入し、被写体画像データに吹き出し画像データを合成する。吹き出しとは、被写体画像中の人物が発する台詞を書き込む枠（図形）であり、吹き出しの形状や色は様々である。
【００２４】
吹き出しデータ記憶部２８は、形状、色、サイズなどが異なる各種の吹き出しを表すデータを記憶している。吹き出し挿入部２７は、吹き出しデータ記憶部２８に記憶されている吹き出しデータの中から、顔画像の大きさ、顔表情の種類に相応しい形状、色、サイズを有する吹き出しのデータを自動で抽出し、被写体画像に吹き出しを自動挿入する。このとき、吹き出し挿入部２７は、被写体画像中の吹き出しの挿入位置についても自動で決定する。そして、吹き出し挿入部２７は、吹き出し挿入が終了すると、吹き出し挿入済みの信号を発する。
【００２５】
テキスト挿入部２９は、顔表情検出部２３により被写体人物の顔が所定の顔表情であることが検出された被写体画像データ中の人物に対して自動でテキストを挿入し、被写体画像にテキスト画像を合成する。テキストとは、被写体画像中の人物が発する声や言葉を意味する文字や記号であり、テキストの内容（文章）、テキストの文字ザイズ、文字色、フォントは様々である。テキストは、吹き出しの枠内に挿入される。
【００２６】
テキストデータ記憶部３０は、文章、文字サイズ、文字色、フォントが異なる各種のテキストデータを記憶している。テキスト挿入部２９は、テキストデータ記憶部３０に記憶されているテキストの中から、顔表情の種類に相応しい文章、文字サイズ、文字色のテキストを自動で抽出し、そのテキストを吹き出し挿入部２７が挿入した吹き出しの枠内に自動挿入する。そして、テキスト挿入部２９は、テキスト挿入が終了すると、テキスト挿入済みの信号を発する。
【００２７】
年代／性別推論部３１は、顔検出部２１により検出された顔領域の画像に基づき被写体人物の年代／性別を推論する。すなわち、年代／性別推論部３１は、被写体人物の顔画像中の各特徴点と、年代／性別データ記憶部３２に予め記憶されている顔の各特徴点とについて、各特徴点が持つ特徴量や色彩データなどを比較して被写体人物の年代または性別を推論する。そして、年代／性別推論部３１は、推論結果、例えば、被写体人物の年代は２０歳代、性別は女性という推論データを出力する。年代／性別データ記憶部３２は、男女それぞれの年代別に、例えば、眉、眼、鼻、唇などの特徴点が持つ特徴量のデータおよび色彩データを記憶している。
【００２８】
年代／性別を推論する方法としては、例えば、特開２００４−２２２１１８号公報に開示されている方法を用い、上記の特徴量をサポートベクタマシンというシステムに入力することによって行う。
【００２９】
イラスト挿入部３３は、顔表情検出部２３により被写体人物の顔が所定の顔表情であることが検出された被写体画像データ中の人物に対して自動でイラストを挿入し、被写体画像にイラスト画像を合成する。イラストとしては、星形，十字形、涙形、花形などのタイプがある。
【００３０】
イラストデータ記憶部３４は、このような各種のイラストデータを記憶しており、更にタイプ毎にサイズや色が異なるいくつかのデータを記憶している。例えば、星形のイラストであれば、大、中、小の３種類のサイズと金色、銀色の２種類の色とが用意されている。イラスト挿入部３３は、イラストデータ記憶部３４に記憶されているイラストの中から、顔画像の大きさ、顔表情の種類あるいは顔表情レベルに適したタイプ、サイズ、色のイラストを自動で抽出し、被写体画像にイラストを挿入する。このとき、イラスト挿入部３３は、イラストの挿入位置、数量についても自動で決定する。そして、イラスト挿入部３３は、イラスト挿入が終了すると、イラスト挿入済みの信号を発する。
【００３１】
図２は、被写体人物の顔に吹き出し、テキスト、イラストを挿入した一例を模式的に示す図である。図２に示されるように、被写体人物１００の傍には、吹き出し１０１と、吹き出し１０１内に書き込まれた「あはははー」というテキスト１０２とが表示され、被写体人物１００の左目の目尻に星形のイラスト１０３が２つ挿入されている。
【００３２】
図３は、吹き出し、テキストの別例であり、図３（ａ）は、吹き出しの尖った形状で怒りの表情を表し、図３（ｂ）は、吹き出しの雲形によって雨降りの印象を与えて悲しみの表情を表している。もちろん、テキストの内容によってもそれぞれの顔表情を表している。
【００３３】
データ保存指示部３５は、吹き出し挿入部２７からの吹き出し挿入済みの信号およびテキスト挿入部２９からのテキスト挿入済みの信号に応じて、吹き出しとテキストの挿入がなされた被写体画像データを、吹き出しとテキストが挿入済みであることを示す属性データとともにメモリ１６ａに保存せよとの指示信号を発する。画像記録部１６は、その指示信号に基づいて挿入済みの被写体画像データと、挿入済みであることを表す属性データとを関連付けてメモリ１６ａに記録する。
また、データ保存指示部３５は、イラスト挿入部３３からのイラスト挿入済みの信号に応じて、イラスト挿入がなされた被写体画像データをその属性データとともにメモリ１６ａに保存せよとの指示信号を発する。画像記録部１６は、その指示信号に基づいてイラスト挿入がなされた被写体画像データと、イラスト挿入済みであることを表す属性データとを関連付けてメモリ１６ａに記録する。
【００３４】
顔表情設定部３６は、被写体人物の顔表情の種類や顔表情レベルを外部から設定する操作部であり、笑顔を含む複数の顔表情の設定や顔表情毎のレベルの設定ができる。例えば、顔表情設定部３６が顔表情として笑顔を設定すると、画像読出し部２０は、画像記録部１６のメモリ１６ａから笑顔の被写体画像データを読み出す。同様に、顔表情設定部３６が顔表情レベルとして大笑いを設定すると、画像読出し部２０は、画像記録部１６のメモリ１６ａから大笑いの被写体画像データを読み出す。
【００３５】
手動編集部３７は、マニュアルにより、被写体画像に挿入された吹き出し、テキスト、イラストの配置場所や数量を変えたり、既に自動挿入されているものを別のものに置き換えるための操作部である。ユーザーは、ディスプレイ４２に表示された被写体画像を見ながらこのような手動による操作を行うことができる。
【００３６】
表示制御部４１は、ディスプレイ４２による表示を制御する。すなわち、表示制御部４１は、バッファメモリ１４に一時的に記録されている被写体画像の表示、画像記録部１６のメモリ１６ａに保存された被写体画像の再生表示を行なう時の表示態様を制御する。
【００３７】
ディスプレイ４２は、スルー画像の表示やバッファメモリ１４に一時的に記録されている被写体画像、メモリ１６ａに保存された被写体画像の表示を行い、また、表示制御部４１の指令により、被写体画像に関連する属性データの表示などを行う。
【００３８】
以上のように構成されたデジタルカメラは、次のように動作する。
最初に、顔表情設定部３６によって顔表情として笑顔を設定したとする。撮影が行われ、撮像素子１３が被写体画像データを出力すると、顔検出部２１がこの被写体画像データの被写体人物画像を顔データ記録部２２に記憶された顔データと比較して、被写体人物の顔領域を検出する。顔表情検出部２３は、顔検出部２１が検出した顔領域の画像を顔表情データ記憶部２４の顔表情データと比較して、被写体人物の顔表情が「笑顔」、「泣き顔」等の所定の顔表情に相当することを検出する。ここでは、顔表情検出部２３は、笑顔を検出したとする。
【００３９】
吹き出し挿入部２７は、顔表情検出部２３により被写体人物の顔が笑顔であることが検出された被写体画像中の人物の顔付近に、図２に示されるように、その笑顔に相応しい吹き出し１０１、例えば、丸みを帯びた形状で明るい色の吹き出しを、吹き出しデータ記憶部２８に記憶されている吹き出しデータの中から抽出して自動的に挿入し、被写体画像データに吹き出し画像データを合成する。吹き出し挿入部２７は、吹き出し挿入が終了すると、吹き出し挿入済みの信号を発する。
【００４０】
吹き出し挿入が終わると、テキスト挿入部２９は、テキストデータ記憶部３０に記憶されているテキストの中から、被写体人物の笑顔に相応しい文章、文字サイズ、文字色のテキストを自動で抽出し、被写体画像中の吹き出しの枠内にテキストを自動挿入し、被写体画像データにテキストデータを合成する。笑顔に相応しいテキストとして、例えば、図２に示したような「あはははー」の笑い声の文字列を赤色で表すものが挙げられる。テキスト挿入部２９は、テキスト挿入が終了すると、テキスト挿入済みの信号を発する。
【００４１】
続いて、イラスト挿入部３３は、イラストデータ記憶部３４に記憶されているイラストの中から、被写体人物の笑顔に相応しいタイプ、サイズ、色のイラストを自動で抽出し、被写体画像にイラストを挿入し、被写体画像データにイラストデータを合成する。このとき、イラスト挿入部３３は、イラストの挿入位置、数量についても自動で決定する。笑顔に相応しいイラストとして、例えば、図２に示したような星形の輝きイラストを金色で表し、被写体人物１００の左目の目尻に２つ配置したものが挙げられる。イラスト挿入部３３は、イラスト挿入が終了すると、イラスト挿入済みの信号を発する。なお、笑顔の他に悲しみの顔表情には、エクトプラズム（幽体）をイメージするイラストを用いてもよい。
【００４２】
上記の吹き出し挿入、テキスト挿入及びイラスト挿入が終了すると、図２のような挿入済みの被写体画像データが得られる。
この挿入済みの被写体画像データに基づく再生画像は、ディスプレイ４２に表示される。その際に、ユーザーは、必要に応じて、手動編集部３７を操作して、ディスプレイ４２上の挿入済み被写体画像を見ながら、吹き出し、テキスト、イラストの配置場所や数量を変えたり、例えば、笑顔に相応しいものとして既に挿入されている吹き出しを別のタイプに変更したり、テキストの内容（文章）を変更することができる。
【００４３】
データ保存指示部３５は、吹き出し挿入部２７からの吹き出し挿入済みの信号、テキスト挿入部２９からのテキスト挿入済みの信号、イラスト挿入部３３からのイラスト挿入済みの信号に応じて、吹き出し、テキスト及びイラストの挿入がなされた被写体画像データをその属性データとともにメモリ１６ａに保存せよとの指示信号を発する。画像記録部１６は、その指示信号に基づいて挿入済みの被写体画像データと、挿入済みであることを表す属性データとを関連付けてメモリ１６ａに記録する。なお、吹き出し、テキスト及びイラストの挿入がなされていないオリジナルの被写体画像データは、その属性データとともにそのままメモリ１６ａに保存されている。したがって、吹き出し、テキスト、イラストが表示されると煩わしいときなどは、オリジナルの被写体画像を表示してもよい。
【００４４】
本実施の形態によるデジタルカメラは以下の作用効果を奏する。
（１）被写体人物の笑顔が検出された被写体画像中に、吹き出し挿入及びテキスト挿入を行うことにより、被写体人物の嬉しい感情をあたかも被写体人物が発する言葉として瞬時に明瞭に伝えられる画像となる。
（２）被写体人物の笑顔が検出された被写体画像中に、イラスト挿入を行うことにより、被写体人物の表情に豊かさが与えられ、見て楽しい画像となる。
【００４５】
本実施の形態によるデジタルカメラは、更に以下の動作も可能である。
（１）上述した実施の形態では、顔表情検出部２３が笑顔を検出した被写体画像について吹き出しやテキストの挿入を行うものであったが、顔表情が同じ笑顔であっても中位の笑いと大笑いとではテキストの内容（台詞）が異なる方が自然である。
例えば、顔表情検出部２３が笑顔を検出し、「あはははー」という笑い声のテキストが挿入されている被写体画像について、顔表情レベル判定部２５が被写体人物の笑顔レベルが大笑いであると判定した場合、その被写体画像には大笑いに相応しい「わっはははは！」という笑い声のテキストがより適している。この場合、テキスト挿入部２９は、顔表情レベル判定部２５からの判定信号に基づきテキストの変更を行い、画像記録部１６は、被写体画像データと、被写体人物の笑顔レベルが大笑いであることを表す属性データとを関連付けてメモリ１６ａに記録する。また、イラスト挿入部３３は、その笑顔レベルに応じて、図２のイラスト１０３の数を増減したり、イラスト１０３の大きさを変えることができる。
【００４６】
（２）被写体画像中に複数の被写体人物が存在する場合は、顔表情検出部２３は、各々の被写体人物の顔表情を検出し、例えば顔表情設定部３６によって所定の顔表情として笑顔が設定されていた場合は、笑顔が検出された個々の人物画像について、それぞれ吹き出し及びテキストを自動挿入することもできる。
【００４７】
（３）上述した実施の形態では、顔表情検出部２３が笑顔を検出した被写体画像に吹き出しやテキストの挿入を行うものであったが、年代／性別推論部３１が被写体人物の年代及び性別の少なくとも一方を推論し、その推論結果に基づいて、吹き出し挿入部２７が吹き出しの形状、色を変更するように構成してもよい。例えば、年代／性別推論部３１により被写体人物は２０歳代、女性との推論結果が出ると、若い女性に合わせて吹き出しの色を水色からピンク色に変更する。同様に、テキストの文字色も青系統の色から赤系統の色に変更する。これにより、同じ笑顔であっても、被写体人物の年代、性別により適した吹き出し、テキストを挿入することができる。画像記録部１６は、被写体画像データと、被写体人物の笑顔と年代／性別を表す属性データとを関連付けてメモリ１６ａに記録する。
【００４８】
本実施の形態によるデジタルカメラは、以下のように変形することができる。
（１）上述した実施の形態では、被写体画像データをメモリ１６ａに記録する前に、吹き出し挿入部２７による吹き出し挿入とテキスト挿入部２９によるテキスト挿入とイラスト挿入部３３によるイラスト挿入とを行い、挿入済みの被写体画像データを画像記録部１６がメモリ１６ａに記録するものであった。
【００４９】
この変形例では、撮像素子１３からの被写体画像データは、被写体人物の笑顔検出動作をせずに、メモリ１６ａに記録される。その後で、画像読出し部２０は、メモリ１６ａに記録された被写体画像データを読み出し、顔表情検出部２３は、読み出された被写体画像データの被写体人物の笑顔を検出する。そして、笑顔が検出された被写体画像データの人物画像について、本実施の形態と同様に、吹き出し挿入、テキスト挿入、イラスト挿入を行い、挿入済みの被写体画像データをメモリ１６ａに記録する。このように、メモリ１６ａに記録された被写体画像データを読み出して、笑顔検出、吹き出し挿入、テキスト挿入、イラスト挿入を行うことも可能である。
【００５０】
（２）上述した実施の形態では、吹き出し挿入とテキスト挿入を同時に行うものであったが、吹き出し挿入の後にテキスト挿入を行うことも可能である。
（３）上述した実施の形態では、吹き出し挿入、テキスト挿入、イラスト挿入の３者すべてを行うものとして説明したが、デジタルカメラを吹き出し挿入とテキスト挿入だけを行う構成としてもよいし、イラスト挿入だけを行う構成としてもよい。
（４）上述した実施の形態では、画像記録部１６は、挿入済みの被写体画像データと、挿入済みであることを表す属性データとを関連付けてメモリ１６ａに記録するものであったが、そのような属性データを付さずに挿入済みの被写体画像データを特定のフォルダに保存するようにしてもよい。後で画像データを読み出す場合、挿入済みであることを表す属性データを付さなくとも、挿入済みの被写体画像データは特定のフォルダに保存されているので、読み出しには便利である。
（５）上述した実施の形態では、笑顔に相応しい形状と色を有する吹き出しを挿入するものであったが、形状及び色の一方が笑顔に相応しければ、その吹き出しを挿入してもよい。
（６）また、上述した実施の形態では、年代／性別推論部３１による推論結果に基づいて吹き出しの形状、色を変更し、テキストの文字色も変更するものであったが、吹き出し及びテキストの一方のみを変更する構成としてもよい。
【００５１】
上述した実施の形態では、デジタルカメラについて説明したが、本発明は、図１において、撮影手段、バッファメモリ１４および画像処理部１５を有さない画像処理装置やアプリケーションソフトウエア（画像閲覧編集ソフト）にも適用可能である。
本発明は、その特徴を損なわない限り、以上説明した実施の形態に何ら限定されない。
【符号の説明】
【００５２】
１６：画像記録部 １６ａ：メモリ
２０：画像読出し部 ２３：顔表情検出部
２４：顔表情データ記憶部 ２５：顔表情レベル判定部
２６：顔表情レベルデータ記憶部 ２７：吹き出し挿入部
２８：吹き出しデータ記憶部 ２９：テキスト挿入部
３０：テキストデータ記憶部 ３１：年代／性別推論部
３２：年代／性別データ記憶部 ３３：イラスト挿入部
３４：イラストデータ記憶部 ３５：データ保存指示部
３６：顔表情設定部 ３７：手動編集部
【技術分野】
【０００１】
本発明は、画像に所定の情報を付加する画像処理装置およびその画像処理装置を備えるデジタルカメラに関する。
【背景技術】
【０００２】
従来、デジタルカメラで撮影した被写体画像に所定の情報を付加する場合、記録媒体に記録された被写体画像をディスプレイに再生表示して、その再生画像を見ながら画像処理ソフトを用いてマニュアルで付加していた。しかしながら、上述の従来の技術は、ディスプレイ上の再生画像を見ながら付加すべき情報を選んで画像中に配置するため、手間のかかる作業であった。
一方、画像中の被写体の顔表情を認識し、所定の顔表情であるときにその雰囲気に合わせたテキストやキャラクタをフィルムの下方に写し込む機能を有するカメラが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−５１３３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の特許文献に記載されたカメラでは、テキストやキャラクタを写し込む場所が常に画像の下方であるため、テキストやキャラクタの内容は、被写体人物が発したものか、撮影者が加えた説明文なのかが不明確であるという問題がある。
【課題を解決するための手段】
【０００５】
（１）請求項１の発明による画像処理装置は、被写体画像データ中の被写体人物の顔表情が所定の顔表情であることを検出する顔表情検出手段と、顔表情検出手段により所定の顔表情であると検出された被写体画像データに、所定の顔表情に相応しい形状および色の少なくとも一方を有する吹き出しを自動挿入する吹き出し挿入手段と、顔表情検出手段が検出した所定の顔表情に相応しいテキストを吹き出し内へ自動挿入するテキスト挿入手段と、吹き出し挿入手段により吹き出しが挿入され、テキスト挿入手段によりテキストが挿入された挿入済みの被写体画像データに基づく再生画像を表示する表示手段と、挿入済みの被写体画像データを記憶する記憶手段と、を備えることを特徴とする。
【発明の効果】
【０００６】
本発明の画像処理装置によれば、被写体人物の所定の顔表情を検出した画像に、その顔表情に相応しい吹き出し及びテキストを自動挿入するので、被写体人物が発したものであることが明らかであり、分かり易い画像となる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施の形態に係るデジタルカメラの構成を示すブロック図である。
【図２】被写体人物の顔に吹き出し、テキスト、イラストを挿入した一例を模式的に示す図である。
【図３】吹き出し、テキストの別例を模式的に示す図である。図３（ａ）は怒りの表情に対応し、図３（ｂ）は悲しみの表情に対応する図である。
【発明を実施するための形態】
【０００８】
以下、本発明の実施の形態によるデジタルカメラについて、図面を参照しながら説明する。
図１は、本発明の実施の形態によるデジタルカメラの構成を示すブロック図である。
図１に示されるように、デジタルカメラは、撮影レンズ１１、絞り１２、撮像素子１３、バッファメモリ１４および画像処理部１５を備える。また、デジタルカメラは、画像記録部１６、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１７、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１８、バス１９、画像読出し部２０、顔表情設定部３６、手動編集部３７、表示制御部４１およびディスプレイ４２を備える。
【０００９】
画像処理部１５、画像記録部１６、ＣＰＵ１７、ＲＯＭ１８、画像読出し部２０、顔表情設定部３６、手動編集部３７および表示制御部４１は、バス１９を介して互いに接続されている。
【００１０】
ＣＰＵ１７は、顔検出部２１、顔表情検出部２３、顔表情レベル判定部２５、吹き出し挿入部２７、テキスト挿入部２９、年代／性別推論部３１、イラスト挿入部３３およびデータ保存指示部３５として機能する。また、ＣＰＵ１７は、撮影手段である撮影レンズ１１、絞り１２、撮像素子１３を制御する。
ＲＯＭ１８は、顔データ記憶部２２、顔表情データ記憶部２４、顔表情レベルデータ記憶部２６、吹き出しデータ記憶部２８、テキストデータ記憶部３０、年代／性別データ記憶部３２およびイラストデータ記憶部３４として機能する。
【００１１】
撮影レンズ１１は、ズームレンズやフォーカスレンズを含む複数のレンズで構成され、被写体像を撮像素子１３上に結像する。図１では簡単のため、撮影レンズ１１は１枚のレンズで示されている。撮像素子１３は、撮影レンズ１１からの被写体光Ｌ１を光電変換することにより画像信号を生成する。
【００１２】
撮像素子１３から出力される画像信号は、バッファメモリ１４を介して画像処理部１５に送られ、ここで所定の種々の画像処理が施される。撮影開始前の段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５を経てバス１９を介してディスプレイ４２に送られ、スルー画像として表示される。撮影段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５を経てバス１９を介して画像記録部１６にて記録される。
【００１３】
画像記録部１６は、画像データとその画像データに関する属性データとを関連付けて不揮発性のメモリ（記憶媒体）１６ａに記録する。画像データには、撮像素子１３からの被写体画像データや、外部機器から画像記録部１６に入力された被写体画像データが含まれる。
【００１４】
画像読出し部２０は、画像記録部１６のメモリ１６ａに記録されている画像データの検索や属性データに基づいて画像の再生を行う操作部である。
【００１５】
顔検出部２１は、被写体画像データを入力し、これを顔データ記憶部２２に予め記憶されている顔データと比較することにより、画像中の被写体人物の顔を検出する。被写体人物が複数人の場合は各人の顔を検出する。顔データ記憶部２２は、例えば、眉、眼、鼻、唇の形状に関する特徴点のデータを記憶している。
【００１６】
顔検出には、例えば、特開２００１−１６５７３号公報に開示されている検出手法を用いることができる。この検出手法は、入力画像中から特徴点を抽出して被写体の顔領域、顔の大きさ等を検出するものである。特徴点としては、眉、眼、鼻、唇の各端点、および顔の輪郭点、例えば頭頂点や顎の下端点が挙げられる。
【００１７】
他の顔検出としては、例えば、特開２００５−１５７６７９号公報に開示されている検出手法を用いることができる。この検出手法は、先ず、入力画像中の２画素間の輝度差を特徴量として学習しておき、その特徴量に基づいて入力画像中の所定領域に顔が存在するか否かを示す推定値を算出し、推定値が１以上のときにその所定領域に顔が存在すると判別するものである。
【００１８】
顔表情検出部２３は、顔検出部２１により検出された顔領域の画像の顔表情を顔表情データ記憶部２４に予め記憶されている所定の顔表情データと比較することにより、被写体画像中の被写体人物の顔表情が所定の顔表情に対応することを検出する。この顔表情検出部２３は、被写体人物が複数人の場合は各人の顔について顔表情を検出する。
顔表情には、笑顔、泣き顔、怒り顔、驚き顔、寝顔などの様々な種類があり、顔表情データ記憶部２４は、これらの複数の顔表情データを記憶している。顔表情検出部２３は、例えば、被写体画像中の被写体人物の顔表情が笑顔であることを検出すると、その旨の検出信号を出力する。画像記録部１６は、被写体画像データと、検出信号に基づく属性データとを関連付けてメモリ１６ａに記録する。
【００１９】
顔表情検出部２３が顔領域の画像の顔表情を検出する場合には、特開２００８−４２３１９号公報に開示されている検出手法を用いることができる。この検出手法は、例えば笑顔であることを検出するには、検出された画像の顔が笑顔と通常時の顔という２つの顔表情のいずれに近いかに基づいて表情の種類を判断するものである。
【００２０】
顔表情レベル判定部２５は、顔検出部２１により検出された顔領域の画像の顔表情を顔表情レベルデータ記憶部２６に予め記憶されている複数の顔表情レベルデータと比較することにより、顔領域の画像中の被写体人物の顔表情がいずれの顔表情レベルに対応するかを判定する。顔表情レベル判定部２５は、被写体人物の顔表情レベルに対応する判定信号を出力する。画像記録部１６は、被写体画像データと、所定の顔表情がどのレベルであるかを表す属性データとを関連付けてメモリ１６ａに記録する。
【００２１】
顔表情レベルデータ記憶部２６は、顔表情の種類毎に表情の度合い（顔表情レベル）として、例えば笑顔であれば、微笑、中位の笑い、大笑いという３段階の笑顔レベルデータを記憶している。
【００２２】
笑顔の度合いを判定する手法には、例えば、特開２００４−４６５９１号公報に開示されている手法を用いることができる。この判定手法は、入力された部分画像の笑顔について笑顔の度合いの評価を行い、笑顔評価値を算出する。笑顔評価の際は、予め記憶されている笑顔データを参照して眉、瞳孔、唇の各要素の形状の評価ポイントを算出し、各評価ポイントを係数により重み付けした上で合算した値を笑顔評価値としている。
【００２３】
吹き出し挿入部２７は、顔表情検出部２３により被写体人物の顔が所定の顔表情であることが検出された被写体画像データ中の人物の顔に対して自動で吹き出しを挿入し、被写体画像データに吹き出し画像データを合成する。吹き出しとは、被写体画像中の人物が発する台詞を書き込む枠（図形）であり、吹き出しの形状や色は様々である。
【００２４】
吹き出しデータ記憶部２８は、形状、色、サイズなどが異なる各種の吹き出しを表すデータを記憶している。吹き出し挿入部２７は、吹き出しデータ記憶部２８に記憶されている吹き出しデータの中から、顔画像の大きさ、顔表情の種類に相応しい形状、色、サイズを有する吹き出しのデータを自動で抽出し、被写体画像に吹き出しを自動挿入する。このとき、吹き出し挿入部２７は、被写体画像中の吹き出しの挿入位置についても自動で決定する。そして、吹き出し挿入部２７は、吹き出し挿入が終了すると、吹き出し挿入済みの信号を発する。
【００２５】
テキスト挿入部２９は、顔表情検出部２３により被写体人物の顔が所定の顔表情であることが検出された被写体画像データ中の人物に対して自動でテキストを挿入し、被写体画像にテキスト画像を合成する。テキストとは、被写体画像中の人物が発する声や言葉を意味する文字や記号であり、テキストの内容（文章）、テキストの文字ザイズ、文字色、フォントは様々である。テキストは、吹き出しの枠内に挿入される。
【００２６】
テキストデータ記憶部３０は、文章、文字サイズ、文字色、フォントが異なる各種のテキストデータを記憶している。テキスト挿入部２９は、テキストデータ記憶部３０に記憶されているテキストの中から、顔表情の種類に相応しい文章、文字サイズ、文字色のテキストを自動で抽出し、そのテキストを吹き出し挿入部２７が挿入した吹き出しの枠内に自動挿入する。そして、テキスト挿入部２９は、テキスト挿入が終了すると、テキスト挿入済みの信号を発する。
【００２７】
年代／性別推論部３１は、顔検出部２１により検出された顔領域の画像に基づき被写体人物の年代／性別を推論する。すなわち、年代／性別推論部３１は、被写体人物の顔画像中の各特徴点と、年代／性別データ記憶部３２に予め記憶されている顔の各特徴点とについて、各特徴点が持つ特徴量や色彩データなどを比較して被写体人物の年代または性別を推論する。そして、年代／性別推論部３１は、推論結果、例えば、被写体人物の年代は２０歳代、性別は女性という推論データを出力する。年代／性別データ記憶部３２は、男女それぞれの年代別に、例えば、眉、眼、鼻、唇などの特徴点が持つ特徴量のデータおよび色彩データを記憶している。
【００２８】
年代／性別を推論する方法としては、例えば、特開２００４−２２２１１８号公報に開示されている方法を用い、上記の特徴量をサポートベクタマシンというシステムに入力することによって行う。
【００２９】
イラスト挿入部３３は、顔表情検出部２３により被写体人物の顔が所定の顔表情であることが検出された被写体画像データ中の人物に対して自動でイラストを挿入し、被写体画像にイラスト画像を合成する。イラストとしては、星形，十字形、涙形、花形などのタイプがある。
【００３０】
イラストデータ記憶部３４は、このような各種のイラストデータを記憶しており、更にタイプ毎にサイズや色が異なるいくつかのデータを記憶している。例えば、星形のイラストであれば、大、中、小の３種類のサイズと金色、銀色の２種類の色とが用意されている。イラスト挿入部３３は、イラストデータ記憶部３４に記憶されているイラストの中から、顔画像の大きさ、顔表情の種類あるいは顔表情レベルに適したタイプ、サイズ、色のイラストを自動で抽出し、被写体画像にイラストを挿入する。このとき、イラスト挿入部３３は、イラストの挿入位置、数量についても自動で決定する。そして、イラスト挿入部３３は、イラスト挿入が終了すると、イラスト挿入済みの信号を発する。
【００３１】
図２は、被写体人物の顔に吹き出し、テキスト、イラストを挿入した一例を模式的に示す図である。図２に示されるように、被写体人物１００の傍には、吹き出し１０１と、吹き出し１０１内に書き込まれた「あはははー」というテキスト１０２とが表示され、被写体人物１００の左目の目尻に星形のイラスト１０３が２つ挿入されている。
【００３２】
図３は、吹き出し、テキストの別例であり、図３（ａ）は、吹き出しの尖った形状で怒りの表情を表し、図３（ｂ）は、吹き出しの雲形によって雨降りの印象を与えて悲しみの表情を表している。もちろん、テキストの内容によってもそれぞれの顔表情を表している。
【００３３】
データ保存指示部３５は、吹き出し挿入部２７からの吹き出し挿入済みの信号およびテキスト挿入部２９からのテキスト挿入済みの信号に応じて、吹き出しとテキストの挿入がなされた被写体画像データを、吹き出しとテキストが挿入済みであることを示す属性データとともにメモリ１６ａに保存せよとの指示信号を発する。画像記録部１６は、その指示信号に基づいて挿入済みの被写体画像データと、挿入済みであることを表す属性データとを関連付けてメモリ１６ａに記録する。
また、データ保存指示部３５は、イラスト挿入部３３からのイラスト挿入済みの信号に応じて、イラスト挿入がなされた被写体画像データをその属性データとともにメモリ１６ａに保存せよとの指示信号を発する。画像記録部１６は、その指示信号に基づいてイラスト挿入がなされた被写体画像データと、イラスト挿入済みであることを表す属性データとを関連付けてメモリ１６ａに記録する。
【００３４】
顔表情設定部３６は、被写体人物の顔表情の種類や顔表情レベルを外部から設定する操作部であり、笑顔を含む複数の顔表情の設定や顔表情毎のレベルの設定ができる。例えば、顔表情設定部３６が顔表情として笑顔を設定すると、画像読出し部２０は、画像記録部１６のメモリ１６ａから笑顔の被写体画像データを読み出す。同様に、顔表情設定部３６が顔表情レベルとして大笑いを設定すると、画像読出し部２０は、画像記録部１６のメモリ１６ａから大笑いの被写体画像データを読み出す。
【００３５】
手動編集部３７は、マニュアルにより、被写体画像に挿入された吹き出し、テキスト、イラストの配置場所や数量を変えたり、既に自動挿入されているものを別のものに置き換えるための操作部である。ユーザーは、ディスプレイ４２に表示された被写体画像を見ながらこのような手動による操作を行うことができる。
【００３６】
表示制御部４１は、ディスプレイ４２による表示を制御する。すなわち、表示制御部４１は、バッファメモリ１４に一時的に記録されている被写体画像の表示、画像記録部１６のメモリ１６ａに保存された被写体画像の再生表示を行なう時の表示態様を制御する。
【００３７】
ディスプレイ４２は、スルー画像の表示やバッファメモリ１４に一時的に記録されている被写体画像、メモリ１６ａに保存された被写体画像の表示を行い、また、表示制御部４１の指令により、被写体画像に関連する属性データの表示などを行う。
【００３８】
以上のように構成されたデジタルカメラは、次のように動作する。
最初に、顔表情設定部３６によって顔表情として笑顔を設定したとする。撮影が行われ、撮像素子１３が被写体画像データを出力すると、顔検出部２１がこの被写体画像データの被写体人物画像を顔データ記録部２２に記憶された顔データと比較して、被写体人物の顔領域を検出する。顔表情検出部２３は、顔検出部２１が検出した顔領域の画像を顔表情データ記憶部２４の顔表情データと比較して、被写体人物の顔表情が「笑顔」、「泣き顔」等の所定の顔表情に相当することを検出する。ここでは、顔表情検出部２３は、笑顔を検出したとする。
【００３９】
吹き出し挿入部２７は、顔表情検出部２３により被写体人物の顔が笑顔であることが検出された被写体画像中の人物の顔付近に、図２に示されるように、その笑顔に相応しい吹き出し１０１、例えば、丸みを帯びた形状で明るい色の吹き出しを、吹き出しデータ記憶部２８に記憶されている吹き出しデータの中から抽出して自動的に挿入し、被写体画像データに吹き出し画像データを合成する。吹き出し挿入部２７は、吹き出し挿入が終了すると、吹き出し挿入済みの信号を発する。
【００４０】
吹き出し挿入が終わると、テキスト挿入部２９は、テキストデータ記憶部３０に記憶されているテキストの中から、被写体人物の笑顔に相応しい文章、文字サイズ、文字色のテキストを自動で抽出し、被写体画像中の吹き出しの枠内にテキストを自動挿入し、被写体画像データにテキストデータを合成する。笑顔に相応しいテキストとして、例えば、図２に示したような「あはははー」の笑い声の文字列を赤色で表すものが挙げられる。テキスト挿入部２９は、テキスト挿入が終了すると、テキスト挿入済みの信号を発する。
【００４１】
続いて、イラスト挿入部３３は、イラストデータ記憶部３４に記憶されているイラストの中から、被写体人物の笑顔に相応しいタイプ、サイズ、色のイラストを自動で抽出し、被写体画像にイラストを挿入し、被写体画像データにイラストデータを合成する。このとき、イラスト挿入部３３は、イラストの挿入位置、数量についても自動で決定する。笑顔に相応しいイラストとして、例えば、図２に示したような星形の輝きイラストを金色で表し、被写体人物１００の左目の目尻に２つ配置したものが挙げられる。イラスト挿入部３３は、イラスト挿入が終了すると、イラスト挿入済みの信号を発する。なお、笑顔の他に悲しみの顔表情には、エクトプラズム（幽体）をイメージするイラストを用いてもよい。
【００４２】
上記の吹き出し挿入、テキスト挿入及びイラスト挿入が終了すると、図２のような挿入済みの被写体画像データが得られる。
この挿入済みの被写体画像データに基づく再生画像は、ディスプレイ４２に表示される。その際に、ユーザーは、必要に応じて、手動編集部３７を操作して、ディスプレイ４２上の挿入済み被写体画像を見ながら、吹き出し、テキスト、イラストの配置場所や数量を変えたり、例えば、笑顔に相応しいものとして既に挿入されている吹き出しを別のタイプに変更したり、テキストの内容（文章）を変更することができる。
【００４３】
データ保存指示部３５は、吹き出し挿入部２７からの吹き出し挿入済みの信号、テキスト挿入部２９からのテキスト挿入済みの信号、イラスト挿入部３３からのイラスト挿入済みの信号に応じて、吹き出し、テキスト及びイラストの挿入がなされた被写体画像データをその属性データとともにメモリ１６ａに保存せよとの指示信号を発する。画像記録部１６は、その指示信号に基づいて挿入済みの被写体画像データと、挿入済みであることを表す属性データとを関連付けてメモリ１６ａに記録する。なお、吹き出し、テキスト及びイラストの挿入がなされていないオリジナルの被写体画像データは、その属性データとともにそのままメモリ１６ａに保存されている。したがって、吹き出し、テキスト、イラストが表示されると煩わしいときなどは、オリジナルの被写体画像を表示してもよい。
【００４４】
本実施の形態によるデジタルカメラは以下の作用効果を奏する。
（１）被写体人物の笑顔が検出された被写体画像中に、吹き出し挿入及びテキスト挿入を行うことにより、被写体人物の嬉しい感情をあたかも被写体人物が発する言葉として瞬時に明瞭に伝えられる画像となる。
（２）被写体人物の笑顔が検出された被写体画像中に、イラスト挿入を行うことにより、被写体人物の表情に豊かさが与えられ、見て楽しい画像となる。
【００４５】
本実施の形態によるデジタルカメラは、更に以下の動作も可能である。
（１）上述した実施の形態では、顔表情検出部２３が笑顔を検出した被写体画像について吹き出しやテキストの挿入を行うものであったが、顔表情が同じ笑顔であっても中位の笑いと大笑いとではテキストの内容（台詞）が異なる方が自然である。
例えば、顔表情検出部２３が笑顔を検出し、「あはははー」という笑い声のテキストが挿入されている被写体画像について、顔表情レベル判定部２５が被写体人物の笑顔レベルが大笑いであると判定した場合、その被写体画像には大笑いに相応しい「わっはははは！」という笑い声のテキストがより適している。この場合、テキスト挿入部２９は、顔表情レベル判定部２５からの判定信号に基づきテキストの変更を行い、画像記録部１６は、被写体画像データと、被写体人物の笑顔レベルが大笑いであることを表す属性データとを関連付けてメモリ１６ａに記録する。また、イラスト挿入部３３は、その笑顔レベルに応じて、図２のイラスト１０３の数を増減したり、イラスト１０３の大きさを変えることができる。
【００４６】
（２）被写体画像中に複数の被写体人物が存在する場合は、顔表情検出部２３は、各々の被写体人物の顔表情を検出し、例えば顔表情設定部３６によって所定の顔表情として笑顔が設定されていた場合は、笑顔が検出された個々の人物画像について、それぞれ吹き出し及びテキストを自動挿入することもできる。
【００４７】
（３）上述した実施の形態では、顔表情検出部２３が笑顔を検出した被写体画像に吹き出しやテキストの挿入を行うものであったが、年代／性別推論部３１が被写体人物の年代及び性別の少なくとも一方を推論し、その推論結果に基づいて、吹き出し挿入部２７が吹き出しの形状、色を変更するように構成してもよい。例えば、年代／性別推論部３１により被写体人物は２０歳代、女性との推論結果が出ると、若い女性に合わせて吹き出しの色を水色からピンク色に変更する。同様に、テキストの文字色も青系統の色から赤系統の色に変更する。これにより、同じ笑顔であっても、被写体人物の年代、性別により適した吹き出し、テキストを挿入することができる。画像記録部１６は、被写体画像データと、被写体人物の笑顔と年代／性別を表す属性データとを関連付けてメモリ１６ａに記録する。
【００４８】
本実施の形態によるデジタルカメラは、以下のように変形することができる。
（１）上述した実施の形態では、被写体画像データをメモリ１６ａに記録する前に、吹き出し挿入部２７による吹き出し挿入とテキスト挿入部２９によるテキスト挿入とイラスト挿入部３３によるイラスト挿入とを行い、挿入済みの被写体画像データを画像記録部１６がメモリ１６ａに記録するものであった。
【００４９】
この変形例では、撮像素子１３からの被写体画像データは、被写体人物の笑顔検出動作をせずに、メモリ１６ａに記録される。その後で、画像読出し部２０は、メモリ１６ａに記録された被写体画像データを読み出し、顔表情検出部２３は、読み出された被写体画像データの被写体人物の笑顔を検出する。そして、笑顔が検出された被写体画像データの人物画像について、本実施の形態と同様に、吹き出し挿入、テキスト挿入、イラスト挿入を行い、挿入済みの被写体画像データをメモリ１６ａに記録する。このように、メモリ１６ａに記録された被写体画像データを読み出して、笑顔検出、吹き出し挿入、テキスト挿入、イラスト挿入を行うことも可能である。
【００５０】
（２）上述した実施の形態では、吹き出し挿入とテキスト挿入を同時に行うものであったが、吹き出し挿入の後にテキスト挿入を行うことも可能である。
（３）上述した実施の形態では、吹き出し挿入、テキスト挿入、イラスト挿入の３者すべてを行うものとして説明したが、デジタルカメラを吹き出し挿入とテキスト挿入だけを行う構成としてもよいし、イラスト挿入だけを行う構成としてもよい。
（４）上述した実施の形態では、画像記録部１６は、挿入済みの被写体画像データと、挿入済みであることを表す属性データとを関連付けてメモリ１６ａに記録するものであったが、そのような属性データを付さずに挿入済みの被写体画像データを特定のフォルダに保存するようにしてもよい。後で画像データを読み出す場合、挿入済みであることを表す属性データを付さなくとも、挿入済みの被写体画像データは特定のフォルダに保存されているので、読み出しには便利である。
（５）上述した実施の形態では、笑顔に相応しい形状と色を有する吹き出しを挿入するものであったが、形状及び色の一方が笑顔に相応しければ、その吹き出しを挿入してもよい。
（６）また、上述した実施の形態では、年代／性別推論部３１による推論結果に基づいて吹き出しの形状、色を変更し、テキストの文字色も変更するものであったが、吹き出し及びテキストの一方のみを変更する構成としてもよい。
【００５１】
上述した実施の形態では、デジタルカメラについて説明したが、本発明は、図１において、撮影手段、バッファメモリ１４および画像処理部１５を有さない画像処理装置やアプリケーションソフトウエア（画像閲覧編集ソフト）にも適用可能である。
本発明は、その特徴を損なわない限り、以上説明した実施の形態に何ら限定されない。
【符号の説明】
【００５２】
１６：画像記録部 １６ａ：メモリ
２０：画像読出し部 ２３：顔表情検出部
２４：顔表情データ記憶部 ２５：顔表情レベル判定部
２６：顔表情レベルデータ記憶部 ２７：吹き出し挿入部
２８：吹き出しデータ記憶部 ２９：テキスト挿入部
３０：テキストデータ記憶部 ３１：年代／性別推論部
３２：年代／性別データ記憶部 ３３：イラスト挿入部
３４：イラストデータ記憶部 ３５：データ保存指示部
３６：顔表情設定部 ３７：手動編集部
【特許請求の範囲】
【請求項１】
被写体画像データ中の被写体人物の顔表情が所定の顔表情であることを検出する顔表情検出手段と、
前記顔表情検出手段により前記所定の顔表情であると検出された前記被写体画像データに、前記所定の顔表情に相応しい形状および色の少なくとも一方を有する吹き出しを自動挿入する吹き出し挿入手段と、
前記顔表情検出手段が検出した前記所定の顔表情に相応しいテキストを前記吹き出し内へ自動挿入するテキスト挿入手段と、
前記吹き出し挿入手段により前記吹き出しが挿入され、前記テキスト挿入手段により前記テキストが挿入された挿入済みの被写体画像データに基づく再生画像を表示する表示手段と、
前記挿入済みの被写体画像データを記憶する記憶手段と、を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記記憶手段は、更に前記被写体画像データを記憶し、
前記被写体画像データが前記記憶手段に記憶される前に、前記吹き出し挿入手段が前記吹き出しの自動挿入を行うとともに前記テキスト挿入手段が前記テキストの自動挿入とを行うことを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記記憶手段は、更に前記被写体画像データを記憶し、
前記記憶手段から読み出された前記被写体画像データについて、前記吹き出し挿入手段が前記吹き出しの自動挿入を行うとともに、前記テキスト挿入手段が前記テキストの自動挿入を行うことを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、
前記吹き出し挿入手段による前記吹き出しの自動挿入と、前記テキスト挿入手段による前記テキストの自動挿入とを同時に行うことを特徴とする画像処理装置。
【請求項５】
請求項１に記載の画像処理装置において、
前記テキスト挿入手段は、前記吹き出し挿入手段による前記吹き出しの自動挿入の後に、前記テキストの自動挿入を行うことを特徴とする画像処理装置。
【請求項６】
請求項１に記載の画像処理装置において、
前記被写体画像データ中の被写体人物の顔表情の度合いが所定の顔表情レベルに対応することを判定するレベル判定手段を更に備え、
前記テキスト挿入手段は、前記レベル判定手段が判定した顔表情レベルに基づいて前記テキストの内容を変更して前記自動挿入を行うことを特徴とする画像処理装置。
【請求項７】
請求項１に記載の画像処理装置において、
前記顔表情検出手段は、前記被写体画像データ中の複数の被写体人物の各々の顔について前記所定の顔表情であることを検出し、
前記吹き出し挿入手段及び前記テキスト挿入手段は、前記顔表情検出手段により前記所定の顔表情であることが検出された被写体人物の各々について、それぞれ前記吹き出し及び前記テキストを自動挿入することを特徴とする画像処理装置。
【請求項８】
請求項１に記載の画像処理装置において、
前記テキスト挿入手段は、前記顔表情検出手段が検出した前記所定の顔表情に応じて、前記テキストの内容と文字サイズと文字色との少なくとも１つを変更して前記自動挿入を行うことを特徴とする画像処理装置。
【請求項９】
請求項１に記載の画像処理装置において、
前記被写体画像データ中の被写体人物の年代と性別との少なくとも一方を推論する推論手段をさらに備え、
前記吹き出し挿入手段は、前記推論手段の推論結果に基づき、前記吹き出しの形状および色の少なくとも一方を変更して前記自動挿入を行うことを特徴とする画像処理装置。
【請求項１０】
請求項１に記載の画像処理装置において、
前記被写体画像データ中の被写体人物の年代と性別との少なくとも一方を推論する推論手段をさらに備え、
前記テキスト挿入手段は、前記推論手段の推論結果に基づき、前記テキストの文字色を変更して前記自動挿入を行うことを特徴とする画像処理装置。
【請求項１１】
被写体画像データ中の被写体人物の顔表情が所定の顔表情であることを検出する顔表情検出手段と、
前記顔表情検出手段により前記所定の顔表情であると検出された前記被写体画像データに、前記所定の顔表情に相応しい形状および色を有するイラストを自動挿入するイラスト挿入手段と、
前記イラスト挿入手段によりイラストが挿入された挿入済みの被写体画像データに基づく再生画像を表示する表示手段と、
前記挿入済みの被写体画像データを記憶する記憶手段と、を備えることを特徴とする画像処理装置。
【請求項１２】
請求項１〜１１のいずれか１項に記載の画像処理装置において、
前記記憶手段は、前記挿入済みの被写体画像データを特定のフォルダに記憶することを特徴とする画像処理装置。
【請求項１３】
請求項１〜１１のいずれか１項に記載の画像処理装置において、
前記記憶手段は、前記挿入済みの被写体画像データと、前記挿入済みを表す属性データとを互いに関連付けて記憶することを特徴とする画像処理装置。
【請求項１４】
請求項１〜１３のいずれか１項に記載の画像処理装置を備えるデジタルカメラ。
【請求項１】
被写体画像データ中の被写体人物の顔表情が所定の顔表情であることを検出する顔表情検出手段と、
前記顔表情検出手段により前記所定の顔表情であると検出された前記被写体画像データに、前記所定の顔表情に相応しい形状および色の少なくとも一方を有する吹き出しを自動挿入する吹き出し挿入手段と、
前記顔表情検出手段が検出した前記所定の顔表情に相応しいテキストを前記吹き出し内へ自動挿入するテキスト挿入手段と、
前記吹き出し挿入手段により前記吹き出しが挿入され、前記テキスト挿入手段により前記テキストが挿入された挿入済みの被写体画像データに基づく再生画像を表示する表示手段と、
前記挿入済みの被写体画像データを記憶する記憶手段と、を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記記憶手段は、更に前記被写体画像データを記憶し、
前記被写体画像データが前記記憶手段に記憶される前に、前記吹き出し挿入手段が前記吹き出しの自動挿入を行うとともに前記テキスト挿入手段が前記テキストの自動挿入とを行うことを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記記憶手段は、更に前記被写体画像データを記憶し、
前記記憶手段から読み出された前記被写体画像データについて、前記吹き出し挿入手段が前記吹き出しの自動挿入を行うとともに、前記テキスト挿入手段が前記テキストの自動挿入を行うことを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、
前記吹き出し挿入手段による前記吹き出しの自動挿入と、前記テキスト挿入手段による前記テキストの自動挿入とを同時に行うことを特徴とする画像処理装置。
【請求項５】
請求項１に記載の画像処理装置において、
前記テキスト挿入手段は、前記吹き出し挿入手段による前記吹き出しの自動挿入の後に、前記テキストの自動挿入を行うことを特徴とする画像処理装置。
【請求項６】
請求項１に記載の画像処理装置において、
前記被写体画像データ中の被写体人物の顔表情の度合いが所定の顔表情レベルに対応することを判定するレベル判定手段を更に備え、
前記テキスト挿入手段は、前記レベル判定手段が判定した顔表情レベルに基づいて前記テキストの内容を変更して前記自動挿入を行うことを特徴とする画像処理装置。
【請求項７】
請求項１に記載の画像処理装置において、
前記顔表情検出手段は、前記被写体画像データ中の複数の被写体人物の各々の顔について前記所定の顔表情であることを検出し、
前記吹き出し挿入手段及び前記テキスト挿入手段は、前記顔表情検出手段により前記所定の顔表情であることが検出された被写体人物の各々について、それぞれ前記吹き出し及び前記テキストを自動挿入することを特徴とする画像処理装置。
【請求項８】
請求項１に記載の画像処理装置において、
前記テキスト挿入手段は、前記顔表情検出手段が検出した前記所定の顔表情に応じて、前記テキストの内容と文字サイズと文字色との少なくとも１つを変更して前記自動挿入を行うことを特徴とする画像処理装置。
【請求項９】
請求項１に記載の画像処理装置において、
前記被写体画像データ中の被写体人物の年代と性別との少なくとも一方を推論する推論手段をさらに備え、
前記吹き出し挿入手段は、前記推論手段の推論結果に基づき、前記吹き出しの形状および色の少なくとも一方を変更して前記自動挿入を行うことを特徴とする画像処理装置。
【請求項１０】
請求項１に記載の画像処理装置において、
前記被写体画像データ中の被写体人物の年代と性別との少なくとも一方を推論する推論手段をさらに備え、
前記テキスト挿入手段は、前記推論手段の推論結果に基づき、前記テキストの文字色を変更して前記自動挿入を行うことを特徴とする画像処理装置。
【請求項１１】
被写体画像データ中の被写体人物の顔表情が所定の顔表情であることを検出する顔表情検出手段と、
前記顔表情検出手段により前記所定の顔表情であると検出された前記被写体画像データに、前記所定の顔表情に相応しい形状および色を有するイラストを自動挿入するイラスト挿入手段と、
前記イラスト挿入手段によりイラストが挿入された挿入済みの被写体画像データに基づく再生画像を表示する表示手段と、
前記挿入済みの被写体画像データを記憶する記憶手段と、を備えることを特徴とする画像処理装置。
【請求項１２】
請求項１〜１１のいずれか１項に記載の画像処理装置において、
前記記憶手段は、前記挿入済みの被写体画像データを特定のフォルダに記憶することを特徴とする画像処理装置。
【請求項１３】
請求項１〜１１のいずれか１項に記載の画像処理装置において、
前記記憶手段は、前記挿入済みの被写体画像データと、前記挿入済みを表す属性データとを互いに関連付けて記憶することを特徴とする画像処理装置。
【請求項１４】
請求項１〜１３のいずれか１項に記載の画像処理装置を備えるデジタルカメラ。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１０−１７６２２４（Ｐ２０１０−１７６２２４Ａ）
【公開日】平成２２年８月１２日（２０１０．８．１２）
【国際特許分類】
【出願番号】特願２００９−１５８６１（Ｐ２００９−１５８６１）
【出願日】平成２１年１月２７日（２００９．１．２７）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２２年８月１２日（２０１０．８．１２）
【国際特許分類】
【出願日】平成２１年１月２７日（２００９．１．２７）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]