画像処理装置、画像処理方法及びプログラム
【課題】 人物等の顔が写った写真画像を絵画調の画像（絵画調画像）に変換する画像変換処理を好適に行うことができる画像処理装置及び画像処理方法を得る。
【解決手段】 画像データ２０８の中から人物の顔を検出し、検出した顔に対応する領域を決定する顔検出処理部３１４と、検出された領域の画像データに前記第１の画調変換処理を行うとともに、それ以外の領域の画像データに第１の画調変換処理とは異なる第２の画調変換処理を行う画調変換処理部３０２を備える。これによって、画像中の顔の部分には顔に適した画調変換を行い、顔以外の部分には背景に適した画調変換を行うことで、全体として自然な画調変換を実現する。
【解決手段】 画像データ２０８の中から人物の顔を検出し、検出した顔に対応する領域を決定する顔検出処理部３１４と、検出された領域の画像データに前記第１の画調変換処理を行うとともに、それ以外の領域の画像データに第１の画調変換処理とは異なる第２の画調変換処理を行う画調変換処理部３０２を備える。これによって、画像中の顔の部分には顔に適した画調変換を行い、顔以外の部分には背景に適した画調変換を行うことで、全体として自然な画調変換を実現する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば人物を含む写真画像を絵画変換するにあたって人物の顔部分の変換度合いを変化させて処理するようにした画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラの普及に伴い写真の楽しみ方が多様化している。特にデジタル画像データであるため、色々な画像処理が可能である。
【０００３】
例えば、画像処理を加えることで元の写真をベースとしつつも趣の異なる画調の画像（絵画調等）を生成して表示することができるようにした技術が提案されている（例えば、特許文献１参照）。
【０００４】
特許文献１の技術を発展させ、実際に画家が描いた絵画の画像から色彩情報と筆蝕情報等の特徴を抽出し、撮影された画像に抽出した特徴を付与することにより、原画像全体を勘案して、芸術性の高い絵画調画像に変換する技術も提案されるに至っている（例えば、特許文献２参照）。
【０００５】
また、絵画調などの画質を変更することによって変化をもたせる技術も提案されている（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平８−４４８６７号公報
【特許文献２】特開２００４−２１３５９８号公報
【特許文献３】特公平１−４６９０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、写真を絵画調の作品に変換する場合、景色や花、建築物などの写真については大胆な画調変換を行っても芸術性を得ることができるが、人間の顔の場合は、極端な変換をかけると見た目がおかしい作品になる可能性があるという課題があった。
【０００８】
本発明は、絵画調等の画調変換を行う際に、顔の領域を検出することによって、顔の領域と他の領域とで異なった画調変換を行うことによって、人間の顔を自然に表現できる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記課題を解決するため、請求項１記載の発明に係る画像処理装置は、画像データの中から顔を検出する顔検出手段と、前記顔検出手段が検出した前記顔に対応する領域を決定する領域決定手段と、前記画像データに対し、前記領域検出手段により検出された顔に対応する領域の画像データに第１の画調変換処理を行うとともに、前記顔に対応する領域以外の画像データに第２の画調変換処理を行う画調変換処理手段とを備えたことを特徴とする。
【００１０】
請求項２記載の発明は、請求項１において、前記領域決定手段により決定される顔に対応する領域は、前記顔を含む長方形若しくは楕円形の領域であることを特徴とする。
【００１１】
請求項３記載の発明は、請求項１または２いずれかにおいて、前記領域決定手段により決定される顔に対応する領域は、境界領域を含むことを特徴とする。
【００１２】
請求項４記載の発明は、請求項３において、前記画調変換手段は、前記境界領域の画像データに対し第３の画調変換処理を行うことを特徴とする。
【００１３】
請求項５記載の発明は、請求項１または２いずれかにおいて、前記画調変換手段の第１の画調変換処理と第２の画調変換処理は、画調変換の変換強度が異なることを特徴とする。
【００１４】
請求項６記載の発明は、請求項４において、前記画調変換手段の第１の画調変換処理と第２の画調変換処理と第３の画調変換処理は、画調変換の変換強度がいずれも異なることを特徴とする。
【００１５】
請求項７記載の発明に係る画像処理方法は、画像データの中から顔を検出し、前記検出した顔の領域に対応する領域を決定し、前記検出された領域の画像データに第１の画調変換処理を行うととともに、前記領域以外の画像データに第２の画調変換処理を行うことを特徴とする。
【００１６】
請求項８記載の発明に係るプログラムは、画像データを画調変換処理する画像処理装置のコンピュータを、前記画像データの中から顔を検出する顔検出手段、前記顔検出手段で検出した前記顔に対応する領域を決定する領域決定手段、前記領域検出手段により検出された領域の画像データに第１の画調変換処理を行うとともに、前記領域以外の画像データに第２の画調変換処理を行う画調変換処理手段、として機能させることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、人物が写った写真画像を絵画調画像に変換する画像変換処理を好適に行うことができる。
【００１８】
特に、本発明によれば、人物の顔の部分と顔以外の部分とで異なる画調処理をかけることによって、絵画調画像での全体としての不自然さをなくし、人物の顔が自然に見える絵画変換を実現できるという優れた効果がある。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態による画像表示システムのネットワーク系の構成を示すブロック図
【図２】同実施形態による画像サービスサイト１０の構成を示すブロック図
【図３】同実施形態によるユーザーＩＤの属性情報を示す図
【図４】同実施形態による作品のデータ構成を示す図
【図５】同実施形態による絵画変換処理を説明するためのフローチャート
【図６】同実施形態による顔検出処理を説明するためのフローチャート
【図７】同実施形態による顔の領域作成を説明するための図
【図８】（ａ），（ｂ），（ｃ）は同実施形態による重要度マップを説明するための図
【図９】同実施形態による顔の領域の境界を説明するための図
【図１０】同実施形態による端末とサーバー間のデータのやり取りを示す図
【図１１】同実施形態におけるダウンロードを説明するためのフローチャート
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態について図面を参照して説明する。
実施形態
【００２１】
図１は、本実施形態による画像表示システムのネットワーク系の構成を示すブロック図である。
【００２２】
図中符号１０はＳＮＳ（ソーシャル・ネットワーク・サービス）機能を持った画像サービスサイトであり、インターネット５００を介して複数の端末１−１、１−２、１−３・・・と接続される。端末は通常のパーソナルコンピュータでよい。
【００２３】
図２は画像サービスサイト１０の構成を示すブロック図である。
【００２４】
サーバーを有し、サーバー内に会員エリア１００、共通エリア２００、制御エリア３００が設けられる。２０は全体を制御するＣＰＵであり、３０はＣＰＵ２０が作業を行う際のワークメモリである。
【００２５】
会員エリア１００は、登録会員毎に設けられるエリアで、会員を識別するためのユーザーＩＤ１０２と、それに対応してユーザー毎の各種属性情報１０４を有する。
【００２６】
属性情報１０４は、図３に示すように、氏名、ハンドルネーム、性別、年齢、地域、会員種別その他のユーザー固有の情報である。会員種別には無料登録しただけの無料会員、有料登録した有料会員及び所定の条件を満たしたプレミアム会員がある。
【００２７】
また、１０６はユーザーが写真をアップロードするアップロード画像エリア、１０８は画像サービスサイト１０により絵画変換を行った作品が記憶される作品バッファエリア、１１０は他のユーザーの作品をダウンロードして記憶するダウンロード作品バッファエリアである。
【００２８】
共通エリア２００は、ユーザー全体に共通して設けられるエリアで、ユーザーがアップロードした画像を絵画調に変換した多数の作品が記憶される作品エリア２０２を含む。
【００２９】
作品エリア２０２に記憶される各作品には、その作品を識別する画像ＩＤ２０４と、その作品の属性情報２０６が画像データ２０８とともに記憶される。
【００３０】
属性情報２０６は、図４に示すように、その作品の投稿者を示すユーザーＩＤ、作成日付または投稿日付等の日付情報、画像データのサイズ、画調の種類等の画像種別情報、その作品が閲覧された回数を示すアクセス数情報、その作品がダウンロードされた回数を示すダウンロード数情報、その作品の評価を示すポイント情報その他の作品特有の情報である。
【００３１】
制御エリア３００は、画像データを絵画変換処理する画像処理プログラムが記憶された絵画変換処理部３０２、絵画変換処理の時に参照され、絵画変換のためのパラメータが記憶されるパラメータテーブル３０４、絵画変換処理の時に参照され、画像データ中の各画素の重要度が記憶される重要度マップ３０６、作品を画面上に表示させる制御プログラムが記憶される表示制御部３０８、アクセス回数等に応じて作品の評価を行い作品にポイントを付与する制御プログラムが記憶される評価制御部３１０、ユーザーＩＤにより会員を管理し、無料会員、有料会員、プレミアム会員別のサービスを制御する会員管理部３１２を含んでいる。この会員管理部３１２は画像サービスサイト１０のＳＮＳ機能についても司っている。
【００３２】
また、この制御エリア３００には、画像データに人物の顔部分が含まれるか否かを検出するとともに、該検出によって顔に対応する領域を決定する顔検出処理部３１４が設けられている。
【００３３】
以下、本実施形態の画像表示システムの具体的な動作について図５のフローチャートを参照しながら説明する。
【００３４】
まず、絵画変換処理技術について説明する。
【００３５】
絵画変換とは、写真等の画像を構成する各画素を所定のパラメータ（絵画変換パラメータ）に従って変換し、油絵調、水彩画調、パステル調、色鉛筆画調、クレヨン画調、イラスト画調、点描画調、エアブラシ、シルクスクリーン調、刺繍絵調、コラージュ（糊付け）調等、いわゆる絵画調に変換する画像処理技術である。
【００３６】
基本的にフォトレタッチソフト等で知られている各種エフェクト処理のパラメータを調整・組み合わせて絵画調に見えるように変換する。
【００３７】
エフェクト処理としては、例えば画像にテクスチャをマッピングし、特殊な質感を与えるテクスチャ処理、画像を輪郭部・細かい模様などのテクスチャ部・平坦部に分類し、それぞれに適宜処理を施すことで、質感と解像感を高める解像度処理、色を色相(Hue)、彩度(Saturation)、明度(Value)の３要素に分類して調整するＨＳＶ処理、画像のＲ（赤）Ｇ（緑）Ｂ（青）各色の度合いを調整するＲＧＢ処理、Ｒ→Ｇ→Ｂの方向に交換するＲＧＢ交換処理、ラプラシアンフィルタと呼ばれるフィルタをかけるエッジ抽出処理、メディアンフィルタと呼ばれるフィルタをかける中間濃度抽出処理、隣接する画素のＲＧＢのヒストグラムを抽出し、それぞれ最小／中間／最大の濃度を抽出した場合の処理を行う濃度抽出処理、画像の一番暗い部分を黒、一番明るい部分を白とし、間のヒストグラムを適宜分布させ、コントラスト修正を行ったり画像のヒストグラムを引き伸ばすイコライズ処理、明るい部分と暗い部分を維持して中間的な明るさを調節するガンマ補正処理、画像の暗い領域を明るくしたり、明るい領域を暗くしたりするシャドー処理、各ピクセルのＲＧＢ値が、しきい値以上の明るさの時に、そのＲＧＢ値を反転するソラリゼーション処理、ランダムにドットを描画し、ノイズを発生させ、ノイズの量や色を調整するノイズ付加処理、などがある。
【００３８】
また、ＨＤＲ（High Dynamic Range）と呼ばれる通常の写真では表現できない広いダイナミックレンジの写真を、トーンマッピングにより狭いダイナミックレンジ幅内に入れ込むことで露出過多の白飛びや露出不足の黒つぶれを補正して表現力を増大するエフェクト処理もある。
【００３９】
すなわち、絵画変換処理は原理的にはエフェクト処理の一種であり、絵画変換アルゴリズムはエフェクト処理とパラメータの組み合わせにより各種絵画調を作り出し、その変換アルゴリズムをプログラミングしてあるものである。
【００４０】
その変換アルゴリズムの中に、原画像の画素を変換するための前記パラメータのセット（組）であるパラメータ群Ｐが予め用意されている。画調の種類が１２種類あるとすると、パラメータ群Ｐ（１）〜Ｐ（１２）と表す。パラメータの決め方により変換された画像の画調も変わってくる。油絵調に変換するためのパラメータ群をＰ（１）とし、Ｐ（１）の中に油絵調に見えるように画像を変換するためのエフェクト処理に必要なパラメータがｍ個あるとすると、パラメータＰ１〜Ｐｍと表す。
【００４１】
画素は一般的にＲＧＢ各複数ビットの階調で表現されるが、パラメータはそのビットデータに演算をかけるための要素である。例えば赤成分を強調して緑成分と青成分をやや抑えるときにＲ×２、Ｇ×０．９、Ｂ×０．５、のような演算をする場合の前記“２”、“０．９”、“０．５”はパラメータである。
【００４２】
あるいは、予め演算要素がプログラミングされており、赤の強調度１のときはＲ×１．１、強調度２のときはＲ×１．２、強調度３のときはＲ×１．３のような演算をする場合の強調度もパラメータである。
【００４３】
また、注目画素と隣接画素の間で所定の演算をかける場合もある。例えば注目画素Ａ５（ＲＧＢ）を中心に画素Ａ１（ＲＧＢ）、Ａ２（ＲＧＢ）、Ａ３（ＲＧＢ）、Ａ４（ＲＧＢ）、Ａ５（ＲＧＢ）、Ａ６（ＲＧＢ）、Ａ７（ＲＧＢ）、Ａ８（ＲＧＢ）、Ａ９（ＲＧＢ）が上下左右に並んでいるとき、Ａ５（Ｒ）に対してＡ５（Ｒ）＝Ａ１（Ｒ）×ｑ１＋Ａ２（Ｒ）×ｑ２＋Ａ３（Ｒ）×ｑ３＋Ａ４（Ｒ）×ｑ４＋Ａ５（Ｒ）×ｑ５＋Ａ６（Ｒ）×ｑ６＋Ａ７（Ｒ）×ｑ７＋Ａ８（Ｒ）×ｑ８＋Ａ９（Ｒ）×ｑ９という演算を行い、Ｇ、Ｂについても同様の演算を行う。ここでのｑがパラメータであり、この数値（係数）を変えることにより異なったエフェクト処理ができる。
【００４４】
また、タッチ（以下、「筆触」と呼ぶ）が異なるように加工するエフェクト処理もある。
【００４５】
具体的には、画像データを構成する画素から、色などを基準として相関の高い画素を集め、グループを形成する。続いて、それぞれのグループの画素に対して、同一のグループの画素については色を該グループの代表色に置き換える。こうして色を代表色に置き換えられた画素のグループがそれぞれの筆触を形成する。かかる画像加工処理によると、グループとして集められる画素の相関の取り方、及び同一の色（代表色）の画素により構成されるグループの形状（長さ（距離）、扁平度）を変化させることによって、形成される筆触を変化させることができ、結果的に、画像データが表す画像の画調を様々な絵画調に変更することができる。そして各種画調毎に、それぞれの処理で用いる相関度、グループの形状を表す長さ、扁平度などのパラメータの最適な組み合わせが設定されている。
【００４６】
複数の画像データの各々を異なる筆触に変更することは、画調を変更する際に、筆触を構成する画素を集めたグループの形状、例えば、グループの扁平度を調整することによって実現できる。筆触を表す同一の色の画素によって構成されるグループの扁平度を大きくすると、筆触は太くなり、結果として画像のタッチは荒く表示される。同一の色の画素によって構成されるグループの扁平度を小さくすると、小さな筆触を作り出すことができ、結果として、画像のタッチが細かく表示される。
【００４７】
以上詳述した絵画変換アルゴリズムは画像サービスサイト１０の制御エリア３００の画像変換処理部３０２に記憶されており、パラメータ群は同じく制御エリア３００のパラメータテーブル３０４に記憶されている。
【００４８】
図５は絵画変換処理を行うフローチャートである。
【００４９】
ＣＰＵ２０がワークメモリ３０を使用しながらこのフローチャートを実行する。
【００５０】
図５において、まず前処理を行う（ステップＳ５０１）。ここは画調の種類にかかわらず共通して実行される処理である。
【００５１】
上述したようなエフェクト処理は各画素に対して行うため、画像データはビットマップ形式である必要がある。そこで、通常はＪＰＥＧ形式で表現されている画像データをビットマップ形式に変換する。
【００５２】
また、アップロードされる画像データのサイズは様々なので、これを表示エリアの画素数、例えば８００×６００画素にリサイズする。大きい画像は縮小し、小さい画像は拡大する。これは、サイズが決まっていた方がパラメータも固定で済み、処理が効率的だからである。もちろん、後述する本画像の絵画変換の際はアップロードされた画像データのサイズそのままに対して絵画変換を行う。
【００５３】
次に、ステップＳ５０２により、変換対象の写真が顔を含んでいるかどうか判断する。顔は極端な変換をかけると不自然になるので、顔の部分は特にきめ細かく絵画変換処理するためである。
【００５４】
この顔検出処理は図６のフローチャートを使用して後述するが、１枚の画像の中でも顔の領域と背景、中央部分と周辺部分では重要度が変わってくるので、重要度マップを作成し、制御エリア３００の重要度マップ３０６に記憶する。
【００５５】
続いて、ステップＳ５０４で変換したい画調を油絵調、水彩画調、パステル調、色鉛筆画調、・・・等の中から選択する。
【００５６】
画調が選択されると、それぞれの画調変換アルゴリズムのフローへ移る。例えば油絵調変換であればステップＳ５０６へ、水彩画調変換であればステップＳ５１０へ進む。それ以外であればその他の画調変換アルゴリズムのフローへと進む（ステップＳ５２０）。
【００５７】
各アルゴリズムを実行する際、制御エリアのパラメータテーブル３０４と重要度マップ３０６を参照する。
【００５８】
ここでは、表示画面を見ながら表示画面サイズの画像データを絵画変換し、ステップＳ５２２で決定であれば本画像の絵画変換へと進む（ステップＳ５２４）。
【００５９】
他の画調でやり直す場合はステップＳ５０４へ戻る。
【００６０】
ステップＳ５２４では、ステップＳ５２２で決定した画調変換アルゴリズムでパラメータテーブルと重要度マップ３０６を参照しながら本画像に対し画調変換処理を行う（ステップＳ５２６、５２７）。同じ画調であっても画像サイズが異なると適切なパラメータは異なってくるので、ステップＳ５２６で使用するパラメータテーブルはステップＳ５０８若しくはステップＳ５１２で取得したパラメータとは別のものとなる。
【００６１】
ステップＳ５２８の後処理では、再びＪＰＥＧ形式に変換する。
【００６２】
次に、図６を参照して顔検出と重要度マップ作成について説明する。
【００６３】
まず、ステップＳ７０２で対象画像データの中に顔があるかどうかを認識する。
【００６４】
ここで、顔認識技術は公知であるので詳述はしない。顔を認識して検出することはできても、その輪郭まで正確に抽出することは困難なので、顔の領域を含む楕円形若しくは長方形の領域を作成する（ステップＳ７０４）。
【００６５】
図７はこの様子を説明するための図で、ｓｑは顔Ｆ１を含む長方形の領域であり、ｅｌは顔Ｆ１を含む楕円形の領域である。すなわち検出した顔に対応する領域である。
【００６６】
図８は重要度マップを説明するための図である。同図（ａ）のような画像データから、顔Ｆ１ｅ、Ｆ２ｅ、Ｆ３ｅを認識すると同図（ｂ）のように顔の領域ｓｑ１、ｓｑ２、ｓｑ３を作成する。
【００６７】
同図（ｃ）は画面上の領域に応じて重要度を与えたものである。まず顔の領域ｓｑ１、ｓｑ２、ｓｑ３の領域Ｅ１、Ｅ２、Ｅ３の重要度を１位とする。次に、楕円ｅｌ３によって示される中央部の領域Ｅ４の重要度を２位とする。更に画面の楕円ｅｌ４によって示される背景部分の領域Ｅ５の重要度を３位とする。最後に、画面の周辺部分の重要度を最下位とする。
【００６８】
すなわち図８（ｃ）が重要度マップとなる。画像データの各画素を絵画変換処理する際、重要度の高い領域ほどきめ細かく絵画変換し、重要度の低い領域ほど粗く絵画変換する。その結果、重要度が最下位の周辺部分の領域Ｅ５はぼやけた感じで絵画変換される。もちろんこれは一例であって、顔の領域Ｅ１、Ｅ２、Ｅ３は顔の雰囲気を崩さないように絵画変換処理をかけないこともできる。
【００６９】
この重要度をαで示すと、αは画像データと同じ画素数を有し、画素Ａの変換演算は、
Ａ（ＲＧＢ）（ｘ，ｙ）＝Ａ（ＲＧＢ）（ｘ，ｙ）＊Ｐ１＊α（ｘ，ｙ）
Ａ（ＲＧＢ）（ｘ，ｙ）＝Ａ（ＲＧＢ）（ｘ，ｙ）＊Ｐ２＊α（ｘ，ｙ）
Ａ（ＲＧＢ）（ｘ，ｙ）＝Ａ（ＲＧＢ）（ｘ，ｙ）＊Ｐｎ＊α（ｘ，ｙ）
（ここで（ｘ，ｙ）は２次元の座標）となる。つまりαの値によってパラメータの影響度が変わってくることを意味する。
【００７０】
なお、重要度を画像データと同じ画素数設けなくても、Ｅ１〜Ｅ６の各エリアの内部が一律で同じ重要度とすれば６種類の重要度データを用意してもよい。また、重複するエリアは中間値とするなどもう少し細分化をはかってもよい。
【００７１】
すなわち、重点度マップ３０６は、画像処理分野において各ピクセルに対し色表現のデータＲ，Ｇ，Ｂとは別に、透過情報を適宜調整することが可能となる補助データをもつフィルタであると言える。このような重要度マップ３０６を併用して画調変換処理を行うと、画像データ２０８の領域Ｅ１〜Ｅ６を、それぞれ変換強度を変えて画調変換処理することができる。まったく変換強度を変えない（パラメータに影響を与えない）場合も含む。
【００７２】
図９は、顔の領域の輪郭部分の領域（境界領域）を更に細分化したものである。顔の領域の輪郭の中と外で重要度を変えると、絵画変換された画像に段差ができてしまう可能性があるので、同図において顔の領域周辺の重要度をｓｑ＞ｅｌ＞ｅｌ５とする。このようにすることによって、顔の輪郭部分を自然な感じで段階的に絵画変換することができる。
【００７３】
なお、本実施形態の画像表示システムでは、続いて、図１０に示すように、端末と画像サービスサイトのサーバーとの間で画像のアップロード、表示、閲覧、ダウンロードを行う。
【００７４】
これを簡単に説明すると、まず、会員であるユーザーは自己の端末１から画像サービスサイト１０にアクセスする（ＳＢ２）。サーバーはユーザーのログインによりユーザーＩＤを認証し（ＳＣ２）、会員であることが確認されるとその会員のページを送信し会員から見られるようになる（ＳＣ４）。
【００７５】
会員は自分のページが開かれると、画像のアップロードを行う（ＳＢ４）。アップロードされた画像はサーバーの会員エリア１００のアップロード画像エリア１０６に格納される。この画像を絵画変換するために画調の種類を選択すると、図５のフローに従って絵画変換され（ＳＣ６）、変換された作品は作品バッファ１０８に格納される。このまま個人で楽しんでもよいが、他のユーザーに公開したい場合は投稿する（ＳＢ８）。投稿された作品は会員エリア１００の作品バッファ１０８から共通エリア２００の作品エリア２０２へ転送され格納される。作品エリア２０２内の作品には図４で説明したような属性情報も付加される。
【００７６】
他のユーザーも共通エリア２００の作品エリア２０２に格納されている作品は会員でなくても閲覧することができるので（ＳＡ２）、画像サービスサイト１０では多数の作品を閲覧しやすいように表示する工夫を行っている（ＳＣ８）。
【００７７】
作品は、閲覧されただけでもポイントが加算され（ＳＣ１０）、ユーザーが気に入ってＧＯＯＤボタンを押すと（ＳＡ４）、更にポイントが加算される（ＳＣ１２）。
【００７８】
ユーザーがその作品をダウンロードすると（ＳＡ６）、その作品がダウンロード許可対象となっていればダウンロードを許可し（ＳＣ１４）、更にポイントを加算して（ＳＣ１６）、ダウンロードを行う（ＳＡ８）。
【００７９】
なお、ここでは詳述しないが、ダウンロードを許可していない画像をダウンロードすると、作品にタグと呼ばれるロゴが付加される。
【００８０】
また、本実施形態の画像サービスサイト１０では、図１１に示すようにしてダウンロードが行われる。ここで、ダウンロードするには会員登録が必要である。
そして、会員は表示画面を見ながら欲しい作品を指定する（ステップＳ８０２）。サーバーは会員管理部３１２によりそのユーザーが有料会員か無料会員かを判断し（ステップＳ８０４）、有料会員であればステップＳ８１２へ進んで無条件でダウンロードできる。無料会員の場合は、ステップＳ８０６で該当作品の属性情報からその作品の評価に相当するポイントを読み出し、併せてダウンロードしようとしている会員の属性情報から保持しているポイントを読み出す（ステップＳ８０８）。作品のポイント（価格に相当）と会員の保有しているポイントの差額から支払ポイントを算出し（ステップＳ８１０）、充足していればステップＳ８１２へ進むが、不足している場合はその作品はダウンロードできないため、ステップＳ８０２へ戻り、他の作品の選定を行う。ステップＳ８１２で作品の読み出しが許可されれば、作品の作成者にポイントが加算されるとともに、作品の画像ＩＤの属性情報のポイントエリアにポイントが加算される（図１０のＳＣ１６）。つまり、たくさんダウンロードされるほど作品の評価が上がり、作者である会員のユーザーＩＤの属性情報のポイントエリアにもポイントが加算されて会員の保有ポイント数が上がる仕組みとなっている。
【００８１】
更に、画像サービスサイト１０はＳＮＳ機能を備えているので、他の会員の作品に対するコメントを書き込んだり、それに対する返事を書いたり、好みの似た会員同士でグループを作ったり、特定の作者のファンでグループを作ったりすることができる。このような仕組みは既に既存のＳＮＳでも実施されているので詳述はしないが、前記会員管理部３１２が会員管理の仕組みとともにＳＮＳの仕組みも実現している。
【００８２】
以上の構成によれば、人物が写った写真画像を絵画調画像に変換する画像変換処理を好適に行うことができる。特に、人物の顔の部分と顔以外の部分とで変換強度を変えることによって、絵画調画像での全体としての不自然さをなくし、人物の顔が自然に見える絵画変換を実現することができるものである。
【００８３】
なお、本発明は上述した実施形態で説明した構成等には限定されず、各部の構成等を適宜変形、変更し得ることは勿論である。
【００８４】
例えば、画像データ２０８から人物の顔に対応する領域を切り出し、顔に対応する領域とその他の領域を別々に画調変換した後、合成するようにしてもよい。
【００８５】
以上、この発明の実施形態について説明したが、この発明はこれらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
【００８６】
以下の、本出願の特許請求の範囲に記載された発明を付記する。
（付記）
【００８７】
請求項１記載の発明では、画像データの中から顔を検出する顔検出手段と、前記顔検出手段が検出した前記顔に対応する領域を決定する領域決定手段と、前記画像データに対し、前記領域検出手段により検出された顔に対応する領域の画像データに第１の画調変換処理を行うとともに、前記顔に対応する領域以外の画像データに第２の画調変換処理を行う画調変換処理手段とを備えたことを特徴とする。これにより、例えば顔に対応する領域と他の領域とで異なる変換強度で画調変換することができ、顔を含む写真において自然な画調変換をすることができる。
【００８８】
請求項２記載の発明では、請求項１において、前記領域決定手段により決定される顔に対応する領域は、前記顔を含む長方形若しくは楕円形の領域であることを特徴とする。これにより、顔の輪郭が正確に抽出できなくても顔に対応する領域を画調変換することができる。
【００８９】
請求項３記載の発明では、請求項１または２いずれかにおいて、前記領域決定手段により決定される顔に対応する領域は、境界領域を含むことを特徴とする。これにより、顔の境界部分の内側と外側に段差ができることを避けることができる。
【００９０】
請求項４記載の発明では、請求項３において、前記画調変換手段は、前記境界領域の画像データに対し第３の画調変換処理を行うことを特徴とする。これにより、顔の輪郭部分について段階的に自然な画調変換を行うことができる。
【００９１】
請求項５記載の発明では、請求項１または２いずれかにおいて、前記画調変換手段の第１の画調変換処理と第２の画調変換処理は、画調変換の変換強度が異なることを特徴とする。これにより、特に顔に対応する領域と他の領域を同じ画調に変換し、変換強度だけを変えることができる。
【００９２】
請求項６記載の発明では、請求項４において、前記画調変換手段の第１の画調変換処理と第２の画調変換処理と第３の画調変換処理は、画調変換の変換強度がいずれも異なることを特徴とする。これにより、第１の画調変換処理と第２の画調変換処理と第３の画調変換処理が同じ画調変換処理であり、変換強度だけ変えることができる。
【００９３】
請求項７記載の発明では、画像データの中から顔を検出し、前記検出した顔の領域に対応する領域を決定し、前記検出された領域の画像データに第１の画調変換処理を行うとともに、前記領域以外の画像データに第２の画調変換処理を行う方法を得ることができる。
【００９４】
請求項８記載の発明では、画像データを画調変換処理する画像処理装置のコンピュータを、前記画像データの中から顔を検出する顔検出手段、前記顔検出手段で検出した前記顔に対応する領域を決定する領域決定手段、前記領域検出手段により検出された領域の画像データに第１の画調変換処理を行うとともに、前記領域以外の画像データに第２の画調変換処理を行う画調変換処理手段、として機能させるプログラムを得ることができる。
【符号の説明】
【００９５】
１ 端末
１０ 画像サービスサイト
２０ ＣＰＵ
３０ ワークメモリ
１００ 会員エリア
１０２ ユーザーＩＤ
１０４ 属性情報
２００ 共通エリア
２０２ 作品エリア
２０４ 画像ＩＤ
２０６ 属性情報
２０８ 画像データ
３００ 制御エリア
３０２ 絵画変換処理部
３０４ パラメータテーブル
３０６ 重要度マップ
３０８ 表示制御部
３１４ 顔検出処理部
３１６ 顔検出部
３１７ 顔の領域決定手段
３１８ 画調変換処理手段
３１０ 評価制御部
５００ インターネット
【技術分野】
【０００１】
本発明は、例えば人物を含む写真画像を絵画変換するにあたって人物の顔部分の変換度合いを変化させて処理するようにした画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラの普及に伴い写真の楽しみ方が多様化している。特にデジタル画像データであるため、色々な画像処理が可能である。
【０００３】
例えば、画像処理を加えることで元の写真をベースとしつつも趣の異なる画調の画像（絵画調等）を生成して表示することができるようにした技術が提案されている（例えば、特許文献１参照）。
【０００４】
特許文献１の技術を発展させ、実際に画家が描いた絵画の画像から色彩情報と筆蝕情報等の特徴を抽出し、撮影された画像に抽出した特徴を付与することにより、原画像全体を勘案して、芸術性の高い絵画調画像に変換する技術も提案されるに至っている（例えば、特許文献２参照）。
【０００５】
また、絵画調などの画質を変更することによって変化をもたせる技術も提案されている（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平８−４４８６７号公報
【特許文献２】特開２００４−２１３５９８号公報
【特許文献３】特公平１−４６９０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、写真を絵画調の作品に変換する場合、景色や花、建築物などの写真については大胆な画調変換を行っても芸術性を得ることができるが、人間の顔の場合は、極端な変換をかけると見た目がおかしい作品になる可能性があるという課題があった。
【０００８】
本発明は、絵画調等の画調変換を行う際に、顔の領域を検出することによって、顔の領域と他の領域とで異なった画調変換を行うことによって、人間の顔を自然に表現できる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記課題を解決するため、請求項１記載の発明に係る画像処理装置は、画像データの中から顔を検出する顔検出手段と、前記顔検出手段が検出した前記顔に対応する領域を決定する領域決定手段と、前記画像データに対し、前記領域検出手段により検出された顔に対応する領域の画像データに第１の画調変換処理を行うとともに、前記顔に対応する領域以外の画像データに第２の画調変換処理を行う画調変換処理手段とを備えたことを特徴とする。
【００１０】
請求項２記載の発明は、請求項１において、前記領域決定手段により決定される顔に対応する領域は、前記顔を含む長方形若しくは楕円形の領域であることを特徴とする。
【００１１】
請求項３記載の発明は、請求項１または２いずれかにおいて、前記領域決定手段により決定される顔に対応する領域は、境界領域を含むことを特徴とする。
【００１２】
請求項４記載の発明は、請求項３において、前記画調変換手段は、前記境界領域の画像データに対し第３の画調変換処理を行うことを特徴とする。
【００１３】
請求項５記載の発明は、請求項１または２いずれかにおいて、前記画調変換手段の第１の画調変換処理と第２の画調変換処理は、画調変換の変換強度が異なることを特徴とする。
【００１４】
請求項６記載の発明は、請求項４において、前記画調変換手段の第１の画調変換処理と第２の画調変換処理と第３の画調変換処理は、画調変換の変換強度がいずれも異なることを特徴とする。
【００１５】
請求項７記載の発明に係る画像処理方法は、画像データの中から顔を検出し、前記検出した顔の領域に対応する領域を決定し、前記検出された領域の画像データに第１の画調変換処理を行うととともに、前記領域以外の画像データに第２の画調変換処理を行うことを特徴とする。
【００１６】
請求項８記載の発明に係るプログラムは、画像データを画調変換処理する画像処理装置のコンピュータを、前記画像データの中から顔を検出する顔検出手段、前記顔検出手段で検出した前記顔に対応する領域を決定する領域決定手段、前記領域検出手段により検出された領域の画像データに第１の画調変換処理を行うとともに、前記領域以外の画像データに第２の画調変換処理を行う画調変換処理手段、として機能させることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、人物が写った写真画像を絵画調画像に変換する画像変換処理を好適に行うことができる。
【００１８】
特に、本発明によれば、人物の顔の部分と顔以外の部分とで異なる画調処理をかけることによって、絵画調画像での全体としての不自然さをなくし、人物の顔が自然に見える絵画変換を実現できるという優れた効果がある。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態による画像表示システムのネットワーク系の構成を示すブロック図
【図２】同実施形態による画像サービスサイト１０の構成を示すブロック図
【図３】同実施形態によるユーザーＩＤの属性情報を示す図
【図４】同実施形態による作品のデータ構成を示す図
【図５】同実施形態による絵画変換処理を説明するためのフローチャート
【図６】同実施形態による顔検出処理を説明するためのフローチャート
【図７】同実施形態による顔の領域作成を説明するための図
【図８】（ａ），（ｂ），（ｃ）は同実施形態による重要度マップを説明するための図
【図９】同実施形態による顔の領域の境界を説明するための図
【図１０】同実施形態による端末とサーバー間のデータのやり取りを示す図
【図１１】同実施形態におけるダウンロードを説明するためのフローチャート
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態について図面を参照して説明する。
実施形態
【００２１】
図１は、本実施形態による画像表示システムのネットワーク系の構成を示すブロック図である。
【００２２】
図中符号１０はＳＮＳ（ソーシャル・ネットワーク・サービス）機能を持った画像サービスサイトであり、インターネット５００を介して複数の端末１−１、１−２、１−３・・・と接続される。端末は通常のパーソナルコンピュータでよい。
【００２３】
図２は画像サービスサイト１０の構成を示すブロック図である。
【００２４】
サーバーを有し、サーバー内に会員エリア１００、共通エリア２００、制御エリア３００が設けられる。２０は全体を制御するＣＰＵであり、３０はＣＰＵ２０が作業を行う際のワークメモリである。
【００２５】
会員エリア１００は、登録会員毎に設けられるエリアで、会員を識別するためのユーザーＩＤ１０２と、それに対応してユーザー毎の各種属性情報１０４を有する。
【００２６】
属性情報１０４は、図３に示すように、氏名、ハンドルネーム、性別、年齢、地域、会員種別その他のユーザー固有の情報である。会員種別には無料登録しただけの無料会員、有料登録した有料会員及び所定の条件を満たしたプレミアム会員がある。
【００２７】
また、１０６はユーザーが写真をアップロードするアップロード画像エリア、１０８は画像サービスサイト１０により絵画変換を行った作品が記憶される作品バッファエリア、１１０は他のユーザーの作品をダウンロードして記憶するダウンロード作品バッファエリアである。
【００２８】
共通エリア２００は、ユーザー全体に共通して設けられるエリアで、ユーザーがアップロードした画像を絵画調に変換した多数の作品が記憶される作品エリア２０２を含む。
【００２９】
作品エリア２０２に記憶される各作品には、その作品を識別する画像ＩＤ２０４と、その作品の属性情報２０６が画像データ２０８とともに記憶される。
【００３０】
属性情報２０６は、図４に示すように、その作品の投稿者を示すユーザーＩＤ、作成日付または投稿日付等の日付情報、画像データのサイズ、画調の種類等の画像種別情報、その作品が閲覧された回数を示すアクセス数情報、その作品がダウンロードされた回数を示すダウンロード数情報、その作品の評価を示すポイント情報その他の作品特有の情報である。
【００３１】
制御エリア３００は、画像データを絵画変換処理する画像処理プログラムが記憶された絵画変換処理部３０２、絵画変換処理の時に参照され、絵画変換のためのパラメータが記憶されるパラメータテーブル３０４、絵画変換処理の時に参照され、画像データ中の各画素の重要度が記憶される重要度マップ３０６、作品を画面上に表示させる制御プログラムが記憶される表示制御部３０８、アクセス回数等に応じて作品の評価を行い作品にポイントを付与する制御プログラムが記憶される評価制御部３１０、ユーザーＩＤにより会員を管理し、無料会員、有料会員、プレミアム会員別のサービスを制御する会員管理部３１２を含んでいる。この会員管理部３１２は画像サービスサイト１０のＳＮＳ機能についても司っている。
【００３２】
また、この制御エリア３００には、画像データに人物の顔部分が含まれるか否かを検出するとともに、該検出によって顔に対応する領域を決定する顔検出処理部３１４が設けられている。
【００３３】
以下、本実施形態の画像表示システムの具体的な動作について図５のフローチャートを参照しながら説明する。
【００３４】
まず、絵画変換処理技術について説明する。
【００３５】
絵画変換とは、写真等の画像を構成する各画素を所定のパラメータ（絵画変換パラメータ）に従って変換し、油絵調、水彩画調、パステル調、色鉛筆画調、クレヨン画調、イラスト画調、点描画調、エアブラシ、シルクスクリーン調、刺繍絵調、コラージュ（糊付け）調等、いわゆる絵画調に変換する画像処理技術である。
【００３６】
基本的にフォトレタッチソフト等で知られている各種エフェクト処理のパラメータを調整・組み合わせて絵画調に見えるように変換する。
【００３７】
エフェクト処理としては、例えば画像にテクスチャをマッピングし、特殊な質感を与えるテクスチャ処理、画像を輪郭部・細かい模様などのテクスチャ部・平坦部に分類し、それぞれに適宜処理を施すことで、質感と解像感を高める解像度処理、色を色相(Hue)、彩度(Saturation)、明度(Value)の３要素に分類して調整するＨＳＶ処理、画像のＲ（赤）Ｇ（緑）Ｂ（青）各色の度合いを調整するＲＧＢ処理、Ｒ→Ｇ→Ｂの方向に交換するＲＧＢ交換処理、ラプラシアンフィルタと呼ばれるフィルタをかけるエッジ抽出処理、メディアンフィルタと呼ばれるフィルタをかける中間濃度抽出処理、隣接する画素のＲＧＢのヒストグラムを抽出し、それぞれ最小／中間／最大の濃度を抽出した場合の処理を行う濃度抽出処理、画像の一番暗い部分を黒、一番明るい部分を白とし、間のヒストグラムを適宜分布させ、コントラスト修正を行ったり画像のヒストグラムを引き伸ばすイコライズ処理、明るい部分と暗い部分を維持して中間的な明るさを調節するガンマ補正処理、画像の暗い領域を明るくしたり、明るい領域を暗くしたりするシャドー処理、各ピクセルのＲＧＢ値が、しきい値以上の明るさの時に、そのＲＧＢ値を反転するソラリゼーション処理、ランダムにドットを描画し、ノイズを発生させ、ノイズの量や色を調整するノイズ付加処理、などがある。
【００３８】
また、ＨＤＲ（High Dynamic Range）と呼ばれる通常の写真では表現できない広いダイナミックレンジの写真を、トーンマッピングにより狭いダイナミックレンジ幅内に入れ込むことで露出過多の白飛びや露出不足の黒つぶれを補正して表現力を増大するエフェクト処理もある。
【００３９】
すなわち、絵画変換処理は原理的にはエフェクト処理の一種であり、絵画変換アルゴリズムはエフェクト処理とパラメータの組み合わせにより各種絵画調を作り出し、その変換アルゴリズムをプログラミングしてあるものである。
【００４０】
その変換アルゴリズムの中に、原画像の画素を変換するための前記パラメータのセット（組）であるパラメータ群Ｐが予め用意されている。画調の種類が１２種類あるとすると、パラメータ群Ｐ（１）〜Ｐ（１２）と表す。パラメータの決め方により変換された画像の画調も変わってくる。油絵調に変換するためのパラメータ群をＰ（１）とし、Ｐ（１）の中に油絵調に見えるように画像を変換するためのエフェクト処理に必要なパラメータがｍ個あるとすると、パラメータＰ１〜Ｐｍと表す。
【００４１】
画素は一般的にＲＧＢ各複数ビットの階調で表現されるが、パラメータはそのビットデータに演算をかけるための要素である。例えば赤成分を強調して緑成分と青成分をやや抑えるときにＲ×２、Ｇ×０．９、Ｂ×０．５、のような演算をする場合の前記“２”、“０．９”、“０．５”はパラメータである。
【００４２】
あるいは、予め演算要素がプログラミングされており、赤の強調度１のときはＲ×１．１、強調度２のときはＲ×１．２、強調度３のときはＲ×１．３のような演算をする場合の強調度もパラメータである。
【００４３】
また、注目画素と隣接画素の間で所定の演算をかける場合もある。例えば注目画素Ａ５（ＲＧＢ）を中心に画素Ａ１（ＲＧＢ）、Ａ２（ＲＧＢ）、Ａ３（ＲＧＢ）、Ａ４（ＲＧＢ）、Ａ５（ＲＧＢ）、Ａ６（ＲＧＢ）、Ａ７（ＲＧＢ）、Ａ８（ＲＧＢ）、Ａ９（ＲＧＢ）が上下左右に並んでいるとき、Ａ５（Ｒ）に対してＡ５（Ｒ）＝Ａ１（Ｒ）×ｑ１＋Ａ２（Ｒ）×ｑ２＋Ａ３（Ｒ）×ｑ３＋Ａ４（Ｒ）×ｑ４＋Ａ５（Ｒ）×ｑ５＋Ａ６（Ｒ）×ｑ６＋Ａ７（Ｒ）×ｑ７＋Ａ８（Ｒ）×ｑ８＋Ａ９（Ｒ）×ｑ９という演算を行い、Ｇ、Ｂについても同様の演算を行う。ここでのｑがパラメータであり、この数値（係数）を変えることにより異なったエフェクト処理ができる。
【００４４】
また、タッチ（以下、「筆触」と呼ぶ）が異なるように加工するエフェクト処理もある。
【００４５】
具体的には、画像データを構成する画素から、色などを基準として相関の高い画素を集め、グループを形成する。続いて、それぞれのグループの画素に対して、同一のグループの画素については色を該グループの代表色に置き換える。こうして色を代表色に置き換えられた画素のグループがそれぞれの筆触を形成する。かかる画像加工処理によると、グループとして集められる画素の相関の取り方、及び同一の色（代表色）の画素により構成されるグループの形状（長さ（距離）、扁平度）を変化させることによって、形成される筆触を変化させることができ、結果的に、画像データが表す画像の画調を様々な絵画調に変更することができる。そして各種画調毎に、それぞれの処理で用いる相関度、グループの形状を表す長さ、扁平度などのパラメータの最適な組み合わせが設定されている。
【００４６】
複数の画像データの各々を異なる筆触に変更することは、画調を変更する際に、筆触を構成する画素を集めたグループの形状、例えば、グループの扁平度を調整することによって実現できる。筆触を表す同一の色の画素によって構成されるグループの扁平度を大きくすると、筆触は太くなり、結果として画像のタッチは荒く表示される。同一の色の画素によって構成されるグループの扁平度を小さくすると、小さな筆触を作り出すことができ、結果として、画像のタッチが細かく表示される。
【００４７】
以上詳述した絵画変換アルゴリズムは画像サービスサイト１０の制御エリア３００の画像変換処理部３０２に記憶されており、パラメータ群は同じく制御エリア３００のパラメータテーブル３０４に記憶されている。
【００４８】
図５は絵画変換処理を行うフローチャートである。
【００４９】
ＣＰＵ２０がワークメモリ３０を使用しながらこのフローチャートを実行する。
【００５０】
図５において、まず前処理を行う（ステップＳ５０１）。ここは画調の種類にかかわらず共通して実行される処理である。
【００５１】
上述したようなエフェクト処理は各画素に対して行うため、画像データはビットマップ形式である必要がある。そこで、通常はＪＰＥＧ形式で表現されている画像データをビットマップ形式に変換する。
【００５２】
また、アップロードされる画像データのサイズは様々なので、これを表示エリアの画素数、例えば８００×６００画素にリサイズする。大きい画像は縮小し、小さい画像は拡大する。これは、サイズが決まっていた方がパラメータも固定で済み、処理が効率的だからである。もちろん、後述する本画像の絵画変換の際はアップロードされた画像データのサイズそのままに対して絵画変換を行う。
【００５３】
次に、ステップＳ５０２により、変換対象の写真が顔を含んでいるかどうか判断する。顔は極端な変換をかけると不自然になるので、顔の部分は特にきめ細かく絵画変換処理するためである。
【００５４】
この顔検出処理は図６のフローチャートを使用して後述するが、１枚の画像の中でも顔の領域と背景、中央部分と周辺部分では重要度が変わってくるので、重要度マップを作成し、制御エリア３００の重要度マップ３０６に記憶する。
【００５５】
続いて、ステップＳ５０４で変換したい画調を油絵調、水彩画調、パステル調、色鉛筆画調、・・・等の中から選択する。
【００５６】
画調が選択されると、それぞれの画調変換アルゴリズムのフローへ移る。例えば油絵調変換であればステップＳ５０６へ、水彩画調変換であればステップＳ５１０へ進む。それ以外であればその他の画調変換アルゴリズムのフローへと進む（ステップＳ５２０）。
【００５７】
各アルゴリズムを実行する際、制御エリアのパラメータテーブル３０４と重要度マップ３０６を参照する。
【００５８】
ここでは、表示画面を見ながら表示画面サイズの画像データを絵画変換し、ステップＳ５２２で決定であれば本画像の絵画変換へと進む（ステップＳ５２４）。
【００５９】
他の画調でやり直す場合はステップＳ５０４へ戻る。
【００６０】
ステップＳ５２４では、ステップＳ５２２で決定した画調変換アルゴリズムでパラメータテーブルと重要度マップ３０６を参照しながら本画像に対し画調変換処理を行う（ステップＳ５２６、５２７）。同じ画調であっても画像サイズが異なると適切なパラメータは異なってくるので、ステップＳ５２６で使用するパラメータテーブルはステップＳ５０８若しくはステップＳ５１２で取得したパラメータとは別のものとなる。
【００６１】
ステップＳ５２８の後処理では、再びＪＰＥＧ形式に変換する。
【００６２】
次に、図６を参照して顔検出と重要度マップ作成について説明する。
【００６３】
まず、ステップＳ７０２で対象画像データの中に顔があるかどうかを認識する。
【００６４】
ここで、顔認識技術は公知であるので詳述はしない。顔を認識して検出することはできても、その輪郭まで正確に抽出することは困難なので、顔の領域を含む楕円形若しくは長方形の領域を作成する（ステップＳ７０４）。
【００６５】
図７はこの様子を説明するための図で、ｓｑは顔Ｆ１を含む長方形の領域であり、ｅｌは顔Ｆ１を含む楕円形の領域である。すなわち検出した顔に対応する領域である。
【００６６】
図８は重要度マップを説明するための図である。同図（ａ）のような画像データから、顔Ｆ１ｅ、Ｆ２ｅ、Ｆ３ｅを認識すると同図（ｂ）のように顔の領域ｓｑ１、ｓｑ２、ｓｑ３を作成する。
【００６７】
同図（ｃ）は画面上の領域に応じて重要度を与えたものである。まず顔の領域ｓｑ１、ｓｑ２、ｓｑ３の領域Ｅ１、Ｅ２、Ｅ３の重要度を１位とする。次に、楕円ｅｌ３によって示される中央部の領域Ｅ４の重要度を２位とする。更に画面の楕円ｅｌ４によって示される背景部分の領域Ｅ５の重要度を３位とする。最後に、画面の周辺部分の重要度を最下位とする。
【００６８】
すなわち図８（ｃ）が重要度マップとなる。画像データの各画素を絵画変換処理する際、重要度の高い領域ほどきめ細かく絵画変換し、重要度の低い領域ほど粗く絵画変換する。その結果、重要度が最下位の周辺部分の領域Ｅ５はぼやけた感じで絵画変換される。もちろんこれは一例であって、顔の領域Ｅ１、Ｅ２、Ｅ３は顔の雰囲気を崩さないように絵画変換処理をかけないこともできる。
【００６９】
この重要度をαで示すと、αは画像データと同じ画素数を有し、画素Ａの変換演算は、
Ａ（ＲＧＢ）（ｘ，ｙ）＝Ａ（ＲＧＢ）（ｘ，ｙ）＊Ｐ１＊α（ｘ，ｙ）
Ａ（ＲＧＢ）（ｘ，ｙ）＝Ａ（ＲＧＢ）（ｘ，ｙ）＊Ｐ２＊α（ｘ，ｙ）
Ａ（ＲＧＢ）（ｘ，ｙ）＝Ａ（ＲＧＢ）（ｘ，ｙ）＊Ｐｎ＊α（ｘ，ｙ）
（ここで（ｘ，ｙ）は２次元の座標）となる。つまりαの値によってパラメータの影響度が変わってくることを意味する。
【００７０】
なお、重要度を画像データと同じ画素数設けなくても、Ｅ１〜Ｅ６の各エリアの内部が一律で同じ重要度とすれば６種類の重要度データを用意してもよい。また、重複するエリアは中間値とするなどもう少し細分化をはかってもよい。
【００７１】
すなわち、重点度マップ３０６は、画像処理分野において各ピクセルに対し色表現のデータＲ，Ｇ，Ｂとは別に、透過情報を適宜調整することが可能となる補助データをもつフィルタであると言える。このような重要度マップ３０６を併用して画調変換処理を行うと、画像データ２０８の領域Ｅ１〜Ｅ６を、それぞれ変換強度を変えて画調変換処理することができる。まったく変換強度を変えない（パラメータに影響を与えない）場合も含む。
【００７２】
図９は、顔の領域の輪郭部分の領域（境界領域）を更に細分化したものである。顔の領域の輪郭の中と外で重要度を変えると、絵画変換された画像に段差ができてしまう可能性があるので、同図において顔の領域周辺の重要度をｓｑ＞ｅｌ＞ｅｌ５とする。このようにすることによって、顔の輪郭部分を自然な感じで段階的に絵画変換することができる。
【００７３】
なお、本実施形態の画像表示システムでは、続いて、図１０に示すように、端末と画像サービスサイトのサーバーとの間で画像のアップロード、表示、閲覧、ダウンロードを行う。
【００７４】
これを簡単に説明すると、まず、会員であるユーザーは自己の端末１から画像サービスサイト１０にアクセスする（ＳＢ２）。サーバーはユーザーのログインによりユーザーＩＤを認証し（ＳＣ２）、会員であることが確認されるとその会員のページを送信し会員から見られるようになる（ＳＣ４）。
【００７５】
会員は自分のページが開かれると、画像のアップロードを行う（ＳＢ４）。アップロードされた画像はサーバーの会員エリア１００のアップロード画像エリア１０６に格納される。この画像を絵画変換するために画調の種類を選択すると、図５のフローに従って絵画変換され（ＳＣ６）、変換された作品は作品バッファ１０８に格納される。このまま個人で楽しんでもよいが、他のユーザーに公開したい場合は投稿する（ＳＢ８）。投稿された作品は会員エリア１００の作品バッファ１０８から共通エリア２００の作品エリア２０２へ転送され格納される。作品エリア２０２内の作品には図４で説明したような属性情報も付加される。
【００７６】
他のユーザーも共通エリア２００の作品エリア２０２に格納されている作品は会員でなくても閲覧することができるので（ＳＡ２）、画像サービスサイト１０では多数の作品を閲覧しやすいように表示する工夫を行っている（ＳＣ８）。
【００７７】
作品は、閲覧されただけでもポイントが加算され（ＳＣ１０）、ユーザーが気に入ってＧＯＯＤボタンを押すと（ＳＡ４）、更にポイントが加算される（ＳＣ１２）。
【００７８】
ユーザーがその作品をダウンロードすると（ＳＡ６）、その作品がダウンロード許可対象となっていればダウンロードを許可し（ＳＣ１４）、更にポイントを加算して（ＳＣ１６）、ダウンロードを行う（ＳＡ８）。
【００７９】
なお、ここでは詳述しないが、ダウンロードを許可していない画像をダウンロードすると、作品にタグと呼ばれるロゴが付加される。
【００８０】
また、本実施形態の画像サービスサイト１０では、図１１に示すようにしてダウンロードが行われる。ここで、ダウンロードするには会員登録が必要である。
そして、会員は表示画面を見ながら欲しい作品を指定する（ステップＳ８０２）。サーバーは会員管理部３１２によりそのユーザーが有料会員か無料会員かを判断し（ステップＳ８０４）、有料会員であればステップＳ８１２へ進んで無条件でダウンロードできる。無料会員の場合は、ステップＳ８０６で該当作品の属性情報からその作品の評価に相当するポイントを読み出し、併せてダウンロードしようとしている会員の属性情報から保持しているポイントを読み出す（ステップＳ８０８）。作品のポイント（価格に相当）と会員の保有しているポイントの差額から支払ポイントを算出し（ステップＳ８１０）、充足していればステップＳ８１２へ進むが、不足している場合はその作品はダウンロードできないため、ステップＳ８０２へ戻り、他の作品の選定を行う。ステップＳ８１２で作品の読み出しが許可されれば、作品の作成者にポイントが加算されるとともに、作品の画像ＩＤの属性情報のポイントエリアにポイントが加算される（図１０のＳＣ１６）。つまり、たくさんダウンロードされるほど作品の評価が上がり、作者である会員のユーザーＩＤの属性情報のポイントエリアにもポイントが加算されて会員の保有ポイント数が上がる仕組みとなっている。
【００８１】
更に、画像サービスサイト１０はＳＮＳ機能を備えているので、他の会員の作品に対するコメントを書き込んだり、それに対する返事を書いたり、好みの似た会員同士でグループを作ったり、特定の作者のファンでグループを作ったりすることができる。このような仕組みは既に既存のＳＮＳでも実施されているので詳述はしないが、前記会員管理部３１２が会員管理の仕組みとともにＳＮＳの仕組みも実現している。
【００８２】
以上の構成によれば、人物が写った写真画像を絵画調画像に変換する画像変換処理を好適に行うことができる。特に、人物の顔の部分と顔以外の部分とで変換強度を変えることによって、絵画調画像での全体としての不自然さをなくし、人物の顔が自然に見える絵画変換を実現することができるものである。
【００８３】
なお、本発明は上述した実施形態で説明した構成等には限定されず、各部の構成等を適宜変形、変更し得ることは勿論である。
【００８４】
例えば、画像データ２０８から人物の顔に対応する領域を切り出し、顔に対応する領域とその他の領域を別々に画調変換した後、合成するようにしてもよい。
【００８５】
以上、この発明の実施形態について説明したが、この発明はこれらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
【００８６】
以下の、本出願の特許請求の範囲に記載された発明を付記する。
（付記）
【００８７】
請求項１記載の発明では、画像データの中から顔を検出する顔検出手段と、前記顔検出手段が検出した前記顔に対応する領域を決定する領域決定手段と、前記画像データに対し、前記領域検出手段により検出された顔に対応する領域の画像データに第１の画調変換処理を行うとともに、前記顔に対応する領域以外の画像データに第２の画調変換処理を行う画調変換処理手段とを備えたことを特徴とする。これにより、例えば顔に対応する領域と他の領域とで異なる変換強度で画調変換することができ、顔を含む写真において自然な画調変換をすることができる。
【００８８】
請求項２記載の発明では、請求項１において、前記領域決定手段により決定される顔に対応する領域は、前記顔を含む長方形若しくは楕円形の領域であることを特徴とする。これにより、顔の輪郭が正確に抽出できなくても顔に対応する領域を画調変換することができる。
【００８９】
請求項３記載の発明では、請求項１または２いずれかにおいて、前記領域決定手段により決定される顔に対応する領域は、境界領域を含むことを特徴とする。これにより、顔の境界部分の内側と外側に段差ができることを避けることができる。
【００９０】
請求項４記載の発明では、請求項３において、前記画調変換手段は、前記境界領域の画像データに対し第３の画調変換処理を行うことを特徴とする。これにより、顔の輪郭部分について段階的に自然な画調変換を行うことができる。
【００９１】
請求項５記載の発明では、請求項１または２いずれかにおいて、前記画調変換手段の第１の画調変換処理と第２の画調変換処理は、画調変換の変換強度が異なることを特徴とする。これにより、特に顔に対応する領域と他の領域を同じ画調に変換し、変換強度だけを変えることができる。
【００９２】
請求項６記載の発明では、請求項４において、前記画調変換手段の第１の画調変換処理と第２の画調変換処理と第３の画調変換処理は、画調変換の変換強度がいずれも異なることを特徴とする。これにより、第１の画調変換処理と第２の画調変換処理と第３の画調変換処理が同じ画調変換処理であり、変換強度だけ変えることができる。
【００９３】
請求項７記載の発明では、画像データの中から顔を検出し、前記検出した顔の領域に対応する領域を決定し、前記検出された領域の画像データに第１の画調変換処理を行うとともに、前記領域以外の画像データに第２の画調変換処理を行う方法を得ることができる。
【００９４】
請求項８記載の発明では、画像データを画調変換処理する画像処理装置のコンピュータを、前記画像データの中から顔を検出する顔検出手段、前記顔検出手段で検出した前記顔に対応する領域を決定する領域決定手段、前記領域検出手段により検出された領域の画像データに第１の画調変換処理を行うとともに、前記領域以外の画像データに第２の画調変換処理を行う画調変換処理手段、として機能させるプログラムを得ることができる。
【符号の説明】
【００９５】
１ 端末
１０ 画像サービスサイト
２０ ＣＰＵ
３０ ワークメモリ
１００ 会員エリア
１０２ ユーザーＩＤ
１０４ 属性情報
２００ 共通エリア
２０２ 作品エリア
２０４ 画像ＩＤ
２０６ 属性情報
２０８ 画像データ
３００ 制御エリア
３０２ 絵画変換処理部
３０４ パラメータテーブル
３０６ 重要度マップ
３０８ 表示制御部
３１４ 顔検出処理部
３１６ 顔検出部
３１７ 顔の領域決定手段
３１８ 画調変換処理手段
３１０ 評価制御部
５００ インターネット
【特許請求の範囲】
【請求項１】
画像データの中から顔を検出する顔検出手段と、
前記顔検出手段が検出した前記顔に対応する領域を決定する領域決定手段と、
前記画像データに対し、前記領域検出手段により検出された顔に対応する領域の画像データに第１の画調変換処理を行うとともに、前記顔に対応する領域以外の画像データに第２の画調変換処理を行う画調変換処理手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記領域決定手段により決定される顔に対応する領域は、前記顔を含む長方形若しくは楕円形の領域であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記領域決定手段により決定される顔に対応する領域は、境界領域を含むことを特徴とする請求項１または２いずれかに記載の画像処理装置。
【請求項４】
前記画調変換手段は、前記境界領域の画像データに対し第３の画調変換処理を行うことを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記画調変換手段の第１の画調変換処理と第２の画調変換処理は、画調変換の変換強度が異なることを特徴とする請求項１または２いずれかに記載の画像処理装置。
【請求項６】
前記画調変換手段の第１の画調変換処理と第２の画調変換処理と第３の画調変換処理は、画調変換の変換強度がいずれも異なることを特徴とする請求項４記載の画像処理装置。
【請求項７】
画像データの中から顔を検出し、
前記検出した顔の領域に対応する領域を決定し、
前記検出された領域の画像データに第１の画調変換処理を行うととともに、前記領域以外の画像データに第２の画調変換処理を行うことを特徴とする画像処理方法。
【請求項８】
画像データを画調変換処理する画像処理装置のコンピュータを、
前記画像データの中から顔を検出する顔検出手段、
前記顔検出手段で検出した前記顔に対応する領域を決定する領域決定手段、
前記領域検出手段により検出された領域の画像データに第１の画調変換処理を行うとともに、前記領域以外の画像データに第２の画調変換処理を行う画調変換処理手段、として機能させることを特徴とするプログラム。
【請求項１】
画像データの中から顔を検出する顔検出手段と、
前記顔検出手段が検出した前記顔に対応する領域を決定する領域決定手段と、
前記画像データに対し、前記領域検出手段により検出された顔に対応する領域の画像データに第１の画調変換処理を行うとともに、前記顔に対応する領域以外の画像データに第２の画調変換処理を行う画調変換処理手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記領域決定手段により決定される顔に対応する領域は、前記顔を含む長方形若しくは楕円形の領域であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記領域決定手段により決定される顔に対応する領域は、境界領域を含むことを特徴とする請求項１または２いずれかに記載の画像処理装置。
【請求項４】
前記画調変換手段は、前記境界領域の画像データに対し第３の画調変換処理を行うことを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記画調変換手段の第１の画調変換処理と第２の画調変換処理は、画調変換の変換強度が異なることを特徴とする請求項１または２いずれかに記載の画像処理装置。
【請求項６】
前記画調変換手段の第１の画調変換処理と第２の画調変換処理と第３の画調変換処理は、画調変換の変換強度がいずれも異なることを特徴とする請求項４記載の画像処理装置。
【請求項７】
画像データの中から顔を検出し、
前記検出した顔の領域に対応する領域を決定し、
前記検出された領域の画像データに第１の画調変換処理を行うととともに、前記領域以外の画像データに第２の画調変換処理を行うことを特徴とする画像処理方法。
【請求項８】
画像データを画調変換処理する画像処理装置のコンピュータを、
前記画像データの中から顔を検出する顔検出手段、
前記顔検出手段で検出した前記顔に対応する領域を決定する領域決定手段、
前記領域検出手段により検出された領域の画像データに第１の画調変換処理を行うとともに、前記領域以外の画像データに第２の画調変換処理を行う画調変換処理手段、として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−２１５９２７（Ｐ２０１２−２１５９２７Ａ）
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願番号】特願２０１１−７８９００（Ｐ２０１１−７８９００）
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]