説明

撮影装置、撮影方法及びプログラム

【課題】被写体像に固有の特徴を活かしつつ、ユーザ操作による多様なアバター画像を生成することができる撮影装置を提供すること。
【解決手段】デジタルカメラは、被写体像を撮影して画像を生成するCMOSセンサ3と、ユーザ操作による入力に基づいて、被写体像の特徴を第1の特徴情報として設定するCPU9と、撮影した画像に基づいて被写体像の特徴を抽出し、当該抽出した特徴を第2の特徴情報として設定する特徴取得部17と、第1の特徴情報及び第2の特徴情報に応じて、アバター画像を生成するアバター画像生成部15と、撮影手段によ撮影された画像中の被写体像に対して、生成されたアバター画像を合成して合成画像を生成し、この合成画像を表示する画像合成部16と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影される被写体像に対してアバター画像を合成する撮影装置、撮影方法及び撮影プログラムに関する。
【背景技術】
【0002】
従来、被写体像の特徴に応じて、この被写体像を抽象化された人物画像(アニメーション、キャラクター等のいわゆるアバター画像)に置換する技術が存在する。
【0003】
例えば、特許文献1には、人物の性別、年代、体型等の情報に基づいて特徴点を抽出し、特徴点の特徴量の一致によって対応するアニメーション・キャラクタの画像を選択して置換する手法が示されている。この手法によれば、被写体像を抽象化したアニメーション・キャラクタの画像を用いることにより、個人の肖像権又はプライバシー等の侵害を防止できる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2005−210324号公報(明細書[0016]、図2)
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記従来の技術では、被写体像が抽象化されたアニメーション・キャラクタは、各被写体像に固有の特徴によって一義的に決まってしまうため面白味に欠ける。
すなわち、コンピュータによって被写体像の特徴が抽出されて、性別、年代、体型等の情報が特定され、特定された情報から一義的にアニメーション・キャラクタが決定されてしまう。このアニメーション・キャラクタは、被写体像が抽象化されたものであり、被写体像に固有の特徴点及び特徴量が十分に活かされているため、被写体像に近似し過ぎて、面白味に欠けることになる。
【0006】
本発明は、被写体像に基づいてアバター画像を生成する際に、被写体像に固有の特徴を活かしつつ、ユーザ操作による多様なアバター画像を生成することができる撮影装置、撮影方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
請求項1記載の発明は、被写体像を撮影して画像を生成する撮影手段と、ユーザ操作による入力に基づいて、被写体像の特徴を第1の特徴情報として設定する設定手段と、前記撮影した画像に基づいて被写体像の特徴を抽出し、当該抽出した特徴を第2の特徴情報として設定する特徴取得手段と、前記第1の特徴情報及び前記第2の特徴情報に応じて、アバター画像を生成するアバター画像生成手段と、前記撮影手段により撮影された画像中の被写体像に対して、前記アバター画像生成手段により生成されたアバター画像を合成して合成画像を生成し、当該合成画像を表示する画像合成手段と、被写体像に自動的に合焦する自動合焦手段と、を備え、前記アバター画像生成手段は、当該自動合焦手段により合焦した被写体像に対してのみ、前記アバター画像を生成することを特徴とする撮像装置を提供するものである。
【0008】
請求項2記載の発明は、前記画像合成手段は、前記特徴取得手段により抽出した特徴の確からしさに応じて、前記合成画像中のアバター画像の表示を変化させることを特徴とする請求項1に記載の撮影装置を提供するものである。
【0009】
請求項3記載の発明は、前記アバター画像生成手段により生成されたアバター画像を、前記撮影手段により撮影された画像に関連付けて記憶する記憶手段を更に備え、前記画像合成手段は、所定の認証処理が実行された場合には、前記アバター画像を合成した画像ではなく、前記撮影手段により撮影した画像を表示することを特徴とする請求項1または2に記載の撮影装置を提供するものである。
【0010】
請求項4記載の発明は、前記被写体像は、人物画像であり、前記特徴取得手段は、前記第2の特徴情報として前記人物画像の性別又は年代を取得することを特徴とする請求項1乃至3のいずれか1項に記載の撮影装置を提供するものである。
請求項5記載の発明は、前記設定手段は、前記第1の特徴情報として前記被写体像の種別、髪型、目の何れかを設定することを特徴とする請求項1乃至4のいずれか1項に記載の撮影装置を提供するものである。
【0011】
請求項6記載の発明は、被写体像を撮影して画像を生成する工程と、ユーザ操作による入力に基づいて、被写体像の特徴を第1の特徴情報として設定する工程と、前記撮影された画像に基づいて被写体像の特徴を抽出し、当該抽出した特徴を第2の特徴情報として設定する工程と、前記第1の特徴情報及び前記第2の特徴情報に応じて、アバター画像を生成する工程と、被写体像に自動的に合焦する自動合焦工程と,を備え、前記自動合焦工程により合焦した被写体像に対して、前記アバター画像を生成することを特徴とする撮影方法を提供するものである。
【0012】
請求項7記載の発明は、被写体像を撮影して画像を生成する撮影手段を有するコンピュータを、被写体像に自動的に合焦する自動合焦手段、ユーザ操作による入力に基づいて、被写体像の特徴を第1の特徴情報として設定する設定手段、前記撮影した画像に基づいて被写体像の特徴を抽出し、当該抽出した特徴を第2の特徴情報として設定する特徴取得手段、前記自動合焦手段により合焦した被写体像に対して、前記第1の特徴情報及び前記第2の特徴情報に応じてアバター画像を生成するアバター画像生成手段、として機能させることを特徴とするプログラムを提供するものである。
【発明の効果】
【0013】
本発明によれば、第1の特徴情報を設定することでアバター画像にユーザの意思を反映させつつ、第2の特徴情報を設定することで被写体像に固有の特徴をアバター画像に取り入れる。よって、被写体像に固有の特徴を活かしつつ、ユーザ操作による多様なアバター画像を生成することができる。
【図面の簡単な説明】
【0014】
【図1】本発明の撮影装置の実施形態であるデジタルカメラの電気的構成を示したブロック図である。
【図2】被写体像のパラメータと各パラメータについての選択肢との関係を示すテーブルデータの図である。
【図3】デジタルカメラにおける処理手順を示すフローチャートである。
【図4】アバター画像を合成する手順を説明するための図である。
【図5】アバター画像を異なるアバター画像に置換する手順を説明するための図(その1)である。
【図6】アバター画像を異なるアバター画像に置換する手順を説明するための図(その2)である。
【発明を実施するための形態】
【0015】
以下、本発明の実施形態について図に従って説明する。
図1は、本発明の撮影装置の実施形態であるデジタルカメラの電気的構成を示したブロック図である。このデジタルカメラは、基本となる動作モードとしてアバター生成モードが設けられたものである。
【0016】
図1に示すように本実施形態のデジタルカメラは、撮影レンズ1と、撮影レンズ1により収束された撮影光をシャッタ2を介して受光するとともに、受光面に結像された被写体の光学増を光電変換し画像信号として出力する撮像素子であるCMOSセンサ3、CMOSセンサ3の出力信号をディジタルの画像データへ変換するA/D変換器4、変換後の画像データを逐次記憶するDRAM5を備えている。なお、CMOSセンサ3は、本発明の撮影手段として機能する。
【0017】
前記シャッタ2の動作はCPU9の命令に従いシャッタ制御部8により制御され、前記COMSセンサ3、及びA/D変換器4の動作はCPU9の命令に従い受光制御部10により制御される。前記DRAM5に格納された1枚分の画像データ、すなわちRAWデータはデモザイク部11により画素毎に色情報を補間されてYUVデータに変換された後、液晶表示コントローラ6を介して液晶表示器7にスルー画像として表示される。
【0018】
記録モードでの撮影時にデモザイク部11によりYUVデータに変換された画像データは、CPU9によってJPEG等の所定の圧縮方式に従い圧縮された後、外部記憶メモリ12に静止画ファイルとして記録される。外部記憶メモリ12に静止画ファイルとして記憶された画像データは、再生モードにおいては、必要に応じCPU9に読み出されて伸張された後、液晶表示コントローラ6を介して液晶表示器7において表示される。なお、外部記憶メモリ12は、例えばカメラ本体に着脱自在なメモリカードや、カメラ本体に内蔵されたフラッシュメモリ等により構成される。
【0019】
また、CPU9には、キー入力ブロック13、メモリ14、アバター画像生成部15、画像合成部16、特徴取得部17が接続されている。アバター画像生成部15は本発明のアバター画像生成手段として、画像合成部16は本発明の画像合成手段として、特徴取得部17は本発明の特徴取得手段として、それぞれ機能する。キー入力ブロック13は、使用者によるデジタルカメラの操作に使用される、電源キーやシャッタキー、モード切替キー等を含む複数のスイッチ類から構成される。メモリ14は、CPU9の動作に必要な種々のプログラム及びプログラムの実行に際して使用される各種のデータが記憶されたメモリである。
【0020】
CPU9は、メモリ14に記憶されたプログラムに従い、キー入力ブロック13におけるいずれかのキーの操作に応じてデジタルカメラの各部の動作を制御するとともに、前述した画像データの圧縮・伸張を行う。なお、CPU9は、本発明の自動合焦手段および設定手段として機能する。
【0021】
図2は、被写体像の特徴に関するパラメータと各パラメータについての選択枝との関係を示すテーブルデータ30の図である。なお、このテーブルデータ30はメモリ14に記憶されている。
【0022】
テーブルデータ30は、被写体像の第1の特徴情報のパラメータである性別及び年代と、被写体像の第2の特徴情報のパラメータである種別、髪型、目と、で構成される。
これらのパラメータのうち、性別及び年代は、特徴取得部17により、画像データに基づいて選択肢の中から選択されて設定される。つまり、性別について、「男性」又は「女性」が選択され、年代について、「子供」、「大人」および「老人」のうちの1つが選択される。
【0023】
また、種別、髪型及び目は、ユーザ操作による入力に基づいて、CPU9により設定される。つまり、種別について、「人間」、「犬」および「うさぎ」のうちの1つが選択され、髪型について、「ショート」、「ミディアム」および「ロング」のうちの1つが選択され、目について、「細い」、「標準」および「少女漫画」のうちの1つが選択される。
【0024】
換言すれば、第1の特徴情報は、ユーザ操作により設定され、被写体像からは取得されないパラメータであり、第2の特徴情報は、被写体像から取得されて、ユーザ操作により変更できないパラメータである。なお、パラメータは、これらに限られるものではなく、肌の色、めがねの有無、ひげ、表情など様々なパラメータを採用することができる。
【0025】
また、メモリ14には、種別、髪型及び目のパラメータについて、予め6種類の所定の画像がテンプレートとして記憶されている。
つまり、図2に示すように、特徴取得部17により取得される性別及び年代の組合せは、男性で子供、男性で大人、男性で老人、女性で子供、女性で大人、女性で老人の6種類であるので、これら6種類の組合せについて、種別、髪型及び目の形状が異なるように、テンプレートが記憶されている。
【0026】
次に、以上の構成からなるデジタルカメラの動作について説明する。図3は、デジタルカメラにおけるCPU9の処理手順を示すフローチャートである。以下に示す処理は基本的にCPU9がメモリ14に記憶されたプログラムに従って実行することができるが、必要に応じてプログラムの一部又は全部を、例えばネットワーク等を介して受信して実現するようにしてもよい。
【0027】
まず、デジタルカメラの電源がON状態にあり、アバター生成モードが選択されている状態では、ライブビューが行われる(ステップS20)。ライブビューとは、所定のフレームレートで時系列的にフレーム画像を取得してDRAM5に一時記憶し、記憶した画像データを縮小して液晶表示器7にスルー画像として表示するものである。ユーザはライブビュー画像を見ながらフレーミングできる。
【0028】
次に、CPU9は、ユーザのキー入力ブロック13の操作により、パラメータ入力を検知したか否かを判断する(ステップS21)。すなわち、図2に示すテーブルデータを液晶表示器7に表示して、ユーザが第1の特徴情報に関するパラメータである種別、髪型、目について、選択枝の中から視覚的に選択できるようにする。
なお、このステップS21においては、種別、髪型、目のみを、図2に示す選択枝の中から選択可能であるので、この選択可能なパラメータのみを液晶表示器7に表示してもよい。このようにテーブルデータを表示することにより、ユーザにとって入力が容易となる。
【0029】
ステップS21においてユーザ操作によるパラメータ入力を検知した場合は、ステップS22に進む。一方、ステップS21においてユーザ操作によるパラメータ入力を検知しない場合は、各パラメータをメモリ14にデフォルトで記憶した設定とし、ステップS23に進む。
【0030】
ステップS22では、図2に示すテーブルデータの中から、該当するパラメータを入力された選択肢に設定する。
【0031】
次に、シャッタの半押しを検知したか否かを判断する(ステップS23)。シャッタの半押しを検知しない場合は、処理をステップS20に戻し、ライブビュー状態を継続する。一方、シャッタの半押しを検知した場合は、自動合焦処理(AF)と自動露出処理(AE)を行う(ステップS24)。
【0032】
次に、AF対象の被写体像について、パラメータである性別及び年代を推定し(ステップS25)、この推定に基づいて性別及び年代を設定する(ステップS26)。すなわち、特徴取得部17により、AF対象の被写体像画像データに基づいて、被写体像の性別及び年代についての特徴を推定して、この推定に基づいて、性別及び年代を選択枝の中から選択して設定する。
これら性別や年代の推定は、ニューラルネットワークやサポートベクターマシンなど公知の技術を用いて行うことができる。例えば、文献1:Cottrell,G.W.&Metcalfe,J.(1991)“Empath,face,gender,and emotion recognition using holons,”in Advances in Neural Information Processing Systems,3,pp.564−571.,文献2:Gutta,S.,Huang,J.R.J.,Jonathon,P.,Wechsler,H.(2000)“Mixture of Experts for Classification of Gender,Ethnic Origin,and Pose of Human Faces,”IEEE Transations on Neural Networks,vol.11,pp.948−959.,文献3:Golomb,B.A.,Lawrence,D.T.,Sejnowski,T.J.(1990)“SEXNET:A neural network identifies sex from human faces,”in Advances in Neural Information Processing Systems,pp.572−577.,文献4:伊賀、和泉、林、深野、大谷(2003)“人物顔画像による性別・年齢推定システム”第9回画像センシングシンポジウムなどに記載の手法を用いることができる。
【0033】
次に、設定されたパラメータに応じたアバター画像を生成する(ステップS27)。すなわち、ステップS22において設定された第1の特徴情報に関するパラメータと、ステップS26において設定された第2の特徴情報に関するパラメータと、に基づいて、アバター画像生成部15によってアバター画像を生成する。
【0034】
次に、AF対象の被写体像をアバター画像に置換してライブビューを継続する(ステップS28)。
このライブビュー状態でシャッタの全押しを検知したか否かを判断し(ステップS29)、シャッタの全押しを検知しない場合は処理をステップS20に戻す。これにより、生成されたアバター画像がユーザの所望のアバター画像ではない場合に、最初からアバター画像の設定をやり直すことができる。一方で、シャッタの全押しを検知した場合は、撮影を行う(ステップS30)。
【0035】
撮影が完了すると、CPU9は、2つの画像データを圧縮して符号化し、この圧縮・符号化した画像データをDRAM5に格納し、外部記憶メモリ12に記録する(ステップS31、S32)。2つの画像データとは、1つは、アバター画像が合成されていない画像データであり、もう1つは、AF対象の被写体像をアバター画像に置換した画像である。
【0036】
以上の処理では、例えば、複数の被写体像を含む画像に対して、次のように動作する。
例えば、ユーザにより、第1の特徴情報である種別は「人間」、髪型は「ミディアム」、目は「標準」が設定されているものとする。
そして、この状態で、図4(a)に示すように、画像40の左側には女の子41、右側には中年男性42を配置してライブビューを実行する(ステップS20)。
この場合、画像40中の女の子41をAF対象としてシャッタを半押しすると、図4(b)に示すように、この女の子41がアバター画像41Aに置換される。この女の子41の性別は「女性」、年代は「子供」、種別は「人間」、髪型は「ミディアム」、目は「標準」となる。
さらに、第1の特徴情報としての種別を「人間」から「犬」に変更すると、図5のように、女の子のアバター画像は、アバター画像41Aからアバター画像41Bに変更される。
【0037】
一方、右側の中年男性42をAF対象としてシャッタを半押しすると(ステップS23)、図4(c)に示すように、この中年男性42がアバター画像42Aに置換される(ステップS28)。この中年男性42の性別は「男性」、年代は「大人」、種別は「人間」、髪型は「ミディアム」、目は「標準」となる。
この場合、さらに、第1の特徴情報としての種別を「人間」から「犬」に変更すると、図6のように、中年男性のアバター画像は、アバター画像42Aからアバター画像42Bに変更される。
【0038】
本発明によれば、以下のような効果がある。
(1)ユーザ操作による入力に基づいて種別、髪型、目を第1の特徴情報として設定する。また、撮影した画像に基づいて被写体像の性別及び年代を抽出し、抽出した性別及び年代を第2の特徴情報として設定する。そして、第1の特徴情報及び前記第2の特徴情報に応じて、アバター画像41A、41B、42A、42Bを生成する。つまり、第1の特徴情報を設定することでアバター画像にユーザの意思を反映させつつ、第2の特徴情報を設定することで被写体像に固有の特徴をアバター画像41A、41B、42A、42Bに取り入れる。よって、被写体像に固有の特徴を活かしつつ、ユーザ操作による多様なアバター画像を生成することができる。
【0039】
(2)合焦した被写体像に対してのみ、アバター画像を生成したので、カメラを被写体像に向けて焦点を合わせるだけで、アバター画像41A、41B、42A、42Bを容易に生成することができる。
【0040】
なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、顔の認識処理の確からしさを数値化し、アバター画像を表示する際に、アバター画像のコントラストや彩度を変更したり、点滅させたりして、顔の認識処理の確からしさを表示させてもよい。例えば、認識処理の精度が高い判定した場合には、アバター画像を濃く表示し、認識処理の精度が低いと判定した場合にはアバター画像を薄く表示してもよい。
【0041】
また、DRAM5に記録された2つの画像データを互いに関連付けて記憶しておき、所定の認証処理が実行された場合には、アバター画像を合成した画像ではなく、アバター画像を合成していない元の画像を表示してもよい。
アバター画像を合成していない画像には、特定の個人が被写体として撮影されているが、このように認証処理が実行された場合にのみ、元の画像を表示すれば、この特定の個人のプライバシーが侵害されるのを防止できる。
【0042】
また、本発明は、デジタルカメラに限らず、例えばカメラ付きの携帯電話端末等の静止画撮影機能を有する他の撮像装置にも適用できる。
また、本発明は、撮像装置に限らず、所定のプログラムに基づき動作することにより前記機能が実現されるパーソナルコンピュータも含まれる。
【符号の説明】
【0043】
3 CMOSセンサ(撮像手段)
9 CPU(自動合焦手段、設定手段)
15 アバター画像生成部(アバター画像生成手段)
16 画像合成部(画像合成手段)
17 特徴取得部(特徴取得手段)

【特許請求の範囲】
【請求項1】
被写体像を撮影して画像を生成する撮影手段と、
ユーザ操作による入力に基づいて、被写体像の特徴を第1の特徴情報として設定する設定手段と、
前記撮影した画像に基づいて被写体像の特徴を抽出し、当該抽出した特徴を第2の特徴情報として設定する特徴取得手段と、
前記第1の特徴情報及び前記第2の特徴情報に応じて、アバター画像を生成するアバター画像生成手段と、
前記撮影手段により撮影された画像中の被写体像に対して、前記アバター画像生成手段により生成されたアバター画像を合成して合成画像を生成し、当該合成画像を表示する画像合成手段と、
被写体像に自動的に合焦する自動合焦手段と、
を備え、
前記アバター画像生成手段は、当該自動合焦手段により合焦した被写体像に対してのみ、前記アバター画像を生成することを特徴とする撮像装置。
【請求項2】
前記画像合成手段は、前記特徴取得手段により抽出した特徴の確からしさに応じて、前記合成画像中のアバター画像の表示を変化させることを特徴とする請求項1に記載の撮影装置。
【請求項3】
前記アバター画像生成手段により生成されたアバター画像を、前記撮影手段により撮影された画像に関連付けて記憶する記憶手段を更に備え、
前記画像合成手段は、所定の認証処理が実行された場合には、前記アバター画像を合成した画像ではなく、前記撮影手段により撮影した画像を表示することを特徴とする請求項1または2に記載の撮影装置。
【請求項4】
前記被写体像は、人物画像であり、
前記特徴取得手段は、前記第2の特徴情報として前記人物画像の性別又は年代を取得することを特徴とする請求項1乃至3のいずれか1項に記載の撮影装置。
【請求項5】
前記設定手段は、前記第1の特徴情報として前記被写体像の種別、髪型、目の何れかを設定することを特徴とする請求項1乃至4のいずれか1項に記載の撮影装置。
【請求項6】
被写体像を撮影して画像を生成する工程と、
ユーザ操作による入力に基づいて、被写体像の特徴を第1の特徴情報として設定する工程と、
前記撮影された画像に基づいて被写体像の特徴を抽出し、当該抽出した特徴を第2の特徴情報として設定する工程と、
前記第1の特徴情報及び前記第2の特徴情報に応じて、アバター画像を生成する工程と、
被写体像に自動的に合焦する自動合焦工程と、
を備え、
前記自動合焦工程により合焦した被写体像に対して、前記アバター画像を生成することを特徴とする撮影方法。
【請求項7】
被写体像を撮影して画像を生成する撮影手段を有するコンピュータを、
被写体像に自動的に合焦する自動合焦手段、
ユーザ操作による入力に基づいて、被写体像の特徴を第1の特徴情報として設定する設定手段、
前記撮影した画像に基づいて被写体像の特徴を抽出し、当該抽出した特徴を第2の特徴情報として設定する特徴取得手段、
前記自動合焦手段により合焦した被写体像に対して、前記第1の特徴情報及び前記第2の特徴情報に応じて、アバター画像を生成するアバター画像生成手段、
として機能させることを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2012−209969(P2012−209969A)
【公開日】平成24年10月25日(2012.10.25)
【国際特許分類】
【出願番号】特願2012−155242(P2012−155242)
【出願日】平成24年7月11日(2012.7.11)
【分割の表示】特願2008−197428(P2008−197428)の分割
【原出願日】平成20年7月31日(2008.7.31)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】