撮像装置および画像処理方法
【課題】 撮像画像を画像変形処理する撮像装置において、画像変形対象となりうる撮像エリアを撮影者に分かりやすく明示することにより、ユーザからの画像変形処理に対する細かな要求に応えることを可能とする。
【解決手段】 画像を撮像するカメラ部１７と、撮像される画像のプレビュー画像が表示される表示部１９と、複数の輪郭線を有する撮影テンプレートを記憶するデータフォルダ部１４と、撮影テンプレートをプレビュー画像に重ねて表示部１９に表示し、撮像画像中の前記輪郭線で囲まれていたエリアのうち、少なくともいずれか１つのエリアについての画像変形処理を行う主制御部１１とを備える。
【解決手段】 画像を撮像するカメラ部１７と、撮像される画像のプレビュー画像が表示される表示部１９と、複数の輪郭線を有する撮影テンプレートを記憶するデータフォルダ部１４と、撮影テンプレートをプレビュー画像に重ねて表示部１９に表示し、撮像画像中の前記輪郭線で囲まれていたエリアのうち、少なくともいずれか１つのエリアについての画像変形処理を行う主制御部１１とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、画像変形処理技術の一つとして、コンピュータグラフィックスのアニメーション生成などに用いられるモーフィング技術が知られている。モーフィング技術では、一つの静止画Ａと異なるもう一つの静止画Ｂとを関連付けし、静止画Ａと静止画Ｂとでそれぞれ特徴点を抽出する。そして、静止画Ａの特徴点から静止画Ｂの特徴点までをある時間で遷移していく様を予想し、この遷移経路中の座標や色データを特定する。これにより、アニメーションの動画データを生成したり、遷移の途中経過を一つの静止画像として抽出し、この画像を原画像からの変形画像としたりすることができる。
【０００３】
上記したモーフィング技術を例えばデジタルカメラに適用し、一般ユーザが撮影した撮像画像をモーフィング処理して変形画像を得ることがなされている。このデジタルカメラでは、撮影者が撮影時に被写体を確認するための液晶パネルに、被写体とともにマーキングを表示している。これにより、例えば人の上半身の輪郭をマーキングとして表示し、撮影者が被写体となる人をマーキングに合わせた状態で撮影すれば、モーフィング処理の原画像となる被写体画像からモーフィング処理を行う際の特徴点を容易に検出することが可能となる。
【０００４】
また、近年、デジタルカメラを内蔵した携帯電話機が普及しており、携帯電話機で人の顔を撮影したりして手軽に写真撮影を楽しむことができるようになっている（例えば、特許文献１参照）。
【特許文献１】特開２００２−３００４５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上述した従来のマーキングを用いたモーフィング処理では、ユーザからのモーフィング処理に対する細かな要求に応えることができないという問題が生じている。例えば、人の顔を撮影してモーフィング処理するにしても、目だけ、口だけ、鼻だけといった特定の一部分だけをモーフィング処理させたいという要求や、目と口だけといった特定の複数部分だけをモーフィング処理させたいという要求がある。このように、被写体を部分的にモーフィング処理するにも多様な要求があり、従来の技術ではこれらの要求には十分に応えることができない。
【０００６】
本発明は、このような事情を考慮してなされたもので、その目的は、撮像画像を画像変形処理する撮像装置において、画像変形対象となりうる撮像エリアを撮影者に分かりやすく明示することにより、ユーザからの画像変形処理に対する細かな要求に応えることができる撮像装置および画像処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明に係る撮像装置は、画像を撮像する撮像手段と、前記撮像手段により撮像される画像のプレビュー画像が表示される表示手段と、複数の輪郭線を有する撮影補助手段と、前記撮影補助手段を前記プレビュー画像に重ねて前記表示手段に表示し、前記撮像手段により撮像された画像中の前記輪郭線で囲まれていたエリアのうち、少なくともいずれか１つのエリアについての画像変形処理を行う制御手段とを備えたことを特徴としている。
【０００８】
本発明に係る撮像装置においては、前記撮影補助手段は、顔の構成要素の輪郭線の組から成り、当該顔の形状に表示されることを特徴とする。
【０００９】
本発明に係る撮像装置においては、前記撮像手段により撮像された画像中の前記輪郭線で囲まれていたエリアのうち、いずれのエリアを前記画像変形処理の処理対象にするかを選択可能な操作手段を備えたことを特徴とする。
【００１０】
本発明に係る撮像装置においては、前記制御手段は、前記撮影補助手段を構成する輪郭線ごとに、複数の異なる画像変形処理手法を有することを特徴とする。
【００１１】
本発明に係る撮像装置は、画像を撮像する撮像手段と、前記撮像手段により撮像される画像のプレビュー画像が表示される表示手段と、合成対象画像を記憶する記憶手段と、前記合成対象画像に対応付けされた輪郭線を有する撮影補助手段と、前記撮影補助手段を前記プレビュー画像に重ねて前記表示手段に表示し、前記撮像手段により撮像された画像中の前記輪郭線で囲まれていたエリアと前記合成対象画像とを基にして画像変形処理を行う制御手段とを備えたことを特徴としている。
【００１２】
本発明に係る撮像装置においては、通信回線を介して前記合成対象画像および当該合成対象画像用の前記撮影補助手段を供給元から取得する通信手段を備えたことを特徴とする。
【００１３】
本発明に係る撮像装置においては、前記記憶手段は複数の合成対象画像を記憶し、前記合成対象画像ごとに、各々異なる前記撮影補助手段を有し、前記合成対象画像と前記撮影補助手段の組が定められていることを特徴とする。
【００１４】
本発明に係る画像処理方法は、画像を撮像する撮像手段と、前記撮像手段により撮像される画像のプレビュー画像が表示される表示手段と、複数の輪郭線を有する撮影補助手段と、前記撮像手段により撮像された画像についての画像変形処理を行う制御手段とを備えた撮像装置おける画像処理方法であって、前記制御手段が、ユーザからの要求に基づき、前記撮影補助手段を前記プレビュー画像に重ねて前記表示手段に表示する過程と、前記撮像手段により撮像された画像中の前記輪郭線で囲まれていたエリアのうち、少なくともいずれか１つのエリアについての画像変形処理を行う過程とを含むことを特徴としている。
【００１５】
本発明に係る画像処理方法は、画像を撮像する撮像手段と、前記撮像手段により撮像される画像のプレビュー画像が表示される表示手段と、合成対象画像を記憶する記憶手段と、前記合成対象画像に対応付けされた輪郭線を有する撮影補助手段とを備えた撮像装置おける画像処理方法であって、前記制御手段が、ユーザからの要求に基づき、前記撮影補助手段を前記プレビュー画像に重ねて前記表示手段に表示する過程と、前記撮像手段により撮像された画像中の前記輪郭線で囲まれていたエリアと前記合成対象画像とを基にして画像変形処理を行う過程とを含むことを特徴としている。
【発明の効果】
【００１６】
本発明によれば、撮像画像を画像変形処理する撮像装置において、画像変形対象となりうる撮像エリアを撮影者に分かりやすく明示することができる。これにより、ユーザからの画像変形処理に対する細かな要求に応えることが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照し、本発明の一実施形態について説明する。本実施形態においては、撮像装置の具体的な例として、デジタルカメラを内蔵した携帯電話機を挙げて説明する。
図１は、本発明の一実施形態に係る携帯電話機１の構成を示すブロック図である。図１において、主制御部１１は携帯電話機１の主な制御機能を有し、各部を制御する。電源制御部１２は電源に係る制御機能を有する。メモリ１３は、主制御部１１で使用されるデータ等を記憶する。データフォルダ部１４は、カメラ部１７により撮像された撮像画像データなどの記録データを保持する記憶手段であり、例えば書き込み可能な不揮発性メモリから構成される。
【００１８】
キー入力部１５は、電話番号等の入力用のテンキー、各種ファンクションキー、ソフトキー等を有する。無線通信部１６は、アンテナを介して無線信号を送受信し、音声通話又はデータ通信を行う。カメラ部１７は、レンズ、ＣＣＤ（撮像素子）、ＣＣＤによる画像信号からデジタル画像データを生成する信号処理回路等を有する。画面制御部１８は、表示部１９で表示する画面を制御する。表示部１９は、表示パネル、例えば液晶表示パネルを有する。音声入出力部２０は、マイク、スピーカ、音声信号とデジタル音声データの相互変換を行う信号処理回路等を有する。
【００１９】
図２、図３は、図１に示す携帯電話機１の外観図である。携帯電話機１は、携帯電話機の構造の一例として折り畳みタイプの構造を有しており、図２は折り畳みの対向面側の平面図、図３は折り畳みの外面側の平面図である。
図２において、第１の筐体１ａの対向面側には第１の表示パネル１９ａおよびスピーカ２０ａが設けられている。第２の筐体１ｂの対向面側にはキー入力部１５およびマイク２０ｂが設けられている。キー入力部１５はソフトキー１５ａ，１５ｂ，１５ｃを有する。ソフトキーとは、キーに割付けられる機能がソフトウェアの設定により場面ごとに変更可能なキーである。そして、場面ごとに現在の割付け機能が表示パネル１９ａに表示される。これにより、ユーザはソフトキー１５ａ，１５ｂ，１５ｃの現在の機能を把握して操作することができる。
【００２０】
図３において、第１の筐体１ａの外面側には第２の表示パネル１９ｂおよびカメラ部１７のレンズ１７ａとＣＣＤ１７ｂが設けられている。第２の筐体１ｂのの外面側にはアンテナ１６ａが設けられている。
【００２１】
上記した携帯電話機１を用いて撮影する際には、カメラ部１７により撮像される画像のプレビュー画像が表示パネル１９ａ又は１９ｂに表示される。ユーザはそのプレビュー画像により被写体を確認し、キー入力部１５を操作して撮影を指示する。この撮影指示により当該指示時点のプレビュー画像が撮像画像としてデータフォルダ部１４に記録される。
【００２２】
上記した主制御部１１は、画像変形処理の一つであるモーフィング処理を行う。このモーフィング処理では、カメラ部１７で撮像された撮像画像を原画像として使用する。また、主制御部１１は、ユーザ操作によりモーフィング処理を行うための撮影モードが選択されると、プレビュー画像に重ねて撮影テンプレートを表示させる。撮影テンプレートは、モーフィング処理の処理対象となりうる複数の撮像エリアを明示するためのものである。撮影テンプレートデータは、データフォルダ部１４に記憶されている。
【００２３】
図４は、撮影テンプレートの一例を示す表示画面の構成例である。図４の例では、人の顔を撮影するための撮影テンプレート１００が表示パネル１９ａに表示されている。撮影テンプレート１００は、顔全体の輪郭線１０１、右目の輪郭線１０２、左目の輪郭線１０３、鼻の輪郭線１０４および口の輪郭線１０５から構成されている。これら輪郭線１０１〜１０５は、人の顔の形状に表示される。輪郭線１０１〜１０５の個々の座標データは、撮影テンプレート１００の撮影テンプレートデータとしてデータフォルダ部１４に記憶されている。座標データは、表示画面上の位置を示す。
【００２４】
上記撮影テンプレート１００は、複数の輪郭線１０１〜１０５を有するが、輪郭線１０１〜１０５で囲まれる一つ一つのエリアがそれぞれモーフィング処理の処理対象となりうる撮像エリアである。主制御部１１は、撮像画像中のそれら輪郭線１０１〜１０５で囲まれていたエリアのうち、少なくともいずれか１つのエリアについてのモーフィング処理を行う。主制御部１１は、各輪郭線１０１〜１０５の座標データに基づいて、撮像画像中のエリアと各輪郭線１０１〜１０５で囲まれていたエリアとの対応付けを行う。例えば、撮像画像中のエリアのうち、右目の輪郭線１０２の座標データに対応するエリアが、輪郭線１０２で囲まれていたエリアであると判断する。
【００２５】
撮影時には、ユーザは、図２の表示パネル１９ａに表示されるプレビュー画像により被写体を確認し、被写体となる人の顔を表示画面上で撮影テンプレート１００に重ね合わせて撮影する。これにより、撮影時点のプレビュー画像が撮像画像としてデータフォルダ部１４に記録される。この撮像画像には、表示画面上で撮影テンプレート１００と重なり合った被写体の顔の画像が含まれている。
【００２６】
そして、被写体の顔のうち、例えば目の部分だけをモーフィング処理する場合、撮像画像中の輪郭線１０２および１０３に対応するエリアの画像をモーフィング処理の第１の原画像とする。目の部分のモーフィング処理に使用する第２の原画像には、目の変形候補データを使用する。目の変形候補データは、目の輪郭線の座標データである。また、丸目、細目、つり目、垂れ目などの様々な目の形に変形可能なように、複数の目の形の輪郭線の変形候補データがデータフォルダ部１４に記憶されている。主制御部１１は、第１の原画像から目の輪郭線を抽出し、この輪郭線を第２の原画像の輪郭線に遷移させるモーフィング処理を行い、変形画像を生成する。例えば、第１の原画像の目の輪郭線を丸目の輪郭線に遷移させるモーフィング処理を行う。そして、丸目に遷移する動画データを生成したり、遷移の途中経過を一つの静止画像として抽出する。なお、片方の目、例えば右目だけをモーフィング処理することも可能である。
【００２７】
なお、撮影テンプレート１００の変形候補データとしては、上記した目に関するデータの他、顔全体の輪郭線の変形候補データ、鼻の輪郭線の変形候補データおよび口の輪郭線の変形候補データが、データフォルダ部１４にそれぞれ複数記憶されている。
【００２８】
次に、上記したモーフィング処理に係る動作手順を説明する。
図５、図７、図８は、第１の実施形態に係るモーフィング処理に係る動作手順を説明するための表示パネル１９ａの表示画面の構成例である。
先ず、図５において、ユーザは、キー入力部１５を操作してメニュー選択画面Ｐ１−１を表示させる。次いで、ユーザがメニュー選択画面Ｐ１−１から撮影モード設定を選択すると、主制御部１１は、撮影モード設定画面Ｐ１−２を表示する。次いで、ユーザがメニュー選択画面Ｐ１−２から顔変形を選択すると、主制御部１１は、顔変形用の撮影テンプレート１００のデータをデータフォルダ部１４から読み出して撮影プレビュー画面Ｐ１−３に表示する。撮影プレビュー画面Ｐ１−３には、プレビュー画像が表示されると共に、そのプレビュー画像に重ねて撮影テンプレート１００が表示される。
【００２９】
図６は、撮影プレビュー画面Ｐ１−３上に表示される画像の一例である。図６に示されるように、プレビュー画像１１０に重ねて撮影テンプレート１００が表示されている。撮影テンプレート１００は、顔全体の輪郭線１０１、右目の輪郭線１０２、左目の輪郭線１０３、鼻の輪郭線１０４および口の輪郭線１０５から構成されており、各輪郭線１０１〜１０５は人の顔の形状に配置される。図６では、ユーザによって、被写体の人の顔が撮影テンプレート１００に重なり合うように、さらに、右目、左目、鼻、口が輪郭線１０２，１０３，１０４，１０５に重なり合うように、カメラアングル等が調節されている。
【００３０】
次いで、ユーザが撮影キー（ソフトキー１５ｂ）を押下すると、主制御部１１は、押下時点のプレビュー画像を撮像画像としてデータフォルダ部１４に記録する。そして、この撮像画像を撮像画像確認画面Ｐ１−４に表示する。ユーザは撮像画像確認画面Ｐ１−４により被写体を確認し、問題なければＯＫキー（ソフトキー１５ｂ）を押下する。
【００３１】
なお、ユーザは、撮像画像確認画面Ｐ１−４で撮像画像が気に入らなければ、戻るキー（ソフトキー１５ａ）を押下することにより、撮影プレビュー画面Ｐ１−３に戻ることができる。この場合、主制御部１１は、データフォルダ部１４に記録した撮像画像を破棄する。
【００３２】
次いで、撮像画像確認画面Ｐ１−４でＯＫキー（ソフトキー１５ｂ）が押下されると、図７において、主制御部１１は、顔変形メニュー画面Ｐ１−５を表示する。次いで、ユーザが顔変形メニュー画面Ｐ１−５からパーツ変形を選択し、選択キー（ソフトキー１５ｂ）を押下すると、主制御部１１は、パーツ変形メニュー画面Ｐ１−６を表示する。パーツ変形メニュー画面Ｐ１−６には、モーフィング処理の処理対象に成り得る顔の構成要素名（目、鼻、口、輪郭）がメニュー項目として表示される。このパーツ変形メニュー画面Ｐ１−６により、ユーザは、顔の構成要素（目、鼻、口、顔全体の輪郭）のいずれをモーフィング処理の処理対象にするのかを任意に選択することができる。
【００３３】
次いで、ユーザがパーツ変形メニュー画面Ｐ１−６から目を選択し、選択キー（ソフトキー１５ｂ）を押下すると、主制御部１１は、目の変形候補メニュー画面Ｐ１−７を表示する。目の変形候補メニュー画面Ｐ１−７には、目の変形名（丸目、細目、つり目、垂れ目）がメニュー項目として表示される。目の変形候補メニュー画面Ｐ１−７により、ユーザは、目をどのような形（丸目、細目、つり目、垂れ目）に変形するのかを任意に選択することができる。例えば垂れ目を選択し、ＯＫキー（ソフトキー１５ｂ）を押下すると、主制御部１１は、目の変形候補として「垂れ目」を設定する。そして、画面表示をパーツ変形メニュー画面Ｐ１−６に戻す。なお、目の変形候補メニュ画面Ｐ１−７からＯＦＦを選択することにより、目の変形を中止することができる。
【００３４】
また、ユーザはパーツ変形メニュー画面Ｐ１−６で複数の顔の構成要素をモーフィング処理の処理対象に選択することができる。例えば、目と口をモーフィング処理したい場合、パーツ変形メニュー画面Ｐ１−６から目を選択した後、目の変形候補メニュー画面Ｐ１−７から目の変形候補を選択し、再度、パーツ変形メニュー画面Ｐ１−６から今度は口を選択した後、口の変形候補メニュー画面から目の変形候補を選択すればよい。
【００３５】
次いで、モーフィング処理の処理対象にする顔の構成要素およびその変形候補の選択が終了したら、ユーザはパーツ変形メニュー画面Ｐ１−６で変形キー（ソフトキー１５ｃ）を押下する。これにより、主制御部１１は、モーフィング処理を開始し、図８に示される変形中画面Ｐ１−８を表示する。主制御部１１は、モーフィング処理の処理対象にする顔の構成要素およびその変形候補の各座標データをデータフォルダ部１４から読み出し、これら座標データとデータフォルダ部１４に記録した撮像画像とを使用してモーフィング処理を行う。なお、モーフィング処理の実行中には、変形中画面Ｐ１−８上にアニメーション等の画像を表示してもよい。これにより、たとえ処理に時間がかかったとしてもユーザに与える不安を軽減できる。
【００３６】
次いで、モーフィング処理が終了すると、主制御部１１は、変形後画像確認画面Ｐ１−９を表示する。変形後画像確認画面Ｐ１−９には、モーフィング処理した結果の変形画像を表示する。
【００３７】
図９は、第１の実施形態に係る変形画像の一例である。図９の変形画像１２０は、被写体の人の目の部分のみをモーフィング処理し、垂れ目に変形した場合の画像である。なお、図１０は、モーフィング処理の原画像となった撮像画像１２１である。
【００３８】
次いで、ユーザが変形後画像確認画面Ｐ１−９で保存キー（ソフトキー１５ｃ）を押下すると、主制御部１１は、その変形画像をデータフォルダ部１４に保存する。そして、保存画面Ｐ１−１１を表示する。
【００３９】
一方、ユーザが変形後画像確認画面Ｐ１−９でＯＫキー（ソフトキー１５ｂ）を押下すると、主制御部１１は、モーフィングプレビュー画面Ｐ１−１０を表示する。モーフィングプレビュー画面Ｐ１−１０では、原画像から変形画像に遷移するまでの動画データを再生する。次いで、ユーザが保存キー（ソフトキー１５ｂ）を押下すると、主制御部１１は、その動画データをデータフォルダ部１４に保存する。そして、保存画面Ｐ１−１１を表示する。
【００４０】
次いで、保存画面Ｐ１−１１が表示されたまま一定期間過ぎると（例えば３秒）、主制御部１１は、撮影プレビュー画面Ｐ１−３を表示し、撮影可能状態に戻る。
【００４１】
上述した第１の実施形態によれば、モーフィング処理の処理対象となりうる撮像エリアを、プレビュー画面に重ねて表示される複数の輪郭線によって明示することができる。これにより、ユーザはモーフィング処理させたい被写体部分を複数の輪郭線のいずれかに重ね合わせて撮像すれば、撮像画像を基に被写体の変形希望部分を変形処理させた画像を容易に得ることができる。このように本実施形態によれば、被写体を部分的に変形処理させたいというユーザ要求に応えることができる。
【００４２】
また、人の顔の撮影テンプレートを用いることにより、人の顔を撮像して部分的に変形させることが容易となる。なお、人以外の動物、犬や猫などの顔の撮影テンプレートを備えるようにしてもよい。これにより、愛犬などのペットの顔画像を簡単に変形させることが可能となる。
【００４３】
また、撮像後に、モーフィング処理させる被写体部分を選択することができる。これにより、ユーザの利便性が向上する。
【００４４】
また、一つの変形処理対象エリアに対して複数の画像変形パターンを提供することができる。これにより、ユーザの変形自由度が向上する。例えば、目を変形する場合に、丸目、細目、つり目、垂れ目などの多様な目の形の中から、ユーザが任意に変形させる先の形を選択することができる。
【００４５】
次に、第２の実施形態を説明する。
図１１、図１３は、第２の実施形態に係るモーフィング処理に係る動作手順を説明するための表示パネル１９ａの表示画面の構成例である。第２の実施形態に係る撮像装置は、上記した携帯電話機１と同様の構成である。
第２の実施形態では、上記第１の実施形態と同様に、主制御部１１は画像変形処理の一つであるモーフィング処理を行う。但し、モーフィング処理に使用する第１の原画像には上記第１の実施形態と同様にカメラ部１７で撮像された撮像画像を使用するが、第２の原画像には合成対象画像を使用する。合成対象画像は、撮像画像を変形する先の画像であり、予め撮像または作製されている。例えば、電車の正面の画像や、アニメーションのキャラクターの画像、犬等の動物の顔の画像などである。合成対象画像データおよび当該合成対象画像の座標データは、データフォルダ部１４に記憶されている。
【００４６】
また、合成対象画像用の撮影テンプレートとして、合成対象画像ごとに専用の撮影テンプレートを備える。合成対象画像は様々な形や大きさのものがあるので、同じ撮影テンプレートを用いて撮影したのでは、モーフィング処理における特徴点抽出時の精度が劣化するおそれがある。このため、合成対象画像ごとに適した撮影テンプレートを準備する。それぞれの合成対象画像用の撮影テンプレートデータ（座標データ）は、データフォルダ部１４に記憶されている。
【００４７】
先ず、図１１において、ユーザは、キー入力部１５を操作して、メニュー選択画面Ｐ２−１から撮影モード設定を選択し、さらに撮影モード設定画面Ｐ２−２から顔変形を選択する。これにより、主制御部１１は、顔変形メニュー画面Ｐ２−３を表示する。次いで、ユーザが顔変形メニュー画面Ｐ２−３からキャラクタ変形を選択し、選択キー（ソフトキー１５ｂ）を押下すると、主制御部１１は、キャラクタ選択メニュー画面Ｐ２−４を表示する。キャラクタ選択メニュー画面Ｐ２−４には、モーフィング処理の原画像に成り得る合成対象画像がメニュー項目として表示される。このキャラクタ選択メニュー画面Ｐ２−４により、ユーザは、撮像画像中の被写体部分をいずれの合成対象画像に合成するのかを任意に選択することができる。
【００４８】
図１２は、キャラクタ選択メニュー画面Ｐ２−４の一例である。図１２の例では、犬や猫等の動物の顔画像、アニメーションのキャラクタの顔画像、電車の正面の画像などが合成対象画像の候補として表示されている。
【００４９】
次いで、ユーザがいずれかの合成対象画像を選択してＯＫキー（ソフトキー１５ｂ）を押下すると、主制御部１１は、該選択された合成対象画像の画像データをデータフォルダ部１４から読み出して選択画像再生画面Ｐ２−５に表示する。ユーザは選択画像再生画面Ｐ２−５で合成対象画像を確認し、ＯＫキー（ソフトキー１５ｂ）を押下する。なお、気に入らなければ、戻るキー（ソフトキー１５ａ）を押下してキャラクタ選択メニュー画面Ｐ２−４に戻り、所望の合成対象画像を選択しなおすことができる。
【００５０】
次いで、選択画像再生画面Ｐ２−５でＯＫキー（ソフトキー１５ｂ）が押下されると、主制御部１１は、選択された合成対象画像用の撮影テンプレートのデータをデータフォルダ部１４から読み出して撮影プレビュー画面Ｐ２−６に表示する。撮影プレビュー画面Ｐ２−６には、プレビュー画像が表示されると共に、そのプレビュー画像に重ねて撮影テンプレートが表示される。
【００５１】
次いで、ユーザが被写体を撮影テンプレートに重ね合わせて撮影すると、主制御部１１は、撮影時点のプレビュー画像を撮像画像としてデータフォルダ部１４に記録する。そして、この撮像画像を撮像画像確認画面Ｐ２−７に表示する。ユーザは撮像画像確認画面Ｐ２−７により被写体を確認し、問題なければＯＫキー（ソフトキー１５ｂ）を押下する。これにより、主制御部１１は、モーフィング処理を開始し、図１３に示される変形中画面Ｐ２−８を表示する。主制御部１１は、モーフィング処理の処理対象にする合成対象画像のデータをデータフォルダ部１４から読み出し、この合成対象画像データとデータフォルダ部１４に記録した撮像画像とを使用してモーフィング処理を行う。
【００５２】
次いで、モーフィング処理が終了すると、主制御部１１は、変形後画像確認画面Ｐ２−９を表示する。変形後画像確認画面Ｐ２−９には、モーフィング処理した結果の変形画像を表示する。
【００５３】
図１４は、第２の実施形態に係る変形画像の一例である。図１４の変形画像２００は、上記図１０の撮像画像１２１の被写体の人の顔を、図１２の合成対象画像２１０を基に変形するようにモーフィング処理した場合の画像である。
【００５４】
次いで、ユーザが変形後画像確認画面Ｐ２−９で保存キー（ソフトキー１５ｃ）を押下すると、主制御部１１は、その変形画像をデータフォルダ部１４に保存する。そして、保存画面Ｐ２−１１を表示する。
【００５５】
一方、ユーザが変形後画像確認画面Ｐ２−９でＯＫキー（ソフトキー１５ｂ）を押下すると、主制御部１１は、モーフィングプレビュー画面Ｐ２−１０を表示する。モーフィングプレビュー画面Ｐ２−１０では、原画像から変形画像に遷移するまでの動画データを再生する。次いで、ユーザが保存キー（ソフトキー１５ｂ）を押下すると、主制御部１１は、その動画データをデータフォルダ部１４に保存する。そして、保存画面Ｐ２−１１を表示する。
【００５６】
次いで、保存画面Ｐ２−１１が表示されたまま一定期間過ぎると（例えば３秒）、主制御部１１は、撮影プレビュー画面Ｐ２−６を表示し、撮影可能状態に戻る。
【００５７】
上述した第２の実施形態によれば、合成対象画像を使用したモーフィング処理の処理対象となりうる撮像エリアを、プレビュー画面に重ねて表示される輪郭線によって明示することができる。これにより、合成対象画像に合致したモーフィング処理をさせたい被写体部分を輪郭線に重ね合わせて撮像すれば、撮像画像中の被写体の変形希望部分と合成対象画像とを基にモーフィング処理させた画像を容易に得ることができる。
【００５８】
また、モーフィング処理に使用可能な合成対象画像を複数持つと共に、各合成対象画像に対応する撮影テンプレートを用いてモーフィング処理対象となる被写体の画像を撮像することができる。これにより、合成対象画像に合致した被写体画像を得て最適な合成画像を得ることが可能となる。
【００５９】
なお、上記した第２の実施形態において、無線通信回線を介して合成対象画像および当該合成対象画像用の撮影テンプレートの各データを供給元のサーバからダウンロードし、データフォルダ部１４に保存するようにしてもよい。これにより、合成対象画像および撮影テンプレートを通信により簡単に補充することができる。なお、供給元サーバで具備されている合成対象画像の一覧（例えば画像一覧）を携帯電話機１で表示し、その一覧からユーザが任意の画像を選択してダウンロードするようにすることが好ましい。
【００６０】
以上、本発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
例えば、撮影テンプレートは、顔用のテンプレートに限定されない。例えば、人や動物の全身を撮影するための輪郭線からなるものであってもよい。
【００６１】
なお、本発明の撮像装置は、上記した実施形態に係るデジタルカメラ内蔵型の携帯電話機に限定されない。例えば、デジタルカメラ内蔵型の携帯情報端末や、デジタルカメラ内蔵型のパーソナルコンピュータ等であってもよい。或いは、単体のデジタルカメラであってもよい。
【図面の簡単な説明】
【００６２】
【図１】本発明の一実施形態に係る携帯電話機１の構成を示すブロック図である。
【図２】図１に示す携帯電話機１の外観図である。
【図３】図１に示す携帯電話機１の外観図である。
【図４】撮影テンプレートの一例を示す表示画面の構成例である。
【図５】第１の実施形態に係るモーフィング処理に係る動作手順を説明するための表示パネル１９ａの表示画面の構成例である。
【図６】撮影プレビュー画面Ｐ１−３上に表示される画像の一例である。
【図７】第１の実施形態に係るモーフィング処理に係る動作手順を説明するための表示パネル１９ａの表示画面の構成例である。
【図８】第１の実施形態に係るモーフィング処理に係る動作手順を説明するための表示パネル１９ａの表示画面の構成例である。
【図９】第１の実施形態に係る変形画像の一例である。
【図１０】図９の変形画像に係るモーフィング処理の原画像となった撮像画像１２１である。
【図１１】第２の実施形態に係るモーフィング処理に係る動作手順を説明するための表示パネル１９ａの表示画面の構成例である。
【図１２】キャラクタ選択メニュー画面Ｐ２−４の一例である。
【図１３】第２の実施形態に係るモーフィング処理に係る動作手順を説明するための表示パネル１９ａの表示画面の構成例である。
【図１４】第２の実施形態に係る変形画像の一例である。
【符号の説明】
【００６３】
１…携帯電話機、１１…主制御部、１２…電源制御部、１３…メモリ、１４…データフォルダ部、１５…キー入力部、１５ａ，１５ｂ，１５ｃ…ソフトキー、１６…無線通信部、１７…カメラ部、１８…画面制御部、１９…表示部、１９ａ，１９ｂ…表示パネル、２０…音声入出力部、１００…撮影テンプレート（撮影補助手段）、１０１〜１０５…輪郭線。
【技術分野】
【０００１】
本発明は、撮像装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、画像変形処理技術の一つとして、コンピュータグラフィックスのアニメーション生成などに用いられるモーフィング技術が知られている。モーフィング技術では、一つの静止画Ａと異なるもう一つの静止画Ｂとを関連付けし、静止画Ａと静止画Ｂとでそれぞれ特徴点を抽出する。そして、静止画Ａの特徴点から静止画Ｂの特徴点までをある時間で遷移していく様を予想し、この遷移経路中の座標や色データを特定する。これにより、アニメーションの動画データを生成したり、遷移の途中経過を一つの静止画像として抽出し、この画像を原画像からの変形画像としたりすることができる。
【０００３】
上記したモーフィング技術を例えばデジタルカメラに適用し、一般ユーザが撮影した撮像画像をモーフィング処理して変形画像を得ることがなされている。このデジタルカメラでは、撮影者が撮影時に被写体を確認するための液晶パネルに、被写体とともにマーキングを表示している。これにより、例えば人の上半身の輪郭をマーキングとして表示し、撮影者が被写体となる人をマーキングに合わせた状態で撮影すれば、モーフィング処理の原画像となる被写体画像からモーフィング処理を行う際の特徴点を容易に検出することが可能となる。
【０００４】
また、近年、デジタルカメラを内蔵した携帯電話機が普及しており、携帯電話機で人の顔を撮影したりして手軽に写真撮影を楽しむことができるようになっている（例えば、特許文献１参照）。
【特許文献１】特開２００２−３００４５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上述した従来のマーキングを用いたモーフィング処理では、ユーザからのモーフィング処理に対する細かな要求に応えることができないという問題が生じている。例えば、人の顔を撮影してモーフィング処理するにしても、目だけ、口だけ、鼻だけといった特定の一部分だけをモーフィング処理させたいという要求や、目と口だけといった特定の複数部分だけをモーフィング処理させたいという要求がある。このように、被写体を部分的にモーフィング処理するにも多様な要求があり、従来の技術ではこれらの要求には十分に応えることができない。
【０００６】
本発明は、このような事情を考慮してなされたもので、その目的は、撮像画像を画像変形処理する撮像装置において、画像変形対象となりうる撮像エリアを撮影者に分かりやすく明示することにより、ユーザからの画像変形処理に対する細かな要求に応えることができる撮像装置および画像処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明に係る撮像装置は、画像を撮像する撮像手段と、前記撮像手段により撮像される画像のプレビュー画像が表示される表示手段と、複数の輪郭線を有する撮影補助手段と、前記撮影補助手段を前記プレビュー画像に重ねて前記表示手段に表示し、前記撮像手段により撮像された画像中の前記輪郭線で囲まれていたエリアのうち、少なくともいずれか１つのエリアについての画像変形処理を行う制御手段とを備えたことを特徴としている。
【０００８】
本発明に係る撮像装置においては、前記撮影補助手段は、顔の構成要素の輪郭線の組から成り、当該顔の形状に表示されることを特徴とする。
【０００９】
本発明に係る撮像装置においては、前記撮像手段により撮像された画像中の前記輪郭線で囲まれていたエリアのうち、いずれのエリアを前記画像変形処理の処理対象にするかを選択可能な操作手段を備えたことを特徴とする。
【００１０】
本発明に係る撮像装置においては、前記制御手段は、前記撮影補助手段を構成する輪郭線ごとに、複数の異なる画像変形処理手法を有することを特徴とする。
【００１１】
本発明に係る撮像装置は、画像を撮像する撮像手段と、前記撮像手段により撮像される画像のプレビュー画像が表示される表示手段と、合成対象画像を記憶する記憶手段と、前記合成対象画像に対応付けされた輪郭線を有する撮影補助手段と、前記撮影補助手段を前記プレビュー画像に重ねて前記表示手段に表示し、前記撮像手段により撮像された画像中の前記輪郭線で囲まれていたエリアと前記合成対象画像とを基にして画像変形処理を行う制御手段とを備えたことを特徴としている。
【００１２】
本発明に係る撮像装置においては、通信回線を介して前記合成対象画像および当該合成対象画像用の前記撮影補助手段を供給元から取得する通信手段を備えたことを特徴とする。
【００１３】
本発明に係る撮像装置においては、前記記憶手段は複数の合成対象画像を記憶し、前記合成対象画像ごとに、各々異なる前記撮影補助手段を有し、前記合成対象画像と前記撮影補助手段の組が定められていることを特徴とする。
【００１４】
本発明に係る画像処理方法は、画像を撮像する撮像手段と、前記撮像手段により撮像される画像のプレビュー画像が表示される表示手段と、複数の輪郭線を有する撮影補助手段と、前記撮像手段により撮像された画像についての画像変形処理を行う制御手段とを備えた撮像装置おける画像処理方法であって、前記制御手段が、ユーザからの要求に基づき、前記撮影補助手段を前記プレビュー画像に重ねて前記表示手段に表示する過程と、前記撮像手段により撮像された画像中の前記輪郭線で囲まれていたエリアのうち、少なくともいずれか１つのエリアについての画像変形処理を行う過程とを含むことを特徴としている。
【００１５】
本発明に係る画像処理方法は、画像を撮像する撮像手段と、前記撮像手段により撮像される画像のプレビュー画像が表示される表示手段と、合成対象画像を記憶する記憶手段と、前記合成対象画像に対応付けされた輪郭線を有する撮影補助手段とを備えた撮像装置おける画像処理方法であって、前記制御手段が、ユーザからの要求に基づき、前記撮影補助手段を前記プレビュー画像に重ねて前記表示手段に表示する過程と、前記撮像手段により撮像された画像中の前記輪郭線で囲まれていたエリアと前記合成対象画像とを基にして画像変形処理を行う過程とを含むことを特徴としている。
【発明の効果】
【００１６】
本発明によれば、撮像画像を画像変形処理する撮像装置において、画像変形対象となりうる撮像エリアを撮影者に分かりやすく明示することができる。これにより、ユーザからの画像変形処理に対する細かな要求に応えることが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照し、本発明の一実施形態について説明する。本実施形態においては、撮像装置の具体的な例として、デジタルカメラを内蔵した携帯電話機を挙げて説明する。
図１は、本発明の一実施形態に係る携帯電話機１の構成を示すブロック図である。図１において、主制御部１１は携帯電話機１の主な制御機能を有し、各部を制御する。電源制御部１２は電源に係る制御機能を有する。メモリ１３は、主制御部１１で使用されるデータ等を記憶する。データフォルダ部１４は、カメラ部１７により撮像された撮像画像データなどの記録データを保持する記憶手段であり、例えば書き込み可能な不揮発性メモリから構成される。
【００１８】
キー入力部１５は、電話番号等の入力用のテンキー、各種ファンクションキー、ソフトキー等を有する。無線通信部１６は、アンテナを介して無線信号を送受信し、音声通話又はデータ通信を行う。カメラ部１７は、レンズ、ＣＣＤ（撮像素子）、ＣＣＤによる画像信号からデジタル画像データを生成する信号処理回路等を有する。画面制御部１８は、表示部１９で表示する画面を制御する。表示部１９は、表示パネル、例えば液晶表示パネルを有する。音声入出力部２０は、マイク、スピーカ、音声信号とデジタル音声データの相互変換を行う信号処理回路等を有する。
【００１９】
図２、図３は、図１に示す携帯電話機１の外観図である。携帯電話機１は、携帯電話機の構造の一例として折り畳みタイプの構造を有しており、図２は折り畳みの対向面側の平面図、図３は折り畳みの外面側の平面図である。
図２において、第１の筐体１ａの対向面側には第１の表示パネル１９ａおよびスピーカ２０ａが設けられている。第２の筐体１ｂの対向面側にはキー入力部１５およびマイク２０ｂが設けられている。キー入力部１５はソフトキー１５ａ，１５ｂ，１５ｃを有する。ソフトキーとは、キーに割付けられる機能がソフトウェアの設定により場面ごとに変更可能なキーである。そして、場面ごとに現在の割付け機能が表示パネル１９ａに表示される。これにより、ユーザはソフトキー１５ａ，１５ｂ，１５ｃの現在の機能を把握して操作することができる。
【００２０】
図３において、第１の筐体１ａの外面側には第２の表示パネル１９ｂおよびカメラ部１７のレンズ１７ａとＣＣＤ１７ｂが設けられている。第２の筐体１ｂのの外面側にはアンテナ１６ａが設けられている。
【００２１】
上記した携帯電話機１を用いて撮影する際には、カメラ部１７により撮像される画像のプレビュー画像が表示パネル１９ａ又は１９ｂに表示される。ユーザはそのプレビュー画像により被写体を確認し、キー入力部１５を操作して撮影を指示する。この撮影指示により当該指示時点のプレビュー画像が撮像画像としてデータフォルダ部１４に記録される。
【００２２】
上記した主制御部１１は、画像変形処理の一つであるモーフィング処理を行う。このモーフィング処理では、カメラ部１７で撮像された撮像画像を原画像として使用する。また、主制御部１１は、ユーザ操作によりモーフィング処理を行うための撮影モードが選択されると、プレビュー画像に重ねて撮影テンプレートを表示させる。撮影テンプレートは、モーフィング処理の処理対象となりうる複数の撮像エリアを明示するためのものである。撮影テンプレートデータは、データフォルダ部１４に記憶されている。
【００２３】
図４は、撮影テンプレートの一例を示す表示画面の構成例である。図４の例では、人の顔を撮影するための撮影テンプレート１００が表示パネル１９ａに表示されている。撮影テンプレート１００は、顔全体の輪郭線１０１、右目の輪郭線１０２、左目の輪郭線１０３、鼻の輪郭線１０４および口の輪郭線１０５から構成されている。これら輪郭線１０１〜１０５は、人の顔の形状に表示される。輪郭線１０１〜１０５の個々の座標データは、撮影テンプレート１００の撮影テンプレートデータとしてデータフォルダ部１４に記憶されている。座標データは、表示画面上の位置を示す。
【００２４】
上記撮影テンプレート１００は、複数の輪郭線１０１〜１０５を有するが、輪郭線１０１〜１０５で囲まれる一つ一つのエリアがそれぞれモーフィング処理の処理対象となりうる撮像エリアである。主制御部１１は、撮像画像中のそれら輪郭線１０１〜１０５で囲まれていたエリアのうち、少なくともいずれか１つのエリアについてのモーフィング処理を行う。主制御部１１は、各輪郭線１０１〜１０５の座標データに基づいて、撮像画像中のエリアと各輪郭線１０１〜１０５で囲まれていたエリアとの対応付けを行う。例えば、撮像画像中のエリアのうち、右目の輪郭線１０２の座標データに対応するエリアが、輪郭線１０２で囲まれていたエリアであると判断する。
【００２５】
撮影時には、ユーザは、図２の表示パネル１９ａに表示されるプレビュー画像により被写体を確認し、被写体となる人の顔を表示画面上で撮影テンプレート１００に重ね合わせて撮影する。これにより、撮影時点のプレビュー画像が撮像画像としてデータフォルダ部１４に記録される。この撮像画像には、表示画面上で撮影テンプレート１００と重なり合った被写体の顔の画像が含まれている。
【００２６】
そして、被写体の顔のうち、例えば目の部分だけをモーフィング処理する場合、撮像画像中の輪郭線１０２および１０３に対応するエリアの画像をモーフィング処理の第１の原画像とする。目の部分のモーフィング処理に使用する第２の原画像には、目の変形候補データを使用する。目の変形候補データは、目の輪郭線の座標データである。また、丸目、細目、つり目、垂れ目などの様々な目の形に変形可能なように、複数の目の形の輪郭線の変形候補データがデータフォルダ部１４に記憶されている。主制御部１１は、第１の原画像から目の輪郭線を抽出し、この輪郭線を第２の原画像の輪郭線に遷移させるモーフィング処理を行い、変形画像を生成する。例えば、第１の原画像の目の輪郭線を丸目の輪郭線に遷移させるモーフィング処理を行う。そして、丸目に遷移する動画データを生成したり、遷移の途中経過を一つの静止画像として抽出する。なお、片方の目、例えば右目だけをモーフィング処理することも可能である。
【００２７】
なお、撮影テンプレート１００の変形候補データとしては、上記した目に関するデータの他、顔全体の輪郭線の変形候補データ、鼻の輪郭線の変形候補データおよび口の輪郭線の変形候補データが、データフォルダ部１４にそれぞれ複数記憶されている。
【００２８】
次に、上記したモーフィング処理に係る動作手順を説明する。
図５、図７、図８は、第１の実施形態に係るモーフィング処理に係る動作手順を説明するための表示パネル１９ａの表示画面の構成例である。
先ず、図５において、ユーザは、キー入力部１５を操作してメニュー選択画面Ｐ１−１を表示させる。次いで、ユーザがメニュー選択画面Ｐ１−１から撮影モード設定を選択すると、主制御部１１は、撮影モード設定画面Ｐ１−２を表示する。次いで、ユーザがメニュー選択画面Ｐ１−２から顔変形を選択すると、主制御部１１は、顔変形用の撮影テンプレート１００のデータをデータフォルダ部１４から読み出して撮影プレビュー画面Ｐ１−３に表示する。撮影プレビュー画面Ｐ１−３には、プレビュー画像が表示されると共に、そのプレビュー画像に重ねて撮影テンプレート１００が表示される。
【００２９】
図６は、撮影プレビュー画面Ｐ１−３上に表示される画像の一例である。図６に示されるように、プレビュー画像１１０に重ねて撮影テンプレート１００が表示されている。撮影テンプレート１００は、顔全体の輪郭線１０１、右目の輪郭線１０２、左目の輪郭線１０３、鼻の輪郭線１０４および口の輪郭線１０５から構成されており、各輪郭線１０１〜１０５は人の顔の形状に配置される。図６では、ユーザによって、被写体の人の顔が撮影テンプレート１００に重なり合うように、さらに、右目、左目、鼻、口が輪郭線１０２，１０３，１０４，１０５に重なり合うように、カメラアングル等が調節されている。
【００３０】
次いで、ユーザが撮影キー（ソフトキー１５ｂ）を押下すると、主制御部１１は、押下時点のプレビュー画像を撮像画像としてデータフォルダ部１４に記録する。そして、この撮像画像を撮像画像確認画面Ｐ１−４に表示する。ユーザは撮像画像確認画面Ｐ１−４により被写体を確認し、問題なければＯＫキー（ソフトキー１５ｂ）を押下する。
【００３１】
なお、ユーザは、撮像画像確認画面Ｐ１−４で撮像画像が気に入らなければ、戻るキー（ソフトキー１５ａ）を押下することにより、撮影プレビュー画面Ｐ１−３に戻ることができる。この場合、主制御部１１は、データフォルダ部１４に記録した撮像画像を破棄する。
【００３２】
次いで、撮像画像確認画面Ｐ１−４でＯＫキー（ソフトキー１５ｂ）が押下されると、図７において、主制御部１１は、顔変形メニュー画面Ｐ１−５を表示する。次いで、ユーザが顔変形メニュー画面Ｐ１−５からパーツ変形を選択し、選択キー（ソフトキー１５ｂ）を押下すると、主制御部１１は、パーツ変形メニュー画面Ｐ１−６を表示する。パーツ変形メニュー画面Ｐ１−６には、モーフィング処理の処理対象に成り得る顔の構成要素名（目、鼻、口、輪郭）がメニュー項目として表示される。このパーツ変形メニュー画面Ｐ１−６により、ユーザは、顔の構成要素（目、鼻、口、顔全体の輪郭）のいずれをモーフィング処理の処理対象にするのかを任意に選択することができる。
【００３３】
次いで、ユーザがパーツ変形メニュー画面Ｐ１−６から目を選択し、選択キー（ソフトキー１５ｂ）を押下すると、主制御部１１は、目の変形候補メニュー画面Ｐ１−７を表示する。目の変形候補メニュー画面Ｐ１−７には、目の変形名（丸目、細目、つり目、垂れ目）がメニュー項目として表示される。目の変形候補メニュー画面Ｐ１−７により、ユーザは、目をどのような形（丸目、細目、つり目、垂れ目）に変形するのかを任意に選択することができる。例えば垂れ目を選択し、ＯＫキー（ソフトキー１５ｂ）を押下すると、主制御部１１は、目の変形候補として「垂れ目」を設定する。そして、画面表示をパーツ変形メニュー画面Ｐ１−６に戻す。なお、目の変形候補メニュ画面Ｐ１−７からＯＦＦを選択することにより、目の変形を中止することができる。
【００３４】
また、ユーザはパーツ変形メニュー画面Ｐ１−６で複数の顔の構成要素をモーフィング処理の処理対象に選択することができる。例えば、目と口をモーフィング処理したい場合、パーツ変形メニュー画面Ｐ１−６から目を選択した後、目の変形候補メニュー画面Ｐ１−７から目の変形候補を選択し、再度、パーツ変形メニュー画面Ｐ１−６から今度は口を選択した後、口の変形候補メニュー画面から目の変形候補を選択すればよい。
【００３５】
次いで、モーフィング処理の処理対象にする顔の構成要素およびその変形候補の選択が終了したら、ユーザはパーツ変形メニュー画面Ｐ１−６で変形キー（ソフトキー１５ｃ）を押下する。これにより、主制御部１１は、モーフィング処理を開始し、図８に示される変形中画面Ｐ１−８を表示する。主制御部１１は、モーフィング処理の処理対象にする顔の構成要素およびその変形候補の各座標データをデータフォルダ部１４から読み出し、これら座標データとデータフォルダ部１４に記録した撮像画像とを使用してモーフィング処理を行う。なお、モーフィング処理の実行中には、変形中画面Ｐ１−８上にアニメーション等の画像を表示してもよい。これにより、たとえ処理に時間がかかったとしてもユーザに与える不安を軽減できる。
【００３６】
次いで、モーフィング処理が終了すると、主制御部１１は、変形後画像確認画面Ｐ１−９を表示する。変形後画像確認画面Ｐ１−９には、モーフィング処理した結果の変形画像を表示する。
【００３７】
図９は、第１の実施形態に係る変形画像の一例である。図９の変形画像１２０は、被写体の人の目の部分のみをモーフィング処理し、垂れ目に変形した場合の画像である。なお、図１０は、モーフィング処理の原画像となった撮像画像１２１である。
【００３８】
次いで、ユーザが変形後画像確認画面Ｐ１−９で保存キー（ソフトキー１５ｃ）を押下すると、主制御部１１は、その変形画像をデータフォルダ部１４に保存する。そして、保存画面Ｐ１−１１を表示する。
【００３９】
一方、ユーザが変形後画像確認画面Ｐ１−９でＯＫキー（ソフトキー１５ｂ）を押下すると、主制御部１１は、モーフィングプレビュー画面Ｐ１−１０を表示する。モーフィングプレビュー画面Ｐ１−１０では、原画像から変形画像に遷移するまでの動画データを再生する。次いで、ユーザが保存キー（ソフトキー１５ｂ）を押下すると、主制御部１１は、その動画データをデータフォルダ部１４に保存する。そして、保存画面Ｐ１−１１を表示する。
【００４０】
次いで、保存画面Ｐ１−１１が表示されたまま一定期間過ぎると（例えば３秒）、主制御部１１は、撮影プレビュー画面Ｐ１−３を表示し、撮影可能状態に戻る。
【００４１】
上述した第１の実施形態によれば、モーフィング処理の処理対象となりうる撮像エリアを、プレビュー画面に重ねて表示される複数の輪郭線によって明示することができる。これにより、ユーザはモーフィング処理させたい被写体部分を複数の輪郭線のいずれかに重ね合わせて撮像すれば、撮像画像を基に被写体の変形希望部分を変形処理させた画像を容易に得ることができる。このように本実施形態によれば、被写体を部分的に変形処理させたいというユーザ要求に応えることができる。
【００４２】
また、人の顔の撮影テンプレートを用いることにより、人の顔を撮像して部分的に変形させることが容易となる。なお、人以外の動物、犬や猫などの顔の撮影テンプレートを備えるようにしてもよい。これにより、愛犬などのペットの顔画像を簡単に変形させることが可能となる。
【００４３】
また、撮像後に、モーフィング処理させる被写体部分を選択することができる。これにより、ユーザの利便性が向上する。
【００４４】
また、一つの変形処理対象エリアに対して複数の画像変形パターンを提供することができる。これにより、ユーザの変形自由度が向上する。例えば、目を変形する場合に、丸目、細目、つり目、垂れ目などの多様な目の形の中から、ユーザが任意に変形させる先の形を選択することができる。
【００４５】
次に、第２の実施形態を説明する。
図１１、図１３は、第２の実施形態に係るモーフィング処理に係る動作手順を説明するための表示パネル１９ａの表示画面の構成例である。第２の実施形態に係る撮像装置は、上記した携帯電話機１と同様の構成である。
第２の実施形態では、上記第１の実施形態と同様に、主制御部１１は画像変形処理の一つであるモーフィング処理を行う。但し、モーフィング処理に使用する第１の原画像には上記第１の実施形態と同様にカメラ部１７で撮像された撮像画像を使用するが、第２の原画像には合成対象画像を使用する。合成対象画像は、撮像画像を変形する先の画像であり、予め撮像または作製されている。例えば、電車の正面の画像や、アニメーションのキャラクターの画像、犬等の動物の顔の画像などである。合成対象画像データおよび当該合成対象画像の座標データは、データフォルダ部１４に記憶されている。
【００４６】
また、合成対象画像用の撮影テンプレートとして、合成対象画像ごとに専用の撮影テンプレートを備える。合成対象画像は様々な形や大きさのものがあるので、同じ撮影テンプレートを用いて撮影したのでは、モーフィング処理における特徴点抽出時の精度が劣化するおそれがある。このため、合成対象画像ごとに適した撮影テンプレートを準備する。それぞれの合成対象画像用の撮影テンプレートデータ（座標データ）は、データフォルダ部１４に記憶されている。
【００４７】
先ず、図１１において、ユーザは、キー入力部１５を操作して、メニュー選択画面Ｐ２−１から撮影モード設定を選択し、さらに撮影モード設定画面Ｐ２−２から顔変形を選択する。これにより、主制御部１１は、顔変形メニュー画面Ｐ２−３を表示する。次いで、ユーザが顔変形メニュー画面Ｐ２−３からキャラクタ変形を選択し、選択キー（ソフトキー１５ｂ）を押下すると、主制御部１１は、キャラクタ選択メニュー画面Ｐ２−４を表示する。キャラクタ選択メニュー画面Ｐ２−４には、モーフィング処理の原画像に成り得る合成対象画像がメニュー項目として表示される。このキャラクタ選択メニュー画面Ｐ２−４により、ユーザは、撮像画像中の被写体部分をいずれの合成対象画像に合成するのかを任意に選択することができる。
【００４８】
図１２は、キャラクタ選択メニュー画面Ｐ２−４の一例である。図１２の例では、犬や猫等の動物の顔画像、アニメーションのキャラクタの顔画像、電車の正面の画像などが合成対象画像の候補として表示されている。
【００４９】
次いで、ユーザがいずれかの合成対象画像を選択してＯＫキー（ソフトキー１５ｂ）を押下すると、主制御部１１は、該選択された合成対象画像の画像データをデータフォルダ部１４から読み出して選択画像再生画面Ｐ２−５に表示する。ユーザは選択画像再生画面Ｐ２−５で合成対象画像を確認し、ＯＫキー（ソフトキー１５ｂ）を押下する。なお、気に入らなければ、戻るキー（ソフトキー１５ａ）を押下してキャラクタ選択メニュー画面Ｐ２−４に戻り、所望の合成対象画像を選択しなおすことができる。
【００５０】
次いで、選択画像再生画面Ｐ２−５でＯＫキー（ソフトキー１５ｂ）が押下されると、主制御部１１は、選択された合成対象画像用の撮影テンプレートのデータをデータフォルダ部１４から読み出して撮影プレビュー画面Ｐ２−６に表示する。撮影プレビュー画面Ｐ２−６には、プレビュー画像が表示されると共に、そのプレビュー画像に重ねて撮影テンプレートが表示される。
【００５１】
次いで、ユーザが被写体を撮影テンプレートに重ね合わせて撮影すると、主制御部１１は、撮影時点のプレビュー画像を撮像画像としてデータフォルダ部１４に記録する。そして、この撮像画像を撮像画像確認画面Ｐ２−７に表示する。ユーザは撮像画像確認画面Ｐ２−７により被写体を確認し、問題なければＯＫキー（ソフトキー１５ｂ）を押下する。これにより、主制御部１１は、モーフィング処理を開始し、図１３に示される変形中画面Ｐ２−８を表示する。主制御部１１は、モーフィング処理の処理対象にする合成対象画像のデータをデータフォルダ部１４から読み出し、この合成対象画像データとデータフォルダ部１４に記録した撮像画像とを使用してモーフィング処理を行う。
【００５２】
次いで、モーフィング処理が終了すると、主制御部１１は、変形後画像確認画面Ｐ２−９を表示する。変形後画像確認画面Ｐ２−９には、モーフィング処理した結果の変形画像を表示する。
【００５３】
図１４は、第２の実施形態に係る変形画像の一例である。図１４の変形画像２００は、上記図１０の撮像画像１２１の被写体の人の顔を、図１２の合成対象画像２１０を基に変形するようにモーフィング処理した場合の画像である。
【００５４】
次いで、ユーザが変形後画像確認画面Ｐ２−９で保存キー（ソフトキー１５ｃ）を押下すると、主制御部１１は、その変形画像をデータフォルダ部１４に保存する。そして、保存画面Ｐ２−１１を表示する。
【００５５】
一方、ユーザが変形後画像確認画面Ｐ２−９でＯＫキー（ソフトキー１５ｂ）を押下すると、主制御部１１は、モーフィングプレビュー画面Ｐ２−１０を表示する。モーフィングプレビュー画面Ｐ２−１０では、原画像から変形画像に遷移するまでの動画データを再生する。次いで、ユーザが保存キー（ソフトキー１５ｂ）を押下すると、主制御部１１は、その動画データをデータフォルダ部１４に保存する。そして、保存画面Ｐ２−１１を表示する。
【００５６】
次いで、保存画面Ｐ２−１１が表示されたまま一定期間過ぎると（例えば３秒）、主制御部１１は、撮影プレビュー画面Ｐ２−６を表示し、撮影可能状態に戻る。
【００５７】
上述した第２の実施形態によれば、合成対象画像を使用したモーフィング処理の処理対象となりうる撮像エリアを、プレビュー画面に重ねて表示される輪郭線によって明示することができる。これにより、合成対象画像に合致したモーフィング処理をさせたい被写体部分を輪郭線に重ね合わせて撮像すれば、撮像画像中の被写体の変形希望部分と合成対象画像とを基にモーフィング処理させた画像を容易に得ることができる。
【００５８】
また、モーフィング処理に使用可能な合成対象画像を複数持つと共に、各合成対象画像に対応する撮影テンプレートを用いてモーフィング処理対象となる被写体の画像を撮像することができる。これにより、合成対象画像に合致した被写体画像を得て最適な合成画像を得ることが可能となる。
【００５９】
なお、上記した第２の実施形態において、無線通信回線を介して合成対象画像および当該合成対象画像用の撮影テンプレートの各データを供給元のサーバからダウンロードし、データフォルダ部１４に保存するようにしてもよい。これにより、合成対象画像および撮影テンプレートを通信により簡単に補充することができる。なお、供給元サーバで具備されている合成対象画像の一覧（例えば画像一覧）を携帯電話機１で表示し、その一覧からユーザが任意の画像を選択してダウンロードするようにすることが好ましい。
【００６０】
以上、本発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
例えば、撮影テンプレートは、顔用のテンプレートに限定されない。例えば、人や動物の全身を撮影するための輪郭線からなるものであってもよい。
【００６１】
なお、本発明の撮像装置は、上記した実施形態に係るデジタルカメラ内蔵型の携帯電話機に限定されない。例えば、デジタルカメラ内蔵型の携帯情報端末や、デジタルカメラ内蔵型のパーソナルコンピュータ等であってもよい。或いは、単体のデジタルカメラであってもよい。
【図面の簡単な説明】
【００６２】
【図１】本発明の一実施形態に係る携帯電話機１の構成を示すブロック図である。
【図２】図１に示す携帯電話機１の外観図である。
【図３】図１に示す携帯電話機１の外観図である。
【図４】撮影テンプレートの一例を示す表示画面の構成例である。
【図５】第１の実施形態に係るモーフィング処理に係る動作手順を説明するための表示パネル１９ａの表示画面の構成例である。
【図６】撮影プレビュー画面Ｐ１−３上に表示される画像の一例である。
【図７】第１の実施形態に係るモーフィング処理に係る動作手順を説明するための表示パネル１９ａの表示画面の構成例である。
【図８】第１の実施形態に係るモーフィング処理に係る動作手順を説明するための表示パネル１９ａの表示画面の構成例である。
【図９】第１の実施形態に係る変形画像の一例である。
【図１０】図９の変形画像に係るモーフィング処理の原画像となった撮像画像１２１である。
【図１１】第２の実施形態に係るモーフィング処理に係る動作手順を説明するための表示パネル１９ａの表示画面の構成例である。
【図１２】キャラクタ選択メニュー画面Ｐ２−４の一例である。
【図１３】第２の実施形態に係るモーフィング処理に係る動作手順を説明するための表示パネル１９ａの表示画面の構成例である。
【図１４】第２の実施形態に係る変形画像の一例である。
【符号の説明】
【００６３】
１…携帯電話機、１１…主制御部、１２…電源制御部、１３…メモリ、１４…データフォルダ部、１５…キー入力部、１５ａ，１５ｂ，１５ｃ…ソフトキー、１６…無線通信部、１７…カメラ部、１８…画面制御部、１９…表示部、１９ａ，１９ｂ…表示パネル、２０…音声入出力部、１００…撮影テンプレート（撮影補助手段）、１０１〜１０５…輪郭線。
【特許請求の範囲】
【請求項１】
画像を撮像する撮像手段と、
前記撮像手段により撮像される画像のプレビュー画像が表示される表示手段と、
複数の輪郭線を有する撮影補助手段と、
前記撮影補助手段を前記プレビュー画像に重ねて前記表示手段に表示し、前記撮像手段により撮像された画像中の前記輪郭線で囲まれていたエリアのうち、少なくともいずれか１つのエリアについての画像変形処理を行う制御手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記撮影補助手段は、顔の構成要素の輪郭線の組から成り、当該顔の形状に表示されることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像手段により撮像された画像中の前記輪郭線で囲まれていたエリアのうち、いずれのエリアを前記画像変形処理の処理対象にするかを選択可能な操作手段を備えたことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記制御手段は、前記撮影補助手段を構成する輪郭線ごとに、複数の異なる画像変形処理手法を有することを特徴とする請求項１に記載の撮像装置。
【請求項５】
画像を撮像する撮像手段と、
前記撮像手段により撮像される画像のプレビュー画像が表示される表示手段と、
合成対象画像を記憶する記憶手段と、
前記合成対象画像に対応付けされた輪郭線を有する撮影補助手段と、
前記撮影補助手段を前記プレビュー画像に重ねて前記表示手段に表示し、前記撮像手段により撮像された画像中の前記輪郭線で囲まれていたエリアと前記合成対象画像とを基にして画像変形処理を行う制御手段と、
を備えたことを特徴とする撮像装置。
【請求項６】
通信回線を介して前記合成対象画像および当該合成対象画像用の前記撮影補助手段を供給元から取得する通信手段を備えたことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記記憶手段は複数の合成対象画像を記憶し、
前記合成対象画像ごとに、各々異なる前記撮影補助手段を有し、
前記合成対象画像と前記撮影補助手段の組が定められていることを特徴とする請求項５に記載の撮像装置。
【請求項８】
画像を撮像する撮像手段と、前記撮像手段により撮像される画像のプレビュー画像が表示される表示手段と、複数の輪郭線を有する撮影補助手段と、前記撮像手段により撮像された画像についての画像変形処理を行う制御手段とを備えた撮像装置おける画像処理方法であって、
前記制御手段が、
ユーザからの要求に基づき、前記撮影補助手段を前記プレビュー画像に重ねて前記表示手段に表示する過程と、
前記撮像手段により撮像された画像中の前記輪郭線で囲まれていたエリアのうち、少なくともいずれか１つのエリアについての画像変形処理を行う過程と、
を含むことを特徴とする画像処理方法。
【請求項９】
画像を撮像する撮像手段と、前記撮像手段により撮像される画像のプレビュー画像が表示される表示手段と、合成対象画像を記憶する記憶手段と、前記合成対象画像に対応付けされた輪郭線を有する撮影補助手段とを備えた撮像装置おける画像処理方法であって、
前記制御手段が、
ユーザからの要求に基づき、前記撮影補助手段を前記プレビュー画像に重ねて前記表示手段に表示する過程と、
前記撮像手段により撮像された画像中の前記輪郭線で囲まれていたエリアと前記合成対象画像とを基にして画像変形処理を行う過程と、
を含むことを特徴とする画像処理方法。
【請求項１】
画像を撮像する撮像手段と、
前記撮像手段により撮像される画像のプレビュー画像が表示される表示手段と、
複数の輪郭線を有する撮影補助手段と、
前記撮影補助手段を前記プレビュー画像に重ねて前記表示手段に表示し、前記撮像手段により撮像された画像中の前記輪郭線で囲まれていたエリアのうち、少なくともいずれか１つのエリアについての画像変形処理を行う制御手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記撮影補助手段は、顔の構成要素の輪郭線の組から成り、当該顔の形状に表示されることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像手段により撮像された画像中の前記輪郭線で囲まれていたエリアのうち、いずれのエリアを前記画像変形処理の処理対象にするかを選択可能な操作手段を備えたことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記制御手段は、前記撮影補助手段を構成する輪郭線ごとに、複数の異なる画像変形処理手法を有することを特徴とする請求項１に記載の撮像装置。
【請求項５】
画像を撮像する撮像手段と、
前記撮像手段により撮像される画像のプレビュー画像が表示される表示手段と、
合成対象画像を記憶する記憶手段と、
前記合成対象画像に対応付けされた輪郭線を有する撮影補助手段と、
前記撮影補助手段を前記プレビュー画像に重ねて前記表示手段に表示し、前記撮像手段により撮像された画像中の前記輪郭線で囲まれていたエリアと前記合成対象画像とを基にして画像変形処理を行う制御手段と、
を備えたことを特徴とする撮像装置。
【請求項６】
通信回線を介して前記合成対象画像および当該合成対象画像用の前記撮影補助手段を供給元から取得する通信手段を備えたことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記記憶手段は複数の合成対象画像を記憶し、
前記合成対象画像ごとに、各々異なる前記撮影補助手段を有し、
前記合成対象画像と前記撮影補助手段の組が定められていることを特徴とする請求項５に記載の撮像装置。
【請求項８】
画像を撮像する撮像手段と、前記撮像手段により撮像される画像のプレビュー画像が表示される表示手段と、複数の輪郭線を有する撮影補助手段と、前記撮像手段により撮像された画像についての画像変形処理を行う制御手段とを備えた撮像装置おける画像処理方法であって、
前記制御手段が、
ユーザからの要求に基づき、前記撮影補助手段を前記プレビュー画像に重ねて前記表示手段に表示する過程と、
前記撮像手段により撮像された画像中の前記輪郭線で囲まれていたエリアのうち、少なくともいずれか１つのエリアについての画像変形処理を行う過程と、
を含むことを特徴とする画像処理方法。
【請求項９】
画像を撮像する撮像手段と、前記撮像手段により撮像される画像のプレビュー画像が表示される表示手段と、合成対象画像を記憶する記憶手段と、前記合成対象画像に対応付けされた輪郭線を有する撮影補助手段とを備えた撮像装置おける画像処理方法であって、
前記制御手段が、
ユーザからの要求に基づき、前記撮影補助手段を前記プレビュー画像に重ねて前記表示手段に表示する過程と、
前記撮像手段により撮像された画像中の前記輪郭線で囲まれていたエリアと前記合成対象画像とを基にして画像変形処理を行う過程と、
を含むことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００６−１８３８４（Ｐ２００６−１８３８４Ａ）
【公開日】平成１８年１月１９日（２００６．１．１９）
【国際特許分類】
【出願番号】特願２００４−１９３１４２（Ｐ２００４−１９３１４２）
【出願日】平成１６年６月３０日（２００４．６．３０）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
【公開日】平成１８年１月１９日（２００６．１．１９）
【国際特許分類】
【出願日】平成１６年６月３０日（２００４．６．３０）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
[ Back to top ]