画像処理パラメータ決定方法、画像処理方法及び情報処理装置
【課題】
画像処理を行うためのパラメータをより簡易に決定することができる画像処理パラメータ決定方法を提供する。
【解決手段】
利用者がマスク画像処理におけるアイテム画像を選択する。引き続き、利用者が計測開始の指令をすると、運動はセンサ部２３により計測を開始し、運動パラメータ算出部は運動パラメータを算出する。算出された運動パラメータを用いて、画像処理パラメータ算出部３５は、マスク画像処理を行うための画像処理パラメータを算出する。計測が終了すると、画像処理パラメータは、アイテム画像のデータと共に、画像処理用ファイルとして保存される。したがって、この画像処理パラメータ決定方法によれば、画像処理を行うためのパラメータをより簡易に決定することができる。
画像処理を行うためのパラメータをより簡易に決定することができる画像処理パラメータ決定方法を提供する。
【解決手段】
利用者がマスク画像処理におけるアイテム画像を選択する。引き続き、利用者が計測開始の指令をすると、運動はセンサ部２３により計測を開始し、運動パラメータ算出部は運動パラメータを算出する。算出された運動パラメータを用いて、画像処理パラメータ算出部３５は、マスク画像処理を行うための画像処理パラメータを算出する。計測が終了すると、画像処理パラメータは、アイテム画像のデータと共に、画像処理用ファイルとして保存される。したがって、この画像処理パラメータ決定方法によれば、画像処理を行うためのパラメータをより簡易に決定することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理パラメータ決定方法、画像処理方法及び情報処理装置に係り、より詳しくは原画像にアイテム画像を合成する画像処理を行うための画像処理パラメータ決定方法、画像処理方法、情報処理装置及び移動通信端末装置に関する。
【背景技術】
【０００２】
従来から、画像処理の技術として、画像に人の顔が存在することを認識する顔認識の技術がある。この顔認識の技術では、画像内の顔の存在だけでなく、顔の特徴点を抽出し、個人を特定することも可能となっている（特許文献１参照）。
【０００３】
また、このような顔認識技術を応用して、顔の特定部分にアイテム画像を合成することにより、合成された画像を楽しむことも可能となっている。特に、動画像にこの技術を利用した場合には、画像の中で顔が移動したり、傾いたりしても、アイテム画像は動画像に追従して動くことが可能となっているため、合成画像としての動画像を楽しむことができる（非特許文献１参照）。また、この技術はカメラ付の携帯電話において、カメラで撮影された動画像や静止画像で利用され、実用化されている（非特許文献２参照）。
【０００４】
一方、近年急速に普及し、高機能化及び多機能化する携帯電話をはじめとする情報処理装置においては、加速度計等を搭載し、情報処理装置自身の運動を計測することにより、そのデータを処理する情報処理装置が現れている。例えば、特許文献２では、携帯電話機に加速度センサ又は角速度センサを搭載し、ゲームの入力装置等に用いることが開示されている。
【０００５】
【特許文献１】特表２００２−５１１６１７号公報
【特許文献２】特開２００１−２７２４１３号公報
【非特許文献１】ニブンビジョン株式会社、“Virtual Accessory 技術概要”、［online］、２００４年５月１１日、［２００５年４月７日検索］、インターネット＜URL:http://www.n-vision.jp/product/va_p3.html＞
【非特許文献２】ボーダフォン株式会社、“プレスリリース”、［online］、２００４年６月３０日、［２００５年４月７日検索］、インターネット＜URL：http://www.vodafone.jp/japanese/release/0406302.html＞
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述した従来の技術の携帯電話においては、原画像である動画像にアイテム画像を合成して作成された動画像を楽しむことができるが、携帯電話の利用者は、コンテンツの提供業者等により提供されたアイテム画像のみによってしか、また、そのアイテム画像ごとに定められた振る舞いのみによってしか、合成された画像を楽しむことができなかった。それは、アイテム画像の振る舞いを決定するためのパラメータの種類が多く、複雑であるため、携帯電話の利用者の各々が、アイテム画像の振る舞いを決定するのは現実的ではなかったからである。しかし、携帯電話の利用者にとっては、独自に撮影した画像をアイテム画像としたり、アイテム画像の振る舞いを決めたりして、合成画像を作成することにより創作性のある動画像としたい場合も多い。
【０００７】
本発明は、上記の事情を鑑みてなされたものであり、原画像にアイテム画像を合成する画像処理を行うためのパラメータを、より簡易に決定できる画像処理パラメータ決定方法、画像処理方法及び情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理パラメータ決定方法は、情報処理装置における、原画像にアイテム画像を合成する画像処理を行うための画像処理パラメータ決定方法であって、前記情報処理装置の運動を計測する運動計測工程と；前記運動計測工程において計測された計測値に基づいて、前記画像処理を行うためのパラメータを決定するパラメータ決定工程と；を備える画像処理パラメータ決定方法である。
【０００９】
ここで「原画像にアイテム画像を合成する画像処理」とは、基となる画像（原画像）に別の画像（アイテム画像）を重ね合わせて合成する画像処理のことを意味し、原画像は静止画像でも動画像でも構わない。また、「画像処理を行うためのパラメータ」には、アイテム画像の位置、大きさ、アイテム画像の種類及び動かす場合には動かし方等その他の画像処理に含まれるパラメータの意味を含むこととする。また、「計測値に基づいて」とは、計測値の変化が画像処理を行うためのパラメータに影響を与えることを意味する。したがって、この画像処理パラメータ決定方法では、画像処理を行うためのパラメータをより簡易に決定することができる。
【００１０】
また、この画像処理パラメータ決定方法では、前記画像処理は、前記原画像から抽出された着目像に基づいて、前記原画像と前記アイテム画像とを合成する画像処理であり、前記パラメータは、前記画像処理が連続して行われることにより出力された動画像において、前記合成されたアイテム画像が、前記着目像に対して、前記運動と同様の動きをするように定められる、とすることができる。
【００１１】
ここで、「原画像から抽出された着目像に基づいて」とは、原画像を解析することによって抽出された着目像（例えば、人の顔等）に相対的な位置や大きさ等のパラメータにより合成されることを意味する。また、「画像処理が連続して行われることにより出力された動画像」とは、原画像が動画像である場合は勿論、原画像が静止画像である場合にも、静止画像に対して連続して画像処理を行うことにより出力される、アイテム画像の位置や種類等に変化のある動画像を意味している。「前記運動と同様の動き」とは、例えば、センサの計測が楕円を描くような動きを計測したのであれば、アイテム画像が楕円を描くような動きをする動画像が出力されることを意味している。したがって、この画像処理パラメータ決定方法では、画像処理されるアイテム画像の動きを、簡易に、かつ、利用者の思い通りに決定することができる。
【００１２】
本発明の画像処理方法は、本発明の画像処理パラメータ決定方法を使用して画像処理のパラメータを決定する画像処理パラメータ決定工程と；前記画像処理パラメータ決定方法により決定された画像処理パラメータを使用して、前記画像処理を行う画像処理工程と；を備える画像処理方法である。したがって、本発明の画像処理パラメータ決定方法で決定した画像処理パラメータを用いて画像処理を行うことができる。
【００１３】
本発明の情報処理装置は、運動を計測するセンサ手段と；前記センサ手段により計測された計測値に基づいて、原画像にアイテム画像を合成する画像処理における、前記画像処理を行うためのパラメータを決定するパラメータ決定手段と；を備える情報処理装置である。ここで、「センサ手段」は、加速度計や角速度計であってもよいし、方位や姿勢を計測することのできる磁力計であってもよい。
【００１４】
また、この情報処理装置では、前記パラメータ決定手段により決定されたパラメータを用いて、前記画像処理を行う画像処理手段を更に備える、とすることができる。また、この情報処理装置では、移動通信網と無線通信を行う無線通信手段を更に備える、とすることができる。
【発明の効果】
【００１５】
以上説明したように、本発明の画像処理パラメータ決定方法、画像処理方法及び情報処理装置によれば、画像処理を行うためのパラメータをより簡易に決定することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の情報処理装置の一実施形態である携帯電話１０について、図１〜図９を参照しつつ説明する。なお、これらの図においては、同一又は同等の要素には同一の符号を付し、重複する説明を省略する。
【００１７】
図１には、携帯電話１０の外観構成が概略的に示されている。図１に示されるように、携帯電話１０は、（ｉ）電話番号を入力するためのテンキー、及び、動作モードの切替等の各種指令を入力するためのファンクションキーを有する操作部１２と、（ii）携帯電話１０の操作案内、動作状況及び動画像等を表示する液晶表示装置を有する表示装置１３と、（iii）通話時に通信相手から送られてきた音声信号を再生する通話用スピーカ１４と、（iv）集音時に音を入力したり、通話時に音声を入力したりするためのマイクロフォン１５と、（ｖ）着信音や案内音を発生するための案内用スピーカ１６と、（vi）基地局と無線通信を行うためのアンテナ１７と、（vii）静止画像や動画像を撮影するカメラ部１８とを備えている。
【００１８】
なお、携帯電話１０においては、図１（Ｂ）の背面図において、左方向にＸ軸、上方向にＹ軸、そして、紙面の裏から表に向かう方向にＺ軸として、携帯電話１０固有の座標系が定義されるものとする。
【００１９】
図２には、携帯電話１０の内部の情報処理システムである内部システム１１が概略的に示されている。内部システム１１は、携帯電話１０のシステム全体を統括制御する制御部２１と、アンテナ１７を介して無線通信をおこなう送受信部２２と、携帯電話１０固有の座標系の原点を計測点とし、Ｘ軸、Ｙ軸及びＺ軸方向の加速度センサ及び磁力センサを備えたセンサ部２３と、を備えている。
【００２０】
また、制御部２１は、（ａ）原画像とアイテム画像を重ね合わせるマスク画像処理に関して、操作部１２からの入力に基づいて、統括して制御する画像処理制御部３１と、（ｂ）マスク画像処理を行うマスク画像処理部３２と、（ｃ）カメラ部１８からの画像を取得するカメラ画像取得部３３と、（ｄ）センサ部２３の各センサが計測した値を取得し、磁気方位に固定された座標系における３つの軸方向の加速度と、それらの軸周りの姿勢角の運動パラメータを算出する運動パラメータ算出部３４と、（ｅ）運動パラメータ算出部３４により算出された運動パラメータから、マスク画像処理のためのパラメータを算出する画像処理パラメータ算出部３５と、（ｆ）画像処理パラメータ算出部３５により、算出された画像処理パラメータとアイテム画像のデータから構成される画像処理用ファイルが保存されている画像処理用ファイル保存部３６と、（ｇ）アイテム画像として利用することができる画像のファイルが保存されている画像ファイル保存部３７とを備えている。
【００２１】
ここで、制御部２１は、不図示の中央処理装置（ＣＰＵ）、デジタル信号処理装置（ＤＳＰ）及び記憶装置（ＲＡＭ等）等のハードウェア及びソフトウェアにより構成されている。
【００２２】
また、ここで用いられるマスク画像処理は、原画像から抽出された人の顔である着目像に基づいて、着目像の特徴点位置（例えば、鼻の突端位置）及び大きさを抽出し、その大きさに対応する大きさで、利用者が選択したアイテム画像を重ね合わせて合成した画像を作成する処理である。この処理は、原画像が静止画像及び動画像のいずれの場合であっても、連続的に行われ、時間順次にアイテム画像の位置等を変化させることができる。この処理の際に用いられる、着目像に対する相対的な位置、大きさ及び表示タイミング等は、画像処理パラメータ算出部３５により算出され、画像処理用ファイルに収められる。
【００２３】
次に、上記のように構成された携帯電話１０のマスク画像処理における画像処理用パラメータ決定方法について説明する。
【００２４】
図３には、携帯電話１０の利用者が、携帯電話１０において画像処理用ファイルを作成して保存するまでの処理のシーケンス図が示されている。図３において、まず、携帯電話１０の利用者が、操作部１２を操作して画像処理用ファイルの作成指令を行うと、画像処理制御部３１は図４に示される画面５１を表示装置１３に表示する。ここで、利用者は、表示された画面５１の指示に従い、アイテム画像を選択する操作を行うと、画像処理制御部３１は、選択されたアイテム画像Ｐが表示された画面５２を表示する。
【００２５】
次に、図３に戻り、利用者がマスク画像処理される際の初期位置を設定する指令を行うと、画像処理制御部３１は、図４の画面５３に示されるように、予め画像処理制御部３１に保存され、人の画像が含まれる静止画像であるサンプル画像と、アイテム画像とを重ね合わせて表示する。利用者は操作部１２を操作して表示されたアイテム画像を上下左右に動かすことにより初期位置を設定する。引き続き、利用者が計測開始を指令すると、画像処理制御部３１はセンサ部２３に計測開始を指令し、計測処理Ｓ１が開始される。
【００２６】
計測処理Ｓ１は、図５に示されるように、まず、センサ部２３が、携帯電話１０の運動の計測を開始し、その計測値は運動パラメータ算出部３４に通知される。運動パラメータ算出部３４は通知されたＸ軸、Ｙ軸及びＺ軸の加速度及び磁力の値から、運動パラメータの算出を行い、画像処理パラメータ算出部３５に通知する。画像処理パラメータ算出部３５は、通知された運動パラメータから画像処理パラメータを算出する。算出される画像パラメータについては、後述する画像処理用ファイルの作成において説明する。
【００２７】
引き続き、マスク画像処理部３２は、画像処理制御部３１からアイテム画像と、人の顔の画像であるサンプル画像とを取得し、画像処理パラメータ算出部３５から画像処理パラメータを取得する。そしてこれらを使用してマスク画像処理を行い、処理画像を表示装置１３に表示する。この時に表示される画像は、利用者が携帯電話１０に図６に示されるような楕円を描くような運動をさせているとすると、図４の画面５４に示されるように、アイテム画像Ｐが、その楕円の運動と同様の動きで、サンプル画像の人の顔の回りを回る動画像となる。
【００２８】
利用者は、図６の運動を携帯電話１０にさせた後、計測終了の指令を行うと、画像処理制御部３１は、図３に示されるように、センサ部２３及び画像処理パラメータ算出部３５に計測終了を指令する。センサ部２３は運動の計測を終了し、画像処理パラメータ算出部３５は、計測処理Ｓ１の処理中に算出した画像処理パラメータを、アイテム画像Ｐのデータと共に画像処理用ファイル６１として、画像処理用ファイル保存部３６に保存する。
【００２９】
ここで、作成された画像処理用ファイル６１は、図７に示されるように、画像処理用パラメータ指定部６２とアイテム画像部６３とから構成され、アイテム画像部６３には、利用者により選択されたアイテム画像Ｐの画像データが収められている。また、画像処理用パラメータ指定部６２は、図８に示されるように、画像内の人の顔における鼻の突端を原点とした座標系により、位置を定義する位置定義領域６４と、アイテム画像Ｐを表示するために、位置定義領域６４において定められた位置、及び、大きさ並びに表示タイミング等が指定されたアイテム画像指定領域６５とから構成されている。
【００３０】
ここで、アイテム画像指定領域６５は、８つの指令Ｉ１〜Ｉ８により構成され、各指令を順番に実行することにより、アイテム画像Ｐが表示される。指令Ｉ１は、画像Ｐを、位置Ａにおいて、着目像である顔の大きさに対して相対的な基準の大きさを１００％としたときの大きさ６０％で０．３秒間表示することを表している。ここで、位置Ａは位置定義領域６４に指定され、座標系を着目像である顔の鼻の突端を原点とし、顔の大きさ及び向きにより相対的に変化する座標系における座標［−２５，−１５］であり、画像Ｐはアイテム画像Ｐである。指令Ｉ１による０．３秒間の表示が終了すると、引き続き、指令Ｉ２〜Ｉ８が順番に実行され、指令Ｉ８が終了すると、指令Ｉ１を繰り返し実行する仕組みとなっている。ここに示されるように、画像処理パラメータ算出部３５は、運動パラメータ算出部３４により算出された運動パラメータの３つ軸方向の加速度に基づいて、アイテム画像Ｐが、順番に８箇所で表示されて図６で示された楕円を描く運動と同じような動きとなるように画像処理パラメータの「位置」及び「時間」を算出している。また、表示されるアイテム画像Ｐの「大きさ」を表すパラメータは、姿勢角の変化に基づいて算出されることとしている。
【００３１】
図３に戻り、画像処理用ファイル６１を保存した画像処理パラメータ算出部３５は、ファイル作成が完了したことを画像処理制御部３１に通知し、通知を受けた画像処理制御部３１は、図４の画面５５を表示する。
【００３２】
次に、画面５５の指示に従い、保存された画像処理用ファイル６１の動作確認を指令した場合の処理について、図９を参照しつつ説明する。図９において、利用者が操作部１２を操作して、動作確認指令を行うと、指令は画像処理制御部３１を介して、マスク画像処理部３２に通知され処理Ｓ２を開始する。処理Ｓ２では、マスク画像処理部３２は、まず、前述したサンプル画像を画像処理制御部３１から取得し、画像処理ファイル保存部３６から画像処理用ファイル６１を取得する。引き続き、サンプル画像と画像処理用ファイル６１を用いて、マスク画像処理を行い、処理画像を表示装置１３に表示する。この時に表示される画像は、図４の画面５６に示されるように、計測処理Ｓ１の際に表示された画像と同じ、サンプル画像の人の顔の回りを、アイテム画像Ｐが回るように動く動画像である。ここで、アイテム画像Ｐの動きが気に入らない場合には、利用者がやり直しの操作を行うことにより、再度画面５３を表示させて、計測をやり直すことができる。
【００３３】
次に、動作確認を終えた利用者が、携帯電話１０のカメラ部１８を使用して、人の顔を撮影している場合に、撮影画像に対して、画像処理用ファイル６１のマスク画像処理をする指令を行うとする。この場合には、図９の処理Ｓ３に示されるように、マスク画像処理部３２は、カメラ部１８が撮影した画像を、カメラ画像取得部３３を介して取得すると共に、画像処理用ファイル保存部３６から画像処理用ファイル６１を取得する。マスク画像処理部３２は、上記動作確認の場合と同様に、マスク画像処理を行い、表示装置１３に処理画像を表示する。なお、この場合には、処理対象である画像は動画像であるため、人の顔の画像の動きにあわせてアイテム画像Ｐの回転中心、大きさ及び角度も動く動画像となる。
【００３４】
以上、説明したように、本実施形態では、まず、利用者がマスク画像処理におけるアイテム画像を選択する。引き続き、利用者は、携帯電話１０が運動の計測を開始する指令をし、利用者は携帯電話１０に、アイテム画像の画像処理パラメータと関連付けられる運動を行う。行われた運動はセンサ部２３により計測され、運動パラメータ算出部３４により運動パラメータが算出される。画像処理パラメータ算出部３５は、算出された運動パラメータから、マスク画像処理を行うための位置、大きさ及び表示タイミング等のパラメータである画像処理パラメータを算出し、マスク画像処理部３２は、サンプル画像にアイテム画像を重ね合わせた画像を表示する。計測が終了すると、画像処理パラメータは、画像処理用ファイル６１として、アイテム画像のデータと共に保存される。次に、利用者が動作確認指令を行うと、マスク画像処理部３２は、サンプル画像と画像処理用ファイル６１を取得し、サンプル画像と画像処理用ファイル６１に保存されたアイテム画像を、画像処理パラメータの指令どおりに合成する処理を行う。また、カメラ部１８によるカメラ撮影画像を用いたマスク処理を行うことを指令すると、マスク画像処理部３２は、カメラ撮影画像と画像処理用ファイル６１を取得し、カメラ撮影画像と画像処理用ファイル６１に保存されたアイテム画像を、画像処理パラメータの指令どおりに合成する処理を行う。
【００３５】
したがって、本実施形態によれば、携帯電話１０の運動を用いてマスク画像処理を行うためのパラメータを決定しているため、簡易に決定することができる。
【００３６】
また、本実施形態では、携帯電話１０の動きが、そのまま合成されたアイテム画像の動きに反映されるため、アイテム画像の動きを、簡易に、かつ、利用者の思い通りに決定することができる。
【００３７】
なお、本実施形態においては、画像処理用ファイルの作成及びマスク画像処理を同一の装置で行うこととしたが、別々の装置で行うこととしてもよい。
【００３８】
また、本実施形態においては、運動を計測するためのセンサとして、３軸の磁力センサ及び加速度センサを用いたが、角速度センサその他の運動を計測するためのセンサを用いてもよいし、センサの数及び組合せが異なるものであってもよい。
【００３９】
また、本実施形態においては、携帯電話１０にさせた運動と同様の動きをアイテム画像Ｐについてさせることとしたが、動きだけでなく、画像の種類を変更することとしてもよい。
【００４０】
また、本実施形態においては、動作確認をおこなった画像処理パラメータが気に入らない場合には、運動を再度計測することとしたが、作成された画像処理パラメータを参照して、直接画像処理パラメータを修正できることとしてもよい。
【００４１】
また、本実施形態においては、マスク画像処理後の動画像について、表示装置１３に表示のみをすることとしたが、動画像として保存させることとしてもよい。
【００４２】
また、本実施形態においては、情報処理装置として携帯電話を用いたが、その他の情報処理装置であってもよい。
【産業上の利用可能性】
【００４３】
以上説明したように本発明の画像処理パラメータ決定方法、画像処理方法及び情報処理装置は、画像の表示をすることのできる情報処理装置に適用することができる。
【図面の簡単な説明】
【００４４】
【図１】本発明の一実施形態である携帯電話１０を概略的に示す図である。
【図２】図１の携帯電話１０の内部システム１１を概略的に示す図である。
【図３】図１の携帯電話１０における画像処理用ファイルの作成のシーケンス図である。
【図４】図１の表示装置１３に表示される、画像処理用ファイルの作成の際の画面の遷移を表す図である。
【図５】図３の計測処理Ｓ１のシーケンス図である。
【図６】図１の携帯電話１０の、運動パラメータ取得の際の運動の様子を表す図である。
【図７】図２の画像処理用ファイル保存部３６に保存された画像保存ファイル６１の構成を示す図である。
【図８】図７の画像処理用パラメータ指定部６２の構成を示す図である。
【図９】図８の画像処理用パラメータを用いたマスク画像処理のシーケンス図である。
【符号の説明】
【００４５】
１０…携帯電話（情報処理装置）、１１…内部システム、１２…操作部、１３…表示装置、１４…通話用スピーカ、１５…マイクロフォン、１６…案内用スピーカ、１７…アンテナ（無線通信手段の一部）、１８…カメラ部、２１…制御部、２２…送受信部（無線通信手段の一部）、２３…センサ部（センサ手段）、３１…画像処理制御部、３２…マスク画像処理部（画像処理手段）、３３…カメラ画像取得部、３４…運動パラメータ算出部（パラメータ決定手段の一部）、３５…画像処理パラメータ算出部（パラメータ決定手段の一部）、３６…画像処理用ファイル保存部、３７…画像ファイル保存部、６１…画像処理用ファイル、６２…画像処理用パラメータ指定部、６３…アイテム画像部、６４…位置定義領域、６５…アイテム画像指定領域。
【技術分野】
【０００１】
本発明は、画像処理パラメータ決定方法、画像処理方法及び情報処理装置に係り、より詳しくは原画像にアイテム画像を合成する画像処理を行うための画像処理パラメータ決定方法、画像処理方法、情報処理装置及び移動通信端末装置に関する。
【背景技術】
【０００２】
従来から、画像処理の技術として、画像に人の顔が存在することを認識する顔認識の技術がある。この顔認識の技術では、画像内の顔の存在だけでなく、顔の特徴点を抽出し、個人を特定することも可能となっている（特許文献１参照）。
【０００３】
また、このような顔認識技術を応用して、顔の特定部分にアイテム画像を合成することにより、合成された画像を楽しむことも可能となっている。特に、動画像にこの技術を利用した場合には、画像の中で顔が移動したり、傾いたりしても、アイテム画像は動画像に追従して動くことが可能となっているため、合成画像としての動画像を楽しむことができる（非特許文献１参照）。また、この技術はカメラ付の携帯電話において、カメラで撮影された動画像や静止画像で利用され、実用化されている（非特許文献２参照）。
【０００４】
一方、近年急速に普及し、高機能化及び多機能化する携帯電話をはじめとする情報処理装置においては、加速度計等を搭載し、情報処理装置自身の運動を計測することにより、そのデータを処理する情報処理装置が現れている。例えば、特許文献２では、携帯電話機に加速度センサ又は角速度センサを搭載し、ゲームの入力装置等に用いることが開示されている。
【０００５】
【特許文献１】特表２００２−５１１６１７号公報
【特許文献２】特開２００１−２７２４１３号公報
【非特許文献１】ニブンビジョン株式会社、“Virtual Accessory 技術概要”、［online］、２００４年５月１１日、［２００５年４月７日検索］、インターネット＜URL:http://www.n-vision.jp/product/va_p3.html＞
【非特許文献２】ボーダフォン株式会社、“プレスリリース”、［online］、２００４年６月３０日、［２００５年４月７日検索］、インターネット＜URL：http://www.vodafone.jp/japanese/release/0406302.html＞
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述した従来の技術の携帯電話においては、原画像である動画像にアイテム画像を合成して作成された動画像を楽しむことができるが、携帯電話の利用者は、コンテンツの提供業者等により提供されたアイテム画像のみによってしか、また、そのアイテム画像ごとに定められた振る舞いのみによってしか、合成された画像を楽しむことができなかった。それは、アイテム画像の振る舞いを決定するためのパラメータの種類が多く、複雑であるため、携帯電話の利用者の各々が、アイテム画像の振る舞いを決定するのは現実的ではなかったからである。しかし、携帯電話の利用者にとっては、独自に撮影した画像をアイテム画像としたり、アイテム画像の振る舞いを決めたりして、合成画像を作成することにより創作性のある動画像としたい場合も多い。
【０００７】
本発明は、上記の事情を鑑みてなされたものであり、原画像にアイテム画像を合成する画像処理を行うためのパラメータを、より簡易に決定できる画像処理パラメータ決定方法、画像処理方法及び情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理パラメータ決定方法は、情報処理装置における、原画像にアイテム画像を合成する画像処理を行うための画像処理パラメータ決定方法であって、前記情報処理装置の運動を計測する運動計測工程と；前記運動計測工程において計測された計測値に基づいて、前記画像処理を行うためのパラメータを決定するパラメータ決定工程と；を備える画像処理パラメータ決定方法である。
【０００９】
ここで「原画像にアイテム画像を合成する画像処理」とは、基となる画像（原画像）に別の画像（アイテム画像）を重ね合わせて合成する画像処理のことを意味し、原画像は静止画像でも動画像でも構わない。また、「画像処理を行うためのパラメータ」には、アイテム画像の位置、大きさ、アイテム画像の種類及び動かす場合には動かし方等その他の画像処理に含まれるパラメータの意味を含むこととする。また、「計測値に基づいて」とは、計測値の変化が画像処理を行うためのパラメータに影響を与えることを意味する。したがって、この画像処理パラメータ決定方法では、画像処理を行うためのパラメータをより簡易に決定することができる。
【００１０】
また、この画像処理パラメータ決定方法では、前記画像処理は、前記原画像から抽出された着目像に基づいて、前記原画像と前記アイテム画像とを合成する画像処理であり、前記パラメータは、前記画像処理が連続して行われることにより出力された動画像において、前記合成されたアイテム画像が、前記着目像に対して、前記運動と同様の動きをするように定められる、とすることができる。
【００１１】
ここで、「原画像から抽出された着目像に基づいて」とは、原画像を解析することによって抽出された着目像（例えば、人の顔等）に相対的な位置や大きさ等のパラメータにより合成されることを意味する。また、「画像処理が連続して行われることにより出力された動画像」とは、原画像が動画像である場合は勿論、原画像が静止画像である場合にも、静止画像に対して連続して画像処理を行うことにより出力される、アイテム画像の位置や種類等に変化のある動画像を意味している。「前記運動と同様の動き」とは、例えば、センサの計測が楕円を描くような動きを計測したのであれば、アイテム画像が楕円を描くような動きをする動画像が出力されることを意味している。したがって、この画像処理パラメータ決定方法では、画像処理されるアイテム画像の動きを、簡易に、かつ、利用者の思い通りに決定することができる。
【００１２】
本発明の画像処理方法は、本発明の画像処理パラメータ決定方法を使用して画像処理のパラメータを決定する画像処理パラメータ決定工程と；前記画像処理パラメータ決定方法により決定された画像処理パラメータを使用して、前記画像処理を行う画像処理工程と；を備える画像処理方法である。したがって、本発明の画像処理パラメータ決定方法で決定した画像処理パラメータを用いて画像処理を行うことができる。
【００１３】
本発明の情報処理装置は、運動を計測するセンサ手段と；前記センサ手段により計測された計測値に基づいて、原画像にアイテム画像を合成する画像処理における、前記画像処理を行うためのパラメータを決定するパラメータ決定手段と；を備える情報処理装置である。ここで、「センサ手段」は、加速度計や角速度計であってもよいし、方位や姿勢を計測することのできる磁力計であってもよい。
【００１４】
また、この情報処理装置では、前記パラメータ決定手段により決定されたパラメータを用いて、前記画像処理を行う画像処理手段を更に備える、とすることができる。また、この情報処理装置では、移動通信網と無線通信を行う無線通信手段を更に備える、とすることができる。
【発明の効果】
【００１５】
以上説明したように、本発明の画像処理パラメータ決定方法、画像処理方法及び情報処理装置によれば、画像処理を行うためのパラメータをより簡易に決定することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の情報処理装置の一実施形態である携帯電話１０について、図１〜図９を参照しつつ説明する。なお、これらの図においては、同一又は同等の要素には同一の符号を付し、重複する説明を省略する。
【００１７】
図１には、携帯電話１０の外観構成が概略的に示されている。図１に示されるように、携帯電話１０は、（ｉ）電話番号を入力するためのテンキー、及び、動作モードの切替等の各種指令を入力するためのファンクションキーを有する操作部１２と、（ii）携帯電話１０の操作案内、動作状況及び動画像等を表示する液晶表示装置を有する表示装置１３と、（iii）通話時に通信相手から送られてきた音声信号を再生する通話用スピーカ１４と、（iv）集音時に音を入力したり、通話時に音声を入力したりするためのマイクロフォン１５と、（ｖ）着信音や案内音を発生するための案内用スピーカ１６と、（vi）基地局と無線通信を行うためのアンテナ１７と、（vii）静止画像や動画像を撮影するカメラ部１８とを備えている。
【００１８】
なお、携帯電話１０においては、図１（Ｂ）の背面図において、左方向にＸ軸、上方向にＹ軸、そして、紙面の裏から表に向かう方向にＺ軸として、携帯電話１０固有の座標系が定義されるものとする。
【００１９】
図２には、携帯電話１０の内部の情報処理システムである内部システム１１が概略的に示されている。内部システム１１は、携帯電話１０のシステム全体を統括制御する制御部２１と、アンテナ１７を介して無線通信をおこなう送受信部２２と、携帯電話１０固有の座標系の原点を計測点とし、Ｘ軸、Ｙ軸及びＺ軸方向の加速度センサ及び磁力センサを備えたセンサ部２３と、を備えている。
【００２０】
また、制御部２１は、（ａ）原画像とアイテム画像を重ね合わせるマスク画像処理に関して、操作部１２からの入力に基づいて、統括して制御する画像処理制御部３１と、（ｂ）マスク画像処理を行うマスク画像処理部３２と、（ｃ）カメラ部１８からの画像を取得するカメラ画像取得部３３と、（ｄ）センサ部２３の各センサが計測した値を取得し、磁気方位に固定された座標系における３つの軸方向の加速度と、それらの軸周りの姿勢角の運動パラメータを算出する運動パラメータ算出部３４と、（ｅ）運動パラメータ算出部３４により算出された運動パラメータから、マスク画像処理のためのパラメータを算出する画像処理パラメータ算出部３５と、（ｆ）画像処理パラメータ算出部３５により、算出された画像処理パラメータとアイテム画像のデータから構成される画像処理用ファイルが保存されている画像処理用ファイル保存部３６と、（ｇ）アイテム画像として利用することができる画像のファイルが保存されている画像ファイル保存部３７とを備えている。
【００２１】
ここで、制御部２１は、不図示の中央処理装置（ＣＰＵ）、デジタル信号処理装置（ＤＳＰ）及び記憶装置（ＲＡＭ等）等のハードウェア及びソフトウェアにより構成されている。
【００２２】
また、ここで用いられるマスク画像処理は、原画像から抽出された人の顔である着目像に基づいて、着目像の特徴点位置（例えば、鼻の突端位置）及び大きさを抽出し、その大きさに対応する大きさで、利用者が選択したアイテム画像を重ね合わせて合成した画像を作成する処理である。この処理は、原画像が静止画像及び動画像のいずれの場合であっても、連続的に行われ、時間順次にアイテム画像の位置等を変化させることができる。この処理の際に用いられる、着目像に対する相対的な位置、大きさ及び表示タイミング等は、画像処理パラメータ算出部３５により算出され、画像処理用ファイルに収められる。
【００２３】
次に、上記のように構成された携帯電話１０のマスク画像処理における画像処理用パラメータ決定方法について説明する。
【００２４】
図３には、携帯電話１０の利用者が、携帯電話１０において画像処理用ファイルを作成して保存するまでの処理のシーケンス図が示されている。図３において、まず、携帯電話１０の利用者が、操作部１２を操作して画像処理用ファイルの作成指令を行うと、画像処理制御部３１は図４に示される画面５１を表示装置１３に表示する。ここで、利用者は、表示された画面５１の指示に従い、アイテム画像を選択する操作を行うと、画像処理制御部３１は、選択されたアイテム画像Ｐが表示された画面５２を表示する。
【００２５】
次に、図３に戻り、利用者がマスク画像処理される際の初期位置を設定する指令を行うと、画像処理制御部３１は、図４の画面５３に示されるように、予め画像処理制御部３１に保存され、人の画像が含まれる静止画像であるサンプル画像と、アイテム画像とを重ね合わせて表示する。利用者は操作部１２を操作して表示されたアイテム画像を上下左右に動かすことにより初期位置を設定する。引き続き、利用者が計測開始を指令すると、画像処理制御部３１はセンサ部２３に計測開始を指令し、計測処理Ｓ１が開始される。
【００２６】
計測処理Ｓ１は、図５に示されるように、まず、センサ部２３が、携帯電話１０の運動の計測を開始し、その計測値は運動パラメータ算出部３４に通知される。運動パラメータ算出部３４は通知されたＸ軸、Ｙ軸及びＺ軸の加速度及び磁力の値から、運動パラメータの算出を行い、画像処理パラメータ算出部３５に通知する。画像処理パラメータ算出部３５は、通知された運動パラメータから画像処理パラメータを算出する。算出される画像パラメータについては、後述する画像処理用ファイルの作成において説明する。
【００２７】
引き続き、マスク画像処理部３２は、画像処理制御部３１からアイテム画像と、人の顔の画像であるサンプル画像とを取得し、画像処理パラメータ算出部３５から画像処理パラメータを取得する。そしてこれらを使用してマスク画像処理を行い、処理画像を表示装置１３に表示する。この時に表示される画像は、利用者が携帯電話１０に図６に示されるような楕円を描くような運動をさせているとすると、図４の画面５４に示されるように、アイテム画像Ｐが、その楕円の運動と同様の動きで、サンプル画像の人の顔の回りを回る動画像となる。
【００２８】
利用者は、図６の運動を携帯電話１０にさせた後、計測終了の指令を行うと、画像処理制御部３１は、図３に示されるように、センサ部２３及び画像処理パラメータ算出部３５に計測終了を指令する。センサ部２３は運動の計測を終了し、画像処理パラメータ算出部３５は、計測処理Ｓ１の処理中に算出した画像処理パラメータを、アイテム画像Ｐのデータと共に画像処理用ファイル６１として、画像処理用ファイル保存部３６に保存する。
【００２９】
ここで、作成された画像処理用ファイル６１は、図７に示されるように、画像処理用パラメータ指定部６２とアイテム画像部６３とから構成され、アイテム画像部６３には、利用者により選択されたアイテム画像Ｐの画像データが収められている。また、画像処理用パラメータ指定部６２は、図８に示されるように、画像内の人の顔における鼻の突端を原点とした座標系により、位置を定義する位置定義領域６４と、アイテム画像Ｐを表示するために、位置定義領域６４において定められた位置、及び、大きさ並びに表示タイミング等が指定されたアイテム画像指定領域６５とから構成されている。
【００３０】
ここで、アイテム画像指定領域６５は、８つの指令Ｉ１〜Ｉ８により構成され、各指令を順番に実行することにより、アイテム画像Ｐが表示される。指令Ｉ１は、画像Ｐを、位置Ａにおいて、着目像である顔の大きさに対して相対的な基準の大きさを１００％としたときの大きさ６０％で０．３秒間表示することを表している。ここで、位置Ａは位置定義領域６４に指定され、座標系を着目像である顔の鼻の突端を原点とし、顔の大きさ及び向きにより相対的に変化する座標系における座標［−２５，−１５］であり、画像Ｐはアイテム画像Ｐである。指令Ｉ１による０．３秒間の表示が終了すると、引き続き、指令Ｉ２〜Ｉ８が順番に実行され、指令Ｉ８が終了すると、指令Ｉ１を繰り返し実行する仕組みとなっている。ここに示されるように、画像処理パラメータ算出部３５は、運動パラメータ算出部３４により算出された運動パラメータの３つ軸方向の加速度に基づいて、アイテム画像Ｐが、順番に８箇所で表示されて図６で示された楕円を描く運動と同じような動きとなるように画像処理パラメータの「位置」及び「時間」を算出している。また、表示されるアイテム画像Ｐの「大きさ」を表すパラメータは、姿勢角の変化に基づいて算出されることとしている。
【００３１】
図３に戻り、画像処理用ファイル６１を保存した画像処理パラメータ算出部３５は、ファイル作成が完了したことを画像処理制御部３１に通知し、通知を受けた画像処理制御部３１は、図４の画面５５を表示する。
【００３２】
次に、画面５５の指示に従い、保存された画像処理用ファイル６１の動作確認を指令した場合の処理について、図９を参照しつつ説明する。図９において、利用者が操作部１２を操作して、動作確認指令を行うと、指令は画像処理制御部３１を介して、マスク画像処理部３２に通知され処理Ｓ２を開始する。処理Ｓ２では、マスク画像処理部３２は、まず、前述したサンプル画像を画像処理制御部３１から取得し、画像処理ファイル保存部３６から画像処理用ファイル６１を取得する。引き続き、サンプル画像と画像処理用ファイル６１を用いて、マスク画像処理を行い、処理画像を表示装置１３に表示する。この時に表示される画像は、図４の画面５６に示されるように、計測処理Ｓ１の際に表示された画像と同じ、サンプル画像の人の顔の回りを、アイテム画像Ｐが回るように動く動画像である。ここで、アイテム画像Ｐの動きが気に入らない場合には、利用者がやり直しの操作を行うことにより、再度画面５３を表示させて、計測をやり直すことができる。
【００３３】
次に、動作確認を終えた利用者が、携帯電話１０のカメラ部１８を使用して、人の顔を撮影している場合に、撮影画像に対して、画像処理用ファイル６１のマスク画像処理をする指令を行うとする。この場合には、図９の処理Ｓ３に示されるように、マスク画像処理部３２は、カメラ部１８が撮影した画像を、カメラ画像取得部３３を介して取得すると共に、画像処理用ファイル保存部３６から画像処理用ファイル６１を取得する。マスク画像処理部３２は、上記動作確認の場合と同様に、マスク画像処理を行い、表示装置１３に処理画像を表示する。なお、この場合には、処理対象である画像は動画像であるため、人の顔の画像の動きにあわせてアイテム画像Ｐの回転中心、大きさ及び角度も動く動画像となる。
【００３４】
以上、説明したように、本実施形態では、まず、利用者がマスク画像処理におけるアイテム画像を選択する。引き続き、利用者は、携帯電話１０が運動の計測を開始する指令をし、利用者は携帯電話１０に、アイテム画像の画像処理パラメータと関連付けられる運動を行う。行われた運動はセンサ部２３により計測され、運動パラメータ算出部３４により運動パラメータが算出される。画像処理パラメータ算出部３５は、算出された運動パラメータから、マスク画像処理を行うための位置、大きさ及び表示タイミング等のパラメータである画像処理パラメータを算出し、マスク画像処理部３２は、サンプル画像にアイテム画像を重ね合わせた画像を表示する。計測が終了すると、画像処理パラメータは、画像処理用ファイル６１として、アイテム画像のデータと共に保存される。次に、利用者が動作確認指令を行うと、マスク画像処理部３２は、サンプル画像と画像処理用ファイル６１を取得し、サンプル画像と画像処理用ファイル６１に保存されたアイテム画像を、画像処理パラメータの指令どおりに合成する処理を行う。また、カメラ部１８によるカメラ撮影画像を用いたマスク処理を行うことを指令すると、マスク画像処理部３２は、カメラ撮影画像と画像処理用ファイル６１を取得し、カメラ撮影画像と画像処理用ファイル６１に保存されたアイテム画像を、画像処理パラメータの指令どおりに合成する処理を行う。
【００３５】
したがって、本実施形態によれば、携帯電話１０の運動を用いてマスク画像処理を行うためのパラメータを決定しているため、簡易に決定することができる。
【００３６】
また、本実施形態では、携帯電話１０の動きが、そのまま合成されたアイテム画像の動きに反映されるため、アイテム画像の動きを、簡易に、かつ、利用者の思い通りに決定することができる。
【００３７】
なお、本実施形態においては、画像処理用ファイルの作成及びマスク画像処理を同一の装置で行うこととしたが、別々の装置で行うこととしてもよい。
【００３８】
また、本実施形態においては、運動を計測するためのセンサとして、３軸の磁力センサ及び加速度センサを用いたが、角速度センサその他の運動を計測するためのセンサを用いてもよいし、センサの数及び組合せが異なるものであってもよい。
【００３９】
また、本実施形態においては、携帯電話１０にさせた運動と同様の動きをアイテム画像Ｐについてさせることとしたが、動きだけでなく、画像の種類を変更することとしてもよい。
【００４０】
また、本実施形態においては、動作確認をおこなった画像処理パラメータが気に入らない場合には、運動を再度計測することとしたが、作成された画像処理パラメータを参照して、直接画像処理パラメータを修正できることとしてもよい。
【００４１】
また、本実施形態においては、マスク画像処理後の動画像について、表示装置１３に表示のみをすることとしたが、動画像として保存させることとしてもよい。
【００４２】
また、本実施形態においては、情報処理装置として携帯電話を用いたが、その他の情報処理装置であってもよい。
【産業上の利用可能性】
【００４３】
以上説明したように本発明の画像処理パラメータ決定方法、画像処理方法及び情報処理装置は、画像の表示をすることのできる情報処理装置に適用することができる。
【図面の簡単な説明】
【００４４】
【図１】本発明の一実施形態である携帯電話１０を概略的に示す図である。
【図２】図１の携帯電話１０の内部システム１１を概略的に示す図である。
【図３】図１の携帯電話１０における画像処理用ファイルの作成のシーケンス図である。
【図４】図１の表示装置１３に表示される、画像処理用ファイルの作成の際の画面の遷移を表す図である。
【図５】図３の計測処理Ｓ１のシーケンス図である。
【図６】図１の携帯電話１０の、運動パラメータ取得の際の運動の様子を表す図である。
【図７】図２の画像処理用ファイル保存部３６に保存された画像保存ファイル６１の構成を示す図である。
【図８】図７の画像処理用パラメータ指定部６２の構成を示す図である。
【図９】図８の画像処理用パラメータを用いたマスク画像処理のシーケンス図である。
【符号の説明】
【００４５】
１０…携帯電話（情報処理装置）、１１…内部システム、１２…操作部、１３…表示装置、１４…通話用スピーカ、１５…マイクロフォン、１６…案内用スピーカ、１７…アンテナ（無線通信手段の一部）、１８…カメラ部、２１…制御部、２２…送受信部（無線通信手段の一部）、２３…センサ部（センサ手段）、３１…画像処理制御部、３２…マスク画像処理部（画像処理手段）、３３…カメラ画像取得部、３４…運動パラメータ算出部（パラメータ決定手段の一部）、３５…画像処理パラメータ算出部（パラメータ決定手段の一部）、３６…画像処理用ファイル保存部、３７…画像ファイル保存部、６１…画像処理用ファイル、６２…画像処理用パラメータ指定部、６３…アイテム画像部、６４…位置定義領域、６５…アイテム画像指定領域。
【特許請求の範囲】
【請求項１】
情報処理装置における、原画像にアイテム画像を合成する画像処理を行うための画像処理パラメータ決定方法であって、
前記情報処理装置の運動を計測する運動計測工程と；
前記運動計測工程において計測された計測値に基づいて、前記画像処理を行うためのパラメータを決定するパラメータ決定工程と；を備える画像処理パラメータ決定方法。
【請求項２】
前記画像処理は、前記原画像から抽出された着目像に基づいて、前記原画像と前記アイテム画像とを合成する画像処理であり、
前記パラメータは、前記画像処理が連続して行われることにより出力された動画像において、前記合成されたアイテム画像が、前記着目像に対して、前記運動と同様の動きをするように定められる、ことを特徴とする請求項１に記載の画像処理パラメータ決定方法。
【請求項３】
請求項１又は２に記載の画像処理パラメータ決定方法を使用して画像処理のパラメータを決定する画像処理パラメータ決定工程と；
前記画像処理パラメータ決定方法により決定された画像処理パラメータを使用して、前記画像処理を行う画像処理工程と；を備える画像処理方法。
【請求項４】
運動を計測するセンサ手段と；
前記センサ手段により計測された計測値に基づいて、原画像にアイテム画像を合成する画像処理における、前記画像処理を行うためのパラメータを決定するパラメータ決定手段と；を備える情報処理装置。
【請求項５】
前記パラメータ決定手段により決定されたパラメータを用いて、前記画像処理を行う画像処理手段を更に備える、ことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
移動通信網と無線通信を行う無線通信手段を更に備える、ことを特徴とする請求項４又は５に記載の情報処理装置。
【請求項１】
情報処理装置における、原画像にアイテム画像を合成する画像処理を行うための画像処理パラメータ決定方法であって、
前記情報処理装置の運動を計測する運動計測工程と；
前記運動計測工程において計測された計測値に基づいて、前記画像処理を行うためのパラメータを決定するパラメータ決定工程と；を備える画像処理パラメータ決定方法。
【請求項２】
前記画像処理は、前記原画像から抽出された着目像に基づいて、前記原画像と前記アイテム画像とを合成する画像処理であり、
前記パラメータは、前記画像処理が連続して行われることにより出力された動画像において、前記合成されたアイテム画像が、前記着目像に対して、前記運動と同様の動きをするように定められる、ことを特徴とする請求項１に記載の画像処理パラメータ決定方法。
【請求項３】
請求項１又は２に記載の画像処理パラメータ決定方法を使用して画像処理のパラメータを決定する画像処理パラメータ決定工程と；
前記画像処理パラメータ決定方法により決定された画像処理パラメータを使用して、前記画像処理を行う画像処理工程と；を備える画像処理方法。
【請求項４】
運動を計測するセンサ手段と；
前記センサ手段により計測された計測値に基づいて、原画像にアイテム画像を合成する画像処理における、前記画像処理を行うためのパラメータを決定するパラメータ決定手段と；を備える情報処理装置。
【請求項５】
前記パラメータ決定手段により決定されたパラメータを用いて、前記画像処理を行う画像処理手段を更に備える、ことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
移動通信網と無線通信を行う無線通信手段を更に備える、ことを特徴とする請求項４又は５に記載の情報処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００７−２５７４６（Ｐ２００７−２５７４６Ａ）
【公開日】平成１９年２月１日（２００７．２．１）
【国際特許分類】
【出願番号】特願２００５−２０２４９６（Ｐ２００５−２０２４９６）
【出願日】平成１７年７月１２日（２００５．７．１２）
【出願人】（５０１４４０６８４）ソフトバンクモバイル株式会社 (654)
【Ｆターム（参考）】
【公開日】平成１９年２月１日（２００７．２．１）
【国際特許分類】
【出願日】平成１７年７月１２日（２００５．７．１２）
【出願人】（５０１４４０６８４）ソフトバンクモバイル株式会社 (654)
【Ｆターム（参考）】
[ Back to top ]