画像合成装置、及び、画像合成方法
【課題】画像データとフレーム画像データとを合成する場合に、常に双方のバランスがよい合成を可能にすることである。
【解決手段】画像データ内における表示対象の位置を判別する判別手段と、この判別手段によって判別された表示対象の位置に合わせて予め用意されたフレーム画像データを変形させる変形手段と、前記表示対象がこの変形されたフレーム画像データの枠内に収まるように、前記画像データと前記フレーム画像データとを合成して表示する表示手段とを備えたことを特徴とする。
【解決手段】画像データ内における表示対象の位置を判別する判別手段と、この判別手段によって判別された表示対象の位置に合わせて予め用意されたフレーム画像データを変形させる変形手段と、前記表示対象がこの変形されたフレーム画像データの枠内に収まるように、前記画像データと前記フレーム画像データとを合成して表示する表示手段とを備えたことを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像データとフレーム画像データとを合成する画像合成装置、及び、画像合成方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラやカメラ機能付き携帯電話が普及しており、多くの場面で撮影が行われるようになっている。また、最近では、被写体を撮影するだけでなく、フレーム画像データを合成して撮影画像データの印刷や保存をする機能が一般化されつつある。例えば、複数のフレーム画像データを記憶し、すでに撮影済みの画像データと合成する場合、ユーザは複数の画像データの中から最もお気に入りの画像データを選択し、その画像データとフレーム画像データとを合成することができる撮影装置が開示されている（特許文献１、参照。）。
【特許文献１】特開２００１−３５２５０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の撮影装置では、フレーム画像データの選択や画像データの選択、変更は可能であっても、フレームサイズは既定であるため変更できず、フレームサイズと画像サイズのバランスが悪い合成画像ができてしまうという問題があった。
【０００４】
本発明の課題は、画像データとフレーム画像データとを合成する場合に、常に双方のバランスがよい合成を可能にすることである。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、請求項１に記載の発明は、画像データ内における表示対象の位置を判別する判別手段と、この判別手段によって判別された表示対象の位置に合わせて予め用意されたフレーム画像データを変形させる変形手段と、前記表示対象がこの変形されたフレーム画像データの枠内に収まるように、前記画像データと前記フレーム画像データとを合成して表示する表示手段とを備えたことを特徴としている。
【０００６】
請求項２に記載の発明は、請求項１に記載の画像合成装置において、前記画像合成装置は、撮像手段を更に備え、前記画像データは、前記撮像手段によって撮像されたものであることを特徴としている。
【０００７】
請求項３に記載の発明は、請求項２に記載の画像合成装置において、前記表示対象は前記撮像手段によって撮像された被写体像であることを特徴としている。
【０００８】
請求項４に記載の発明は、請求項１から３の何れか一項に記載の画像合成装置において、前記フレーム画像データは、複数の色領域を有し、前記変形手段は、前記複数の色領域のそれぞれを前記被写体像の位置に合わせて変形させることを特徴としている。
【０００９】
請求項５に記載の発明は、画像データ内における表示対象の位置を判別する判別ステップと、この判別ステップにて判別された前記表示対象の位置に合わせて予め用意されたフレーム画像データを変形させる変形ステップと、前記表示対象がこの変形されたフレーム画像データの枠内の収まるように、前記画像データと前記変形されたフレーム画像データとを合成して表示させる表示ステップとからなることを特徴としている。
【００１０】
請求項６に記載の発明は、コンピュータに、画像データ内における表示対象の位置を判別する判別手段、この判別手段によって判別された前記表示対象の位置に合わせて予め用意されたフレーム画像データを変形させる変形手段、前記表示対象がこの変形されたフレーム画像データの枠内に収まるように、前記画像データと前記変形されたフレーム画像データとを合成して表示させる表示手段として機能させることを特徴としている。
【発明の効果】
【００１１】
本発明によれば、画像データとフレーム画像データを合成する際に、画像データから抽出した表示対象の位置に合わせて、フレーム画像データを変形させることにより、画像データとフレーム画像データとのバランスがよい合成画像データを作成することが可能となる。
【発明を実施するための最良の形態】
【００１２】
以下、図を参照して、本発明の実施形態について詳細に説明する。
【００１３】
図１に、本発明の実施形態に係る画像合成装置１００の主要部構成を示す。なお、本実施形態においては、画像合成装置１００としてカメラ機能付き携帯電話の構成としたが、これに限られず、別の構成としてもよい。図１に示すように、画像合成装置（以下、携帯電話）１００は、アンテナ１、通信部２、音声処理部３、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６、撮影用センサ７、キー入力部８、表示ドライバ９、表示部１０、スピーカー１１、マイク１２等により構成される。
【００１４】
アンテナ１は、携帯電話１００と基地局との間で行われる無線通信により送受信される信号を受信する。そして、受信した信号を通信部２へ出力する。
【００１５】
通信部２は、アンテナ１から信号が入力されると、その信号を音声処理部３及びＣＰＵ４へ出力する。
【００１６】
音声処理部３は、通信部２から信号が入力されると、その信号に制御処理を施し、スピーカー１１に出力することでユーザに音声を伝える。また、マイク１２は、ユーザにより音声が入力されると、その信号を音声処理部３に入力する。
【００１７】
ＣＰＵ４は、通信部２やその他各部から入力される指示に応じて所定のプログラムに基づいた処理を実行し、各機能部への指示やデータの転送を行う中央演算装置である。具体的にＣＰＵ４は、キー入力部８から入力される操作信号に応じて、ＲＯＭ５に格納されたプログラムを読み出し、当該プログラムに従った処理を実行する。そして、その処理結果を表示ドライバ９を介して表示部１０に表示させる。例えば、携帯電話１００のキー入力部８から撮影を開始する指示が入力されると、ＲＯＭ５に記憶されているプログラムに従って、撮像部７の動作を制御する。
【００１８】
ＲＯＭ５は、携帯電話１００の動作に必要なプログラムの実行に係るデータを格納する。例えば、キー入力信号処理、フレームサイズ変更処理、撮影処理等の各種制御プログラムを格納する。これらのプログラムは何れも、書き換える必要のないプログラムや、書き換えてはいけないプログラムである。
【００１９】
ＲＡＭ６は、ＣＰＵ４によって実行される各種プログラムをプログラム格納エリアに展開する。また、ＲＡＭ６は、各種プログラムの実行時に生じる処理結果等のデータをワークエリアに一時的に記憶する。さらに、ＲＡＭ６は、表示部１０に被写体像を映し出すと、そのモニタ画像データを一時的に保存する。また、そのモニタ画像データに対応付けて
生成されたフレーム画像データを一時的に格納する領域を備える（図２、参照。）。
【００２０】
撮像部７は、ＣＰＵ４による指示に従って撮影を行い、撮影画像データを取得する。また、撮像部７は撮影用センサ７ａを有し、撮影用センサ７ａによって撮影画像データの色の濃度変化を滑らかに、豊かに表現でき、優れた画像を取得する。
【００２１】
キー入力部８は、ボタンキー等の各種機能キーを備え、キーの押下操作に対応する操作信号をＣＰＵ４に出力する。フレーム画像データの位置、サイズ等の変更や、フレーム画像データと合成する被写体像の抽出等の操作は、このキー入力部８より実行される。
【００２２】
表示部１０は、表示ドライバ９を備えて構成される。表示ドライバ９は、ＣＰＵ４から入力される表示データに基づいて表示部１０に各種画像データ等を表示させる。表示部１０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の表示画面を備え、すべての操作を行うために必要な画面である。例えば、撮像部７により被写体が撮影されると、撮影画像データを表示する。さらに、その撮影画像データに合成するフレーム画像データを表示し、撮影画像データとのバランス等の設定の際は、表示画面を見ながら操作を行う。
【００２３】
記憶部１３は、プログラムやデータ等が予め記憶されている記録媒体（図示省略）を有しており、この記録媒体は、磁気的、光学的記録媒体若しくは半導体メモリで構成されている。この記録媒体は、各種処理プログラム及び各種処理プログラムで処理されたデータを記憶する。また、この記憶部１３は、例えば、フレーム画像データを生成する為に必要な基準フレームデータを記憶する。この基準フレームデータの数は限定されず、複数記憶することで複数パターンのフレーム画像データの生成が可能となる。
【００２４】
図２（ａ）に、ＲＡＭ６に一時的に記憶されるデータの一例を示す。図２（ａ）に示すように、ＲＡＭ６は、複数のフレーム情報領域６０１〜６０３、モニタ画像一時保存領域６１０、撮影画像一時保存領域６２０、フレーム画像一時保存領域６３０、フレーム画像ビットマップ領域６４０等の各領域により構成される。
【００２５】
複数のフレーム情報領域６０１〜６０３の各領域には、図２（ｂ）に示すような詳細なフレーム情報が格納されている。フレーム情報の詳細な説明は後述するが、フレーム情報１に格納されるフレーム画像データは複数の色領域を有し、これらを組み合わせることにより複数のフレーム画像データを構成している。例えば、図２（ｂ）に示すフレーム情報には、ＰＡＴＴＥＲＮ（以下、パターン）Ａ、パターンＢ、パターンＣの色領域（以下、フレームデザイン）から成るフレーム画像データを格納する。なお、フレームデザインの種類及び数はこれに限られず、他の構成としてもよい。以下、実施例はこれらの３パターンの組み合わせにより構成されるフレーム画像データについて説明する。
【００２６】
モニタ画像一時保存領域６１０は、カメラを起動させたときに、表示部１０に映し出される被写体像を一時的に保存する。複数のフレーム画像データから、ユーザが所望するフレーム画像データが選択されると、このモニタ画像一時保存領域６１０から、一時的に保存されているモニタ画像データを取得すると、ユーザはキー入力部８を操作することにより、そのモニタ画像データからフレーム画像データと合成する領域を抽出する。
【００２７】
撮像部７により撮影された撮影画像データは、撮影画像一時保存領域６２０に一時的に保存され、フレーム画像と合成する際には、この領域に保存された撮影画像データの中からユーザは所望する撮影画像データを選択する。
【００２８】
ユーザによりモニタ画像データから、フレーム画像データと合成する表示対象を含む領
域が抽出されると、ＣＰＵ４は、その表示対象の位置を読み出し、フレーム画像データの位置、サイズ等を決定し、フレーム画像データを生成する。ここで、表示対象の位置とは、図５に示すように、ユーザにより抽出される被写体像を含む領域Ｂの位置情報であり、ＣＰＵ４は、この領域Ｂの位置情報を読み出し、この情報に基づいてフレーム画像データを生成する。また、この領域Ｂの読み出しの際には、サイズ情報も合わせて読み出す。この生成したフレーム画像データを一時的に保存するのがフレーム画像一時保存領域６３０である。この生成したフレーム画像データと、モニタ画像データを重ね合わせ表示し、ユーザに確認させるが、この確認の際に、ユーザによりフレーム画像データの位置、サイズ等が変更された場合は、フレーム画像一時保存領域６３０に保存しているフレーム画像データを変更後のフレーム画像データに更新して保存する。
【００２９】
フレーム画像ビットマップ領域６４０は、フレーム画像データの図形や文字等の表示イメージを、大きさ及び色を持った点の集合として保存する領域である。選択されたフレーム画像データを保存すると、このフレーム画像ビットマップ領域６４０に保存し、このデータと、撮影画像データを重ね合わせて表示画面に表示する。ユーザは、重ね合わせ表示を確認して、フレーム画像データの変更、もしくは、確定をする。
【００３０】
図３を参照して、フレーム情報領域につてい詳細に説明する。なお、以下、ベクトル座標は、横軸をｘ軸、縦軸をｙ軸とする。
【００３１】
まず、図３（ａ）に、ＲＯＭ５に格納されているフレーム情報の詳細を示す。まず、フレーム情報の最初に記載されるｆｒａｍｅ＿ｓｉｚｅ（ｘ，ｙ）は、フレーム画像データ全体の基準サイズを設定するものであり、ベクトル横ｘ、縦ｙで設定される。ベクトル横ｘ、縦ｙにそれぞれ数値を入力すると、フレーム画像データ全体の基準サイズが設定される。各フレーム情報のｆｒａｍｅ＿ｓｉｚｅ（ｘ，ｙ）について、ベクトル横ｘ、縦ｙを異なった値で複数設定すると、さまざまな大きさのフレーム画像データを設定できる。
【００３２】
次に、図２に示したフレーム情報１の２行目〜５行目の設定内容について説明する。この基本となるコマンドが、図３（ａ）に示す、
ｒｅｃｔａｎｇｌｅ（（ｘ，ｙ），（ｄｘ，ｄｙ），ｆｌｅｘｉｂｌｅ，ｄｒａｗ＿ｔｙｐｅ，ｐａｔｔｅｒｎ，ｐｒｉｏｒｉｔｙ）
である。
【００３３】
（ｘ，ｙ）は、矩形始点座標であり、（ｄｘ，ｄｙ）は、矩形終点移動量である。これらの座標により形成される矩形Ｐを図３（ｂ）に示す。矩形始点座標（ｘ，ｙ）を（０，０）、矩形終点移動量（ｄｘ、ｄｙ）を（ａ，ｂ）とすると、横辺がａ、縦辺がｂの矩形Ｐが生成される。矩形Ｐに重ねて、別の矩形を生成する場合は、矩形始点座標及び矩形終点移動量の設定変更をすることにより実行できる。
【００３４】
図３（ｃ）に、矩形始点座標を（０，０）、矩形終点移動量を（１２０，１００）と設定した場合に生成される、横辺１２０、縦辺１００から成る矩形Ｒの中央に重ねて、横辺１００、縦辺８０から成る矩形Ｑを生成する図を示す。まず、矩形始点座標の値を設定する。矩形Ｑの横辺を１００にするためには、矩形始点座標を（１０，１０）に設定する。そして、この始点座標から、ｘ軸方向に距離１００、ｙ軸方向に距離８０移動させる、つまり、矩形終点移動量（ｘ，ｙ）を（１００，８０）に設定することにより、矩形Ｑが生成される。これらの座標設定により、矩形が生成され、矩形領域が確定される。
【００３５】
ｆｌｅｘｉｂｌｅは、矩形始点座標及び矩形終点移動量で確定された矩形領域が、変形
可能か否かを示すものである。ＦＩＸの場合は、固定設定であるため矩形領域の変更はできず、ＦＬＥＸの場合は変形が可能である。ここで、フレーム画像データの変形とは、ユーザにより抽出された表示対象を含む領域の位置情報に対応付けて、フレーム画像データを構成する矩形領域を変更する処理である（図７参照。）。フレーム画像データは、複数の色領域から成る矩形領域であるフレームデザインにより構成されており、モニタ画像データより抽出された領域の位置やサイズ等の情報に対応づけて、それぞれのフレームデザインの形状を変更する。形状を変更するフレームデザインは設定により異なり、フレーム画像データのコマンドにより設定する。従って、ｆｌｅｘｉｂｌｅをＦＬＥＸと設定すると、抽出された領域に対応付けてフレームデザインの位置やサイズ等を変更することができる。
【００３６】
ｄｒａｗ＿ｔｙｐｅは、確定された矩形領域において、その矩形内を塗りつぶすか、もしくは、フレームの枠を描写するかの設定である。ＢＯＸと設定されると、確定された矩形領域の外周を描写する。ＦＩＬＬと設定されると、確定された矩形領域を設定されたパターンで塗りつぶす。ＷＩＮＤＯＷと設定されると、確定された矩形領域をフレーム画像の透過部として定義する。つまり、ＷＩＮＤＯＷと設定された領域に、被写体の画像データを合成する。以下、ＷＩＮＤＯＷ設定された領域を窓領域と称す。
【００３７】
ｐａｔｔｅｒｎは、フレームデザインの種類の設定であり、図２に示した３パターンの何かが設定される。ここで、ｎｕｌｌと設定すると、何れのパターンでも塗りつぶさない。従って、空白の状態となる。
【００３８】
ｐｒｉｏｒｉｔｙは、フレーム画像を構成するデータの表示優先度の設定である。図３（ｄ）に示すように、ｐｒｉｏｒｉｔｙ１として三角形のフレーム画像データ、ｐｒｉｏｒｉｔｙ２として円形のフレーム画像データが設定されている場合、番号の早い方、つまり、ｐｒｉｏｒｉｔｙ１である三角形のフレーム画像データの方が表示優先度が高く、図のように合成される。つまり、ｐｒｉｏｒｉｔｙの番号が早い画像データから優先して重畳表示される。
【００３９】
図４（ａ）に、本実施形態の携帯電話１００の基準となるフレーム情報を示し、図４（ｂ）に、図４（ａ）のフレーム情報に基づいて生成される基準フレーム画像データを示す。
【００４０】
図４（ａ）に示すフレーム情報は、本実施形態に係る携帯電話１００のＲＯＭ５に格納されるフレーム情報の基準設定である。基準となるフレームサイズは、
ｆｒａｍｅ＿ｓｉｚｅ（１２０，１００）
の設定より、ｘ軸方向に１２０、ｙ軸方向に１００で構成されるフレームサイズ、つまり、横×縦が１２０×１００のサイズである。フレームデザインは、図に示すような３パターンで構成される。
【００４１】
ｒｅｃｔａｎｇｌｅ（（０，０），（１２０，１００），ＦＩＸ，ＦＩＬＬ，ＰＡＴＴＥＲＮ＿Ａ，４）・・・（１）
の設定により構成されるフレーム画像データ２０は、矩形始点座標（０，０）から矩形終点移動量（１２０，１００）の設定により形成される矩形において、位置を固定し（ＦＩＸ）、その矩形内をパターンデザインＡで塗りつぶす（ＦＩＬＬ）ことにより生成される。
ｒｅｃｔａｎｇｌｅ（（１０，１０），（１００，８０），ＦＩＸ，ＦＩＬＬ，ＰＡＴＴ
ＥＲＮ＿Ｂ，３）・・・（２）
の設定により構成されるフレーム画像データ２１は、矩形始点座標（１０，１０）から矩形終点移動量（１００，８０）の設定により形成される矩形において、位置を固定し（ＦＩＸ）、矩形内をパターン種類Ｂで塗りつぶす（ＦＩＬＬ）ことにより生成される。
ｒｅｃｔａｎｇｌｅ（（２０，２０），（８０，６０），ＦＬＥＸ，ＦＩＬＬ，ＰＡＴＴＥＲＮ＿Ｃ，２）・・・（３）
の設定により構成されるフレーム画像データ２２は、矩形始点座標（２０，２０）から矩形終点移動量（８０，６０）の設定により形成される矩形において、矩形は変形可能であり（ＦＬＥＸ）、矩形内をパターン種類Ｃで塗りつぶす（ＦＩＬＬ）ことにより生成される。
ｒｅｃｔａｎｇｌｅ（（３０，３０），（６０，４０），ＦＬＥＸ，ＦＩＬＬ，ＷＩＮＤＯＷ，ｎｕｌｌ，１）・・・（４）
の設定により構成されるフレーム画像データ２３は、矩形始点座標（３０，３０）から矩形終点移動量（６０，４０）の設定により形成される矩形において、矩形は変形可能であり（ＦＬＥＸ）、確定された矩形内をフレーム画像の透過部として定義、つまり、どのパターンでも塗りつぶさないことにより生成される。
【００４２】
以上のフレーム画像設定（１）〜（４）において、ｐｒｉｏｒｉｔｙ（表示優先度）の設定は、順に（４）、（３）、（２）、（１）であるため、フレーム画像設定（４）により生成されるフレーム２３が一番優先的に表示され、フレーム画像設定（１）により生成されるフレーム画像データ２０が一番背面に表示される。従って、この設定により図４（ｂ）の基準フレームが生成される。（１）、（２）、（３）、（４）それぞれの設定を変更して保存することにより、複数の基準フレームが設定可能である。ユーザは、複数の基準フレームの中から所望するフレーム画像データを選択する。以下、図４（ｂ）に示すフレーム画像データと撮影画像データを合成する場合について説明する。
【００４３】
図５に、撮影画像データとフレーム画像データとの合成方法の一例を示す。
【００４４】
先ずユーザが、合成したいフレーム画像データを選択するために携帯電話１００のキー入力部８より所定の操作を行うと、この操作を検出することにより、ＣＰＵ４はＲＯＭ５よりロードされたプログラムに基づいて、モニタ表示されたモニタ画像データＡから抽出したい表示対象である被写体像を含む領域Ｂを抽出する。なお、本実施例では、人物のみを抽出する構成とするが、これに限らず、例えば、モニタ画像データＡにおいて、木と人物を含む領域を抽出するとしてもよい。そしてユーザにより、領域Ｂが抽出されると、その領域の位置を判別し、フレーム画像データの位置、サイズが決定される。ここで必要とされる携帯電話１００が格納する基準フレームは、上述したように、フレーム画像データ２０及びフレーム画像データ２１が位置固定、フレーム画像データ２２及びフレーム画像データ２３が位置変更可能と設定されている。ＣＰＵ４は、領域Ｂが抽出されることにより、フレーム画像データの位置、サイズを決定すると、決定した情報を基に基準フレームを変更する。このとき、変更するフレームは位置変更可能なフレーム画像データ２２及びフレーム画像データ２３である。この処理により生成するフレーム画像データが、図５に示すフレーム画像データＣである。
【００４５】
図５で生成したフレーム画像データＣとモニタ画像から抽出した領域Ｂを重ね合わせ表示した画像データを図６に示す。フレーム画像データＣを生成すると、ＣＰＵ４は、図６に示すように、モニタ画像データと重ね合わせた画像データを表示することにより、ユーザに画像データの確認をさせる。ユーザはこの重ね合わせ表示された画像データを確認し、更に、フレーム画像データＣの位置、サイズを変更することが可能である。変更する際
は、キー入力部８からの操作信号により実行する。
【００４６】
以上のように、フレーム画像データとモニタ画像を合成する場合に、ユーザがフレーム画像データと合成する画像領域を自由に設定することができることにより、所望する被写体像のみフレーム内に収めることが可能である。従って、フレーム画像データと合成することにより、風景が切れてしまったり、フレーム内に収めたくない被写体像までフレーム内に入ってしまうということを回避でき、ユーザが最も所望する画像データを作成することができる。
【００４７】
次に、図７のフレーム画像データを参照して、フレーム画像データＣを変更する処理について説明する。ユーザは、重ね合わせ表示された画像データを確認した後、例えば、もう少し領域Ｂを拡張したいと所望すると、キー入力部８を操作することにより拡張したい方向及び大きさに領域Ｂを変更し、変更後の領域Ｅに基づいてフレーム画像データＤを生成する。フレーム画像データ２２の領域Ｆは可変であり、ＣＰＵ４は、この可変領域Ｆについて、窓領域と、外周へ向かって一番近いフレーム画像データであるフレーム画像データ２１の領域Ｇ間の比が同じになるように、可変領域Ｆの領域を設定し直す。
【００４８】
具体的には、フレーム画像データＣにおいて、フレーム画像データ２３の左辺３０とフレーム画像データ２２の左辺４０間の距離をｂとする。そして、左辺４０とフレーム画像データ２１の左辺５０間の距離をａとする。一方、フレーム画像データＤにおいて、フレーム画像データ２３の左辺３１とフレーム画像データ２２の左辺４１間の距離をｄ、左辺４１とフレーム画像データ２１の左辺５１間の距離をｃとする。また、下辺も同様に、フレーム画像データＣにおいて、フレーム画像データ２３の下辺３２とフレーム画像データ２２の下辺４２間の距離をｅとする。そして、下辺４２とフレーム画像データ２１の下辺５２間の距離をｆとする。一方、フレーム画像データＤにおいて、フレーム画像データ２３の下辺３３とフレーム画像データ２２の下辺４３間の距離をｇ、左辺４３とフレーム画像データ２１の下辺５３間の距離をｈとする。窓領域を領域Ｂから領域Ｅに変更するときは、ａ、ｂ、ｃ、ｄの距離をａ：ｂ＝ｃ：ｄ、且つ、ｅ、ｆ、ｇ、ｈの距離をｅ：ｆ＝ｇ：ｈとなるように変更する。
【００４９】
以上のように、フレームの位置やサイズを変更する場合に、フレーム領域の比を一定にすることにより、合成する画像データによって、フレームのバランスが悪くなることを避けることができ、常に、フレームデザインのバランスが良いフレーム画像データを作成することが可能となる。
【００５０】
次に、図８のフローチャートを参照して、撮影画像データとフレーム画像データを合成する処理について説明する。
【００５１】
まず、携帯電話１００のモードを切換えることにより、携帯電話１００の撮像部であるカメラを起動させる（ステップＳ１）。ステップＳ１において、カメラを起動させると、表示部１０（以下、表示画面）に被写体をモニタ表示する（ステップＳ２）。カメラ起動前に、フレーム画像データを選択することが可能であり、予めフレーム画像データが選択されている場合には、ステップＳ１において、カメラを起動させた後、フレーム画像データを被写体像にオーバーレイ表示する。ステップＳ２において、表示画面に被写体をモニタ表示すると（フレーム画像データが選択されている場合は、オーバーレイ表示）、機能選択ボタンが操作されたか否かを判定する（ステップＳ３）。この機能選択ボタン押下により、複数のフレーム画像データが表示され、ユーザはこの中から、所望するフレーム画像データを選択できる。
【００５２】
ステップＳ３において、機能選択ボタンが操作されたと判定すると（ステップＳ３；Ｙ
ＥＳ）、フレーム画像データが格納されたＲＡＭ６（以下、メモリ）から複数のフレーム画像データを取得し（ステップＳ４）、表示画面にフレーム選択画面を表示する（ステップＳ５）。ステップＳ５において、表示画面にフレーム選択画面を表示すると、ユーザによりフレーム選択操作がされたか否かを判定する（ステップＳ６）。ステップＳ６において、フレーム選択操作がされなかったと判定すると（ステップＳ６；ＮＯ）、ステップＳ２に戻り、再度、被写体をモニタ表示する。
【００５３】
ステップＳ６において、フレーム選択操作がされたと判定すると（ステップＳ６；ＹＥＳ）、ステップＳ２でモニタ表示した被写体を、撮像手段により撮像されたモニタ画像データとして、携帯電話１００のメモリ内のモニタ画像一時保存領域６１０に一時的に取得する。
（ステップＳ７）。ステップＳ７において、ステップＳ２でモニタ表示したモニタ画像データを一時的に取得すると、この一時的に取得したモニタ画像データからフレーム画像データと合成する人物エリア（表示対象）を抽出できたか否かを判別する（ステップＳ８）。この人物エリア抽出の判別は、ユーザにより設定されたフレーム画像データと合成する被写体像を含む領域の位置情報を読み出すことにより実行する。ステップＳ８において、一時的に取得したモニタ画像データからフレーム画像データと合成する人物エリアを抽出できなかったと判別すると（ステップＳ８；ＮＯ）、ユーザが設定した領域の位置情報の読み出しができなかったと判断できるため、人物エリアにおけるデフォルト値を設定することにより、人物エリアの抽出を実行する（ステップＳ９）。
【００５４】
ステップＳ８において、一時的に取得したモニタ画像データからフレーム画像データと合成する人物エリアを抽出できたと判別する（ステップＳ８；ＹＥＳ）か又はステップＳ９において、人物エリアにおけるデフォルト値の設定を行うと、フレーム画像データと抽出した人物エリアの位置やサイズ等の情報により、フレーム画像データの窓領域の位置及びサイズを決定する（ステップＳ１０）。ステップＳ１０において、フレーム画像データと抽出した人物エリアの位置やサイズ等の情報により、フレーム画像データの窓領域の位置及びサイズを決定すると、決定した位置及びサイズよりフレーム画像データを変形し、変形後のフレーム画像データをフレーム画像一時保存領域６３０に保存する（ステップＳ１１）。
【００５５】
ステップＳ１１において、変形したフレーム画像データをフレーム画像一時保存領域６３０に保存すると、保存したフレーム画像データをビットマップ変換し、フレーム画像ビットマップメモリに保存する（ステップＳ１２）。ステップＳ１２において、ビットマップ変換したフレーム画像を、フレーム画像ビットマップ領域６４０に保存すると、そのフレーム画像データと、ステップＳ７で取得したモニタ画像データを重ね合わせて表示画面に表示する（ステップＳ１３）。このとき、抽出した人物エリアが変形したフレーム画像データの枠内に収まるように重ね合わせて表示する。ステップＳ１３において、フレーム画像データとモニタ画像データを重ね合わせて表示すると、その表示を確認したユーザにより、フレーム画像データの位置、サイズ等の変更操作又は確認キーが押下されたか否かを判定する（ステップＳ１４）。
【００５６】
ステップＳ１４において、重ね合わせ表示を確認したユーザにより、フレーム画像データの位置、サイズ等の変更操作があったと判定すると（ステップＳ１４；変更操作）、入力された指示に従って、フレーム画像データの位置、サイズ等の情報を変更する（ステップＳ１５）。ステップＳ１５において、フレーム画像データの位置、サイズ等の情報を変更すると、再度、ステップＳ１１に戻り、ステップＳ１１〜Ｓ１４の処理を繰り返す。ステップＳ１４において、確認キー押下があったと判定すると（ステップＳ１４；確認キー）、ステップＳ２に戻り、確定されたフレーム画像データとモニタ画像データをオーバーレイ表示し、ステップＳ２〜Ｓ３の処理を繰り返す。
【００５７】
ステップＳ３において、機能選択ボタンが操作されなかったと判定すると（ステップＳ３；ＮＯ）、ユーザにより撮影ボタンが押下されたか否かを判定する（ステップＳ１６）。ステップＳ１６において、ユーザにより撮影ボタンが押下されなかったと判定すると（ステップＳ１６；ＮＯ）、再度、ステップＳ２に戻り、ステップＳ２〜Ｓ３の処理を繰り返す。ステップＳ１６において、ユーザにより撮影ボタンが押下されたと判定すると（ステップＳ１６；ＹＥＳ）、撮影された撮影画像データを撮影画像一時保存領域６２０へ一時的に格納する（ステップＳ１７）。ステップＳ１７において、撮影された撮影画像データを撮影画像一時保存領域６２０へ一時的に格納すると、フレーム画像データがすでに選択されているか否かを判定する（ステップＳ１８）。
【００５８】
ステップＳ１８において、フレーム画像データがすでに選択されていると判定すると（ステップＳ１８；ＹＥＳ）、ステップＳ１７で撮影画像一時保存領域６２０に一時的に保存した撮影画像データに、選択されているフレーム画像データを合成する（ステップＳ１９）。ステップＳ１８において、フレーム画像データがまだ選択されていないと判定すると（ステップＳ１８；ＮＯ）又はステップＳ１９において、撮影画像データにフレーム画像データを合成すると、撮影画像データ又は合成画像データを表示画面に表示し、ユーザによる撮影画像確認の結果がＯＫであったか否かを判定する（ステップＳ２０）。ステップＳ２０において、ユーザによる撮影画像確認がＯＫではないと判定すると（ステップＳ２０；ＮＯ）、ステップＳ２に戻り、再度、表示画面に被写体像をモニタ表示する。ステップＳ２０において、ユーザによる撮影画像確認の結果がＯＫであったと判定すると（ステップＳ２０；ＹＥＳ），撮影画像データを圧縮した後、携帯電話１００のメモリに保存し（ステップＳ２１）、処理を終了する。尚、この保存処理が完了した撮像画像データは従来の撮像画像データと同様にメールに添付して送信したり、ネットワーク（不図示）に任意に無線送信することが可能である。
【００５９】
以上のように、予め撮影するメモリ画像データを一時的に保存し、そのデータを基にフレーム画像データとのバランスを確認しながら、ユーザはフレーム画像データを自由に変更できることにより、被写体像を確実にフレーム内に収めることができ、また、被写体像とフレームとのバランスのよい画像データを生成することが可能である。さらに、フレーム画像データの位置、サイズ等の変更は複数回実行可能であり、表示画面で何度も確認しながら、ユーザは最適なフレーム画像データと画像データとの合成画像を作成することができる。
【図面の簡単な説明】
【００６０】
【図１】本実施形態に係る画像合成装置の主要部構成を示す。
【図２】（ａ）は、本実施形態に係る画像合成装置のＲＡＭの記憶内容を示した図、（ｂ）は、フレーム情報領域に記憶されるデータの一例である。
【図３】フレーム画像領域の一例を示す。
【図４】本実施形態に係る画像合成装置が記憶する基準となるフレーム情報及びその情報に基づいて生成されるフレーム画像を示す。
【図５】撮影画像データとフレーム画像データとの合成方法の一例を示す。
【図６】フレーム画像データとモニタ画像から抽出した領域を重ね合わせ表示した画像データの一例を示す。
【図７】抽出する領域が異なったフレーム画像データの一例を示す。
【図８】撮影画像データとフレーム画像データを合成する処理を示すフローチャートである。
【符号の説明】
【００６１】
１ アンテナ
２ 通信部
３ 音声処理部
４ ＣＰＵ（判別手段、変形手段）
５ ＲＯＭ
６ ＲＡＭ
７ 撮像部（撮像手段）
７ａ 撮影用センサ（撮像手段）
８ キー入力部
９ 表示ドライバ
１０ 表示部（表示手段）
１１ スピーカー
１２ マイク
１３ 記憶部
１００ 携帯電話（画像合成装置）
６０１、６０２、６０３ フレーム情報領域
６１０ モニタ画像一時保存領域
６２０ 撮影画像一時保存領域
６３０ フレーム画像一時保存領域
６４０ フレーム画像ビットマップ領域
【技術分野】
【０００１】
本発明は、撮影画像データとフレーム画像データとを合成する画像合成装置、及び、画像合成方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラやカメラ機能付き携帯電話が普及しており、多くの場面で撮影が行われるようになっている。また、最近では、被写体を撮影するだけでなく、フレーム画像データを合成して撮影画像データの印刷や保存をする機能が一般化されつつある。例えば、複数のフレーム画像データを記憶し、すでに撮影済みの画像データと合成する場合、ユーザは複数の画像データの中から最もお気に入りの画像データを選択し、その画像データとフレーム画像データとを合成することができる撮影装置が開示されている（特許文献１、参照。）。
【特許文献１】特開２００１−３５２５０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の撮影装置では、フレーム画像データの選択や画像データの選択、変更は可能であっても、フレームサイズは既定であるため変更できず、フレームサイズと画像サイズのバランスが悪い合成画像ができてしまうという問題があった。
【０００４】
本発明の課題は、画像データとフレーム画像データとを合成する場合に、常に双方のバランスがよい合成を可能にすることである。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、請求項１に記載の発明は、画像データ内における表示対象の位置を判別する判別手段と、この判別手段によって判別された表示対象の位置に合わせて予め用意されたフレーム画像データを変形させる変形手段と、前記表示対象がこの変形されたフレーム画像データの枠内に収まるように、前記画像データと前記フレーム画像データとを合成して表示する表示手段とを備えたことを特徴としている。
【０００６】
請求項２に記載の発明は、請求項１に記載の画像合成装置において、前記画像合成装置は、撮像手段を更に備え、前記画像データは、前記撮像手段によって撮像されたものであることを特徴としている。
【０００７】
請求項３に記載の発明は、請求項２に記載の画像合成装置において、前記表示対象は前記撮像手段によって撮像された被写体像であることを特徴としている。
【０００８】
請求項４に記載の発明は、請求項１から３の何れか一項に記載の画像合成装置において、前記フレーム画像データは、複数の色領域を有し、前記変形手段は、前記複数の色領域のそれぞれを前記被写体像の位置に合わせて変形させることを特徴としている。
【０００９】
請求項５に記載の発明は、画像データ内における表示対象の位置を判別する判別ステップと、この判別ステップにて判別された前記表示対象の位置に合わせて予め用意されたフレーム画像データを変形させる変形ステップと、前記表示対象がこの変形されたフレーム画像データの枠内の収まるように、前記画像データと前記変形されたフレーム画像データとを合成して表示させる表示ステップとからなることを特徴としている。
【００１０】
請求項６に記載の発明は、コンピュータに、画像データ内における表示対象の位置を判別する判別手段、この判別手段によって判別された前記表示対象の位置に合わせて予め用意されたフレーム画像データを変形させる変形手段、前記表示対象がこの変形されたフレーム画像データの枠内に収まるように、前記画像データと前記変形されたフレーム画像データとを合成して表示させる表示手段として機能させることを特徴としている。
【発明の効果】
【００１１】
本発明によれば、画像データとフレーム画像データを合成する際に、画像データから抽出した表示対象の位置に合わせて、フレーム画像データを変形させることにより、画像データとフレーム画像データとのバランスがよい合成画像データを作成することが可能となる。
【発明を実施するための最良の形態】
【００１２】
以下、図を参照して、本発明の実施形態について詳細に説明する。
【００１３】
図１に、本発明の実施形態に係る画像合成装置１００の主要部構成を示す。なお、本実施形態においては、画像合成装置１００としてカメラ機能付き携帯電話の構成としたが、これに限られず、別の構成としてもよい。図１に示すように、画像合成装置（以下、携帯電話）１００は、アンテナ１、通信部２、音声処理部３、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６、撮影用センサ７、キー入力部８、表示ドライバ９、表示部１０、スピーカー１１、マイク１２等により構成される。
【００１４】
アンテナ１は、携帯電話１００と基地局との間で行われる無線通信により送受信される信号を受信する。そして、受信した信号を通信部２へ出力する。
【００１５】
通信部２は、アンテナ１から信号が入力されると、その信号を音声処理部３及びＣＰＵ４へ出力する。
【００１６】
音声処理部３は、通信部２から信号が入力されると、その信号に制御処理を施し、スピーカー１１に出力することでユーザに音声を伝える。また、マイク１２は、ユーザにより音声が入力されると、その信号を音声処理部３に入力する。
【００１７】
ＣＰＵ４は、通信部２やその他各部から入力される指示に応じて所定のプログラムに基づいた処理を実行し、各機能部への指示やデータの転送を行う中央演算装置である。具体的にＣＰＵ４は、キー入力部８から入力される操作信号に応じて、ＲＯＭ５に格納されたプログラムを読み出し、当該プログラムに従った処理を実行する。そして、その処理結果を表示ドライバ９を介して表示部１０に表示させる。例えば、携帯電話１００のキー入力部８から撮影を開始する指示が入力されると、ＲＯＭ５に記憶されているプログラムに従って、撮像部７の動作を制御する。
【００１８】
ＲＯＭ５は、携帯電話１００の動作に必要なプログラムの実行に係るデータを格納する。例えば、キー入力信号処理、フレームサイズ変更処理、撮影処理等の各種制御プログラムを格納する。これらのプログラムは何れも、書き換える必要のないプログラムや、書き換えてはいけないプログラムである。
【００１９】
ＲＡＭ６は、ＣＰＵ４によって実行される各種プログラムをプログラム格納エリアに展開する。また、ＲＡＭ６は、各種プログラムの実行時に生じる処理結果等のデータをワークエリアに一時的に記憶する。さらに、ＲＡＭ６は、表示部１０に被写体像を映し出すと、そのモニタ画像データを一時的に保存する。また、そのモニタ画像データに対応付けて
生成されたフレーム画像データを一時的に格納する領域を備える（図２、参照。）。
【００２０】
撮像部７は、ＣＰＵ４による指示に従って撮影を行い、撮影画像データを取得する。また、撮像部７は撮影用センサ７ａを有し、撮影用センサ７ａによって撮影画像データの色の濃度変化を滑らかに、豊かに表現でき、優れた画像を取得する。
【００２１】
キー入力部８は、ボタンキー等の各種機能キーを備え、キーの押下操作に対応する操作信号をＣＰＵ４に出力する。フレーム画像データの位置、サイズ等の変更や、フレーム画像データと合成する被写体像の抽出等の操作は、このキー入力部８より実行される。
【００２２】
表示部１０は、表示ドライバ９を備えて構成される。表示ドライバ９は、ＣＰＵ４から入力される表示データに基づいて表示部１０に各種画像データ等を表示させる。表示部１０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の表示画面を備え、すべての操作を行うために必要な画面である。例えば、撮像部７により被写体が撮影されると、撮影画像データを表示する。さらに、その撮影画像データに合成するフレーム画像データを表示し、撮影画像データとのバランス等の設定の際は、表示画面を見ながら操作を行う。
【００２３】
記憶部１３は、プログラムやデータ等が予め記憶されている記録媒体（図示省略）を有しており、この記録媒体は、磁気的、光学的記録媒体若しくは半導体メモリで構成されている。この記録媒体は、各種処理プログラム及び各種処理プログラムで処理されたデータを記憶する。また、この記憶部１３は、例えば、フレーム画像データを生成する為に必要な基準フレームデータを記憶する。この基準フレームデータの数は限定されず、複数記憶することで複数パターンのフレーム画像データの生成が可能となる。
【００２４】
図２（ａ）に、ＲＡＭ６に一時的に記憶されるデータの一例を示す。図２（ａ）に示すように、ＲＡＭ６は、複数のフレーム情報領域６０１〜６０３、モニタ画像一時保存領域６１０、撮影画像一時保存領域６２０、フレーム画像一時保存領域６３０、フレーム画像ビットマップ領域６４０等の各領域により構成される。
【００２５】
複数のフレーム情報領域６０１〜６０３の各領域には、図２（ｂ）に示すような詳細なフレーム情報が格納されている。フレーム情報の詳細な説明は後述するが、フレーム情報１に格納されるフレーム画像データは複数の色領域を有し、これらを組み合わせることにより複数のフレーム画像データを構成している。例えば、図２（ｂ）に示すフレーム情報には、ＰＡＴＴＥＲＮ（以下、パターン）Ａ、パターンＢ、パターンＣの色領域（以下、フレームデザイン）から成るフレーム画像データを格納する。なお、フレームデザインの種類及び数はこれに限られず、他の構成としてもよい。以下、実施例はこれらの３パターンの組み合わせにより構成されるフレーム画像データについて説明する。
【００２６】
モニタ画像一時保存領域６１０は、カメラを起動させたときに、表示部１０に映し出される被写体像を一時的に保存する。複数のフレーム画像データから、ユーザが所望するフレーム画像データが選択されると、このモニタ画像一時保存領域６１０から、一時的に保存されているモニタ画像データを取得すると、ユーザはキー入力部８を操作することにより、そのモニタ画像データからフレーム画像データと合成する領域を抽出する。
【００２７】
撮像部７により撮影された撮影画像データは、撮影画像一時保存領域６２０に一時的に保存され、フレーム画像と合成する際には、この領域に保存された撮影画像データの中からユーザは所望する撮影画像データを選択する。
【００２８】
ユーザによりモニタ画像データから、フレーム画像データと合成する表示対象を含む領
域が抽出されると、ＣＰＵ４は、その表示対象の位置を読み出し、フレーム画像データの位置、サイズ等を決定し、フレーム画像データを生成する。ここで、表示対象の位置とは、図５に示すように、ユーザにより抽出される被写体像を含む領域Ｂの位置情報であり、ＣＰＵ４は、この領域Ｂの位置情報を読み出し、この情報に基づいてフレーム画像データを生成する。また、この領域Ｂの読み出しの際には、サイズ情報も合わせて読み出す。この生成したフレーム画像データを一時的に保存するのがフレーム画像一時保存領域６３０である。この生成したフレーム画像データと、モニタ画像データを重ね合わせ表示し、ユーザに確認させるが、この確認の際に、ユーザによりフレーム画像データの位置、サイズ等が変更された場合は、フレーム画像一時保存領域６３０に保存しているフレーム画像データを変更後のフレーム画像データに更新して保存する。
【００２９】
フレーム画像ビットマップ領域６４０は、フレーム画像データの図形や文字等の表示イメージを、大きさ及び色を持った点の集合として保存する領域である。選択されたフレーム画像データを保存すると、このフレーム画像ビットマップ領域６４０に保存し、このデータと、撮影画像データを重ね合わせて表示画面に表示する。ユーザは、重ね合わせ表示を確認して、フレーム画像データの変更、もしくは、確定をする。
【００３０】
図３を参照して、フレーム情報領域につてい詳細に説明する。なお、以下、ベクトル座標は、横軸をｘ軸、縦軸をｙ軸とする。
【００３１】
まず、図３（ａ）に、ＲＯＭ５に格納されているフレーム情報の詳細を示す。まず、フレーム情報の最初に記載されるｆｒａｍｅ＿ｓｉｚｅ（ｘ，ｙ）は、フレーム画像データ全体の基準サイズを設定するものであり、ベクトル横ｘ、縦ｙで設定される。ベクトル横ｘ、縦ｙにそれぞれ数値を入力すると、フレーム画像データ全体の基準サイズが設定される。各フレーム情報のｆｒａｍｅ＿ｓｉｚｅ（ｘ，ｙ）について、ベクトル横ｘ、縦ｙを異なった値で複数設定すると、さまざまな大きさのフレーム画像データを設定できる。
【００３２】
次に、図２に示したフレーム情報１の２行目〜５行目の設定内容について説明する。この基本となるコマンドが、図３（ａ）に示す、
ｒｅｃｔａｎｇｌｅ（（ｘ，ｙ），（ｄｘ，ｄｙ），ｆｌｅｘｉｂｌｅ，ｄｒａｗ＿ｔｙｐｅ，ｐａｔｔｅｒｎ，ｐｒｉｏｒｉｔｙ）
である。
【００３３】
（ｘ，ｙ）は、矩形始点座標であり、（ｄｘ，ｄｙ）は、矩形終点移動量である。これらの座標により形成される矩形Ｐを図３（ｂ）に示す。矩形始点座標（ｘ，ｙ）を（０，０）、矩形終点移動量（ｄｘ、ｄｙ）を（ａ，ｂ）とすると、横辺がａ、縦辺がｂの矩形Ｐが生成される。矩形Ｐに重ねて、別の矩形を生成する場合は、矩形始点座標及び矩形終点移動量の設定変更をすることにより実行できる。
【００３４】
図３（ｃ）に、矩形始点座標を（０，０）、矩形終点移動量を（１２０，１００）と設定した場合に生成される、横辺１２０、縦辺１００から成る矩形Ｒの中央に重ねて、横辺１００、縦辺８０から成る矩形Ｑを生成する図を示す。まず、矩形始点座標の値を設定する。矩形Ｑの横辺を１００にするためには、矩形始点座標を（１０，１０）に設定する。そして、この始点座標から、ｘ軸方向に距離１００、ｙ軸方向に距離８０移動させる、つまり、矩形終点移動量（ｘ，ｙ）を（１００，８０）に設定することにより、矩形Ｑが生成される。これらの座標設定により、矩形が生成され、矩形領域が確定される。
【００３５】
ｆｌｅｘｉｂｌｅは、矩形始点座標及び矩形終点移動量で確定された矩形領域が、変形
可能か否かを示すものである。ＦＩＸの場合は、固定設定であるため矩形領域の変更はできず、ＦＬＥＸの場合は変形が可能である。ここで、フレーム画像データの変形とは、ユーザにより抽出された表示対象を含む領域の位置情報に対応付けて、フレーム画像データを構成する矩形領域を変更する処理である（図７参照。）。フレーム画像データは、複数の色領域から成る矩形領域であるフレームデザインにより構成されており、モニタ画像データより抽出された領域の位置やサイズ等の情報に対応づけて、それぞれのフレームデザインの形状を変更する。形状を変更するフレームデザインは設定により異なり、フレーム画像データのコマンドにより設定する。従って、ｆｌｅｘｉｂｌｅをＦＬＥＸと設定すると、抽出された領域に対応付けてフレームデザインの位置やサイズ等を変更することができる。
【００３６】
ｄｒａｗ＿ｔｙｐｅは、確定された矩形領域において、その矩形内を塗りつぶすか、もしくは、フレームの枠を描写するかの設定である。ＢＯＸと設定されると、確定された矩形領域の外周を描写する。ＦＩＬＬと設定されると、確定された矩形領域を設定されたパターンで塗りつぶす。ＷＩＮＤＯＷと設定されると、確定された矩形領域をフレーム画像の透過部として定義する。つまり、ＷＩＮＤＯＷと設定された領域に、被写体の画像データを合成する。以下、ＷＩＮＤＯＷ設定された領域を窓領域と称す。
【００３７】
ｐａｔｔｅｒｎは、フレームデザインの種類の設定であり、図２に示した３パターンの何かが設定される。ここで、ｎｕｌｌと設定すると、何れのパターンでも塗りつぶさない。従って、空白の状態となる。
【００３８】
ｐｒｉｏｒｉｔｙは、フレーム画像を構成するデータの表示優先度の設定である。図３（ｄ）に示すように、ｐｒｉｏｒｉｔｙ１として三角形のフレーム画像データ、ｐｒｉｏｒｉｔｙ２として円形のフレーム画像データが設定されている場合、番号の早い方、つまり、ｐｒｉｏｒｉｔｙ１である三角形のフレーム画像データの方が表示優先度が高く、図のように合成される。つまり、ｐｒｉｏｒｉｔｙの番号が早い画像データから優先して重畳表示される。
【００３９】
図４（ａ）に、本実施形態の携帯電話１００の基準となるフレーム情報を示し、図４（ｂ）に、図４（ａ）のフレーム情報に基づいて生成される基準フレーム画像データを示す。
【００４０】
図４（ａ）に示すフレーム情報は、本実施形態に係る携帯電話１００のＲＯＭ５に格納されるフレーム情報の基準設定である。基準となるフレームサイズは、
ｆｒａｍｅ＿ｓｉｚｅ（１２０，１００）
の設定より、ｘ軸方向に１２０、ｙ軸方向に１００で構成されるフレームサイズ、つまり、横×縦が１２０×１００のサイズである。フレームデザインは、図に示すような３パターンで構成される。
【００４１】
ｒｅｃｔａｎｇｌｅ（（０，０），（１２０，１００），ＦＩＸ，ＦＩＬＬ，ＰＡＴＴＥＲＮ＿Ａ，４）・・・（１）
の設定により構成されるフレーム画像データ２０は、矩形始点座標（０，０）から矩形終点移動量（１２０，１００）の設定により形成される矩形において、位置を固定し（ＦＩＸ）、その矩形内をパターンデザインＡで塗りつぶす（ＦＩＬＬ）ことにより生成される。
ｒｅｃｔａｎｇｌｅ（（１０，１０），（１００，８０），ＦＩＸ，ＦＩＬＬ，ＰＡＴＴ
ＥＲＮ＿Ｂ，３）・・・（２）
の設定により構成されるフレーム画像データ２１は、矩形始点座標（１０，１０）から矩形終点移動量（１００，８０）の設定により形成される矩形において、位置を固定し（ＦＩＸ）、矩形内をパターン種類Ｂで塗りつぶす（ＦＩＬＬ）ことにより生成される。
ｒｅｃｔａｎｇｌｅ（（２０，２０），（８０，６０），ＦＬＥＸ，ＦＩＬＬ，ＰＡＴＴＥＲＮ＿Ｃ，２）・・・（３）
の設定により構成されるフレーム画像データ２２は、矩形始点座標（２０，２０）から矩形終点移動量（８０，６０）の設定により形成される矩形において、矩形は変形可能であり（ＦＬＥＸ）、矩形内をパターン種類Ｃで塗りつぶす（ＦＩＬＬ）ことにより生成される。
ｒｅｃｔａｎｇｌｅ（（３０，３０），（６０，４０），ＦＬＥＸ，ＦＩＬＬ，ＷＩＮＤＯＷ，ｎｕｌｌ，１）・・・（４）
の設定により構成されるフレーム画像データ２３は、矩形始点座標（３０，３０）から矩形終点移動量（６０，４０）の設定により形成される矩形において、矩形は変形可能であり（ＦＬＥＸ）、確定された矩形内をフレーム画像の透過部として定義、つまり、どのパターンでも塗りつぶさないことにより生成される。
【００４２】
以上のフレーム画像設定（１）〜（４）において、ｐｒｉｏｒｉｔｙ（表示優先度）の設定は、順に（４）、（３）、（２）、（１）であるため、フレーム画像設定（４）により生成されるフレーム２３が一番優先的に表示され、フレーム画像設定（１）により生成されるフレーム画像データ２０が一番背面に表示される。従って、この設定により図４（ｂ）の基準フレームが生成される。（１）、（２）、（３）、（４）それぞれの設定を変更して保存することにより、複数の基準フレームが設定可能である。ユーザは、複数の基準フレームの中から所望するフレーム画像データを選択する。以下、図４（ｂ）に示すフレーム画像データと撮影画像データを合成する場合について説明する。
【００４３】
図５に、撮影画像データとフレーム画像データとの合成方法の一例を示す。
【００４４】
先ずユーザが、合成したいフレーム画像データを選択するために携帯電話１００のキー入力部８より所定の操作を行うと、この操作を検出することにより、ＣＰＵ４はＲＯＭ５よりロードされたプログラムに基づいて、モニタ表示されたモニタ画像データＡから抽出したい表示対象である被写体像を含む領域Ｂを抽出する。なお、本実施例では、人物のみを抽出する構成とするが、これに限らず、例えば、モニタ画像データＡにおいて、木と人物を含む領域を抽出するとしてもよい。そしてユーザにより、領域Ｂが抽出されると、その領域の位置を判別し、フレーム画像データの位置、サイズが決定される。ここで必要とされる携帯電話１００が格納する基準フレームは、上述したように、フレーム画像データ２０及びフレーム画像データ２１が位置固定、フレーム画像データ２２及びフレーム画像データ２３が位置変更可能と設定されている。ＣＰＵ４は、領域Ｂが抽出されることにより、フレーム画像データの位置、サイズを決定すると、決定した情報を基に基準フレームを変更する。このとき、変更するフレームは位置変更可能なフレーム画像データ２２及びフレーム画像データ２３である。この処理により生成するフレーム画像データが、図５に示すフレーム画像データＣである。
【００４５】
図５で生成したフレーム画像データＣとモニタ画像から抽出した領域Ｂを重ね合わせ表示した画像データを図６に示す。フレーム画像データＣを生成すると、ＣＰＵ４は、図６に示すように、モニタ画像データと重ね合わせた画像データを表示することにより、ユーザに画像データの確認をさせる。ユーザはこの重ね合わせ表示された画像データを確認し、更に、フレーム画像データＣの位置、サイズを変更することが可能である。変更する際
は、キー入力部８からの操作信号により実行する。
【００４６】
以上のように、フレーム画像データとモニタ画像を合成する場合に、ユーザがフレーム画像データと合成する画像領域を自由に設定することができることにより、所望する被写体像のみフレーム内に収めることが可能である。従って、フレーム画像データと合成することにより、風景が切れてしまったり、フレーム内に収めたくない被写体像までフレーム内に入ってしまうということを回避でき、ユーザが最も所望する画像データを作成することができる。
【００４７】
次に、図７のフレーム画像データを参照して、フレーム画像データＣを変更する処理について説明する。ユーザは、重ね合わせ表示された画像データを確認した後、例えば、もう少し領域Ｂを拡張したいと所望すると、キー入力部８を操作することにより拡張したい方向及び大きさに領域Ｂを変更し、変更後の領域Ｅに基づいてフレーム画像データＤを生成する。フレーム画像データ２２の領域Ｆは可変であり、ＣＰＵ４は、この可変領域Ｆについて、窓領域と、外周へ向かって一番近いフレーム画像データであるフレーム画像データ２１の領域Ｇ間の比が同じになるように、可変領域Ｆの領域を設定し直す。
【００４８】
具体的には、フレーム画像データＣにおいて、フレーム画像データ２３の左辺３０とフレーム画像データ２２の左辺４０間の距離をｂとする。そして、左辺４０とフレーム画像データ２１の左辺５０間の距離をａとする。一方、フレーム画像データＤにおいて、フレーム画像データ２３の左辺３１とフレーム画像データ２２の左辺４１間の距離をｄ、左辺４１とフレーム画像データ２１の左辺５１間の距離をｃとする。また、下辺も同様に、フレーム画像データＣにおいて、フレーム画像データ２３の下辺３２とフレーム画像データ２２の下辺４２間の距離をｅとする。そして、下辺４２とフレーム画像データ２１の下辺５２間の距離をｆとする。一方、フレーム画像データＤにおいて、フレーム画像データ２３の下辺３３とフレーム画像データ２２の下辺４３間の距離をｇ、左辺４３とフレーム画像データ２１の下辺５３間の距離をｈとする。窓領域を領域Ｂから領域Ｅに変更するときは、ａ、ｂ、ｃ、ｄの距離をａ：ｂ＝ｃ：ｄ、且つ、ｅ、ｆ、ｇ、ｈの距離をｅ：ｆ＝ｇ：ｈとなるように変更する。
【００４９】
以上のように、フレームの位置やサイズを変更する場合に、フレーム領域の比を一定にすることにより、合成する画像データによって、フレームのバランスが悪くなることを避けることができ、常に、フレームデザインのバランスが良いフレーム画像データを作成することが可能となる。
【００５０】
次に、図８のフローチャートを参照して、撮影画像データとフレーム画像データを合成する処理について説明する。
【００５１】
まず、携帯電話１００のモードを切換えることにより、携帯電話１００の撮像部であるカメラを起動させる（ステップＳ１）。ステップＳ１において、カメラを起動させると、表示部１０（以下、表示画面）に被写体をモニタ表示する（ステップＳ２）。カメラ起動前に、フレーム画像データを選択することが可能であり、予めフレーム画像データが選択されている場合には、ステップＳ１において、カメラを起動させた後、フレーム画像データを被写体像にオーバーレイ表示する。ステップＳ２において、表示画面に被写体をモニタ表示すると（フレーム画像データが選択されている場合は、オーバーレイ表示）、機能選択ボタンが操作されたか否かを判定する（ステップＳ３）。この機能選択ボタン押下により、複数のフレーム画像データが表示され、ユーザはこの中から、所望するフレーム画像データを選択できる。
【００５２】
ステップＳ３において、機能選択ボタンが操作されたと判定すると（ステップＳ３；Ｙ
ＥＳ）、フレーム画像データが格納されたＲＡＭ６（以下、メモリ）から複数のフレーム画像データを取得し（ステップＳ４）、表示画面にフレーム選択画面を表示する（ステップＳ５）。ステップＳ５において、表示画面にフレーム選択画面を表示すると、ユーザによりフレーム選択操作がされたか否かを判定する（ステップＳ６）。ステップＳ６において、フレーム選択操作がされなかったと判定すると（ステップＳ６；ＮＯ）、ステップＳ２に戻り、再度、被写体をモニタ表示する。
【００５３】
ステップＳ６において、フレーム選択操作がされたと判定すると（ステップＳ６；ＹＥＳ）、ステップＳ２でモニタ表示した被写体を、撮像手段により撮像されたモニタ画像データとして、携帯電話１００のメモリ内のモニタ画像一時保存領域６１０に一時的に取得する。
（ステップＳ７）。ステップＳ７において、ステップＳ２でモニタ表示したモニタ画像データを一時的に取得すると、この一時的に取得したモニタ画像データからフレーム画像データと合成する人物エリア（表示対象）を抽出できたか否かを判別する（ステップＳ８）。この人物エリア抽出の判別は、ユーザにより設定されたフレーム画像データと合成する被写体像を含む領域の位置情報を読み出すことにより実行する。ステップＳ８において、一時的に取得したモニタ画像データからフレーム画像データと合成する人物エリアを抽出できなかったと判別すると（ステップＳ８；ＮＯ）、ユーザが設定した領域の位置情報の読み出しができなかったと判断できるため、人物エリアにおけるデフォルト値を設定することにより、人物エリアの抽出を実行する（ステップＳ９）。
【００５４】
ステップＳ８において、一時的に取得したモニタ画像データからフレーム画像データと合成する人物エリアを抽出できたと判別する（ステップＳ８；ＹＥＳ）か又はステップＳ９において、人物エリアにおけるデフォルト値の設定を行うと、フレーム画像データと抽出した人物エリアの位置やサイズ等の情報により、フレーム画像データの窓領域の位置及びサイズを決定する（ステップＳ１０）。ステップＳ１０において、フレーム画像データと抽出した人物エリアの位置やサイズ等の情報により、フレーム画像データの窓領域の位置及びサイズを決定すると、決定した位置及びサイズよりフレーム画像データを変形し、変形後のフレーム画像データをフレーム画像一時保存領域６３０に保存する（ステップＳ１１）。
【００５５】
ステップＳ１１において、変形したフレーム画像データをフレーム画像一時保存領域６３０に保存すると、保存したフレーム画像データをビットマップ変換し、フレーム画像ビットマップメモリに保存する（ステップＳ１２）。ステップＳ１２において、ビットマップ変換したフレーム画像を、フレーム画像ビットマップ領域６４０に保存すると、そのフレーム画像データと、ステップＳ７で取得したモニタ画像データを重ね合わせて表示画面に表示する（ステップＳ１３）。このとき、抽出した人物エリアが変形したフレーム画像データの枠内に収まるように重ね合わせて表示する。ステップＳ１３において、フレーム画像データとモニタ画像データを重ね合わせて表示すると、その表示を確認したユーザにより、フレーム画像データの位置、サイズ等の変更操作又は確認キーが押下されたか否かを判定する（ステップＳ１４）。
【００５６】
ステップＳ１４において、重ね合わせ表示を確認したユーザにより、フレーム画像データの位置、サイズ等の変更操作があったと判定すると（ステップＳ１４；変更操作）、入力された指示に従って、フレーム画像データの位置、サイズ等の情報を変更する（ステップＳ１５）。ステップＳ１５において、フレーム画像データの位置、サイズ等の情報を変更すると、再度、ステップＳ１１に戻り、ステップＳ１１〜Ｓ１４の処理を繰り返す。ステップＳ１４において、確認キー押下があったと判定すると（ステップＳ１４；確認キー）、ステップＳ２に戻り、確定されたフレーム画像データとモニタ画像データをオーバーレイ表示し、ステップＳ２〜Ｓ３の処理を繰り返す。
【００５７】
ステップＳ３において、機能選択ボタンが操作されなかったと判定すると（ステップＳ３；ＮＯ）、ユーザにより撮影ボタンが押下されたか否かを判定する（ステップＳ１６）。ステップＳ１６において、ユーザにより撮影ボタンが押下されなかったと判定すると（ステップＳ１６；ＮＯ）、再度、ステップＳ２に戻り、ステップＳ２〜Ｓ３の処理を繰り返す。ステップＳ１６において、ユーザにより撮影ボタンが押下されたと判定すると（ステップＳ１６；ＹＥＳ）、撮影された撮影画像データを撮影画像一時保存領域６２０へ一時的に格納する（ステップＳ１７）。ステップＳ１７において、撮影された撮影画像データを撮影画像一時保存領域６２０へ一時的に格納すると、フレーム画像データがすでに選択されているか否かを判定する（ステップＳ１８）。
【００５８】
ステップＳ１８において、フレーム画像データがすでに選択されていると判定すると（ステップＳ１８；ＹＥＳ）、ステップＳ１７で撮影画像一時保存領域６２０に一時的に保存した撮影画像データに、選択されているフレーム画像データを合成する（ステップＳ１９）。ステップＳ１８において、フレーム画像データがまだ選択されていないと判定すると（ステップＳ１８；ＮＯ）又はステップＳ１９において、撮影画像データにフレーム画像データを合成すると、撮影画像データ又は合成画像データを表示画面に表示し、ユーザによる撮影画像確認の結果がＯＫであったか否かを判定する（ステップＳ２０）。ステップＳ２０において、ユーザによる撮影画像確認がＯＫではないと判定すると（ステップＳ２０；ＮＯ）、ステップＳ２に戻り、再度、表示画面に被写体像をモニタ表示する。ステップＳ２０において、ユーザによる撮影画像確認の結果がＯＫであったと判定すると（ステップＳ２０；ＹＥＳ），撮影画像データを圧縮した後、携帯電話１００のメモリに保存し（ステップＳ２１）、処理を終了する。尚、この保存処理が完了した撮像画像データは従来の撮像画像データと同様にメールに添付して送信したり、ネットワーク（不図示）に任意に無線送信することが可能である。
【００５９】
以上のように、予め撮影するメモリ画像データを一時的に保存し、そのデータを基にフレーム画像データとのバランスを確認しながら、ユーザはフレーム画像データを自由に変更できることにより、被写体像を確実にフレーム内に収めることができ、また、被写体像とフレームとのバランスのよい画像データを生成することが可能である。さらに、フレーム画像データの位置、サイズ等の変更は複数回実行可能であり、表示画面で何度も確認しながら、ユーザは最適なフレーム画像データと画像データとの合成画像を作成することができる。
【図面の簡単な説明】
【００６０】
【図１】本実施形態に係る画像合成装置の主要部構成を示す。
【図２】（ａ）は、本実施形態に係る画像合成装置のＲＡＭの記憶内容を示した図、（ｂ）は、フレーム情報領域に記憶されるデータの一例である。
【図３】フレーム画像領域の一例を示す。
【図４】本実施形態に係る画像合成装置が記憶する基準となるフレーム情報及びその情報に基づいて生成されるフレーム画像を示す。
【図５】撮影画像データとフレーム画像データとの合成方法の一例を示す。
【図６】フレーム画像データとモニタ画像から抽出した領域を重ね合わせ表示した画像データの一例を示す。
【図７】抽出する領域が異なったフレーム画像データの一例を示す。
【図８】撮影画像データとフレーム画像データを合成する処理を示すフローチャートである。
【符号の説明】
【００６１】
１ アンテナ
２ 通信部
３ 音声処理部
４ ＣＰＵ（判別手段、変形手段）
５ ＲＯＭ
６ ＲＡＭ
７ 撮像部（撮像手段）
７ａ 撮影用センサ（撮像手段）
８ キー入力部
９ 表示ドライバ
１０ 表示部（表示手段）
１１ スピーカー
１２ マイク
１３ 記憶部
１００ 携帯電話（画像合成装置）
６０１、６０２、６０３ フレーム情報領域
６１０ モニタ画像一時保存領域
６２０ 撮影画像一時保存領域
６３０ フレーム画像一時保存領域
６４０ フレーム画像ビットマップ領域
【特許請求の範囲】
【請求項１】
画像データ内における表示対象の位置を判別する判別手段と、
この判別手段によって判別された表示対象の位置に合わせて予め用意されたフレーム画像データを変形させる変形手段と、
前記表示対象がこの変形されたフレーム画像データの枠内に収まるように、前記画像データと前記フレーム画像データとを合成して表示する表示手段と、
を備えたことを特徴とする画像合成装置。
【請求項２】
前記画像合成装置は、撮像手段を更に備え、
前記画像データは、前記撮像手段によって撮像されたものであることを特徴とする請求項１に記載の画像合成装置。
【請求項３】
前記表示対象は前記撮像手段によって撮像された被写体像であることを特徴とする請求項２に記載の画像合成装置。
【請求項４】
前記フレーム画像データは、複数の色領域を有し、
前記変形手段は、前記複数の色領域のそれぞれを前記被写体像の位置に合わせて変形させることを特徴とする請求項１から３の何れか一項に記載の画像合成装置。
【請求項５】
画像データ内における表示対象の位置を判別する判別ステップと、
この判別ステップにて判別された前記表示対象の位置に合わせて予め用意されたフレーム画像データを変形させる変形ステップと、
前記表示対象がこの変形されたフレーム画像データの枠内の収まるように、前記画像データと前記変形されたフレーム画像データとを合成して表示させる表示ステップとからなることを特徴とする画像合成方法。
【請求項６】
コンピュータに、
画像データ内における表示対象の位置を判別する判別手段、
この判別手段によって判別された前記表示対象の位置に合わせて予め用意されたフレーム画像データを変形させる変形手段、
前記表示対象がこの変形されたフレーム画像データの枠内に収まるように、前記画像データと前記変形されたフレーム画像データとを合成して表示させる表示手段
として機能させる画像合成プログラム。
【請求項１】
画像データ内における表示対象の位置を判別する判別手段と、
この判別手段によって判別された表示対象の位置に合わせて予め用意されたフレーム画像データを変形させる変形手段と、
前記表示対象がこの変形されたフレーム画像データの枠内に収まるように、前記画像データと前記フレーム画像データとを合成して表示する表示手段と、
を備えたことを特徴とする画像合成装置。
【請求項２】
前記画像合成装置は、撮像手段を更に備え、
前記画像データは、前記撮像手段によって撮像されたものであることを特徴とする請求項１に記載の画像合成装置。
【請求項３】
前記表示対象は前記撮像手段によって撮像された被写体像であることを特徴とする請求項２に記載の画像合成装置。
【請求項４】
前記フレーム画像データは、複数の色領域を有し、
前記変形手段は、前記複数の色領域のそれぞれを前記被写体像の位置に合わせて変形させることを特徴とする請求項１から３の何れか一項に記載の画像合成装置。
【請求項５】
画像データ内における表示対象の位置を判別する判別ステップと、
この判別ステップにて判別された前記表示対象の位置に合わせて予め用意されたフレーム画像データを変形させる変形ステップと、
前記表示対象がこの変形されたフレーム画像データの枠内の収まるように、前記画像データと前記変形されたフレーム画像データとを合成して表示させる表示ステップとからなることを特徴とする画像合成方法。
【請求項６】
コンピュータに、
画像データ内における表示対象の位置を判別する判別手段、
この判別手段によって判別された前記表示対象の位置に合わせて予め用意されたフレーム画像データを変形させる変形手段、
前記表示対象がこの変形されたフレーム画像データの枠内に収まるように、前記画像データと前記変形されたフレーム画像データとを合成して表示させる表示手段
として機能させる画像合成プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００６−３１１３０２（Ｐ２００６−３１１３０２Ａ）
【公開日】平成１８年１１月９日（２００６．１１．９）
【国際特許分類】
【出願番号】特願２００５−１３２５２７（Ｐ２００５−１３２５２７）
【出願日】平成１７年４月２８日（２００５．４．２８）
【出願人】（５０４１４９１００）株式会社カシオ日立モバイルコミュニケーションズ (893)
【Ｆターム（参考）】
【公開日】平成１８年１１月９日（２００６．１１．９）
【国際特許分類】
【出願日】平成１７年４月２８日（２００５．４．２８）
【出願人】（５０４１４９１００）株式会社カシオ日立モバイルコミュニケーションズ (893)
【Ｆターム（参考）】
[ Back to top ]