画像処理装置、及び画像処理方法
【課題】連続撮影された写真を用いて、簡便な操作で画像を合成し、撮影者が意図した写真を作成する。
【解決手段】連続して撮影された画像群に含まれる第1画像が表示される表示画面と、ユーザにより擦られた前記表示画面上の摩擦位置を検出する摩擦位置検出部と、前記摩擦位置に対応する前記第1画像の画素領域と、前記画像群に含まれる第2画像の画素領域とを合成する画像合成部とを備え、前記画像合成部は、前記ユーザにより擦られた摩擦量が大きくなるに連れて前記第1画像と前記第2画像との間の撮影時間差が大きくなるように前記第1画像に合成される第2画像を切り替える、画像処理装置が提供される。
【解決手段】連続して撮影された画像群に含まれる第1画像が表示される表示画面と、ユーザにより擦られた前記表示画面上の摩擦位置を検出する摩擦位置検出部と、前記摩擦位置に対応する前記第1画像の画素領域と、前記画像群に含まれる第2画像の画素領域とを合成する画像合成部とを備え、前記画像合成部は、前記ユーザにより擦られた摩擦量が大きくなるに連れて前記第1画像と前記第2画像との間の撮影時間差が大きくなるように前記第1画像に合成される第2画像を切り替える、画像処理装置が提供される。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、及び画像処理方法に関する。
【背景技術】
【0002】
近年、複数枚の写真を連続して撮影する連写機能を搭載した撮像装置が広く普及してきた。また、最近では、連写機能を利用して撮影された複数枚の写真を1枚の写真に合成することにより、合成前の写真よりも高画質な写真を出力する技術が開発されている。通常、このような写真の合成加工は、撮像装置において自動的に実行されるか、或いは、写真データをパーソナルコンピュータ(以下、PC)等に移動して、PC上で実行される。例えば、下記の特許文献1には、撮像装置において自動的に複数枚の写真が合成され、その合成写真が1枚の静止画像として表示される構成が記載されている。
【0003】
写真を合成する目的としては、例えば、異なる撮像範囲の写真を合成してパノラマ写真を生成するというものがある。他の目的として、最近では、撮像素子が持つ画素サイズ以下の移動量で移動しながら撮影された複数枚の写真を合成することにより撮像素子の解像度よりも高い解像度の写真を生成するという技術も知られている。また、連続撮影した写真を合成せず、例えば、連続撮影された複数枚の写真の中から、撮影者の意図に合った写真を撮影者に選択させるという手法も用いられる。この手法は、撮影時に人物が目を瞑ってしまったり、或いは、撮像範囲に意図しない物体が入ってしまったりした写真を回避できるという点で非常に有効な手法である。
【0004】
【特許文献1】特開2000− 41170号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、集合写真のように多くの人物が被写体に含まれている場合、連続撮影しても、全ての人が目を瞑っていない写真を撮影するのは難しいことが多い。このように、連続撮影したとしても、連続撮影された複数枚の写真の中に撮影者の意図に合致した写真が含まれていない場合がある。このような場合、撮影者は、意図に合致した写真を得ることができない。また、写真データをPC等に移動して画像処理アプリケーションによる写真の補正や合成等を行うためには高度な操作技術や知識が求められるため、撮影者にとって大きな負担になっている。その結果、撮影者は、意図した写真を得ることを諦め、意図した写真に比較的近い写真を選択して我慢することになる。
【0006】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮影者が意図した写真を得るために、連続撮影された複数枚の写真を簡単な操作で部分的に合成することが可能な、新規かつ改良された画像処理装置、及び画像処理方法を提供することにある。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明のある観点によれば、連続して撮影された画像群に含まれる第1画像が表示される表示画面と、ユーザにより擦られた前記表示画面上の摩擦位置を検出する摩擦位置検出部と、前記摩擦位置に対応する前記第1画像の画素領域と、前記画像群に含まれる第2画像の画素領域とを合成する画像合成部と、を備え、前記画像合成部は、前記ユーザにより擦られた摩擦量が大きくなるに連れて前記第1画像と前記第2画像との間の撮影時間差が大きくなるように前記第1画像に合成される第2画像を切り替える、画像処理装置が提供される。
【0008】
また、前記画像合成部は、前記摩擦量が大きくなるに連れて前記第1画像に対する前記第2画像の合成比率を増加させ、前記摩擦量が所定の閾値を超過した段階で前記第2画像を前記第1画像からの撮影時間差がより大きい画像に切り替えるように構成されていてもよい。
【0009】
また、前記画像合成部は、前記摩擦量が所定の閾値を所定量だけ超過するまで前記画素領域に切り替え前の前記第2画像を表示し、当該所定量を超過した段階で前記第2画像を切り替えるように構成されていてもよい。
【0010】
また、前記摩擦量は、前記画素領域が摩擦された回数、摩擦時の押圧力、摩擦方向、及び摩擦早さの中から選択される1つの量又は複数の組み合わせにより決定される量であってもよい。
【0011】
また、前記画像群は、撮影時に変更可能な任意のパラメータを変化させながら連続して撮影された複数の画像であってもよい。
【0012】
また、前記パラメータは、被写界深度、画像エフェクト、又はフラッシュを制御するための制御パラメータであってもよい。
【0013】
また、上記課題を解決するために、本発明の別の観点によれば、連続して撮影された画像群に含まれる第1画像が表示画面上に表示されている場合に、ユーザにより擦られた前記表示画面上の摩擦位置が検出される摩擦位置検出ステップと、前記摩擦位置に対応する前記第1画像の画素領域と、前記画像群に含まれる第2画像の画素領域とが合成される画像合成ステップと、を含み、前記画像合成ステップでは、前記ユーザにより擦られた摩擦量が大きくなるに連れて前記第1画像と前記第2画像との間の撮影時間差が大きくなるように前記第1画像に合成される第2画像が切り替わる、画像処理方法が提供される。
【発明の効果】
【0014】
以上説明したように本発明によれば、連続撮影された複数枚の写真を簡単な操作で部分的に合成することが可能になる。その結果、撮影者は、複数枚の写真を部分的に合成して意図した写真を得ることができるようになる。
【発明を実施するための最良の形態】
【0015】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0016】
[説明の流れについて]
ここで、後述する説明の流れについて簡単に述べる。まず、図1、図2を参照しながら、本発明の実施形態に係る技術が目的とするところについて簡単に説明する。この中で、同実施形態に係る技術が解決しようとする具体的な課題についても説明する。次いで、図3を参照しながら、同実施形態の技術に関する原理説明を行う。その後、図4〜図9を参照しながら、当該技術を実現することが可能な同実施形態に係る画像処理装置100の機能構成について説明する。
【0017】
次いで、図10を参照しながら、当該画像処理装置100の動作について説明する。さらに、図11を参照しながら、当該動作に含まれる深度算出処理の流れについて説明する。次いで、図12A〜図12Cを参照しながら、同実施形態に係る技術の一応用例について説明する。さらに、図13を参照しながら、同実施形態に係る他の応用例について説明する。最後に、図14、図15を参照しながら、同実施形態に係る画像処理装置100、及び撮像装置200のハードウェア構成例について説明する。以下、順次説明する。
【0018】
[目的]
まず、図1、及び図2を参照しながら、以下で説明する実施形態に係る技術が目的とするところについて簡単に説明する。図1、図2は、連続撮影された被写体像の一例を模式的に示した説明図である。以下の説明において、図1の例をケース1、図2の例をケース2と呼ぶことにする。
【0019】
まず、図1を参照する。図1には、時刻t1に撮影された写真P(t1)と、時刻t2に撮影された写真P(t2)とが描画されている。但し、時刻t1、t2は、連続する撮影時刻である。また、写真P(t1)、P(t2)には、2つの被写体像(被写体A、被写体B)が撮像されている。ここでは、被写体A及び被写体Bの「瞬き」に注目する。
【0020】
ケース1の場合、写真P(t1)に含まれる被写体Aは、瞬きをした瞬間に撮影されたものである。そのため、写真P(t1)に含まれる被写体Aに関しては、撮影者の意図に合致した状態ではない。但し、写真P(t1)に含まれる被写体Bは、瞬きをしておらず、撮影者の意図に合致した状態(OK)である。
【0021】
このように、撮影者の意図に合致しない被写体像が含まれる写真P(t1)は、撮影者の意図に合致した写真ではない。一方、写真P(t2)に含まれる被写体A及び被写体Bは、瞬きをしておらず、撮影者の意図に合致した状態(OK)である。そのため、写真P(t2)は、撮影者の意図に合致した写真である。ケース1のように、連続撮影された複数枚の写真の中に、撮影者の意図に合致した写真(写真P(t2))が含まれている場合、撮影者は、意図に合致した写真P(t2)を選択すればよい。
【0022】
次に、図2を参照する。図2には、図1と同様に、時刻t1に撮影された写真P(t1)と、時刻t2に撮影された写真P(t2)とが描画されている。ケース2の場合も、時刻t1、t2は、連続する撮影時刻である。また、写真P(t1)、P(t2)には、2つの被写体像(被写体A、被写体B)が撮像されている。
【0023】
ケース2の場合も、写真P(t1)に含まれる被写体Aは、瞬きをした瞬間に撮影されたものである。そのため、写真P(t1)に含まれる被写体Aに関しては、撮影者の意図に合致した状態ではない。但し、写真P(t1)に含まれる被写体Bは、瞬きをしておらず、撮影者の意図に合致した状態(OK)である。つまり、撮影者の意図に合致しない被写体像が含まれる写真P(t1)は、撮影者の意図に合致した写真ではない。
【0024】
一方で、写真P(t2)に含まれる被写体Aは、瞬きをしておらず、撮影者の意図に合致した状態(OK)である。但し、写真P(t2)に含まれる被写体Bは、瞬きをした瞬間に撮影されたものである。そのため、写真P(t2)は、撮影者の意図に合致した写真ではない。ケース1のように、連続撮影された複数枚の写真の中に、撮影者の意図に合致した写真(写真P(t2))が含まれている場合、撮影者は、意図に合致した写真P(t2)を選択すればよい。しかし、ケース2の場合、この手法を用いることができない。
【0025】
上記のように、短時間に複数回のシャッターを切ってコマ送りのように連続して撮影された写真の中に、撮影者の意図に合う写真が存在する場合には、その意図に合う写真をピックアップする手法が適用できる。しかし、上記の例と同様、撮影者の意図しない被写体像を含まない写真が連続撮影された写真の中に含まれていない場合、意図に合う写真をピックアップする手法を適用することができない。例えば、集合写真のように、多数の人物像が撮像範囲に含まれている場合、全員が瞬きをしていない瞬間を捕らえるのは難しく、ケース2のような状況になる確率が高い。
【0026】
こうした現状に鑑み、以下で説明する実施形態に係る技術は、ケース2のような場合でも、撮影者の意図に合致した写真を得ることができるようにするものである。但し、同実施形態に係る技術は、被写体の瞬きに対する対策として適用されるだけでなく、後述する応用例でも示すように、多種多様なケースに適用可能である。また、同実施形態に係る技術の適用範囲は写真に限定されるものではなく、例えば、放送データや映像データを構成する動画像フレームや種々の静止画像についても適用範囲に含まれる。但し、以下では、説明の都合上、連続撮影された「写真」と表記することにする。
【0027】
<実施形態>
以下、本発明の一実施形態について説明する。本実施形態は、連続撮影された複数枚の写真を合成する技術に関する。但し、当該技術は、所定のパラメータを変化させながら連続的に撮影された複数枚の写真に対しても適用される。また、本実施形態は、写真が表示された画面上をユーザが擦ることにより、その擦る動作に応じて連続撮影された他の写真を合成処理する技術に関する。そのため、当該技術は、ユーザの操作体系に関する。
【0028】
[原理説明]
まず、図3を参照しながら、本実施形態の手法について原理説明を行う。図3は、本実施形態に係る技術の原理を説明するための原理説明図である。
【0029】
図3には、タッチパネルと、連続撮影された複数枚の写真とが模式的に示されている。これらの写真は、パラメータを変化させながら連続して撮影されたものである。但し、連続撮影時に撮像機構に関するパラメータを変化させていなくても、1つのパラメータである「時間」が変化している点に注意されたい。撮像機構に関するパラメータとしては、例えば、被写界深度、エフェクト、逆光補正、フラッシュ等がある。
【0030】
被写界深度は、焦点距離、及び絞り値等に依存して決定されるものである。例えば、焦点距離が短くなればなるほど被写界深度は深くなり、さらに、絞りが絞り込まれるほど被写界深度が深くなる。エフェクトとしては、例えば、レンズフィルタや種々のデジタルフィルタによる効果を施すものや、任意の背景画を合成したり、写真全体をセピア色に変化させたりする効果を施すものがある。レンズフィルタによる効果としては、例えば、偏光フィルタ、減光フィルタ、色補正フィルタ、色彩強調フィルタ等がある。なお、フラッシュについては、例えば、点灯/消灯の切り替えや輝度の調整量がパラメータ値となる。
【0031】
これらのパラメータを変化させつつ連続して撮影された複数枚の写真は、図3の中で、パラメータの変化方向(経時方向)に沿って配列されている。実際には、撮影時刻の情報に基づいて写真データが整列されることにより、パラメータの変化方向に沿って写真データが整列される。但し、通常は、撮影時刻の情報に基づいて写真データが並べて管理されているため、ユーザに特別な操作が要求されない点に注意されたい。このように整列された写真データの先頭に位置する写真がタッチパネルに表示される。つまり、連続撮影された複数枚の写真の中で、最初に撮影された写真がタッチパネルに表示される。
【0032】
ここで、ユーザは、タッチパネルに表示された写真を見ながらタッチパネルの表面を指で擦ることにより、指で擦った画素領域について、表示された写真と他の写真とを合成することができる。このとき、本実施形態では、ユーザにより指で擦られた位置又は領域、当該位置又は領域を指が往復した回数、押圧力、指の本数、又は指の移動速度等の摩擦情報が写真の合成処理に用いられる。当該合成処理においては、例えば、指が往復した回数又は押圧力等に応じて、よりパラメータ量の大きい写真が合成される。このとき、ユーザにより指で擦られた位置又は領域のみが合成される。そのため、ユーザは、簡単な操作で写真の一部分だけを合成処理することができる。
【0033】
例えば、図2に示したケース2の場合、タッチパネルには、写真P(t1)が表示されている。上記の通り、写真P(t1)は、被写体Aが瞬きしている点で撮影者の意図に合わないものである。一方、写真P(t2)は、被写体Bが瞬きしており、こちらの写真も撮影者の意図に沿うものではない。
【0034】
しかし、写真P(t1)に写っている被写体Aの一部(目の周囲)を写真P(t2)の被写体Aの一部(目の周囲)で置き換えれば、撮影者の意図に合致する写真が出来上がる。そこで、ユーザは、タッチパネルに表示された写真P(t1)を見ながら、被写体Aの一部(目の周囲)を指で擦る動作を行う。この動作により、写真P(t1)の中で擦られた部分だけが徐々に写真P(t2)に合成され、最終的に写真P(t2)に写っている被写体Aの一部に置き換えられる。その結果、被写体A、及び被写体Bがいずれも瞬きしていない所望の写真が得られる。
【0035】
このように、本実施形態に係る技術は、ユーザの擦る動作により、ユーザが意図する合成位置や合成範囲、或いは、合成度合い等を変更して、ユーザが行う一連の動作により合成画像を生成するというものである。また、ユーザが行う操作は、タッチパネルの表面を擦る動作だけであり、画像処理アプリケーション等とは比べものにならないほど簡単な操作で写真の合成処理が可能になる。つまり、本実施形態に係る技術は、このような利便性の高い操作体系を提供するものでもある。
【0036】
なお、上記の説明の中で、タッチパネルは、表示手段、及び入力手段の一例として説明に用いたものである。また、タッチパネルを擦るための指以外の手段としては、例えば、スタイラス等が用いられることもある。さらに、タッチパネルの画面には、連続撮影された最初の写真が表示されていなくてもよく、例えば、ユーザが指定した撮影時点の写真や所定の撮影時点に対応する写真が表示されていてもよい。また、複数本の指で擦られた場合に、合成された写真が元に戻るように構成されていてもよい。このように、本実施形態はこれに限定されず、種々の変形が可能である。
【0037】
以上、本実施形態の原理説明を行った。以下では、本実施形態に係る技術を実現するための具体的な画像処理装置100の機能構成及び一連の動作について説明する。これまで、具体性を強調するために合成処理対象として「写真」という表現を用いて説明してきたが、以下の説明の中では、より広範な意味を含む「画像」という表現を用いる。
【0038】
[画像処理装置100の機能構成]
ここで、図4を参照しながら、本実施形態に係る画像処理装置100の機能構成について説明する。図4は、本実施形態に係る画像処理装置100の機能構成を示す説明図である。なお、図4には、画像処理装置100に対して連続撮影された写真データを提供する撮像装置200も描画されている。この撮像装置200及び画像処理装置100により、画像処理システムが形成される。
【0039】
図4に示すように、画像処理装置100は、主に、表示入力部110と、画像合成部130とにより構成される。
【0040】
(表示入力部110)
表示入力部110は、主に、表示部112と、摩擦位置検出部114とにより構成される。上記のタッチパネルは、表示入力部110の一例である。
【0041】
表示部112は、撮像装置200により撮影された画像を表示するためのディスプレイデバイスである。また、表示部112の機能は、図14に示すハードウェア資源のうち、出力部918により実現される。また、表示部112には、摩擦位置検出部114が設けられている。摩擦位置検出部114は、表示部112と一体に形成されていてもよいし、別体として形成されていてもよい。但し、摩擦位置検出部114は、表示部112の画面上に設けられ、表示部112に表示された画像が透過して見えるように構成されている。
【0042】
摩擦位置検出部114は、ユーザにより擦られた位置を検出するものである。特に、摩擦位置検出部114は、表示部112の画面上に表示された画像の中で、どの位置又は領域がユーザにより擦られたかを検出するものである。また、摩擦位置検出部114は、ユーザにより擦られた際に掛かった押圧力を検知できるように構成されていてもよい。さらに、摩擦位置検出部114は、ユーザにより直接接触されていなくても、表示部112に近接した画面上の空間にユーザの指等が存在するのを検知し、摩擦位置として認識できる機能を有していてもよい。つまり、ここで言う摩擦位置は、ユーザが表示部112の画面上で空を描くように行った動作に対する位置情報を含むものであってもよい。
【0043】
このようにして検出された摩擦位置の情報は、摩擦位置検出部114から画像合成部130の摩擦情報検出部132に入力される。
【0044】
(画像合成部130)
画像合成部130は、主に、摩擦情報検出部132と、合成比率設定部134と、合成処理部136とにより構成される。なお、画像合成部130の機能は、例えば、図14に示すハードウェア資源のうち、ROM904、RAM906、記憶部920、又はリムーバブル記録媒体928に記録されたコンピュータプログラムに基づいてCPU902により実現されうる。
【0045】
(摩擦情報検出部132)
摩擦情報検出部132は、表示入力部110の摩擦位置検出部114により入力された摩擦位置の情報に基づいて種々の摩擦情報を検出する。この摩擦情報としては、例えば、ユーザに擦られた画素領域、当該画素領域の往復摩擦回数、摩擦の早さ、摩擦の方向、又は摩擦された軌跡の形状等が含まれる。
【0046】
摩擦情報検出部132は、例えば、摩擦位置検出部114から逐次検出される摩擦位置の情報を蓄積しておき、その蓄積された情報を解析することにより、これらの摩擦情報を検出することができる。摩擦情報検出部132により検出された摩擦情報は、合成比率設定部134に入力される。以下では、説明の都合上、摩擦情報として「摩擦回数」「画素領域」が検出されたものとして説明する。
【0047】
(合成比率設定部134)
合成比率設定部134は、摩擦情報検出部132により検出された摩擦情報に基づいて画像の合成比率を設定する。ここで言う画像の合成比率とは、表示部112に表示されている画像(以下、表示画像)における擦られた画素領域の画素値と、合成される画像(以下、被合成画像)の画素値とを合成する際の合成比率を意味している。例えば、合成比率設定部134は、摩擦回数が多くなるに連れて、被合成画像の重みが大きくなるように画素値の合成比率を設定する。但し、摩擦回数に応じて合成する画像を切り替える場合、合成比率は、1又は0に固定されたままである。
【0048】
ここで、合成比率の設定方法について、具体例を挙げて説明する。まず、撮像装置200により、3枚の画像(画像P(t1)、画像P(t2)、画像P(t3);t1<t2<t3)が撮影され、画像処理装置100に入力されているものとする。また、画像P(t1)が表示部112に表示されているものとする。このとき、ユーザにより画像P(t1)が表示された表示部112が擦られると、摩擦位置検出部114により摩擦位置が検出され、摩擦情報検出部132により摩擦回数が合成比率設定部134に入力される。
【0049】
摩擦回数が1回の場合、例えば、ユーザにより擦られた画像P(t1)の画素領域が持つ画素値D1と、画像P(t2)の画素領域が持つ画素値D2とが1:1で合成され、画素値D’=(D1+D2)/2が算出されるように合成比率が設定される。摩擦回数が2回の場合、例えば、ユーザにより擦られた画像P(t1)の画素領域が持つ画素値D1と、画像P(t2)の画素領域が持つ画素値D2とが1:2で合成され、画素値D’=(D1+2*D2)/3が算出されるように合成比率が設定される。このような構成にすることで、擦るに連れて表示画像がパラメータの大きい被合成画像に徐々に変化していく様子が表現できる。
【0050】
一方、摩擦回数に応じて合成する画像を切り替える場合は次のようになる。摩擦回数が1回の場合、ユーザにより擦られた画像P(t1)の画素領域が持つ画素値D1が、画像P(t2)の画素領域が持つ画素値D2に置き換えられる。つまり、その画素領域に対応する合成後の画素値D’はD’=D2になる。上記の表現を用いれば、画素値D1と画素値D2との間の合成比率が0:1ということになる。また、摩擦回数が2回の場合、ユーザにより擦られた画像P(t1)の画素領域が持つ画素値D1が、画像P(t3)の画素領域が持つ画素値D3に置き換えられる。つまり、その画素領域に対応する合成後の画素値D’はD’=D3になる。上記の表現を用いれば、画素値D1と画素値D3との間の合成比率が0:1ということになる。
【0051】
上記の設定方法は一例であり、本実施形態はこれに限定されるものではないが、このような設定方法を用いることにより、摩擦情報に応じた合成比率が設定されうる。また、画像の合成方法については後段において詳細に説明する。このようにして設定された合成比率は、合成処理部136に入力される。
【0052】
(合成処理部136)
合成処理部136は、連続撮影された画像群のうち、最初又は所定の撮影時点に対応する画像を表示部112に表示させる。その後、ユーザは、表示部112に表示された画像を見ながら表示部112の画面上を擦る動作を行う。この擦る動作に応じて摩擦情報が検出され、当該摩擦情報に応じて合成比率設定部134により合成比率が設定される。この合成比率が入力されると、合成処理部136は、合成比率設定部134により設定された合成比率に基づき、撮像装置200により連続撮影された画像を表示部112に表示させた画像に合成する。さらに、合成処理部136は、合成後の画像を表示部112に表示させ、再びユーザに提示する。
【0053】
(画像合成処理の詳細説明)
ここで、図5〜図9を参照しながら、上記の画像合成処理について、より詳細に説明する。図5は、画像のピクセル数に対応するマトリックスを示す説明図である。図6は、ブラシマトリックスの一例を示す説明図である。図7は、入力操作の一例を示す説明図である。図8は、深度マトリックスの一例を示す説明図である。
【0054】
まず、図5を参照する。画像合成部130は、図5に示すマトリックスの情報を保持している。このマトリックスは、画像のピクセル数と同じサイズのデータ格納領域を示しており、例えば、各セルに深度の情報が保持される行列データである。ここで言う深度とは、どの画像がどれだけの割合で合成(表示)されているかを示す指標である。初め、このマトリックスには所定値が格納されており、ユーザによる摩擦動作に応じてマトリックスに格納された深度が更新される。この深度に応じて、画像合成部130により合成される被合成画像の撮影時点が決定されたり、表示画像に合成される被合成画像の比率が設定されたりする。
【0055】
次いで、図6を参照する。図6は、ユーザにより擦られた画素領域に対応するマトリックス値を更新するためのブラシマトリックスである。つまり、このブラシマトリックスは、マトリックスの値に加算される深度を設定するためのものである。この例では、5ピクセル×5ピクセルのサイズを持つブラシマトリックスが設定されている。また、このブラシマトリックスは、中心の値が1.0であり、外側に向かって値が小さくなるように深度が設定されている。ユーザにより擦られた位置が検出されると、その検出位置の画素とブラシマトリックスの中心とが一致するように位置が調整され、ブラシマトリックスの値がマトリックスの値に加算される。
【0056】
まず、図7に示すように、ある画素領域がユーザにより擦られる。図7には、ユーザの指により擦られた位置とマトリックスの位置との間の対応関係が分かるように両者が模式的に描画されている。実際、マトリックスは行列データであるから、図7のようにマトリックスが直接押圧されることはない。しかし、画像合成部130は、図7に示すイメージのように、ユーザが押圧した位置の情報を取得してマトリックス上の位置を認識しているのである。このようにしてユーザにより擦る動作が行われると、画像合成部130により、ブラシマトリックスに格納された深度がマトリックスの値に加算される。この様子を示したのが図8である。
【0057】
図8の例は、マトリックスの各セルに初期値として深度10.0が格納されており、ユーザにより擦られた位置にブラシマトリックスの値が加算された状態のマトリックスを示したものである。図7に示すように、ある画素領域がユーザにより擦られると、画像合成部130により、その画素領域に合うようにブラシマトリックスの位置が調整される。そして、画像合成部130により、ブラシマトリックスの各セルに格納された深度の値が、その各セルに対応するマトリックスの各セルに格納された深度の値に加算される。図6に示すようにブラシマトリックスが設定されていると、加算後のマトリックスは、図8に示すようなものになる。
【0058】
もし、ユーザにより繰り返し同じ画素領域が擦られると、その擦られた部分のマトリックスの値が繰り返し加算されていくことになる。そのため、摩擦回数が大きくなるに連れてマトリックスに格納された深度の値が大きくなる。また、ユーザが同じ画素領域に接触し続けた時間や、その画素領域を押圧した圧力に応じてブラシマトリックスの値が複数回加算されるように構成されていてもよい。さらに、ある画素領域をユーザが擦る際に、その摩擦速度が小さいほど又は大きいほど、ブラシマトリックスの加算回数が多くなるように構成されていてもよい。このような構成にすることで、画像合成部130は、様々な種類の摩擦情報に応じてマトリックスの値を制御することができるようになる。
【0059】
このようにして得られる画素毎の深度は、表示される画像の決定や合成比率の決定に利用される。これらの決定に際して、例えば、図9に示すような変換表が用いられる。図9の変換表は、表示する画像を決定するためのものである。この変換表は、マトリックスの値が含まれる数値範囲を示す欄と、その数値範囲に対応する画像の区分を示す欄とにより構成されている。
【0060】
例えば、ある画素に対応するマトリックスの値(深度)が11.0であった場合、この画素は、「画像1、画像2」に対応する数値範囲10.0〜20.0に含まれる。そのため、この画素の画素値は、互いに対応する画像1及び画像2の画素値を用いて算出される。また、画像1及び画像2の画素を合成する際の合成比率は、合成比率設定部134により、マトリックスの値に応じて決定される。深度が11.0の場合、画像1の画素値D1と画像2の画素値D2との間の合成比率は、例えば、D1:D2=9:1に決定される。従って、合成画像の画素値D’は、D’=0.9*D1+0.1*D2となる。
【0061】
画素値Dが3原色に対応するR,G,Bの値を持つ場合、画素値D1(R1,G1,B1)、及び画素値D2(R2,G2,B2)を合成した合成後の画素値D’(R’,G’,B’)は、下記の式(1)のように表現される。その結果、画像1及び画像2の中でユーザにより擦られた画素領域は、このようにしてアルファブレンドされて表示される。なお、YCbCrやCMYK等の他の色空間表現に対しても、同様に画素値を合成することで合成画像の画素値が算出される。
【0062】
【数1】
【0063】
ここで、再び図9に示した変換表に注目して頂きたい。図9に示した変換表の中で、マトリックスの値が数値範囲0.0〜10.0の場合、或いは、数値範囲が20.0〜30.0の場合、表示される画像がそれぞれ画像1、或いは、画像2のみとなるように設定されている。つまり、ユーザによる擦り動作が繰り返されてマトリックスの値が漸次大きくなっても、これらの数値範囲に加算後の深度が含まれている間、擦られている画素領域の画素値が被合成画像のもので固定された状態となる。この状態は、所謂「溜め」を表現したものである。
【0064】
例えば、図2に示したケース2の場合、ユーザは、時間的に後で撮影された写真P(t2)の一部分(被写体Aの目の周囲)だけをそのまま写真P(t1)と置き換えたいと考えるであろう。もし、上記の「溜め」が無い場合、ユーザは、表示される合成画像を確認しつつ、擦り動作を繰り返しながら写真P(t2)が単独で表示される一瞬を慎重に探ることになる。また、その一瞬を外してしまうと、画素値が合成されたものとなり、画質が低下してしまう。しかし、上記の「溜め」が設定されていれば、写真P(t2)単独で表示された後で、ある程度擦り動作を行っても画素値が変わらない。そのため、ユーザは、表示される画像を参照しながら擦り動作を繰り返し、写真P(t2)単独で表示された時点を容易に、且つ、安心して見つけることができるようになる。
【0065】
以上、画像合成処理の詳細について説明した。上記の通り、画像合成部130の合成比率設定部134及び合成処理部136により、撮像装置200で連続撮影された画像の一部がユーザの擦り動作に応じて合成される。この合成された画像は、表示入力部110の表示部112に入力され、ユーザに対して提示される。但し、表示部112には、合成処理部136により画像が合成される度に合成後の画像が表示される。
【0066】
以上説明したように、本実施形態に係る画像処理装置100は、ユーザによる摩擦動作に応じて、連続撮影された複数枚の画像を合成するというものである。特に、画像処理装置100は、摩擦情報に応じて合成される画像を切り替えたり、合成比率を調整したりする構成に特徴がある。上記の通り、画像処理装置100の構成を適用することで、ユーザによる摩擦動作に応じて画像の一部分だけが滑らかに合成されていく操作体系が実現され、ユーザは、簡単な操作で意図に合致した画像を得ることが可能になる。
【0067】
[撮像装置200の機能構成]
ここで、図4を参照しながら、撮像装置200の機能構成について簡単に説明する。但し、撮像装置200の機能は、図15に示したハードウェア構成により実現される。
【0068】
撮像装置200が有する機能の中で、本実施形態において重要なのはパラメータ変更部210の機能である。パラメータ変更部210は、撮像装置200が連続撮影を実行する際に、制御可能な種々のパラメータを画像単位で変化させる機能を有している。パラメータ変更部210が制御するパラメータとしては、例えば、例えば、被写界深度、エフェクト、逆光補正、フラッシュ等がある。パラメータ変更部210により、これらのパラメータが徐々に変更されつつ、連続して被写体像が撮影されるのである。但し、パラメータの変更は、パラメータ変更部210により自動的に実行されてもよいし、ユーザにより手動で実行されてもよい。
【0069】
[画像処理装置100の動作説明]
次に、図10を参照しながら、本実施形態に係る画像処理装置100の動作説明を行う。図10は、本実施形態に係る画像処理装置100の動作を模式的に示す説明図である。但し、ここでは人物写真の瞬きを補正する例を示して説明している。
【0070】
図10には、時刻t1に撮影された写真P(t1)と、時刻t2に撮影された写真P(t2)とが描画されている。時刻t1、t2は、連続する撮影時刻である。また、写真P(t1)、P(t2)には、2つの被写体像(被写体A、被写体B)が撮像されている。
【0071】
写真P(t1)に含まれる被写体Aは、瞬きをした瞬間に撮影されたものである。一方、写真P(t1)に含まれる被写体Bは、瞬きをしておらず、撮影者の意図に合致した状態(OK)である。また、写真P(t2)に含まれる被写体Aは、瞬きをしておらず、撮影者の意図に合致した状態(OK)である。一方、写真P(t2)に含まれる被写体Bは、瞬きをした瞬間に撮影されたものである。この場合、ユーザは、写真P(t2)に写っている被写体Bの目の部分を写真P(t1)のもので置き換えたいと考えるであろう。
【0072】
このとき、ユーザは、図10に示すように、写真P(t2)に写っている被写体Bの目の周囲を擦るだけで、その摩擦領域に対応する写真P(t1)の画像を合成することができる。つまり、ユーザにより写真P(t2)の画素領域が擦られると、画像処理装置100は、その画素領域に対応する写真P(t2)及び写真P(t1)の画像を合成する(S100)。このような合成処理により、ユーザが所望するように、被写体Aも被写体Bも瞬きしていない合成画像が生成されるのである。
【0073】
このように、ユーザは、瞬きをしてしまっている人物の目の周りを擦ることで、擦った部分だけ時間を進めることができる。このように画像全体ではなく、こすった部分のみを変化させることで、ユーザの意図した位置や範囲だけ深度を変化させることができる。
【0074】
(合成処理S100の詳細)
ここで、図11を参照しながら、画像処理装置100による合成処理S100の流れについて、より詳細に説明する。図11は、本実施形態に係る画像処理装置100による合成処理の流れを示す説明図である。ここで示す一連の処理は、画像処理装置100が有する機能構成の中で、主に、画像合成部130の機能により実現される。
【0075】
図11に示すように、まず、画像合成部130は、ユーザにより擦られた位置の画素領域にブラシマトリックスの位置を合わせ、ブラシマトリックスの各セルに格納された深度値をマトリックスの値に加算する(S102)。次いで、画像合成部130は、変換表を参照してマトリックスの値に対応する画像を選択することで、どの画像を合成(表示)するかを選択する(S104)。次いで、画像合成部130は、マトリックスの値に基づいて、ユーザにより擦られた画素領域の画素値を算出し、合成後の表示画像を構成する画素値として該当するピクセルを埋め(S106)、一連の処理を終了する。これらの処理により、ユーザの摩擦動作に応じた合成画像が生成される。
【0076】
[応用例1:花火撮影]
次に、図12A〜図12Cを参照しながら、本実施形態の一応用例について述べる。図12A〜図12Cは、本実施形態に係る技術を花火撮影の場面に適用した場合の例を示す説明図である。ここで示す花火撮影の場面は、撮影者が意図する被写体像が時間差で現れる場合の例である。このように、被写体の状態を制御できないような場面に対しても、本実施形態に係る画像処理装置100は好適に用いられる。
【0077】
図12A〜図12Cは、2つの花火が破裂する瞬間を狙って連続的に撮影された画像を模式的に示したものである。なお、これらの一連の画像は、左側花火が最初に破裂し、その数秒後に右側花火が破裂した状態を撮影したものである。
【0078】
まず、図12Aを参照する。図12Aの撮影時点は、左側花火が破裂した瞬間である。左側花火については、撮影者の意図した通り、花火が最大に開いた状態の撮影が出来ている。しかし、この撮影時点では、右側花火は破裂前であり、撮影者の意図しているものよりも花火の直径が小さい。
【0079】
次に、図12Bを参照する。図12Bの撮影時点は、右側花火が破裂した瞬間である。右側花火については、撮影者の意図した通り、花火が最大に開いた状態の撮影が出来ている。しかし、この撮影時点では、左側花火が既に消滅してしまっている。そこで、撮影者は、図12Aの画像に写っている右側花火を図12Bに写っている右側花火で置き換えたいと考えるであろう。そこで、擦った部分だけ時間を進めることができる本実施形態の技術が用いられる。
【0080】
まず、撮影者は、図12Aに示した画像の中で右側花火を囲った枠内で擦る操作を行う。すると、擦られた枠内だけ時間が進むため、徐々に図12Bの右側花火の画像が合成されて表示されてくる。さらに擦ると、図12Cに示すように、図12Bに示した右側花火の画像が完全に合成され、左側花火と右側花火が共に破裂した瞬間の状態にある合成画像が生成される。本来、時間差で破裂する2つの花火が同時に破裂する瞬間というのは捉えられないが、本実施形態の技術を用いると、そのような合成画像が容易に生成できるようになるのである。
【0081】
[応用例2:風景撮影]
次に、図13を参照しながら、本実施形態の一応用例について述べる。図13は、本実施形態に係る技術を風景撮影の場面に適用した場合の例を示す説明図である。ここで示す風景撮影の場面は、手前と奥とに被写体が存在し、手前と奥とに対して同時にフォーカスを合わせられない場合の例である。このように、どうしても撮影が困難な場面に対しても、本実施形態に係る画像処理装置100は好適に用いられる。
【0082】
図13には、写真P(t1)、及び写真P(t2)が示されている。写真P(t1)は、奥にフォーカスが合うように撮影された写真である。一方、写真P(t2)は、手前にフォーカスが合うように撮影された写真である。風景を撮影する場合、奥の建物や山等にフォーカスを合わせると、手前の木々の葉等にはフォーカスが合わなくなる。逆に、手前の木々の葉等にフォーカスを合わせると、奥の建物や山等にはフォーカスが合わなくなる。このような場面においても、撮影者は、奥と手前とに共にフォーカスが合った画像を撮影したいと考えるであろう。そこで、擦った部分だけパラメータ(フォーカス)を移動することができる本実施形態の技術が用いられる。
【0083】
まず、撮影者は、被写界震度を変化させながら連続撮影を行う。そして、撮影者は、写真P(t1)の中で手前の被写体を囲った枠内で擦る操作を行う。すると、擦られた枠内だけ被写界震度が進むため、徐々に写真P(t2)の画像が合成されて表示されてくる。さらに擦ると、図13に合成画像として示した通り、写真P(t2)に含まれる手前の画像が完全に合成され、奥の被写体と手前の被写体とに対して共にフォーカスが合った合成画像が生成される。本来、奥と手前とに同時にフォーカスが合った画像というのは得られないが、本実施形態の技術を用いることにより、そのような合成画像が容易に生成できるようになるのである。
【0084】
以上、本実施形態に係る2つの応用例を示した。もちろん、本実施形態の適用範囲はこれに限定されず、摩擦情報の種類やパラメータの種類に応じて様々な応用が可能である。
【0085】
[画像処理装置100のハードウェア構成例]
上記の画像処理装置100が有する各構成要素の機能は、例えば、図15に示すハードウェア構成を有する情報処理装置により、上記の機能を実現するためのコンピュータプログラムを用いて実現することが可能である。図15は、上記の画像処理装置100の各構成要素が有する機能を実現することが可能な情報処理装置のハードウェア構成を示す説明図である。この情報処理装置の形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、PHS(Personal Handy−phone System)、PDA(Personal Digital Assistant)等の携帯情報端末、ゲーム機、又は各種の情報家電等の形態がこれに含まれる。
【0086】
図15に示すように、前記の情報処理装置は、主に、CPU(Central Processing Unit)902と、ROM(Read Only Memory)904と、RAM(Random Access Memory)906と、ホストバス908と、ブリッジ910と、外部バス912と、インターフェース914と、入力部916と、出力部918と、記憶部920と、ドライブ922と、接続ポート924と、通信部926とにより構成される。
【0087】
CPU902は、例えば、演算処理装置又は制御装置として機能し、ROM904、RAM906、記憶部920、又はリムーバブル記録媒体928に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ROM904は、例えば、CPU902に読み込まれるプログラムや演算に用いるデータ等を格納する。RAM906は、例えば、CPU902に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等を一時的又は永続的に格納する。これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス908によって相互に接続されている。また、ホストバス908は、例えば、ブリッジ910を介して比較的データ伝送速度が低速な外部バス912に接続されている。
【0088】
入力部916は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等の操作手段である。また、入力部916は、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントロール手段(所謂、リモコン)であってもよい。なお、入力部916は、上記の操作手段を用いて入力された情報を入力信号としてCPU902に伝送するための入力制御回路等により構成されている。
【0089】
出力部918は、例えば、CRT(Cathode Ray Tube)、LCD(Liquid Crystal Display)、PDP(Plasma DisplayPanel)、又はELD(Electro−Luminescence Display)等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
【0090】
記憶部920は、各種のデータを格納するための装置であり、例えば、ハードディスクドライブ(HDD;Hard Disk Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。
【0091】
ドライブ922は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体928に記録された情報を読み出し、又はリムーバブル記録媒体928に情報を書き込む装置である。リムーバブル記録媒体928は、例えば、DVDメディア、Blu−rayメディア、HD DVDメディア、コンパクトフラッシュ(CF;Compact Flash)(登録商標)、メモリースティック、又はSDメモリカード(Secure Digital memory card)等である。もちろん、リムーバブル記録媒体928は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit Card)、又は電子機器等であってもよい。
【0092】
接続ポート924は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS−232Cポート、又は光オーディオ端子等のような外部接続機器930を接続するためのポートである。外部接続機器930は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。
【0093】
通信部926は、ネットワーク932に接続するための通信デバイスであり、例えば、有線又は無線LAN(Local Area Network)、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は各種通信用のモデム等である。また、通信部926に接続されるネットワーク932は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内LAN、赤外線通信、可視光通信、放送、又は衛星通信等である。
【0094】
[撮像装置200のハードウェア構成例]
次いで、上記の撮像装置200のハードウェア構成例について説明する。上記の撮像装置200が有する各構成要素の機能は、例えば、図15に示すハードウェア構成により実現することが可能である。図15は、上記の撮像装置200の各構成要素が有する機能を実現することが可能なハードウェア構成の一例を示す説明図である。
【0095】
図15に示すように、撮像装置200は、主に、制御部(例えば、CPU;Central Processing Unit)802と、位置取得部804と、RAM(Random Access Memory)806と、ROM(Read Only Memory)808と、バス810と、撮像部812と、画像処理部814と、表示部816と、記憶媒体(例えば、Flash Memory等)818とにより構成される。
【0096】
図中には明示しないが、ユーザによる操作を受け付ける入力部をさらに備えていてもよい。この入力部の機能は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等の操作手段により実現される。また、入力部は、赤外線やその他の電波、或いは、光波等を利用して制御信号を送信することが可能なリモートコントロール手段(所謂、リモコン)であってもよい。
【0097】
制御部802は、例えば、CPU等により実現され、RAM806、ROM808、又は記録媒体818等に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ROM808は、例えば、制御部802に読み込まれるプログラムや演算に用いるデータ等を格納する。RAM806は、例えば、制御部802に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等を一時的又は永続的に格納する。これらの構成要素は、例えば、高速なデータ伝送が可能なバス810によって相互に接続されている。
【0098】
位置取得部804は、撮像装置の位置情報を取得する手段である。位置情報取得部804は、例えば、通信可能な基地局にアクセスして当該基地局がカバーするエリアの情報を位置情報として取得してもよいし、或いは、測位用の衛星システム(GPS;Global Positioning System)等から位置情報を取得してもよい。位置情報としては、例えば、撮像装置200が位置する緯度、経度、又はエリアを特定可能な情報である。
【0099】
撮像部812は、光学系を介して被写体の像を取得する手段である。撮像部812は、主に、レンズ822と、CCD(Charge Coupled Device)824と、AF制御部826と、AE制御部828とにより構成される。
【0100】
レンズ822は、光学系を構成し、被写体により反射された光をCCD824に集光する。CCD824は、半導体素子により構成され、レンズ822により集光された光を各素子で受光し、その受光した光を光電変換して出力する固体撮像素子である。CCD824は、各素子が受光した光の強度に応じて電気信号を出力するため、その電気信号に基づいて画像信号を形成することができる。尚、上記撮像装置200は、CCD824に代えて、他の半導体素子により形成されたイメージセンサーを利用していてもよい。AF制御部826は、ピントを自動的に調整するためのオートフォーカス機構である。また、AE制御部828は、シャッター速度や絞り値を自動的に調整するための自動露出(AE;Automatic Exposure)制御機構である。
【0101】
画像処理部814は、CCD824により出力された画像信号を表示部816で表示可能な画像データの形式に変換することができる。例えば、画像処理部814は、当該画像信号をBMP、GIF、JPEG、PICT、又はPING等の符号化形式に対応する画像データに変換することができる。また、画像処理部814は、画像データのサイズを変更したり、輝度や色調を調整したり、或いは、ガンマ補正やシャープネスの調整等をしたりする。さらに、画像処理部814は、撮像部812により連続して撮影された複数の画像信号から動画像データを生成することもできる。
【0102】
表示部816は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma DisplayPanel)、又はELD(Electro−Luminescence Display)等のディスプレイ装置であり、取得した情報を利用者に対して視覚的に通知することが可能な装置である。
【0103】
記録媒体818は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等により構成される。例えば、記録媒体818は、DVDメディア、Blu−rayメディア、HD DVDメディア、コンパクトフラッシュ(登録商標)(CF;CompactFlash)、メモリースティック、SDメモリカード(Secure Digital memory card)、又はHDD(Hard Disk Drive)等である。また、撮像装置200は、記録媒体818として、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit Card)や電子機器等を利用するように構成されていてもよい。
【0104】
[まとめ]
最後に、本実施形態の画像処理装置が有する機能構成と、当該機能構成が奏する作用効果について簡単に纏める。
【0105】
まず、本実施形態に係る画像処理装置の機能構成は次のように表現することができる。
【0106】
当該画像処理装置は、連続して撮影された画像群に含まれる第1画像が表示される表示画面と、ユーザにより擦られた前記表示画面上の摩擦位置を検出する摩擦位置検出部と、前記摩擦位置に対応する前記第1画像の画素領域と、前記画像群に含まれる第2画像の画素領域とを合成する画像合成部とを備える。但し、前記画像合成部は、前記ユーザにより擦られた摩擦量が大きくなるに連れて前記第1画像と前記第2画像との間の撮影時間差が大きくなるように前記第1画像に合成される第2画像を切り替える機能を有する。
【0107】
このように、上記の画像処理装置は、連続して撮影された画像群に含まれる第1画像を表示画面に表示する機能を有する。第1画像としては、例えば、画像群に含まれる画像の中で撮影時点が最も新しいものが選択されるように構成される。また、上記の画像処理装置は、摩擦位置検出部により、ユーザにより擦られた前記表示画面上の摩擦位置を検出する機能を有する。摩擦位置検出部により摩擦位置が検出されることで、ユーザにより指定された画素領域が特定される。
【0108】
さらに、上記の画像処理装置は、画像合成部により、前記摩擦位置に対応する前記第1画像の画素領域と、前記画像群に含まれる第2画像の画素領域とを合成する。このように構成されることで、撮影時点が異なる第2画像の一部が第1画像に合成される。このとき、ユーザにより指定された画素領域のみが第1画像に合成されるため、実際には撮影が困難な画像を生成することも可能になる。さらに、画像合成部により実行される合成処理は、ユーザによる摩擦動作により実現されるため、利便性の高い簡単な操作体系が提供される。特に、ユーザが画素領域を指定する操作、合成割合の設定操作、被合成画像の選択操作が一連の摩擦動作のみで実現できるため、格別に高い利便性が提供される。
【0109】
また、上記の画像合成部は、前記ユーザにより擦られた摩擦量が大きくなるに連れて前記第1画像と前記第2画像との間の撮影時間差が大きくなるように前記第1画像に合成される第2画像を切り替える。このような構成にすることで、ユーザは、擦る動作を繰り返すことにより被合成画像を順次切り替えていくことが可能になる。その結果、被合成画像の切り替え処理についても一連の摩擦動作に組み込まれ、さらに利便性の高い操作体系が実現されるのである。
【0110】
また、前記画像合成部は、前記摩擦量が大きくなるに連れて前記第1画像に対する前記第2画像の合成比率を増加させ、前記摩擦量が所定の閾値を超過した段階で前記第2画像を前記第1画像からの撮影時間差がより大きい画像に切り替えるように構成されていてもよい。このように構成されることで、被合成画像の切り替え処理、及び表示画像と被合成画像との合成比率の調整処理が一連の摩擦動作に応じて実現されるようになる。つまり、連続的な摩擦動作により、表示画像から被合成画像へと合成画像がシームレスに変化していくことになる。その結果、ユーザは、より直感的な処理により合成画像を生成できるようになる。
【0111】
また、前記画像合成部は、前記摩擦量が所定の閾値を所定量だけ超過するまで前記画素領域に切り替え前の前記第2画像を表示し、当該所定量を超過した段階で前記第2画像を切り替えるように構成されていてもよい。このように構成されることで、第1画像の一部が第2画像に完全に切り替わった後、擦り動作が継続されたとしても所定時間だけ第2画像が切り替わらないため、その完全に切り替わったタイミングを容易に見つけることができるようになる。その結果、第1画像の一部を第2画像に完全に置き換えた画像を意図している場合に、「溜め」がある分だけ正確にタイミングを捉えることができると共に、ユーザが安心して擦り動作を進めることができるようになる。
【0112】
また、前記摩擦量は、前記画素領域が摩擦された回数、摩擦時の押圧力、摩擦方向、及び摩擦早さの中から選択される1つの量又は複数の組み合わせにより決定される量であってもよい。さらに、前記画像群は、撮影時に変更可能な任意のパラメータを変化させながら連続して撮影された複数の画像であってもよい。そして、前記パラメータは、被写界深度、画像エフェクト、又はフラッシュを制御するための制御パラメータであってもよい。但し、上記の画像処理装置の構成は、これらの例に限定されず、画像群を撮影する撮像装置の機能や構成に応じて、種々の変形が可能である。
【0113】
[効果]
ここで、本実施形態を適用することにより得られる効果について簡単に纏める。但し、本実施形態の各構成により得られる具体的な効果については、これまでの説明の中で既に述べている。そのため、ここで述べるのは、これらの具体的な効果を纏めたものである。まず、上記の実施形態に係る技術を用いると、連続撮影した画像を容易な操作体系で合成することが可能になるという効果が得られる。また、ユーザが意図する位置又は範囲や合成度合いを一連の摩擦動作により変化させて画像を合成することが可能になるという効果が得られる。さらに、実際には撮影が困難な画像を容易に生成することが可能になるという効果が得られる。
【0114】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【図面の簡単な説明】
【0115】
【図1】連続撮影された被写体像の一例を示す説明図である。
【図2】連続撮影された被写体像の一例を示す説明図である。
【図3】本発明の一実施形態に係る画像処理技術の原理説明図である。
【図4】本実施形態に係る画像処理装置の機能構成を示す説明図である。
【図5】撮像素子の画素に対応するマトリックスの一例を示す説明図である。
【図6】本実施形態に係るブラシマトリックスの一例を示す説明図である。
【図7】本実施形態に係る入力操作の一例を示す説明図である。
【図8】本実施形態に係る深度マトリックスの一例である。
【図9】本実施形態に係る変換表の一例を示す説明図である。
【図10】本実施形態に係る画像処理装置の動作説明図である。
【図11】本実施形態に係る深度算出処理の流れを示す説明図である。
【図12A】連続撮影により撮影される一被写体像の例を示す説明図である。
【図12B】連続撮影により撮影される一被写体像の例を示す説明図である。
【図12C】本実施形態に係る合成画像の一例を示す説明図である。
【図13】本実施形態に係る画像処理技術の一応用例を示す説明図である。
【図14】本実施形態に係る画像処理装置(情報処理装置)のハードウェア構成例を示す説明図である。
【図15】本実施形態に係る撮像装置のハードウェア構成例を示す説明図である。
【符号の説明】
【0116】
100 画像処理装置
110 表示入力部
112 表示部
114 摩擦位置検出部
130 画像合成部
132 摩擦情報検出部
134 合成比率設定部
136 合成処理部
200 撮像装置
210 パラメータ変更部
【技術分野】
【0001】
本発明は、画像処理装置、及び画像処理方法に関する。
【背景技術】
【0002】
近年、複数枚の写真を連続して撮影する連写機能を搭載した撮像装置が広く普及してきた。また、最近では、連写機能を利用して撮影された複数枚の写真を1枚の写真に合成することにより、合成前の写真よりも高画質な写真を出力する技術が開発されている。通常、このような写真の合成加工は、撮像装置において自動的に実行されるか、或いは、写真データをパーソナルコンピュータ(以下、PC)等に移動して、PC上で実行される。例えば、下記の特許文献1には、撮像装置において自動的に複数枚の写真が合成され、その合成写真が1枚の静止画像として表示される構成が記載されている。
【0003】
写真を合成する目的としては、例えば、異なる撮像範囲の写真を合成してパノラマ写真を生成するというものがある。他の目的として、最近では、撮像素子が持つ画素サイズ以下の移動量で移動しながら撮影された複数枚の写真を合成することにより撮像素子の解像度よりも高い解像度の写真を生成するという技術も知られている。また、連続撮影した写真を合成せず、例えば、連続撮影された複数枚の写真の中から、撮影者の意図に合った写真を撮影者に選択させるという手法も用いられる。この手法は、撮影時に人物が目を瞑ってしまったり、或いは、撮像範囲に意図しない物体が入ってしまったりした写真を回避できるという点で非常に有効な手法である。
【0004】
【特許文献1】特開2000− 41170号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、集合写真のように多くの人物が被写体に含まれている場合、連続撮影しても、全ての人が目を瞑っていない写真を撮影するのは難しいことが多い。このように、連続撮影したとしても、連続撮影された複数枚の写真の中に撮影者の意図に合致した写真が含まれていない場合がある。このような場合、撮影者は、意図に合致した写真を得ることができない。また、写真データをPC等に移動して画像処理アプリケーションによる写真の補正や合成等を行うためには高度な操作技術や知識が求められるため、撮影者にとって大きな負担になっている。その結果、撮影者は、意図した写真を得ることを諦め、意図した写真に比較的近い写真を選択して我慢することになる。
【0006】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮影者が意図した写真を得るために、連続撮影された複数枚の写真を簡単な操作で部分的に合成することが可能な、新規かつ改良された画像処理装置、及び画像処理方法を提供することにある。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明のある観点によれば、連続して撮影された画像群に含まれる第1画像が表示される表示画面と、ユーザにより擦られた前記表示画面上の摩擦位置を検出する摩擦位置検出部と、前記摩擦位置に対応する前記第1画像の画素領域と、前記画像群に含まれる第2画像の画素領域とを合成する画像合成部と、を備え、前記画像合成部は、前記ユーザにより擦られた摩擦量が大きくなるに連れて前記第1画像と前記第2画像との間の撮影時間差が大きくなるように前記第1画像に合成される第2画像を切り替える、画像処理装置が提供される。
【0008】
また、前記画像合成部は、前記摩擦量が大きくなるに連れて前記第1画像に対する前記第2画像の合成比率を増加させ、前記摩擦量が所定の閾値を超過した段階で前記第2画像を前記第1画像からの撮影時間差がより大きい画像に切り替えるように構成されていてもよい。
【0009】
また、前記画像合成部は、前記摩擦量が所定の閾値を所定量だけ超過するまで前記画素領域に切り替え前の前記第2画像を表示し、当該所定量を超過した段階で前記第2画像を切り替えるように構成されていてもよい。
【0010】
また、前記摩擦量は、前記画素領域が摩擦された回数、摩擦時の押圧力、摩擦方向、及び摩擦早さの中から選択される1つの量又は複数の組み合わせにより決定される量であってもよい。
【0011】
また、前記画像群は、撮影時に変更可能な任意のパラメータを変化させながら連続して撮影された複数の画像であってもよい。
【0012】
また、前記パラメータは、被写界深度、画像エフェクト、又はフラッシュを制御するための制御パラメータであってもよい。
【0013】
また、上記課題を解決するために、本発明の別の観点によれば、連続して撮影された画像群に含まれる第1画像が表示画面上に表示されている場合に、ユーザにより擦られた前記表示画面上の摩擦位置が検出される摩擦位置検出ステップと、前記摩擦位置に対応する前記第1画像の画素領域と、前記画像群に含まれる第2画像の画素領域とが合成される画像合成ステップと、を含み、前記画像合成ステップでは、前記ユーザにより擦られた摩擦量が大きくなるに連れて前記第1画像と前記第2画像との間の撮影時間差が大きくなるように前記第1画像に合成される第2画像が切り替わる、画像処理方法が提供される。
【発明の効果】
【0014】
以上説明したように本発明によれば、連続撮影された複数枚の写真を簡単な操作で部分的に合成することが可能になる。その結果、撮影者は、複数枚の写真を部分的に合成して意図した写真を得ることができるようになる。
【発明を実施するための最良の形態】
【0015】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0016】
[説明の流れについて]
ここで、後述する説明の流れについて簡単に述べる。まず、図1、図2を参照しながら、本発明の実施形態に係る技術が目的とするところについて簡単に説明する。この中で、同実施形態に係る技術が解決しようとする具体的な課題についても説明する。次いで、図3を参照しながら、同実施形態の技術に関する原理説明を行う。その後、図4〜図9を参照しながら、当該技術を実現することが可能な同実施形態に係る画像処理装置100の機能構成について説明する。
【0017】
次いで、図10を参照しながら、当該画像処理装置100の動作について説明する。さらに、図11を参照しながら、当該動作に含まれる深度算出処理の流れについて説明する。次いで、図12A〜図12Cを参照しながら、同実施形態に係る技術の一応用例について説明する。さらに、図13を参照しながら、同実施形態に係る他の応用例について説明する。最後に、図14、図15を参照しながら、同実施形態に係る画像処理装置100、及び撮像装置200のハードウェア構成例について説明する。以下、順次説明する。
【0018】
[目的]
まず、図1、及び図2を参照しながら、以下で説明する実施形態に係る技術が目的とするところについて簡単に説明する。図1、図2は、連続撮影された被写体像の一例を模式的に示した説明図である。以下の説明において、図1の例をケース1、図2の例をケース2と呼ぶことにする。
【0019】
まず、図1を参照する。図1には、時刻t1に撮影された写真P(t1)と、時刻t2に撮影された写真P(t2)とが描画されている。但し、時刻t1、t2は、連続する撮影時刻である。また、写真P(t1)、P(t2)には、2つの被写体像(被写体A、被写体B)が撮像されている。ここでは、被写体A及び被写体Bの「瞬き」に注目する。
【0020】
ケース1の場合、写真P(t1)に含まれる被写体Aは、瞬きをした瞬間に撮影されたものである。そのため、写真P(t1)に含まれる被写体Aに関しては、撮影者の意図に合致した状態ではない。但し、写真P(t1)に含まれる被写体Bは、瞬きをしておらず、撮影者の意図に合致した状態(OK)である。
【0021】
このように、撮影者の意図に合致しない被写体像が含まれる写真P(t1)は、撮影者の意図に合致した写真ではない。一方、写真P(t2)に含まれる被写体A及び被写体Bは、瞬きをしておらず、撮影者の意図に合致した状態(OK)である。そのため、写真P(t2)は、撮影者の意図に合致した写真である。ケース1のように、連続撮影された複数枚の写真の中に、撮影者の意図に合致した写真(写真P(t2))が含まれている場合、撮影者は、意図に合致した写真P(t2)を選択すればよい。
【0022】
次に、図2を参照する。図2には、図1と同様に、時刻t1に撮影された写真P(t1)と、時刻t2に撮影された写真P(t2)とが描画されている。ケース2の場合も、時刻t1、t2は、連続する撮影時刻である。また、写真P(t1)、P(t2)には、2つの被写体像(被写体A、被写体B)が撮像されている。
【0023】
ケース2の場合も、写真P(t1)に含まれる被写体Aは、瞬きをした瞬間に撮影されたものである。そのため、写真P(t1)に含まれる被写体Aに関しては、撮影者の意図に合致した状態ではない。但し、写真P(t1)に含まれる被写体Bは、瞬きをしておらず、撮影者の意図に合致した状態(OK)である。つまり、撮影者の意図に合致しない被写体像が含まれる写真P(t1)は、撮影者の意図に合致した写真ではない。
【0024】
一方で、写真P(t2)に含まれる被写体Aは、瞬きをしておらず、撮影者の意図に合致した状態(OK)である。但し、写真P(t2)に含まれる被写体Bは、瞬きをした瞬間に撮影されたものである。そのため、写真P(t2)は、撮影者の意図に合致した写真ではない。ケース1のように、連続撮影された複数枚の写真の中に、撮影者の意図に合致した写真(写真P(t2))が含まれている場合、撮影者は、意図に合致した写真P(t2)を選択すればよい。しかし、ケース2の場合、この手法を用いることができない。
【0025】
上記のように、短時間に複数回のシャッターを切ってコマ送りのように連続して撮影された写真の中に、撮影者の意図に合う写真が存在する場合には、その意図に合う写真をピックアップする手法が適用できる。しかし、上記の例と同様、撮影者の意図しない被写体像を含まない写真が連続撮影された写真の中に含まれていない場合、意図に合う写真をピックアップする手法を適用することができない。例えば、集合写真のように、多数の人物像が撮像範囲に含まれている場合、全員が瞬きをしていない瞬間を捕らえるのは難しく、ケース2のような状況になる確率が高い。
【0026】
こうした現状に鑑み、以下で説明する実施形態に係る技術は、ケース2のような場合でも、撮影者の意図に合致した写真を得ることができるようにするものである。但し、同実施形態に係る技術は、被写体の瞬きに対する対策として適用されるだけでなく、後述する応用例でも示すように、多種多様なケースに適用可能である。また、同実施形態に係る技術の適用範囲は写真に限定されるものではなく、例えば、放送データや映像データを構成する動画像フレームや種々の静止画像についても適用範囲に含まれる。但し、以下では、説明の都合上、連続撮影された「写真」と表記することにする。
【0027】
<実施形態>
以下、本発明の一実施形態について説明する。本実施形態は、連続撮影された複数枚の写真を合成する技術に関する。但し、当該技術は、所定のパラメータを変化させながら連続的に撮影された複数枚の写真に対しても適用される。また、本実施形態は、写真が表示された画面上をユーザが擦ることにより、その擦る動作に応じて連続撮影された他の写真を合成処理する技術に関する。そのため、当該技術は、ユーザの操作体系に関する。
【0028】
[原理説明]
まず、図3を参照しながら、本実施形態の手法について原理説明を行う。図3は、本実施形態に係る技術の原理を説明するための原理説明図である。
【0029】
図3には、タッチパネルと、連続撮影された複数枚の写真とが模式的に示されている。これらの写真は、パラメータを変化させながら連続して撮影されたものである。但し、連続撮影時に撮像機構に関するパラメータを変化させていなくても、1つのパラメータである「時間」が変化している点に注意されたい。撮像機構に関するパラメータとしては、例えば、被写界深度、エフェクト、逆光補正、フラッシュ等がある。
【0030】
被写界深度は、焦点距離、及び絞り値等に依存して決定されるものである。例えば、焦点距離が短くなればなるほど被写界深度は深くなり、さらに、絞りが絞り込まれるほど被写界深度が深くなる。エフェクトとしては、例えば、レンズフィルタや種々のデジタルフィルタによる効果を施すものや、任意の背景画を合成したり、写真全体をセピア色に変化させたりする効果を施すものがある。レンズフィルタによる効果としては、例えば、偏光フィルタ、減光フィルタ、色補正フィルタ、色彩強調フィルタ等がある。なお、フラッシュについては、例えば、点灯/消灯の切り替えや輝度の調整量がパラメータ値となる。
【0031】
これらのパラメータを変化させつつ連続して撮影された複数枚の写真は、図3の中で、パラメータの変化方向(経時方向)に沿って配列されている。実際には、撮影時刻の情報に基づいて写真データが整列されることにより、パラメータの変化方向に沿って写真データが整列される。但し、通常は、撮影時刻の情報に基づいて写真データが並べて管理されているため、ユーザに特別な操作が要求されない点に注意されたい。このように整列された写真データの先頭に位置する写真がタッチパネルに表示される。つまり、連続撮影された複数枚の写真の中で、最初に撮影された写真がタッチパネルに表示される。
【0032】
ここで、ユーザは、タッチパネルに表示された写真を見ながらタッチパネルの表面を指で擦ることにより、指で擦った画素領域について、表示された写真と他の写真とを合成することができる。このとき、本実施形態では、ユーザにより指で擦られた位置又は領域、当該位置又は領域を指が往復した回数、押圧力、指の本数、又は指の移動速度等の摩擦情報が写真の合成処理に用いられる。当該合成処理においては、例えば、指が往復した回数又は押圧力等に応じて、よりパラメータ量の大きい写真が合成される。このとき、ユーザにより指で擦られた位置又は領域のみが合成される。そのため、ユーザは、簡単な操作で写真の一部分だけを合成処理することができる。
【0033】
例えば、図2に示したケース2の場合、タッチパネルには、写真P(t1)が表示されている。上記の通り、写真P(t1)は、被写体Aが瞬きしている点で撮影者の意図に合わないものである。一方、写真P(t2)は、被写体Bが瞬きしており、こちらの写真も撮影者の意図に沿うものではない。
【0034】
しかし、写真P(t1)に写っている被写体Aの一部(目の周囲)を写真P(t2)の被写体Aの一部(目の周囲)で置き換えれば、撮影者の意図に合致する写真が出来上がる。そこで、ユーザは、タッチパネルに表示された写真P(t1)を見ながら、被写体Aの一部(目の周囲)を指で擦る動作を行う。この動作により、写真P(t1)の中で擦られた部分だけが徐々に写真P(t2)に合成され、最終的に写真P(t2)に写っている被写体Aの一部に置き換えられる。その結果、被写体A、及び被写体Bがいずれも瞬きしていない所望の写真が得られる。
【0035】
このように、本実施形態に係る技術は、ユーザの擦る動作により、ユーザが意図する合成位置や合成範囲、或いは、合成度合い等を変更して、ユーザが行う一連の動作により合成画像を生成するというものである。また、ユーザが行う操作は、タッチパネルの表面を擦る動作だけであり、画像処理アプリケーション等とは比べものにならないほど簡単な操作で写真の合成処理が可能になる。つまり、本実施形態に係る技術は、このような利便性の高い操作体系を提供するものでもある。
【0036】
なお、上記の説明の中で、タッチパネルは、表示手段、及び入力手段の一例として説明に用いたものである。また、タッチパネルを擦るための指以外の手段としては、例えば、スタイラス等が用いられることもある。さらに、タッチパネルの画面には、連続撮影された最初の写真が表示されていなくてもよく、例えば、ユーザが指定した撮影時点の写真や所定の撮影時点に対応する写真が表示されていてもよい。また、複数本の指で擦られた場合に、合成された写真が元に戻るように構成されていてもよい。このように、本実施形態はこれに限定されず、種々の変形が可能である。
【0037】
以上、本実施形態の原理説明を行った。以下では、本実施形態に係る技術を実現するための具体的な画像処理装置100の機能構成及び一連の動作について説明する。これまで、具体性を強調するために合成処理対象として「写真」という表現を用いて説明してきたが、以下の説明の中では、より広範な意味を含む「画像」という表現を用いる。
【0038】
[画像処理装置100の機能構成]
ここで、図4を参照しながら、本実施形態に係る画像処理装置100の機能構成について説明する。図4は、本実施形態に係る画像処理装置100の機能構成を示す説明図である。なお、図4には、画像処理装置100に対して連続撮影された写真データを提供する撮像装置200も描画されている。この撮像装置200及び画像処理装置100により、画像処理システムが形成される。
【0039】
図4に示すように、画像処理装置100は、主に、表示入力部110と、画像合成部130とにより構成される。
【0040】
(表示入力部110)
表示入力部110は、主に、表示部112と、摩擦位置検出部114とにより構成される。上記のタッチパネルは、表示入力部110の一例である。
【0041】
表示部112は、撮像装置200により撮影された画像を表示するためのディスプレイデバイスである。また、表示部112の機能は、図14に示すハードウェア資源のうち、出力部918により実現される。また、表示部112には、摩擦位置検出部114が設けられている。摩擦位置検出部114は、表示部112と一体に形成されていてもよいし、別体として形成されていてもよい。但し、摩擦位置検出部114は、表示部112の画面上に設けられ、表示部112に表示された画像が透過して見えるように構成されている。
【0042】
摩擦位置検出部114は、ユーザにより擦られた位置を検出するものである。特に、摩擦位置検出部114は、表示部112の画面上に表示された画像の中で、どの位置又は領域がユーザにより擦られたかを検出するものである。また、摩擦位置検出部114は、ユーザにより擦られた際に掛かった押圧力を検知できるように構成されていてもよい。さらに、摩擦位置検出部114は、ユーザにより直接接触されていなくても、表示部112に近接した画面上の空間にユーザの指等が存在するのを検知し、摩擦位置として認識できる機能を有していてもよい。つまり、ここで言う摩擦位置は、ユーザが表示部112の画面上で空を描くように行った動作に対する位置情報を含むものであってもよい。
【0043】
このようにして検出された摩擦位置の情報は、摩擦位置検出部114から画像合成部130の摩擦情報検出部132に入力される。
【0044】
(画像合成部130)
画像合成部130は、主に、摩擦情報検出部132と、合成比率設定部134と、合成処理部136とにより構成される。なお、画像合成部130の機能は、例えば、図14に示すハードウェア資源のうち、ROM904、RAM906、記憶部920、又はリムーバブル記録媒体928に記録されたコンピュータプログラムに基づいてCPU902により実現されうる。
【0045】
(摩擦情報検出部132)
摩擦情報検出部132は、表示入力部110の摩擦位置検出部114により入力された摩擦位置の情報に基づいて種々の摩擦情報を検出する。この摩擦情報としては、例えば、ユーザに擦られた画素領域、当該画素領域の往復摩擦回数、摩擦の早さ、摩擦の方向、又は摩擦された軌跡の形状等が含まれる。
【0046】
摩擦情報検出部132は、例えば、摩擦位置検出部114から逐次検出される摩擦位置の情報を蓄積しておき、その蓄積された情報を解析することにより、これらの摩擦情報を検出することができる。摩擦情報検出部132により検出された摩擦情報は、合成比率設定部134に入力される。以下では、説明の都合上、摩擦情報として「摩擦回数」「画素領域」が検出されたものとして説明する。
【0047】
(合成比率設定部134)
合成比率設定部134は、摩擦情報検出部132により検出された摩擦情報に基づいて画像の合成比率を設定する。ここで言う画像の合成比率とは、表示部112に表示されている画像(以下、表示画像)における擦られた画素領域の画素値と、合成される画像(以下、被合成画像)の画素値とを合成する際の合成比率を意味している。例えば、合成比率設定部134は、摩擦回数が多くなるに連れて、被合成画像の重みが大きくなるように画素値の合成比率を設定する。但し、摩擦回数に応じて合成する画像を切り替える場合、合成比率は、1又は0に固定されたままである。
【0048】
ここで、合成比率の設定方法について、具体例を挙げて説明する。まず、撮像装置200により、3枚の画像(画像P(t1)、画像P(t2)、画像P(t3);t1<t2<t3)が撮影され、画像処理装置100に入力されているものとする。また、画像P(t1)が表示部112に表示されているものとする。このとき、ユーザにより画像P(t1)が表示された表示部112が擦られると、摩擦位置検出部114により摩擦位置が検出され、摩擦情報検出部132により摩擦回数が合成比率設定部134に入力される。
【0049】
摩擦回数が1回の場合、例えば、ユーザにより擦られた画像P(t1)の画素領域が持つ画素値D1と、画像P(t2)の画素領域が持つ画素値D2とが1:1で合成され、画素値D’=(D1+D2)/2が算出されるように合成比率が設定される。摩擦回数が2回の場合、例えば、ユーザにより擦られた画像P(t1)の画素領域が持つ画素値D1と、画像P(t2)の画素領域が持つ画素値D2とが1:2で合成され、画素値D’=(D1+2*D2)/3が算出されるように合成比率が設定される。このような構成にすることで、擦るに連れて表示画像がパラメータの大きい被合成画像に徐々に変化していく様子が表現できる。
【0050】
一方、摩擦回数に応じて合成する画像を切り替える場合は次のようになる。摩擦回数が1回の場合、ユーザにより擦られた画像P(t1)の画素領域が持つ画素値D1が、画像P(t2)の画素領域が持つ画素値D2に置き換えられる。つまり、その画素領域に対応する合成後の画素値D’はD’=D2になる。上記の表現を用いれば、画素値D1と画素値D2との間の合成比率が0:1ということになる。また、摩擦回数が2回の場合、ユーザにより擦られた画像P(t1)の画素領域が持つ画素値D1が、画像P(t3)の画素領域が持つ画素値D3に置き換えられる。つまり、その画素領域に対応する合成後の画素値D’はD’=D3になる。上記の表現を用いれば、画素値D1と画素値D3との間の合成比率が0:1ということになる。
【0051】
上記の設定方法は一例であり、本実施形態はこれに限定されるものではないが、このような設定方法を用いることにより、摩擦情報に応じた合成比率が設定されうる。また、画像の合成方法については後段において詳細に説明する。このようにして設定された合成比率は、合成処理部136に入力される。
【0052】
(合成処理部136)
合成処理部136は、連続撮影された画像群のうち、最初又は所定の撮影時点に対応する画像を表示部112に表示させる。その後、ユーザは、表示部112に表示された画像を見ながら表示部112の画面上を擦る動作を行う。この擦る動作に応じて摩擦情報が検出され、当該摩擦情報に応じて合成比率設定部134により合成比率が設定される。この合成比率が入力されると、合成処理部136は、合成比率設定部134により設定された合成比率に基づき、撮像装置200により連続撮影された画像を表示部112に表示させた画像に合成する。さらに、合成処理部136は、合成後の画像を表示部112に表示させ、再びユーザに提示する。
【0053】
(画像合成処理の詳細説明)
ここで、図5〜図9を参照しながら、上記の画像合成処理について、より詳細に説明する。図5は、画像のピクセル数に対応するマトリックスを示す説明図である。図6は、ブラシマトリックスの一例を示す説明図である。図7は、入力操作の一例を示す説明図である。図8は、深度マトリックスの一例を示す説明図である。
【0054】
まず、図5を参照する。画像合成部130は、図5に示すマトリックスの情報を保持している。このマトリックスは、画像のピクセル数と同じサイズのデータ格納領域を示しており、例えば、各セルに深度の情報が保持される行列データである。ここで言う深度とは、どの画像がどれだけの割合で合成(表示)されているかを示す指標である。初め、このマトリックスには所定値が格納されており、ユーザによる摩擦動作に応じてマトリックスに格納された深度が更新される。この深度に応じて、画像合成部130により合成される被合成画像の撮影時点が決定されたり、表示画像に合成される被合成画像の比率が設定されたりする。
【0055】
次いで、図6を参照する。図6は、ユーザにより擦られた画素領域に対応するマトリックス値を更新するためのブラシマトリックスである。つまり、このブラシマトリックスは、マトリックスの値に加算される深度を設定するためのものである。この例では、5ピクセル×5ピクセルのサイズを持つブラシマトリックスが設定されている。また、このブラシマトリックスは、中心の値が1.0であり、外側に向かって値が小さくなるように深度が設定されている。ユーザにより擦られた位置が検出されると、その検出位置の画素とブラシマトリックスの中心とが一致するように位置が調整され、ブラシマトリックスの値がマトリックスの値に加算される。
【0056】
まず、図7に示すように、ある画素領域がユーザにより擦られる。図7には、ユーザの指により擦られた位置とマトリックスの位置との間の対応関係が分かるように両者が模式的に描画されている。実際、マトリックスは行列データであるから、図7のようにマトリックスが直接押圧されることはない。しかし、画像合成部130は、図7に示すイメージのように、ユーザが押圧した位置の情報を取得してマトリックス上の位置を認識しているのである。このようにしてユーザにより擦る動作が行われると、画像合成部130により、ブラシマトリックスに格納された深度がマトリックスの値に加算される。この様子を示したのが図8である。
【0057】
図8の例は、マトリックスの各セルに初期値として深度10.0が格納されており、ユーザにより擦られた位置にブラシマトリックスの値が加算された状態のマトリックスを示したものである。図7に示すように、ある画素領域がユーザにより擦られると、画像合成部130により、その画素領域に合うようにブラシマトリックスの位置が調整される。そして、画像合成部130により、ブラシマトリックスの各セルに格納された深度の値が、その各セルに対応するマトリックスの各セルに格納された深度の値に加算される。図6に示すようにブラシマトリックスが設定されていると、加算後のマトリックスは、図8に示すようなものになる。
【0058】
もし、ユーザにより繰り返し同じ画素領域が擦られると、その擦られた部分のマトリックスの値が繰り返し加算されていくことになる。そのため、摩擦回数が大きくなるに連れてマトリックスに格納された深度の値が大きくなる。また、ユーザが同じ画素領域に接触し続けた時間や、その画素領域を押圧した圧力に応じてブラシマトリックスの値が複数回加算されるように構成されていてもよい。さらに、ある画素領域をユーザが擦る際に、その摩擦速度が小さいほど又は大きいほど、ブラシマトリックスの加算回数が多くなるように構成されていてもよい。このような構成にすることで、画像合成部130は、様々な種類の摩擦情報に応じてマトリックスの値を制御することができるようになる。
【0059】
このようにして得られる画素毎の深度は、表示される画像の決定や合成比率の決定に利用される。これらの決定に際して、例えば、図9に示すような変換表が用いられる。図9の変換表は、表示する画像を決定するためのものである。この変換表は、マトリックスの値が含まれる数値範囲を示す欄と、その数値範囲に対応する画像の区分を示す欄とにより構成されている。
【0060】
例えば、ある画素に対応するマトリックスの値(深度)が11.0であった場合、この画素は、「画像1、画像2」に対応する数値範囲10.0〜20.0に含まれる。そのため、この画素の画素値は、互いに対応する画像1及び画像2の画素値を用いて算出される。また、画像1及び画像2の画素を合成する際の合成比率は、合成比率設定部134により、マトリックスの値に応じて決定される。深度が11.0の場合、画像1の画素値D1と画像2の画素値D2との間の合成比率は、例えば、D1:D2=9:1に決定される。従って、合成画像の画素値D’は、D’=0.9*D1+0.1*D2となる。
【0061】
画素値Dが3原色に対応するR,G,Bの値を持つ場合、画素値D1(R1,G1,B1)、及び画素値D2(R2,G2,B2)を合成した合成後の画素値D’(R’,G’,B’)は、下記の式(1)のように表現される。その結果、画像1及び画像2の中でユーザにより擦られた画素領域は、このようにしてアルファブレンドされて表示される。なお、YCbCrやCMYK等の他の色空間表現に対しても、同様に画素値を合成することで合成画像の画素値が算出される。
【0062】
【数1】
【0063】
ここで、再び図9に示した変換表に注目して頂きたい。図9に示した変換表の中で、マトリックスの値が数値範囲0.0〜10.0の場合、或いは、数値範囲が20.0〜30.0の場合、表示される画像がそれぞれ画像1、或いは、画像2のみとなるように設定されている。つまり、ユーザによる擦り動作が繰り返されてマトリックスの値が漸次大きくなっても、これらの数値範囲に加算後の深度が含まれている間、擦られている画素領域の画素値が被合成画像のもので固定された状態となる。この状態は、所謂「溜め」を表現したものである。
【0064】
例えば、図2に示したケース2の場合、ユーザは、時間的に後で撮影された写真P(t2)の一部分(被写体Aの目の周囲)だけをそのまま写真P(t1)と置き換えたいと考えるであろう。もし、上記の「溜め」が無い場合、ユーザは、表示される合成画像を確認しつつ、擦り動作を繰り返しながら写真P(t2)が単独で表示される一瞬を慎重に探ることになる。また、その一瞬を外してしまうと、画素値が合成されたものとなり、画質が低下してしまう。しかし、上記の「溜め」が設定されていれば、写真P(t2)単独で表示された後で、ある程度擦り動作を行っても画素値が変わらない。そのため、ユーザは、表示される画像を参照しながら擦り動作を繰り返し、写真P(t2)単独で表示された時点を容易に、且つ、安心して見つけることができるようになる。
【0065】
以上、画像合成処理の詳細について説明した。上記の通り、画像合成部130の合成比率設定部134及び合成処理部136により、撮像装置200で連続撮影された画像の一部がユーザの擦り動作に応じて合成される。この合成された画像は、表示入力部110の表示部112に入力され、ユーザに対して提示される。但し、表示部112には、合成処理部136により画像が合成される度に合成後の画像が表示される。
【0066】
以上説明したように、本実施形態に係る画像処理装置100は、ユーザによる摩擦動作に応じて、連続撮影された複数枚の画像を合成するというものである。特に、画像処理装置100は、摩擦情報に応じて合成される画像を切り替えたり、合成比率を調整したりする構成に特徴がある。上記の通り、画像処理装置100の構成を適用することで、ユーザによる摩擦動作に応じて画像の一部分だけが滑らかに合成されていく操作体系が実現され、ユーザは、簡単な操作で意図に合致した画像を得ることが可能になる。
【0067】
[撮像装置200の機能構成]
ここで、図4を参照しながら、撮像装置200の機能構成について簡単に説明する。但し、撮像装置200の機能は、図15に示したハードウェア構成により実現される。
【0068】
撮像装置200が有する機能の中で、本実施形態において重要なのはパラメータ変更部210の機能である。パラメータ変更部210は、撮像装置200が連続撮影を実行する際に、制御可能な種々のパラメータを画像単位で変化させる機能を有している。パラメータ変更部210が制御するパラメータとしては、例えば、例えば、被写界深度、エフェクト、逆光補正、フラッシュ等がある。パラメータ変更部210により、これらのパラメータが徐々に変更されつつ、連続して被写体像が撮影されるのである。但し、パラメータの変更は、パラメータ変更部210により自動的に実行されてもよいし、ユーザにより手動で実行されてもよい。
【0069】
[画像処理装置100の動作説明]
次に、図10を参照しながら、本実施形態に係る画像処理装置100の動作説明を行う。図10は、本実施形態に係る画像処理装置100の動作を模式的に示す説明図である。但し、ここでは人物写真の瞬きを補正する例を示して説明している。
【0070】
図10には、時刻t1に撮影された写真P(t1)と、時刻t2に撮影された写真P(t2)とが描画されている。時刻t1、t2は、連続する撮影時刻である。また、写真P(t1)、P(t2)には、2つの被写体像(被写体A、被写体B)が撮像されている。
【0071】
写真P(t1)に含まれる被写体Aは、瞬きをした瞬間に撮影されたものである。一方、写真P(t1)に含まれる被写体Bは、瞬きをしておらず、撮影者の意図に合致した状態(OK)である。また、写真P(t2)に含まれる被写体Aは、瞬きをしておらず、撮影者の意図に合致した状態(OK)である。一方、写真P(t2)に含まれる被写体Bは、瞬きをした瞬間に撮影されたものである。この場合、ユーザは、写真P(t2)に写っている被写体Bの目の部分を写真P(t1)のもので置き換えたいと考えるであろう。
【0072】
このとき、ユーザは、図10に示すように、写真P(t2)に写っている被写体Bの目の周囲を擦るだけで、その摩擦領域に対応する写真P(t1)の画像を合成することができる。つまり、ユーザにより写真P(t2)の画素領域が擦られると、画像処理装置100は、その画素領域に対応する写真P(t2)及び写真P(t1)の画像を合成する(S100)。このような合成処理により、ユーザが所望するように、被写体Aも被写体Bも瞬きしていない合成画像が生成されるのである。
【0073】
このように、ユーザは、瞬きをしてしまっている人物の目の周りを擦ることで、擦った部分だけ時間を進めることができる。このように画像全体ではなく、こすった部分のみを変化させることで、ユーザの意図した位置や範囲だけ深度を変化させることができる。
【0074】
(合成処理S100の詳細)
ここで、図11を参照しながら、画像処理装置100による合成処理S100の流れについて、より詳細に説明する。図11は、本実施形態に係る画像処理装置100による合成処理の流れを示す説明図である。ここで示す一連の処理は、画像処理装置100が有する機能構成の中で、主に、画像合成部130の機能により実現される。
【0075】
図11に示すように、まず、画像合成部130は、ユーザにより擦られた位置の画素領域にブラシマトリックスの位置を合わせ、ブラシマトリックスの各セルに格納された深度値をマトリックスの値に加算する(S102)。次いで、画像合成部130は、変換表を参照してマトリックスの値に対応する画像を選択することで、どの画像を合成(表示)するかを選択する(S104)。次いで、画像合成部130は、マトリックスの値に基づいて、ユーザにより擦られた画素領域の画素値を算出し、合成後の表示画像を構成する画素値として該当するピクセルを埋め(S106)、一連の処理を終了する。これらの処理により、ユーザの摩擦動作に応じた合成画像が生成される。
【0076】
[応用例1:花火撮影]
次に、図12A〜図12Cを参照しながら、本実施形態の一応用例について述べる。図12A〜図12Cは、本実施形態に係る技術を花火撮影の場面に適用した場合の例を示す説明図である。ここで示す花火撮影の場面は、撮影者が意図する被写体像が時間差で現れる場合の例である。このように、被写体の状態を制御できないような場面に対しても、本実施形態に係る画像処理装置100は好適に用いられる。
【0077】
図12A〜図12Cは、2つの花火が破裂する瞬間を狙って連続的に撮影された画像を模式的に示したものである。なお、これらの一連の画像は、左側花火が最初に破裂し、その数秒後に右側花火が破裂した状態を撮影したものである。
【0078】
まず、図12Aを参照する。図12Aの撮影時点は、左側花火が破裂した瞬間である。左側花火については、撮影者の意図した通り、花火が最大に開いた状態の撮影が出来ている。しかし、この撮影時点では、右側花火は破裂前であり、撮影者の意図しているものよりも花火の直径が小さい。
【0079】
次に、図12Bを参照する。図12Bの撮影時点は、右側花火が破裂した瞬間である。右側花火については、撮影者の意図した通り、花火が最大に開いた状態の撮影が出来ている。しかし、この撮影時点では、左側花火が既に消滅してしまっている。そこで、撮影者は、図12Aの画像に写っている右側花火を図12Bに写っている右側花火で置き換えたいと考えるであろう。そこで、擦った部分だけ時間を進めることができる本実施形態の技術が用いられる。
【0080】
まず、撮影者は、図12Aに示した画像の中で右側花火を囲った枠内で擦る操作を行う。すると、擦られた枠内だけ時間が進むため、徐々に図12Bの右側花火の画像が合成されて表示されてくる。さらに擦ると、図12Cに示すように、図12Bに示した右側花火の画像が完全に合成され、左側花火と右側花火が共に破裂した瞬間の状態にある合成画像が生成される。本来、時間差で破裂する2つの花火が同時に破裂する瞬間というのは捉えられないが、本実施形態の技術を用いると、そのような合成画像が容易に生成できるようになるのである。
【0081】
[応用例2:風景撮影]
次に、図13を参照しながら、本実施形態の一応用例について述べる。図13は、本実施形態に係る技術を風景撮影の場面に適用した場合の例を示す説明図である。ここで示す風景撮影の場面は、手前と奥とに被写体が存在し、手前と奥とに対して同時にフォーカスを合わせられない場合の例である。このように、どうしても撮影が困難な場面に対しても、本実施形態に係る画像処理装置100は好適に用いられる。
【0082】
図13には、写真P(t1)、及び写真P(t2)が示されている。写真P(t1)は、奥にフォーカスが合うように撮影された写真である。一方、写真P(t2)は、手前にフォーカスが合うように撮影された写真である。風景を撮影する場合、奥の建物や山等にフォーカスを合わせると、手前の木々の葉等にはフォーカスが合わなくなる。逆に、手前の木々の葉等にフォーカスを合わせると、奥の建物や山等にはフォーカスが合わなくなる。このような場面においても、撮影者は、奥と手前とに共にフォーカスが合った画像を撮影したいと考えるであろう。そこで、擦った部分だけパラメータ(フォーカス)を移動することができる本実施形態の技術が用いられる。
【0083】
まず、撮影者は、被写界震度を変化させながら連続撮影を行う。そして、撮影者は、写真P(t1)の中で手前の被写体を囲った枠内で擦る操作を行う。すると、擦られた枠内だけ被写界震度が進むため、徐々に写真P(t2)の画像が合成されて表示されてくる。さらに擦ると、図13に合成画像として示した通り、写真P(t2)に含まれる手前の画像が完全に合成され、奥の被写体と手前の被写体とに対して共にフォーカスが合った合成画像が生成される。本来、奥と手前とに同時にフォーカスが合った画像というのは得られないが、本実施形態の技術を用いることにより、そのような合成画像が容易に生成できるようになるのである。
【0084】
以上、本実施形態に係る2つの応用例を示した。もちろん、本実施形態の適用範囲はこれに限定されず、摩擦情報の種類やパラメータの種類に応じて様々な応用が可能である。
【0085】
[画像処理装置100のハードウェア構成例]
上記の画像処理装置100が有する各構成要素の機能は、例えば、図15に示すハードウェア構成を有する情報処理装置により、上記の機能を実現するためのコンピュータプログラムを用いて実現することが可能である。図15は、上記の画像処理装置100の各構成要素が有する機能を実現することが可能な情報処理装置のハードウェア構成を示す説明図である。この情報処理装置の形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、PHS(Personal Handy−phone System)、PDA(Personal Digital Assistant)等の携帯情報端末、ゲーム機、又は各種の情報家電等の形態がこれに含まれる。
【0086】
図15に示すように、前記の情報処理装置は、主に、CPU(Central Processing Unit)902と、ROM(Read Only Memory)904と、RAM(Random Access Memory)906と、ホストバス908と、ブリッジ910と、外部バス912と、インターフェース914と、入力部916と、出力部918と、記憶部920と、ドライブ922と、接続ポート924と、通信部926とにより構成される。
【0087】
CPU902は、例えば、演算処理装置又は制御装置として機能し、ROM904、RAM906、記憶部920、又はリムーバブル記録媒体928に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ROM904は、例えば、CPU902に読み込まれるプログラムや演算に用いるデータ等を格納する。RAM906は、例えば、CPU902に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等を一時的又は永続的に格納する。これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス908によって相互に接続されている。また、ホストバス908は、例えば、ブリッジ910を介して比較的データ伝送速度が低速な外部バス912に接続されている。
【0088】
入力部916は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等の操作手段である。また、入力部916は、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントロール手段(所謂、リモコン)であってもよい。なお、入力部916は、上記の操作手段を用いて入力された情報を入力信号としてCPU902に伝送するための入力制御回路等により構成されている。
【0089】
出力部918は、例えば、CRT(Cathode Ray Tube)、LCD(Liquid Crystal Display)、PDP(Plasma DisplayPanel)、又はELD(Electro−Luminescence Display)等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
【0090】
記憶部920は、各種のデータを格納するための装置であり、例えば、ハードディスクドライブ(HDD;Hard Disk Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。
【0091】
ドライブ922は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体928に記録された情報を読み出し、又はリムーバブル記録媒体928に情報を書き込む装置である。リムーバブル記録媒体928は、例えば、DVDメディア、Blu−rayメディア、HD DVDメディア、コンパクトフラッシュ(CF;Compact Flash)(登録商標)、メモリースティック、又はSDメモリカード(Secure Digital memory card)等である。もちろん、リムーバブル記録媒体928は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit Card)、又は電子機器等であってもよい。
【0092】
接続ポート924は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS−232Cポート、又は光オーディオ端子等のような外部接続機器930を接続するためのポートである。外部接続機器930は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。
【0093】
通信部926は、ネットワーク932に接続するための通信デバイスであり、例えば、有線又は無線LAN(Local Area Network)、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は各種通信用のモデム等である。また、通信部926に接続されるネットワーク932は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内LAN、赤外線通信、可視光通信、放送、又は衛星通信等である。
【0094】
[撮像装置200のハードウェア構成例]
次いで、上記の撮像装置200のハードウェア構成例について説明する。上記の撮像装置200が有する各構成要素の機能は、例えば、図15に示すハードウェア構成により実現することが可能である。図15は、上記の撮像装置200の各構成要素が有する機能を実現することが可能なハードウェア構成の一例を示す説明図である。
【0095】
図15に示すように、撮像装置200は、主に、制御部(例えば、CPU;Central Processing Unit)802と、位置取得部804と、RAM(Random Access Memory)806と、ROM(Read Only Memory)808と、バス810と、撮像部812と、画像処理部814と、表示部816と、記憶媒体(例えば、Flash Memory等)818とにより構成される。
【0096】
図中には明示しないが、ユーザによる操作を受け付ける入力部をさらに備えていてもよい。この入力部の機能は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等の操作手段により実現される。また、入力部は、赤外線やその他の電波、或いは、光波等を利用して制御信号を送信することが可能なリモートコントロール手段(所謂、リモコン)であってもよい。
【0097】
制御部802は、例えば、CPU等により実現され、RAM806、ROM808、又は記録媒体818等に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ROM808は、例えば、制御部802に読み込まれるプログラムや演算に用いるデータ等を格納する。RAM806は、例えば、制御部802に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等を一時的又は永続的に格納する。これらの構成要素は、例えば、高速なデータ伝送が可能なバス810によって相互に接続されている。
【0098】
位置取得部804は、撮像装置の位置情報を取得する手段である。位置情報取得部804は、例えば、通信可能な基地局にアクセスして当該基地局がカバーするエリアの情報を位置情報として取得してもよいし、或いは、測位用の衛星システム(GPS;Global Positioning System)等から位置情報を取得してもよい。位置情報としては、例えば、撮像装置200が位置する緯度、経度、又はエリアを特定可能な情報である。
【0099】
撮像部812は、光学系を介して被写体の像を取得する手段である。撮像部812は、主に、レンズ822と、CCD(Charge Coupled Device)824と、AF制御部826と、AE制御部828とにより構成される。
【0100】
レンズ822は、光学系を構成し、被写体により反射された光をCCD824に集光する。CCD824は、半導体素子により構成され、レンズ822により集光された光を各素子で受光し、その受光した光を光電変換して出力する固体撮像素子である。CCD824は、各素子が受光した光の強度に応じて電気信号を出力するため、その電気信号に基づいて画像信号を形成することができる。尚、上記撮像装置200は、CCD824に代えて、他の半導体素子により形成されたイメージセンサーを利用していてもよい。AF制御部826は、ピントを自動的に調整するためのオートフォーカス機構である。また、AE制御部828は、シャッター速度や絞り値を自動的に調整するための自動露出(AE;Automatic Exposure)制御機構である。
【0101】
画像処理部814は、CCD824により出力された画像信号を表示部816で表示可能な画像データの形式に変換することができる。例えば、画像処理部814は、当該画像信号をBMP、GIF、JPEG、PICT、又はPING等の符号化形式に対応する画像データに変換することができる。また、画像処理部814は、画像データのサイズを変更したり、輝度や色調を調整したり、或いは、ガンマ補正やシャープネスの調整等をしたりする。さらに、画像処理部814は、撮像部812により連続して撮影された複数の画像信号から動画像データを生成することもできる。
【0102】
表示部816は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma DisplayPanel)、又はELD(Electro−Luminescence Display)等のディスプレイ装置であり、取得した情報を利用者に対して視覚的に通知することが可能な装置である。
【0103】
記録媒体818は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等により構成される。例えば、記録媒体818は、DVDメディア、Blu−rayメディア、HD DVDメディア、コンパクトフラッシュ(登録商標)(CF;CompactFlash)、メモリースティック、SDメモリカード(Secure Digital memory card)、又はHDD(Hard Disk Drive)等である。また、撮像装置200は、記録媒体818として、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit Card)や電子機器等を利用するように構成されていてもよい。
【0104】
[まとめ]
最後に、本実施形態の画像処理装置が有する機能構成と、当該機能構成が奏する作用効果について簡単に纏める。
【0105】
まず、本実施形態に係る画像処理装置の機能構成は次のように表現することができる。
【0106】
当該画像処理装置は、連続して撮影された画像群に含まれる第1画像が表示される表示画面と、ユーザにより擦られた前記表示画面上の摩擦位置を検出する摩擦位置検出部と、前記摩擦位置に対応する前記第1画像の画素領域と、前記画像群に含まれる第2画像の画素領域とを合成する画像合成部とを備える。但し、前記画像合成部は、前記ユーザにより擦られた摩擦量が大きくなるに連れて前記第1画像と前記第2画像との間の撮影時間差が大きくなるように前記第1画像に合成される第2画像を切り替える機能を有する。
【0107】
このように、上記の画像処理装置は、連続して撮影された画像群に含まれる第1画像を表示画面に表示する機能を有する。第1画像としては、例えば、画像群に含まれる画像の中で撮影時点が最も新しいものが選択されるように構成される。また、上記の画像処理装置は、摩擦位置検出部により、ユーザにより擦られた前記表示画面上の摩擦位置を検出する機能を有する。摩擦位置検出部により摩擦位置が検出されることで、ユーザにより指定された画素領域が特定される。
【0108】
さらに、上記の画像処理装置は、画像合成部により、前記摩擦位置に対応する前記第1画像の画素領域と、前記画像群に含まれる第2画像の画素領域とを合成する。このように構成されることで、撮影時点が異なる第2画像の一部が第1画像に合成される。このとき、ユーザにより指定された画素領域のみが第1画像に合成されるため、実際には撮影が困難な画像を生成することも可能になる。さらに、画像合成部により実行される合成処理は、ユーザによる摩擦動作により実現されるため、利便性の高い簡単な操作体系が提供される。特に、ユーザが画素領域を指定する操作、合成割合の設定操作、被合成画像の選択操作が一連の摩擦動作のみで実現できるため、格別に高い利便性が提供される。
【0109】
また、上記の画像合成部は、前記ユーザにより擦られた摩擦量が大きくなるに連れて前記第1画像と前記第2画像との間の撮影時間差が大きくなるように前記第1画像に合成される第2画像を切り替える。このような構成にすることで、ユーザは、擦る動作を繰り返すことにより被合成画像を順次切り替えていくことが可能になる。その結果、被合成画像の切り替え処理についても一連の摩擦動作に組み込まれ、さらに利便性の高い操作体系が実現されるのである。
【0110】
また、前記画像合成部は、前記摩擦量が大きくなるに連れて前記第1画像に対する前記第2画像の合成比率を増加させ、前記摩擦量が所定の閾値を超過した段階で前記第2画像を前記第1画像からの撮影時間差がより大きい画像に切り替えるように構成されていてもよい。このように構成されることで、被合成画像の切り替え処理、及び表示画像と被合成画像との合成比率の調整処理が一連の摩擦動作に応じて実現されるようになる。つまり、連続的な摩擦動作により、表示画像から被合成画像へと合成画像がシームレスに変化していくことになる。その結果、ユーザは、より直感的な処理により合成画像を生成できるようになる。
【0111】
また、前記画像合成部は、前記摩擦量が所定の閾値を所定量だけ超過するまで前記画素領域に切り替え前の前記第2画像を表示し、当該所定量を超過した段階で前記第2画像を切り替えるように構成されていてもよい。このように構成されることで、第1画像の一部が第2画像に完全に切り替わった後、擦り動作が継続されたとしても所定時間だけ第2画像が切り替わらないため、その完全に切り替わったタイミングを容易に見つけることができるようになる。その結果、第1画像の一部を第2画像に完全に置き換えた画像を意図している場合に、「溜め」がある分だけ正確にタイミングを捉えることができると共に、ユーザが安心して擦り動作を進めることができるようになる。
【0112】
また、前記摩擦量は、前記画素領域が摩擦された回数、摩擦時の押圧力、摩擦方向、及び摩擦早さの中から選択される1つの量又は複数の組み合わせにより決定される量であってもよい。さらに、前記画像群は、撮影時に変更可能な任意のパラメータを変化させながら連続して撮影された複数の画像であってもよい。そして、前記パラメータは、被写界深度、画像エフェクト、又はフラッシュを制御するための制御パラメータであってもよい。但し、上記の画像処理装置の構成は、これらの例に限定されず、画像群を撮影する撮像装置の機能や構成に応じて、種々の変形が可能である。
【0113】
[効果]
ここで、本実施形態を適用することにより得られる効果について簡単に纏める。但し、本実施形態の各構成により得られる具体的な効果については、これまでの説明の中で既に述べている。そのため、ここで述べるのは、これらの具体的な効果を纏めたものである。まず、上記の実施形態に係る技術を用いると、連続撮影した画像を容易な操作体系で合成することが可能になるという効果が得られる。また、ユーザが意図する位置又は範囲や合成度合いを一連の摩擦動作により変化させて画像を合成することが可能になるという効果が得られる。さらに、実際には撮影が困難な画像を容易に生成することが可能になるという効果が得られる。
【0114】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【図面の簡単な説明】
【0115】
【図1】連続撮影された被写体像の一例を示す説明図である。
【図2】連続撮影された被写体像の一例を示す説明図である。
【図3】本発明の一実施形態に係る画像処理技術の原理説明図である。
【図4】本実施形態に係る画像処理装置の機能構成を示す説明図である。
【図5】撮像素子の画素に対応するマトリックスの一例を示す説明図である。
【図6】本実施形態に係るブラシマトリックスの一例を示す説明図である。
【図7】本実施形態に係る入力操作の一例を示す説明図である。
【図8】本実施形態に係る深度マトリックスの一例である。
【図9】本実施形態に係る変換表の一例を示す説明図である。
【図10】本実施形態に係る画像処理装置の動作説明図である。
【図11】本実施形態に係る深度算出処理の流れを示す説明図である。
【図12A】連続撮影により撮影される一被写体像の例を示す説明図である。
【図12B】連続撮影により撮影される一被写体像の例を示す説明図である。
【図12C】本実施形態に係る合成画像の一例を示す説明図である。
【図13】本実施形態に係る画像処理技術の一応用例を示す説明図である。
【図14】本実施形態に係る画像処理装置(情報処理装置)のハードウェア構成例を示す説明図である。
【図15】本実施形態に係る撮像装置のハードウェア構成例を示す説明図である。
【符号の説明】
【0116】
100 画像処理装置
110 表示入力部
112 表示部
114 摩擦位置検出部
130 画像合成部
132 摩擦情報検出部
134 合成比率設定部
136 合成処理部
200 撮像装置
210 パラメータ変更部
【特許請求の範囲】
【請求項1】
連続して撮影された画像群に含まれる第1画像が表示される表示画面と、
ユーザにより擦られた前記表示画面上の摩擦位置を検出する摩擦位置検出部と、
前記摩擦位置に対応する前記第1画像の画素領域と、前記画像群に含まれる第2画像の画素領域とを合成する画像合成部と、
を備え、
前記画像合成部は、前記ユーザにより擦られた摩擦量が大きくなるに連れて前記第1画像と前記第2画像との間の撮影時間差が大きくなるように前記第1画像に合成される第2画像を切り替える、画像処理装置。
【請求項2】
前記画像合成部は、前記摩擦量が大きくなるに連れて前記第1画像に対する前記第2画像の合成比率を増加させ、前記摩擦量が所定の閾値を超過した段階で前記第2画像を前記第1画像からの撮影時間差がより大きい画像に切り替える、請求項1に記載の画像処理装置。
【請求項3】
前記画像合成部は、前記摩擦量が所定の閾値を所定量だけ超過するまで前記画素領域に切り替え前の前記第2画像を表示し、当該所定量を超過した段階で前記第2画像を切り替える、請求項2に記載の画像処理装置。
【請求項4】
前記摩擦量は、前記画素領域が摩擦された回数、摩擦時の押圧力、摩擦方向、及び摩擦早さの中から選択される1つの量又は複数の組み合わせにより決定される量である、請求項3に記載の画像処理装置。
【請求項5】
前記画像群は、撮影時に変更可能な任意のパラメータを変化させながら連続して撮影された複数の画像である、請求項1に記載の画像処理装置。
【請求項6】
前記パラメータは、被写界深度、画像エフェクト、又はフラッシュを制御するための制御パラメータである、請求項5に記載の画像処理装置。
【請求項7】
連続して撮影された画像群に含まれる第1画像が表示画面上に表示されている場合に、ユーザにより擦られた前記表示画面上の摩擦位置が検出される摩擦位置検出ステップと、
前記摩擦位置に対応する前記第1画像の画素領域と、前記画像群に含まれる第2画像の画素領域とが合成される画像合成ステップと、
を含み、
前記画像合成ステップでは、前記ユーザにより擦られた摩擦量が大きくなるに連れて前記第1画像と前記第2画像との間の撮影時間差が大きくなるように前記第1画像に合成される第2画像が切り替わる、画像処理方法。
【請求項1】
連続して撮影された画像群に含まれる第1画像が表示される表示画面と、
ユーザにより擦られた前記表示画面上の摩擦位置を検出する摩擦位置検出部と、
前記摩擦位置に対応する前記第1画像の画素領域と、前記画像群に含まれる第2画像の画素領域とを合成する画像合成部と、
を備え、
前記画像合成部は、前記ユーザにより擦られた摩擦量が大きくなるに連れて前記第1画像と前記第2画像との間の撮影時間差が大きくなるように前記第1画像に合成される第2画像を切り替える、画像処理装置。
【請求項2】
前記画像合成部は、前記摩擦量が大きくなるに連れて前記第1画像に対する前記第2画像の合成比率を増加させ、前記摩擦量が所定の閾値を超過した段階で前記第2画像を前記第1画像からの撮影時間差がより大きい画像に切り替える、請求項1に記載の画像処理装置。
【請求項3】
前記画像合成部は、前記摩擦量が所定の閾値を所定量だけ超過するまで前記画素領域に切り替え前の前記第2画像を表示し、当該所定量を超過した段階で前記第2画像を切り替える、請求項2に記載の画像処理装置。
【請求項4】
前記摩擦量は、前記画素領域が摩擦された回数、摩擦時の押圧力、摩擦方向、及び摩擦早さの中から選択される1つの量又は複数の組み合わせにより決定される量である、請求項3に記載の画像処理装置。
【請求項5】
前記画像群は、撮影時に変更可能な任意のパラメータを変化させながら連続して撮影された複数の画像である、請求項1に記載の画像処理装置。
【請求項6】
前記パラメータは、被写界深度、画像エフェクト、又はフラッシュを制御するための制御パラメータである、請求項5に記載の画像処理装置。
【請求項7】
連続して撮影された画像群に含まれる第1画像が表示画面上に表示されている場合に、ユーザにより擦られた前記表示画面上の摩擦位置が検出される摩擦位置検出ステップと、
前記摩擦位置に対応する前記第1画像の画素領域と、前記画像群に含まれる第2画像の画素領域とが合成される画像合成ステップと、
を含み、
前記画像合成ステップでは、前記ユーザにより擦られた摩擦量が大きくなるに連れて前記第1画像と前記第2画像との間の撮影時間差が大きくなるように前記第1画像に合成される第2画像が切り替わる、画像処理方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図12C】
【図13】
【図14】
【図15】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図12C】
【図13】
【図14】
【図15】
【公開番号】特開2010−10883(P2010−10883A)
【公開日】平成22年1月14日(2010.1.14)
【国際特許分類】
【出願番号】特願2008−165605(P2008−165605)
【出願日】平成20年6月25日(2008.6.25)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成22年1月14日(2010.1.14)
【国際特許分類】
【出願日】平成20年6月25日(2008.6.25)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]