画像処理装置、画像処理方法および画像処理用プログラム
【課題】短時間にメモリ消費量を抑えながら、ぼかし画像を生成することができる画像処理装置を提供する。
【解決手段】第1の合焦位置に焦点を合わせて被写体を撮像した第1の画像を縮小した第1の縮小画像から、異なるぼかし強度を用いてぼかし処理を適用した複数のぼかし元画像を生成する画像生成手段と、前記第1の画像に含まれる画素である第1画素に対してぼかし処理を適用したぼかし画像を合成する際に、前記第1画素の位置に対応する前記ぼかし元画像の画素である第2画素を用いて前記第1画素に対するぼかし処理適用後の画素値を決定する合成手段と、を備える。
【解決手段】第1の合焦位置に焦点を合わせて被写体を撮像した第1の画像を縮小した第1の縮小画像から、異なるぼかし強度を用いてぼかし処理を適用した複数のぼかし元画像を生成する画像生成手段と、前記第1の画像に含まれる画素である第1画素に対してぼかし処理を適用したぼかし画像を合成する際に、前記第1画素の位置に対応する前記ぼかし元画像の画素である第2画素を用いて前記第1画素に対するぼかし処理適用後の画素値を決定する合成手段と、を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像の一部または全部に対してぼかし処理を施した画像を生成する画像処理装置、画像処理方法および画像処理用プログラムに関する。
【背景技術】
【0002】
従来、カメラなどで撮像した画像の一部の領域または全体をぼかした画像を生成する技術が知られている。
例えば、上記技術に関連して、アダプターレンズを用いずにワンタッチで、ピントが合った画像とピントが外れた画像との合成によって擬似的にソフトフォーカス映像を得ることができるソフトフォーカス方法について知られている。
【0003】
また、ピントの合っている画像から切り出した部分画像と、各フォーカス位置で撮像した画像から切り出した部分画像と、を組み合わせて画像を合成し、被写体と背景との間の距離関係に拘束されることなく背景だけがボケた画像を得るカメラ装置について知られている。
【0004】
また、背景領域に対してフィルタリング処理などの平滑化処理を行なうことにより、背景領域にピントの合っていない状態で撮影された画像と同等のピンぼけ画像を含む被写体強調画像を生成するデジタルカメラについて知られている。
【0005】
また、被写体領域には、レンズ位置が被写体合焦位置で撮影された被写体領域の画像を当て嵌め、背景領域には、レンズ位置がマクロ位置で撮影された背景領域の画像を当て嵌めて一つの画像に合成するデジタルカメラについて知られている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平06−350889号公報
【特許文献2】特開2005−039680号公報
【特許文献3】特開2008−079193号公報
【特許文献4】特開2009−284404号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
図1および図2は、画像処理装置がぼかし画像を生成する処理の例を示している。
図1では、画像処理装置が、局所的なぼかしの程度を情報として備えるぼかし情報120にしたがってぼかしの程度を変えながら、入力画像110に対してぼかし処理を行なってぼかし画像130を生成している。
【0008】
ぼかし処理は、例えば、フィルタ111に含まれる画素の画素値を平均化するなどして行なうことができる。この場合、画像処理装置は、ぼかし情報120に応じてフィルタ111のサイズを変更することでぼかしの程度を変えることができる。
【0009】
しかし、図1に示すぼかし処理を行なう場合、画像処理装置に大きな負荷がかかる。また、入力画像110に含まれる画素毎にぼかし処理を実施するため、画像処理装置には、さらに負荷がかかる。その結果、画像処理装置が実行する処理が重くなり、ぼかし処理に時間がかかるという欠点がある。
【0010】
図2では、画像処理装置が、ぼかし情報120に応じて、入力画像110と、ぼかし元画像211、212、213または214と、を合成してぼかし画像220を生成している。ぼかし元画像211、212、213および214は、それぞれ入力画像110に対して異なる程度でぼかした画像である。
【0011】
この場合、ぼかし元画像211、212、213および214などを常にメモリに保持していなければならない。そのため、図2に示すぼかし処理では、メモリの消費量が大きくなってしまうという欠点がある。
【0012】
本画像処理装置は、上述した問題に鑑みてなされたものであり、その解決しようとする課題は、短時間にメモリ消費量を抑えながらぼかし画像を生成することができる画像処理装置、画像処理方法および画像処理用プログラムを提供することである。
【課題を解決するための手段】
【0013】
本画像処理装置の1つの観点によれば、本画像処理装置は、以下の構成要素を備える。
画像生成手段は、第1の合焦位置に焦点を合わせて被写体を撮像した第1の画像を縮小した第1の縮小画像から、異なるぼかし強度を用いてぼかし処理を適用した複数のぼかし元画像を生成する。
【0014】
また、合成手段は、前記第1の画像に含まれる画素である第1画素に対してぼかし処理を適用したぼかし画像を合成する際に、前記第1画素の位置に対応する前記ぼかし元画像の画素である第2画素を用いて前記第1画素に対するぼかし処理適用後の画素値を決定する。
【発明の効果】
【0015】
本画像処理装置によると、短時間にメモリ消費量を抑えながらぼかし画像を生成することができる画像処理装置、画像処理方法および画像処理用プログラムを提供することができる。
【図面の簡単な説明】
【0016】
【図1】画像処理装置がぼかし画像を生成する処理の例を示す図である。
【図2】画像処理装置がぼかし画像を生成する処理の例を示す図である。
【図3】第1の実施例に係る画像処理装置を説明する図である。
【図4】第2の実施例に係る画像処理装置によるぼかし処理の概要を説明する図である。
【図5】第2の実施例に係る画像処理装置によるぼかし処理の流れを説明する図である。
【図6】第2の実施例に係る画像処理装置が実行するぼかし処理の概要を示すフローチャートである。
【図7】第2の実施例に係るぼかしマップについて説明する図である。
【図8】第2の実施例に係るぼかしマップの生成処理を示すフローチャートである。
【図9】第2の実施例に係る画像処理装置によるぼかし画像の生成処理を示すフローチャートである。
【図10】第3の実施例に係る画像処理装置による画像処理の流れを説明する図である。
【図11】図10に示したぼかし元画像の画面サイズを拡大した図である。
【図12】第3の実施例に係る画像処理装置が行なうぼかし処理の概要を説明する図である。
【図13】第3の実施例に係る画素の選択を説明する図である。
【図14】第3の実施例に係る6点補間処理を説明する図である。
【図15】第3の実施例に係る画像処理装置によるぼかし画像の生成処理を示すフローチャートである。
【図16】第1〜第3の実施例に係る画像処理装置の具体的な構成例を示す図である。
【図17】第1〜第3の実施例に係る画像処理装置を備える装置の構成例を示す図である。
【発明を実施するための形態】
【0017】
以下、本実施形態の一例について、図3〜図17に基づいて説明する。なお、以下に説明する実施形態はあくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図ではない。すなわち、本実施形態は、その趣旨を逸脱しない範囲で、各実施例を組み合わせるなど種々変形して実施することができる。
【実施例1】
【0018】
図3は、本実施例に係る画像処理装置300を説明する図である。
画像処理装置300は、画像生成手段310と、合成手段320と、を備える。
画像生成手段310は、第1の合焦位置に焦点を合わせて被写体を撮像した第1の画像330を縮小した第1の縮小画像340から、異なるぼかし強度を用いてぼかし処理を適用した複数のぼかし元画像350を生成する。
【0019】
第1の画像330および第1の縮小画像340は、例えば、第1の画像330および第1の縮小画像340を生成する図示しない撮像装置などから取得してもよいし、図示しない撮像装置などが記憶した記憶装置から読み出してもよい。
【0020】
画像生成手段310は、例えば、第1の縮小画像340に含まれる画素のうちぼかし対象の画素を中心とした一定範囲内の画素の画素値の平均値を求め、求めた平均値でぼかし対象の画素の画素値を置換えることにより、ぼかし元画像350を生成することができる。この場合、画像生成手段310は、ぼかし対象の画素を中心とした一定範囲の大小によりぼかし強度を調整することができる。
【0021】
合成手段320は、第1の画像330に含まれる画素である第1画素に対してぼかし処理を適用したぼかし画像360を合成する際に、第1画素の位置に対応するぼかし元画像350の画素である第2画素を用いて第1画素に対するぼかし処理適用後の画素値を決定する。合成する場合、選択したぼかし元画像350を第1の画像330のサイズまで拡大してから第1の画像330と合成してもよい。
【0022】
合成手段320は、必要に応じて様々な基準にしたがって、複数のぼかし元画像350からぼかし元画像を選択することができる。例えば、ぼかし強度に応じて、選択するぼかし元画像を決めておき、第1の画像330に対応する画素毎にぼかし強度を指定したぼかし情報にしたがって、ぼかし元画像を選択してもよい。また、合成手段320は、複数のぼかし元画像350から、複数、例えば2つのぼかし元画像を選択してもよい。この場合、画像処理装置100は、選択した2つのぼかし元画像から、合成に使用する画像を生成することができる。
【実施例2】
【0023】
図4は、本実施例に係る画像処理装置400によるぼかし処理の概要を説明する図である。なお、下記(1)〜(5)は、図4に記載の(1)〜(5)に対応する。ただし、下記(1)〜(5)および図4に記載の(1)〜(5)は、説明を容易にするために記載したのであって、処理の順番を限定する趣旨ではない。
【0024】
(1)画像処理装置400は、例えば、後述するメモリ1602やDSP(Digital Signal Processor)1609などから、所望の被写体に焦点があっている画像410を取得する。この取得した画像410を「被写体合焦画像410」という。本実施例に係る被写体合焦画像410は、YUV形式のデータであるが、RGB形式のデータなど様々な形式のデータを使用することができる。
【0025】
また、画像処理装置400は、例えば、後述するメモリ1602やDSP1609などから、被写体合焦画像410を一定の割合で縮小した画像411を取得する。この取得した画像411を「被写体合焦縮小画像411」という。本実施例に係る被写体合焦縮小画像411は、YUV形式のデータであるが、RGB形式のデータなど様々な形式のデータを使用することができる。
【0026】
(2)画像処理装置400は、被写体合焦画像410を縮小した、複数の縮小画像1、2、3および4を生成する。画像処理装置400は、被写体合焦画像410をそれぞれ異なる縮小率で縮小して縮小画像1、2、3および4を生成してもよいが、本実施例では、画像処理装置400は、被写体合焦画像410を同一の縮小率で縮小して縮小画像1、2、3および4を生成するものとする。
【0027】
縮小画像1、2、3および4を生成すると、画像処理装置400は、縮小画像1、2、3および4に対してぼかし処理を行なう。ぼかし処理を行なうに際して、画像処理装置400は、縮小画像1、2、3および4の順にぼかし強度を強くしてぼかし処理を行なう。このぼかし処理が施された縮小画像1、2、3および4を「ぼかし元画像」という。また、ぼかし強度とは、ぼかしの程度のことをいう。図4には、被写体合焦縮小画像411から、ぼかし強度の異なる、4つのぼかし元画像421、422、423および424を生成した場合の例を示している。
【0028】
ぼかし処理は、画素値の平均化などの一般的な手法を用いることができる。例えば、平均化の手法では、ぼかし対象の画素を中心とした一定範囲内の画素の画素値の平均値を求め、求めた平均値でぼかし対象の画素の画素値を置換える。ぼかし対象の画素を中心とした一定範囲の大小によりぼかし強度を調整することができる。以下では、ぼかし対象の画素を中心とした一定範囲を「フィルタサイズ」ということにする。また、画素値とは、YUV形式のデータの場合、ある画素におけるY値、U値およびV値のそれぞれを指すものとする。
【0029】
ぼかし強度は、フィルタサイズの大きさや、縮小画像に対して行なうぼかし処理の繰返し回数など、により調整することができる。例えば、画素値の平均化に用いるフィルタサイズを大きくするほどぼかし強度は大きくなり、フィルタサイズを小さくするほどぼかし強度は小さくなる。また、同一の画像に行なうぼかし処理の回数が多いほどぼかし強度は大きくなり、ぼかし処理の回数が少ないほどぼかし強度は小さくなる。
【0030】
本実施例では、後述するぼかし強度値に0から255の値を使用する。値が大きいほどぼかし強度が大きいことを示す。0はぼかし処理を行っていない状態を示す。そして、ぼかし元画像421、422、423および424は、それぞれぼかし強度値64、128、192および255と対応付けられる。また、被写体合焦画像410は、ぼかし強度値0と対応付けられる。
【0031】
画像処理装置400は、後述するぼかしマップ440に含まれるぼかし強度値に応じて、被写体合焦画像410、ぼかし元画像421、422、423および424から、後述する第1のぼかし元画像および第2のぼかし元画像を選択する。
【0032】
例えば、ぼかし強度値が0の場合、画像処理装置400は、被写体合焦画像410を第1のぼかし元画像として選択し、ぼかし強度値が64の場合、ぼかし元画像421を第1のぼかし元画像として選択する。また、ぼかし強度値が0から64の間の値である場合、画像処理装置400は、第1のぼかし元画像として被写体合焦画像410を選択し、第2のぼかし元画像としてぼかし元画像421を選択する。
【0033】
(3)画像処理装置400は、所望の被写体以外のもの、例えば、景色などに焦点が合っている画像430を一定の割合で縮小した画像431を取得する。所望の被写体以外のものを「背景」ということにする。また、画像430を「背景合焦画像430」といい、画像431を「背景合焦縮小画像431」という。本実施例に係る背景合焦縮小画像431は、YUV形式のデータであるが、RGB形式のデータなど様々な形式のデータを使用することができる。
【0034】
被写体合焦画像410は、背景合焦画像430と同じ被写体、同じ背景が同じ構図で撮像された画像であって、背景に焦点を合わせて撮像された画像である。また、背景合焦画像430は、被写体合焦画像410と同じ被写体、同じ背景が同じ構図で撮像された画像であって、背景に焦点を合わせて撮像された画像である。
なお、図4において、背景合焦画像430を点線で記載されているのは、背景合焦画像430が、背景合焦縮小画像431を説明するためにだけに記載されているからである。
【0035】
(4)画像処理装置400は、被写体合焦縮小画像411と背景合焦縮小画像431とから、ぼかしマップ440を生成する。このぼかしマップ440は、ぼかし位置とぼかし強度を表わす値とを含む情報である。ぼかし強度を表わす値を「ぼかし強度値」という。本実施例に係るぼかしマップ440は、被写体合焦画像410の背景領域の画素のぼかし位置とぼかし強度値を含んでいる。
【0036】
ぼかし位置とは、被写体合焦画像410に含まれる画素のうちぼかし処理の対象となる画素の位置を示す情報である。本実施例では、背景がぼかし処理の対象なので、ぼかし位置には、背景領域の画素の位置を示す情報、例えば、XY座標が含まれる。
【0037】
画像処理装置400は、ぼかしマップ440に対して平滑化処理を行なう。この平滑化処理は、例えば、32×32画素のフィルタサイズで、ぼかしマップ440に含まれる画素値の平均化を行なうことにより実現することができる。
【0038】
(5)画像処理装置400は、ぼかしマップ440にしたがって、被写体合焦画像410とぼかし元画像420とを合成してぼかし画像450を生成する。例えば、画像処理装置400は、ぼかしマップ440に含まれるぼかし強度値に応じて、被写体合焦画像410およびぼかし元画像420から、合成に使用する第1のぼかし元画像および第2のぼかし元画像を選択する。そして、画像処理装置400は、選択した第1のぼかし元画像および第2のぼかし元画像からぼかし処理の対象の画素の画素値を算出し、算出した画素値をぼかし画像450に設定する。
【0039】
図5は、本実施例に係る画像処理装置400によるぼかし処理の流れを説明する図である。
画像処理装置400は、後述するメモリ1602やDSP1609などから、被写体合焦画像410を取得する。また、画像処理装置400は、後述するメモリ1602やDSP1609などから、被写体合焦縮小画像411を取得する。
【0040】
被写体合焦縮小画像411は、後述するカメラ1610が撮像した画像をDSP1609で一定の縮小率で縮小することによって得ることができるが、その縮小率は、被写体合焦画像410のサイズに応じて適切に設定することが望ましい。例えば、被写体合焦画像410のサイズが小さい場合には、縮小率を小さくし、被写体合焦画像410のサイズが大きい場合には、縮小率を大きくするなどして、縮小率を適切に設定することが望ましい。
【0041】
被写体合焦縮小画像411を取得すると、画像処理装置400は、被写体合焦縮小画像411に対して、それぞれ異なるぼかし強度のぼかし元画像421、422、423および424を生成する。
【0042】
ぼかし元画像421、422、423および424のぼかし強度は、フィルタサイズを変えてぼかし処理を実施することにより変えることができる。また、ぼかし元画像421、422、423および424それぞれに対して実施するぼかし処理の回数を変えることにより各ぼかし元画像のぼかし強度を変えることができる。例えば、ぼかし元画像421には1回、ぼかし元画像422には2回、ぼかし元画像423には3回、そしてぼかし元画像424には4回のぼかし処理を行なうことにより各ぼかし元画像のぼかし強度を変えることができる。また、フィルタサイズとぼかし処理の実施回数の組み合わせを変えることによっても、各ぼかし元画像のぼかし強度を変えることができる。本実施例では、ぼかし元画像421、422、423および424の順に、ぼかし強度が大きくなっているものとする。
【0043】
画像処理装置400は、ぼかしマップ440にしたがって、被写体合焦画像410とぼかし元画像421、422、423および424とを合成してぼかし画像450を生成する。
【0044】
例えば、ぼかしマップ440に含まれるぼかし強度値が「0」の場合、画像処理装置400は、被写体合焦画像410に含まれる画素のうちぼかし対象の画素の画素値をぼかし画像450に設定する。
【0045】
また、ぼかしマップ440に含まれるぼかし強度値が「0」より大きく、かつ、「64」以下の場合、画像処理装置400は、被写体合焦画像410とぼかし元画像421を選択する。そして、ぼかし強度値に応じて、被写体合焦画像410に含まれる画素のうちぼかし対象の画素の画素値と、ぼかし元画像421に含まれる画素のうちぼかし対象の画素の画素値と、の補間値をぼかし画像450に設定する。
【0046】
また、ぼかしマップ440に含まれるぼかし強度値が「64」の場合、画像処理装置400は、ぼかし元画像421に含まれる画素のうちぼかし対象の画素の画素値をぼかし画像450に設定する。
【0047】
また、ぼかしマップ440に含まれるぼかし強度値が「64」より大きく、かつ、「128」以下の場合、画像処理装置400は、ぼかし元画像421とぼかし元画像422を選択する。そして、ぼかし強度値に応じて、ぼかし元画像421に含まれる画素のうちぼかし対象の画素の画素値と、ぼかし元画像422に含まれる画素のうちぼかし対象の画素の画素値と、の補間値をぼかし画像450に設定する。
【0048】
また、ぼかしマップ440に含まれるぼかし強度値が「128」の場合、画像処理装置400は、ぼかし元画像422に含まれる画素のうちぼかし対象の画素の画素値をぼかし画像450に設定する。
【0049】
また、ぼかしマップ440に含まれるぼかし強度値が「128」より大きく、かつ、「192」以下の場合、画像処理装置400は、ぼかし元画像422とぼかし元画像423を選択する。そして、ぼかし強度値に応じて、ぼかし元画像422に含まれる画素のうちぼかし対象の画素の画素値と、ぼかし元画像423に含まれる画素のうちぼかし対象の画素の画素値と、の補間値をぼかし画像450に設定する。
【0050】
また、ぼかしマップ440に含まれるぼかし強度値が「192」の場合、画像処理装置400は、ぼかし元画像423に含まれる画素のうちぼかし対象の画素の画素値をぼかし画像450に設定する。
【0051】
また、ぼかしマップ440に含まれるぼかし強度値が「192」より大きく、かつ、「255」以下の場合、画像処理装置400は、ぼかし元画像423とぼかし元画像424を選択する。そして、ぼかし強度値に応じて、ぼかし元画像423に含まれる画素のうちぼかし対象の画素の画素値と、ぼかし元画像424に含まれる画素のうちぼかし対象の画素の画素値と、の補間値をぼかし画像450に設定する。
【0052】
また、ぼかしマップ440に含まれるぼかし強度値が「255」の場合、画像処理装置400は、ぼかし元画像424に含まれる画素のうちぼかし対象の画素の画素値をぼかし画像450に設定する。
【0053】
以上の処理が完了すると、例えば、図5に示す処理結果520を得ることができる。被写体合焦画像410の背景部511と対比すると、処理結果520の背景部521にぼかしがかかっている。
【0054】
図6は、本実施例に係る画像処理装置400が実行するぼかし処理の概要を示すフローチャートである。
後述する入力手段1603等からぼかし処理の開始が指示されると、画像処理装置400は、ぼかし処理を開始する(ステップS600)。そして、画像処理装置400は、処理をステップS601に移行する。
【0055】
ステップS601、S602およびS603において、画像処理装置400は、後述するメモリ1602やDSP1609などから、被写体合焦画像410、被写体合焦縮小画像411および背景合焦縮小画像431を取得する。
【0056】
ステップS604において、画像処理装置400は、被写体合焦縮小画像411から、複数のぼかし元画像420を生成する。本実施例では、ぼかし強度の異なる4つのぼかし元画像421、422、423および424を生成する。
【0057】
ステップS605において、画像処理装置400は、被写体合焦縮小画像411と背景合焦縮小画像431とから、ぼかしマップ440を生成する。ぼかしマップ440については、図7および図8で具体的に説明する。
【0058】
ステップS606において、画像処理装置400は、ぼかしマップ440にしたがって、被写体合焦画像410とぼかし元画像421、422、423および424とを合成することによってぼかし画像450を生成する。このぼかし画像450を生成する処理については、図9で具体的に説明する。
【0059】
図7は、本実施例に係るぼかしマップ440について説明する図である。なお、下記(1)および(2)は、図7に示す(1)および(2)に対応する。ただし、下記(1)および(2)と図7に記載の(1)および(2)は、説明を容易にするために記載したのであって、処理の順番を限定する趣旨ではない。
【0060】
(1)画像処理装置400は、後述するメモリ1602やDSP1609などから、被写体合焦縮小画像411を取得すると、被写体合焦縮小画像411をグレースケールの画像に変換し、変換後の画像に対してエッジ検出処理を行なう。なお、エッジ検出処理には、公知の技術、例えば、ラプラシアンフィルタなどを用いたフィルタ処理を利用することができる。ただし、その他の公知技術を用いて、エッジ検出を行なってもよいのは当然である。
【0061】
以上の処理により、画像処理装置400は、被写体合焦縮小画像411からエッジを抽出したエッジ画像710を生成することができる。エッジ画像710は、例えば、−128〜+127の画素値を含む画像である。図7に示すエッジ画像710には被写体のエッジ部が実線で表示されている。
【0062】
(2)同様に、画像処理装置400は、後述するメモリ1602やDSP1609などから、背景合焦縮小画像431を取得すると、背景合焦縮小画像431をグレースケールの画像に変換し、変換後の画像に対してエッジ検出処理を行なう。このエッジ検出処理も、公知の技術、例えば、ラプラシアンフィルタなどを用いたフィルタ処理を利用することができる。
【0063】
以上の処理により、画像処理装置400は、背景合焦縮小画像431からエッジを抽出したエッジ画像720を生成することができる。エッジ画像720も、例えば、−128〜+127の画素値を含む画像である。図7に示すエッジ画像720には被写体を除いた背景のエッジ部が実線で表示されている。
【0064】
(3)エッジ画像710および720を生成すると、画像処理装置400は、画素毎に、エッジ画像710の画素値の絶対値と、エッジ画像720の画素値の絶対値と、の差分を算出し、絶対値差分画像730を生成する。絶対値差分画像730に含まれる画素の画素値は、エッジ画像710と720の画素値の絶対値の差分により求められるので、−128〜+128までの値となる。例えば、エッジ画像720に含まれる画素の画素値からエッジ画像710に含まれる画素の画素値を減算することにより絶対値の差分を求めた場合、絶対値差分画像730に含まれる画素の画素値のうち、0より大きい画素値の画素を含むエッジを背景部のエッジと判断することができる。図7に示す絶対値差分画像730には、被写体のエッジ部と背景のエッジ部とが実線で表示されている。
【0065】
画像処理装置400は、絶対値差分画像730から背景部のエッジのみを抽出した画像を生成し、この生成した画像に含まれる画素の画素値を0〜255の値となるように調整する。以上の処理により得られる画像をぼかしマップ440として使用する。なお、画像処理装置400は、ぼかしマップ440に対して、さらに平滑化処理を行ってもよい。この平滑化処理は、例えば、32×32画素のフィルタサイズで、ぼかしマップ440に含まれる画素値の平均化を行なうことにより実現することができる。
【0066】
図8は、本実施例に係るぼかしマップ440の生成処理を示すフローチャートである。
ステップS801において、画像処理装置400は、ステップS602で取得した被写体合焦縮小画像411をグレースケールに変換後、変換した画像に対してエッジ検出処理を行ってエッジ画像710を生成する。同様に、画像処理装置400は、ステップS603で取得した背景合焦縮小画像431をグレースケールに変換後、変換した画像に対してエッジ検出処理を行ってエッジ画像720を生成する。
【0067】
ステップS802において、画像処理装置400は、エッジ画像710および720に含まれる画素の画素値の絶対値をそれぞれ取得する。
ステップS803において、画像処理装置400は、画素毎に、エッジ画像710および720に含まれる同じ位置の画素の画素値の絶対値の差分を算出して絶対値差分画像730を生成する。なお、本実施例では、エッジ画像720に含まれる画素の画素値の絶対値から、エッジ画像710に含まれる画素の画素値の絶対値を減算するものとする。
【0068】
ステップS804において、画像処理装置400は、絶対値差分画像730から背景領域、本実施例では、背景領域に含まれるエッジだけを抽出してぼかしマップ440を生成する。なお、本実施例では、絶対値差分画像730に含まれる画素のうち画素値が0より大きい画素を背景領域の画素と判断できる。本実施例では、背景のエッジ部を含むエッジ画像720に含まれる画素の画素値の絶対値から、エッジ画像710に含まれる画素の画素値の絶対値を減算することにより絶対値差分画像730を生成しているからである。
【0069】
エッジ画像710に含まれる画素の画素値の絶対値から、エッジ画像720に含まれる画素の画素値の絶対値を減算することにより絶対値差分画像730を生成した場合は、絶対値差分画像730に含まれる画素のうち画素値が0より小さい画素を背景領域の画素と判断できる。
【0070】
ステップS805において、画像処理装置400は、ステップS804で生成したぼかしマップ440に対して平滑化処理を行なう。平滑化処理が終了すると、画像処理装置400は、ぼかしマップ440の生成処理を終了する(ステップS806)。
【0071】
図9は、本実施例に係る画像処理装置400によるぼかし画像450の生成処理を示すフローチャートである。
ステップS901において、画像処理装置400は、被写体合焦画像410に含まれる画素から、処理対象の画素を1つ選択する。すると、画像処理装置400は、ぼかしマップ440を参照し(ステップS902)、処理対象の画素についてのぼかし強度値を取得する(ステップS903)。
【0072】
ここで、本実施例に係るぼかし強度値は、0〜255の値である。図4で示したように、被写体合焦画像410、ぼかし元画像421、422、423または424を選択する基準となるぼかし強度値「0」、「64」、「128」、「192」および「255」を総じて「境界値」という。
【0073】
ステップS903で取得したぼかし強度値が境界値と一致しない場合(ステップS904 YES)、画像処理装置400は、処理をステップS905に移行する。この場合、画像処理装置400は、ぼかし強度値に応じて、被写体合焦画像410、ぼかし元画像421、422、423または424から2つの画像を選択する(ステップS905)。この画像選択処理の具体例については、図5で説明したので省略する。
【0074】
本実施例では、ステップS905で選択した2つの画像をそれぞれ「第1のぼかし元画像」、「第2のぼかし元画像」という。被写体合焦画像410が、第1のぼかし元画像となる場合もある。
【0075】
ステップS906において、画像処理装置400は、ステップS905で選択した第1のぼかし元画像を、例えば、被写体合焦画像410と同じサイズの画像まで拡大する。なお、ステップS906において、第1のぼかし元画像として、被写体合焦画像410を選択した場合、画像処理装置400は、ステップS906の処理を行なわない。
【0076】
ステップS907において、画像処理装置400は、拡大した第1のぼかし元画像から、処理対象の画素と同じ位置にある画素の画素値を取得する。この画素値を「第1の画素値」という。
【0077】
ステップS908において、画像処理装置400は、ステップS905で選択した第2のぼかし元画像を、例えば、被写体合焦画像410と同じサイズの画像まで拡大する。
ステップS909において、画像処理装置400は、拡大した第2のぼかし元画像から、処理対象の画素と同じ位置にある画素の画素値を取得する。この画素値を「第2の画素値」という。
【0078】
ステップS910において、画像処理装置400は、ステップS907およびS909で取得した画素値の補間値を算出する。第1の画素値をR1、第2の画素値をR2、境界値をTh1、Th2とすると、Th2>S>Th1の関係にある場合、以下に示す式(1)から、第1の画素値と第2の画素値の補間値を算出することができる。
R1*(S−Th1)/(Th2−Th1)+
R2*(Th2−S)/(Th2−Th1) ・・・(1)
補間値を算出すると、画像処理装置400は、処理をステップS914に移行する。
【0079】
一方、ステップS903で取得したぼかし強度値が境界値と一致する場合(ステップS904 NO)、画像処理装置400は、処理をステップS911に移行する。この場合、画像処理装置400は、ぼかし強度値に応じて、被写体合焦画像410、ぼかし元画像421、422、423または424から画像を1つ選択する(ステップS911)。この画像の選択の具体例については、図5で説明したので省略する。
【0080】
本実施例では、ステップS911で選択した画像を「第3のぼかし元画像」という。被写体合焦画像410が、第3のぼかし元画像となる場合もある。
ステップS912において、画像処理装置400は、ステップS911で選択した第3のぼかし元画像を、例えば、被写体合焦画像410と同じサイズの画像まで拡大する。なお、ステップS911において、第3のぼかし元画像として、被写体合焦画像410を選択した場合、画像処理装置400は、ステップS912の処理を行なわない。
【0081】
ステップS913において、画像処理装置400は、第3のぼかし元画像から、処理対象の画素と同じ位置にある画素の画素値を取得する。そして、画像処理装置400は、処理をステップS914に移行する。
【0082】
ステップS914において、画像処理装置400は、処理対象の画素と同じ位置にある、ぼかし画像450の画素の画素値に、ステップS910で求めた補間値、または、ステップS913で取得した画素値を設定する。
【0083】
被写体合焦画像410に含まれる全ての画素について、ステップS901〜S914の処理を実施した場合(ステップS915 YES)、画像処理装置400は、ぼかし画像450の生成処理を終了する(ステップS916)。また、被写体合焦画像410に含まれる画素に、ステップS901〜S914の処理を実施していない画素がある場合(ステップS915 NO)、画像処理装置400は、処理をステップS901に移行し、ステップS901〜S914の処理を実施する。
【実施例3】
【0084】
図10は、本実施例に係る画像処理装置1000による画像処理の流れを説明する図である。
画像処理装置1000は、後述するメモリ1602やDSP1609などから被写体合焦画像410を取得する。また、画像処理装置1000は、後述するメモリ1602やDSP1609などから、被写体合焦縮小画像1011、1012および1013を取得する。図10では、画像処理装置1000が、被写体合焦縮小画像1011、1012および1013の順に縮小率を大きくした被写体合焦縮小画像を取得した場合を例示している。
【0085】
被写体合焦縮小画像1011、1012および1013は、後述するカメラ1610が撮像した画像をDSP1609がそれぞれ異なる縮小率で縮小することによって得ることができるが、実施例2と同様に、その縮小率は、被写体合焦画像410のサイズに応じて適切に設定することが望ましい。
【0086】
被写体合焦縮小画像1011、1012および1013を取得すると、画像処理装置1000は、各被写体合焦縮小画像に対して、それぞれ異なるぼかし強度でぼかし処理を施したぼかし元画像1021、1022、1023および1024を生成する。
【0087】
図10に示すぼかし元画像1021および1022は、被写体合焦縮小画像1011に対して異なるぼかし強度でぼかし処理を施した被写体合焦縮小画像である。また、ぼかし元画像1023は、被写体合焦縮小画像1011に対して、ぼかし処理を施した被写体合焦縮小画像である。また、ぼかし元画像1024は、被写体合焦縮小画像1011に対して、ぼかし処理を施した被写体合焦縮小画像である。
【0088】
ぼかし元画像1021、1022、1023および1024は、実施例2と同様に、各ぼかし元画像に対してフィルタサイズを変えてぼかし処理を実施することによりぼかし強度を変えることができる。また、ぼかし元画像1021、1022、1023および1024それぞれに対して実施するぼかし処理の回数を変えることにより各ぼかし元画像のぼかし強度を変えることができる。また、フィルタサイズとぼかし処理の実施回数の組み合わせを変えることによっても、各ぼかし元画像のぼかし強度を変えることができる。本実施例では、ぼかし元画像1021、1022、1023および1024の順に、ぼかし強度が大きくなっている。
【0089】
画像処理装置1000は、ぼかしマップ440にしたがって、被写体合焦画像410と、ぼかし元画像1021、1022、1023および1024と、を合成してぼかし画像1040を生成する。
【0090】
例えば、ぼかしマップ440に含まれるぼかし強度値が「0」の場合、画像処理装置1000は、被写体合焦画像410に含まれる画素のうちぼかし対象の画素の画素値をぼかし画像1030に設定する。
【0091】
また、ぼかしマップ440に含まれるぼかし強度値が「0」より大きく、かつ、「64」以下の場合、画像処理装置1000は、被写体合焦画像410とぼかし元画像1021を選択する。そして、ぼかし強度値に応じて、被写体合焦画像410に含まれる画素のうちぼかし対象の画素の画素値と、ぼかし元画像1021に含まれる画素のうちぼかし対象の画素の画素値と、の補間値をぼかし画像1030に設定する。
【0092】
また、ぼかしマップ440に含まれるぼかし強度値が「64」の場合、画像処理装置1000は、被写体合焦画像1021に含まれる画素のうちぼかし対象の画素の画素値をぼかし画像1030に設定する。
【0093】
また、ぼかしマップ440に含まれるぼかし強度値が「64」より大きく、かつ、「128」以下の場合、画像処理装置1000は、ぼかし元画像1021とぼかし元画像1022を選択する。そして、ぼかし強度値に応じて、ぼかし元画像1021に含まれる画素のうちぼかし対象の画素の画素値と、ぼかし元画像1022に含まれる画素のうちぼかし対象の画素の画素値と、の補間値をぼかし画像1030に設定する。
【0094】
また、ぼかしマップ440に含まれるぼかし強度値が「128」の場合、画像処理装置1000は、被写体合焦画像1022に含まれる画素のうちぼかし対象の画素の画素値をぼかし画像1030に設定する。
【0095】
また、ぼかしマップ440に含まれるぼかし強度値が「128」より大きく、かつ、「192」以下の場合、画像処理装置1000は、ぼかし元画像1022とぼかし元画像1023を選択する。そして、ぼかし強度値に応じて、ぼかし元画像1022に含まれる画素のうちぼかし対象の画素の画素値と、ぼかし元画像1023に含まれる画素のうちぼかし対象の画素の画素値と、の補間値をぼかし画像1030に設定する。
【0096】
また、ぼかしマップ440に含まれるぼかし強度値が「192」の場合、画像処理装置1000は、被写体合焦画像1023に含まれる画素のうちぼかし対象の画素の画素値をぼかし画像1030に設定する。
【0097】
また、ぼかしマップ440に含まれるぼかし強度値が「192」より大きく、かつ、「255」以下の場合、画像処理装置1000は、ぼかし元画像1023とぼかし元画像1024を選択する。そして、ぼかし強度値に応じて、ぼかし元画像1023に含まれる画素のうちぼかし対象の画素の画素値と、ぼかし元画像1024に含まれる画素のうちぼかし対象の画素の画素値と、の補間値をぼかし画像1030に設定する。
【0098】
また、ぼかしマップ440に含まれるぼかし強度値が「255」の場合、画像処理装置1000は、被写体合焦画像1024に含まれる画素のうちぼかし対象の画素の画素値をぼかし画像1030に設定する。
【0099】
以上の処理が完了すると、例えば、図10に示す処理結果1040を得ることができる。被写体合焦画像410の背景部1051と対比すると、処理結果1040の背景部1041にぼかしがかかっている。
【0100】
なお、図10では、被写体合焦縮小画像1011、1012および1013の順に縮小率を大きくした被写体合焦縮小画像を使用しているが、これに限定する趣旨ではない。被写体合焦縮小画像は、それぞれ異なる縮小率であればよい。
【0101】
また、図10では、3つの被写体合焦縮小画像1011、1012および1013を使用した場合を例に示しているが、被写体合焦縮小画像の数を限定する趣旨ではない。例えば、2つの被写体合焦縮小画像を使用してもよいし、5つ以上の被写体合焦縮小画像を使用してもよい。
【0102】
また、同一の被写体合焦縮小画像から生成する2以上のぼかし元画像は、互いに異なるぼかし強度とする必要があるが、異なる被写体合焦縮小画像から生成するぼかし元画像は、ぼかし強度が同一であってもよいし、異なっていてもよい。
【0103】
ここで、被写体合焦画像410、ぼかし元画像1021、1022、1023および1024におけるぼかし処理の対象の画素の位置の対応関係を明確にするために、ぼかし元画像1021、1022、1023および1024の画面サイズを揃えたものを図11に示す。以下の説明では、図11を用いて本実施例を説明する。被写体合焦画像410、被写体合焦縮小画像1011〜1013、ぼかし元画像1021〜1024内に示す黒い点「・」は画素を示す。例えば、ぼかし元画像1021は拡大して表示しているので、被写体合焦縮小画像410よりも画素間の距離が大きくなっている。
【0104】
図12は、本実施例に係る画像処理装置1000が行なうぼかし処理の概要を説明する図である。なお、図12に記載の(1)〜(4)は、以下に記載の(1)〜(4)に対応する。ただし、下記(1)〜(4)および図12に記載の(1)〜(4)は、説明を容易にするために記載したのであって、処理の順番を限定する趣旨ではない。
【0105】
(1)画像処理装置1000は、ぼかし処理の対象である被写体合焦画像410に含まれる画素から、処理対象の画素1210を1つ選択する。
(2)画像処理装置1000は、ぼかしマップ440を参照し、処理対象の画素1210のぼかし強度値を取得する。
【0106】
(3)処理対象の画素1210の位置とぼかし強度値とから、後述する6点補間処理に使用する6点の画素を、被写体合焦画像410、ぼかし元画像1021、1022、1023および1024に含まれる画素の中から選択する。例えば、以下のようにして画像処理装置1000は、後述する6点補間処理に使用する6点の画素を選択することができる。
【0107】
まず、画像処理装置1000は、ぼかし強度値に応じて、被写体合焦画像410、ぼかし元画像1021、1022、1023および1024の中から1つまたは2つの画像を選択する。この画像の選択は、例えば、図9に示したステップS904〜S905やS911の処理と同様の処理によって行なうことができる。図12では、ぼかし元画像1023と1024が選択された場合を例示している。
【0108】
次に、画像処理装置1000は、ぼかし処理の対象である被写体合焦画像410における処理対象の画素1210の位置に対応する、ぼかし元画像1023内の位置1220を囲む画素のうち3点の画素1221、1222および1223を選択する。また、画像処理装置1000は、ぼかし処理の対象である被写体合焦画像410における処理対象の画素1210の位置に対応する、ぼかし元画像1024内の位置1230を囲む画素のうち3点の画素1231、1232および1233を選択する。
【0109】
図13には、本実施例に係る画素の選択を説明する図を示している。
画素の選択を行なう場合、ぼかし元画像1023に含まれる3つの画素を頂点とする直角三角形を考える。図13に示すように、ぼかし元画像1023内の位置1220は、3点の画素1221、1222および1223を頂点とする直角三角形に囲まれている。この場合、画像処理装置1000は、3点の画素1221、1222および1223を選択する。
【0110】
同様に、ぼかし元画像1024内の位置1230は、3点の画素1231、1232および1233を頂点とする直角三角形に囲まれている。この場合、画像処理装置1000は、3点の画素1231、1232および1233を選択する。
【0111】
(4)選択した6点の画素1221、1222、1223、1231、1232および1233に対して、6点補間処理を行って1つの補間値を算出する。
図14は、本実施例に係る6点補間処理を説明する図である。以下の説明では、図14に示すxyz座標系のうち、x軸方向を水平方向といい、y軸方向を垂直方向という。
【0112】
まず、画像処理装置1000は、選択した6点の画素1221、1222、1223、1231、1232および1233のうち、ぼかし元画像1023上の3点の画素1221、1222および1223に対して補間処理を行なう。この結果得られる補間値を「第1の補間値」という。
【0113】
ここで、画素1221、1222および1223の画素値をそれぞれd1、a1およびc1とする。また、処理対象の画素1210の位置に対応する、ぼかし元画像1023内の位置1220の水平方向の座標の比をh11:h12とする。そして、処理対象の画素1210の位置に対応する、ぼかし元画像1023内の位置1220の垂直方向の座標の比をv11:v12とする。この場合、以下に示す式(2)によって、第1の補間値を得ることができる。
a1+(d1−a1)*(v11/(v11+v12))
−(c1−d1)*(h11/(h11+h12)) ・・・(2)
【0114】
同様に、画像処理装置1000は、選択した6点の画素1221、1222、1223、1231、1232および1233のうち、ぼかし元画像1024上の3点の画素1231、1232および1233に対して補間処理を行なう。この結果得られる補間値を「第2の補間値」という。
【0115】
ここで、画素1231、1232および1233の画素値をそれぞれc2、b2およびa2とする。また、処理対象の画素1210の位置に対応する、ぼかし元画像1024内の位置1230の水平方向の座標の比をh21:h22とする。そして、処理対象の画素1210の位置に対応する、ぼかし元画像1024内の位置1230の垂直方向の座標の比をv21:v22とする。この場合、以下に示す式(3)によって、第2の補間値を得ることができる。
a2+(b2−a2)*(h21/(h21+h22))
+(c2−b2)*(v21/(v21+v22)) ・・・(3)
【0116】
第1の補間値および第2の補間値を算出すると、画像処理装置1000は、第1の補間値と第2の補間値から6点補間値を算出する。例えば、第1の補間値をR1、第2の補間値をR2、ぼかし強度値をSとする。また、ぼかし元画像1023および1024を選択する場合の境界値のうち上限値をTh1とし、下限値をTh2とする。この場合、以下に示す式(4)によって、第1の補間値と第2の補間値から6点補間値を算出することができる。
R1*(S−Th1)/(Th2−Th1)
+R2*(Th2−S)/(Th2−Th1) ・・・(4)
【0117】
本実施例に係る画像処理装置1000が実行するぼかし処理の概要は、図6に説明した処理と同様なので、以下では、画像処理装置1000によるぼかし画像1040の生成処理について説明する。
【0118】
図15は、本実施例に係る画像処理装置1000によるぼかし画像1040の生成処理を示すフローチャートである。なお、ステップS1500〜S1504までの処理は、図9に示したステップS900〜S904までの処理と同様なので説明を省略する。
【0119】
ステップS1503で取得したぼかし強度値が境界値と一致しない場合(ステップS1504 YES)、画像処理装置1000は、処理をステップS1005に移行する。この場合、画像処理装置1000は、ぼかし強度値に応じて、被写体合焦画像410、ぼかし元画像1021、1022、1023および1024から2つの画像を選択する(ステップS1505)。この画像選択処理の具体例については、図10で説明したので省略する。
【0120】
本実施例では、ステップS1505で選択した2つの画像をそれぞれ「第1のぼかし元画像」、「第2のぼかし元画像」という。被写体合焦画像410が、第1のぼかし元画像となる場合もある。
【0121】
ステップS1506において、画像処理装置1000は、ステップS1505で選択した第1のぼかし元画像から、3点の画素を選択する。そして、ステップS1507において、画像処理装置1000は、ステップS1506で選択した3点の画素の画素値について、第1の補間値を算出する。
【0122】
ステップS1508において、画像処理装置1000は、ステップS1505で選択した第2のぼかし元画像から、3点の画素を選択する。そして、ステップS1509において、画像処理装置1000は、ステップS1508で選択した3点の画素の画素値について、第2の補間値を算出する。
【0123】
ステップS1510において、画像処理装置1000は、第1の補間値と第2の補間値から、ステップS1506およびS1508で選択した6点の画素についての6点補間値を算出する。
【0124】
なお、ステップS1506〜S1510についての具体的な説明は、図12〜図14で説明したので省略する。
6点補間値を算出すると、画像処理装置1000は、処理をステップS1514に移行する。
【0125】
一方、ステップS1503で取得したぼかし強度値が境界値と一致する場合(ステップS1504 NO)、画像処理装置1000は、処理をステップS1011に移行する。この場合、画像処理装置1000は、ぼかし強度値に応じて、被写体合焦画像410、ぼかし元画像1021、1022、1023および1024から画像を1つ選択する(ステップS1511)。この画像の選択の具体例については、図10で説明したので省略する。
【0126】
本実施例では、ステップS1511で選択した画像を「第3のぼかし元画像」という。被写体合焦画像410が、第3のぼかし元画像となる場合もある。
ステップS1512において、画像処理装置1000は、ステップS1511で選択した第3のぼかし元画像から、3点の画素を選択する。そして、ステップS1513において、画像処理装置1000は、ステップS1512で選択した3点の画素の画素値について、第3の補間値を算出する。なお、ステップS1512およびS1513の処理は、ステップS1506およびS1507と同様の処理であるから具体的な説明は省略する。
【0127】
ステップS1514において、画像処理装置1000は、ぼかし画像1030に、ステップS1510で求めた6点補間値、または、ステップS1513で取得した画素値を設定する。
【0128】
被写体合焦画像410に含まれる全ての画素について、ステップS1501〜S1514の処理を実施した場合(ステップS1515 YES)、画像処理装置1000は、ぼかし画像1040の生成処理を終了する(ステップS1516)。また、被写体合焦画像410に含まれる画素に、ステップS1501〜S1514の処理を実施していない画素がある場合(ステップS1515 NO)、画像処理装置1000は、処理をステップS1501に移行し、ステップS1501〜S1514の処理を実施する。
【0129】
図16は、第1〜第3の実施例に係る画像処理装置の具体的な構成例を示す図である。なお、画像処理装置400と画像処理装置1000は、同じ構成の情報処理装置によって実現することができる。したがって、画像処理装置400についての具体的な構成例についてだけ説明し、画像処理装置1000についての具体的な構成例についての説明は省略する。
【0130】
図16に示す画像装置400は、CPU1601と、メモリ1602と、入力装置1603と、出力装置1604と、外部記憶装置1605と、媒体駆動装置1606と、ネットワーク接続装置1608と、DSP1609と、カメラ1610と、を備える。そして、これらの装置がバスに接続されて相互にデータの受け渡しが行なえる構成となっている。
【0131】
CPU1601は、周辺機器や各種ソフトウェアを実行する他に本実施例に係るぼかし処理を実現するプログラムを実行する演算装置である。
メモリ1602は、プログラムを実行するために使用される揮発性の記憶装置である。メモリ1602には、例えば、RAM(Random Access Memory)などを使用することができる。また、メモリ1602は、被写体合焦画像410、被写体合焦縮小画像411、背景合焦画像430、背景合焦縮小画像431、ぼかし元画像420などを記憶することができる。
【0132】
入力装置1603は、外部からのデータ入力手段である。入力装置1603には、例えば、キーボードやマウスなどを使用することができる。
出力装置1604は、データ等を表示装置等に出力する装置である。なお、出力装置1604には、表示装置を含むこともできる。
【0133】
外部記憶装置1605は、画像処理装置400が動作するために必要なプログラムやデータの他に本実施例に係るぼかし処理を実現するプログラムを記憶する不揮発性の記憶装置である。外部記憶装置1605には、例えば、磁気ディスク記憶装置などを使用することができる。
【0134】
媒体駆動装置1606は、メモリ1602や外部記憶装置1605のデータを可搬記憶媒体1607、例えば、フロッピイディスクやMOディスク、CD−RやDVD−Rなどに出力し、または可搬記憶媒体1607からプログラムやデータ等を読み出す装置である。
【0135】
ネットワーク接続装置1608は、ネットワーク1609に接続する装置である。
DSP1609は、カメラ1610で撮像した画像に対して所定の処理、例えば、一定の縮小率で縮小する処理などを行なう。そして、DSP1609は、所定の処理が施された画像を、メモリ1602や外部記憶装置1605、可搬記憶媒体1607などに必要に応じて記憶する。
【0136】
カメラ1610は、所望の物体に焦点を合わせて画像を生成することができる撮像装置である。例えば、カメラ1610は、被写体に焦点を合わせた被写体合焦画像410や、背景に焦点を合わせた背景合焦画像430などを生成する。カメラ1610は、生成した画像を、DSP1609やメモリ1602、外部記憶装置1605、可搬記憶媒体1607などに必要に応じて出力する。
【0137】
なお、メモリ1602、外部記憶装置1605および可搬記憶媒体1607などの情報処理装置に読取り可能な記憶媒体は、非一時的(non−transitory)な媒体を用いることができる。
【0138】
また、図16に示した画像処理装置400の構成図は、一例である。したがって、画像処理装置400を図16に示した構成に限定する趣旨ではない。例えば、外部記憶装置1605、媒体駆動装置1606、ネットワーク接続装置1608、DSP1609およびカメラ1610などは、必須の構成要素ではなく、必要に応じて画像処理装置400の構成に組み込むことができる。
【0139】
図17は、第1〜第3の実施例に係る画像処理装置を備える装置1700の構成例を示す図である。図17に示す装置1700は、画像処理装置1710と、DSP1720と、カメラ1730と、を備える。
【0140】
画像処理装置1710は、図16に示した第1、第2または第3の実施例に係る画像処理装置である。ただし、画像処理装置1710には、図16で示したDSP1609およびカメラ1610は含まれない。
【0141】
DSP1720は、カメラ1730で撮像した画像に対して所定の処理、例えば、一定の縮小率で縮小する処理などを行って、被写体合焦縮小画像411や背景合焦縮小画像431などを生成する。
【0142】
カメラ1730は、所望の物体に焦点を合わせて画像を生成することができる撮像装置である。例えば、カメラ1730は、被写体に焦点を合わせた被写体合焦画像410や、背景に焦点を合わせた背景合焦画像430などを生成する。
【0143】
以上の構成において、画像処理装置1710がDSP1720に対して撮像要求を行なうと、DSP1720は、カメラ1730に対して撮像を指示する。すると、カメラ1730は、DSP1720の指示にしたがって、所定の焦点位置に焦点を合わせた画像、例えば、被写体合焦画像410や背景合焦画像430を撮像する。
【0144】
カメラ1730は、撮像した画像をDSP1720に出力する。DSP1720は、カメラ1730から受信した画像を画像処理装置1710に送信する。また、画像処理装置1710が縮小率を指定していた場合、DSP1720は、画像処理装置1710が指定した縮小率で、カメラ1730から受信した画像を縮小した画像、例えば、被写体合焦縮小画像411や背景合焦縮小画像431を画像処理装置1710に送信する。
【0145】
画像処理装置1710は、DSP1720から受信した画像を、メモリ1602や外部記憶装置1605、可搬記憶媒体1607などに必要に応じて記憶する。
装置1700は、携帯電話や携帯端末、カメラなど様々な形態に応用することができる。
【0146】
第2の実施例では、ぼかし元画像421、422、423および424の4つのぼかし元画像を使用する場合について説明した。また、第3の実施例では、ぼかし元画像1021、1022、1023および1024の4つのぼかし元画像を使用する場合について説明した。しかし、第2および第3の実施例は、使用するぼかし元画像の数を4つに限定する趣旨ではない。例えば、使用するぼかし元画像は、1つでもよいし、2以上でもよい。
【0147】
以上の説明において、被写体合焦縮小画像410は、第1の画像の一例として挙げることができる。また、被写体合焦縮小画像411や1011〜1013は、第1の縮小画像の一例として挙げることができる。また、ぼかし元画像421〜424や1021〜1024は、ぼかし元画像の一例として挙げることができる。また、画像生成手段や合成手段は、所定のプログラムをCPU1601に実行させることにより実現することができる。
【0148】
第1の実施例に係る画像処理装置300は、第1の画像330を一定の割合で縮小した第1の縮小画像340に対してぼかし処理を行なうことでぼかし元画像350を生成するので、ぼかし処理の対象となる画素数を少なくすることができる。その結果、画像処理装置300にかかる負荷を軽くすることができるので、ぼかし処理の時間を短くすることが可能となる。
【0149】
また、画像処理装置300は、第1の画像330と、第1の画像330を一定の割合で縮小した第1の縮小画像340をぼかしたぼかし元画像350と、を合成することによりぼかし画像360を生成する。ぼかし元画像350は縮小画像なので、メモリの消費量を小さくすることが可能となる。
【0150】
したがって、画像処理装置300は、短時間にメモリ消費量を抑えながらぼかし画像を生成することが可能となる。
第2の実施例に係る画像処理装置400は、被写体合焦画像410を一定の割合で縮小した被写体合焦縮小画像411からぼかし元画像421〜424を作成するので、ぼかし処理の対象となる画素数を少なくすることができる。その結果、画像処理にかかる負担を軽くすることができるので、ぼかし処理の時間を短くすることが可能となる。
【0151】
また、画像処理装置400は、被写体合焦画像410と、被写体合焦画像410を一定の割合で縮小した被写体合焦縮小画像411をぼかしたぼかし元画像421〜424と、を合成することによりぼかし画像520を生成する。ぼかし元画像421〜424は、縮小画像なので、メモリの消費量を小さくすることが可能となる。
【0152】
したがって、画像処理装置400は、短時間にメモリ消費量を抑えながらぼかし画像520を生成することが可能となる。
第3の実施例に係る画像処理装置1000は、被写体合焦画像410を縮小した被写体合焦縮小画像1011〜1013からぼかし元画像1021〜1024を生成するので、ぼかし処理の対象となる画素数を少なくすることができる。その結果、画像処理装置1000は、画像処理にかかる負担を軽くすることができるので、ぼかし処理の時間を短くすることが可能となる。
【0153】
また、画像処理装置1000は、縮小率を段階的に大きくした被写体合焦縮小画像1011〜1013を使用することで、ぼかし処理の対象となる画素数をさらに少なくすることができる。その結果、画像処理装置1000は、画像処理にかかる負担をさらに軽くすることがでる。その結果、画像処理装置1000は、ぼかし処理の時間をさらに短縮することが可能となる。
【0154】
また、画像処理装置1000は、被写体合焦画像410と、被写体合焦画像410を縮小した被写体合焦縮小画像1011〜1013をぼかしたぼかし元画像1021〜1024と、合成することによりぼかし画像1040を生成する。ぼかし元画像1021〜1024は、縮小画像なので、メモリの消費量を小さくすることが可能となる。また、画像処理装置1000は、縮小率を段階的に大きくした被写体合焦縮小画像1011〜1013を使用することで、メモリの消費量をさらに小さくすることが可能となる。
したがって、画像処理装置1000は、短時間にメモリ消費量を抑えながらぼかし画像1040を生成することが可能となる。
【0155】
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)
第1の合焦位置に焦点を合わせて被写体を撮像した第1の画像を縮小した第1の縮小画像から、異なるぼかし強度を用いてぼかし処理を適用した複数のぼかし元画像を生成する画像生成手段と、
前記第1の画像に含まれる画素である第1画素に対してぼかし処理を適用したぼかし画像を合成する際に、前記第1画素の位置に対応する前記ぼかし元画像の画素である第2画素を用いて前記第1画素に対するぼかし処理適用後の画素値を決定する合成手段と、
を備える画像処理装置。
(付記2)
前記第1の縮小画像に含まれる被写体のエッジ成分と、第2の合焦位置に焦点を合わせて前記被写体を撮像した第2の画像を縮小した第2の縮小画像に含まれる被写体のエッジ成分とを比較し、該比較結果に基づいて、前記第1の画像に含まれる画素毎のぼかし強度を示すぼかし強度値を含むぼかしマップを生成するぼかしマップ生成手段、
をさらに備え、
前記合成手段は、前記ぼかし画像の合成において、前記第1画素に対応付けられたぼかし強度を前記ぼかしマップから参照し、前記複数のぼかし元画素および第1の画素の画素値から前記参照したぼかし強度に対応する画素値を決定する、
ことを特徴とする付記1に記載の画像処理装置。
(付記3)
前記合成手段は、前記第1の画像に含まれる第1の画素についてのぼかし強度値を前記ぼかしマップから取得し、該取得したぼかし強度値に応じて前記ぼかし元画像を選択し、該選択した前記ぼかし元画像に含まれる画素のうち前記第1の画素の位置に対応する位置にある第2の画素の画素値から、前記合成に使用する画素値を決定し、該決定した画素値を前記第1の画素の画素値に設定する、
ことを特徴とする付記2に記載の画像処理装置。
(付記4)
前記合成手段は、前記取得したぼかし強度値を含む範囲の下限値と対応付けられた前記第1のぼかし元画像と、前記範囲の上限値と対応付けられた第2のぼかし元画像と、を選択し、前記第1のぼかし元画像に含まれる画素のうち前記第1の画素の位置に対応する位置にある画素の画素値である第1の画素値と、前記第2のぼかし元画像に含まれる画像のうち前記第1の画素の位置に対応する位置にある画素の画素値である第2の画素値と、を前記範囲におけるぼかし強度値の割合で補完した補間値を算出し、該算出した補間値を前記第1の画素の画素値に設定する、
ことを特徴とする付記3に記載の画像処理装置。
(付記5)
前記第1の縮小画像は、前記第1の画像を異なる割合で縮小した複数の縮小画像である、
ことを特徴とする付記2に記載の画像処理装置。
(付記6)
前記合成手段は、前記第1の画像に含まれる第1の画素についてのぼかし強度値を前記ぼかしマップから取得し、該取得したぼかし強度値に応じて前記ぼかし元画像を選択し、該選択した前記ぼかし元画像に含まれる画素のうち前記第1の画素の位置に対応する位置を囲む複数の画素の画素値から、前記合成に使用する画素値を算出し、該算出した画素値を前記第1の画素の画素値に設定する、
ことを特徴とする付記5に記載の画像処理装置。
(付記7)
前記合成手段は、前記取得したぼかし強度値を含む範囲の下限値と対応付けられた前記第1のぼかし元画像と、前記範囲の上限値と対応付けられた第2のぼかし元画像と、を選択し、前記第1のぼかし元画像に含まれる画素のうち前記第1の画素の位置に対応する位置を囲む複数の画素の画素値から、画素間における前記第1の画素の位置の割合で補完した第1の画素値を算出し、前記第2のぼかし元画像に含まれる画素のうち前記第1の画素の位置に対応する位置を囲む複数の画素の画素値から、画素間における前記第1の画素の位置の割合で補完した第2の画素値を算出し、前記第1の画素値と前記第2の画素値とを前記範囲におけるぼかし強度値の割合で補完した補間値を算出し、該算出した補間値を前記第1の画素の画素値に設定する、
ことを特徴とする付記6に記載の画像処理装置。
(付記8)
前記ぼかしマップ生成手段は、
前記第1の縮小画像および前記第2の縮小画像に含まれる画素の画素値が不連続に変化する領域を平滑化する平滑化手段と、
前記第1の縮小画像と前記第2の縮小画像との画素値の差分から前記ぼかし強度値を算出し、画素毎に前記ぼかし強度値を含む前記ぼかしマップを生成するぼかし強度値算出手段と、
前記ぼかしマップにおける所定サイズの領域内の差分値の合計が閾値を超える場合、前記所定サイズの領域内に含まれるぼかし強度値のうち前記閾値以下のぼかし強度値を、前記閾値を超える所定の値に補正する補正手段と、
をさらに備える付記2に記載の画像処理装置。
(付記9)
第1の合焦位置に焦点を合わせて被写体を撮像した第1の画像と、前記第1の画像を縮小した第1の縮小画像と、を記憶手段から取得し、
前記第1の縮小画像を、異なるぼかし強度でぼかした複数のぼかし元画像を生成し、
前記複数のぼかし元画像から選択したぼかし元画像と、前記第1の画像とを合成して一部または全部にぼかし強度の異なるぼかし領域を含むぼかし画像を生成する、
画像処理方法。
(付記10)
第1の合焦位置に焦点を合わせて被写体を撮像した第1の画像と、前記第1の画像を縮小した第1の縮小画像と、を記憶手段から取得し、
前記第1の縮小画像を、異なるぼかし強度でぼかした複数のぼかし元画像を生成し、
前記複数のぼかし元画像から選択したぼかし元画像と、前記第1の画像とを合成して一部または全部にぼかし強度の異なるぼかし領域を含むぼかし画像を生成する、
処理を情報処理装置に実行させる画像処理用プログラム。
(付記11)
第1の合焦位置に焦点を合わせて被写体を撮像して第1の画像を生成する撮像手段と、
前記第1の画像を縮小して第1の縮小画像を生成する縮小画像生成手段と、
前記第1の縮小画像を、異なるぼかし強度でぼかした複数のぼかし元画像を生成する画像生成手段と、
前記複数のぼかし元画像から選択したぼかし元画像と、前記第1の画像とを合成して一部または全部にぼかし強度の異なるぼかし領域を含むぼかし画像を生成する合成手段と、
を備える情報処理装置。
【符号の説明】
【0156】
300 画像処理装置
310 画像生成手段
320 合成手段
330 第1の画像
340 第1の縮小画像
350 ぼかし元画像
【技術分野】
【0001】
本発明は、画像の一部または全部に対してぼかし処理を施した画像を生成する画像処理装置、画像処理方法および画像処理用プログラムに関する。
【背景技術】
【0002】
従来、カメラなどで撮像した画像の一部の領域または全体をぼかした画像を生成する技術が知られている。
例えば、上記技術に関連して、アダプターレンズを用いずにワンタッチで、ピントが合った画像とピントが外れた画像との合成によって擬似的にソフトフォーカス映像を得ることができるソフトフォーカス方法について知られている。
【0003】
また、ピントの合っている画像から切り出した部分画像と、各フォーカス位置で撮像した画像から切り出した部分画像と、を組み合わせて画像を合成し、被写体と背景との間の距離関係に拘束されることなく背景だけがボケた画像を得るカメラ装置について知られている。
【0004】
また、背景領域に対してフィルタリング処理などの平滑化処理を行なうことにより、背景領域にピントの合っていない状態で撮影された画像と同等のピンぼけ画像を含む被写体強調画像を生成するデジタルカメラについて知られている。
【0005】
また、被写体領域には、レンズ位置が被写体合焦位置で撮影された被写体領域の画像を当て嵌め、背景領域には、レンズ位置がマクロ位置で撮影された背景領域の画像を当て嵌めて一つの画像に合成するデジタルカメラについて知られている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平06−350889号公報
【特許文献2】特開2005−039680号公報
【特許文献3】特開2008−079193号公報
【特許文献4】特開2009−284404号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
図1および図2は、画像処理装置がぼかし画像を生成する処理の例を示している。
図1では、画像処理装置が、局所的なぼかしの程度を情報として備えるぼかし情報120にしたがってぼかしの程度を変えながら、入力画像110に対してぼかし処理を行なってぼかし画像130を生成している。
【0008】
ぼかし処理は、例えば、フィルタ111に含まれる画素の画素値を平均化するなどして行なうことができる。この場合、画像処理装置は、ぼかし情報120に応じてフィルタ111のサイズを変更することでぼかしの程度を変えることができる。
【0009】
しかし、図1に示すぼかし処理を行なう場合、画像処理装置に大きな負荷がかかる。また、入力画像110に含まれる画素毎にぼかし処理を実施するため、画像処理装置には、さらに負荷がかかる。その結果、画像処理装置が実行する処理が重くなり、ぼかし処理に時間がかかるという欠点がある。
【0010】
図2では、画像処理装置が、ぼかし情報120に応じて、入力画像110と、ぼかし元画像211、212、213または214と、を合成してぼかし画像220を生成している。ぼかし元画像211、212、213および214は、それぞれ入力画像110に対して異なる程度でぼかした画像である。
【0011】
この場合、ぼかし元画像211、212、213および214などを常にメモリに保持していなければならない。そのため、図2に示すぼかし処理では、メモリの消費量が大きくなってしまうという欠点がある。
【0012】
本画像処理装置は、上述した問題に鑑みてなされたものであり、その解決しようとする課題は、短時間にメモリ消費量を抑えながらぼかし画像を生成することができる画像処理装置、画像処理方法および画像処理用プログラムを提供することである。
【課題を解決するための手段】
【0013】
本画像処理装置の1つの観点によれば、本画像処理装置は、以下の構成要素を備える。
画像生成手段は、第1の合焦位置に焦点を合わせて被写体を撮像した第1の画像を縮小した第1の縮小画像から、異なるぼかし強度を用いてぼかし処理を適用した複数のぼかし元画像を生成する。
【0014】
また、合成手段は、前記第1の画像に含まれる画素である第1画素に対してぼかし処理を適用したぼかし画像を合成する際に、前記第1画素の位置に対応する前記ぼかし元画像の画素である第2画素を用いて前記第1画素に対するぼかし処理適用後の画素値を決定する。
【発明の効果】
【0015】
本画像処理装置によると、短時間にメモリ消費量を抑えながらぼかし画像を生成することができる画像処理装置、画像処理方法および画像処理用プログラムを提供することができる。
【図面の簡単な説明】
【0016】
【図1】画像処理装置がぼかし画像を生成する処理の例を示す図である。
【図2】画像処理装置がぼかし画像を生成する処理の例を示す図である。
【図3】第1の実施例に係る画像処理装置を説明する図である。
【図4】第2の実施例に係る画像処理装置によるぼかし処理の概要を説明する図である。
【図5】第2の実施例に係る画像処理装置によるぼかし処理の流れを説明する図である。
【図6】第2の実施例に係る画像処理装置が実行するぼかし処理の概要を示すフローチャートである。
【図7】第2の実施例に係るぼかしマップについて説明する図である。
【図8】第2の実施例に係るぼかしマップの生成処理を示すフローチャートである。
【図9】第2の実施例に係る画像処理装置によるぼかし画像の生成処理を示すフローチャートである。
【図10】第3の実施例に係る画像処理装置による画像処理の流れを説明する図である。
【図11】図10に示したぼかし元画像の画面サイズを拡大した図である。
【図12】第3の実施例に係る画像処理装置が行なうぼかし処理の概要を説明する図である。
【図13】第3の実施例に係る画素の選択を説明する図である。
【図14】第3の実施例に係る6点補間処理を説明する図である。
【図15】第3の実施例に係る画像処理装置によるぼかし画像の生成処理を示すフローチャートである。
【図16】第1〜第3の実施例に係る画像処理装置の具体的な構成例を示す図である。
【図17】第1〜第3の実施例に係る画像処理装置を備える装置の構成例を示す図である。
【発明を実施するための形態】
【0017】
以下、本実施形態の一例について、図3〜図17に基づいて説明する。なお、以下に説明する実施形態はあくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図ではない。すなわち、本実施形態は、その趣旨を逸脱しない範囲で、各実施例を組み合わせるなど種々変形して実施することができる。
【実施例1】
【0018】
図3は、本実施例に係る画像処理装置300を説明する図である。
画像処理装置300は、画像生成手段310と、合成手段320と、を備える。
画像生成手段310は、第1の合焦位置に焦点を合わせて被写体を撮像した第1の画像330を縮小した第1の縮小画像340から、異なるぼかし強度を用いてぼかし処理を適用した複数のぼかし元画像350を生成する。
【0019】
第1の画像330および第1の縮小画像340は、例えば、第1の画像330および第1の縮小画像340を生成する図示しない撮像装置などから取得してもよいし、図示しない撮像装置などが記憶した記憶装置から読み出してもよい。
【0020】
画像生成手段310は、例えば、第1の縮小画像340に含まれる画素のうちぼかし対象の画素を中心とした一定範囲内の画素の画素値の平均値を求め、求めた平均値でぼかし対象の画素の画素値を置換えることにより、ぼかし元画像350を生成することができる。この場合、画像生成手段310は、ぼかし対象の画素を中心とした一定範囲の大小によりぼかし強度を調整することができる。
【0021】
合成手段320は、第1の画像330に含まれる画素である第1画素に対してぼかし処理を適用したぼかし画像360を合成する際に、第1画素の位置に対応するぼかし元画像350の画素である第2画素を用いて第1画素に対するぼかし処理適用後の画素値を決定する。合成する場合、選択したぼかし元画像350を第1の画像330のサイズまで拡大してから第1の画像330と合成してもよい。
【0022】
合成手段320は、必要に応じて様々な基準にしたがって、複数のぼかし元画像350からぼかし元画像を選択することができる。例えば、ぼかし強度に応じて、選択するぼかし元画像を決めておき、第1の画像330に対応する画素毎にぼかし強度を指定したぼかし情報にしたがって、ぼかし元画像を選択してもよい。また、合成手段320は、複数のぼかし元画像350から、複数、例えば2つのぼかし元画像を選択してもよい。この場合、画像処理装置100は、選択した2つのぼかし元画像から、合成に使用する画像を生成することができる。
【実施例2】
【0023】
図4は、本実施例に係る画像処理装置400によるぼかし処理の概要を説明する図である。なお、下記(1)〜(5)は、図4に記載の(1)〜(5)に対応する。ただし、下記(1)〜(5)および図4に記載の(1)〜(5)は、説明を容易にするために記載したのであって、処理の順番を限定する趣旨ではない。
【0024】
(1)画像処理装置400は、例えば、後述するメモリ1602やDSP(Digital Signal Processor)1609などから、所望の被写体に焦点があっている画像410を取得する。この取得した画像410を「被写体合焦画像410」という。本実施例に係る被写体合焦画像410は、YUV形式のデータであるが、RGB形式のデータなど様々な形式のデータを使用することができる。
【0025】
また、画像処理装置400は、例えば、後述するメモリ1602やDSP1609などから、被写体合焦画像410を一定の割合で縮小した画像411を取得する。この取得した画像411を「被写体合焦縮小画像411」という。本実施例に係る被写体合焦縮小画像411は、YUV形式のデータであるが、RGB形式のデータなど様々な形式のデータを使用することができる。
【0026】
(2)画像処理装置400は、被写体合焦画像410を縮小した、複数の縮小画像1、2、3および4を生成する。画像処理装置400は、被写体合焦画像410をそれぞれ異なる縮小率で縮小して縮小画像1、2、3および4を生成してもよいが、本実施例では、画像処理装置400は、被写体合焦画像410を同一の縮小率で縮小して縮小画像1、2、3および4を生成するものとする。
【0027】
縮小画像1、2、3および4を生成すると、画像処理装置400は、縮小画像1、2、3および4に対してぼかし処理を行なう。ぼかし処理を行なうに際して、画像処理装置400は、縮小画像1、2、3および4の順にぼかし強度を強くしてぼかし処理を行なう。このぼかし処理が施された縮小画像1、2、3および4を「ぼかし元画像」という。また、ぼかし強度とは、ぼかしの程度のことをいう。図4には、被写体合焦縮小画像411から、ぼかし強度の異なる、4つのぼかし元画像421、422、423および424を生成した場合の例を示している。
【0028】
ぼかし処理は、画素値の平均化などの一般的な手法を用いることができる。例えば、平均化の手法では、ぼかし対象の画素を中心とした一定範囲内の画素の画素値の平均値を求め、求めた平均値でぼかし対象の画素の画素値を置換える。ぼかし対象の画素を中心とした一定範囲の大小によりぼかし強度を調整することができる。以下では、ぼかし対象の画素を中心とした一定範囲を「フィルタサイズ」ということにする。また、画素値とは、YUV形式のデータの場合、ある画素におけるY値、U値およびV値のそれぞれを指すものとする。
【0029】
ぼかし強度は、フィルタサイズの大きさや、縮小画像に対して行なうぼかし処理の繰返し回数など、により調整することができる。例えば、画素値の平均化に用いるフィルタサイズを大きくするほどぼかし強度は大きくなり、フィルタサイズを小さくするほどぼかし強度は小さくなる。また、同一の画像に行なうぼかし処理の回数が多いほどぼかし強度は大きくなり、ぼかし処理の回数が少ないほどぼかし強度は小さくなる。
【0030】
本実施例では、後述するぼかし強度値に0から255の値を使用する。値が大きいほどぼかし強度が大きいことを示す。0はぼかし処理を行っていない状態を示す。そして、ぼかし元画像421、422、423および424は、それぞれぼかし強度値64、128、192および255と対応付けられる。また、被写体合焦画像410は、ぼかし強度値0と対応付けられる。
【0031】
画像処理装置400は、後述するぼかしマップ440に含まれるぼかし強度値に応じて、被写体合焦画像410、ぼかし元画像421、422、423および424から、後述する第1のぼかし元画像および第2のぼかし元画像を選択する。
【0032】
例えば、ぼかし強度値が0の場合、画像処理装置400は、被写体合焦画像410を第1のぼかし元画像として選択し、ぼかし強度値が64の場合、ぼかし元画像421を第1のぼかし元画像として選択する。また、ぼかし強度値が0から64の間の値である場合、画像処理装置400は、第1のぼかし元画像として被写体合焦画像410を選択し、第2のぼかし元画像としてぼかし元画像421を選択する。
【0033】
(3)画像処理装置400は、所望の被写体以外のもの、例えば、景色などに焦点が合っている画像430を一定の割合で縮小した画像431を取得する。所望の被写体以外のものを「背景」ということにする。また、画像430を「背景合焦画像430」といい、画像431を「背景合焦縮小画像431」という。本実施例に係る背景合焦縮小画像431は、YUV形式のデータであるが、RGB形式のデータなど様々な形式のデータを使用することができる。
【0034】
被写体合焦画像410は、背景合焦画像430と同じ被写体、同じ背景が同じ構図で撮像された画像であって、背景に焦点を合わせて撮像された画像である。また、背景合焦画像430は、被写体合焦画像410と同じ被写体、同じ背景が同じ構図で撮像された画像であって、背景に焦点を合わせて撮像された画像である。
なお、図4において、背景合焦画像430を点線で記載されているのは、背景合焦画像430が、背景合焦縮小画像431を説明するためにだけに記載されているからである。
【0035】
(4)画像処理装置400は、被写体合焦縮小画像411と背景合焦縮小画像431とから、ぼかしマップ440を生成する。このぼかしマップ440は、ぼかし位置とぼかし強度を表わす値とを含む情報である。ぼかし強度を表わす値を「ぼかし強度値」という。本実施例に係るぼかしマップ440は、被写体合焦画像410の背景領域の画素のぼかし位置とぼかし強度値を含んでいる。
【0036】
ぼかし位置とは、被写体合焦画像410に含まれる画素のうちぼかし処理の対象となる画素の位置を示す情報である。本実施例では、背景がぼかし処理の対象なので、ぼかし位置には、背景領域の画素の位置を示す情報、例えば、XY座標が含まれる。
【0037】
画像処理装置400は、ぼかしマップ440に対して平滑化処理を行なう。この平滑化処理は、例えば、32×32画素のフィルタサイズで、ぼかしマップ440に含まれる画素値の平均化を行なうことにより実現することができる。
【0038】
(5)画像処理装置400は、ぼかしマップ440にしたがって、被写体合焦画像410とぼかし元画像420とを合成してぼかし画像450を生成する。例えば、画像処理装置400は、ぼかしマップ440に含まれるぼかし強度値に応じて、被写体合焦画像410およびぼかし元画像420から、合成に使用する第1のぼかし元画像および第2のぼかし元画像を選択する。そして、画像処理装置400は、選択した第1のぼかし元画像および第2のぼかし元画像からぼかし処理の対象の画素の画素値を算出し、算出した画素値をぼかし画像450に設定する。
【0039】
図5は、本実施例に係る画像処理装置400によるぼかし処理の流れを説明する図である。
画像処理装置400は、後述するメモリ1602やDSP1609などから、被写体合焦画像410を取得する。また、画像処理装置400は、後述するメモリ1602やDSP1609などから、被写体合焦縮小画像411を取得する。
【0040】
被写体合焦縮小画像411は、後述するカメラ1610が撮像した画像をDSP1609で一定の縮小率で縮小することによって得ることができるが、その縮小率は、被写体合焦画像410のサイズに応じて適切に設定することが望ましい。例えば、被写体合焦画像410のサイズが小さい場合には、縮小率を小さくし、被写体合焦画像410のサイズが大きい場合には、縮小率を大きくするなどして、縮小率を適切に設定することが望ましい。
【0041】
被写体合焦縮小画像411を取得すると、画像処理装置400は、被写体合焦縮小画像411に対して、それぞれ異なるぼかし強度のぼかし元画像421、422、423および424を生成する。
【0042】
ぼかし元画像421、422、423および424のぼかし強度は、フィルタサイズを変えてぼかし処理を実施することにより変えることができる。また、ぼかし元画像421、422、423および424それぞれに対して実施するぼかし処理の回数を変えることにより各ぼかし元画像のぼかし強度を変えることができる。例えば、ぼかし元画像421には1回、ぼかし元画像422には2回、ぼかし元画像423には3回、そしてぼかし元画像424には4回のぼかし処理を行なうことにより各ぼかし元画像のぼかし強度を変えることができる。また、フィルタサイズとぼかし処理の実施回数の組み合わせを変えることによっても、各ぼかし元画像のぼかし強度を変えることができる。本実施例では、ぼかし元画像421、422、423および424の順に、ぼかし強度が大きくなっているものとする。
【0043】
画像処理装置400は、ぼかしマップ440にしたがって、被写体合焦画像410とぼかし元画像421、422、423および424とを合成してぼかし画像450を生成する。
【0044】
例えば、ぼかしマップ440に含まれるぼかし強度値が「0」の場合、画像処理装置400は、被写体合焦画像410に含まれる画素のうちぼかし対象の画素の画素値をぼかし画像450に設定する。
【0045】
また、ぼかしマップ440に含まれるぼかし強度値が「0」より大きく、かつ、「64」以下の場合、画像処理装置400は、被写体合焦画像410とぼかし元画像421を選択する。そして、ぼかし強度値に応じて、被写体合焦画像410に含まれる画素のうちぼかし対象の画素の画素値と、ぼかし元画像421に含まれる画素のうちぼかし対象の画素の画素値と、の補間値をぼかし画像450に設定する。
【0046】
また、ぼかしマップ440に含まれるぼかし強度値が「64」の場合、画像処理装置400は、ぼかし元画像421に含まれる画素のうちぼかし対象の画素の画素値をぼかし画像450に設定する。
【0047】
また、ぼかしマップ440に含まれるぼかし強度値が「64」より大きく、かつ、「128」以下の場合、画像処理装置400は、ぼかし元画像421とぼかし元画像422を選択する。そして、ぼかし強度値に応じて、ぼかし元画像421に含まれる画素のうちぼかし対象の画素の画素値と、ぼかし元画像422に含まれる画素のうちぼかし対象の画素の画素値と、の補間値をぼかし画像450に設定する。
【0048】
また、ぼかしマップ440に含まれるぼかし強度値が「128」の場合、画像処理装置400は、ぼかし元画像422に含まれる画素のうちぼかし対象の画素の画素値をぼかし画像450に設定する。
【0049】
また、ぼかしマップ440に含まれるぼかし強度値が「128」より大きく、かつ、「192」以下の場合、画像処理装置400は、ぼかし元画像422とぼかし元画像423を選択する。そして、ぼかし強度値に応じて、ぼかし元画像422に含まれる画素のうちぼかし対象の画素の画素値と、ぼかし元画像423に含まれる画素のうちぼかし対象の画素の画素値と、の補間値をぼかし画像450に設定する。
【0050】
また、ぼかしマップ440に含まれるぼかし強度値が「192」の場合、画像処理装置400は、ぼかし元画像423に含まれる画素のうちぼかし対象の画素の画素値をぼかし画像450に設定する。
【0051】
また、ぼかしマップ440に含まれるぼかし強度値が「192」より大きく、かつ、「255」以下の場合、画像処理装置400は、ぼかし元画像423とぼかし元画像424を選択する。そして、ぼかし強度値に応じて、ぼかし元画像423に含まれる画素のうちぼかし対象の画素の画素値と、ぼかし元画像424に含まれる画素のうちぼかし対象の画素の画素値と、の補間値をぼかし画像450に設定する。
【0052】
また、ぼかしマップ440に含まれるぼかし強度値が「255」の場合、画像処理装置400は、ぼかし元画像424に含まれる画素のうちぼかし対象の画素の画素値をぼかし画像450に設定する。
【0053】
以上の処理が完了すると、例えば、図5に示す処理結果520を得ることができる。被写体合焦画像410の背景部511と対比すると、処理結果520の背景部521にぼかしがかかっている。
【0054】
図6は、本実施例に係る画像処理装置400が実行するぼかし処理の概要を示すフローチャートである。
後述する入力手段1603等からぼかし処理の開始が指示されると、画像処理装置400は、ぼかし処理を開始する(ステップS600)。そして、画像処理装置400は、処理をステップS601に移行する。
【0055】
ステップS601、S602およびS603において、画像処理装置400は、後述するメモリ1602やDSP1609などから、被写体合焦画像410、被写体合焦縮小画像411および背景合焦縮小画像431を取得する。
【0056】
ステップS604において、画像処理装置400は、被写体合焦縮小画像411から、複数のぼかし元画像420を生成する。本実施例では、ぼかし強度の異なる4つのぼかし元画像421、422、423および424を生成する。
【0057】
ステップS605において、画像処理装置400は、被写体合焦縮小画像411と背景合焦縮小画像431とから、ぼかしマップ440を生成する。ぼかしマップ440については、図7および図8で具体的に説明する。
【0058】
ステップS606において、画像処理装置400は、ぼかしマップ440にしたがって、被写体合焦画像410とぼかし元画像421、422、423および424とを合成することによってぼかし画像450を生成する。このぼかし画像450を生成する処理については、図9で具体的に説明する。
【0059】
図7は、本実施例に係るぼかしマップ440について説明する図である。なお、下記(1)および(2)は、図7に示す(1)および(2)に対応する。ただし、下記(1)および(2)と図7に記載の(1)および(2)は、説明を容易にするために記載したのであって、処理の順番を限定する趣旨ではない。
【0060】
(1)画像処理装置400は、後述するメモリ1602やDSP1609などから、被写体合焦縮小画像411を取得すると、被写体合焦縮小画像411をグレースケールの画像に変換し、変換後の画像に対してエッジ検出処理を行なう。なお、エッジ検出処理には、公知の技術、例えば、ラプラシアンフィルタなどを用いたフィルタ処理を利用することができる。ただし、その他の公知技術を用いて、エッジ検出を行なってもよいのは当然である。
【0061】
以上の処理により、画像処理装置400は、被写体合焦縮小画像411からエッジを抽出したエッジ画像710を生成することができる。エッジ画像710は、例えば、−128〜+127の画素値を含む画像である。図7に示すエッジ画像710には被写体のエッジ部が実線で表示されている。
【0062】
(2)同様に、画像処理装置400は、後述するメモリ1602やDSP1609などから、背景合焦縮小画像431を取得すると、背景合焦縮小画像431をグレースケールの画像に変換し、変換後の画像に対してエッジ検出処理を行なう。このエッジ検出処理も、公知の技術、例えば、ラプラシアンフィルタなどを用いたフィルタ処理を利用することができる。
【0063】
以上の処理により、画像処理装置400は、背景合焦縮小画像431からエッジを抽出したエッジ画像720を生成することができる。エッジ画像720も、例えば、−128〜+127の画素値を含む画像である。図7に示すエッジ画像720には被写体を除いた背景のエッジ部が実線で表示されている。
【0064】
(3)エッジ画像710および720を生成すると、画像処理装置400は、画素毎に、エッジ画像710の画素値の絶対値と、エッジ画像720の画素値の絶対値と、の差分を算出し、絶対値差分画像730を生成する。絶対値差分画像730に含まれる画素の画素値は、エッジ画像710と720の画素値の絶対値の差分により求められるので、−128〜+128までの値となる。例えば、エッジ画像720に含まれる画素の画素値からエッジ画像710に含まれる画素の画素値を減算することにより絶対値の差分を求めた場合、絶対値差分画像730に含まれる画素の画素値のうち、0より大きい画素値の画素を含むエッジを背景部のエッジと判断することができる。図7に示す絶対値差分画像730には、被写体のエッジ部と背景のエッジ部とが実線で表示されている。
【0065】
画像処理装置400は、絶対値差分画像730から背景部のエッジのみを抽出した画像を生成し、この生成した画像に含まれる画素の画素値を0〜255の値となるように調整する。以上の処理により得られる画像をぼかしマップ440として使用する。なお、画像処理装置400は、ぼかしマップ440に対して、さらに平滑化処理を行ってもよい。この平滑化処理は、例えば、32×32画素のフィルタサイズで、ぼかしマップ440に含まれる画素値の平均化を行なうことにより実現することができる。
【0066】
図8は、本実施例に係るぼかしマップ440の生成処理を示すフローチャートである。
ステップS801において、画像処理装置400は、ステップS602で取得した被写体合焦縮小画像411をグレースケールに変換後、変換した画像に対してエッジ検出処理を行ってエッジ画像710を生成する。同様に、画像処理装置400は、ステップS603で取得した背景合焦縮小画像431をグレースケールに変換後、変換した画像に対してエッジ検出処理を行ってエッジ画像720を生成する。
【0067】
ステップS802において、画像処理装置400は、エッジ画像710および720に含まれる画素の画素値の絶対値をそれぞれ取得する。
ステップS803において、画像処理装置400は、画素毎に、エッジ画像710および720に含まれる同じ位置の画素の画素値の絶対値の差分を算出して絶対値差分画像730を生成する。なお、本実施例では、エッジ画像720に含まれる画素の画素値の絶対値から、エッジ画像710に含まれる画素の画素値の絶対値を減算するものとする。
【0068】
ステップS804において、画像処理装置400は、絶対値差分画像730から背景領域、本実施例では、背景領域に含まれるエッジだけを抽出してぼかしマップ440を生成する。なお、本実施例では、絶対値差分画像730に含まれる画素のうち画素値が0より大きい画素を背景領域の画素と判断できる。本実施例では、背景のエッジ部を含むエッジ画像720に含まれる画素の画素値の絶対値から、エッジ画像710に含まれる画素の画素値の絶対値を減算することにより絶対値差分画像730を生成しているからである。
【0069】
エッジ画像710に含まれる画素の画素値の絶対値から、エッジ画像720に含まれる画素の画素値の絶対値を減算することにより絶対値差分画像730を生成した場合は、絶対値差分画像730に含まれる画素のうち画素値が0より小さい画素を背景領域の画素と判断できる。
【0070】
ステップS805において、画像処理装置400は、ステップS804で生成したぼかしマップ440に対して平滑化処理を行なう。平滑化処理が終了すると、画像処理装置400は、ぼかしマップ440の生成処理を終了する(ステップS806)。
【0071】
図9は、本実施例に係る画像処理装置400によるぼかし画像450の生成処理を示すフローチャートである。
ステップS901において、画像処理装置400は、被写体合焦画像410に含まれる画素から、処理対象の画素を1つ選択する。すると、画像処理装置400は、ぼかしマップ440を参照し(ステップS902)、処理対象の画素についてのぼかし強度値を取得する(ステップS903)。
【0072】
ここで、本実施例に係るぼかし強度値は、0〜255の値である。図4で示したように、被写体合焦画像410、ぼかし元画像421、422、423または424を選択する基準となるぼかし強度値「0」、「64」、「128」、「192」および「255」を総じて「境界値」という。
【0073】
ステップS903で取得したぼかし強度値が境界値と一致しない場合(ステップS904 YES)、画像処理装置400は、処理をステップS905に移行する。この場合、画像処理装置400は、ぼかし強度値に応じて、被写体合焦画像410、ぼかし元画像421、422、423または424から2つの画像を選択する(ステップS905)。この画像選択処理の具体例については、図5で説明したので省略する。
【0074】
本実施例では、ステップS905で選択した2つの画像をそれぞれ「第1のぼかし元画像」、「第2のぼかし元画像」という。被写体合焦画像410が、第1のぼかし元画像となる場合もある。
【0075】
ステップS906において、画像処理装置400は、ステップS905で選択した第1のぼかし元画像を、例えば、被写体合焦画像410と同じサイズの画像まで拡大する。なお、ステップS906において、第1のぼかし元画像として、被写体合焦画像410を選択した場合、画像処理装置400は、ステップS906の処理を行なわない。
【0076】
ステップS907において、画像処理装置400は、拡大した第1のぼかし元画像から、処理対象の画素と同じ位置にある画素の画素値を取得する。この画素値を「第1の画素値」という。
【0077】
ステップS908において、画像処理装置400は、ステップS905で選択した第2のぼかし元画像を、例えば、被写体合焦画像410と同じサイズの画像まで拡大する。
ステップS909において、画像処理装置400は、拡大した第2のぼかし元画像から、処理対象の画素と同じ位置にある画素の画素値を取得する。この画素値を「第2の画素値」という。
【0078】
ステップS910において、画像処理装置400は、ステップS907およびS909で取得した画素値の補間値を算出する。第1の画素値をR1、第2の画素値をR2、境界値をTh1、Th2とすると、Th2>S>Th1の関係にある場合、以下に示す式(1)から、第1の画素値と第2の画素値の補間値を算出することができる。
R1*(S−Th1)/(Th2−Th1)+
R2*(Th2−S)/(Th2−Th1) ・・・(1)
補間値を算出すると、画像処理装置400は、処理をステップS914に移行する。
【0079】
一方、ステップS903で取得したぼかし強度値が境界値と一致する場合(ステップS904 NO)、画像処理装置400は、処理をステップS911に移行する。この場合、画像処理装置400は、ぼかし強度値に応じて、被写体合焦画像410、ぼかし元画像421、422、423または424から画像を1つ選択する(ステップS911)。この画像の選択の具体例については、図5で説明したので省略する。
【0080】
本実施例では、ステップS911で選択した画像を「第3のぼかし元画像」という。被写体合焦画像410が、第3のぼかし元画像となる場合もある。
ステップS912において、画像処理装置400は、ステップS911で選択した第3のぼかし元画像を、例えば、被写体合焦画像410と同じサイズの画像まで拡大する。なお、ステップS911において、第3のぼかし元画像として、被写体合焦画像410を選択した場合、画像処理装置400は、ステップS912の処理を行なわない。
【0081】
ステップS913において、画像処理装置400は、第3のぼかし元画像から、処理対象の画素と同じ位置にある画素の画素値を取得する。そして、画像処理装置400は、処理をステップS914に移行する。
【0082】
ステップS914において、画像処理装置400は、処理対象の画素と同じ位置にある、ぼかし画像450の画素の画素値に、ステップS910で求めた補間値、または、ステップS913で取得した画素値を設定する。
【0083】
被写体合焦画像410に含まれる全ての画素について、ステップS901〜S914の処理を実施した場合(ステップS915 YES)、画像処理装置400は、ぼかし画像450の生成処理を終了する(ステップS916)。また、被写体合焦画像410に含まれる画素に、ステップS901〜S914の処理を実施していない画素がある場合(ステップS915 NO)、画像処理装置400は、処理をステップS901に移行し、ステップS901〜S914の処理を実施する。
【実施例3】
【0084】
図10は、本実施例に係る画像処理装置1000による画像処理の流れを説明する図である。
画像処理装置1000は、後述するメモリ1602やDSP1609などから被写体合焦画像410を取得する。また、画像処理装置1000は、後述するメモリ1602やDSP1609などから、被写体合焦縮小画像1011、1012および1013を取得する。図10では、画像処理装置1000が、被写体合焦縮小画像1011、1012および1013の順に縮小率を大きくした被写体合焦縮小画像を取得した場合を例示している。
【0085】
被写体合焦縮小画像1011、1012および1013は、後述するカメラ1610が撮像した画像をDSP1609がそれぞれ異なる縮小率で縮小することによって得ることができるが、実施例2と同様に、その縮小率は、被写体合焦画像410のサイズに応じて適切に設定することが望ましい。
【0086】
被写体合焦縮小画像1011、1012および1013を取得すると、画像処理装置1000は、各被写体合焦縮小画像に対して、それぞれ異なるぼかし強度でぼかし処理を施したぼかし元画像1021、1022、1023および1024を生成する。
【0087】
図10に示すぼかし元画像1021および1022は、被写体合焦縮小画像1011に対して異なるぼかし強度でぼかし処理を施した被写体合焦縮小画像である。また、ぼかし元画像1023は、被写体合焦縮小画像1011に対して、ぼかし処理を施した被写体合焦縮小画像である。また、ぼかし元画像1024は、被写体合焦縮小画像1011に対して、ぼかし処理を施した被写体合焦縮小画像である。
【0088】
ぼかし元画像1021、1022、1023および1024は、実施例2と同様に、各ぼかし元画像に対してフィルタサイズを変えてぼかし処理を実施することによりぼかし強度を変えることができる。また、ぼかし元画像1021、1022、1023および1024それぞれに対して実施するぼかし処理の回数を変えることにより各ぼかし元画像のぼかし強度を変えることができる。また、フィルタサイズとぼかし処理の実施回数の組み合わせを変えることによっても、各ぼかし元画像のぼかし強度を変えることができる。本実施例では、ぼかし元画像1021、1022、1023および1024の順に、ぼかし強度が大きくなっている。
【0089】
画像処理装置1000は、ぼかしマップ440にしたがって、被写体合焦画像410と、ぼかし元画像1021、1022、1023および1024と、を合成してぼかし画像1040を生成する。
【0090】
例えば、ぼかしマップ440に含まれるぼかし強度値が「0」の場合、画像処理装置1000は、被写体合焦画像410に含まれる画素のうちぼかし対象の画素の画素値をぼかし画像1030に設定する。
【0091】
また、ぼかしマップ440に含まれるぼかし強度値が「0」より大きく、かつ、「64」以下の場合、画像処理装置1000は、被写体合焦画像410とぼかし元画像1021を選択する。そして、ぼかし強度値に応じて、被写体合焦画像410に含まれる画素のうちぼかし対象の画素の画素値と、ぼかし元画像1021に含まれる画素のうちぼかし対象の画素の画素値と、の補間値をぼかし画像1030に設定する。
【0092】
また、ぼかしマップ440に含まれるぼかし強度値が「64」の場合、画像処理装置1000は、被写体合焦画像1021に含まれる画素のうちぼかし対象の画素の画素値をぼかし画像1030に設定する。
【0093】
また、ぼかしマップ440に含まれるぼかし強度値が「64」より大きく、かつ、「128」以下の場合、画像処理装置1000は、ぼかし元画像1021とぼかし元画像1022を選択する。そして、ぼかし強度値に応じて、ぼかし元画像1021に含まれる画素のうちぼかし対象の画素の画素値と、ぼかし元画像1022に含まれる画素のうちぼかし対象の画素の画素値と、の補間値をぼかし画像1030に設定する。
【0094】
また、ぼかしマップ440に含まれるぼかし強度値が「128」の場合、画像処理装置1000は、被写体合焦画像1022に含まれる画素のうちぼかし対象の画素の画素値をぼかし画像1030に設定する。
【0095】
また、ぼかしマップ440に含まれるぼかし強度値が「128」より大きく、かつ、「192」以下の場合、画像処理装置1000は、ぼかし元画像1022とぼかし元画像1023を選択する。そして、ぼかし強度値に応じて、ぼかし元画像1022に含まれる画素のうちぼかし対象の画素の画素値と、ぼかし元画像1023に含まれる画素のうちぼかし対象の画素の画素値と、の補間値をぼかし画像1030に設定する。
【0096】
また、ぼかしマップ440に含まれるぼかし強度値が「192」の場合、画像処理装置1000は、被写体合焦画像1023に含まれる画素のうちぼかし対象の画素の画素値をぼかし画像1030に設定する。
【0097】
また、ぼかしマップ440に含まれるぼかし強度値が「192」より大きく、かつ、「255」以下の場合、画像処理装置1000は、ぼかし元画像1023とぼかし元画像1024を選択する。そして、ぼかし強度値に応じて、ぼかし元画像1023に含まれる画素のうちぼかし対象の画素の画素値と、ぼかし元画像1024に含まれる画素のうちぼかし対象の画素の画素値と、の補間値をぼかし画像1030に設定する。
【0098】
また、ぼかしマップ440に含まれるぼかし強度値が「255」の場合、画像処理装置1000は、被写体合焦画像1024に含まれる画素のうちぼかし対象の画素の画素値をぼかし画像1030に設定する。
【0099】
以上の処理が完了すると、例えば、図10に示す処理結果1040を得ることができる。被写体合焦画像410の背景部1051と対比すると、処理結果1040の背景部1041にぼかしがかかっている。
【0100】
なお、図10では、被写体合焦縮小画像1011、1012および1013の順に縮小率を大きくした被写体合焦縮小画像を使用しているが、これに限定する趣旨ではない。被写体合焦縮小画像は、それぞれ異なる縮小率であればよい。
【0101】
また、図10では、3つの被写体合焦縮小画像1011、1012および1013を使用した場合を例に示しているが、被写体合焦縮小画像の数を限定する趣旨ではない。例えば、2つの被写体合焦縮小画像を使用してもよいし、5つ以上の被写体合焦縮小画像を使用してもよい。
【0102】
また、同一の被写体合焦縮小画像から生成する2以上のぼかし元画像は、互いに異なるぼかし強度とする必要があるが、異なる被写体合焦縮小画像から生成するぼかし元画像は、ぼかし強度が同一であってもよいし、異なっていてもよい。
【0103】
ここで、被写体合焦画像410、ぼかし元画像1021、1022、1023および1024におけるぼかし処理の対象の画素の位置の対応関係を明確にするために、ぼかし元画像1021、1022、1023および1024の画面サイズを揃えたものを図11に示す。以下の説明では、図11を用いて本実施例を説明する。被写体合焦画像410、被写体合焦縮小画像1011〜1013、ぼかし元画像1021〜1024内に示す黒い点「・」は画素を示す。例えば、ぼかし元画像1021は拡大して表示しているので、被写体合焦縮小画像410よりも画素間の距離が大きくなっている。
【0104】
図12は、本実施例に係る画像処理装置1000が行なうぼかし処理の概要を説明する図である。なお、図12に記載の(1)〜(4)は、以下に記載の(1)〜(4)に対応する。ただし、下記(1)〜(4)および図12に記載の(1)〜(4)は、説明を容易にするために記載したのであって、処理の順番を限定する趣旨ではない。
【0105】
(1)画像処理装置1000は、ぼかし処理の対象である被写体合焦画像410に含まれる画素から、処理対象の画素1210を1つ選択する。
(2)画像処理装置1000は、ぼかしマップ440を参照し、処理対象の画素1210のぼかし強度値を取得する。
【0106】
(3)処理対象の画素1210の位置とぼかし強度値とから、後述する6点補間処理に使用する6点の画素を、被写体合焦画像410、ぼかし元画像1021、1022、1023および1024に含まれる画素の中から選択する。例えば、以下のようにして画像処理装置1000は、後述する6点補間処理に使用する6点の画素を選択することができる。
【0107】
まず、画像処理装置1000は、ぼかし強度値に応じて、被写体合焦画像410、ぼかし元画像1021、1022、1023および1024の中から1つまたは2つの画像を選択する。この画像の選択は、例えば、図9に示したステップS904〜S905やS911の処理と同様の処理によって行なうことができる。図12では、ぼかし元画像1023と1024が選択された場合を例示している。
【0108】
次に、画像処理装置1000は、ぼかし処理の対象である被写体合焦画像410における処理対象の画素1210の位置に対応する、ぼかし元画像1023内の位置1220を囲む画素のうち3点の画素1221、1222および1223を選択する。また、画像処理装置1000は、ぼかし処理の対象である被写体合焦画像410における処理対象の画素1210の位置に対応する、ぼかし元画像1024内の位置1230を囲む画素のうち3点の画素1231、1232および1233を選択する。
【0109】
図13には、本実施例に係る画素の選択を説明する図を示している。
画素の選択を行なう場合、ぼかし元画像1023に含まれる3つの画素を頂点とする直角三角形を考える。図13に示すように、ぼかし元画像1023内の位置1220は、3点の画素1221、1222および1223を頂点とする直角三角形に囲まれている。この場合、画像処理装置1000は、3点の画素1221、1222および1223を選択する。
【0110】
同様に、ぼかし元画像1024内の位置1230は、3点の画素1231、1232および1233を頂点とする直角三角形に囲まれている。この場合、画像処理装置1000は、3点の画素1231、1232および1233を選択する。
【0111】
(4)選択した6点の画素1221、1222、1223、1231、1232および1233に対して、6点補間処理を行って1つの補間値を算出する。
図14は、本実施例に係る6点補間処理を説明する図である。以下の説明では、図14に示すxyz座標系のうち、x軸方向を水平方向といい、y軸方向を垂直方向という。
【0112】
まず、画像処理装置1000は、選択した6点の画素1221、1222、1223、1231、1232および1233のうち、ぼかし元画像1023上の3点の画素1221、1222および1223に対して補間処理を行なう。この結果得られる補間値を「第1の補間値」という。
【0113】
ここで、画素1221、1222および1223の画素値をそれぞれd1、a1およびc1とする。また、処理対象の画素1210の位置に対応する、ぼかし元画像1023内の位置1220の水平方向の座標の比をh11:h12とする。そして、処理対象の画素1210の位置に対応する、ぼかし元画像1023内の位置1220の垂直方向の座標の比をv11:v12とする。この場合、以下に示す式(2)によって、第1の補間値を得ることができる。
a1+(d1−a1)*(v11/(v11+v12))
−(c1−d1)*(h11/(h11+h12)) ・・・(2)
【0114】
同様に、画像処理装置1000は、選択した6点の画素1221、1222、1223、1231、1232および1233のうち、ぼかし元画像1024上の3点の画素1231、1232および1233に対して補間処理を行なう。この結果得られる補間値を「第2の補間値」という。
【0115】
ここで、画素1231、1232および1233の画素値をそれぞれc2、b2およびa2とする。また、処理対象の画素1210の位置に対応する、ぼかし元画像1024内の位置1230の水平方向の座標の比をh21:h22とする。そして、処理対象の画素1210の位置に対応する、ぼかし元画像1024内の位置1230の垂直方向の座標の比をv21:v22とする。この場合、以下に示す式(3)によって、第2の補間値を得ることができる。
a2+(b2−a2)*(h21/(h21+h22))
+(c2−b2)*(v21/(v21+v22)) ・・・(3)
【0116】
第1の補間値および第2の補間値を算出すると、画像処理装置1000は、第1の補間値と第2の補間値から6点補間値を算出する。例えば、第1の補間値をR1、第2の補間値をR2、ぼかし強度値をSとする。また、ぼかし元画像1023および1024を選択する場合の境界値のうち上限値をTh1とし、下限値をTh2とする。この場合、以下に示す式(4)によって、第1の補間値と第2の補間値から6点補間値を算出することができる。
R1*(S−Th1)/(Th2−Th1)
+R2*(Th2−S)/(Th2−Th1) ・・・(4)
【0117】
本実施例に係る画像処理装置1000が実行するぼかし処理の概要は、図6に説明した処理と同様なので、以下では、画像処理装置1000によるぼかし画像1040の生成処理について説明する。
【0118】
図15は、本実施例に係る画像処理装置1000によるぼかし画像1040の生成処理を示すフローチャートである。なお、ステップS1500〜S1504までの処理は、図9に示したステップS900〜S904までの処理と同様なので説明を省略する。
【0119】
ステップS1503で取得したぼかし強度値が境界値と一致しない場合(ステップS1504 YES)、画像処理装置1000は、処理をステップS1005に移行する。この場合、画像処理装置1000は、ぼかし強度値に応じて、被写体合焦画像410、ぼかし元画像1021、1022、1023および1024から2つの画像を選択する(ステップS1505)。この画像選択処理の具体例については、図10で説明したので省略する。
【0120】
本実施例では、ステップS1505で選択した2つの画像をそれぞれ「第1のぼかし元画像」、「第2のぼかし元画像」という。被写体合焦画像410が、第1のぼかし元画像となる場合もある。
【0121】
ステップS1506において、画像処理装置1000は、ステップS1505で選択した第1のぼかし元画像から、3点の画素を選択する。そして、ステップS1507において、画像処理装置1000は、ステップS1506で選択した3点の画素の画素値について、第1の補間値を算出する。
【0122】
ステップS1508において、画像処理装置1000は、ステップS1505で選択した第2のぼかし元画像から、3点の画素を選択する。そして、ステップS1509において、画像処理装置1000は、ステップS1508で選択した3点の画素の画素値について、第2の補間値を算出する。
【0123】
ステップS1510において、画像処理装置1000は、第1の補間値と第2の補間値から、ステップS1506およびS1508で選択した6点の画素についての6点補間値を算出する。
【0124】
なお、ステップS1506〜S1510についての具体的な説明は、図12〜図14で説明したので省略する。
6点補間値を算出すると、画像処理装置1000は、処理をステップS1514に移行する。
【0125】
一方、ステップS1503で取得したぼかし強度値が境界値と一致する場合(ステップS1504 NO)、画像処理装置1000は、処理をステップS1011に移行する。この場合、画像処理装置1000は、ぼかし強度値に応じて、被写体合焦画像410、ぼかし元画像1021、1022、1023および1024から画像を1つ選択する(ステップS1511)。この画像の選択の具体例については、図10で説明したので省略する。
【0126】
本実施例では、ステップS1511で選択した画像を「第3のぼかし元画像」という。被写体合焦画像410が、第3のぼかし元画像となる場合もある。
ステップS1512において、画像処理装置1000は、ステップS1511で選択した第3のぼかし元画像から、3点の画素を選択する。そして、ステップS1513において、画像処理装置1000は、ステップS1512で選択した3点の画素の画素値について、第3の補間値を算出する。なお、ステップS1512およびS1513の処理は、ステップS1506およびS1507と同様の処理であるから具体的な説明は省略する。
【0127】
ステップS1514において、画像処理装置1000は、ぼかし画像1030に、ステップS1510で求めた6点補間値、または、ステップS1513で取得した画素値を設定する。
【0128】
被写体合焦画像410に含まれる全ての画素について、ステップS1501〜S1514の処理を実施した場合(ステップS1515 YES)、画像処理装置1000は、ぼかし画像1040の生成処理を終了する(ステップS1516)。また、被写体合焦画像410に含まれる画素に、ステップS1501〜S1514の処理を実施していない画素がある場合(ステップS1515 NO)、画像処理装置1000は、処理をステップS1501に移行し、ステップS1501〜S1514の処理を実施する。
【0129】
図16は、第1〜第3の実施例に係る画像処理装置の具体的な構成例を示す図である。なお、画像処理装置400と画像処理装置1000は、同じ構成の情報処理装置によって実現することができる。したがって、画像処理装置400についての具体的な構成例についてだけ説明し、画像処理装置1000についての具体的な構成例についての説明は省略する。
【0130】
図16に示す画像装置400は、CPU1601と、メモリ1602と、入力装置1603と、出力装置1604と、外部記憶装置1605と、媒体駆動装置1606と、ネットワーク接続装置1608と、DSP1609と、カメラ1610と、を備える。そして、これらの装置がバスに接続されて相互にデータの受け渡しが行なえる構成となっている。
【0131】
CPU1601は、周辺機器や各種ソフトウェアを実行する他に本実施例に係るぼかし処理を実現するプログラムを実行する演算装置である。
メモリ1602は、プログラムを実行するために使用される揮発性の記憶装置である。メモリ1602には、例えば、RAM(Random Access Memory)などを使用することができる。また、メモリ1602は、被写体合焦画像410、被写体合焦縮小画像411、背景合焦画像430、背景合焦縮小画像431、ぼかし元画像420などを記憶することができる。
【0132】
入力装置1603は、外部からのデータ入力手段である。入力装置1603には、例えば、キーボードやマウスなどを使用することができる。
出力装置1604は、データ等を表示装置等に出力する装置である。なお、出力装置1604には、表示装置を含むこともできる。
【0133】
外部記憶装置1605は、画像処理装置400が動作するために必要なプログラムやデータの他に本実施例に係るぼかし処理を実現するプログラムを記憶する不揮発性の記憶装置である。外部記憶装置1605には、例えば、磁気ディスク記憶装置などを使用することができる。
【0134】
媒体駆動装置1606は、メモリ1602や外部記憶装置1605のデータを可搬記憶媒体1607、例えば、フロッピイディスクやMOディスク、CD−RやDVD−Rなどに出力し、または可搬記憶媒体1607からプログラムやデータ等を読み出す装置である。
【0135】
ネットワーク接続装置1608は、ネットワーク1609に接続する装置である。
DSP1609は、カメラ1610で撮像した画像に対して所定の処理、例えば、一定の縮小率で縮小する処理などを行なう。そして、DSP1609は、所定の処理が施された画像を、メモリ1602や外部記憶装置1605、可搬記憶媒体1607などに必要に応じて記憶する。
【0136】
カメラ1610は、所望の物体に焦点を合わせて画像を生成することができる撮像装置である。例えば、カメラ1610は、被写体に焦点を合わせた被写体合焦画像410や、背景に焦点を合わせた背景合焦画像430などを生成する。カメラ1610は、生成した画像を、DSP1609やメモリ1602、外部記憶装置1605、可搬記憶媒体1607などに必要に応じて出力する。
【0137】
なお、メモリ1602、外部記憶装置1605および可搬記憶媒体1607などの情報処理装置に読取り可能な記憶媒体は、非一時的(non−transitory)な媒体を用いることができる。
【0138】
また、図16に示した画像処理装置400の構成図は、一例である。したがって、画像処理装置400を図16に示した構成に限定する趣旨ではない。例えば、外部記憶装置1605、媒体駆動装置1606、ネットワーク接続装置1608、DSP1609およびカメラ1610などは、必須の構成要素ではなく、必要に応じて画像処理装置400の構成に組み込むことができる。
【0139】
図17は、第1〜第3の実施例に係る画像処理装置を備える装置1700の構成例を示す図である。図17に示す装置1700は、画像処理装置1710と、DSP1720と、カメラ1730と、を備える。
【0140】
画像処理装置1710は、図16に示した第1、第2または第3の実施例に係る画像処理装置である。ただし、画像処理装置1710には、図16で示したDSP1609およびカメラ1610は含まれない。
【0141】
DSP1720は、カメラ1730で撮像した画像に対して所定の処理、例えば、一定の縮小率で縮小する処理などを行って、被写体合焦縮小画像411や背景合焦縮小画像431などを生成する。
【0142】
カメラ1730は、所望の物体に焦点を合わせて画像を生成することができる撮像装置である。例えば、カメラ1730は、被写体に焦点を合わせた被写体合焦画像410や、背景に焦点を合わせた背景合焦画像430などを生成する。
【0143】
以上の構成において、画像処理装置1710がDSP1720に対して撮像要求を行なうと、DSP1720は、カメラ1730に対して撮像を指示する。すると、カメラ1730は、DSP1720の指示にしたがって、所定の焦点位置に焦点を合わせた画像、例えば、被写体合焦画像410や背景合焦画像430を撮像する。
【0144】
カメラ1730は、撮像した画像をDSP1720に出力する。DSP1720は、カメラ1730から受信した画像を画像処理装置1710に送信する。また、画像処理装置1710が縮小率を指定していた場合、DSP1720は、画像処理装置1710が指定した縮小率で、カメラ1730から受信した画像を縮小した画像、例えば、被写体合焦縮小画像411や背景合焦縮小画像431を画像処理装置1710に送信する。
【0145】
画像処理装置1710は、DSP1720から受信した画像を、メモリ1602や外部記憶装置1605、可搬記憶媒体1607などに必要に応じて記憶する。
装置1700は、携帯電話や携帯端末、カメラなど様々な形態に応用することができる。
【0146】
第2の実施例では、ぼかし元画像421、422、423および424の4つのぼかし元画像を使用する場合について説明した。また、第3の実施例では、ぼかし元画像1021、1022、1023および1024の4つのぼかし元画像を使用する場合について説明した。しかし、第2および第3の実施例は、使用するぼかし元画像の数を4つに限定する趣旨ではない。例えば、使用するぼかし元画像は、1つでもよいし、2以上でもよい。
【0147】
以上の説明において、被写体合焦縮小画像410は、第1の画像の一例として挙げることができる。また、被写体合焦縮小画像411や1011〜1013は、第1の縮小画像の一例として挙げることができる。また、ぼかし元画像421〜424や1021〜1024は、ぼかし元画像の一例として挙げることができる。また、画像生成手段や合成手段は、所定のプログラムをCPU1601に実行させることにより実現することができる。
【0148】
第1の実施例に係る画像処理装置300は、第1の画像330を一定の割合で縮小した第1の縮小画像340に対してぼかし処理を行なうことでぼかし元画像350を生成するので、ぼかし処理の対象となる画素数を少なくすることができる。その結果、画像処理装置300にかかる負荷を軽くすることができるので、ぼかし処理の時間を短くすることが可能となる。
【0149】
また、画像処理装置300は、第1の画像330と、第1の画像330を一定の割合で縮小した第1の縮小画像340をぼかしたぼかし元画像350と、を合成することによりぼかし画像360を生成する。ぼかし元画像350は縮小画像なので、メモリの消費量を小さくすることが可能となる。
【0150】
したがって、画像処理装置300は、短時間にメモリ消費量を抑えながらぼかし画像を生成することが可能となる。
第2の実施例に係る画像処理装置400は、被写体合焦画像410を一定の割合で縮小した被写体合焦縮小画像411からぼかし元画像421〜424を作成するので、ぼかし処理の対象となる画素数を少なくすることができる。その結果、画像処理にかかる負担を軽くすることができるので、ぼかし処理の時間を短くすることが可能となる。
【0151】
また、画像処理装置400は、被写体合焦画像410と、被写体合焦画像410を一定の割合で縮小した被写体合焦縮小画像411をぼかしたぼかし元画像421〜424と、を合成することによりぼかし画像520を生成する。ぼかし元画像421〜424は、縮小画像なので、メモリの消費量を小さくすることが可能となる。
【0152】
したがって、画像処理装置400は、短時間にメモリ消費量を抑えながらぼかし画像520を生成することが可能となる。
第3の実施例に係る画像処理装置1000は、被写体合焦画像410を縮小した被写体合焦縮小画像1011〜1013からぼかし元画像1021〜1024を生成するので、ぼかし処理の対象となる画素数を少なくすることができる。その結果、画像処理装置1000は、画像処理にかかる負担を軽くすることができるので、ぼかし処理の時間を短くすることが可能となる。
【0153】
また、画像処理装置1000は、縮小率を段階的に大きくした被写体合焦縮小画像1011〜1013を使用することで、ぼかし処理の対象となる画素数をさらに少なくすることができる。その結果、画像処理装置1000は、画像処理にかかる負担をさらに軽くすることがでる。その結果、画像処理装置1000は、ぼかし処理の時間をさらに短縮することが可能となる。
【0154】
また、画像処理装置1000は、被写体合焦画像410と、被写体合焦画像410を縮小した被写体合焦縮小画像1011〜1013をぼかしたぼかし元画像1021〜1024と、合成することによりぼかし画像1040を生成する。ぼかし元画像1021〜1024は、縮小画像なので、メモリの消費量を小さくすることが可能となる。また、画像処理装置1000は、縮小率を段階的に大きくした被写体合焦縮小画像1011〜1013を使用することで、メモリの消費量をさらに小さくすることが可能となる。
したがって、画像処理装置1000は、短時間にメモリ消費量を抑えながらぼかし画像1040を生成することが可能となる。
【0155】
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)
第1の合焦位置に焦点を合わせて被写体を撮像した第1の画像を縮小した第1の縮小画像から、異なるぼかし強度を用いてぼかし処理を適用した複数のぼかし元画像を生成する画像生成手段と、
前記第1の画像に含まれる画素である第1画素に対してぼかし処理を適用したぼかし画像を合成する際に、前記第1画素の位置に対応する前記ぼかし元画像の画素である第2画素を用いて前記第1画素に対するぼかし処理適用後の画素値を決定する合成手段と、
を備える画像処理装置。
(付記2)
前記第1の縮小画像に含まれる被写体のエッジ成分と、第2の合焦位置に焦点を合わせて前記被写体を撮像した第2の画像を縮小した第2の縮小画像に含まれる被写体のエッジ成分とを比較し、該比較結果に基づいて、前記第1の画像に含まれる画素毎のぼかし強度を示すぼかし強度値を含むぼかしマップを生成するぼかしマップ生成手段、
をさらに備え、
前記合成手段は、前記ぼかし画像の合成において、前記第1画素に対応付けられたぼかし強度を前記ぼかしマップから参照し、前記複数のぼかし元画素および第1の画素の画素値から前記参照したぼかし強度に対応する画素値を決定する、
ことを特徴とする付記1に記載の画像処理装置。
(付記3)
前記合成手段は、前記第1の画像に含まれる第1の画素についてのぼかし強度値を前記ぼかしマップから取得し、該取得したぼかし強度値に応じて前記ぼかし元画像を選択し、該選択した前記ぼかし元画像に含まれる画素のうち前記第1の画素の位置に対応する位置にある第2の画素の画素値から、前記合成に使用する画素値を決定し、該決定した画素値を前記第1の画素の画素値に設定する、
ことを特徴とする付記2に記載の画像処理装置。
(付記4)
前記合成手段は、前記取得したぼかし強度値を含む範囲の下限値と対応付けられた前記第1のぼかし元画像と、前記範囲の上限値と対応付けられた第2のぼかし元画像と、を選択し、前記第1のぼかし元画像に含まれる画素のうち前記第1の画素の位置に対応する位置にある画素の画素値である第1の画素値と、前記第2のぼかし元画像に含まれる画像のうち前記第1の画素の位置に対応する位置にある画素の画素値である第2の画素値と、を前記範囲におけるぼかし強度値の割合で補完した補間値を算出し、該算出した補間値を前記第1の画素の画素値に設定する、
ことを特徴とする付記3に記載の画像処理装置。
(付記5)
前記第1の縮小画像は、前記第1の画像を異なる割合で縮小した複数の縮小画像である、
ことを特徴とする付記2に記載の画像処理装置。
(付記6)
前記合成手段は、前記第1の画像に含まれる第1の画素についてのぼかし強度値を前記ぼかしマップから取得し、該取得したぼかし強度値に応じて前記ぼかし元画像を選択し、該選択した前記ぼかし元画像に含まれる画素のうち前記第1の画素の位置に対応する位置を囲む複数の画素の画素値から、前記合成に使用する画素値を算出し、該算出した画素値を前記第1の画素の画素値に設定する、
ことを特徴とする付記5に記載の画像処理装置。
(付記7)
前記合成手段は、前記取得したぼかし強度値を含む範囲の下限値と対応付けられた前記第1のぼかし元画像と、前記範囲の上限値と対応付けられた第2のぼかし元画像と、を選択し、前記第1のぼかし元画像に含まれる画素のうち前記第1の画素の位置に対応する位置を囲む複数の画素の画素値から、画素間における前記第1の画素の位置の割合で補完した第1の画素値を算出し、前記第2のぼかし元画像に含まれる画素のうち前記第1の画素の位置に対応する位置を囲む複数の画素の画素値から、画素間における前記第1の画素の位置の割合で補完した第2の画素値を算出し、前記第1の画素値と前記第2の画素値とを前記範囲におけるぼかし強度値の割合で補完した補間値を算出し、該算出した補間値を前記第1の画素の画素値に設定する、
ことを特徴とする付記6に記載の画像処理装置。
(付記8)
前記ぼかしマップ生成手段は、
前記第1の縮小画像および前記第2の縮小画像に含まれる画素の画素値が不連続に変化する領域を平滑化する平滑化手段と、
前記第1の縮小画像と前記第2の縮小画像との画素値の差分から前記ぼかし強度値を算出し、画素毎に前記ぼかし強度値を含む前記ぼかしマップを生成するぼかし強度値算出手段と、
前記ぼかしマップにおける所定サイズの領域内の差分値の合計が閾値を超える場合、前記所定サイズの領域内に含まれるぼかし強度値のうち前記閾値以下のぼかし強度値を、前記閾値を超える所定の値に補正する補正手段と、
をさらに備える付記2に記載の画像処理装置。
(付記9)
第1の合焦位置に焦点を合わせて被写体を撮像した第1の画像と、前記第1の画像を縮小した第1の縮小画像と、を記憶手段から取得し、
前記第1の縮小画像を、異なるぼかし強度でぼかした複数のぼかし元画像を生成し、
前記複数のぼかし元画像から選択したぼかし元画像と、前記第1の画像とを合成して一部または全部にぼかし強度の異なるぼかし領域を含むぼかし画像を生成する、
画像処理方法。
(付記10)
第1の合焦位置に焦点を合わせて被写体を撮像した第1の画像と、前記第1の画像を縮小した第1の縮小画像と、を記憶手段から取得し、
前記第1の縮小画像を、異なるぼかし強度でぼかした複数のぼかし元画像を生成し、
前記複数のぼかし元画像から選択したぼかし元画像と、前記第1の画像とを合成して一部または全部にぼかし強度の異なるぼかし領域を含むぼかし画像を生成する、
処理を情報処理装置に実行させる画像処理用プログラム。
(付記11)
第1の合焦位置に焦点を合わせて被写体を撮像して第1の画像を生成する撮像手段と、
前記第1の画像を縮小して第1の縮小画像を生成する縮小画像生成手段と、
前記第1の縮小画像を、異なるぼかし強度でぼかした複数のぼかし元画像を生成する画像生成手段と、
前記複数のぼかし元画像から選択したぼかし元画像と、前記第1の画像とを合成して一部または全部にぼかし強度の異なるぼかし領域を含むぼかし画像を生成する合成手段と、
を備える情報処理装置。
【符号の説明】
【0156】
300 画像処理装置
310 画像生成手段
320 合成手段
330 第1の画像
340 第1の縮小画像
350 ぼかし元画像
【特許請求の範囲】
【請求項1】
第1の合焦位置に焦点を合わせて被写体を撮像した第1の画像を縮小した第1の縮小画像から、異なるぼかし強度を用いてぼかし処理を適用した複数のぼかし元画像を生成する画像生成手段と、
前記第1の画像に含まれる画素である第1画素に対してぼかし処理を適用したぼかし画像を合成する際に、前記第1画素の位置に対応する前記ぼかし元画像の画素である第2画素を用いて前記第1画素に対するぼかし処理適用後の画素値を決定する合成手段と、
を備える画像処理装置。
【請求項2】
前記第1の縮小画像に含まれる被写体のエッジ成分と、第2の合焦位置に焦点を合わせて前記被写体を撮像した第2の画像を縮小した第2の縮小画像に含まれる被写体のエッジ成分とを比較し、該比較結果に基づいて、前記第1の画像に含まれる画素毎のぼかし強度を示すぼかし強度値を含むぼかしマップを生成するぼかしマップ生成手段、
をさらに備え、
前記合成手段は、前記ぼかし画像の合成において、前記第1画素に対応付けられたぼかし強度を前記ぼかしマップから参照し、前記複数のぼかし元画素および第1の画素の画素値から前記参照したぼかし強度に対応する画素値を決定する、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記第1の縮小画像は、前記第1の画像を異なる割合で縮小した複数の縮小画像である、
ことを特徴とする請求項2に記載の画像処理装置。
【請求項4】
第1の合焦位置に焦点を合わせて被写体を撮像した第1の画像と、前記第1の画像を縮小した第1の縮小画像と、を記憶手段から取得し、
前記第1の縮小画像を、異なるぼかし強度でぼかした複数のぼかし元画像を生成し、
前記複数のぼかし元画像から選択したぼかし元画像と、前記第1の画像とを合成して一部または全部にぼかし強度の異なるぼかし領域を含むぼかし画像を生成する、
画像処理方法。
【請求項5】
第1の合焦位置に焦点を合わせて被写体を撮像した第1の画像と、前記第1の画像を縮小した第1の縮小画像と、を記憶手段から取得し、
前記第1の縮小画像を、異なるぼかし強度でぼかした複数のぼかし元画像を生成し、
前記複数のぼかし元画像から選択したぼかし元画像と、前記第1の画像とを合成して一部または全部にぼかし強度の異なるぼかし領域を含むぼかし画像を生成する、
処理を情報処理装置に実行させる画像処理用プログラム。
【請求項6】
第1の合焦位置に焦点を合わせて被写体を撮像して第1の画像を生成する撮像手段と、
前記第1の画像を縮小して第1の縮小画像を生成する縮小画像生成手段と、
前記第1の縮小画像を、異なるぼかし強度でぼかした複数のぼかし元画像を生成する画像生成手段と、
前記複数のぼかし元画像から選択したぼかし元画像と、前記第1の画像とを合成して一部または全部にぼかし強度の異なるぼかし領域を含むぼかし画像を生成する合成手段と、
を備える情報処理装置。
【請求項1】
第1の合焦位置に焦点を合わせて被写体を撮像した第1の画像を縮小した第1の縮小画像から、異なるぼかし強度を用いてぼかし処理を適用した複数のぼかし元画像を生成する画像生成手段と、
前記第1の画像に含まれる画素である第1画素に対してぼかし処理を適用したぼかし画像を合成する際に、前記第1画素の位置に対応する前記ぼかし元画像の画素である第2画素を用いて前記第1画素に対するぼかし処理適用後の画素値を決定する合成手段と、
を備える画像処理装置。
【請求項2】
前記第1の縮小画像に含まれる被写体のエッジ成分と、第2の合焦位置に焦点を合わせて前記被写体を撮像した第2の画像を縮小した第2の縮小画像に含まれる被写体のエッジ成分とを比較し、該比較結果に基づいて、前記第1の画像に含まれる画素毎のぼかし強度を示すぼかし強度値を含むぼかしマップを生成するぼかしマップ生成手段、
をさらに備え、
前記合成手段は、前記ぼかし画像の合成において、前記第1画素に対応付けられたぼかし強度を前記ぼかしマップから参照し、前記複数のぼかし元画素および第1の画素の画素値から前記参照したぼかし強度に対応する画素値を決定する、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記第1の縮小画像は、前記第1の画像を異なる割合で縮小した複数の縮小画像である、
ことを特徴とする請求項2に記載の画像処理装置。
【請求項4】
第1の合焦位置に焦点を合わせて被写体を撮像した第1の画像と、前記第1の画像を縮小した第1の縮小画像と、を記憶手段から取得し、
前記第1の縮小画像を、異なるぼかし強度でぼかした複数のぼかし元画像を生成し、
前記複数のぼかし元画像から選択したぼかし元画像と、前記第1の画像とを合成して一部または全部にぼかし強度の異なるぼかし領域を含むぼかし画像を生成する、
画像処理方法。
【請求項5】
第1の合焦位置に焦点を合わせて被写体を撮像した第1の画像と、前記第1の画像を縮小した第1の縮小画像と、を記憶手段から取得し、
前記第1の縮小画像を、異なるぼかし強度でぼかした複数のぼかし元画像を生成し、
前記複数のぼかし元画像から選択したぼかし元画像と、前記第1の画像とを合成して一部または全部にぼかし強度の異なるぼかし領域を含むぼかし画像を生成する、
処理を情報処理装置に実行させる画像処理用プログラム。
【請求項6】
第1の合焦位置に焦点を合わせて被写体を撮像して第1の画像を生成する撮像手段と、
前記第1の画像を縮小して第1の縮小画像を生成する縮小画像生成手段と、
前記第1の縮小画像を、異なるぼかし強度でぼかした複数のぼかし元画像を生成する画像生成手段と、
前記複数のぼかし元画像から選択したぼかし元画像と、前記第1の画像とを合成して一部または全部にぼかし強度の異なるぼかし領域を含むぼかし画像を生成する合成手段と、
を備える情報処理装置。
【図3】
【図6】
【図8】
【図9】
【図15】
【図16】
【図17】
【図1】
【図2】
【図4】
【図5】
【図7】
【図10】
【図11】
【図12】
【図13】
【図14】
【図6】
【図8】
【図9】
【図15】
【図16】
【図17】
【図1】
【図2】
【図4】
【図5】
【図7】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2012−60540(P2012−60540A)
【公開日】平成24年3月22日(2012.3.22)
【国際特許分類】
【出願番号】特願2010−203641(P2010−203641)
【出願日】平成22年9月10日(2010.9.10)
【出願人】(000005223)富士通株式会社 (25,993)
【Fターム(参考)】
【公開日】平成24年3月22日(2012.3.22)
【国際特許分類】
【出願日】平成22年9月10日(2010.9.10)
【出願人】(000005223)富士通株式会社 (25,993)
【Fターム(参考)】
[ Back to top ]