電子機器
【課題】撮影画像上において主要被写体を遮蔽する不要被写体を良好に除去する。
【解決手段】撮像装置と主要被写体(311、312)との間に不要被写体(313)が存在しているとき、撮像装置にパン操作を施しながら、複数回の撮影によって複数の入力画像(IA[1]〜IA[3])を得る。出力画像生成部は、出力画像上において不要被写体が除去されるように複数の入力画像から出力画像を生成する。例えば、入力画像IA[2]における不要被写体領域(ドット領域に相当)内の画像を入力画像IA[1]及びIA[3]を用いて加工することで、出力画像において不要被写体を除去する。
【解決手段】撮像装置と主要被写体(311、312)との間に不要被写体(313)が存在しているとき、撮像装置にパン操作を施しながら、複数回の撮影によって複数の入力画像(IA[1]〜IA[3])を得る。出力画像生成部は、出力画像上において不要被写体が除去されるように複数の入力画像から出力画像を生成する。例えば、入力画像IA[2]における不要被写体領域(ドット領域に相当)内の画像を入力画像IA[1]及びIA[3]を用いて加工することで、出力画像において不要被写体を除去する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置等の電子機器に関する。
【背景技術】
【0002】
撮像装置を用いて主要被写体を撮影する際、撮影画像に不要被写体(不要な物体)が写りこむことがある。特に例えば、図13に示す如く不要被写体913が撮像装置901と主要被写体911及び912との間に位置している場合、図14(a)に示すような画像の撮影をユーザが望んでいても、主要被写体911及び912の全部又は一部が不要被写体913によって遮蔽されて、実際には図14(b)に示すような画像が撮影されることになる。図14(b)において、ドット領域(ドットで満たされた領域)は、人物としての被写体913の後頭部を表している(後述の図14(c)においても同様)。
【0003】
撮像装置901を平行移動又は回転させることで、図14(c)に示す如く主要被写体911及び912の全体を撮影することも可能であるが、この場合には、撮影画像の構図が撮影者の所望構図からずれることがある(即ち、撮影構図が悪くなることがある)。
【0004】
撮影画像に写りこんだ不要被写体(不要物体)を画像処理によって除去する方法が様々に提案されている。例えば、ノイズ低減処理等を利用して、撮影画像上における人物のしみやしわを除去する方法が提案されている(下記特許文献1及び2参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2009−20834号公報
【特許文献2】特開2009−182423号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上記のような画像処理方法では、不要被写体913によって遮蔽されている画像部分(図14(b)において、主要被写体911及び912の胴体の一部)を正確に補間することはできないため、良好な結果画像を得がたい。
【0007】
そこで本発明は、不要被写体が良好に除去された結果画像を得ることのできる電子機器を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明に係る電子機器は、被写体群を互いに異なる視点から撮影することで得た複数の入力画像を取得する入力画像取得部と、前記複数の入力画像に基づき出力画像を生成する出力画像生成部と、を備えた電子機器であって、前記出力画像生成部は、前記複数の入力画像に含まれる何れかの入力画像内の不要被写体の画像を、他の入力画像を用いて除去し、前記不要被写体の除去の成された画像を前記出力画像として生成することを特徴とする。
【0009】
上記複数の入力画像を用いることで不要被写体が除去された部分の良好なる補間が期待され、結果、良好な結果画像(出力画像)を得ることが可能となる。
【0010】
具体的には例えば、当該電子機器に、入力操作を受けるユーザインターフェースを更に設けても良く、前記不要被写体を前記入力操作に基づいて決定しても良い。
【0011】
また例えば、前記入力操作によって距離範囲が指定され、前記距離範囲は、実空間上における基準地点からの距離の範囲を表し、前記出力画像生成部は、指定された距離範囲外に位置する被写体が前記不要被写体として前記出力画像から除去されるように、前記複数の入力画像から前記出力画像を生成してもよい。
【0012】
また例えば、前記出力画像生成部は、前記出力画像が前記距離範囲に応じた被写界深度を持つように前記出力画像を生成してもよい。
【0013】
また例えば、前記電子機器は撮像装置であっても良く、電子機器としての撮像装置は、前記被写体群の撮影画像を順次取得する撮像部及び前記撮影画像を順次表示する表示部を更に備えて、前記撮像部を用いて前記複数の入力画像を取得し、前記表示部にて前記撮影画像を表示する際、前記不要被写体の表示領域とそれ以外の表示領域とが視覚的に区別できるような表示を成しても良い。
【0014】
これにより、ユーザは、不要被写体の領域とそれ以外の領域(例えば主要被写体の領域)とを容易に認識することが可能となる。
【発明の効果】
【0015】
本発明によれば、不要被写体が良好に除去された結果画像を得ることのできる電子機器を提供することが可能である。
【図面の簡単な説明】
【0016】
【図1】本発明の実施形態に係る撮像装置の概略全体ブロック図である。
【図2】図1の撮像部の内部構成図である。
【図3】被写体距離の意義を説明するための図(a)と、注目画像を示す図(b)と、被写界深度の意義を説明するための図(c)である。
【図4】本発明の実施形態にて想定される、撮像装置と複数の被写体との位置関係を示す図である。
【図5】図1の撮像装置によって取得されうる、複数の撮影画像を示す図である。
【図6】図1に示される撮像装置の一部のブロック図である。
【図7】本発明の実施形態に係る複数の入力画像を示す図である。
【図8】本発明の実施形態に係る複数の入力画像の具体例を示す図である。
【図9】本発明の実施形態に係る距離範囲の意義を説明するための図である。
【図10】本発明の実施形態に係る出力画像の例を示す図である。
【図11】本発明の実施形態に係る撮像装置の動作フローチャートである。
【図12】本発明の実施形態に係り、プレビュー画像を示す図(a)と、該プレビュー画像に基づく表示画像を示す図(b)(c)である。
【図13】従来技術に係り、撮像装置と複数の被写体との位置関係を示す図である。
【図14】従来の撮像装置によって取得されうる、複数の撮影画像を示す図である。
【発明を実施するための形態】
【0017】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、物理量、状態量又は部材等を参照する記号又は符号を付記することによって該記号又は符号に対応する情報、物理量、状態量又は部材等の名称を省略又は略記することがある。例えば、入力画像を記号I[i]によって表す場合(図7参照)、入力画像I[i]を画像I[i]又は単にI[i]と表記する場合がある。
【0018】
図1は、本発明の実施形態に係る撮像装置1の概略全体ブロック図である。撮像装置1は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。但し、撮像装置1は、静止画像のみを撮影及び記録可能なデジタルスチルカメラであっても良い。また、撮像装置1は、携帯電話機などの携帯端末に搭載されるものであっても良い。
【0019】
撮像装置1は、撮像部11と、AFE(Analog Front End)12と、主制御部13と、内部メモリ14と、表示部15と、記録媒体16と、操作部17と、を備えている。尚、表示部15は撮像装置1の外部機器(不図示)に設けられたものである、と解釈しても良い。
【0020】
撮像部11は、撮像素子を用いて被写体の撮影を行う。図2は、撮像部11の内部構成図である。撮像部11は、光学系35と、絞り32と、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどから成る撮像素子(固体撮像素子)33と、光学系35や絞り32を駆動制御するためのドライバ34と、を有している。光学系35は、撮像部11の画角を調節するためのズームレンズ30及び焦点を合わせるためのフォーカスレンズ31を含む複数枚のレンズから形成される。ズームレンズ30及びフォーカスレンズ31は光軸方向に移動可能である。光軸とは、撮像部11における光軸(撮像装置1における光軸)を指す。主制御部13からの制御信号に基づき、光学系35内におけるズームレンズ30及びフォーカスレンズ31の位置並びに絞り32の開度(即ち絞り値)が制御される。
【0021】
撮像素子33は、水平及び垂直方向に複数の受光画素が配列されることによって形成される。撮像素子33の各受光画素は、光学系35及び絞り32を介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号をAFE12(Analog Front End)に出力する。
【0022】
AFE12は、撮像部11(撮像素子33)から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから主制御部13に出力する。AFE12における信号増幅の増幅度は主制御部13によって制御される。主制御部13は、AFE12の出力信号によって表される画像に対して必要な画像処理を施し、画像処理後の画像についての映像信号を生成する。AFE12の出力信号そのものによって表される画像、又は、AFE12の出力信号そのものによって表される画像に対して所定の画像処理を施して得られる画像を、撮影画像という。主制御部13は、表示部15の表示内容を制御する表示制御部22を備え、表示に必要な制御を表示部15に対して行う。
【0023】
内部メモリ14は、SDRAM(Synchronous Dynamic Random Access Memory)等にて形成され、撮像装置1内で生成された各種データを一時的に記憶する。
【0024】
表示部15は、液晶ディスプレイパネル等の表示画面を有する表示装置であり、主制御部13の制御の下、撮影画像や記録媒体16に記録されている画像などを表示する。本明細書において、単に表示及び表示画面と言った場合、それらは、表示部15における表示及び表示画面を指すものとする。表示部15にはタッチパネル19が設けられており、ユーザは、表示部15の表示画面を操作体(指やタッチペンなど)で触れることで撮像装置1に特定の指示を与えることができる。尚、タッチパネル19を割愛することも可能である。
【0025】
記録媒体16は、カード状半導体メモリや磁気ディスク等の不揮発性メモリであり、主制御部13による制御の下、撮影画像の映像信号等を記録する。操作部17は、静止画像の撮影指示を受け付けるシャッタボタン20及び動画像の撮影開始指示又は撮影終了指示を受け付ける録画ボタン21等を備え、外部からの各種操作を受け付ける。操作部17に対する操作内容は、主制御部13に伝達される。操作部17及びタッチパネル19を、ユーザからの任意の指示及び操作を受けるユーザインターフェースと呼ぶことができ、以下、操作部17若しくはタッチパネル19を、又は、それらをまとめてユーザインターフェースと呼ぶ。シャッタボタン20及び録画ボタン21は、タッチパネル19上のボタンであってもよい。
【0026】
撮像装置1の動作モードには、画像(静止画像又は動画像)の撮影及び記録が可能な撮影モードと、記録媒体16に記録された画像(静止画像又は動画像)を表示部15に再生表示する再生モードと、が含まれる。操作部17に対する操作に応じて、各モード間の遷移は実施される。
【0027】
撮影モードでは、所定のフレーム周期にて周期的に被写体の撮影が行われ、被写体の撮影画像が順次取得される。画像を表す映像信号を画像データとも呼ぶ。映像信号は、例えば、輝度信号及び色差信号を含む。或る画素に対する画像データを、画素信号と呼ぶこともある。或る画像の大きさ又は画像領域の大きさを、画像サイズとも呼ぶ。注目画像又は注目画像領域の画像サイズを、注目画像を形成する画素の数又は注目画像領域に属する画素の数にて表現することができる。尚、本明細書では、或る画像の画像データのことを単に画像と言うこともある。従って、例えば、入力画像の生成、取得、記録、加工、変形、編集又は保存とは、入力画像の画像データの生成、取得、記録、加工、変形、編集又は保存を意味する。
【0028】
図3(a)に示す如く、任意の被写体と撮像装置1(より具体的には撮像素子33)との間における実空間上の距離を、被写体距離と呼ぶ。図3(b)に示す注目画像300の撮影時において、撮像部11の被写界深度内の被写体距離を有する被写体301は注目画像300上で合焦しており、撮像部11の被写界深度外の被写体距離を有する被写体302は注目画像300上で合焦していない(図3(c)参照)。図3(b)では、被写体の像のボケ具合いを、被写体の輪郭線の太さによって表現している。
【0029】
撮像装置1の撮影領域内に収まる全ての被写体の集まりを被写体群と呼ぶ。被写体群には、撮影者が注目している1以上の主要被写体と、撮影者にとって不要な物体である1以上の不要被写体と、が含まれる。被写体を物体と呼ぶこともできる(従って例えば、被写体群、主要被写体及び不要被写体を、夫々、物体群、主要物体及び不要物体と呼ぶこともできる)。本実施形態では、図4に示す如く被写体群の中に、人物である被写体311〜313が含まれていることを想定し、撮影者にとっての主要被写体は被写体311及び312であって且つ被写体313は不要被写体であるとする。また、被写体311、312及び313の被写体距離をそれぞれ記号d311、d312及びd313にて表す。ここで、0<d313<d311<d312、が成立する。つまり、撮像装置1と被写体311及び312との間に、不要被写体312が存在している。また、撮像装置1と被写体311〜313は、概ね一直線上に並んでいるものとする。被写体群に、被写体311〜313以外の背景被写体(例えば、山や建物)が含まれていても良い。背景被写体とは、主要被写体よりも大きな被写体距離を有する被写体である。従って、背景被写体の被写体距離は距離d312よりも大きい。
【0030】
ユーザとしての撮影者は、図5(a)に示すような、被写体313を含まない画像の取得を望んでいる。しかし、被写体313の存在により、実際の撮影画像は、例えば図5(b)のようになる。図5(b)において、ドット領域(ドットで満たされた領域)は被写体313の後頭部を表している(後述の図5(c)及び図8等においても同様)。図5(b)の撮影画像上では主要被写体311及び312の一部が被写体313の後頭部によって遮蔽されている。また、撮像装置1を平行移動又は回転させることで、図5(c)に示す如く主要被写体311及び312の全体を撮影することも可能であるが、この場合には、撮影画像の構図が撮影者の所望構図からずれることがある。
【0031】
撮像装置1は、図4に示すような状況下においても、主要被写体に対して良好な構図を有する画像(以下、出力画像と呼ぶ)を生成することが可能である。図6に、出力画像の生成に特に関与する部位のブロック図を示す。図6の符号51〜55によって参照される各部位を、例えば図1の主制御部13に設けておくことができる。
【0032】
入力画像取得部51は、撮像部11の出力信号に基づく複数の入力画像を取得する。撮像部11は周期的に又は間欠的に被写体群の撮影を行うことで被写体群の撮影画像を順次取得することができる。各入力画像は、撮像部11を用いて被写体群を撮影することで得た静止画像(即ち、被写体群の撮影画像)である。入力画像取得部51は、AFE12の出力信号を直接AFE12から受けることで各入力画像を取得することができる。或いは、被写体群の各撮影画像を一旦記録媒体16に記録しておき、記録媒体16から読み出した被写体群の各撮影画像を入力画像取得部51に与えることで入力画像取得部51に各入力画像を取得させても良い。
【0033】
図7に示す如く、複数の入力画像を記号I[1]〜I[n]によって表す(nは2以上の整数)。入力画像I[i]と入力画像I[j]との間には視差が存在する(i及びjは整数であってi≠j)。換言すれば、入力画像I[i]の視点と入力画像I[j]の視点は互いに異なる。つまり、入力画像I[i]の撮影時における撮像装置1の位置(より具体的には撮像素子33の位置)と、入力画像I[j]の撮影時における撮像装置1の位置(より具体的には撮像素子33の位置)とは、互いに異なる。図8に、入力画像I[1]〜I[n]の例である入力画像IA[1]〜IA[3]を示す。図8の例では、n=3である。入力画像IA[1]は左側の主要被写体である被写体311を優先して撮影した画像であり、入力画像IA[2]は構図の良好さを優先して撮影した画像であり、入力画像IA[3]は右側の主要被写体である被写体312を優先して撮影した画像である。尚、本実施形態では、説明の便宜上、入力画像I[1]〜I[n]の撮影時において、被写体311〜313は実空間上で静止しており、被写体距離d311〜d313は不変であるとする。
【0034】
例えば、入力画像I[1]〜I[n]を、以下の第1〜第3の入力画像生成方法の何れかにて生成することができる。
【0035】
・第1の入力画像生成方法を説明する。第1の入力画像生成方法では、例えば、撮像装置1にパン操作を行いながら得た複数の撮影画像が複数の入力画像として取得される。より具体的には、第1の入力画像生成方法において、ユーザは、被写体群を撮像装置1の撮影領域内に収めつつ、シャッタボタン20を押し続けた状態で撮像装置1の位置(及び撮影方向)を少しずつ変化させる(例えば、撮像装置1にパン操作を行う)。シャッタボタン20が押し続けられている期間中、撮像部11は周期的に被写体群の撮影を繰り返し行い、これによって時系列に並ぶ複数の撮影画像(被写体群の撮影画像)を得る。入力画像取得部51は、この複数の撮影画像を、入力画像I[1]〜I[n]として得る。
【0036】
・第2の入力画像生成方法を説明する。第1の入力画像生成方法と同様、第2の入力画像生成方法においても、例えば、撮像装置1にパン操作を行いながら得た複数の撮影画像が複数の入力画像として取得される。但し、第2の入力画像生成方法では、各入力画像の撮影タイミングがユーザにより明確に指定される。即ち例えば、第2の入力画像生成方法において、ユーザは、被写体群を撮像装置1の撮影領域内に収めた状態で撮像装置1の位置(及び撮影方向)を少しずつ変化させながら、その変化の度にシャッタボタン20を押下する。シャッタボタン20が第1、第2、・・・、第nの時刻において順次押下された場合、第1、第2、・・・、第nの時刻における撮像部11の撮影画像が、夫々、入力画像I[1]、I[2]、・・・、I[n]として得られる。
【0037】
・第3の入力画像生成方法を説明する。第3の入力画像生成方法では、動画像の中から入力画像が抽出される。具体的には例えば、撮像部11を用いて被写体群を動画像MIとして撮影し、この動画像MIを記録媒体16に記録しておく。周知の如く、動画像MIは所定のフレーム周期での周期的撮影によって得られたフレーム画像の集まりであり、各々のフレーム画像は、撮像部11で撮影された静止画像である。第3の入力画像生成方法では、動画像MIを形成する複数のフレーム画像の中からn枚のフレーム画像を入力画像I[1]〜I[n]として抽出する。動画像MIを形成する何れのフレーム画像を入力画像として抽出するのかを、ユーザがユーザインターフェースを介して指定しても良い。或いは、フレーム画像間のオプティカルフロー等に基づき、入力画像取得部51が入力画像に適したフレーム画像を判定し、その判定結果に従ったn枚のフレーム画像を入力画像I[1]〜I[n]として抽出するようにしても良い。更に或いは、動画像MIを形成する全てのフレーム画像を入力画像I[1]〜I[n]として用いるようにしても良い。
【0038】
距離マップ生成部(不図示)は、入力画像に対する被写体距離検出処理により、各入力画像に対する距離マップを生成することができる。距離マップ生成部を、主制御部13(例えば、図6の出力画像生成部52)に設けておくことができる。被写体距離検出処理では、入力画像の各画素における被写体の被写体距離を検出し、その検出結果(入力画像の各画素における被写体の被写体距離の検出値)を表す距離データから距離マップを生成する。距離マップは、自身を形成する各画素値が被写体距離の検出値を持つ距離画像である。距離マップによって、入力画像の各画素における被写体の被写体距離が特定される。距離データも距離マップも被写体距離情報の一種である。被写体距離の検出方法として、公知の方法を含む任意の方法を利用可能である。視差の存在する複数の入力画像からステレオ法(三角測量の原理)により被写体距離を検出しても良いし、測距センサを用いて被写体距離を検出しても良い。
【0039】
図6の出力画像生成部52は、不要被写体313が出力画像において除去されるように(換言すれば、不要被写体313の画像データが出力画像に含まれないように)、入力画像I[1]〜I[n]に基づき出力画像を生成する。生成された出力画像を表示部15に表示することができると共に記録媒体16に記録することができる。以下、単に記録といった場合、それは記録媒体16への記録を指す。記録の際、画像データを圧縮しても良い。
【0040】
出力画像生成部52によって実行される、入力画像I[1]〜I[n]から出力画像を生成するための画像処理を、出力画像生成処理と呼ぶ。出力画像を生成する際、出力画像生成部52は、必要に応じて、距離マップ及び視差情報を用いることができる。視差情報とは、入力画像I[1]〜I[n]に含まれる任意の入力画像間の視差を示す情報である。視差情報により、入力画像I[i]の撮影時における撮像装置1の位置及び光軸の方向を基準として、入力画像I[j]の撮影時における撮像装置1の位置及び光軸の方向が特定される。撮像装置1の角速度又は加速度を検出するセンサ(不図示)の検出結果から視差情報を生成しても良いし、或いは、撮像部11の出力信号から導出したオプティカルフローを分析することで視差情報を生成しても良い。
【0041】
上記のような出力画像を生成するためには、何れかの被写体が不要被写体であるのかを出力画像生成部52に認識させるための情報が必要であり、この情報を分類情報と呼ぶ。分類情報によって、出力画像生成部52は、被写体群に含まれる各被写体を主要被写体及び不要被写体のどちらかに分類することができる、或いは、被写体群に含まれる各被写体を主要被写体、不要被写体及び背景被写体の何れかに分類することができる。また、任意の二次元画像において、主要被写体の画像データが存在する画像領域を主要被写体領域と呼び、不要被写体の画像データが存在する画像領域を不要被写体領域と呼び、背景被写体の画像データが存在する画像領域を背景被写体領域と呼ぶ。本実施形態にて述べる全ての画像は、特に記述なき限り二次元画像である。分類情報は、入力画像の全画像領域を主要被写体領域と不要被写体領域に分離するための情報である、或いは、入力画像の全画像領域を主要被写体領域と不要被写体領域と背景被写体領域に分離するための情報である、とも言える。尚、撮影者にとって、主要被写体は注目度の比較的高い被写体である一方で不要被写体は注目度の比較的低い被写体である。故に、主要被写体領域及び不要被写体領域をそれぞれ高注目度領域及び低注目度領域と呼んでも良い。また、分類情報は、撮影者が注目している被写体(即ち主要被写体)を特定するための情報であるとも言えるため、分類情報を注目度情報と呼ぶこともできる。
【0042】
図6の分類情報設定部53は、上記分類情報を生成して出力画像生成部52に与える。ユーザは、ユーザインターフェースに対し分類情報を指定するための入力操作UOP1を成すことができ、入力操作UOP1が成された場合、分類情報設定部53は、入力操作UOP1に従った分類情報を生成する。分類情報に従って主要被写体及び不要被写体が決定されるため、入力操作UOP1は、主要被写体を決定するための操作であるとも言えるし、不要被写体を決定するための操作であるとも言える。
【0043】
具体的には例えば、ユーザは、入力操作UOP1においてユーザインターフェースを介して距離範囲DDを指定することができる。
【0044】
距離範囲DDは、実空間上における基準地点からの距離の範囲である。図9に示す如く、基準地点は、入力画像I[nA]の撮影時における撮像装置1の位置である。nAは1以上n以下の任意の整数であって、nAの値を予め定めておいても良い。そうすると、被写体311〜313についての基準地点からの距離は、夫々、被写体距離d311〜d313と一致する(図4参照)。ユーザは、入力操作UOP1において、距離範囲DDに属する最小距離DDMIN(例えば、3メートル)及び最大距離DDMAX(例えば、5メートル)を直接ユーザインターフェースに入力することができる。或いは例えば、最小距離DDMIN及び最大距離DDMAXを夫々撮像部11の被写界深度に属する最小距離及び最大距離として捉え、ユーザに、最小距離DDMIN及び最大距離DDMAXを導出するための距離導出用データ(例えば、絞り値及び焦点距離)をユーザインターフェースに入力させても良い。この場合、分類情報設定部53は距離導出用データから距離範囲DDを決定する。
【0045】
ユーザは、自身が注目している被写体(及び、必要に応じて背景被写体)が距離範囲DD内に収まるように且つ自身が不要と考えている被写体が距離範囲DD外に位置するように距離範囲DDを指定する。本実施形態では、被写体311及び312が主要被写体として且つ被写体313が不要被写体として取り扱われることを想定しているため、ユーザは、d313<DDMIN<d311<d312<DDMAXが成立するように距離範囲DDを指定する。ユーザは、ユーザインターフェースを介して最小距離DDMINのみを指定することもでき、この場合、分類情報設定部53は、最大距離DDMAXを無限大に設定することができる。
【0046】
尚、基準地点は撮像装置1の位置以外であっても良い。例えば、入力画像I[1]〜I[n]の撮影時における撮像部11の被写界深度内の中心位置を、基準地点として用いても良い。或いは例えば、各入力画像に人物の顔が含まれている場合には当該顔の存在する位置(実空間上の位置)を基準地点に設定しても良い。
【0047】
入力操作UOP1において距離範囲DDが指定された場合、分類情報設定部53は距離範囲DDを分類情報として出力画像生成部52に出力することができ、出力画像生成部52は、距離範囲DDに基づき、距離範囲DD内に位置する被写体を主要被写体に分類する一方で距離範囲DD外に位置する被写体を不要被写体に分類する。被写体群に背景被写体が含まれている場合においては、距離範囲DDに基づき、距離範囲DD内に位置する被写体が主要被写体又は背景被写体に分類されても良い。出力画像生成部52は、距離範囲DD内に位置する被写体が主要被写体又は背景被写体として出力画像に現れるように且つ距離範囲DD外に位置する被写体が不要被写体として出力画像から除去されるように、入力画像I[1]〜I[n]から出力画像を生成する。
【0048】
基本的には例えば、出力画像生成部52は、分類情報としての距離範囲DDと入力画像I[i]に対する距離マップを用いて、入力画像I[i]の全画像領域を、距離範囲DD内の被写体の画像データが存在する画像領域である必要領域と、距離範囲DD外の被写体の画像データが存在する画像領域である不要領域と、に分離する。この分離を各入力画像において行う。必要領域は、主要被写体領域を含み、更に背景被写体領域を含みうる。不要領域は不要被写体領域を含む。上記分離の結果、各入力画像において、被写体313の画像データが存在する画像領域(図8の例ではドット領域に相当)が不要領域に設定され且つ被写体311及び312の画像データが存在する画像領域が必要領域に含められる。そして例えば、入力画像I[1]〜I[n]の何れか1枚を基準画像(例えば、図8の画像IA[2])に設定する一方で、入力画像I[1]〜I[n]の内、基準画像以外の入力画像を非基準画像に設定する。その後、基準画像における不要領域内の画像を非基準画像における必要領域内の画像データを用いて加工することで基準画像から不要被写体を除去し、この除去後の基準画像を出力画像として生成することができる。非基準画像の必要領域内の画像データを用いた加工により、基準画像では不要被写体により遮蔽されていた部分(主要被写体の一部を含む)が、出力画像においては現れるようになる。
【0049】
図10の画像350は、図8の入力画像IA[1]〜IA[3]に基づく出力画像の例である。出力画像350を生成するためには、入力画像IA[2]を基準画像に設定する一方で入力画像IA[1]及びIA[3]を非基準画像に設定することができる。そして例えば、基準画像IA[2]における不要領域内の画像(即ち、IA[2]内のドット領域)を基準画像IA[2]から取り除く一方で、基準画像IA[2]における不要領域内の画像を非基準画像IA[1]及びIA[3]における必要領域内の画像(被写体311及び312の胴体部分の画像)を用いて補間する。この補間の結果、出力画像350が得られ、基準画像IA[2]では不要被写体313により遮蔽されていた部分(被写体311及び312の胴体部分の画像)が、出力画像350においては現れている。
【0050】
次に、図6の構図設定部54について説明する。構図設定部54は、出力画像の構図を規定する構図設定情報を生成して出力画像生成部52に送る。出力画像生成部52は、構図設定情報にて規定された構図を有する出力画像が得られるように出力画像生成処理を行う。
【0051】
ユーザは、ユーザインターフェースを介して出力画像の構図を指定することができ、この指定が成された場合、その指定内容に応じた構図設定情報が生成される。例えば、入力画像I[1]〜I[n]として図8の入力画像IA[1]〜IA[3]が撮影されて記録媒体16に記録された後、入力画像IA[2]の構図と同等の構図を有する出力画像の生成をユーザが望んでいる場合、ユーザは、ユーザインターフェースを介して入力画像IA[2]を所望構図画像として指定することができる。この指定を受けた構図設定部54は、所望構図画像(本例において入力画像IA[2])の構図と同等の構図を有する出力画像が出力画像生成部52にて生成されるように構図設定情報を生成する。結果例えば、所望構図画像の撮影時における撮像装置1の位置から所望構図画像の撮影時における光軸の方向に向かって被写体311及び312を観測したかのような出力画像が得られ、出力画像上における被写体311及び312の位置は所望構図画像上における被写体311及び312の位置と一致する。入力画像IA[2]が所望構図画像であるとき、出力画像生成部52は、例えば、入力画像IA[2]を上記基準画像に設定した上で出力画像生成処理を行えばよい。
【0052】
以下、構図設定部54において利用可能な、第1〜第5の構図設定方法を例示する。
【0053】
・第1の構図設定方法を説明する。第1の構図設定方法では、第1〜第3の入力画像生成方法の何れかにて入力画像I[1]〜I[n]を撮影する前に、或いは、第1〜第3の入力画像生成方法の何れかにて入力画像I[1]〜I[n]を撮影した後に、別途、ユーザの操作に従って撮像部11にて被写体群を撮影させ所望構図画像を得る。これにより、ユーザの希望を確実に出力画像の構図に反映させることができる。
【0054】
・第2の構図設定方法を説明する。第2の構図設定方法では、第1〜第3の入力画像生成方法の何れかにて入力画像I[1]〜I[n]を撮影及び記録した後に、ユーザが、ユーザインターフェースを介して入力画像I[1]〜I[n]の何れかを所望構図画像として指定する。これにより、所望構図画像を得るためにシャッタチャンスを逃してしまう、といったことがなくなる。
【0055】
・第3の構図設定方法を説明する。第3の構図設定方法では、第1〜第3の入力画像生成方法の何れかにて入力画像I[1]〜I[n]を撮影及び記録した後に、構図設定部54がユーザの操作に拠らず自動的に入力画像I[1]〜I[n]の何れかを所望構図画像に設定する。何れの入力画像を所望構図画像に設定するのかを、予め定めておくことができる。
【0056】
・第4の構図設定方法を説明する。第4の構図設定方法は、動画像MIから入力画像を取得する方法である第3の入力画像生成方法と組み合わせて用いられる。時間が進行するにつれて時刻t1、t2、・・・、tmが順次訪れ(mは2以上の整数)、時刻t1、t2、・・・、tmにおいて、夫々、動画像MIを形成する1番目、2番目、・・・、m番目のフレーム画像が撮影された場合を考える。動画像MIの撮影期間は時刻t1及びtm間の期間である。第4の構図設定方法を用いる場合、ユーザは、動画像MIの撮影期間中の所望のタイミングに、ユーザインターフェースに設けられた構図指定ボタン(不図示)を押す。構図指定ボタンが押されたタイミングにおいて撮影されたフレーム画像が所望構図画像に設定される。即ち例えば、構図指定ボタンが押されたタイミングが時刻t2である場合、動画像MIを形成する2番目のフレーム画像が所望構図画像に設定される。第4の構図設定方法によれば、所望構図画像を別途撮影する必要がない。
【0057】
・第5の構図設定方法を説明する。第5の構図設定方法も、第3の入力画像生成方法と組み合わせて用いられる。第5の構図設定方法において、構図設定部54は、動画像MIの撮影期間中における何れかの時刻を構図設定用時刻として捉え、構図設定用時刻にて撮影されたフレーム画像を所望構図画像に設定する。構図設定用時刻は、例えば、動画像MIの撮影期間における開始時刻(即ち時刻t1)、終了時刻(即ち時刻tm)又は中央時刻である。何れの時刻を構図設定用時刻として用いるのかを、予め定めておくことができる。第5の構図設定方法によれば、動画像MIの撮影中において特段の操作が必要にならず、また、所望構図画像を別途撮影する必要もない。
【0058】
次に、図6の被写界深度設定部55について説明する。被写界深度設定部55は、出力画像の被写界深度を規定する深度設定情報を生成して出力画像生成部52に送る。出力画像生成部52は、深度設定情報にて規定された被写界深度を有する出力画像が得られるように出力画像生成処理を行う。
【0059】
ユーザは、ユーザインターフェースを介して出力画像の被写界深度を指定することができ、この指定が成された場合、その指定内容に応じた深度設定情報が生成される。ユーザは、出力画像の被写界深度を指定する操作を割愛することもでき、この場合、被写界深度設定部55は、距離範囲DDを深度設定情報として用いることができる。或いは、距離範囲DDが常に深度設定情報として用いられてもよい。距離範囲DDが深度設定情報として用いられた場合、深度設定情報に基づき、出力画像生成部52は、出力画像が距離範囲DDに応じた被写界深度を持つように(理想的には、出力画像の被写界深度が距離範囲DDと一致するように)出力画像生成処理を行う。
【0060】
出力画像生成部52は、出力画像の被写界深度を調整することができる画像処理Jを出力画像生成処理に含めておくことができ、これによって深度設定情報に応じた出力画像を生成する。画像処理Jによる被写界深度調整後の出力画像を表示部15にて表示し且つ記録媒体16に記録することができる。画像処理Jの一種はデジタルフォーカスとも呼ばれており、デジタルフォーカスを実現する画像処理の方法として、様々な画像処理方法が提案されている。距離マップに基づき出力画像の被写界深度を任意に調整することができる公知の方法(例えば、特開2010−81002号公報、国際公開第06/039486号パンフレット、特開2009−224982号公報、特開2010−252293号公報又は特開2010−81050号公報に記載の方法)を、画像処理Jの方法として利用することができる。
【0061】
以下の複数の実施例において、上述の構成及び動作を基本する、撮像装置1のより具体的な構成例及び動作例等を説明する。矛盾無き限り且つ特に記述無き限り、撮像装置1について上述した内容は以下の各実施例に適用され、また、複数の実施例を組み合わせることも可能である。
【0062】
<<第1実施例>>
第1実施例を説明する。第1実施例では、出力画像の生成動作に注目した、撮像装置1の動作手順を説明する。図11は、この動作手順を表すフローチャートである。ステップS11〜S15の処理が順次実行される。ステップS11〜S13は撮影モードにおいて実行される。ステップS14及びS15の処理は撮影モードにおいて実行されてもよいし、再生モードにおいて実行されても良い。尚、第1実施例及び後述の第2〜第4実施例において、第1〜第3の入力画像生成方法の何れもが利用可能であり、第1〜第5の構図設定方法の何れもが利用可能である。
【0063】
撮影モードにおいては、入力画像I[1]〜I[n]の撮影前にも、撮像部11により被写体群が周期的に撮影されており、入力画像I[1]〜I[n]の撮影前の、撮像部11による撮影画像を特にプレビュー画像と呼ぶ。図1の表示制御部22は、順次得られるプレビュー画像を表示部15に順次更新表示させる。これにより、ユーザは、現在の撮影構図を確認することができる。
【0064】
ステップS11において、ユーザは入力操作UOP1を行い、分類情報設定部53は、入力操作UOP1に基づく距離範囲DDを分類情報に設定する。
【0065】
入力操作UOP1によって距離範囲DDが指定された後、ステップS12において、表示制御部22は、特殊スルー表示を表示部15に行わせる。特殊スルー表示とは、プレビュー画像の順次表示が行われる表示画面上において、特定表示領域とそれ以外の表示領域とをユーザに視覚的に区別せしめる表示である。特定表示領域は、主要被写体の表示領域であっても良いし、或いは、不要被写体の表示領域であっても良いし、或いは、主要被写体及び背景被写体の表示領域であってもよい。特定表示領域が主要被写体及び背景被写体の表示領域である場合においても、結局、ユーザは、不要被写体の表示領域とそれ以外の表示領域(即ち、主要被写体及び背景被写体の表示領域)とを視覚的に区別することが可能である。特殊スルー表示により、ユーザは、特定の領域(例えば、主要被写体領域又は不要被写体領域)を表示画面上で把握し易くなる。
【0066】
例えば、図12(a)に示すようなプレビュー画像400が得られたとき、距離範囲DDとプレビュー画像400に対する距離マップとに基づき、表示制御部22は、プレビュー画像400の全画像領域を特定表示領域に対応する特定画像領域とそれ以外の画像領域とに分離して、プレビュー画像400の特定画像領域に対して加工処理を実行し、加工処理後のプレビュー画像400を表示画面に表示させる。図12(b)及び(c)の夫々に、表示画面に表示される、加工処理後のプレビュー画像400の例を示す。加工処理は、例えば、特定画像領域内の画像の輝度又は彩度を増大又は減少させる画像処理であっても良いし、或いは、特定画像領域内の画像にハッチング等を付与する処理であっても良い。更に或いは、加工処理は、幾何学的変換、階調変換、色補正又はフィルタリング等の任意の画像処理を含みうる。表示制御部22は、順次撮影されるプレビュー画像の夫々に加工処理を順次施して、加工処理後のプレビュー画像を更新表示させることができる。
【0067】
加工処理の対象となる特定画像領域は、特定表示領域が主要被写体の表示領域であるならば主要被写体領域であり、特定表示領域が不要被写体の表示領域であるならば不要被写体領域であり、特定表示領域が主要被写体及び背景被写体の表示領域であるならば主要被写体領域及び背景被写体領域である。主制御部13は、入力画像の距離マップを生成する方法と同様の方法にてプレビュー画像400に被写体距離検出処理を行うことで、プレビュー画像400に対する距離マップを得ることができる。
【0068】
尚、ステップS12において特殊スルー表示が成されているとき、ユーザは、ユーザインターフェースに対する分類変更指示操作により、任意の被写体を主要被写体から不要被写体に変更することができる。逆に考えて、ユーザインターフェースに対する分類変更指示操作により、任意の被写体を不要被写体から主要被写体に変更することができるように撮像装置1を形成しておいてもよい。
【0069】
例えば、図4の被写体311〜313に加えて被写体311と同一の被写体距離を有する被写体311’(不図示)が被写体群に含まれている場合において、“d313<DDMIN<d311<d312<DDMAX”を満たす距離範囲DDを指定すると、撮像装置1は、被写体311及び312だけでなく被写体311’も主要被写体に設定する。ステップS12では、この設定内容に応じた特殊スルー表示が成される。この場合において、ユーザが被写体311’を不要被写体として考える場合、ユーザは被写体311’を不要被写体に変更することを指示する分類変更指示操作を成す。この分類変更指示操作が成されると、撮像装置1は被写体311’を不要被写体に設定し直し、出力画像生成部52において被写体311’が不要被写体として取り扱われるように分類情報が修正される。このような修正を可能にしておくことにより、被写体311と同等の被写体距離を有する、注目度の低い被写体311’を出力画像から除外することが可能となる。
【0070】
撮像装置1は、上記の特殊スルー表示を行いながら、入力画像I[1]〜I[n]又は動画像MIの撮影を指示するユーザ操作の入力を待機し、該ユーザ操作が入力されると、ステップS13において入力画像I[1]〜I[n]又は動画像MIの撮影を行う。撮像装置1は、入力画像I[1]〜I[n]又は動画像MIの画像データを内部メモリ14又は記録媒体16に記録することができる。
【0071】
ステップS14において、出力画像生成部52は、ステップS13にて撮影された入力画像I[1]〜I[n]に基づき、又は、ステップS13にて撮影された動画像MIから抽出した入力画像I[1]〜I[n]に基づき、出力画像生成処理によって出力画像を生成する。生成された出力画像は、ステップS15において表示部15に表示されると共に記録媒体16に記録される。
【0072】
尚、特殊スルー表示をプレビュー画像に対して実行することを上述したが、特殊スルー表示を入力画像I[1]〜I[n]又は動画像MIの各フレーム画像に対しても実行しても良い。
【0073】
また、上述のフローチャートでは、撮影モードにおいて入力操作UOP1が成されることが想定されているが、撮影モードにおいて入力画像I[1]〜I[n]又は動画像MIを撮影及び記録した後に、再生モードにおいてステップS11、S14及びS15の処理のみを行うようにしても良い。
【0074】
<<第2実施例>>
第2実施例を説明する。第2実施例及び後述の第3実施例では、出力画像生成処理の具体例を説明する。第2実施例に係る出力画像生成部52は、被写体群に含まれる各被写体の三次元形状を復元する三次元形状復元処理を利用して出力画像を生成する(即ち、出力画像生成処理に三次元形状復元処理を含めることができる)。視差を有する複数の入力画像から各被写体の三次元形状を復元する方法は公知であるため、その方法の詳細な説明を割愛する。出力画像生成部52は、三次元形状を復元する公知の方法(特開2008-220617号公報に記載の方法)を利用可能である。
【0075】
出力画像生成部52は、入力画像I[1]〜I[n]から被写体群に含まれる各被写体の三次元形状を復元し、各被写体の三次元形状を示す三次元情報を生成する。そして、生成した三次元情報から、主要被写体の三次元形状を示す又は主要被写体及び背景被写体の三次元形状を示す必要三次元情報を抽出し、抽出した必要三次元情報から出力画像を生成する。この際、構図設定情報にて規定された構図を有する出力画像が得られるように、必要三次元情報を二次元情報に変換することで出力画像を生成する。結果例えば、所望構図画像(例えば図8の画像IA[2])の撮影時における撮像装置1の位置から所望構図画像の撮影時における光軸の方向に向かって被写体311及び312を観測したかのような出力画像(例えば図10の画像350)が得られる。深度設定情報が出力画像生成部52に与えられている場合には、深度設定情報に応じた出力画像の被写界深度調整も行われる。
【0076】
<<第3実施例>>
第3実施例を説明する。第3実施例に係る出力画像生成部52は、自由視点映像生成処理を利用して出力画像を生成する(即ち、出力画像生成処理に自由視点映像生成処理を含めることができる)。自由視点映像生成処理では、被写体を互いに異なる視点から撮影することで得た複数の入力画像に基づき、当該被写体を任意の視点から見た画像(以下、自由視点映像と呼ぶ)を生成することができる。このような自由視点映像の生成方法は公知であるため、その生成方法の詳細な説明を割愛する。出力画像生成部52は、自由視点映像を生成する公知の方法(特開2004−220312号公報に記載の方法)を利用可能である。
【0077】
自由視点映像生成処理を用いれば、複数の入力画像I[1]〜I[n]に基づき、主要被写体である被写体311及び312を任意の視点から見た自由視点映像FFを生成することができる。この際、構図設定情報にて規定された構図を有する自由視点映像FFが得られるように、自由視点映像FFを生成する際の視点を設定する。また、自由視点映像FFは、各入力画像上の不要被写体の画像部分がマスクされた上で生成されるため、自由視点映像FF上には不要被写体が存在しない。結果例えば、所望構図画像(例えば図8の画像IA[2])の撮影時における撮像装置1の位置から所望構図画像の撮影時における光軸の方向に向かって被写体311及び312を観測したかのような自由視点映像FFが、出力画像(例えば図10の画像350)として得られる。深度設定情報が出力画像生成部52に与えられている場合には、深度設定情報に応じた出力画像の被写界深度調整も行われる。
【0078】
<<第4実施例>>
第4実施例を説明する。注目度情報とも言うべき分類情報を、ユーザの入力操作UOP1に頼ることなく生成するようにしても良い。例えば、分類情報設定部53は、撮像部11の出力信号に基づいて顕著度マップ(Saliency Map)を生成し、顕著度マップに基づき分類情報を生成するようにしても良い。撮像部11の出力信号に基づき顕著度マップを生成する方法として公知の顕著度マップ生成方法(例えば、特開2001−236508号公報に記載の方法)を利用可能である。例えば、1枚以上のプレビュー画像又は1枚以上の入力画像から分類情報の元となる顕著度マップを生成することができる。
【0079】
顕著度マップは、人が視覚的に注意の引かれる度合い(以下、顕著度という)を画像空間上でマップにしたものである。視覚的により注意の引かれる画像部分は、主要被写体が存在している画像部分であると考えることができる。従って、顕著度が比較的高い画像領域内の被写体が主要被写体に設定されるように且つ顕著度が比較的低い画像領域内の被写体が不要被写体に設定されるように、顕著度マップに基づき分類情報を生成することができる。顕著度マップから分類情報を生成するようにすれば、ユーザに特段の操作を要求することなく、ユーザの注目度の高い領域を主要被写体領域に設定することができると共にユーザの注目度の低い領域を不要被写体領域に設定することができる。
【0080】
<<変形等>>
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈1及び注釈2を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【0081】
[注釈1]
撮像装置1の構成要素の内、入力画像の取得並びに出力画像の生成及び表示等に関与する任意の構成要素(特に例えば、図6に示される各部位並びに表示部15及びユーザインターフェース)は、撮像装置1以外の電子機器(不図示)に設けられていても良く、その電子機器上において上述の各動作を実現させても良い。電子機器は、例えば、パーソナルコンピュータ、携帯情報端末、携帯電話機である。尚、撮像装置1も、電子機器の一種である。
【0082】
[注釈2]
撮像装置1及び電子機器を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置1又は電子機器を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置(例えばコンピュータ)上で実行することによって、その機能を実現するようにしてもよい。
【符号の説明】
【0083】
1 撮像装置
11 撮像部
51 入力画像取得部
52 出力画像生成部
53 分類情報設定部
54 構図設定部
55 被写界深度設定部
DD 距離範囲
【技術分野】
【0001】
本発明は、撮像装置等の電子機器に関する。
【背景技術】
【0002】
撮像装置を用いて主要被写体を撮影する際、撮影画像に不要被写体(不要な物体)が写りこむことがある。特に例えば、図13に示す如く不要被写体913が撮像装置901と主要被写体911及び912との間に位置している場合、図14(a)に示すような画像の撮影をユーザが望んでいても、主要被写体911及び912の全部又は一部が不要被写体913によって遮蔽されて、実際には図14(b)に示すような画像が撮影されることになる。図14(b)において、ドット領域(ドットで満たされた領域)は、人物としての被写体913の後頭部を表している(後述の図14(c)においても同様)。
【0003】
撮像装置901を平行移動又は回転させることで、図14(c)に示す如く主要被写体911及び912の全体を撮影することも可能であるが、この場合には、撮影画像の構図が撮影者の所望構図からずれることがある(即ち、撮影構図が悪くなることがある)。
【0004】
撮影画像に写りこんだ不要被写体(不要物体)を画像処理によって除去する方法が様々に提案されている。例えば、ノイズ低減処理等を利用して、撮影画像上における人物のしみやしわを除去する方法が提案されている(下記特許文献1及び2参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2009−20834号公報
【特許文献2】特開2009−182423号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上記のような画像処理方法では、不要被写体913によって遮蔽されている画像部分(図14(b)において、主要被写体911及び912の胴体の一部)を正確に補間することはできないため、良好な結果画像を得がたい。
【0007】
そこで本発明は、不要被写体が良好に除去された結果画像を得ることのできる電子機器を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明に係る電子機器は、被写体群を互いに異なる視点から撮影することで得た複数の入力画像を取得する入力画像取得部と、前記複数の入力画像に基づき出力画像を生成する出力画像生成部と、を備えた電子機器であって、前記出力画像生成部は、前記複数の入力画像に含まれる何れかの入力画像内の不要被写体の画像を、他の入力画像を用いて除去し、前記不要被写体の除去の成された画像を前記出力画像として生成することを特徴とする。
【0009】
上記複数の入力画像を用いることで不要被写体が除去された部分の良好なる補間が期待され、結果、良好な結果画像(出力画像)を得ることが可能となる。
【0010】
具体的には例えば、当該電子機器に、入力操作を受けるユーザインターフェースを更に設けても良く、前記不要被写体を前記入力操作に基づいて決定しても良い。
【0011】
また例えば、前記入力操作によって距離範囲が指定され、前記距離範囲は、実空間上における基準地点からの距離の範囲を表し、前記出力画像生成部は、指定された距離範囲外に位置する被写体が前記不要被写体として前記出力画像から除去されるように、前記複数の入力画像から前記出力画像を生成してもよい。
【0012】
また例えば、前記出力画像生成部は、前記出力画像が前記距離範囲に応じた被写界深度を持つように前記出力画像を生成してもよい。
【0013】
また例えば、前記電子機器は撮像装置であっても良く、電子機器としての撮像装置は、前記被写体群の撮影画像を順次取得する撮像部及び前記撮影画像を順次表示する表示部を更に備えて、前記撮像部を用いて前記複数の入力画像を取得し、前記表示部にて前記撮影画像を表示する際、前記不要被写体の表示領域とそれ以外の表示領域とが視覚的に区別できるような表示を成しても良い。
【0014】
これにより、ユーザは、不要被写体の領域とそれ以外の領域(例えば主要被写体の領域)とを容易に認識することが可能となる。
【発明の効果】
【0015】
本発明によれば、不要被写体が良好に除去された結果画像を得ることのできる電子機器を提供することが可能である。
【図面の簡単な説明】
【0016】
【図1】本発明の実施形態に係る撮像装置の概略全体ブロック図である。
【図2】図1の撮像部の内部構成図である。
【図3】被写体距離の意義を説明するための図(a)と、注目画像を示す図(b)と、被写界深度の意義を説明するための図(c)である。
【図4】本発明の実施形態にて想定される、撮像装置と複数の被写体との位置関係を示す図である。
【図5】図1の撮像装置によって取得されうる、複数の撮影画像を示す図である。
【図6】図1に示される撮像装置の一部のブロック図である。
【図7】本発明の実施形態に係る複数の入力画像を示す図である。
【図8】本発明の実施形態に係る複数の入力画像の具体例を示す図である。
【図9】本発明の実施形態に係る距離範囲の意義を説明するための図である。
【図10】本発明の実施形態に係る出力画像の例を示す図である。
【図11】本発明の実施形態に係る撮像装置の動作フローチャートである。
【図12】本発明の実施形態に係り、プレビュー画像を示す図(a)と、該プレビュー画像に基づく表示画像を示す図(b)(c)である。
【図13】従来技術に係り、撮像装置と複数の被写体との位置関係を示す図である。
【図14】従来の撮像装置によって取得されうる、複数の撮影画像を示す図である。
【発明を実施するための形態】
【0017】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、物理量、状態量又は部材等を参照する記号又は符号を付記することによって該記号又は符号に対応する情報、物理量、状態量又は部材等の名称を省略又は略記することがある。例えば、入力画像を記号I[i]によって表す場合(図7参照)、入力画像I[i]を画像I[i]又は単にI[i]と表記する場合がある。
【0018】
図1は、本発明の実施形態に係る撮像装置1の概略全体ブロック図である。撮像装置1は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。但し、撮像装置1は、静止画像のみを撮影及び記録可能なデジタルスチルカメラであっても良い。また、撮像装置1は、携帯電話機などの携帯端末に搭載されるものであっても良い。
【0019】
撮像装置1は、撮像部11と、AFE(Analog Front End)12と、主制御部13と、内部メモリ14と、表示部15と、記録媒体16と、操作部17と、を備えている。尚、表示部15は撮像装置1の外部機器(不図示)に設けられたものである、と解釈しても良い。
【0020】
撮像部11は、撮像素子を用いて被写体の撮影を行う。図2は、撮像部11の内部構成図である。撮像部11は、光学系35と、絞り32と、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどから成る撮像素子(固体撮像素子)33と、光学系35や絞り32を駆動制御するためのドライバ34と、を有している。光学系35は、撮像部11の画角を調節するためのズームレンズ30及び焦点を合わせるためのフォーカスレンズ31を含む複数枚のレンズから形成される。ズームレンズ30及びフォーカスレンズ31は光軸方向に移動可能である。光軸とは、撮像部11における光軸(撮像装置1における光軸)を指す。主制御部13からの制御信号に基づき、光学系35内におけるズームレンズ30及びフォーカスレンズ31の位置並びに絞り32の開度(即ち絞り値)が制御される。
【0021】
撮像素子33は、水平及び垂直方向に複数の受光画素が配列されることによって形成される。撮像素子33の各受光画素は、光学系35及び絞り32を介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号をAFE12(Analog Front End)に出力する。
【0022】
AFE12は、撮像部11(撮像素子33)から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから主制御部13に出力する。AFE12における信号増幅の増幅度は主制御部13によって制御される。主制御部13は、AFE12の出力信号によって表される画像に対して必要な画像処理を施し、画像処理後の画像についての映像信号を生成する。AFE12の出力信号そのものによって表される画像、又は、AFE12の出力信号そのものによって表される画像に対して所定の画像処理を施して得られる画像を、撮影画像という。主制御部13は、表示部15の表示内容を制御する表示制御部22を備え、表示に必要な制御を表示部15に対して行う。
【0023】
内部メモリ14は、SDRAM(Synchronous Dynamic Random Access Memory)等にて形成され、撮像装置1内で生成された各種データを一時的に記憶する。
【0024】
表示部15は、液晶ディスプレイパネル等の表示画面を有する表示装置であり、主制御部13の制御の下、撮影画像や記録媒体16に記録されている画像などを表示する。本明細書において、単に表示及び表示画面と言った場合、それらは、表示部15における表示及び表示画面を指すものとする。表示部15にはタッチパネル19が設けられており、ユーザは、表示部15の表示画面を操作体(指やタッチペンなど)で触れることで撮像装置1に特定の指示を与えることができる。尚、タッチパネル19を割愛することも可能である。
【0025】
記録媒体16は、カード状半導体メモリや磁気ディスク等の不揮発性メモリであり、主制御部13による制御の下、撮影画像の映像信号等を記録する。操作部17は、静止画像の撮影指示を受け付けるシャッタボタン20及び動画像の撮影開始指示又は撮影終了指示を受け付ける録画ボタン21等を備え、外部からの各種操作を受け付ける。操作部17に対する操作内容は、主制御部13に伝達される。操作部17及びタッチパネル19を、ユーザからの任意の指示及び操作を受けるユーザインターフェースと呼ぶことができ、以下、操作部17若しくはタッチパネル19を、又は、それらをまとめてユーザインターフェースと呼ぶ。シャッタボタン20及び録画ボタン21は、タッチパネル19上のボタンであってもよい。
【0026】
撮像装置1の動作モードには、画像(静止画像又は動画像)の撮影及び記録が可能な撮影モードと、記録媒体16に記録された画像(静止画像又は動画像)を表示部15に再生表示する再生モードと、が含まれる。操作部17に対する操作に応じて、各モード間の遷移は実施される。
【0027】
撮影モードでは、所定のフレーム周期にて周期的に被写体の撮影が行われ、被写体の撮影画像が順次取得される。画像を表す映像信号を画像データとも呼ぶ。映像信号は、例えば、輝度信号及び色差信号を含む。或る画素に対する画像データを、画素信号と呼ぶこともある。或る画像の大きさ又は画像領域の大きさを、画像サイズとも呼ぶ。注目画像又は注目画像領域の画像サイズを、注目画像を形成する画素の数又は注目画像領域に属する画素の数にて表現することができる。尚、本明細書では、或る画像の画像データのことを単に画像と言うこともある。従って、例えば、入力画像の生成、取得、記録、加工、変形、編集又は保存とは、入力画像の画像データの生成、取得、記録、加工、変形、編集又は保存を意味する。
【0028】
図3(a)に示す如く、任意の被写体と撮像装置1(より具体的には撮像素子33)との間における実空間上の距離を、被写体距離と呼ぶ。図3(b)に示す注目画像300の撮影時において、撮像部11の被写界深度内の被写体距離を有する被写体301は注目画像300上で合焦しており、撮像部11の被写界深度外の被写体距離を有する被写体302は注目画像300上で合焦していない(図3(c)参照)。図3(b)では、被写体の像のボケ具合いを、被写体の輪郭線の太さによって表現している。
【0029】
撮像装置1の撮影領域内に収まる全ての被写体の集まりを被写体群と呼ぶ。被写体群には、撮影者が注目している1以上の主要被写体と、撮影者にとって不要な物体である1以上の不要被写体と、が含まれる。被写体を物体と呼ぶこともできる(従って例えば、被写体群、主要被写体及び不要被写体を、夫々、物体群、主要物体及び不要物体と呼ぶこともできる)。本実施形態では、図4に示す如く被写体群の中に、人物である被写体311〜313が含まれていることを想定し、撮影者にとっての主要被写体は被写体311及び312であって且つ被写体313は不要被写体であるとする。また、被写体311、312及び313の被写体距離をそれぞれ記号d311、d312及びd313にて表す。ここで、0<d313<d311<d312、が成立する。つまり、撮像装置1と被写体311及び312との間に、不要被写体312が存在している。また、撮像装置1と被写体311〜313は、概ね一直線上に並んでいるものとする。被写体群に、被写体311〜313以外の背景被写体(例えば、山や建物)が含まれていても良い。背景被写体とは、主要被写体よりも大きな被写体距離を有する被写体である。従って、背景被写体の被写体距離は距離d312よりも大きい。
【0030】
ユーザとしての撮影者は、図5(a)に示すような、被写体313を含まない画像の取得を望んでいる。しかし、被写体313の存在により、実際の撮影画像は、例えば図5(b)のようになる。図5(b)において、ドット領域(ドットで満たされた領域)は被写体313の後頭部を表している(後述の図5(c)及び図8等においても同様)。図5(b)の撮影画像上では主要被写体311及び312の一部が被写体313の後頭部によって遮蔽されている。また、撮像装置1を平行移動又は回転させることで、図5(c)に示す如く主要被写体311及び312の全体を撮影することも可能であるが、この場合には、撮影画像の構図が撮影者の所望構図からずれることがある。
【0031】
撮像装置1は、図4に示すような状況下においても、主要被写体に対して良好な構図を有する画像(以下、出力画像と呼ぶ)を生成することが可能である。図6に、出力画像の生成に特に関与する部位のブロック図を示す。図6の符号51〜55によって参照される各部位を、例えば図1の主制御部13に設けておくことができる。
【0032】
入力画像取得部51は、撮像部11の出力信号に基づく複数の入力画像を取得する。撮像部11は周期的に又は間欠的に被写体群の撮影を行うことで被写体群の撮影画像を順次取得することができる。各入力画像は、撮像部11を用いて被写体群を撮影することで得た静止画像(即ち、被写体群の撮影画像)である。入力画像取得部51は、AFE12の出力信号を直接AFE12から受けることで各入力画像を取得することができる。或いは、被写体群の各撮影画像を一旦記録媒体16に記録しておき、記録媒体16から読み出した被写体群の各撮影画像を入力画像取得部51に与えることで入力画像取得部51に各入力画像を取得させても良い。
【0033】
図7に示す如く、複数の入力画像を記号I[1]〜I[n]によって表す(nは2以上の整数)。入力画像I[i]と入力画像I[j]との間には視差が存在する(i及びjは整数であってi≠j)。換言すれば、入力画像I[i]の視点と入力画像I[j]の視点は互いに異なる。つまり、入力画像I[i]の撮影時における撮像装置1の位置(より具体的には撮像素子33の位置)と、入力画像I[j]の撮影時における撮像装置1の位置(より具体的には撮像素子33の位置)とは、互いに異なる。図8に、入力画像I[1]〜I[n]の例である入力画像IA[1]〜IA[3]を示す。図8の例では、n=3である。入力画像IA[1]は左側の主要被写体である被写体311を優先して撮影した画像であり、入力画像IA[2]は構図の良好さを優先して撮影した画像であり、入力画像IA[3]は右側の主要被写体である被写体312を優先して撮影した画像である。尚、本実施形態では、説明の便宜上、入力画像I[1]〜I[n]の撮影時において、被写体311〜313は実空間上で静止しており、被写体距離d311〜d313は不変であるとする。
【0034】
例えば、入力画像I[1]〜I[n]を、以下の第1〜第3の入力画像生成方法の何れかにて生成することができる。
【0035】
・第1の入力画像生成方法を説明する。第1の入力画像生成方法では、例えば、撮像装置1にパン操作を行いながら得た複数の撮影画像が複数の入力画像として取得される。より具体的には、第1の入力画像生成方法において、ユーザは、被写体群を撮像装置1の撮影領域内に収めつつ、シャッタボタン20を押し続けた状態で撮像装置1の位置(及び撮影方向)を少しずつ変化させる(例えば、撮像装置1にパン操作を行う)。シャッタボタン20が押し続けられている期間中、撮像部11は周期的に被写体群の撮影を繰り返し行い、これによって時系列に並ぶ複数の撮影画像(被写体群の撮影画像)を得る。入力画像取得部51は、この複数の撮影画像を、入力画像I[1]〜I[n]として得る。
【0036】
・第2の入力画像生成方法を説明する。第1の入力画像生成方法と同様、第2の入力画像生成方法においても、例えば、撮像装置1にパン操作を行いながら得た複数の撮影画像が複数の入力画像として取得される。但し、第2の入力画像生成方法では、各入力画像の撮影タイミングがユーザにより明確に指定される。即ち例えば、第2の入力画像生成方法において、ユーザは、被写体群を撮像装置1の撮影領域内に収めた状態で撮像装置1の位置(及び撮影方向)を少しずつ変化させながら、その変化の度にシャッタボタン20を押下する。シャッタボタン20が第1、第2、・・・、第nの時刻において順次押下された場合、第1、第2、・・・、第nの時刻における撮像部11の撮影画像が、夫々、入力画像I[1]、I[2]、・・・、I[n]として得られる。
【0037】
・第3の入力画像生成方法を説明する。第3の入力画像生成方法では、動画像の中から入力画像が抽出される。具体的には例えば、撮像部11を用いて被写体群を動画像MIとして撮影し、この動画像MIを記録媒体16に記録しておく。周知の如く、動画像MIは所定のフレーム周期での周期的撮影によって得られたフレーム画像の集まりであり、各々のフレーム画像は、撮像部11で撮影された静止画像である。第3の入力画像生成方法では、動画像MIを形成する複数のフレーム画像の中からn枚のフレーム画像を入力画像I[1]〜I[n]として抽出する。動画像MIを形成する何れのフレーム画像を入力画像として抽出するのかを、ユーザがユーザインターフェースを介して指定しても良い。或いは、フレーム画像間のオプティカルフロー等に基づき、入力画像取得部51が入力画像に適したフレーム画像を判定し、その判定結果に従ったn枚のフレーム画像を入力画像I[1]〜I[n]として抽出するようにしても良い。更に或いは、動画像MIを形成する全てのフレーム画像を入力画像I[1]〜I[n]として用いるようにしても良い。
【0038】
距離マップ生成部(不図示)は、入力画像に対する被写体距離検出処理により、各入力画像に対する距離マップを生成することができる。距離マップ生成部を、主制御部13(例えば、図6の出力画像生成部52)に設けておくことができる。被写体距離検出処理では、入力画像の各画素における被写体の被写体距離を検出し、その検出結果(入力画像の各画素における被写体の被写体距離の検出値)を表す距離データから距離マップを生成する。距離マップは、自身を形成する各画素値が被写体距離の検出値を持つ距離画像である。距離マップによって、入力画像の各画素における被写体の被写体距離が特定される。距離データも距離マップも被写体距離情報の一種である。被写体距離の検出方法として、公知の方法を含む任意の方法を利用可能である。視差の存在する複数の入力画像からステレオ法(三角測量の原理)により被写体距離を検出しても良いし、測距センサを用いて被写体距離を検出しても良い。
【0039】
図6の出力画像生成部52は、不要被写体313が出力画像において除去されるように(換言すれば、不要被写体313の画像データが出力画像に含まれないように)、入力画像I[1]〜I[n]に基づき出力画像を生成する。生成された出力画像を表示部15に表示することができると共に記録媒体16に記録することができる。以下、単に記録といった場合、それは記録媒体16への記録を指す。記録の際、画像データを圧縮しても良い。
【0040】
出力画像生成部52によって実行される、入力画像I[1]〜I[n]から出力画像を生成するための画像処理を、出力画像生成処理と呼ぶ。出力画像を生成する際、出力画像生成部52は、必要に応じて、距離マップ及び視差情報を用いることができる。視差情報とは、入力画像I[1]〜I[n]に含まれる任意の入力画像間の視差を示す情報である。視差情報により、入力画像I[i]の撮影時における撮像装置1の位置及び光軸の方向を基準として、入力画像I[j]の撮影時における撮像装置1の位置及び光軸の方向が特定される。撮像装置1の角速度又は加速度を検出するセンサ(不図示)の検出結果から視差情報を生成しても良いし、或いは、撮像部11の出力信号から導出したオプティカルフローを分析することで視差情報を生成しても良い。
【0041】
上記のような出力画像を生成するためには、何れかの被写体が不要被写体であるのかを出力画像生成部52に認識させるための情報が必要であり、この情報を分類情報と呼ぶ。分類情報によって、出力画像生成部52は、被写体群に含まれる各被写体を主要被写体及び不要被写体のどちらかに分類することができる、或いは、被写体群に含まれる各被写体を主要被写体、不要被写体及び背景被写体の何れかに分類することができる。また、任意の二次元画像において、主要被写体の画像データが存在する画像領域を主要被写体領域と呼び、不要被写体の画像データが存在する画像領域を不要被写体領域と呼び、背景被写体の画像データが存在する画像領域を背景被写体領域と呼ぶ。本実施形態にて述べる全ての画像は、特に記述なき限り二次元画像である。分類情報は、入力画像の全画像領域を主要被写体領域と不要被写体領域に分離するための情報である、或いは、入力画像の全画像領域を主要被写体領域と不要被写体領域と背景被写体領域に分離するための情報である、とも言える。尚、撮影者にとって、主要被写体は注目度の比較的高い被写体である一方で不要被写体は注目度の比較的低い被写体である。故に、主要被写体領域及び不要被写体領域をそれぞれ高注目度領域及び低注目度領域と呼んでも良い。また、分類情報は、撮影者が注目している被写体(即ち主要被写体)を特定するための情報であるとも言えるため、分類情報を注目度情報と呼ぶこともできる。
【0042】
図6の分類情報設定部53は、上記分類情報を生成して出力画像生成部52に与える。ユーザは、ユーザインターフェースに対し分類情報を指定するための入力操作UOP1を成すことができ、入力操作UOP1が成された場合、分類情報設定部53は、入力操作UOP1に従った分類情報を生成する。分類情報に従って主要被写体及び不要被写体が決定されるため、入力操作UOP1は、主要被写体を決定するための操作であるとも言えるし、不要被写体を決定するための操作であるとも言える。
【0043】
具体的には例えば、ユーザは、入力操作UOP1においてユーザインターフェースを介して距離範囲DDを指定することができる。
【0044】
距離範囲DDは、実空間上における基準地点からの距離の範囲である。図9に示す如く、基準地点は、入力画像I[nA]の撮影時における撮像装置1の位置である。nAは1以上n以下の任意の整数であって、nAの値を予め定めておいても良い。そうすると、被写体311〜313についての基準地点からの距離は、夫々、被写体距離d311〜d313と一致する(図4参照)。ユーザは、入力操作UOP1において、距離範囲DDに属する最小距離DDMIN(例えば、3メートル)及び最大距離DDMAX(例えば、5メートル)を直接ユーザインターフェースに入力することができる。或いは例えば、最小距離DDMIN及び最大距離DDMAXを夫々撮像部11の被写界深度に属する最小距離及び最大距離として捉え、ユーザに、最小距離DDMIN及び最大距離DDMAXを導出するための距離導出用データ(例えば、絞り値及び焦点距離)をユーザインターフェースに入力させても良い。この場合、分類情報設定部53は距離導出用データから距離範囲DDを決定する。
【0045】
ユーザは、自身が注目している被写体(及び、必要に応じて背景被写体)が距離範囲DD内に収まるように且つ自身が不要と考えている被写体が距離範囲DD外に位置するように距離範囲DDを指定する。本実施形態では、被写体311及び312が主要被写体として且つ被写体313が不要被写体として取り扱われることを想定しているため、ユーザは、d313<DDMIN<d311<d312<DDMAXが成立するように距離範囲DDを指定する。ユーザは、ユーザインターフェースを介して最小距離DDMINのみを指定することもでき、この場合、分類情報設定部53は、最大距離DDMAXを無限大に設定することができる。
【0046】
尚、基準地点は撮像装置1の位置以外であっても良い。例えば、入力画像I[1]〜I[n]の撮影時における撮像部11の被写界深度内の中心位置を、基準地点として用いても良い。或いは例えば、各入力画像に人物の顔が含まれている場合には当該顔の存在する位置(実空間上の位置)を基準地点に設定しても良い。
【0047】
入力操作UOP1において距離範囲DDが指定された場合、分類情報設定部53は距離範囲DDを分類情報として出力画像生成部52に出力することができ、出力画像生成部52は、距離範囲DDに基づき、距離範囲DD内に位置する被写体を主要被写体に分類する一方で距離範囲DD外に位置する被写体を不要被写体に分類する。被写体群に背景被写体が含まれている場合においては、距離範囲DDに基づき、距離範囲DD内に位置する被写体が主要被写体又は背景被写体に分類されても良い。出力画像生成部52は、距離範囲DD内に位置する被写体が主要被写体又は背景被写体として出力画像に現れるように且つ距離範囲DD外に位置する被写体が不要被写体として出力画像から除去されるように、入力画像I[1]〜I[n]から出力画像を生成する。
【0048】
基本的には例えば、出力画像生成部52は、分類情報としての距離範囲DDと入力画像I[i]に対する距離マップを用いて、入力画像I[i]の全画像領域を、距離範囲DD内の被写体の画像データが存在する画像領域である必要領域と、距離範囲DD外の被写体の画像データが存在する画像領域である不要領域と、に分離する。この分離を各入力画像において行う。必要領域は、主要被写体領域を含み、更に背景被写体領域を含みうる。不要領域は不要被写体領域を含む。上記分離の結果、各入力画像において、被写体313の画像データが存在する画像領域(図8の例ではドット領域に相当)が不要領域に設定され且つ被写体311及び312の画像データが存在する画像領域が必要領域に含められる。そして例えば、入力画像I[1]〜I[n]の何れか1枚を基準画像(例えば、図8の画像IA[2])に設定する一方で、入力画像I[1]〜I[n]の内、基準画像以外の入力画像を非基準画像に設定する。その後、基準画像における不要領域内の画像を非基準画像における必要領域内の画像データを用いて加工することで基準画像から不要被写体を除去し、この除去後の基準画像を出力画像として生成することができる。非基準画像の必要領域内の画像データを用いた加工により、基準画像では不要被写体により遮蔽されていた部分(主要被写体の一部を含む)が、出力画像においては現れるようになる。
【0049】
図10の画像350は、図8の入力画像IA[1]〜IA[3]に基づく出力画像の例である。出力画像350を生成するためには、入力画像IA[2]を基準画像に設定する一方で入力画像IA[1]及びIA[3]を非基準画像に設定することができる。そして例えば、基準画像IA[2]における不要領域内の画像(即ち、IA[2]内のドット領域)を基準画像IA[2]から取り除く一方で、基準画像IA[2]における不要領域内の画像を非基準画像IA[1]及びIA[3]における必要領域内の画像(被写体311及び312の胴体部分の画像)を用いて補間する。この補間の結果、出力画像350が得られ、基準画像IA[2]では不要被写体313により遮蔽されていた部分(被写体311及び312の胴体部分の画像)が、出力画像350においては現れている。
【0050】
次に、図6の構図設定部54について説明する。構図設定部54は、出力画像の構図を規定する構図設定情報を生成して出力画像生成部52に送る。出力画像生成部52は、構図設定情報にて規定された構図を有する出力画像が得られるように出力画像生成処理を行う。
【0051】
ユーザは、ユーザインターフェースを介して出力画像の構図を指定することができ、この指定が成された場合、その指定内容に応じた構図設定情報が生成される。例えば、入力画像I[1]〜I[n]として図8の入力画像IA[1]〜IA[3]が撮影されて記録媒体16に記録された後、入力画像IA[2]の構図と同等の構図を有する出力画像の生成をユーザが望んでいる場合、ユーザは、ユーザインターフェースを介して入力画像IA[2]を所望構図画像として指定することができる。この指定を受けた構図設定部54は、所望構図画像(本例において入力画像IA[2])の構図と同等の構図を有する出力画像が出力画像生成部52にて生成されるように構図設定情報を生成する。結果例えば、所望構図画像の撮影時における撮像装置1の位置から所望構図画像の撮影時における光軸の方向に向かって被写体311及び312を観測したかのような出力画像が得られ、出力画像上における被写体311及び312の位置は所望構図画像上における被写体311及び312の位置と一致する。入力画像IA[2]が所望構図画像であるとき、出力画像生成部52は、例えば、入力画像IA[2]を上記基準画像に設定した上で出力画像生成処理を行えばよい。
【0052】
以下、構図設定部54において利用可能な、第1〜第5の構図設定方法を例示する。
【0053】
・第1の構図設定方法を説明する。第1の構図設定方法では、第1〜第3の入力画像生成方法の何れかにて入力画像I[1]〜I[n]を撮影する前に、或いは、第1〜第3の入力画像生成方法の何れかにて入力画像I[1]〜I[n]を撮影した後に、別途、ユーザの操作に従って撮像部11にて被写体群を撮影させ所望構図画像を得る。これにより、ユーザの希望を確実に出力画像の構図に反映させることができる。
【0054】
・第2の構図設定方法を説明する。第2の構図設定方法では、第1〜第3の入力画像生成方法の何れかにて入力画像I[1]〜I[n]を撮影及び記録した後に、ユーザが、ユーザインターフェースを介して入力画像I[1]〜I[n]の何れかを所望構図画像として指定する。これにより、所望構図画像を得るためにシャッタチャンスを逃してしまう、といったことがなくなる。
【0055】
・第3の構図設定方法を説明する。第3の構図設定方法では、第1〜第3の入力画像生成方法の何れかにて入力画像I[1]〜I[n]を撮影及び記録した後に、構図設定部54がユーザの操作に拠らず自動的に入力画像I[1]〜I[n]の何れかを所望構図画像に設定する。何れの入力画像を所望構図画像に設定するのかを、予め定めておくことができる。
【0056】
・第4の構図設定方法を説明する。第4の構図設定方法は、動画像MIから入力画像を取得する方法である第3の入力画像生成方法と組み合わせて用いられる。時間が進行するにつれて時刻t1、t2、・・・、tmが順次訪れ(mは2以上の整数)、時刻t1、t2、・・・、tmにおいて、夫々、動画像MIを形成する1番目、2番目、・・・、m番目のフレーム画像が撮影された場合を考える。動画像MIの撮影期間は時刻t1及びtm間の期間である。第4の構図設定方法を用いる場合、ユーザは、動画像MIの撮影期間中の所望のタイミングに、ユーザインターフェースに設けられた構図指定ボタン(不図示)を押す。構図指定ボタンが押されたタイミングにおいて撮影されたフレーム画像が所望構図画像に設定される。即ち例えば、構図指定ボタンが押されたタイミングが時刻t2である場合、動画像MIを形成する2番目のフレーム画像が所望構図画像に設定される。第4の構図設定方法によれば、所望構図画像を別途撮影する必要がない。
【0057】
・第5の構図設定方法を説明する。第5の構図設定方法も、第3の入力画像生成方法と組み合わせて用いられる。第5の構図設定方法において、構図設定部54は、動画像MIの撮影期間中における何れかの時刻を構図設定用時刻として捉え、構図設定用時刻にて撮影されたフレーム画像を所望構図画像に設定する。構図設定用時刻は、例えば、動画像MIの撮影期間における開始時刻(即ち時刻t1)、終了時刻(即ち時刻tm)又は中央時刻である。何れの時刻を構図設定用時刻として用いるのかを、予め定めておくことができる。第5の構図設定方法によれば、動画像MIの撮影中において特段の操作が必要にならず、また、所望構図画像を別途撮影する必要もない。
【0058】
次に、図6の被写界深度設定部55について説明する。被写界深度設定部55は、出力画像の被写界深度を規定する深度設定情報を生成して出力画像生成部52に送る。出力画像生成部52は、深度設定情報にて規定された被写界深度を有する出力画像が得られるように出力画像生成処理を行う。
【0059】
ユーザは、ユーザインターフェースを介して出力画像の被写界深度を指定することができ、この指定が成された場合、その指定内容に応じた深度設定情報が生成される。ユーザは、出力画像の被写界深度を指定する操作を割愛することもでき、この場合、被写界深度設定部55は、距離範囲DDを深度設定情報として用いることができる。或いは、距離範囲DDが常に深度設定情報として用いられてもよい。距離範囲DDが深度設定情報として用いられた場合、深度設定情報に基づき、出力画像生成部52は、出力画像が距離範囲DDに応じた被写界深度を持つように(理想的には、出力画像の被写界深度が距離範囲DDと一致するように)出力画像生成処理を行う。
【0060】
出力画像生成部52は、出力画像の被写界深度を調整することができる画像処理Jを出力画像生成処理に含めておくことができ、これによって深度設定情報に応じた出力画像を生成する。画像処理Jによる被写界深度調整後の出力画像を表示部15にて表示し且つ記録媒体16に記録することができる。画像処理Jの一種はデジタルフォーカスとも呼ばれており、デジタルフォーカスを実現する画像処理の方法として、様々な画像処理方法が提案されている。距離マップに基づき出力画像の被写界深度を任意に調整することができる公知の方法(例えば、特開2010−81002号公報、国際公開第06/039486号パンフレット、特開2009−224982号公報、特開2010−252293号公報又は特開2010−81050号公報に記載の方法)を、画像処理Jの方法として利用することができる。
【0061】
以下の複数の実施例において、上述の構成及び動作を基本する、撮像装置1のより具体的な構成例及び動作例等を説明する。矛盾無き限り且つ特に記述無き限り、撮像装置1について上述した内容は以下の各実施例に適用され、また、複数の実施例を組み合わせることも可能である。
【0062】
<<第1実施例>>
第1実施例を説明する。第1実施例では、出力画像の生成動作に注目した、撮像装置1の動作手順を説明する。図11は、この動作手順を表すフローチャートである。ステップS11〜S15の処理が順次実行される。ステップS11〜S13は撮影モードにおいて実行される。ステップS14及びS15の処理は撮影モードにおいて実行されてもよいし、再生モードにおいて実行されても良い。尚、第1実施例及び後述の第2〜第4実施例において、第1〜第3の入力画像生成方法の何れもが利用可能であり、第1〜第5の構図設定方法の何れもが利用可能である。
【0063】
撮影モードにおいては、入力画像I[1]〜I[n]の撮影前にも、撮像部11により被写体群が周期的に撮影されており、入力画像I[1]〜I[n]の撮影前の、撮像部11による撮影画像を特にプレビュー画像と呼ぶ。図1の表示制御部22は、順次得られるプレビュー画像を表示部15に順次更新表示させる。これにより、ユーザは、現在の撮影構図を確認することができる。
【0064】
ステップS11において、ユーザは入力操作UOP1を行い、分類情報設定部53は、入力操作UOP1に基づく距離範囲DDを分類情報に設定する。
【0065】
入力操作UOP1によって距離範囲DDが指定された後、ステップS12において、表示制御部22は、特殊スルー表示を表示部15に行わせる。特殊スルー表示とは、プレビュー画像の順次表示が行われる表示画面上において、特定表示領域とそれ以外の表示領域とをユーザに視覚的に区別せしめる表示である。特定表示領域は、主要被写体の表示領域であっても良いし、或いは、不要被写体の表示領域であっても良いし、或いは、主要被写体及び背景被写体の表示領域であってもよい。特定表示領域が主要被写体及び背景被写体の表示領域である場合においても、結局、ユーザは、不要被写体の表示領域とそれ以外の表示領域(即ち、主要被写体及び背景被写体の表示領域)とを視覚的に区別することが可能である。特殊スルー表示により、ユーザは、特定の領域(例えば、主要被写体領域又は不要被写体領域)を表示画面上で把握し易くなる。
【0066】
例えば、図12(a)に示すようなプレビュー画像400が得られたとき、距離範囲DDとプレビュー画像400に対する距離マップとに基づき、表示制御部22は、プレビュー画像400の全画像領域を特定表示領域に対応する特定画像領域とそれ以外の画像領域とに分離して、プレビュー画像400の特定画像領域に対して加工処理を実行し、加工処理後のプレビュー画像400を表示画面に表示させる。図12(b)及び(c)の夫々に、表示画面に表示される、加工処理後のプレビュー画像400の例を示す。加工処理は、例えば、特定画像領域内の画像の輝度又は彩度を増大又は減少させる画像処理であっても良いし、或いは、特定画像領域内の画像にハッチング等を付与する処理であっても良い。更に或いは、加工処理は、幾何学的変換、階調変換、色補正又はフィルタリング等の任意の画像処理を含みうる。表示制御部22は、順次撮影されるプレビュー画像の夫々に加工処理を順次施して、加工処理後のプレビュー画像を更新表示させることができる。
【0067】
加工処理の対象となる特定画像領域は、特定表示領域が主要被写体の表示領域であるならば主要被写体領域であり、特定表示領域が不要被写体の表示領域であるならば不要被写体領域であり、特定表示領域が主要被写体及び背景被写体の表示領域であるならば主要被写体領域及び背景被写体領域である。主制御部13は、入力画像の距離マップを生成する方法と同様の方法にてプレビュー画像400に被写体距離検出処理を行うことで、プレビュー画像400に対する距離マップを得ることができる。
【0068】
尚、ステップS12において特殊スルー表示が成されているとき、ユーザは、ユーザインターフェースに対する分類変更指示操作により、任意の被写体を主要被写体から不要被写体に変更することができる。逆に考えて、ユーザインターフェースに対する分類変更指示操作により、任意の被写体を不要被写体から主要被写体に変更することができるように撮像装置1を形成しておいてもよい。
【0069】
例えば、図4の被写体311〜313に加えて被写体311と同一の被写体距離を有する被写体311’(不図示)が被写体群に含まれている場合において、“d313<DDMIN<d311<d312<DDMAX”を満たす距離範囲DDを指定すると、撮像装置1は、被写体311及び312だけでなく被写体311’も主要被写体に設定する。ステップS12では、この設定内容に応じた特殊スルー表示が成される。この場合において、ユーザが被写体311’を不要被写体として考える場合、ユーザは被写体311’を不要被写体に変更することを指示する分類変更指示操作を成す。この分類変更指示操作が成されると、撮像装置1は被写体311’を不要被写体に設定し直し、出力画像生成部52において被写体311’が不要被写体として取り扱われるように分類情報が修正される。このような修正を可能にしておくことにより、被写体311と同等の被写体距離を有する、注目度の低い被写体311’を出力画像から除外することが可能となる。
【0070】
撮像装置1は、上記の特殊スルー表示を行いながら、入力画像I[1]〜I[n]又は動画像MIの撮影を指示するユーザ操作の入力を待機し、該ユーザ操作が入力されると、ステップS13において入力画像I[1]〜I[n]又は動画像MIの撮影を行う。撮像装置1は、入力画像I[1]〜I[n]又は動画像MIの画像データを内部メモリ14又は記録媒体16に記録することができる。
【0071】
ステップS14において、出力画像生成部52は、ステップS13にて撮影された入力画像I[1]〜I[n]に基づき、又は、ステップS13にて撮影された動画像MIから抽出した入力画像I[1]〜I[n]に基づき、出力画像生成処理によって出力画像を生成する。生成された出力画像は、ステップS15において表示部15に表示されると共に記録媒体16に記録される。
【0072】
尚、特殊スルー表示をプレビュー画像に対して実行することを上述したが、特殊スルー表示を入力画像I[1]〜I[n]又は動画像MIの各フレーム画像に対しても実行しても良い。
【0073】
また、上述のフローチャートでは、撮影モードにおいて入力操作UOP1が成されることが想定されているが、撮影モードにおいて入力画像I[1]〜I[n]又は動画像MIを撮影及び記録した後に、再生モードにおいてステップS11、S14及びS15の処理のみを行うようにしても良い。
【0074】
<<第2実施例>>
第2実施例を説明する。第2実施例及び後述の第3実施例では、出力画像生成処理の具体例を説明する。第2実施例に係る出力画像生成部52は、被写体群に含まれる各被写体の三次元形状を復元する三次元形状復元処理を利用して出力画像を生成する(即ち、出力画像生成処理に三次元形状復元処理を含めることができる)。視差を有する複数の入力画像から各被写体の三次元形状を復元する方法は公知であるため、その方法の詳細な説明を割愛する。出力画像生成部52は、三次元形状を復元する公知の方法(特開2008-220617号公報に記載の方法)を利用可能である。
【0075】
出力画像生成部52は、入力画像I[1]〜I[n]から被写体群に含まれる各被写体の三次元形状を復元し、各被写体の三次元形状を示す三次元情報を生成する。そして、生成した三次元情報から、主要被写体の三次元形状を示す又は主要被写体及び背景被写体の三次元形状を示す必要三次元情報を抽出し、抽出した必要三次元情報から出力画像を生成する。この際、構図設定情報にて規定された構図を有する出力画像が得られるように、必要三次元情報を二次元情報に変換することで出力画像を生成する。結果例えば、所望構図画像(例えば図8の画像IA[2])の撮影時における撮像装置1の位置から所望構図画像の撮影時における光軸の方向に向かって被写体311及び312を観測したかのような出力画像(例えば図10の画像350)が得られる。深度設定情報が出力画像生成部52に与えられている場合には、深度設定情報に応じた出力画像の被写界深度調整も行われる。
【0076】
<<第3実施例>>
第3実施例を説明する。第3実施例に係る出力画像生成部52は、自由視点映像生成処理を利用して出力画像を生成する(即ち、出力画像生成処理に自由視点映像生成処理を含めることができる)。自由視点映像生成処理では、被写体を互いに異なる視点から撮影することで得た複数の入力画像に基づき、当該被写体を任意の視点から見た画像(以下、自由視点映像と呼ぶ)を生成することができる。このような自由視点映像の生成方法は公知であるため、その生成方法の詳細な説明を割愛する。出力画像生成部52は、自由視点映像を生成する公知の方法(特開2004−220312号公報に記載の方法)を利用可能である。
【0077】
自由視点映像生成処理を用いれば、複数の入力画像I[1]〜I[n]に基づき、主要被写体である被写体311及び312を任意の視点から見た自由視点映像FFを生成することができる。この際、構図設定情報にて規定された構図を有する自由視点映像FFが得られるように、自由視点映像FFを生成する際の視点を設定する。また、自由視点映像FFは、各入力画像上の不要被写体の画像部分がマスクされた上で生成されるため、自由視点映像FF上には不要被写体が存在しない。結果例えば、所望構図画像(例えば図8の画像IA[2])の撮影時における撮像装置1の位置から所望構図画像の撮影時における光軸の方向に向かって被写体311及び312を観測したかのような自由視点映像FFが、出力画像(例えば図10の画像350)として得られる。深度設定情報が出力画像生成部52に与えられている場合には、深度設定情報に応じた出力画像の被写界深度調整も行われる。
【0078】
<<第4実施例>>
第4実施例を説明する。注目度情報とも言うべき分類情報を、ユーザの入力操作UOP1に頼ることなく生成するようにしても良い。例えば、分類情報設定部53は、撮像部11の出力信号に基づいて顕著度マップ(Saliency Map)を生成し、顕著度マップに基づき分類情報を生成するようにしても良い。撮像部11の出力信号に基づき顕著度マップを生成する方法として公知の顕著度マップ生成方法(例えば、特開2001−236508号公報に記載の方法)を利用可能である。例えば、1枚以上のプレビュー画像又は1枚以上の入力画像から分類情報の元となる顕著度マップを生成することができる。
【0079】
顕著度マップは、人が視覚的に注意の引かれる度合い(以下、顕著度という)を画像空間上でマップにしたものである。視覚的により注意の引かれる画像部分は、主要被写体が存在している画像部分であると考えることができる。従って、顕著度が比較的高い画像領域内の被写体が主要被写体に設定されるように且つ顕著度が比較的低い画像領域内の被写体が不要被写体に設定されるように、顕著度マップに基づき分類情報を生成することができる。顕著度マップから分類情報を生成するようにすれば、ユーザに特段の操作を要求することなく、ユーザの注目度の高い領域を主要被写体領域に設定することができると共にユーザの注目度の低い領域を不要被写体領域に設定することができる。
【0080】
<<変形等>>
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈1及び注釈2を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【0081】
[注釈1]
撮像装置1の構成要素の内、入力画像の取得並びに出力画像の生成及び表示等に関与する任意の構成要素(特に例えば、図6に示される各部位並びに表示部15及びユーザインターフェース)は、撮像装置1以外の電子機器(不図示)に設けられていても良く、その電子機器上において上述の各動作を実現させても良い。電子機器は、例えば、パーソナルコンピュータ、携帯情報端末、携帯電話機である。尚、撮像装置1も、電子機器の一種である。
【0082】
[注釈2]
撮像装置1及び電子機器を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置1又は電子機器を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置(例えばコンピュータ)上で実行することによって、その機能を実現するようにしてもよい。
【符号の説明】
【0083】
1 撮像装置
11 撮像部
51 入力画像取得部
52 出力画像生成部
53 分類情報設定部
54 構図設定部
55 被写界深度設定部
DD 距離範囲
【特許請求の範囲】
【請求項1】
被写体群を互いに異なる視点から撮影することで得た複数の入力画像を取得する入力画像取得部と、
前記複数の入力画像に基づき出力画像を生成する出力画像生成部と、を備えた電子機器であって、
前記出力画像生成部は、前記複数の入力画像に含まれる何れかの入力画像内の不要被写体の画像を、他の入力画像を用いて除去し、前記不要被写体の除去の成された画像を前記出力画像として生成する
ことを特徴とする電子機器。
【請求項2】
入力操作を受けるユーザインターフェースを更に備え、
前記不要被写体は、前記入力操作に基づいて決定される
ことを特徴とする請求項1に記載の電子機器。
【請求項3】
前記入力操作によって距離範囲が指定され、
前記距離範囲は、実空間上における基準地点からの距離の範囲を表し、
前記出力画像生成部は、指定された距離範囲外に位置する被写体が前記不要被写体として前記出力画像から除去されるように、前記複数の入力画像から前記出力画像を生成する
ことを特徴とする請求項2に記載の電子機器。
【請求項4】
前記出力画像生成部は、前記出力画像が前記距離範囲に応じた被写界深度を持つように前記出力画像を生成する
ことを特徴とする請求項3に記載の電子機器。
【請求項5】
前記電子機器は撮像装置であって、
前記電子機器としての前記撮像装置は、
前記被写体群の撮影画像を順次取得する撮像部及び前記撮影画像を順次表示する表示部を更に備えて、前記撮像部を用いて前記複数の入力画像を取得し、
前記表示部にて前記撮影画像を表示する際、前記不要被写体の表示領域とそれ以外の表示領域とが視覚的に区別できるような表示を成す
ことを特徴とする請求項1〜請求項4の何れかに記載の電子機器。
【請求項1】
被写体群を互いに異なる視点から撮影することで得た複数の入力画像を取得する入力画像取得部と、
前記複数の入力画像に基づき出力画像を生成する出力画像生成部と、を備えた電子機器であって、
前記出力画像生成部は、前記複数の入力画像に含まれる何れかの入力画像内の不要被写体の画像を、他の入力画像を用いて除去し、前記不要被写体の除去の成された画像を前記出力画像として生成する
ことを特徴とする電子機器。
【請求項2】
入力操作を受けるユーザインターフェースを更に備え、
前記不要被写体は、前記入力操作に基づいて決定される
ことを特徴とする請求項1に記載の電子機器。
【請求項3】
前記入力操作によって距離範囲が指定され、
前記距離範囲は、実空間上における基準地点からの距離の範囲を表し、
前記出力画像生成部は、指定された距離範囲外に位置する被写体が前記不要被写体として前記出力画像から除去されるように、前記複数の入力画像から前記出力画像を生成する
ことを特徴とする請求項2に記載の電子機器。
【請求項4】
前記出力画像生成部は、前記出力画像が前記距離範囲に応じた被写界深度を持つように前記出力画像を生成する
ことを特徴とする請求項3に記載の電子機器。
【請求項5】
前記電子機器は撮像装置であって、
前記電子機器としての前記撮像装置は、
前記被写体群の撮影画像を順次取得する撮像部及び前記撮影画像を順次表示する表示部を更に備えて、前記撮像部を用いて前記複数の入力画像を取得し、
前記表示部にて前記撮影画像を表示する際、前記不要被写体の表示領域とそれ以外の表示領域とが視覚的に区別できるような表示を成す
ことを特徴とする請求項1〜請求項4の何れかに記載の電子機器。
【図1】
【図2】
【図4】
【図6】
【図7】
【図9】
【図10】
【図11】
【図13】
【図3】
【図5】
【図8】
【図12】
【図14】
【図2】
【図4】
【図6】
【図7】
【図9】
【図10】
【図11】
【図13】
【図3】
【図5】
【図8】
【図12】
【図14】
【公開番号】特開2012−175533(P2012−175533A)
【公開日】平成24年9月10日(2012.9.10)
【国際特許分類】
【出願番号】特願2011−37235(P2011−37235)
【出願日】平成23年2月23日(2011.2.23)
【出願人】(000001889)三洋電機株式会社 (18,308)
【Fターム(参考)】
【公開日】平成24年9月10日(2012.9.10)
【国際特許分類】
【出願日】平成23年2月23日(2011.2.23)
【出願人】(000001889)三洋電機株式会社 (18,308)
【Fターム(参考)】
[ Back to top ]