撮影装置
【課題】撮影装置において、短時間に精度良く指写りの判定を可能にする。
【解決手段】撮影装置は、撮像部11により取得した被写体の撮像データを記憶する撮像データ記憶部12、撮影装置の動きを検出する動き検出部14、撮像データの色分布を識別する色分布識別部13、撮影装置の動きがある状態で取得された複数の撮像データの画像パラメータに基づき、撮像データにおいて略同一の領域に略同一の色分布がある場合、当該領域を指写りによる不要画像が含まれる不要画像領域であると判定する不要画像判定部15、不要画像領域が検出されたことを表示する表示部16を備える。
【解決手段】撮影装置は、撮像部11により取得した被写体の撮像データを記憶する撮像データ記憶部12、撮影装置の動きを検出する動き検出部14、撮像データの色分布を識別する色分布識別部13、撮影装置の動きがある状態で取得された複数の撮像データの画像パラメータに基づき、撮像データにおいて略同一の領域に略同一の色分布がある場合、当該領域を指写りによる不要画像が含まれる不要画像領域であると判定する不要画像判定部15、不要画像領域が検出されたことを表示する表示部16を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影装置に関し、特にデジタルカメラ、カメラ機能付き電子機器などの使用者が筐体を把持して被写体の撮影を行う撮影装置に関する。
【背景技術】
【0002】
デジタルカメラ、カメラ機能付き電子機器などの撮影機能を持つ電子機器が広く普及している。カメラ機能付き電子機器の例として、携帯電話装置、スマートフォンなどの携帯通信端末においても、カメラ機能が搭載されたものが一般的になりつつある。
【0003】
この種の撮影装置は、携帯性を高めるために、小型化が進んでおり、撮影時に使用者の指が撮影画像内に写ってしまう現象、いわゆる「指写り」が生じやすいという課題がある。撮影装置によっては、レンズに指がかからないように持とうとすると、装置筐体をしっかり持つことができず、手振れしやすくなってしまう場合がある。また、スマートフォンなどでは、筐体の厚みが薄いため、しっかり持とうとすると指がレンズ側に回りこみ易く、またレンズが端末の端部に位置しているため、指写りが発生しやすい。
【0004】
指写りの課題を解決するものとして、特許文献1には、不要画像検出領域と非検出領域とで、フォーカス評価値、色成分の信号レベル、輝度成分の信号レベルを比較し、不要画像が写り込んでいると判定した場合に撮影者に対して警告を行う撮像装置が開示されている。また、特許文献2には、複数のライブビュー画像における所定の低輝度領域の位置の経時変化に基づいて、移動領域と非移動低輝度領域との両方が存在する場合に、撮影者の手指が撮影対象領域内に含まれていると判定する撮像装置が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第4462305号公報
【特許文献2】特開2004−040712号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1の従来例では、レンズを無限端からマクロ端まで移動させてフォーカス評価値を取得する必要がある。特許文献2の従来例では、撮影画像における低輝度領域の位置の経時変化情報を必要とする。これらは撮影レスポンスに影響を与えるため、指写りの有無を判定しながら撮影を行うのに時間がかかるという課題がある。
【0007】
また、撮影状況によっては、撮影画像における低輝度領域が所定位置に継続して存在する場合、指写りを誤判定してしまうことがある。例えば、撮影装置を机の上に置いて定点撮影する場合を想定すると、撮影画像の下部に写る机は撮影装置から至近距離に存在するため、マクロ側で撮影画像のコントラスト値が大きくなる。また、机の位置は経時変化しない。従来例では、このような場合は机を指写りと誤判定してしまう。
【0008】
本発明は、上記事情に鑑みてなされたもので、その目的は、短時間に精度良く指写りの判定が可能な撮影装置を提供することにある。
【課題を解決するための手段】
【0009】
本発明の撮影装置は、被写体像を撮像する撮像部と、前記撮像部により取得した被写体の撮像データを記憶する撮像データ記憶部と、当該撮影装置の動きを検出する動き検出部と、前記撮像データの画像パラメータの分布を識別する画像パラメータ識別部と、前記撮影装置の動きがある状態で取得された複数の撮像データの画像パラメータに基づき、前記撮像データにおいて略同一の領域に略同一の画像パラメータの分布がある場合、当該領域を不要画像が含まれる不要画像領域であると判定する不要画像判定部と、前記不要画像領域が検出されたことを通知する通知部と、を備える。
【発明の効果】
【0010】
本発明によれば、撮影装置において、短時間に精度良く指写りの判定を可能にすることができる。
【図面の簡単な説明】
【0011】
【図1】本発明の第1の実施形態に係る撮影装置の主要部の構成を示すブロック図
【図2】第1の実施形態に係る撮影装置の動作手順を示すフローチャート
【図3】本発明の第2の実施形態に係る撮影装置の主要部の構成を示すブロック図
【図4】第2の実施形態に係る撮影装置の動作を説明する模式図
【図5】第2の実施形態に係る撮影装置の動作手順を示すフローチャート
【図6】第3の実施形態に係る撮影装置の動作を説明する模式図
【図7】第3の実施形態に係る撮影装置の動作手順を示すフローチャート
【図8】本発明の第4の実施形態に係る撮影装置の主要部の構成を示すブロック図
【図9】第4の実施形態に係る撮影装置の動作を説明する模式図
【図10】第5の実施形態に係る撮影装置の動作を説明する模式図
【図11】第5の実施形態に係る撮影装置の動作を説明する模式図
【図12】第5の実施形態に係る撮影装置の動作手順を示すフローチャート
【発明を実施するための形態】
【0012】
本実施形態では、撮影装置の一例として、デジタルカメラ、携帯電話装置またはスマートフォン等のカメラ機能付き携帯端末など、撮影機能を有する電子機器に適用した構成例を示す。
【0013】
(第1の実施形態)
図1は本発明の第1の実施形態に係る撮影装置の主要部の構成を示すブロック図である。
【0014】
撮影装置は、撮像部11、撮像データ記憶部12、色分布認識部13、動き検出部14、不要画像判定部15、表示部16、制御部17、操作部18を備えている。
【0015】
撮像部11は、一つまたは複数のレンズを有する撮影光学系と、CMOSイメージセンサまたはCCDイメージセンサ等の撮像素子とを有して構成され、撮影光学系にて結像した被写体像を撮像素子にて光電変換し、被写体の撮像データを出力する。
【0016】
撮像データ記憶部12は、メモリを有して構成され、撮像部11にて取得した撮像データを記憶する。撮像データ記憶部12には、撮像データとして、撮影前のプレビュー画像における動画像または静止画像の画像データ、あるいは、ユーザの撮影操作による静止画像または動画像の撮影画像の画像データ等が記憶される。
【0017】
色分布認識部13は、画像パラメータ認識部の一例として機能するものであり、撮像データ記憶部12に記憶された撮像データについて、画像中の色分布を認識する。本実施形態では、色分布認識部13は、動き検出部14によって撮影装置の動きが検出された状態のときに、撮影前のプレビュー画像の動画像の撮像データについて色分布を認識する。
【0018】
動き検出部14は、加速度センサ、ジャイロスコープ等を有して構成され、撮影装置の動きを検出する。なお、動き検出部14は、撮影装置本体の動きを直接検出するものに限らず、撮像データの画像中の動きを検出して間接的に撮影装置の動きを検出するものを用いることも可能である。
【0019】
不要画像判定部15は、色分布認識部13による動き検出時の撮像データの色分布の認識結果に基づき、撮影する画像中に不要画像が存在しているかどうかを判定する。本実施形態では、不要画像判定部15は、動き検出中のプレビュー画像の動画像において、色分布が同様(略同一)の領域がある場合、すなわち、撮影装置が動いているにも関わらず、画像中の同様(略同一)の位置に同様(略同一)の色分布が継続してある場合は該当領域に不要画像が存在すると判定する。この不要画像は、撮影装置を把持しているユーザの指などと考えられるので、これによって指写りが発生していることを判定する。
【0020】
なお、不要画像判定部15において不要画像を判定するための情報として、色分布の他に、各種の画像パラメータを用いることも可能である。例えば、画像パラメータとして、RGB、YCbCr、L*a*b*、XYZ、L*u*v*、HSVなどを用いて、撮像データの色(色相、色差等を含む)、輝度などの分布を認識し、この認識結果に基づいて画像中の不要画像の判定が可能である。
【0021】
表示部16は、通知部の一例として機能するものであり、液晶ディスプレイ、LED、ランプ等により構成され、不要画像の判定結果を表示してユーザに不要画像の存在を通知する。
【0022】
制御部17は、撮影装置の各部の動作を制御するものであり、特に撮像部11、色分布認識部13、不要画像判定部15の動作制御を行う。操作部18は、押しボタン等の操作部材を有したスイッチ、あるいはタッチパネル等からなる操作デバイスによって構成され、ユーザの操作指示に基づき撮影装置における各種操作入力を行う。
【0023】
色分布認識部13、不要画像判定部15、制御部17は、各種情報処理を行うプロセッサ及びメモリ等を有して構成されるコンピュータ等からなる処理部において、所定のプログラムを実行することにより、各部の機能が実現される。
【0024】
次に、第1の実施形態における撮影装置の動作について説明する。図2は第1の実施形態に係る撮影装置の動作手順を示すフローチャートである。
【0025】
色分布認識部13は、動き検出部14によって撮影装置の動きを検出しているかどうかを判断し(ステップS11)、動きを検出している場合は、プレビュー画像の動画像において、直前2フレーム分の画像の撮像データを撮像データ記憶部12から読み込む(ステップS12)。なお、読み込むフレーム数は2フレーム以上の複数フレームであればいくつでもよい。続いて、色分布認識部13は、それぞれのフレームの撮像データの色分布を認識する(ステップS13)。
【0026】
次に、不要画像判定部15は、色分布認識部13による色分布の認識結果に基づき、複数フレームの撮像データにおいて色分布が同じ領域(略同一の領域)があるか、すなわち異なるフレームの画像中の同じ位置(略同一の位置)に同じ色分布(略同一の色分布)が存在するかを判断する(ステップS14)。ここで、二つのフレームにおいて色分布が同じ領域がある場合(ステップS14にてYES)は、不要画像が存在していると判定する。この場合、不要画像判定部15は、表示部16に対して制御情報、表示情報等を含む信号を出力し、表示部16に不要画像を検出したことを表示させる(ステップS15)。一方、ステップS14の判断において、複数フレームの撮像データ中に色分布が同じ領域が存在しない場合(ステップS14にてNO)は、不要画像が存在しないと判定し、そのまま本処理を終了する。
【0027】
第1の実施形態では、撮影装置の動きを検出している間に取得したプレビュー画像の複数フレームの撮像データを比較し、撮影装置の動きに対して位置が変化しない特定の色領域がある場合に、指写りによる不要画像が存在していると判定する。これにより、即時に不要画像の有無を判定でき、短時間で指写りの判定をすることができる。また、撮影装置の動きがある場合のみに判定を行うため、例えば撮影装置を机の上に置いて定点撮影する場合などでの誤判定を防止できる。
【0028】
(第2の実施形態)
図3は本発明の第2の実施形態に係る撮影装置の主要部の構成を示すブロック図である。
【0029】
第2の実施形態は、一つの撮影光学系によって視差のある二枚の画像(左目画像と右目画像)を順次撮影する単眼3D撮影の機能を持つ撮影装置の例である。撮影装置は、撮像部21、撮像データ記憶部22、輝度分布認識部23、輝度分布記憶部24、不要画像判定部25、表示部26、制御部27、操作部28を備えている。
【0030】
単眼3D撮影による立体撮影を行う場合は、左目画像または右目画像の一方を任意の位置(一枚目撮影場所)にて撮影した後、ユーザが水平方向に撮影装置を所定量移動させ、所定の視差を有する位置(二枚目撮影場所)において、他方の画像を撮影する。以下では、一枚目に左目画像を撮影し、二枚目に右目画像を撮影する場合について説明する。
【0031】
撮像データ記憶部22は、撮像部21にて取得した撮像データとして、撮影前のプレビュー画像の画像データを逐次記憶するとともに、立体撮影時の左目画像、右目画像の画像データを記憶する。
【0032】
輝度分布認識部23は、画像パラメータ認識部の一例として機能するものであり、撮像データ記憶部22に記憶された撮像データについて、画像中の輝度分布を認識する。本実施形態では、輝度分布認識部23は、単眼3D撮影による立体撮影が行われているときに、撮影した左目画像と、右目画像撮影前のプレビュー画像または撮影した右目画像との双方の撮像データについて輝度分布を認識する。単眼3D撮影では、ユーザが撮影装置を水平方向に所定量移動させて視差のある二枚の画像を撮影するため、撮影装置において必然的に動きが生じる。よって、撮影装置は、単眼3D撮影モードの状態を認識することにより、撮影装置に動きが発生している状態を検出する。
【0033】
輝度分布記憶部24は、輝度分布認識部23により認識した撮像データの輝度分布を記憶する。本実施形態では、先に撮影した左目画像の撮像データの輝度分布を記憶しておく。なお、左目画像と右目画像の双方の撮像データの輝度分布を記憶してもよい。
【0034】
不要画像判定部25は、輝度分布認識部23による撮像データの輝度分布の認識結果に基づき、撮影する画像中に不要画像が存在しているかどうかを判定する。本実施形態では、不要画像判定部25は、撮影した左目画像と、右目画像撮影前のプレビュー画像または撮影した右目画像との双方の撮像データについて輝度分布を比較し、同じ位置(略同一の位置)に低輝度領域がある場合は該当領域に不要画像が存在すると判定する。すなわち、単眼3D撮影のために撮影装置に動きがあったにも関わらず、画像中の同じ位置に低輝度領域がある場合に、不要画像有りと判定する。この低輝度領域の不要画像は、撮影装置を把持しているユーザの指などと考えられるので、これによって指写りが発生していることを判定する。
【0035】
なお、不要画像判定部25において不要画像を判定するための情報として、輝度分布の代わりに、第1の実施形態と同様に色分布を用いてもよい。また、各種の画像パラメータを用いることも可能である。例えば、画像パラメータとして、RGB、YCbCr、L*a*b*、XYZ、L*u*v*、HSVなどを用いて、撮像データの色(色相、色差等を含む)、輝度などの分布を認識し、この認識結果に基づいて画像中の不要画像の判定が可能である。
【0036】
表示部26は、通知部の一例として機能するものであり、液晶ディスプレイ、LED、ランプ等により構成され、不要画像の判定結果を表示してユーザに不要画像の存在を通知する。
【0037】
制御部27は、撮影装置の各部の動作を制御するものであり、特に撮像部21、輝度分布認識部23、不要画像判定部25の動作制御を行う。操作部28は、押しボタン等の操作部材を有したスイッチ、あるいはタッチパネル等からなる操作デバイスによって構成され、ユーザの操作指示に基づき撮影装置における各種操作入力を行う。
【0038】
輝度分布認識部23、輝度分布記憶部24、不要画像判定部25、制御部27は、各種情報処理を行うプロセッサ及びメモリ等を有して構成されるコンピュータ等からなる処理部において、所定のプログラムを実行することにより、各部の機能が実現される。
【0039】
次に、第2の実施形態における撮影装置の動作について説明する。図4は第2の実施形態に係る撮影装置の動作を説明する模式図である。図4において、(A)は単眼3D撮影用カメラの外観図、(B)は被写体に対するカメラの位置を示す図、(C)は指写りがある場合と無い場合の左目画像及び右目画像の例を示す図である。
【0040】
図4(A)に示すように、単眼3D撮影機能を持つカメラ30は、一つの撮影光学系のレンズ31を有している。図4(B)に示すように、単眼3D撮影により立体撮影を行う場合、被写体の左目画像を撮影した後、所定の視差が得られるようにカメラ30を水平右方向に所定量移動させ、右目画像を撮影する。
【0041】
図4(C)の上段に示すように、指写りが無い場合は、一枚目の左目画像と二枚目の右目画像の同じ位置に低輝度領域が存在することは無い。このため、所定視差を有する同じ位置に低輝度領域の無い二つの撮影画像から、立体画像を生成することができる。図4(C)の下段に示すように、カメラのレンズの一部にユーザの指がかかり、指写りがある場合は、一枚目の左目画像と二枚目の右目画像との双方において、同じ位置に低輝度領域が存在する。二つの画像間に視差を与えるために被写体に対するカメラ位置が移動したにも関わらず、同じ位置に低輝度領域がある場合は、この低輝度領域は指写りによる不要画像であると判定できる。
【0042】
図5は第2の実施形態に係る撮影装置の動作手順を示すフローチャートである。
【0043】
輝度分布認識部23は、左目画像の撮像データを撮像データ記憶部22から読み込み(ステップS21)、左目画像の輝度分布を認識する(ステップS22)。そして、輝度分布認識部23は、認識した左目画像の輝度分布を輝度分布記憶部24に記憶させる(ステップS23)。
【0044】
続いて、輝度分布認識部23は、右目画像の撮像データを撮像データ記憶部22から読み込み(ステップS24)、右目画像の輝度分布を認識する(ステップS25)。なお、右目画像の撮像データの代わりに、右目画像撮影前のプレビュー画像の輝度分布を認識してもよい。また、左目画像と同様に右目画像の輝度分布を輝度分布記憶部24に記憶させてもよい。
【0045】
次に、不要画像判定部25は、輝度分布認識部23による輝度分布の認識結果に基づき、左目画像と右目画像との双方の撮像データの輝度分布において、同じ位置(略同一の位置)に低輝度領域があるかどうかを判断する(ステップS26)。ここで、二つの画像の同じ位置に低輝度領域がある場合(ステップS26にてYES)は、不要画像が存在していると判定する。この場合、不要画像判定部25は、表示部26に対して制御情報、表示情報等を含む信号を出力し、表示部26に不要画像を検出したことを表示させる(ステップS27)。一方、ステップS26の判断において、左目画像と右目画像の撮像データ中の同じ位置に低輝度領域が存在しない場合(ステップS26にてNO)は、不要画像が存在しないと判定し、そのまま本処理を終了する。
【0046】
第2の実施形態では、単眼3D撮影による立体撮影を行う場合に、左目画像と右目画像の撮像データを比較し、撮影装置の移動に対して同じ位置に低輝度領域がある場合、指写りによる不要画像が存在していると判定する。これにより、即時かつ容易に不要画像の有無を判定でき、短時間で誤り無く指写りの判定をすることができる。
【0047】
(第3の実施形態)
第3の実施形態は、二つの撮影光学系によって視差のある二枚の画像(左目画像と右目画像)を同時撮影する複眼3D撮影の機能を持つ撮影装置の例である。第3の実施形態の撮影装置の構成は第2の実施形態と同様であり、第2の実施形態とは一部の機能が異なっている。第2の実施形態と異なる点を中心に説明する。
【0048】
図6は第3の実施形態に係る撮影装置の動作を説明する模式図である。図6において、(A)は複眼3D撮影用カメラの外観図、(B)は被写体に対するカメラの位置を示す図、(C)は指写りがある場合と無い場合の左目画像及び右目画像の例を示す図である。
【0049】
図6(A)に示すように、複眼3D撮影機能を持つカメラ40は、二つの撮影光学系のレンズ41、42を有している。図6(B)に示すように、複眼3D撮影により立体撮影を行う場合、二つのレンズ41、42によって同時に被写体の左目画像と右目画像をそれぞれ撮影する。
【0050】
図6(C)の上段に示すように、指写りが無い場合は、左目画像と右目画像の一方のみに低輝度領域が存在することは無い。このため、所定視差を有する一方の画像のみに低輝度領域が存在することの無い二つの撮影画像から、立体画像を生成することができる。図6(C)の下段に示すように、指写りがある場合は、通常はカメラの一方のレンズの一部にユーザの指がかかるため、左目画像と右目画像のどちらか一方において、低輝度領域が存在する。一方の画像のみに低輝度領域がある場合は、この低輝度領域は指写りによる不要画像であると判定できる。
【0051】
図7は第3の実施形態に係る撮影装置の動作手順を示すフローチャートである。複眼3D撮影による立体撮影を行う場合は、左目画像と右目画像の撮像データを同時に取得し、それぞれ撮像データ記憶部22に記憶する。
【0052】
輝度分布認識部23は、左目画像の撮像データを撮像データ記憶部22から読み込み(ステップS31)、左目画像の輝度分布を認識する(ステップS32)。そして、輝度分布認識部23は、認識した左目画像の輝度分布を輝度分布記憶部24に記憶させる(ステップS33)。
【0053】
続いて、輝度分布認識部23は、右目画像の撮像データを撮像データ記憶部22から読み込み(ステップS34)、右目画像の輝度分布を認識する(ステップS35)。なお、左目画像と同様に右目画像の輝度分布を輝度分布記憶部24に記憶させてもよい。
【0054】
次に、不要画像判定部25は、輝度分布認識部23による輝度分布の認識結果に基づき、左目画像と右目画像との双方の撮像データの輝度分布において、一方の画像だけに低輝度領域があるかどうかを判断する(ステップS36)。ここで、一方の画像だけに低輝度領域がある場合(ステップS36にてYES)は、不要画像が存在していると判定する。この場合、不要画像判定部25は、表示部26に対して制御情報、表示情報等を含む信号を出力し、表示部26に不要画像を検出したことを表示させる(ステップS37)。一方、ステップS36の判断において、左目画像と右目画像の撮像データの両方に低輝度領域が存在しないか、あるいは両方に低輝度領域が存在する場合は、不要画像が存在しないと判定し、そのまま本処理を終了する。
【0055】
なお、第3の実施形態の撮影装置において、第1の実施形態と同様に、撮影装置の動きが検出されたときに撮像データの色分布の認識を行い、画像中の位置が変化しない色領域を検出することによって、不要画像の有無を判定することも可能である。
【0056】
第3の実施形態では、複眼3D撮影による立体撮影を行う場合に、左目画像と右目画像の撮像データを比較し、一方の画像のみに低輝度領域がある場合、指写りによる不要画像が存在していると判定する。これにより、即時かつ容易に不要画像の有無を判定でき、短時間で誤り無く指写りの判定をすることができる。
【0057】
(第4の実施形態)
第4の実施形態として、撮影画像において指写りによる不要画像領域の画像補正動作の第1例を示す。
【0058】
図8は本発明の第4の実施形態に係る撮影装置の主要部の構成を示すブロック図である。第4の実施形態の撮影装置は、撮影画像に関する画像処理を行う画像処理部51と、画像処理後の画像データを保存する画像保存部52とを備えている。その他は図1に示した第1の実施形態と同様であり、ここでは第1の実施形態と異なる点を中心に説明する。なお、第4の実施形態を第2の実施形態または第3の実施形態と組み合せることも可能である。
【0059】
画像処理部51は、撮像データ記憶部12に記憶された撮像データにおいて不要画像が存在する場合、不要画像領域の補完処理等を行って不要画像を無くすように撮影画像を補正する。画像保存部52は、画像処理部51による画像処理後の撮影画像の画像データを保存する。なお、画像処理後の撮影画像は、表示部16に表示することも可能である。
【0060】
図9は第4の実施形態に係る撮影装置の動作を説明する模式図である。図9において、(A)は動画像の複数フレームの撮像データを示す図、(B)は他のフレームの撮像データを利用した画像補正の例を示す図、(C)は撮像データの画像中の動きベクトルの算出方法を説明する図である。
【0061】
図9(A)に示すように、撮像データ記憶部12には、N−1フレーム目,Nフレーム目,N+1フレーム目,N+2フレーム目,…と複数フレームにおいて同じ色分布領域が存在する動画像の撮像データが記憶されているものとする。この場合、色分布認識部13及び不要画像判定部15によって不要画像ありと判定される。撮像データは、動画像撮影時の画像データ、あるいはプレビュー表示時の画像データに相当する。
【0062】
画像処理部51は、二つ以上のフレームの撮像データを用いて不要画像領域の補完処理を行う。図9(B)に示す例では、N−1フレーム目とNフレーム目の撮像データを用いて、右側に示すように不要画像領域の画素を他のフレームの撮像データによって補完する。このとき、画像処理部51は、図9(C)に示すように、二つのフレームの画像に共通する特徴点P1、P2、P3を抽出し、特徴点の動きベクトルを算出する。この動きベクトルによって、不要画像領域に対応する領域の動き量がわかる。Nフレーム目の不要画像領域S′を補完するには、算出した特徴点の動きベクトルの逆ベクトルによって、不要画像領域S′からN−1フレーム目の対応領域Sを求める。この対応領域Sの画素データを不要画像領域S′に当てはめることによって、不要画像領域S′に隠れた被写体部分の画像を復元できる。
【0063】
なお、不要画像領域の補正処理に用いる撮像データは、撮影時の記録中の撮影画像のフレームであってもよいし、プレビュー画像のフレームであってもよい。また、動画像の撮像データに限らず、静止画像の撮像データに適用することも可能である。画素の補完に用いる撮像データは、補正対象のフレームの前のフレームだけでなく、後ろのフレームを用いてもよいし、前後両方のフレームを用いてもよい。
【0064】
第4の実施形態によれば、指写りが発生した場合に、適切に不要画像領域の画素を補完して画像補正を行い、撮影画像に対する指写りの影響を無くすことができる。また、画像補正において不要画像領域のトリミング等を行う必要がないため、撮影画像の画角が狭くなる不具合を防止できる。
【0065】
(第5の実施形態)
第5の実施形態として、撮影画像において指写りによる不要画像領域の画像補正動作の第2例を示す。第5の実施形態の撮影装置の構成は第4の実施形態と同様であり、画像補正動作の他の例を示したものである。
【0066】
図10及び図11は第5の実施形態に係る撮影装置の動作を説明する模式図である。図10において、(A)は不要画像領域を指定している状態を示す図、(B)は動画像の複数フレームの撮像データを示す図である。図11は画像補正の複数例を示す図であり、(A)は補完完了時の画像例を示す図、(B)は補完未完了時の切り出し処理の例を示す図である。
【0067】
図10(A)に示すように、撮影時には、撮影装置の表示部16のファインダ画面において、指写りしている領域、あるいは指写りの可能性が高い領域をユーザが不要画像領域61として指定する。撮影装置の形状、大きさ、操作部のレイアウトなどによって、指写りが発生する領域、指写りの可能性が高い領域が特定されることがある。本実施形態では、このような場合を想定して、予め不要画像領域を設定し、不要画像領域の画像補正を行うか、あるいは不要画像領域を使用せずに他領域の画像を切り出して撮影画像を生成する。
【0068】
図12は第5の実施形態に係る撮影装置の動作手順を示すフローチャートである。ユーザが操作部18(図10(A)の例ではタッチパネル)を操作して、不要画像領域である指写り領域を指定すると、制御部17は、指定された不要画像領域の領域情報を画像処理部51に転送する(ステップS41)。画像処理部51は、不要画像領域の領域情報を記憶しておく。ここで、操作部18及び制御部17が不要画像領域設定部の機能を実現する。
【0069】
次に、画像処理部51は、撮像データ記憶部12に記憶された撮像データにおいて、補完が必要な領域を特定する(ステップS42)。図10(B)に示すように、撮像データ記憶部12には、N−1フレーム目,Nフレーム目,N+1フレーム目,N+2フレーム目,…と複数フレームの動画像の撮像データが記憶されているものとする。撮像データは、動画像撮影時の画像データ、あるいはプレビュー表示時の画像データに相当する。画像処理部51は、第4の実施形態のように、他のフレームの撮像データを用いて不要画像領域の補完が可能な場合は、補完処理を行う。図12の処理例においては、画像処理部51は、プレビュー画像において不要画像領域の補完を行う(ステップS43)。このとき、補完用の撮像データを得るために、ユーザに対して撮影装置を動かすことを促す表示または音声等の通知を行うことも可能である。これにより、動きのある状態での複数フレームの撮像データを取得できる。
【0070】
その後、ユーザが操作部18のシャッタボタンを押下操作して、撮影の実行を指示すると、制御部17の指示に基づき、画像処理部51は、撮像データ記憶部12に記憶された撮像データを元に、被写体の撮影画像を生成する(ステップS44)。
【0071】
画像処理部51は、ステップS43における補完処理が正常に完了したかどうかを判断し(ステップS45)、補完処理が正常に完了した場合、フル画角の撮影画像を生成し、画像保存部52、表示部16に出力する(ステップS46)。図11(A)に示すように、補完完了時の画像71の撮像データについては、画像処理部51はこのままフル画角の撮影画像を生成する。
【0072】
一方、補完処理が正常に完了していない場合、画像処理部51は、不要画像領域を含む領域を除くように、画像中の指写り無し領域を切り出して撮影画像を生成し、画像保存部52、表示部16に出力する(ステップS47)。図11(B)に示すように、補完未完了時の画像72の撮像データについては、画像処理部51は不要画像領域を除いた領域を切り出して撮影画像を生成する。指写り無し領域の切り出し方法としては、図示したような2つの方法が挙げられる。第1の方法は、破線枠で示す領域73のように、指写り無し領域をそのまま切り出して撮影画像を生成するものである。第2の方法は、一点鎖線枠で示す領域74のように、元画像と縦横比を合わせて左右方向及び上下方向のトリミングを行い、指写り無し領域を切り出して撮影画像を生成するものである。
【0073】
第5の実施形態によれば、指写りが発生した領域または可能性の高い領域を予め不要画像領域として設定し、画像補正を行うことにより、ユーザが意図的に不要画像領域の補正を実行でき、撮影画像に対する指写りの影響を無くすことができる。また、不要画像領域の補正は、画素の補完によって行い、補完できない場合は、不要画像領域のトリミングを適切に行うことによって、指写りの無い撮影画像を得ることができる。
【0074】
本発明に係る実施形態の種々の態様として、以下のものが含まれる。
【0075】
被写体像を撮像する撮像部と、前記撮像部により取得した被写体の撮像データを記憶する撮像データ記憶部と、当該撮影装置の動きを検出する動き検出部と、前記撮像データの画像パラメータの分布を識別する画像パラメータ識別部と、前記撮影装置の動きがある状態で取得された複数の撮像データの画像パラメータに基づき、前記撮像データにおいて略同一の領域に略同一の画像パラメータの分布がある場合、当該領域を不要画像が含まれる不要画像領域であると判定する不要画像判定部と、前記不要画像領域が検出されたことを通知する通知部と、を備える撮影装置。
上記構成により、撮影前のプレビュー画像などの撮影装置に動きのある状態で取得した複数の撮像データについて、色分布、輝度分布等の画像パラメータの分布を認識し、略同一の領域に略同一の画像パラメータの分布がある場合、不要画像領域であると判定できる。このため、短時間に指写りによる不要画像領域を判定でき、撮影レスポンスを向上できる。また、撮影装置に動きが無い場合は、不要画像領域を判定しないため、定点撮影時などでの誤判定を抑制できる。
【0076】
上記の撮影装置であって、前記画像パラメータ識別部は、前記画像パラメータとして撮像データの色分布を認識する撮影装置。
上記構成により、撮像データの色分布を用いて、動きがある状態での複数の撮像データにおいて非移動の略同一色分布領域を認識し、不要画像領域の有無を判定できる。
【0077】
上記の撮影装置であって、前記不要画像判定部は、前記複数の撮像データの色分布において、略同一の色分布の領域が存在する場合、当該領域を不要画像が含まれる不要画像領域であると判定する撮影装置。
上記構成により、撮像データの色分布を用いて、動きがある状態での複数の撮像データにおいて非移動の略同一色分布領域を認識し、不要画像領域の有無を判定できる。
【0078】
上記の撮影装置であって、前記画像パラメータ識別部は、前記画像パラメータとして撮像データの輝度分布を認識する撮影装置。
上記構成により、撮像データの輝度分布を用いて、動きがある状態での複数の撮像データにおいて非移動の低輝度領域を認識し、不要画像領域の有無を判定できる。
【0079】
上記の撮影装置であって、前記撮像部は、一つの撮影光学系によって視差のある二枚の画像を順次撮影する単眼3D撮影が可能であり、前記画像パラメータ識別部は、前記画像パラメータとして撮像データの輝度分布を認識し、前記不要画像判定部は、前記二枚の画像の撮像データの双方において、略同一の位置に低輝度領域が存在する場合、当該領域を不要画像が含まれる不要画像領域であると判定する撮影装置。
上記構成により、単眼3D撮影を行う場合に、撮影装置を移動させて順次取得する視差のある二つの撮像データにおいて、略同一の位置に低輝度領域を認識することにより、不要画像領域を判定できる。
【0080】
上記の撮影装置であって、前記撮像部は、二つの撮影光学系によって視差のある二枚の画像を同時撮影する複眼3D撮影が可能であり、前記画像パラメータ識別部は、前記画像パラメータとして撮像データの輝度分布を認識し、前記不要画像判定部は、前記二枚の画像の撮像データの一方のみに低輝度領域が存在する場合、当該領域を不要画像が含まれる不要画像領域であると判定する撮影装置。
上記構成により、複眼3D撮影を行う場合に、同時取得する視差のある二つの撮像データにおいて、一方のみに低輝度領域を認識することにより、不要画像領域を判定できる。
【0081】
上記の撮影装置であって、前記撮像データの画像処理を行う画像処理部を備え、前記画像処理部は、前記不要画像領域を含む撮像データについて、前記撮像データ記憶部に記憶された他の撮像データを用いて被写体の画像の動きベクトルを算出し、前記動きベクトルに応じて前記他の撮像データから前記不要画像領域の画素を補完する、撮影装置。
上記構成により、他の撮像データを用いて不要画像領域を補完することにより、指写りが生じても撮影画像には影響を与えないようにすることができる。また、不要画像領域のトリミング等を行わないので、画角が狭くなることを防止できる。
【0082】
上記の撮影装置であって、前記不要画像領域となる可能性が高い領域を予め設定する不要画像領域設定部を備える撮影装置。
上記構成により、予め不要画像領域を設定することによって、不要画像領域に関する画像補正など、指写りの対策を意図的かつ効果的に機能させることができる。
【0083】
上記の撮影装置であって、前記画像処理部は、前記不要画像領域を含む撮像データについて、前記他の撮像データからの画素を補完ができない場合、前記不要画像領域を含む領域を除くように撮像データを切り出して撮影画像を生成する、撮影装置。
上記構成により、不要画像領域について他の撮像データを用いて補完できない場合、不要画像領域を含まない撮像データを切り出して撮影画像を生成できる。
【0084】
被写体像を撮像する撮像部を備える撮影装置における撮影方法であって、前記撮像部により取得した被写体の撮像データを記憶するステップと、当該撮影装置の動きを検出するステップと、前記撮像データの画像パラメータの分布を識別するステップと、前記撮影装置の動きがある状態で取得された複数の撮像データの画像パラメータに基づき、前記撮像データにおいて略同一の領域に略同一の画像パラメータの分布がある場合、当該領域を不要画像が含まれる不要画像領域であると判定するステップと、前記不要画像領域が検出されたことを通知するステップと、を有する撮影方法。
【0085】
上記の撮影方法における各手順を、コンピュータにより実行させるプログラム。
【0086】
なお、本発明は、本発明の趣旨ならびに範囲を逸脱することなく、明細書の記載、並びに周知の技術に基づいて、当業者が様々な変更、応用することも本発明の予定するところであり、保護を求める範囲に含まれる。また、発明の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【0087】
本発明は、撮影装置において、短時間に精度良く指写りの判定を可能にすることができる効果を有し、例えばデジタルカメラ、カメラ機能付き電子機器などの使用者が筐体を把持して被写体の撮影を行う撮影装置等として有用である。
【符号の説明】
【0088】
11、21 撮像部
12、22 撮像データ記憶部
13 色分布認識部
14 動き検出部
15、25 不要画像判定部
16、26 表示部
17、27 制御部
18、28 操作部
23 輝度分布認識部
24 輝度分布記憶部
51 画像処理部
52 画像保存部
【技術分野】
【0001】
本発明は、撮影装置に関し、特にデジタルカメラ、カメラ機能付き電子機器などの使用者が筐体を把持して被写体の撮影を行う撮影装置に関する。
【背景技術】
【0002】
デジタルカメラ、カメラ機能付き電子機器などの撮影機能を持つ電子機器が広く普及している。カメラ機能付き電子機器の例として、携帯電話装置、スマートフォンなどの携帯通信端末においても、カメラ機能が搭載されたものが一般的になりつつある。
【0003】
この種の撮影装置は、携帯性を高めるために、小型化が進んでおり、撮影時に使用者の指が撮影画像内に写ってしまう現象、いわゆる「指写り」が生じやすいという課題がある。撮影装置によっては、レンズに指がかからないように持とうとすると、装置筐体をしっかり持つことができず、手振れしやすくなってしまう場合がある。また、スマートフォンなどでは、筐体の厚みが薄いため、しっかり持とうとすると指がレンズ側に回りこみ易く、またレンズが端末の端部に位置しているため、指写りが発生しやすい。
【0004】
指写りの課題を解決するものとして、特許文献1には、不要画像検出領域と非検出領域とで、フォーカス評価値、色成分の信号レベル、輝度成分の信号レベルを比較し、不要画像が写り込んでいると判定した場合に撮影者に対して警告を行う撮像装置が開示されている。また、特許文献2には、複数のライブビュー画像における所定の低輝度領域の位置の経時変化に基づいて、移動領域と非移動低輝度領域との両方が存在する場合に、撮影者の手指が撮影対象領域内に含まれていると判定する撮像装置が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第4462305号公報
【特許文献2】特開2004−040712号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1の従来例では、レンズを無限端からマクロ端まで移動させてフォーカス評価値を取得する必要がある。特許文献2の従来例では、撮影画像における低輝度領域の位置の経時変化情報を必要とする。これらは撮影レスポンスに影響を与えるため、指写りの有無を判定しながら撮影を行うのに時間がかかるという課題がある。
【0007】
また、撮影状況によっては、撮影画像における低輝度領域が所定位置に継続して存在する場合、指写りを誤判定してしまうことがある。例えば、撮影装置を机の上に置いて定点撮影する場合を想定すると、撮影画像の下部に写る机は撮影装置から至近距離に存在するため、マクロ側で撮影画像のコントラスト値が大きくなる。また、机の位置は経時変化しない。従来例では、このような場合は机を指写りと誤判定してしまう。
【0008】
本発明は、上記事情に鑑みてなされたもので、その目的は、短時間に精度良く指写りの判定が可能な撮影装置を提供することにある。
【課題を解決するための手段】
【0009】
本発明の撮影装置は、被写体像を撮像する撮像部と、前記撮像部により取得した被写体の撮像データを記憶する撮像データ記憶部と、当該撮影装置の動きを検出する動き検出部と、前記撮像データの画像パラメータの分布を識別する画像パラメータ識別部と、前記撮影装置の動きがある状態で取得された複数の撮像データの画像パラメータに基づき、前記撮像データにおいて略同一の領域に略同一の画像パラメータの分布がある場合、当該領域を不要画像が含まれる不要画像領域であると判定する不要画像判定部と、前記不要画像領域が検出されたことを通知する通知部と、を備える。
【発明の効果】
【0010】
本発明によれば、撮影装置において、短時間に精度良く指写りの判定を可能にすることができる。
【図面の簡単な説明】
【0011】
【図1】本発明の第1の実施形態に係る撮影装置の主要部の構成を示すブロック図
【図2】第1の実施形態に係る撮影装置の動作手順を示すフローチャート
【図3】本発明の第2の実施形態に係る撮影装置の主要部の構成を示すブロック図
【図4】第2の実施形態に係る撮影装置の動作を説明する模式図
【図5】第2の実施形態に係る撮影装置の動作手順を示すフローチャート
【図6】第3の実施形態に係る撮影装置の動作を説明する模式図
【図7】第3の実施形態に係る撮影装置の動作手順を示すフローチャート
【図8】本発明の第4の実施形態に係る撮影装置の主要部の構成を示すブロック図
【図9】第4の実施形態に係る撮影装置の動作を説明する模式図
【図10】第5の実施形態に係る撮影装置の動作を説明する模式図
【図11】第5の実施形態に係る撮影装置の動作を説明する模式図
【図12】第5の実施形態に係る撮影装置の動作手順を示すフローチャート
【発明を実施するための形態】
【0012】
本実施形態では、撮影装置の一例として、デジタルカメラ、携帯電話装置またはスマートフォン等のカメラ機能付き携帯端末など、撮影機能を有する電子機器に適用した構成例を示す。
【0013】
(第1の実施形態)
図1は本発明の第1の実施形態に係る撮影装置の主要部の構成を示すブロック図である。
【0014】
撮影装置は、撮像部11、撮像データ記憶部12、色分布認識部13、動き検出部14、不要画像判定部15、表示部16、制御部17、操作部18を備えている。
【0015】
撮像部11は、一つまたは複数のレンズを有する撮影光学系と、CMOSイメージセンサまたはCCDイメージセンサ等の撮像素子とを有して構成され、撮影光学系にて結像した被写体像を撮像素子にて光電変換し、被写体の撮像データを出力する。
【0016】
撮像データ記憶部12は、メモリを有して構成され、撮像部11にて取得した撮像データを記憶する。撮像データ記憶部12には、撮像データとして、撮影前のプレビュー画像における動画像または静止画像の画像データ、あるいは、ユーザの撮影操作による静止画像または動画像の撮影画像の画像データ等が記憶される。
【0017】
色分布認識部13は、画像パラメータ認識部の一例として機能するものであり、撮像データ記憶部12に記憶された撮像データについて、画像中の色分布を認識する。本実施形態では、色分布認識部13は、動き検出部14によって撮影装置の動きが検出された状態のときに、撮影前のプレビュー画像の動画像の撮像データについて色分布を認識する。
【0018】
動き検出部14は、加速度センサ、ジャイロスコープ等を有して構成され、撮影装置の動きを検出する。なお、動き検出部14は、撮影装置本体の動きを直接検出するものに限らず、撮像データの画像中の動きを検出して間接的に撮影装置の動きを検出するものを用いることも可能である。
【0019】
不要画像判定部15は、色分布認識部13による動き検出時の撮像データの色分布の認識結果に基づき、撮影する画像中に不要画像が存在しているかどうかを判定する。本実施形態では、不要画像判定部15は、動き検出中のプレビュー画像の動画像において、色分布が同様(略同一)の領域がある場合、すなわち、撮影装置が動いているにも関わらず、画像中の同様(略同一)の位置に同様(略同一)の色分布が継続してある場合は該当領域に不要画像が存在すると判定する。この不要画像は、撮影装置を把持しているユーザの指などと考えられるので、これによって指写りが発生していることを判定する。
【0020】
なお、不要画像判定部15において不要画像を判定するための情報として、色分布の他に、各種の画像パラメータを用いることも可能である。例えば、画像パラメータとして、RGB、YCbCr、L*a*b*、XYZ、L*u*v*、HSVなどを用いて、撮像データの色(色相、色差等を含む)、輝度などの分布を認識し、この認識結果に基づいて画像中の不要画像の判定が可能である。
【0021】
表示部16は、通知部の一例として機能するものであり、液晶ディスプレイ、LED、ランプ等により構成され、不要画像の判定結果を表示してユーザに不要画像の存在を通知する。
【0022】
制御部17は、撮影装置の各部の動作を制御するものであり、特に撮像部11、色分布認識部13、不要画像判定部15の動作制御を行う。操作部18は、押しボタン等の操作部材を有したスイッチ、あるいはタッチパネル等からなる操作デバイスによって構成され、ユーザの操作指示に基づき撮影装置における各種操作入力を行う。
【0023】
色分布認識部13、不要画像判定部15、制御部17は、各種情報処理を行うプロセッサ及びメモリ等を有して構成されるコンピュータ等からなる処理部において、所定のプログラムを実行することにより、各部の機能が実現される。
【0024】
次に、第1の実施形態における撮影装置の動作について説明する。図2は第1の実施形態に係る撮影装置の動作手順を示すフローチャートである。
【0025】
色分布認識部13は、動き検出部14によって撮影装置の動きを検出しているかどうかを判断し(ステップS11)、動きを検出している場合は、プレビュー画像の動画像において、直前2フレーム分の画像の撮像データを撮像データ記憶部12から読み込む(ステップS12)。なお、読み込むフレーム数は2フレーム以上の複数フレームであればいくつでもよい。続いて、色分布認識部13は、それぞれのフレームの撮像データの色分布を認識する(ステップS13)。
【0026】
次に、不要画像判定部15は、色分布認識部13による色分布の認識結果に基づき、複数フレームの撮像データにおいて色分布が同じ領域(略同一の領域)があるか、すなわち異なるフレームの画像中の同じ位置(略同一の位置)に同じ色分布(略同一の色分布)が存在するかを判断する(ステップS14)。ここで、二つのフレームにおいて色分布が同じ領域がある場合(ステップS14にてYES)は、不要画像が存在していると判定する。この場合、不要画像判定部15は、表示部16に対して制御情報、表示情報等を含む信号を出力し、表示部16に不要画像を検出したことを表示させる(ステップS15)。一方、ステップS14の判断において、複数フレームの撮像データ中に色分布が同じ領域が存在しない場合(ステップS14にてNO)は、不要画像が存在しないと判定し、そのまま本処理を終了する。
【0027】
第1の実施形態では、撮影装置の動きを検出している間に取得したプレビュー画像の複数フレームの撮像データを比較し、撮影装置の動きに対して位置が変化しない特定の色領域がある場合に、指写りによる不要画像が存在していると判定する。これにより、即時に不要画像の有無を判定でき、短時間で指写りの判定をすることができる。また、撮影装置の動きがある場合のみに判定を行うため、例えば撮影装置を机の上に置いて定点撮影する場合などでの誤判定を防止できる。
【0028】
(第2の実施形態)
図3は本発明の第2の実施形態に係る撮影装置の主要部の構成を示すブロック図である。
【0029】
第2の実施形態は、一つの撮影光学系によって視差のある二枚の画像(左目画像と右目画像)を順次撮影する単眼3D撮影の機能を持つ撮影装置の例である。撮影装置は、撮像部21、撮像データ記憶部22、輝度分布認識部23、輝度分布記憶部24、不要画像判定部25、表示部26、制御部27、操作部28を備えている。
【0030】
単眼3D撮影による立体撮影を行う場合は、左目画像または右目画像の一方を任意の位置(一枚目撮影場所)にて撮影した後、ユーザが水平方向に撮影装置を所定量移動させ、所定の視差を有する位置(二枚目撮影場所)において、他方の画像を撮影する。以下では、一枚目に左目画像を撮影し、二枚目に右目画像を撮影する場合について説明する。
【0031】
撮像データ記憶部22は、撮像部21にて取得した撮像データとして、撮影前のプレビュー画像の画像データを逐次記憶するとともに、立体撮影時の左目画像、右目画像の画像データを記憶する。
【0032】
輝度分布認識部23は、画像パラメータ認識部の一例として機能するものであり、撮像データ記憶部22に記憶された撮像データについて、画像中の輝度分布を認識する。本実施形態では、輝度分布認識部23は、単眼3D撮影による立体撮影が行われているときに、撮影した左目画像と、右目画像撮影前のプレビュー画像または撮影した右目画像との双方の撮像データについて輝度分布を認識する。単眼3D撮影では、ユーザが撮影装置を水平方向に所定量移動させて視差のある二枚の画像を撮影するため、撮影装置において必然的に動きが生じる。よって、撮影装置は、単眼3D撮影モードの状態を認識することにより、撮影装置に動きが発生している状態を検出する。
【0033】
輝度分布記憶部24は、輝度分布認識部23により認識した撮像データの輝度分布を記憶する。本実施形態では、先に撮影した左目画像の撮像データの輝度分布を記憶しておく。なお、左目画像と右目画像の双方の撮像データの輝度分布を記憶してもよい。
【0034】
不要画像判定部25は、輝度分布認識部23による撮像データの輝度分布の認識結果に基づき、撮影する画像中に不要画像が存在しているかどうかを判定する。本実施形態では、不要画像判定部25は、撮影した左目画像と、右目画像撮影前のプレビュー画像または撮影した右目画像との双方の撮像データについて輝度分布を比較し、同じ位置(略同一の位置)に低輝度領域がある場合は該当領域に不要画像が存在すると判定する。すなわち、単眼3D撮影のために撮影装置に動きがあったにも関わらず、画像中の同じ位置に低輝度領域がある場合に、不要画像有りと判定する。この低輝度領域の不要画像は、撮影装置を把持しているユーザの指などと考えられるので、これによって指写りが発生していることを判定する。
【0035】
なお、不要画像判定部25において不要画像を判定するための情報として、輝度分布の代わりに、第1の実施形態と同様に色分布を用いてもよい。また、各種の画像パラメータを用いることも可能である。例えば、画像パラメータとして、RGB、YCbCr、L*a*b*、XYZ、L*u*v*、HSVなどを用いて、撮像データの色(色相、色差等を含む)、輝度などの分布を認識し、この認識結果に基づいて画像中の不要画像の判定が可能である。
【0036】
表示部26は、通知部の一例として機能するものであり、液晶ディスプレイ、LED、ランプ等により構成され、不要画像の判定結果を表示してユーザに不要画像の存在を通知する。
【0037】
制御部27は、撮影装置の各部の動作を制御するものであり、特に撮像部21、輝度分布認識部23、不要画像判定部25の動作制御を行う。操作部28は、押しボタン等の操作部材を有したスイッチ、あるいはタッチパネル等からなる操作デバイスによって構成され、ユーザの操作指示に基づき撮影装置における各種操作入力を行う。
【0038】
輝度分布認識部23、輝度分布記憶部24、不要画像判定部25、制御部27は、各種情報処理を行うプロセッサ及びメモリ等を有して構成されるコンピュータ等からなる処理部において、所定のプログラムを実行することにより、各部の機能が実現される。
【0039】
次に、第2の実施形態における撮影装置の動作について説明する。図4は第2の実施形態に係る撮影装置の動作を説明する模式図である。図4において、(A)は単眼3D撮影用カメラの外観図、(B)は被写体に対するカメラの位置を示す図、(C)は指写りがある場合と無い場合の左目画像及び右目画像の例を示す図である。
【0040】
図4(A)に示すように、単眼3D撮影機能を持つカメラ30は、一つの撮影光学系のレンズ31を有している。図4(B)に示すように、単眼3D撮影により立体撮影を行う場合、被写体の左目画像を撮影した後、所定の視差が得られるようにカメラ30を水平右方向に所定量移動させ、右目画像を撮影する。
【0041】
図4(C)の上段に示すように、指写りが無い場合は、一枚目の左目画像と二枚目の右目画像の同じ位置に低輝度領域が存在することは無い。このため、所定視差を有する同じ位置に低輝度領域の無い二つの撮影画像から、立体画像を生成することができる。図4(C)の下段に示すように、カメラのレンズの一部にユーザの指がかかり、指写りがある場合は、一枚目の左目画像と二枚目の右目画像との双方において、同じ位置に低輝度領域が存在する。二つの画像間に視差を与えるために被写体に対するカメラ位置が移動したにも関わらず、同じ位置に低輝度領域がある場合は、この低輝度領域は指写りによる不要画像であると判定できる。
【0042】
図5は第2の実施形態に係る撮影装置の動作手順を示すフローチャートである。
【0043】
輝度分布認識部23は、左目画像の撮像データを撮像データ記憶部22から読み込み(ステップS21)、左目画像の輝度分布を認識する(ステップS22)。そして、輝度分布認識部23は、認識した左目画像の輝度分布を輝度分布記憶部24に記憶させる(ステップS23)。
【0044】
続いて、輝度分布認識部23は、右目画像の撮像データを撮像データ記憶部22から読み込み(ステップS24)、右目画像の輝度分布を認識する(ステップS25)。なお、右目画像の撮像データの代わりに、右目画像撮影前のプレビュー画像の輝度分布を認識してもよい。また、左目画像と同様に右目画像の輝度分布を輝度分布記憶部24に記憶させてもよい。
【0045】
次に、不要画像判定部25は、輝度分布認識部23による輝度分布の認識結果に基づき、左目画像と右目画像との双方の撮像データの輝度分布において、同じ位置(略同一の位置)に低輝度領域があるかどうかを判断する(ステップS26)。ここで、二つの画像の同じ位置に低輝度領域がある場合(ステップS26にてYES)は、不要画像が存在していると判定する。この場合、不要画像判定部25は、表示部26に対して制御情報、表示情報等を含む信号を出力し、表示部26に不要画像を検出したことを表示させる(ステップS27)。一方、ステップS26の判断において、左目画像と右目画像の撮像データ中の同じ位置に低輝度領域が存在しない場合(ステップS26にてNO)は、不要画像が存在しないと判定し、そのまま本処理を終了する。
【0046】
第2の実施形態では、単眼3D撮影による立体撮影を行う場合に、左目画像と右目画像の撮像データを比較し、撮影装置の移動に対して同じ位置に低輝度領域がある場合、指写りによる不要画像が存在していると判定する。これにより、即時かつ容易に不要画像の有無を判定でき、短時間で誤り無く指写りの判定をすることができる。
【0047】
(第3の実施形態)
第3の実施形態は、二つの撮影光学系によって視差のある二枚の画像(左目画像と右目画像)を同時撮影する複眼3D撮影の機能を持つ撮影装置の例である。第3の実施形態の撮影装置の構成は第2の実施形態と同様であり、第2の実施形態とは一部の機能が異なっている。第2の実施形態と異なる点を中心に説明する。
【0048】
図6は第3の実施形態に係る撮影装置の動作を説明する模式図である。図6において、(A)は複眼3D撮影用カメラの外観図、(B)は被写体に対するカメラの位置を示す図、(C)は指写りがある場合と無い場合の左目画像及び右目画像の例を示す図である。
【0049】
図6(A)に示すように、複眼3D撮影機能を持つカメラ40は、二つの撮影光学系のレンズ41、42を有している。図6(B)に示すように、複眼3D撮影により立体撮影を行う場合、二つのレンズ41、42によって同時に被写体の左目画像と右目画像をそれぞれ撮影する。
【0050】
図6(C)の上段に示すように、指写りが無い場合は、左目画像と右目画像の一方のみに低輝度領域が存在することは無い。このため、所定視差を有する一方の画像のみに低輝度領域が存在することの無い二つの撮影画像から、立体画像を生成することができる。図6(C)の下段に示すように、指写りがある場合は、通常はカメラの一方のレンズの一部にユーザの指がかかるため、左目画像と右目画像のどちらか一方において、低輝度領域が存在する。一方の画像のみに低輝度領域がある場合は、この低輝度領域は指写りによる不要画像であると判定できる。
【0051】
図7は第3の実施形態に係る撮影装置の動作手順を示すフローチャートである。複眼3D撮影による立体撮影を行う場合は、左目画像と右目画像の撮像データを同時に取得し、それぞれ撮像データ記憶部22に記憶する。
【0052】
輝度分布認識部23は、左目画像の撮像データを撮像データ記憶部22から読み込み(ステップS31)、左目画像の輝度分布を認識する(ステップS32)。そして、輝度分布認識部23は、認識した左目画像の輝度分布を輝度分布記憶部24に記憶させる(ステップS33)。
【0053】
続いて、輝度分布認識部23は、右目画像の撮像データを撮像データ記憶部22から読み込み(ステップS34)、右目画像の輝度分布を認識する(ステップS35)。なお、左目画像と同様に右目画像の輝度分布を輝度分布記憶部24に記憶させてもよい。
【0054】
次に、不要画像判定部25は、輝度分布認識部23による輝度分布の認識結果に基づき、左目画像と右目画像との双方の撮像データの輝度分布において、一方の画像だけに低輝度領域があるかどうかを判断する(ステップS36)。ここで、一方の画像だけに低輝度領域がある場合(ステップS36にてYES)は、不要画像が存在していると判定する。この場合、不要画像判定部25は、表示部26に対して制御情報、表示情報等を含む信号を出力し、表示部26に不要画像を検出したことを表示させる(ステップS37)。一方、ステップS36の判断において、左目画像と右目画像の撮像データの両方に低輝度領域が存在しないか、あるいは両方に低輝度領域が存在する場合は、不要画像が存在しないと判定し、そのまま本処理を終了する。
【0055】
なお、第3の実施形態の撮影装置において、第1の実施形態と同様に、撮影装置の動きが検出されたときに撮像データの色分布の認識を行い、画像中の位置が変化しない色領域を検出することによって、不要画像の有無を判定することも可能である。
【0056】
第3の実施形態では、複眼3D撮影による立体撮影を行う場合に、左目画像と右目画像の撮像データを比較し、一方の画像のみに低輝度領域がある場合、指写りによる不要画像が存在していると判定する。これにより、即時かつ容易に不要画像の有無を判定でき、短時間で誤り無く指写りの判定をすることができる。
【0057】
(第4の実施形態)
第4の実施形態として、撮影画像において指写りによる不要画像領域の画像補正動作の第1例を示す。
【0058】
図8は本発明の第4の実施形態に係る撮影装置の主要部の構成を示すブロック図である。第4の実施形態の撮影装置は、撮影画像に関する画像処理を行う画像処理部51と、画像処理後の画像データを保存する画像保存部52とを備えている。その他は図1に示した第1の実施形態と同様であり、ここでは第1の実施形態と異なる点を中心に説明する。なお、第4の実施形態を第2の実施形態または第3の実施形態と組み合せることも可能である。
【0059】
画像処理部51は、撮像データ記憶部12に記憶された撮像データにおいて不要画像が存在する場合、不要画像領域の補完処理等を行って不要画像を無くすように撮影画像を補正する。画像保存部52は、画像処理部51による画像処理後の撮影画像の画像データを保存する。なお、画像処理後の撮影画像は、表示部16に表示することも可能である。
【0060】
図9は第4の実施形態に係る撮影装置の動作を説明する模式図である。図9において、(A)は動画像の複数フレームの撮像データを示す図、(B)は他のフレームの撮像データを利用した画像補正の例を示す図、(C)は撮像データの画像中の動きベクトルの算出方法を説明する図である。
【0061】
図9(A)に示すように、撮像データ記憶部12には、N−1フレーム目,Nフレーム目,N+1フレーム目,N+2フレーム目,…と複数フレームにおいて同じ色分布領域が存在する動画像の撮像データが記憶されているものとする。この場合、色分布認識部13及び不要画像判定部15によって不要画像ありと判定される。撮像データは、動画像撮影時の画像データ、あるいはプレビュー表示時の画像データに相当する。
【0062】
画像処理部51は、二つ以上のフレームの撮像データを用いて不要画像領域の補完処理を行う。図9(B)に示す例では、N−1フレーム目とNフレーム目の撮像データを用いて、右側に示すように不要画像領域の画素を他のフレームの撮像データによって補完する。このとき、画像処理部51は、図9(C)に示すように、二つのフレームの画像に共通する特徴点P1、P2、P3を抽出し、特徴点の動きベクトルを算出する。この動きベクトルによって、不要画像領域に対応する領域の動き量がわかる。Nフレーム目の不要画像領域S′を補完するには、算出した特徴点の動きベクトルの逆ベクトルによって、不要画像領域S′からN−1フレーム目の対応領域Sを求める。この対応領域Sの画素データを不要画像領域S′に当てはめることによって、不要画像領域S′に隠れた被写体部分の画像を復元できる。
【0063】
なお、不要画像領域の補正処理に用いる撮像データは、撮影時の記録中の撮影画像のフレームであってもよいし、プレビュー画像のフレームであってもよい。また、動画像の撮像データに限らず、静止画像の撮像データに適用することも可能である。画素の補完に用いる撮像データは、補正対象のフレームの前のフレームだけでなく、後ろのフレームを用いてもよいし、前後両方のフレームを用いてもよい。
【0064】
第4の実施形態によれば、指写りが発生した場合に、適切に不要画像領域の画素を補完して画像補正を行い、撮影画像に対する指写りの影響を無くすことができる。また、画像補正において不要画像領域のトリミング等を行う必要がないため、撮影画像の画角が狭くなる不具合を防止できる。
【0065】
(第5の実施形態)
第5の実施形態として、撮影画像において指写りによる不要画像領域の画像補正動作の第2例を示す。第5の実施形態の撮影装置の構成は第4の実施形態と同様であり、画像補正動作の他の例を示したものである。
【0066】
図10及び図11は第5の実施形態に係る撮影装置の動作を説明する模式図である。図10において、(A)は不要画像領域を指定している状態を示す図、(B)は動画像の複数フレームの撮像データを示す図である。図11は画像補正の複数例を示す図であり、(A)は補完完了時の画像例を示す図、(B)は補完未完了時の切り出し処理の例を示す図である。
【0067】
図10(A)に示すように、撮影時には、撮影装置の表示部16のファインダ画面において、指写りしている領域、あるいは指写りの可能性が高い領域をユーザが不要画像領域61として指定する。撮影装置の形状、大きさ、操作部のレイアウトなどによって、指写りが発生する領域、指写りの可能性が高い領域が特定されることがある。本実施形態では、このような場合を想定して、予め不要画像領域を設定し、不要画像領域の画像補正を行うか、あるいは不要画像領域を使用せずに他領域の画像を切り出して撮影画像を生成する。
【0068】
図12は第5の実施形態に係る撮影装置の動作手順を示すフローチャートである。ユーザが操作部18(図10(A)の例ではタッチパネル)を操作して、不要画像領域である指写り領域を指定すると、制御部17は、指定された不要画像領域の領域情報を画像処理部51に転送する(ステップS41)。画像処理部51は、不要画像領域の領域情報を記憶しておく。ここで、操作部18及び制御部17が不要画像領域設定部の機能を実現する。
【0069】
次に、画像処理部51は、撮像データ記憶部12に記憶された撮像データにおいて、補完が必要な領域を特定する(ステップS42)。図10(B)に示すように、撮像データ記憶部12には、N−1フレーム目,Nフレーム目,N+1フレーム目,N+2フレーム目,…と複数フレームの動画像の撮像データが記憶されているものとする。撮像データは、動画像撮影時の画像データ、あるいはプレビュー表示時の画像データに相当する。画像処理部51は、第4の実施形態のように、他のフレームの撮像データを用いて不要画像領域の補完が可能な場合は、補完処理を行う。図12の処理例においては、画像処理部51は、プレビュー画像において不要画像領域の補完を行う(ステップS43)。このとき、補完用の撮像データを得るために、ユーザに対して撮影装置を動かすことを促す表示または音声等の通知を行うことも可能である。これにより、動きのある状態での複数フレームの撮像データを取得できる。
【0070】
その後、ユーザが操作部18のシャッタボタンを押下操作して、撮影の実行を指示すると、制御部17の指示に基づき、画像処理部51は、撮像データ記憶部12に記憶された撮像データを元に、被写体の撮影画像を生成する(ステップS44)。
【0071】
画像処理部51は、ステップS43における補完処理が正常に完了したかどうかを判断し(ステップS45)、補完処理が正常に完了した場合、フル画角の撮影画像を生成し、画像保存部52、表示部16に出力する(ステップS46)。図11(A)に示すように、補完完了時の画像71の撮像データについては、画像処理部51はこのままフル画角の撮影画像を生成する。
【0072】
一方、補完処理が正常に完了していない場合、画像処理部51は、不要画像領域を含む領域を除くように、画像中の指写り無し領域を切り出して撮影画像を生成し、画像保存部52、表示部16に出力する(ステップS47)。図11(B)に示すように、補完未完了時の画像72の撮像データについては、画像処理部51は不要画像領域を除いた領域を切り出して撮影画像を生成する。指写り無し領域の切り出し方法としては、図示したような2つの方法が挙げられる。第1の方法は、破線枠で示す領域73のように、指写り無し領域をそのまま切り出して撮影画像を生成するものである。第2の方法は、一点鎖線枠で示す領域74のように、元画像と縦横比を合わせて左右方向及び上下方向のトリミングを行い、指写り無し領域を切り出して撮影画像を生成するものである。
【0073】
第5の実施形態によれば、指写りが発生した領域または可能性の高い領域を予め不要画像領域として設定し、画像補正を行うことにより、ユーザが意図的に不要画像領域の補正を実行でき、撮影画像に対する指写りの影響を無くすことができる。また、不要画像領域の補正は、画素の補完によって行い、補完できない場合は、不要画像領域のトリミングを適切に行うことによって、指写りの無い撮影画像を得ることができる。
【0074】
本発明に係る実施形態の種々の態様として、以下のものが含まれる。
【0075】
被写体像を撮像する撮像部と、前記撮像部により取得した被写体の撮像データを記憶する撮像データ記憶部と、当該撮影装置の動きを検出する動き検出部と、前記撮像データの画像パラメータの分布を識別する画像パラメータ識別部と、前記撮影装置の動きがある状態で取得された複数の撮像データの画像パラメータに基づき、前記撮像データにおいて略同一の領域に略同一の画像パラメータの分布がある場合、当該領域を不要画像が含まれる不要画像領域であると判定する不要画像判定部と、前記不要画像領域が検出されたことを通知する通知部と、を備える撮影装置。
上記構成により、撮影前のプレビュー画像などの撮影装置に動きのある状態で取得した複数の撮像データについて、色分布、輝度分布等の画像パラメータの分布を認識し、略同一の領域に略同一の画像パラメータの分布がある場合、不要画像領域であると判定できる。このため、短時間に指写りによる不要画像領域を判定でき、撮影レスポンスを向上できる。また、撮影装置に動きが無い場合は、不要画像領域を判定しないため、定点撮影時などでの誤判定を抑制できる。
【0076】
上記の撮影装置であって、前記画像パラメータ識別部は、前記画像パラメータとして撮像データの色分布を認識する撮影装置。
上記構成により、撮像データの色分布を用いて、動きがある状態での複数の撮像データにおいて非移動の略同一色分布領域を認識し、不要画像領域の有無を判定できる。
【0077】
上記の撮影装置であって、前記不要画像判定部は、前記複数の撮像データの色分布において、略同一の色分布の領域が存在する場合、当該領域を不要画像が含まれる不要画像領域であると判定する撮影装置。
上記構成により、撮像データの色分布を用いて、動きがある状態での複数の撮像データにおいて非移動の略同一色分布領域を認識し、不要画像領域の有無を判定できる。
【0078】
上記の撮影装置であって、前記画像パラメータ識別部は、前記画像パラメータとして撮像データの輝度分布を認識する撮影装置。
上記構成により、撮像データの輝度分布を用いて、動きがある状態での複数の撮像データにおいて非移動の低輝度領域を認識し、不要画像領域の有無を判定できる。
【0079】
上記の撮影装置であって、前記撮像部は、一つの撮影光学系によって視差のある二枚の画像を順次撮影する単眼3D撮影が可能であり、前記画像パラメータ識別部は、前記画像パラメータとして撮像データの輝度分布を認識し、前記不要画像判定部は、前記二枚の画像の撮像データの双方において、略同一の位置に低輝度領域が存在する場合、当該領域を不要画像が含まれる不要画像領域であると判定する撮影装置。
上記構成により、単眼3D撮影を行う場合に、撮影装置を移動させて順次取得する視差のある二つの撮像データにおいて、略同一の位置に低輝度領域を認識することにより、不要画像領域を判定できる。
【0080】
上記の撮影装置であって、前記撮像部は、二つの撮影光学系によって視差のある二枚の画像を同時撮影する複眼3D撮影が可能であり、前記画像パラメータ識別部は、前記画像パラメータとして撮像データの輝度分布を認識し、前記不要画像判定部は、前記二枚の画像の撮像データの一方のみに低輝度領域が存在する場合、当該領域を不要画像が含まれる不要画像領域であると判定する撮影装置。
上記構成により、複眼3D撮影を行う場合に、同時取得する視差のある二つの撮像データにおいて、一方のみに低輝度領域を認識することにより、不要画像領域を判定できる。
【0081】
上記の撮影装置であって、前記撮像データの画像処理を行う画像処理部を備え、前記画像処理部は、前記不要画像領域を含む撮像データについて、前記撮像データ記憶部に記憶された他の撮像データを用いて被写体の画像の動きベクトルを算出し、前記動きベクトルに応じて前記他の撮像データから前記不要画像領域の画素を補完する、撮影装置。
上記構成により、他の撮像データを用いて不要画像領域を補完することにより、指写りが生じても撮影画像には影響を与えないようにすることができる。また、不要画像領域のトリミング等を行わないので、画角が狭くなることを防止できる。
【0082】
上記の撮影装置であって、前記不要画像領域となる可能性が高い領域を予め設定する不要画像領域設定部を備える撮影装置。
上記構成により、予め不要画像領域を設定することによって、不要画像領域に関する画像補正など、指写りの対策を意図的かつ効果的に機能させることができる。
【0083】
上記の撮影装置であって、前記画像処理部は、前記不要画像領域を含む撮像データについて、前記他の撮像データからの画素を補完ができない場合、前記不要画像領域を含む領域を除くように撮像データを切り出して撮影画像を生成する、撮影装置。
上記構成により、不要画像領域について他の撮像データを用いて補完できない場合、不要画像領域を含まない撮像データを切り出して撮影画像を生成できる。
【0084】
被写体像を撮像する撮像部を備える撮影装置における撮影方法であって、前記撮像部により取得した被写体の撮像データを記憶するステップと、当該撮影装置の動きを検出するステップと、前記撮像データの画像パラメータの分布を識別するステップと、前記撮影装置の動きがある状態で取得された複数の撮像データの画像パラメータに基づき、前記撮像データにおいて略同一の領域に略同一の画像パラメータの分布がある場合、当該領域を不要画像が含まれる不要画像領域であると判定するステップと、前記不要画像領域が検出されたことを通知するステップと、を有する撮影方法。
【0085】
上記の撮影方法における各手順を、コンピュータにより実行させるプログラム。
【0086】
なお、本発明は、本発明の趣旨ならびに範囲を逸脱することなく、明細書の記載、並びに周知の技術に基づいて、当業者が様々な変更、応用することも本発明の予定するところであり、保護を求める範囲に含まれる。また、発明の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【0087】
本発明は、撮影装置において、短時間に精度良く指写りの判定を可能にすることができる効果を有し、例えばデジタルカメラ、カメラ機能付き電子機器などの使用者が筐体を把持して被写体の撮影を行う撮影装置等として有用である。
【符号の説明】
【0088】
11、21 撮像部
12、22 撮像データ記憶部
13 色分布認識部
14 動き検出部
15、25 不要画像判定部
16、26 表示部
17、27 制御部
18、28 操作部
23 輝度分布認識部
24 輝度分布記憶部
51 画像処理部
52 画像保存部
【特許請求の範囲】
【請求項1】
被写体像を撮像する撮像部と、
前記撮像部により取得した被写体の撮像データを記憶する撮像データ記憶部と、
当該撮影装置の動きを検出する動き検出部と、
前記撮像データの画像パラメータの分布を識別する画像パラメータ識別部と、
前記撮影装置の動きがある状態で取得された複数の撮像データの画像パラメータに基づき、前記撮像データにおいて略同一の領域に略同一の画像パラメータの分布がある場合、当該領域を不要画像が含まれる不要画像領域であると判定する不要画像判定部と、
前記不要画像領域が検出されたことを通知する通知部と、
を備える撮影装置。
【請求項2】
請求項1に記載の撮影装置であって、
前記画像パラメータ識別部は、前記画像パラメータとして撮像データの色分布を認識する撮影装置。
【請求項3】
請求項2に記載の撮影装置であって、
前記不要画像判定部は、前記複数の撮像データの色分布において、略同一の色分布の領域が存在する場合、当該領域を不要画像が含まれる不要画像領域であると判定する撮影装置。
【請求項4】
請求項1に記載の撮影装置であって、
前記画像パラメータ識別部は、前記画像パラメータとして撮像データの輝度分布を認識する撮影装置。
【請求項5】
請求項1に記載の撮影装置であって、
前記撮像部は、一つの撮影光学系によって視差のある二枚の画像を順次撮影する単眼3D撮影が可能であり、
前記画像パラメータ識別部は、前記画像パラメータとして撮像データの輝度分布を認識し、
前記不要画像判定部は、前記二枚の画像の撮像データの双方において、略同一の位置に低輝度領域が存在する場合、当該領域を不要画像が含まれる不要画像領域であると判定する撮影装置。
【請求項6】
請求項1に記載の撮影装置であって、
前記撮像部は、二つの撮影光学系によって視差のある二枚の画像を同時撮影する複眼3D撮影が可能であり、
前記画像パラメータ識別部は、前記画像パラメータとして撮像データの輝度分布を認識し、
前記不要画像判定部は、前記二枚の画像の撮像データの一方のみに低輝度領域が存在する場合、当該領域を不要画像が含まれる不要画像領域であると判定する撮影装置。
【請求項7】
請求項1に記載の撮影装置であって、
前記撮像データの画像処理を行う画像処理部を備え、
前記画像処理部は、前記不要画像領域を含む撮像データについて、前記撮像データ記憶部に記憶された他の撮像データを用いて被写体の画像の動きベクトルを算出し、前記動きベクトルに応じて前記他の撮像データから前記不要画像領域の画素を補完する、撮影装置。
【請求項8】
請求項7に記載の撮影装置であって、
前記不要画像領域となる可能性が高い領域を予め設定する不要画像領域設定部を備える撮影装置。
【請求項9】
請求項7または8に記載の撮影装置であって、
前記画像処理部は、前記不要画像領域を含む撮像データについて、前記他の撮像データからの画素を補完ができない場合、前記不要画像領域を含む領域を除くように撮像データを切り出して撮影画像を生成する、撮影装置。
【請求項10】
被写体像を撮像する撮像部を備える撮影装置における撮影方法であって、
前記撮像部により取得した被写体の撮像データを記憶するステップと、
当該撮影装置の動きを検出するステップと、
前記撮像データの画像パラメータの分布を識別するステップと、
前記撮影装置の動きがある状態で取得された複数の撮像データの画像パラメータに基づき、前記撮像データにおいて略同一の領域に略同一の画像パラメータの分布がある場合、当該領域を不要画像が含まれる不要画像領域であると判定するステップと、
前記不要画像領域が検出されたことを通知するステップと、
を有する撮影方法。
【請求項11】
請求項10に記載の撮影方法における各手順を、コンピュータにより実行させるプログラム。
【請求項1】
被写体像を撮像する撮像部と、
前記撮像部により取得した被写体の撮像データを記憶する撮像データ記憶部と、
当該撮影装置の動きを検出する動き検出部と、
前記撮像データの画像パラメータの分布を識別する画像パラメータ識別部と、
前記撮影装置の動きがある状態で取得された複数の撮像データの画像パラメータに基づき、前記撮像データにおいて略同一の領域に略同一の画像パラメータの分布がある場合、当該領域を不要画像が含まれる不要画像領域であると判定する不要画像判定部と、
前記不要画像領域が検出されたことを通知する通知部と、
を備える撮影装置。
【請求項2】
請求項1に記載の撮影装置であって、
前記画像パラメータ識別部は、前記画像パラメータとして撮像データの色分布を認識する撮影装置。
【請求項3】
請求項2に記載の撮影装置であって、
前記不要画像判定部は、前記複数の撮像データの色分布において、略同一の色分布の領域が存在する場合、当該領域を不要画像が含まれる不要画像領域であると判定する撮影装置。
【請求項4】
請求項1に記載の撮影装置であって、
前記画像パラメータ識別部は、前記画像パラメータとして撮像データの輝度分布を認識する撮影装置。
【請求項5】
請求項1に記載の撮影装置であって、
前記撮像部は、一つの撮影光学系によって視差のある二枚の画像を順次撮影する単眼3D撮影が可能であり、
前記画像パラメータ識別部は、前記画像パラメータとして撮像データの輝度分布を認識し、
前記不要画像判定部は、前記二枚の画像の撮像データの双方において、略同一の位置に低輝度領域が存在する場合、当該領域を不要画像が含まれる不要画像領域であると判定する撮影装置。
【請求項6】
請求項1に記載の撮影装置であって、
前記撮像部は、二つの撮影光学系によって視差のある二枚の画像を同時撮影する複眼3D撮影が可能であり、
前記画像パラメータ識別部は、前記画像パラメータとして撮像データの輝度分布を認識し、
前記不要画像判定部は、前記二枚の画像の撮像データの一方のみに低輝度領域が存在する場合、当該領域を不要画像が含まれる不要画像領域であると判定する撮影装置。
【請求項7】
請求項1に記載の撮影装置であって、
前記撮像データの画像処理を行う画像処理部を備え、
前記画像処理部は、前記不要画像領域を含む撮像データについて、前記撮像データ記憶部に記憶された他の撮像データを用いて被写体の画像の動きベクトルを算出し、前記動きベクトルに応じて前記他の撮像データから前記不要画像領域の画素を補完する、撮影装置。
【請求項8】
請求項7に記載の撮影装置であって、
前記不要画像領域となる可能性が高い領域を予め設定する不要画像領域設定部を備える撮影装置。
【請求項9】
請求項7または8に記載の撮影装置であって、
前記画像処理部は、前記不要画像領域を含む撮像データについて、前記他の撮像データからの画素を補完ができない場合、前記不要画像領域を含む領域を除くように撮像データを切り出して撮影画像を生成する、撮影装置。
【請求項10】
被写体像を撮像する撮像部を備える撮影装置における撮影方法であって、
前記撮像部により取得した被写体の撮像データを記憶するステップと、
当該撮影装置の動きを検出するステップと、
前記撮像データの画像パラメータの分布を識別するステップと、
前記撮影装置の動きがある状態で取得された複数の撮像データの画像パラメータに基づき、前記撮像データにおいて略同一の領域に略同一の画像パラメータの分布がある場合、当該領域を不要画像が含まれる不要画像領域であると判定するステップと、
前記不要画像領域が検出されたことを通知するステップと、
を有する撮影方法。
【請求項11】
請求項10に記載の撮影方法における各手順を、コンピュータにより実行させるプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2012−235257(P2012−235257A)
【公開日】平成24年11月29日(2012.11.29)
【国際特許分類】
【出願番号】特願2011−101617(P2011−101617)
【出願日】平成23年4月28日(2011.4.28)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】
【公開日】平成24年11月29日(2012.11.29)
【国際特許分類】
【出願日】平成23年4月28日(2011.4.28)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】
[ Back to top ]