画像処理装置、方法およびプログラム
【課題】 失敗画像の補完を可能にする画像の簡易で確実な確保。
【解決手段】ＣＰＵ１１２は、登録された失敗画像の部分がスルー画にあると判断されたか、あるいはスルー画取得時の特徴量が失敗画像の特徴量と一致すると判断された場合、カメラ１０−Ｂ（あるいはサブ撮像部２０）に対し、補完用画像の取得の開始を指示する。カメラ１０−Ｂは、この指示を通信Ｉ／Ｆ７６を介して受信すると、以後、撮像部１０２−Ｂによる定期的な画像の取得を行い、取得された画像を補完用画像として順次画像記憶部１３２−Ｂに格納する。これは、動画のコマ画像の取得でもよいし、静止画の連写でもよい。
【解決手段】ＣＰＵ１１２は、登録された失敗画像の部分がスルー画にあると判断されたか、あるいはスルー画取得時の特徴量が失敗画像の特徴量と一致すると判断された場合、カメラ１０−Ｂ（あるいはサブ撮像部２０）に対し、補完用画像の取得の開始を指示する。カメラ１０−Ｂは、この指示を通信Ｉ／Ｆ７６を介して受信すると、以後、撮像部１０２−Ｂによる定期的な画像の取得を行い、取得された画像を補完用画像として順次画像記憶部１３２−Ｂに格納する。これは、動画のコマ画像の取得でもよいし、静止画の連写でもよい。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の内容に応じた処理を行う装置、方法およびプログラムに関する。
【背景技術】
【０００２】
特許文献１は、カメラ撮影部で撮影した画像を画像メモリに一旦記憶し、画像メモリの撮影画像の撮影状態をＣＰＵによって解析し、被写体候補の顔切れや、被写体候補の撮影範囲内に占める割合等を判断し、また被写体の配置バランスや重なり度等を判断し、失敗撮影の可能性が高い画像の登録を防止する。また、一旦登録した画像であっても、記録媒体から登録画像を読み出し、画像内容の判断を行い、失敗撮影の可能性が高い登録画像を削除し、記録媒体の記憶領域を有効利用する。
【０００３】
特許文献２では、ＣＰＵは、写真撮影の際に、同一人物を被写体として複数枚（例えば、６枚）連続撮影することによって得られた各撮影画像の中から特定の人物部分を抽出すると共に、この特定人物部分を解析しながらその撮影状態を「顔の向き具合」、「顔の隠れ具合」、「目の開き具合」毎に評価し、撮影画像毎に評価された特定人物部分の評価結果のうち、高い評価を得た特定人物部分を含む撮影画像を特定する。
【０００４】
特許文献３の画像処理装置は、個人の身体的な部位の特徴量を登録する登録装置と、画像情報を入力する入力手段と、入力画像中に撮影されている被写体の人物を特定する特定手段と、被写体の画像中の画像欠陥部を検出する検出手段と、登録装置から特定人物の登録情報を検索する検索手段と、検索した登録情報を基に、画像欠陥部を補正する補正手段と、を有することを特徴とする。
【０００５】
特許文献４では、ある時刻におけるフレーム画像の前後は、ほぼ同一のシーンが写っているから、画面が完全に静止している場合、静止時間中の複数フレーム画像の平均値をとれば、撮像入力系から記録系の間に発生するノイズを効果的に除去することができるとする。
【０００６】
特許文献５では、目が閉じていると判断された目領域を有する顔領域内部の属性を変更し、属性の変更された顔領域の映像信号を生成させ、これを記録用画像と合成してＬＣＤに表示させる。また、記録用画像の中から選択された所望の画像の「切り抜き顔領域」を目つぶりの検出された顔領域に貼り付けるとする。
【０００７】
非特許文献１は、膨大な量の画像から、補完対象画像を解析し、画像の不要部分を補完する。
【特許文献１】特開２００５−２０１９６号公報
【特許文献２】特開２００５−４５６００号公報
【特許文献３】特開２００６−２３９４９号公報
【特許文献４】特開２００８−９９３２７号公報
【特許文献５】特開２００８−１３１０９４号公報
【非特許文献１】「Web2.0時代の画像補完技術」、インターネットＵＲＬ［http://www.atmarkit.co.jp/news/200708/29/sc.html］、平成２０年８月２８日検索
【発明の開示】
【発明が解決しようとする課題】
【０００８】
特許文献１では、失敗画像の削除はできるが、失敗画像の補完はできない。特許文献２では、評価の高い撮影画像を特定できるが、失敗部分の補完はできない。
【０００９】
特許文献３では、顔情報解析により失敗画像の補完を行うため、予め顔情報の登録が必要であり、顔以外には適用できない。
【００１０】
特許文献４では、ノイズ除去はできるが失敗部分の補完はできない。
【００１１】
特許文献５では、そもそも目瞑り顔画像の補完に必要な画像が予め確保されていなければ、そのような画像が確実に得られる保証がない。
【００１２】
非特許文献１では、膨大な量の画像解析が必要であり、処理の負荷が大きい。
【００１３】
本発明は、失敗画像の補完を可能にする画像の簡易で確実な確保を目的とする。
【課題を解決するための手段】
【００１４】
本発明に係る画像処理装置は、撮影の成功または失敗の基準となる基準画像もしくはその特徴量を登録する登録部と、所望の画像もしくはその特徴量と、登録部の登録した基準画像もしくはその特徴量とを比較し、比較結果に応じて、所望の画像が撮影に失敗した画像であるか否かを判断する判断部と、判断部の判断結果に応じて、補完用画像の出力を所定の画像出力装置に指示する制御部と、を備える。
【００１５】
ここで、画像出力装置とは、撮像装置のように画像を取得する装置の他、画像サーバのように撮像装置を備えないが画像を蓄積する装置も含みうる。
【００１６】
登録部は、撮影の失敗の基準となる失敗基準画像もしくはその特徴量を登録し、判断部は、所望の画像もしくはその特徴量と、登録部の登録した失敗基準画像もしくはその特徴量とを比較し、両者の一致に応じて、所望の画像が撮影に失敗した画像であるか否かを判断する。
【００１７】
登録部は、撮影の成功の基準となる成功基準画像もしくはその特徴量を登録し、判断部は、所望の画像もしくはその特徴量と、登録部の登録した成功基準画像もしくはその特徴量とを比較し、両者の不一致に応じて、所望の画像が撮影に失敗した画像であるか否かを判断する。
【００１８】
登録部は、撮影の失敗の基準となる失敗基準画像もしくはその特徴量を登録し、
判断部は、所望の画像もしくはその特徴量と、登録部の登録した失敗基準画像とを比較し、両者の不一致に応じて、所望の画像が撮影に成功した画像であるか否かを判断する。
【００１９】
登録部は、撮影の成功の基準となる成功基準画像もしくはその特徴量を登録し、判断部は、所望の画像もしくはその特徴量と、登録部の登録した成功基準画像とを比較し、両者の一致に応じて、所望の画像が撮影に成功した画像であるか否かを判断する。
【００２０】
判断部の判断結果に応じ、成功画像の取得条件が整った旨を通知する成功通知部を備える。
【００２１】
所望の画像から、登録部の登録した失敗基準画像もしくはその特徴量と一致する失敗部分を特定する失敗部分特定部を備える。
【００２２】
判断部の判断結果および／または失敗部分特定部の特定した失敗部分を通知する失敗通知部を備える。
【００２３】
所定の画像出力装置が出力した補完用画像を入力する補完用画像入力部と、補完用画像入力部が入力した補完用画像によって、所望の画像のうち失敗部分特定部の特定した失敗部分を修正する修正部と、を備える。
【００２４】
失敗部分特定部の特定した失敗部分のうち、修正すべき失敗部分の選択を受け付ける選択部を備え、修正部は、選択部が選択を受け付けた失敗部分を補完用画像で修正する。
【００２５】
選択部は、修正部が修正した画像のうち元に戻したい部分の選択を受け付け、修正部は、選択部が選択を受け付けた部分を元の失敗部分に戻す。
【００２６】
修正部が修正した画像を出力する出力部を備える。
【００２７】
撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を画像に変換して出力する第１の撮像部を備え、判断部は、第１の撮像部の出力した画像もしくはその特徴量と、登録部の登録した基準画像もしくはその特徴量とを比較し、比較結果に応じて、第１の撮像部の出力した画像が撮影に失敗した画像であるか否かを判断し、制御部は、判断部の判断結果に応じ、第１の撮像部または第１の撮像部以外の第２の撮像部を有する第２の撮像装置に補完用画像の取得を指示する。
【００２８】
第１の撮像部の出力した画像は第１の撮像部に対する本撮像指示が入力される前に出力されたスルー画像を含む。
【００２９】
補完用画像は第１の撮像部に対する本撮像指示が入力される前後に第１の撮像部または第２の撮像部が取得した静止画または動画を含む。
【００３０】
基準画像の特徴量は、画像データの値に関連する第１の特徴量および画像データの撮影時の状況に関連する第１の特徴量以外の特徴量である第２の特徴量のうち少なくとも一方を含む。
【００３１】
本発明に係る画像処理方法は、コンピュータが、撮影の成功または失敗の基準となる基準画像もしくはその特徴量を登録するステップと、所望の画像もしくはその特徴量と、登録した基準画像もしくはその特徴量とを比較し、比較結果に応じて、所望の画像が撮影に失敗した画像であるか否かを判断するステップと、判断結果に応じて、補完用画像の出力を所定の画像出力装置に指示するステップと、を実行する。
この画像処理方法をコンピュータに実行させるための画像処理プログラムも本発明に含まれる。
【発明の効果】
【００３２】
この発明によると、所望の画像もしくはその特徴量と登録された失敗画像もしくはその特徴量との比較に応じて、補完用画像の取得が所定の画像取得装置に指示される。すなわち、本撮影に先立ち、失敗画像が撮影される可能性が高くなったら、その失敗画像を補完する補完用画像を確保でき、後に失敗画像を確実に補完できる。
【発明を実施するための最良の形態】
【００３３】
＜第１実施形態＞
図１は本発明の好ましい実施形態に係るデジタルカメラ１０の機能ブロック図である。まず、同図のデジタルカメラ１０において、情報処理装置（ＣＰＵの他、ＣＰＵの情報処理に必要な周辺機器、例えばＲＯＭ、ＲＡＭ、Ｉ／Ｏなども含まれる。便宜上これらをまとめてＣＰＵと呼ぶ）１１２は、レリーズスイッチ、モードダイヤル等を含む操作部１１３の各種のボタンやキーからの入力に基づいてデジタルカメラ１０内の各回路を統括制御する。ＣＰＵ１１２の実行するプログラムは記憶部１１９のＲＯＭに記憶される。
【００３４】
撮像部１０２は、ズームレンズおよびフォーカスレンズを含む撮像レンズ、撮像レンズを駆動するモータ、ＣＰＵ１１２の指令に従ってモータを駆動するモータドライバ、撮像レンズの結像した被写体像を受光して光電変換し、アナログ画像信号として出力するＣＣＤやＣＭＯＳなどの固体撮像素子を含む。
【００３５】
いま、モードダイヤルによって静止画撮影モードが設定されると、ＣＰＵ１１２は、撮像部１０２から順次得られるコマ画像（スルー画）を表示部１１０に表示させ、撮影画角を確認可能にする。
【００３６】
撮像部１０２は、Ａ／Ｄコンバータ、ゲイン調整回路、画像信号処理回路、ホワイトバランス補正回路、ガンマ補正回路、ＹＣ処理回路、輝度・色差信号生成回路、シャープネス補正回路、コントラスト補正回路、撮影画像に対する輪郭補正を含む画像処理を行う輪郭処理部、画像のノイズ低減処理を行うノイズ低減処理部等を含む画像処理手段を含み、ＣＰＵ１１２からのコマンドに従って画像信号を処理し、デジタル画像データに変換する。
【００３７】
撮像部１０２から出力された画像データは、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｌ信号）に変換されるとともに、ガンマ補正等の所定の処理が施された後、記憶部１１９のＶＲＡＭに格納される。
【００３８】
一方、画像データは、ハイパスフィルタ（ＨＰＦ）１２５でＧ画素成分のみ抽出される。そして、積算部１２６で抽出されたＧ画素成分に積算処理が施されてＣＰＵ１１２に送られる。ＣＰＵ１１２は、積算部１２６から送られた１画面分の分割領域（例えば６４分割）の画像データの内、十字キーで任意に設定された被写体中心付近のエリア（例えば４エリア）の平均値を算出し、これをオートフォーカス（ＡＦ）評価値とする。ＡＦ評価値は、所定周期の経過毎に算出され、算出の度に記憶部１１９に更新記憶される。ＣＰＵ１１２は、ＡＦ評価値に従って被写体の合焦するレンズ位置を判定する。その判断方法は任意であるが、例えばＡＦ評価値が極大点の近傍に略到達しているか否かを判断し、極大点に略達している場合は合焦していると判断し、その他の場合は合焦していないと判断する（コントラストＡＦ）。あるいは、ＡＦ評価値が所定の閾値を超えていれば合焦していると判断することもできる。
【００３９】
撮影画像を表示部１１０にモニタ出力する場合、ＶＲＡＭからＹＣ信号が読み出され、ビデオエンコーダ１３４に送られる。ビデオエンコーダ１３４は、入力されたＹＣ信号を表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して表示部１１０に出力する。
【００４０】
所定のフレームレートで処理された各フレームのＹＣ信号は、ＶＲＡＭに順次書き込まれ、そのＹＣ信号から生成される映像信号が表示部１１０に供給されることにより、撮像中の映像がリアルタイムに表示部１１０に表示される。ユーザは、表示部１１０に表示される映像（スルー）によって撮影画角を確認できる。
【００４１】
ここで、レリーズスイッチが半押しされると、ＡＥ及びＡＦ処理が開始される。ＡＥ／ＡＦ処理が行われ、レリーズスイッチが全押しされることによって記録用の撮影動作がスタートする。レリーズスイッチの全押しに応動して取得された記録用の画像データは、画像記憶部１３２に格納される。動画の取込みの場合には、上記のような画像の取込みが連続的に行われると共に、各画像はフレーム画像（コマ画像）として動画を構成する。動画の取り込みは、レリーズスイッチの１回目の全押しで開始し、２回目の全押しで終了する。あるいは全押しが継続している間に限って動画の取り込みを行う。動画の取得に合わせて、マイク１７から集音された音も同期して取り込むことができる。
【００４２】
画像記憶部１３２に格納されたＹ／Ｃ信号は、ＣＰＵ１１２によって所定のフォーマット（例えば静止画ならばExif（Exchangeable Image File Format）、動画ならばＭＰＥＧ４）に従って圧縮された後、外部記録媒体にファイルとして記録される。画像はExifファイルのデータ部分に記録される。ＣＰＵ１１２は上記Exifファイルのヘッダ部分の所定のタグ（Imagedescriptionタグなど）に撮影日時情報などを記録する。記録された画像は、通信インターフェース７６を介して接続されたパソコン２００ａやプリンタ２００ｂやＰＤＡなどの各種電子機器２００に送信することもできる。また、カメラ１０は、通信インターフェース７６を介して他のカメラ１０−Ｂとも接続している。カメラ１０−Ｂは、カメラ１０と同様の構成を有しているものとする。また、カメラ１０とカメラ１０−Ｂは同じようなシーンを撮影するようにユーザが適切な撮影画角を設定しているものとする。以下、カメラ１０とカメラ１０−Ｂのブロックとを区別するため、カメラ１０−Ｂのブロックには副添え字「−Ｂ」を付する。また、サブ撮像部２０が備えられている場合は、サブ撮像部２０は撮像部１０２と同じようなシーンを撮影するようにユーザが適切な撮影画角を設定しているものとする。
【００４３】
プリンタ２００ｂは、カメラ１０やパソコン２００ａから受信した静止画像を普通紙や印画紙などの紙媒体で構成される台紙に所定の配置でプリントする。所定の配置で配列された静止画像は、アドビシステムズ社の「ＰＤＦ」のような電子的媒体としてディスプレイや記録メディアやインターネット経由で接続されたパソコンなどに出力することもできる。要するに、作成された画像プリントの出力先は、特定のものに限定されない。本願明細書では、所望の画像が所望の位置に配置されうる電子的媒体の作成フォームも台紙と呼ぶ。
【００４４】
モードダイヤルによって動画撮影モードが設定されたときには、レリーズスイッチの全押し操作に連動して動画記録動作がスタートし、もう一度レリーズスイッチを押下すると動画記録動作が停止する。レリーズスイッチを押下継続している期間、録画動作を行い、押下解除によって録画を停止するようにしてもよい。動画データは、例えばＭＰＥＧ４形式によって画像記憶部１３２に記憶される。
【００４５】
モードダイヤルにより再生モードが選択されると、画像記憶部に記憶されている最終の画像ファイル（最後に記録されたファイル）の圧縮データが読み出される。この読み出された画像圧縮データは、ＣＰＵ１１２によって非圧縮のＹＣ信号に伸長され、ビデオエンコーダ１３４に加えられる。ビデオエンコーダ１３４は、入力するＹＣ信号からＮＴＳＣ方式のＲＧＢカラー複合映像信号を作成し、これを表示部１１０に出力する。これにより、表示部１１０に画像が表示される。
【００４６】
表示部１１０は、カメラ１０に内蔵されたＬＣＤ、ファインダー又は映像出力端子等に接続された外部の表示装置に相当する。なお、ビデオエンコーダ１３４は、ＯＳＤ信号発生回路１３５を含み、ＯＳＤ信号発生回路１３５はＣＰＵ１１２からの指令に応じてシャッター速度や絞り値、撮影可能枚数、撮影日時、警告指示等の文字及びアイコン等の記号を表示するための信号を発生させる。このＯＳＤ信号発生回路１３５から出力される信号は、必要に応じて画像信号に混合されて、ＬＣＤ１１４に供給される。これにより、スルー画像や再生画像に文字やアイコン等が合成された合成画像が表示される。
【００４７】
画像記憶部１３２は、撮影で得た画像データ（静止画、動画）を保持する手段であり、例えばスマートメディアと呼ばれるメモリカードが使用される。記録メディアの形態はこれに限定されず、ＰＣカード、コンパクトフラッシュ（登録商標）、磁気ディスク、光ディスク、光磁気ディスク、メモリスティックなどでもよく、電子的、磁気的、もしくは光学的、又はこれらの組み合わせによる方式などに従って読み書き可能な媒体を用いることができる。異種・同種の記録メディアを問わず、複数の媒体を装着可能な構成にしてもよい。また、画像ファイルを保存する手段は、カメラ本体に着脱可能なリムーバブルメディアに限らず、カメラに内蔵された記録媒体（内蔵メモリ）であってもよい。
【００４８】
ＣＰＵ１１２は、カメラ１０の各回路を統括制御する制御回路であり、レリーズスイッチ、十字キー、電源スイッチ、モードダイヤル、情報位置指定キーあるいは図示しないストロボボタン、ズームキー、メニュー／実行ボタンその他を含む操作部１１３から受信する信号に基づき、対応する回路の動作を制御するとともに、表示部１１０における表示制御、ストロボ発光制御、ＡＦ補助光の発光制御、オートフォーカス（ＡＦ）制御及び自動露出（ＡＥ）制御等を行う。
【００４９】
カメラ１０の電源が電源スイッチでオンされる度に、カメラボディ内部に装着される電池からなる図示しない主要電源から、デジタルカメラ１０の各回路に電源が供給される。
【００５０】
通信インターフェース７６は、パソコンンやプリンタなどの各種情報処理機器と接続可能であり、ＣＰＵ１１２からのコマンドに従い、データの送受信を行う。
【００５１】
動き検出回路２１は、加速度センサ、ポテンショメータ、重力サンサ、傾斜センサ、姿勢センサ、電子コンパス等からなる。具体的には、動き検出回路２１は、操作部１１３、特にレリーズスイッチへの押圧力を検知する圧力検出部、カメラ１００の左右の動き方向及びその動作量を示す左右動き情報を出力する左右動き検出部、カメラ１００の上下の動き方向及びその動作量を示す上下動き情報を出力する上下動き検出部、カメラ１００の筐体の水平方向に対する傾き方向及びその傾き量を示す傾き動き情報を出力する傾き動き検出部を備える。動き情報は、左右動き情報、上下動き情報、および傾き動き情報ならびに各動きの検知が開始した時刻、各動きの検知が終了した時刻、各動きの検知が持続した時間を含む。
【００５２】
サブ撮像部２０は、カメラ１０の筐体前面に設けられて被写体の撮影に用いられる撮像部１０２とは異なり、筐体前面に設けられて撮影者自身の撮影（以下、セルフ撮影と呼ぶ）を行なう。また、サブ撮像部２０は、ユーザが表示部１１０の画面のどこを注視しているかを検出する装置であり、検出した情報はＣＰＵ１１２に入力される。被検眼の視線方向を検出するには、被検眼の前眼部に光線を投射し、角膜或いは水晶体による反射像を光電変換素子によって検出することで実現される。被検眼の視線方向を検出する装置は周知である。
【００５３】
測距部８１は、例えば、撮像部１０２の撮影範囲にある被写体に対して発光部から光を発し、被写体に反射して戻ってきた光を受光し、発光部と受光部のなす角から被写体までの距離を算出する三角測距センサを採用できる。あるいはＴＯＦ（タイムオブフライト）原理を応用したセンサや、複眼カメラの距離画像（３Ｄ画像）を利用するなど、被写体の測距を行う手段であれば各種の公知技術を採用できる。
【００５４】
表示部１１０にはタッチパネル１１４が積層されている。ユーザが指やペンなどで表示部１１０の対応部分を押下すると、その押下位置を示す情報がＣＰＵ１１２に出力される。
【００５５】
ＣＰＵ１１２には、音声処理回路８４を介してスピーカ８５が接続されている。音声処理回路８４は、ＣＰＵ１１２から送られた報知音データ（シャッタ音、警告音など）に基づき、スピーカ８５を駆動させることで、報知音や、動画とともに記録された音声を出力する。
【００５６】
マイク１７から取得されたアナログ音声信号は、動画撮影モードの場合、音声処理回路８４によって増幅後デジタルデータに変換されるとともに、所定の圧縮記録形式（ＭＰＥＧ４など）で圧縮されるなどのデータ処理がなされ、取得した画像とともに画像記憶部１３２に記憶される。静止画撮影モードであっても、本撮影指示前後の音声を記録することは可能である。また、画像記憶部１３２に記憶された音声の他、記憶部１１９に予め記憶された操作音、シャッタ音、ＡＦの合焦音などの各種報知音データは、音声処理回路８４によってデコードやアナログ音声信号変換や増幅などのデータ処理がなされた後に、スピーカ８５に出力される。スピーカ８５は、音声処理回路８４から出力されたアナログ音声信号に従って音声を出力する。
【００５７】
ＲＴＣ（リアルタイムクロック）１５は、現在日時情報を出力する。この現在時刻情報は、撮像部１０２による記録用画像の撮影日時情報として、画像とともに記録することができる。
【００５８】
音声認識回路５４は、マイク１７から直接取得された音声、あるいは画像記憶部１３２に記憶された音声データのうちＣＰＵ１１２から指定された音声データが表す音声に対して音声認識を行い、認識結果をテキストデータとして出力する音声認識処理を行う。音声認識回路５４には、音声データベース７４が接続されており、音声データベース７４には、音声認識処理時にパターンマッチングのために参照されるパターンデータが記憶されている。音声認識回路５４は、音声データベース７４に記憶されているパターンデータを参照して音声認識を行う。音声データベース７４には、例えば不特定多数の人が出入りする駅などの公共施設で集音された雑踏の音声、道路沿いの歩道での車の通行の騒音といった、想定される様々な撮影時の状況を示す音声パターンが登録されている。
【００５９】
ＧＰＳ受信機１２０は、ＧＰＳ衛星からの電波を受信して軌道からの距離を測定することにより、カメラ１０の現在位置情報を得る。この現在位置情報は、撮像部１０２による記録用画像の撮影位置情報として、画像とともに（例えばメタ情報やヘッダ情報として）画像記憶部１３２に記憶することができる。
【００６０】
カメラ筐体裏面には、マイク１７が設置されており、これらの各種装置は、表示部１１０の周辺に設けられている。また、カメラ筐体正面あるいはカメラ１０の拡張機器として、サブ撮像部２０を設けることができるが、設けなくてもよい。
【００６１】
ＣＰＵ１１２は、画像処理の基礎となるユーザ情報を取得する。例えば、ユーザ情報は、ＧＰＳ受信機１２０からの位置情報、動き検出回路２１の検出した動きを示す動き情報、ＲＴＣ１５からの撮影日時情報、操作部１１３やタッチパネル１１４の操作内容情報、ＣＰＵ１１２からの構図情報、被写体情報、画質情報、音声認識回路５４からの認識音声情報、あるいはそれらをメタ情報やヘッダ情報として記録した画像ファイルなどが挙げられる。
【００６２】
画像解析部１４５は、画像記憶部１３２の画像を解析し、その結果に応じて、構図情報、被写体情報、画質情報を作成し、出力する。構図情報は、人物の有無、主要被写体（典型的には合焦被写体のことを指すが、顔検出のあった被写体でも可）の位置を含む。被写体情報は、顔領域の位置、被写体サイズ、人物名、被写体の動きの有無、その動き方向ならびにその動き速度、などを含む。なお、構図解析、被写体抽出、顔検出、画質解析については、各種の公知技術を用いればよい（例えば、本出願人による特開２００７−９７０９０号公報、特開２００５−３５４６０６号公報）。これらの情報は、画像の付帯情報として記録してもよい。
【００６３】
画質情報は、ボケ・ブレの有無や、目瞑りの有無などを示す画像情報を含む。ブレの検出については、従来の手ブレ検出と同様、動き検出回路２１の検出した加速度ベクトルのサイズが所定の閾値を超えた場合に手ブレありと判断する。ボケの検出については、例えばエッジ検出に基づいて行うことができる（例えば、本出願人による特開２００５−１２２７２１号公報）。目瞑りの有無の判定についても公知技術を用いることができる（例えば、本出願人による特開２００７−４９６３１号公報）。
【００６４】
操作内容情報は、撮影モード設定からシャッターボタン半押しまでの間に入力された操作の内容を含む。操作内容情報は、操作部１１３またはタッチパネル１１４への操作入力があるごとに、ＣＰＵ１１２によって記憶部１１９に記憶される。これらの情報は、画像の付帯情報として記録してもよい。
【００６５】
失敗画像登録部１４１は、画像記憶部１３２の画像、通信Ｉ／Ｆ７６から入力した画像、可搬性記憶媒体から読み出した画像など所望の画像のうち、失敗画像として登録すべき画像の選択を、操作部１１３を介して受け付ける。そして、操作部１１３から指定された画像に、失敗画像の分類を示す情報を対応づけて画像記憶部１３２に登録する。あるいは、画像記憶部１３２などから確保した所望の画像のうち、成功画像として登録すべき画像の選択を、操作部１１３を介して受け付ける。そして、操作部１１３から指定された画像に、成功画像の分類を示す情報を対応づけて画像記憶部１３２に登録する。あるいは、画像解析部１４５の取得した情報に基づいて、撮像部１０２やサブ撮像部２０やカメラ１０−Ｂの取得した画像の中から失敗画像と成功画像を分類し、その分類結果を示す情報を、画像記憶部１３２に記憶された各画像に対応づけて登録することもできる。
【００６６】
どのような画像を失敗画像あるいは成功画像として登録するかは、ユーザによる操作部１１３への指示入力に依存し、どのような画像が登録されてもよい。例えば、所望の画像の中で、人物被写体が横や後ろを向いたり、目を瞑った画像などを、ユーザが任意に操作部１１３を介して選択し、それを失敗画像とする。あるいは、ユーザが人物被写体が正面を向いた画像を操作部１１３を介して選択し、成功画像とする。
【００６７】
失敗画像や成功画像そのものを登録する代わりに、ユーザが失敗あるいは成功であると考える画像中の領域の指定を操作部１１３から受け付け、その部分を失敗画像や成功画像として登録してもよい。さらに、その部分を示す固有の特徴量が画像解析部１４５によって抽出可能であるならば、その特徴量を失敗画像や成功画像の代替物として登録してもよい。特徴量としては、露出している黒目の縦方向の長さ（単位は画素）、顔領域から検出される目の個数（２、１、または０）、人物被写体以外に動きのある被写体の位置情報がある。このような特徴量は、画像解析部１４５の画像解析によって作成してもよい。静止画撮影前後の動画がカメラ１０−Ｂやサブ撮像部２０によって記録されていれば、静止画撮影前後の動画と静止画との差分から、静止画の中で動いている被写体部分が特定でき、その部分を失敗画像にできる。その差分から動きベクトルを作成し、これを１次特徴量とすることもできる。
【００６８】
また、画像取得時に認識された音の種類や騒音の有無も、失敗画像または成功画像の特徴量の１つとして登録できる。騒音が検出されたときに撮られた画像は、車や人の集団など不要な被写体が主要被写体の背後あるいは前を通過する可能性が高く、その騒音のレベル（例えば７０デシベル）を失敗画像の特徴量として登録できる。あるいは、通常、集合写真の場合、皆静かになってから撮影を開始するであろうから、ユーザが操作部１１３を介して成功画像に指定した集合写真を撮った騒音のレベル（例えば５０デシベル）を、特徴量として登録する。合わせて、画像解析部１４５が公知の顔検出やエッジ検出などにより検出した人物被写体の数を、特徴量として登録してもよいであろう。
【００６９】
あるいは、撮影時における動き検出回路２１のカメラの瞬間的な振れ量（加速度）も、特徴量として登録できる。例えば、手振れが生じており、失敗画像として選択された画像の撮影時の振れ量は、失敗画像の特徴量として登録できる。あるいは、晴天下の逆光で撮影された失敗画像のＥＶ値や色温度は、失敗画像の特徴量として登録できる。また、失敗画像として選択されたピンボケ画像のエッジ特徴量（エッジの鮮鋭度）は、失敗画像の特徴量として登録できる。このような特徴量は、指定された目瞑り領域の座標情報と組み合わせた失敗画像とその特徴量として登録できる。
【００７０】
あるいは、主要被写体が小さすぎて失敗画像として選択された画像の主要被写体の位置、大きさ、あるいは測距部８１の測距したその主要被写体あるいはそれ以外の被写体までの距離も、失敗画像の特徴量として登録できる。
【００７１】
あるいは、露出不足で画像が黒くつぶれてしまった（露出アンダー）画像が失敗画像として選択された場合や、露出過多で画像に白飛びが生じた画像が失敗画像として選択された場合、ＥＶ値を失敗画像の特徴量として登録できる。
【００７２】
あるいは、画像の輝度レンジのハイライト部及びシャドー部が所定のラチチュード内に収まらず、ハイライト部の飛びやシャドー部のつぶれが発生した失敗画像の輝度情報を、失敗画像の特徴量として登録できる。
【００７３】
つまり、失敗画像または成功画像の特徴量とは、画像データの値に関連する情報ならびにその関連情報から派生する指標や数値（人物被写体の有無、人物被写体のサイズ、人物被写体の目瞑りの有無、被写体の目の数ならびにその数に応じた被写体の顔の向き、輝度情報、顔領域に含まれる各画素の輝度値についてのヒストグラム、動く被写体の有無など。以下、１次特徴量と呼ぶ）だけでなく、画像データの値そのものからは派生しない情報であるが、その画像データの撮影時の状況に関連する各種の指標や数値（ＥＶ値、焦点距離、周囲の騒音レベル、被写体までの距離など。以下、２次特徴量と呼ぶ）も包含し、それらのうちどれを失敗画像または成功画像と対応づけて登録するかは、ユーザの自由である。以下、登録された失敗画像、成功画像ならびにそれらに付随する各種の特徴量を、失敗／成功条件情報という。
【００７４】
失敗画像検出部１４２は、失敗画像登録部１４１が画像記憶部１３２に登録した失敗／成功条件情報に基づいて、任意の画像（記録済みの画像だけでなく、撮像部１０２から継続的に出力されるスルー画も含む）の失敗部分の有無とその場所を特定し、ＣＰＵ１１２に通知する。ＣＰＵ１１２は、その失敗部分の通知に基づいて、警告やメッセージを表示や音声出力したり、失敗部分を成功画像の成功部分で置換したりする。この処理については後述する。
【００７５】
なお、デジタルカメラ１０とは、要するに被写体像を画像データとして取得可能な機器であれば何でもよく、カメラ付き携帯電話、カメラ付きパソコン、デジタルビデオカメラ、デジタルスチルカメラなども含みうる。
【００７６】
記憶部１３２には、画像データに合成される文字情報やテンプレートデータが格納されており、画像処理部１４４は、ＣＰＵ１１２の指示あるいは操作部１１３からの選択操作に応じて所望の画像に所望のデータを合成する。
【００７７】
図２は撮像支援処理の概略を示すフローチャートである。この処理は撮影モードの設定に応じて開始する。あるいは、撮影準備動作の指示（シャッターボタンの半押し）が操作部１１３に入力されたことに応じて開始してもよい。この処理をＣＰＵ１１２に実行させるプログラムは記憶部１１９に記憶されている。なお、この「ＣＰＵ１１２」とは、カメラ１０そのものに内蔵されているものでなく、別の電子機器、例えばパソコン２００ａの内蔵するものも含みうる。つまり、本処理の実行主体は、パソコン２００ａのＣＰＵであり、その制御対象がパソコン２００ａとは別体の撮像装置でも可能である。
【００７８】
また、本明細書において「一致する」とは、実質的に一致すること、すなわち、完全に一致する場合の他、完全に一致しなくてもその誤差が所定の許容範囲に収まる場合も含むものとする。
【００７９】
Ｓ１では、スルー画の取得を開始するとともに、マイク１７による集音と音声認識回路５４による集音された音声の内容や大きさの解析、画像解析部１４５による画像の輝度情報や画像内の動きのある物体の検出、目瞑り領域の検出、露出した黒目の直径の検出、目の個数の検出、測距部８１による被写体までの距離の測定、動き検出回路２１によるカメラ１０の動き検出を開始するよう各ブロックを制御する。これらの制御によって各ブロックから得られた情報を、撮影時状況情報と総称する。
【００８０】
Ｓ２では、失敗／成功条件情報に含まれる失敗画像に対応づけられた特徴量と撮影時状況情報とを照合し、撮影時状況情報の中に失敗画像の特徴量と一致する情報が含まれるか否かを判断する。撮影時状況情報の中に失敗画像の特徴量と一致する情報が含まれる場合は、Ｓ３に進み、それ以外の場合はＳ４に進む。
【００８１】
もしくは、失敗／成功条件情報に含まれる成功画像に対応づけられた特徴量と撮影時状況情報とを照合し、撮影時状況情報の中に成功画像あるいは成功画像の特徴量と一致する情報が含まれないか否かを判断する。撮影時状況情報の中に成功画像の特徴量と一致する情報が含まれない場合はＳ３に進み、それ以外の場合はＳ４に進む。
【００８２】
なお、Ｓ２は失敗画像検出部１４２が行ってもよい。
【００８３】
Ｓ３では、失敗画像として登録された画像部分と合致するスルー画上の部分を特定する。これは、例えば、失敗画像のサイズと同じ領域がスルー画の全体を走査するよう、当該領域を任意の位置に設定しつつ、設定された領域に含まれるスルー画の部分領域と失敗画像との差分画像を作成し、差分画像が０（色データなし）となれば、登録された失敗画像の部分がスルー画にあると判断する。
【００８４】
そして、特定された、スルー画内の失敗画像部分に対する枠囲みや着色や色反転などを示す映像、失敗部分が存在する旨の警告メッセージ、設定された画角での撮影を行うと失敗画像を得る可能性がある旨の警告を、アイコンやメッセージその他の映像によって表示部１１０に表示したり、あるいはチャイム音や警告メッセージその他の音声によって音声処理回路８４およびスピーカ８５から再生する。その他、Ｓ３の判断結果を示す映像の生成をＯＳＤ回路１３５に指示したり、あるいは、そのような警告メッセージの再生を音声処理回路８４に指示してもよい。あるいは、そのような失敗部分の検出にもかかわらずシャッタボタンが全押しされて撮影指示が操作部１１３から入力された場合、ＣＰＵ１１２はその撮影指示を無効化したり無視したりすることで撮影をロックし、撮影を行わせず、また撮影の指示に従わなかった旨のメッセージを再生することもできる。図示は省略するが撮影をロックした場合は、Ｓ５に進まず、Ｓ１に戻ってもよい。
【００８５】
スルー画内に失敗画像に相当する部分がない場合でも、スルー画取得時の特徴量が失敗画像の特徴量と一致すると判断された場合、例えば、スルー画取得時に集音した周囲の音声の大きさが７０ホンを超えたり、ＣＰＵ１１２が算出したスルー画取得時のＥＶ値が、逆光、白飛び、黒つぶれの失敗画像のＥＶ値と一致したり、動き検出回路２１が検出したスルー画取得時のカメラ１０に加わった加速度が手振れ失敗画像に対応する加速度を超えたり、画像解析部１４５がスルー画から動きのある物体、目瞑りをした人物被写体、正面を向いていない顔（両目が検出されない顔）を検出したりした場合、そのような警告を表示したり拡声したりする。
【００８６】
合わせて、失敗の種類を通知してもよい。例えば、目瞑りの特徴量と一致すれば「目瞑りがあります」といったメッセージの表示や拡声、騒音が大きければ「現在撮影が妨げられるような騒音が観測されています」といったメッセージの表示や拡声を出力する。あるいは、露出アンダーの特徴量が検出されれば、その旨の警告を出力する。
【００８７】
スルー画は定期的に取得される画像であるため、スルー画取得時の特徴量も定期的に取得する。その周期はスルー画のコマ画像の取得周期と同じでなくてもよい。
【００８８】
さらに、登録された失敗画像の部分がスルー画にあると判断されたか、あるいはスルー画取得時の特徴量が失敗画像の特徴量と一致すると判断された場合、カメラ１０−Ｂ（あるいはサブ撮像部２０。以下同様）に対し、補完用画像の取得の開始を指示する。カメラ１０−Ｂは、この指示を通信Ｉ／Ｆ７６を介して受信すると、以後、撮像部１０２−Ｂによる定期的な画像の取得を行い、取得された画像を補完用画像として順次画像記憶部１３２−Ｂに格納する。これは、動画のコマ画像の取得でもよいし、静止画の連写でもよい。カメラ１０−Ｂでなくカメラ１０自身の撮像部１０２による静止画の連写や動画取得により補完用画像の取得を行ってもよい。さらに、カメラ１０とカメラ１０−Ｂの両方が補完用画像の取得を行ってもよい。さらに、通信インターフェース７６に接続された所望のパソコン２００ａに補完用画像の出力を要求し、パソコン２００ａがその要求に応じて補完用画像をカメラ１０に出力してもよい。このように、失敗画像の撮影の可能性が高まると、後の失敗画像の修正用の補完用画像を確保する。
【００８９】
ただし、この補完用画像が際限なく記憶されていくことを防ぐため、補完用画像が所定の枚数あるいは所定の時間的長さに収まるよう、古い画像（コマ画像）から廃棄していくとよい。例えば、廃棄を開始する枚数閾値が「５」として記憶部１１９に設定されていれば、６枚以上の補完用画像が得られたとき、その中で最も古い画像から順に削除していき、枚数閾値にまでに減ったら削除を止める。あるいは、廃棄を開始する時間閾値が「１０秒」として記憶部１１９に設定されていれば、現在時刻から１０秒遡った動画コマ画像よりも古い動画コマ画像を削除する。
【００９０】
Ｓ４では、撮影に適した条件が整った旨の通知メッセージの映像信号の合成をＯＳＤ回路１３５に指示する。あるいは当該通知メッセージの再生を音声処理回路８４に指示する。合わせて、補完用画像の取得を停止する指示をカメラ１０−Ｂに出力してもよい。
【００９１】
Ｓ５では、操作部１１３への撮影開始の指示入力があったか否か（シャッタボタンの全押しがあったか否か）を判断する。Ｙｅｓの場合はＳ６に進み、Ｎｏの場合はＳ１に戻る。
【００９２】
Ｓ６では、撮影開始の指示入力に応じた撮影動作が行われる。この結果、撮像部１０２による記録用画像取得動作が行われ、画像が画像記憶部１３２に格納される。また撮影開始の指示入力時の特徴量を画像に対応づけて画像記憶部１３２に格納する。
【００９３】
また、画像の格納後、一定時間（例えば５秒間経過後）、カメラ１０−Ｂに対し、補完用画像の取得の終了を指示する。カメラ１０−Ｂは、この指示を通信Ｉ／Ｆ７６を介して受信すると、画像の取得を停止する。
【００９４】
なお、Ｓ２において、一旦失敗画像が検出されたとしても、その後のスルー画について、ＣＰＵ１１２が、登録された成功画像の画像部分と合致するスルー画上の部分の有無、および、成功画像の特徴量とスルー画取得時の特徴量との合致の有無を判断し、スルー画と成功画像部分とが一致しあるいはスルー画取得時の特徴量と成功画像の特徴量が存在する場合、撮影条件が整った旨の通知メッセージを出力してもよい。また、撮影がロックされている場合は、それを解除し、本撮影指示を受け入れるようにする。こうすると成功画像の記録の可能性がさらに増す。また、撮影ロックが解除されている間に本撮影指示があり、撮像と画像の格納が行われた場合は、その画像の取得時と同じタイミングで取得された補完用画像は破棄してもよい。成功画像が確保された以上、それと同じ補完画像は必要ないからである。
【００９５】
なお、登録された成功画像の画像部分と合致するスルー画上の部分の有無を示す映像も、同様にしてＯＳＤ回路１３５に指示してもよい。
【００９６】
このように、予め登録した失敗画像とその特徴量が、スルー画の取得時に得られた場合、警告を出力することで、ユーザが失敗画像を撮る可能性を低くすることができる。また、予め登録した成功画像とその特徴量が、スルー画の取得時に得られた場合、撮影条件が整った旨の通知を出力することで、ユーザが成功画像を撮る可能性をさらに高めることができる。
【００９７】
＜第２実施形態＞
図３は第２実施形態に係る画像補完処理のフローチャートである。この処理をＣＰＵ１１２に実行させるプログラムは記憶部１１９に記憶されている。ただし、このプログラムは、カメラ１０以外の情報処理装置、例えばパソコン２００ａでも可能である。このパソコンは、ＣＰＵ１２、通信Ｉ／Ｆ７６、記憶部１１９、画像記憶部１３２、操作部１１３、失敗画像登録部１４１、画像解析部１４５、表示部１１０、ビデオエンコーダ１３４、ＯＳＤ回路１３５と同等の構成を備えているものとする。
【００９８】
Ｓ１１では、画像記憶部１３２から、撮影済み画像（静止画でも動画のコマ画像でもよい）、登録済みの失敗画像を入力する。これらの画像が複数ある場合は、それぞれを入力する。なお、本処理をパソコン２００ａで行う場合は、通信Ｉ／Ｆ７６経由あるいは可搬性記憶媒体経由でカメラ１０から撮影済み画像を入力するとともに、通信Ｉ／Ｆ７６経由あるいは可搬性記憶媒体経由でカメラ１０−Ｂ（またはカメラ１０）から補完用画像を入力する。
【００９９】
Ｓ１２では、Ｓ２と同様の処理をスルー画でなく撮影済み画像について行う。撮影済み画像の中に失敗画像が一致する領域があるか、あるいは撮影済み画像に対応する特徴量と失敗画像の特徴量とが一致する場合、Ｓ１３に進み、それ以外の場合は本処理を終了する。この処理については後で詳述する。
【０１００】
Ｓ１３では、失敗画像と一致する撮影済み画像内の領域（失敗部分）に対する枠囲みや着色や色反転などを示す映像、失敗部分が存在する旨の警告メッセージ、その他Ｓ１２の判断結果を示す映像の生成をＯＳＤ回路１３５に指示する。あるいは、警告メッセージの表示とともに、所定の警告音の再生を音声処理回路８４に指示してもよい。なお、Ｓ３のメッセージの内容は、これから撮影を行う撮影者に対して失敗画像が撮影される可能性を示唆する警告であるが、本ステップＳ１３のメッセージは、既に撮影を行った画像に失敗部分が存在する可能性を示唆する警告である。
【０１０１】
Ｓ１４では、失敗部分のうち、修正したい所望の箇所を操作部１１３を介して選択させる。選択があったことに応じてＳ１５に進む。
【０１０２】
Ｓ１５では、選択された修正箇所を、カメラ１０−Ｂの記憶した補完用画像の対応部分のうち成功画像の特徴量を有するもので置換する。そして置換後の修正画像を表示部１１０に表示させる。
【０１０３】
図４は、撮影済み画像もしくはその特徴量が失敗画像もしくはその特徴量と一致するか否かを判断し、一致した場合はその旨を通知する処理（Ｓ１２およびＳ１３）の詳細を示すフローチャートである。以下のフローチャートは、第１実施形態で挙げた１次特徴量あるいは２次特徴量のうちの一部についての判定であるが、その他の特徴量についても同様な判定が可能である。
【０１０４】
Ｓ２１では、失敗の可能性がある撮影済み画像を画像記憶部１３２から抽出する。これは例えば、撮影済み画像もしくはその特徴量が成功画像もしくはその特徴量と一致するか否かを判断し、成功画像もしくはその特徴量と全く一致しない撮影済み画像を、失敗の可能性がある撮影済み画像として抽出する。なお、抽出された失敗の可能性がある撮影済み画像を表示部１１０に一覧表示させ、その中からＳ２２以降の処理対象とする画像を操作部１１３から選択させて、それを改めて取得された撮影済み画像とし、その他は失敗の可能性がある撮影済み画像から排除してもよい。
【０１０５】
Ｓ２２では、Ｓ２１で取得された撮影済み画像および失敗画像に対応する１次特徴量同士を比較し、両者が一致するか否かを判断する。Ｙｅｓの場合はＳ２３、Ｎｏの場合はＳ２４に進む。
【０１０６】
Ｓ２３では、失敗画像の１次特徴量を有する撮影済み画像の領域を特定し、その部分を示す失敗部分指示映像を生成するようＯＳＤ回路１３５に指令する。
【０１０７】
Ｓ２４では、合焦被写体の距離よりも近い距離に被写体が存在するか否かを判断する。これは、焦点距離を合焦被写体までの距離に換算した上、合焦被写体までの距離と、測距部８１の測距した被写体（合焦被写体とそれ以外の被写体を含む）までの距離とを比較し、合焦被写体までの距離よりも近い距離にある被写体（手前側被写体）があるか否かを判断する。Ｙｅｓの場合はＳ２５、Ｎｏの場合はＳ２６に進む。なお、この判断を行う前に、測距部８１は、顔検出などで検出された人物や、パターンマッチングなどで検出された人物以外の物体（車など）の存在するエリアのみについて、測距演算を繰り返し、各エリアに対応する距離を画像記憶部１３２に記憶し、各被写体の距離データを保存しておく。
【０１０８】
Ｓ２５では、撮影済み画像における手前側被写体の存在部分、すなわち当該手前側被写体の存在エリアを特定し、その部分を示す失敗部分指示映像を生成するようＯＳＤ回路１３５に指令する。
【０１０９】
Ｓ２６では、撮影済み画像における合焦被写体のサイズと、失敗画像の特徴量に含まれる被写体サイズとを比較し、前者が後者以下であるか否かを判断する。Ｙｅｓの場合はＳ２７に進む。Ｎｏの場合は本処理を終える。
【０１１０】
Ｓ２７では、合焦被写体の存在部分を示す失敗部分指示映像を生成するようＯＳＤ回路１３５に指令する。
【０１１１】
図５は、失敗画像部分Ｂおよび成功画像部分Ｇの一例を示す。ここでは、失敗画像部分Ｂは、被写体の顔領域内の瞑った目およびその近傍領域であり、成功画像部分Ｇは目を完全に開いた状態の被写体の顔領域内の目およびその近傍領域である。これらは１次特徴量として画像記憶部１３２に記憶することができる。
【０１１２】
図６は、撮像部１０２やサブ撮像部２０などから取得された画像（スルー画または撮影済み画像）の一つ目の例を示す。画像中の被写体ＳＢ１およびＳＢ２は、目を瞑っており、図５の失敗画像部分Ｂと一致する。また、被写体ＳＢ３は、目を完全に開いており、成功画像部分Ｇと一致する。
【０１１３】
よって、図６の画像がスルー画であり、この画像について図２の撮影支援処理を行うと、被写体ＳＢ１およびＳＢ２の失敗画像部分Ｂを指摘する映像や音声警告の出力が行われる。あるいは、図６の画像が撮影済み画像であり、この画像について図３の画像補完処理を行うと、被写体ＳＢ１およびＳＢ２の失敗画像部分Ｂを指摘する映像や音声警告の出力が行われる。
【０１１４】
図７は、撮像部１０２などから取得された画像（スルー画または撮影済み画像）の２つ目の例を示す。画像中、被写体ＳＢ４およびＳＢ５が存在している。被写体ＳＢ４は合焦被写体であるが、被写体ＳＢ５は、画像解析部１４５による当該撮影済み画像とカメラ１０−Ｂあるいはサブ撮像部２０の撮った撮影前後の補完画像との比較で、被写体ＳＢ２は動きが検出されているものとする（ただし、動き検出回路２１は動きを検出しておらずカメラ１０は静止しているものとする）。被写体ＳＢ２は、撮影の時に突然急に飛び出してきたような車のような移動物体である。この場合、被写体ＳＢ５が失敗画像部分であることを指摘する映像、ここでは被写体ＳＢ５を囲む破線Ｔ１の映像出力が行われる。
【０１１５】
あるいは、被写体ＳＢ５が合焦被写体であり、被写体ＳＢ６が合焦被写体ＳＢ５よりも距離が近い場合も、被写体ＳＢ５を囲む破線Ｔ１の映像出力が行われる。
【０１１６】
図８は、撮像部１０２から取得された画像（スルー画または撮影済み画像）の３つ目の例を示す。画像中、人物であることが検出された被写体ＳＢ６およびＳＢ７が存在している。人物被写体ＳＢ６は合焦被写体であるが、人物被写体ＳＢ７は合焦しておらず、ＳＢ７の被写体サイズは合焦被写体ＳＢ６よりも小さいものとする。この場合、被写体ＳＢ７が失敗画像部分であることを指摘する映像、ここでは被写体ＳＢ７を囲む破線Ｔ２の映像出力が行われる。
【０１１７】
図９は、失敗画像部分の修正（Ｓ１４）の一例を示す。画像Ｉ２は、Ｓ６でカメラ１０が記憶した撮影済み画像であり、画像Ｉ１およびＩ３は、Ｓ３でカメラ１０−Ｂまたはカメラ１０が画像Ｉ２の撮影前後に記憶した補完用画像であるとする。画像Ｉ１〜Ｉ３は、被写体ＳＢ１１、ＳＢ１２、ＳＢ１３を含んでいる。画像Ｉ２の被写体ＳＢ１１およびＳＢ１２は、目を瞑っており、これらの目領域は失敗画像部分である。Ｓ１３にて、画像Ｉ２の被写体ＳＢ１１およびＳＢ１２の各目領域が失敗画像部分Ｐ２−１、Ｐ２−２である旨が表示され、Ｓ１４にて、その中から、修正したい失敗画像部分としてＰ２−１、Ｐ２−２の双方が選択されたとする。
【０１１８】
なお、失敗画像登録部１４１が、選択されなかった失敗画像部分およびその特徴量を失敗／成功条件情報の中から削除すれば、ユーザが実際に失敗であると考える失敗画像部分およびその特徴量だけが失敗／成功条件情報に残り、徐々に精度の高い失敗画像部分およびその特徴量が失敗／成功条件情報として蓄積されていく。
【０１１９】
Ｓ１５にて、ＣＰＵ１１２は、補完用画像の中から、選択された失敗画像部分Ｐ２−１、Ｐ２−２に対応する画像部分（補完候補）を特定する。これは、画像Ｉ２の被写体ＳＢ１１およびＳＢ１２と同じ位置に存在する補完用画像Ｉ１またはＩ３の被写体、ここでは同じく被写体ＳＢ１１およびＳＢ１２の目領域を、公知の目領域検出技術（例えば特許文献５）で特定し、特定した目領域が補完候補となる。
【０１２０】
次に、ＣＰＵ１１２は、補完候補の特徴量と、予め登録された成功画像の特徴量とを比較し、両者が一致するか否かを判断する。そして、両者が一致すれば、その補完候補を補完用画像部分とし、両者が一致しなければ、その置換候補を排除する。
【０１２１】
図９の画像Ｉ２の被写体ＳＢ１１の失敗画像部分Ｐ２−１に対応する補完候補は、画像Ｉ１のＰ１−１と画像Ｉ３のＰ３−１である。また、画像Ｉ２の被写体ＳＢ１２の失敗画像部分Ｐ２−２に対応する補完候補は、画像Ｉ１のＰ１−２と画像Ｉ３のＰ３−２である。
【０１２２】
補完候補である画像Ｉ１のＰ１−１、画像Ｉ３のＰ３−２は、目瞑りが生じた目領域であり、その特徴量は成功画像の特徴量と一致しない。従って、補完候補から排除される。
【０１２３】
補完候補である画像Ｉ１のＰ１−２、画像Ｉ３のＰ３−１は、完全に目が開いた目領域であり、その特徴量は成功画像の特徴量と一致する。従って、補完用画像部分とされる。
【０１２４】
ＣＰＵ１１２は、失敗画像部分を、対応する補完用画像部分で置換する。例えば、Ｐ２−１はＰ３−１で、Ｐ２−２はＰ１−２で置換する。これにより、失敗画像部分が対応する補完用画像部分で置換された修正画像Ｉ’が完成する。この完成された修正画像Ｉ’は表示部１１０に表示される。なお、失敗画像部分が非常に小さいパーツの場合は、その部分を含めた周辺領域を置換する方が違和感が少なくなる。例えば、目、鼻、口のような顔領域内の小さいパーツを置換する場合は、それらのパーツを含む顔領域を置換するとよい。なお、修正したい失敗画像部分として、Ｐ２−１あるいはＰ２−２のうち一方のみが選択されれば、選択された方だけ置換される。
【０１２５】
同じ失敗画像部分に対応する補完用画像部分が複数存在する場合は、それぞれの補完用画像部分によって失敗画像部分を置換した画像を複数作成し、その中から所望の修正画像を操作部１１３を介して選択させ、選択された修正画像のみを画像記憶部１３２に記憶してもよい。
【０１２６】
例えば、図９の画像Ｉ４が補完用画像として確保されており、補完用画像部分Ｐ４−１が失敗画像部分Ｐ２−１に対応していれば、失敗画像部分Ｐ２−１を補完用画像部分Ｐ４−１で置換した修正画像Ｉ’２を作成し、修正画像Ｉ’と修正画像Ｉ’２のうち所望のものを選択させ、選択された方だけ記憶する。修正画像を選択させる際、選択される可能性の高い画像、例えば公知の表情認識技術により口の曲がり具合，口角の上がり具合，目の大きさ，しわのより具合などにもとづいて笑顔の程度を定量化し、その程度の高いものから低いものにかけて順次切り替えて表示させてもよい。なお、記憶する修正画像として選べるのは１つである必要はなく、出来上がった修正画像の中からどれでも好きな数だけ選んで残せる。
【０１２７】
図１０は、失敗画像部分の修正（Ｓ１４）の他の一例を示す。図１０の画像Ｊ２は、静止した被写体ＳＢｓにピントが合っているが、動く被写体ＳＢｍを失敗画像部分Ｑｆとして有する撮影済み画像である。画像Ｊ１、Ｊ３は、画像Ｊ２が撮影される前後にカメラ１０−Ｂが撮影した静止画あるいは動画の１コマであるとする。この場合も上記と同様、ＣＰＵ１１２が、失敗画像部分Ｑｆに対応する補完候補の中から成功画像の特徴量と一致するものを補完用画像部分Ｑｓとして選び出し、失敗部分Ｑｆを補完用画像部分Ｑｓで置き換え、修正済み画像Ｊ３を得る。なお、静止画Ｊ２と動画コマＪ１とは同じ程度の画質であれば、この置換による周囲の画質との不調和が生じず好ましい。
【０１２８】
作成された修正画像は、パソコン２００ａのハードディスクに保管したり、プリンタ２００ｂでプリントアウトすることができる。無論、ユーザは修正した画像の利用を強制しされるのでなく、ＣＰＵ１１２が、作成した修正画像のうち、所望の部分を操作部１１３から選択させ、選択された部分だけ修正前の元の失敗画像部分に戻した上で画像記憶部１３２や表示部１１０に出力したり、全く修正されていない失敗画像を画像記憶部１３２や表示部１１０に出力に出力してもよい。元の失敗画像部分に戻すとは、修正前と修正後の画像を一時的に記憶部１１９に記憶しておき、元に戻す指示が入力されれば、修正後の画像を記憶部１１９から破棄し、修正前の画像をそのまま記憶部１１９に保持すれば済む。後は、保持された画像を画像記憶部１３２、表示部１１０、プリンタ２００ｂ、記録媒体など所望の出力先に出力できる。
【０１２９】
＜その他の実施形態＞
第１実施形態の図２の撮像支援処理のＳ２において、スルー画と成功画像の双方の特徴量が不一致と判断されればＳ３、一致と判断されればＳ４に進んでもよい。あるいは、スルー画と失敗画像の双方の特徴量が一致と判断されればＳ３、スルー画と成功画像の双方の特徴量が一致と判断されれば一致と判断されればＳ４に進んでもよい。あるいは、スルー画と成功画像の双方の特徴量が不一致と判断されればＳ３、スルー画と失敗画像の双方の特徴量が不一致と判断されればＳ４に進んでもよい。スルー画と成功画像の双方の特徴量が一致せず、かつスルー画と失敗画像双方の特徴量が一致しない場合や、スルー画と成功画像の双方の特徴量が一致し、かつスルー画と失敗画像双方の特徴量が一致する場合は、判定不能としてＳ２からＳ６に進んでもよい。この際、判定不能である旨を表示してもよい。第２実施形態の図３の画像補完処理のＳ１２についても、撮影済み画像について同様の判断と分岐を行ってもよい。
【図面の簡単な説明】
【０１３０】
【図１】デジタルカメラの機能ブロック図
【図２】撮影支援処理のフローチャート
【図３】画像補完処理のフローチャート
【図４】撮影済み画像もしくはその特徴量が失敗画像もしくはその特徴量と一致するか否かを判断し、一致した場合はその旨を通知する処理のフローチャート
【図５】失敗画像部分および成功画像部分の一例を示す図
【図６】取得された画像の１つ目の例を示す図
【図７】取得された画像の２つ目の例を示す図
【図８】取得された画像の３つ目の例を示す図
【図９】失敗画像部分の修正の一例を示す図
【図１０】失敗画像部分の修正の他の一例を示す図
【符号の説明】
【０１３１】
１０：カメラ、１１２：ＣＰＵ、１４１：失敗画像登録部、１４２：失敗画像検出部、２００：電子機器
【技術分野】
【０００１】
本発明は、画像の内容に応じた処理を行う装置、方法およびプログラムに関する。
【背景技術】
【０００２】
特許文献１は、カメラ撮影部で撮影した画像を画像メモリに一旦記憶し、画像メモリの撮影画像の撮影状態をＣＰＵによって解析し、被写体候補の顔切れや、被写体候補の撮影範囲内に占める割合等を判断し、また被写体の配置バランスや重なり度等を判断し、失敗撮影の可能性が高い画像の登録を防止する。また、一旦登録した画像であっても、記録媒体から登録画像を読み出し、画像内容の判断を行い、失敗撮影の可能性が高い登録画像を削除し、記録媒体の記憶領域を有効利用する。
【０００３】
特許文献２では、ＣＰＵは、写真撮影の際に、同一人物を被写体として複数枚（例えば、６枚）連続撮影することによって得られた各撮影画像の中から特定の人物部分を抽出すると共に、この特定人物部分を解析しながらその撮影状態を「顔の向き具合」、「顔の隠れ具合」、「目の開き具合」毎に評価し、撮影画像毎に評価された特定人物部分の評価結果のうち、高い評価を得た特定人物部分を含む撮影画像を特定する。
【０００４】
特許文献３の画像処理装置は、個人の身体的な部位の特徴量を登録する登録装置と、画像情報を入力する入力手段と、入力画像中に撮影されている被写体の人物を特定する特定手段と、被写体の画像中の画像欠陥部を検出する検出手段と、登録装置から特定人物の登録情報を検索する検索手段と、検索した登録情報を基に、画像欠陥部を補正する補正手段と、を有することを特徴とする。
【０００５】
特許文献４では、ある時刻におけるフレーム画像の前後は、ほぼ同一のシーンが写っているから、画面が完全に静止している場合、静止時間中の複数フレーム画像の平均値をとれば、撮像入力系から記録系の間に発生するノイズを効果的に除去することができるとする。
【０００６】
特許文献５では、目が閉じていると判断された目領域を有する顔領域内部の属性を変更し、属性の変更された顔領域の映像信号を生成させ、これを記録用画像と合成してＬＣＤに表示させる。また、記録用画像の中から選択された所望の画像の「切り抜き顔領域」を目つぶりの検出された顔領域に貼り付けるとする。
【０００７】
非特許文献１は、膨大な量の画像から、補完対象画像を解析し、画像の不要部分を補完する。
【特許文献１】特開２００５−２０１９６号公報
【特許文献２】特開２００５−４５６００号公報
【特許文献３】特開２００６−２３９４９号公報
【特許文献４】特開２００８−９９３２７号公報
【特許文献５】特開２００８−１３１０９４号公報
【非特許文献１】「Web2.0時代の画像補完技術」、インターネットＵＲＬ［http://www.atmarkit.co.jp/news/200708/29/sc.html］、平成２０年８月２８日検索
【発明の開示】
【発明が解決しようとする課題】
【０００８】
特許文献１では、失敗画像の削除はできるが、失敗画像の補完はできない。特許文献２では、評価の高い撮影画像を特定できるが、失敗部分の補完はできない。
【０００９】
特許文献３では、顔情報解析により失敗画像の補完を行うため、予め顔情報の登録が必要であり、顔以外には適用できない。
【００１０】
特許文献４では、ノイズ除去はできるが失敗部分の補完はできない。
【００１１】
特許文献５では、そもそも目瞑り顔画像の補完に必要な画像が予め確保されていなければ、そのような画像が確実に得られる保証がない。
【００１２】
非特許文献１では、膨大な量の画像解析が必要であり、処理の負荷が大きい。
【００１３】
本発明は、失敗画像の補完を可能にする画像の簡易で確実な確保を目的とする。
【課題を解決するための手段】
【００１４】
本発明に係る画像処理装置は、撮影の成功または失敗の基準となる基準画像もしくはその特徴量を登録する登録部と、所望の画像もしくはその特徴量と、登録部の登録した基準画像もしくはその特徴量とを比較し、比較結果に応じて、所望の画像が撮影に失敗した画像であるか否かを判断する判断部と、判断部の判断結果に応じて、補完用画像の出力を所定の画像出力装置に指示する制御部と、を備える。
【００１５】
ここで、画像出力装置とは、撮像装置のように画像を取得する装置の他、画像サーバのように撮像装置を備えないが画像を蓄積する装置も含みうる。
【００１６】
登録部は、撮影の失敗の基準となる失敗基準画像もしくはその特徴量を登録し、判断部は、所望の画像もしくはその特徴量と、登録部の登録した失敗基準画像もしくはその特徴量とを比較し、両者の一致に応じて、所望の画像が撮影に失敗した画像であるか否かを判断する。
【００１７】
登録部は、撮影の成功の基準となる成功基準画像もしくはその特徴量を登録し、判断部は、所望の画像もしくはその特徴量と、登録部の登録した成功基準画像もしくはその特徴量とを比較し、両者の不一致に応じて、所望の画像が撮影に失敗した画像であるか否かを判断する。
【００１８】
登録部は、撮影の失敗の基準となる失敗基準画像もしくはその特徴量を登録し、
判断部は、所望の画像もしくはその特徴量と、登録部の登録した失敗基準画像とを比較し、両者の不一致に応じて、所望の画像が撮影に成功した画像であるか否かを判断する。
【００１９】
登録部は、撮影の成功の基準となる成功基準画像もしくはその特徴量を登録し、判断部は、所望の画像もしくはその特徴量と、登録部の登録した成功基準画像とを比較し、両者の一致に応じて、所望の画像が撮影に成功した画像であるか否かを判断する。
【００２０】
判断部の判断結果に応じ、成功画像の取得条件が整った旨を通知する成功通知部を備える。
【００２１】
所望の画像から、登録部の登録した失敗基準画像もしくはその特徴量と一致する失敗部分を特定する失敗部分特定部を備える。
【００２２】
判断部の判断結果および／または失敗部分特定部の特定した失敗部分を通知する失敗通知部を備える。
【００２３】
所定の画像出力装置が出力した補完用画像を入力する補完用画像入力部と、補完用画像入力部が入力した補完用画像によって、所望の画像のうち失敗部分特定部の特定した失敗部分を修正する修正部と、を備える。
【００２４】
失敗部分特定部の特定した失敗部分のうち、修正すべき失敗部分の選択を受け付ける選択部を備え、修正部は、選択部が選択を受け付けた失敗部分を補完用画像で修正する。
【００２５】
選択部は、修正部が修正した画像のうち元に戻したい部分の選択を受け付け、修正部は、選択部が選択を受け付けた部分を元の失敗部分に戻す。
【００２６】
修正部が修正した画像を出力する出力部を備える。
【００２７】
撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を画像に変換して出力する第１の撮像部を備え、判断部は、第１の撮像部の出力した画像もしくはその特徴量と、登録部の登録した基準画像もしくはその特徴量とを比較し、比較結果に応じて、第１の撮像部の出力した画像が撮影に失敗した画像であるか否かを判断し、制御部は、判断部の判断結果に応じ、第１の撮像部または第１の撮像部以外の第２の撮像部を有する第２の撮像装置に補完用画像の取得を指示する。
【００２８】
第１の撮像部の出力した画像は第１の撮像部に対する本撮像指示が入力される前に出力されたスルー画像を含む。
【００２９】
補完用画像は第１の撮像部に対する本撮像指示が入力される前後に第１の撮像部または第２の撮像部が取得した静止画または動画を含む。
【００３０】
基準画像の特徴量は、画像データの値に関連する第１の特徴量および画像データの撮影時の状況に関連する第１の特徴量以外の特徴量である第２の特徴量のうち少なくとも一方を含む。
【００３１】
本発明に係る画像処理方法は、コンピュータが、撮影の成功または失敗の基準となる基準画像もしくはその特徴量を登録するステップと、所望の画像もしくはその特徴量と、登録した基準画像もしくはその特徴量とを比較し、比較結果に応じて、所望の画像が撮影に失敗した画像であるか否かを判断するステップと、判断結果に応じて、補完用画像の出力を所定の画像出力装置に指示するステップと、を実行する。
この画像処理方法をコンピュータに実行させるための画像処理プログラムも本発明に含まれる。
【発明の効果】
【００３２】
この発明によると、所望の画像もしくはその特徴量と登録された失敗画像もしくはその特徴量との比較に応じて、補完用画像の取得が所定の画像取得装置に指示される。すなわち、本撮影に先立ち、失敗画像が撮影される可能性が高くなったら、その失敗画像を補完する補完用画像を確保でき、後に失敗画像を確実に補完できる。
【発明を実施するための最良の形態】
【００３３】
＜第１実施形態＞
図１は本発明の好ましい実施形態に係るデジタルカメラ１０の機能ブロック図である。まず、同図のデジタルカメラ１０において、情報処理装置（ＣＰＵの他、ＣＰＵの情報処理に必要な周辺機器、例えばＲＯＭ、ＲＡＭ、Ｉ／Ｏなども含まれる。便宜上これらをまとめてＣＰＵと呼ぶ）１１２は、レリーズスイッチ、モードダイヤル等を含む操作部１１３の各種のボタンやキーからの入力に基づいてデジタルカメラ１０内の各回路を統括制御する。ＣＰＵ１１２の実行するプログラムは記憶部１１９のＲＯＭに記憶される。
【００３４】
撮像部１０２は、ズームレンズおよびフォーカスレンズを含む撮像レンズ、撮像レンズを駆動するモータ、ＣＰＵ１１２の指令に従ってモータを駆動するモータドライバ、撮像レンズの結像した被写体像を受光して光電変換し、アナログ画像信号として出力するＣＣＤやＣＭＯＳなどの固体撮像素子を含む。
【００３５】
いま、モードダイヤルによって静止画撮影モードが設定されると、ＣＰＵ１１２は、撮像部１０２から順次得られるコマ画像（スルー画）を表示部１１０に表示させ、撮影画角を確認可能にする。
【００３６】
撮像部１０２は、Ａ／Ｄコンバータ、ゲイン調整回路、画像信号処理回路、ホワイトバランス補正回路、ガンマ補正回路、ＹＣ処理回路、輝度・色差信号生成回路、シャープネス補正回路、コントラスト補正回路、撮影画像に対する輪郭補正を含む画像処理を行う輪郭処理部、画像のノイズ低減処理を行うノイズ低減処理部等を含む画像処理手段を含み、ＣＰＵ１１２からのコマンドに従って画像信号を処理し、デジタル画像データに変換する。
【００３７】
撮像部１０２から出力された画像データは、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｌ信号）に変換されるとともに、ガンマ補正等の所定の処理が施された後、記憶部１１９のＶＲＡＭに格納される。
【００３８】
一方、画像データは、ハイパスフィルタ（ＨＰＦ）１２５でＧ画素成分のみ抽出される。そして、積算部１２６で抽出されたＧ画素成分に積算処理が施されてＣＰＵ１１２に送られる。ＣＰＵ１１２は、積算部１２６から送られた１画面分の分割領域（例えば６４分割）の画像データの内、十字キーで任意に設定された被写体中心付近のエリア（例えば４エリア）の平均値を算出し、これをオートフォーカス（ＡＦ）評価値とする。ＡＦ評価値は、所定周期の経過毎に算出され、算出の度に記憶部１１９に更新記憶される。ＣＰＵ１１２は、ＡＦ評価値に従って被写体の合焦するレンズ位置を判定する。その判断方法は任意であるが、例えばＡＦ評価値が極大点の近傍に略到達しているか否かを判断し、極大点に略達している場合は合焦していると判断し、その他の場合は合焦していないと判断する（コントラストＡＦ）。あるいは、ＡＦ評価値が所定の閾値を超えていれば合焦していると判断することもできる。
【００３９】
撮影画像を表示部１１０にモニタ出力する場合、ＶＲＡＭからＹＣ信号が読み出され、ビデオエンコーダ１３４に送られる。ビデオエンコーダ１３４は、入力されたＹＣ信号を表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して表示部１１０に出力する。
【００４０】
所定のフレームレートで処理された各フレームのＹＣ信号は、ＶＲＡＭに順次書き込まれ、そのＹＣ信号から生成される映像信号が表示部１１０に供給されることにより、撮像中の映像がリアルタイムに表示部１１０に表示される。ユーザは、表示部１１０に表示される映像（スルー）によって撮影画角を確認できる。
【００４１】
ここで、レリーズスイッチが半押しされると、ＡＥ及びＡＦ処理が開始される。ＡＥ／ＡＦ処理が行われ、レリーズスイッチが全押しされることによって記録用の撮影動作がスタートする。レリーズスイッチの全押しに応動して取得された記録用の画像データは、画像記憶部１３２に格納される。動画の取込みの場合には、上記のような画像の取込みが連続的に行われると共に、各画像はフレーム画像（コマ画像）として動画を構成する。動画の取り込みは、レリーズスイッチの１回目の全押しで開始し、２回目の全押しで終了する。あるいは全押しが継続している間に限って動画の取り込みを行う。動画の取得に合わせて、マイク１７から集音された音も同期して取り込むことができる。
【００４２】
画像記憶部１３２に格納されたＹ／Ｃ信号は、ＣＰＵ１１２によって所定のフォーマット（例えば静止画ならばExif（Exchangeable Image File Format）、動画ならばＭＰＥＧ４）に従って圧縮された後、外部記録媒体にファイルとして記録される。画像はExifファイルのデータ部分に記録される。ＣＰＵ１１２は上記Exifファイルのヘッダ部分の所定のタグ（Imagedescriptionタグなど）に撮影日時情報などを記録する。記録された画像は、通信インターフェース７６を介して接続されたパソコン２００ａやプリンタ２００ｂやＰＤＡなどの各種電子機器２００に送信することもできる。また、カメラ１０は、通信インターフェース７６を介して他のカメラ１０−Ｂとも接続している。カメラ１０−Ｂは、カメラ１０と同様の構成を有しているものとする。また、カメラ１０とカメラ１０−Ｂは同じようなシーンを撮影するようにユーザが適切な撮影画角を設定しているものとする。以下、カメラ１０とカメラ１０−Ｂのブロックとを区別するため、カメラ１０−Ｂのブロックには副添え字「−Ｂ」を付する。また、サブ撮像部２０が備えられている場合は、サブ撮像部２０は撮像部１０２と同じようなシーンを撮影するようにユーザが適切な撮影画角を設定しているものとする。
【００４３】
プリンタ２００ｂは、カメラ１０やパソコン２００ａから受信した静止画像を普通紙や印画紙などの紙媒体で構成される台紙に所定の配置でプリントする。所定の配置で配列された静止画像は、アドビシステムズ社の「ＰＤＦ」のような電子的媒体としてディスプレイや記録メディアやインターネット経由で接続されたパソコンなどに出力することもできる。要するに、作成された画像プリントの出力先は、特定のものに限定されない。本願明細書では、所望の画像が所望の位置に配置されうる電子的媒体の作成フォームも台紙と呼ぶ。
【００４４】
モードダイヤルによって動画撮影モードが設定されたときには、レリーズスイッチの全押し操作に連動して動画記録動作がスタートし、もう一度レリーズスイッチを押下すると動画記録動作が停止する。レリーズスイッチを押下継続している期間、録画動作を行い、押下解除によって録画を停止するようにしてもよい。動画データは、例えばＭＰＥＧ４形式によって画像記憶部１３２に記憶される。
【００４５】
モードダイヤルにより再生モードが選択されると、画像記憶部に記憶されている最終の画像ファイル（最後に記録されたファイル）の圧縮データが読み出される。この読み出された画像圧縮データは、ＣＰＵ１１２によって非圧縮のＹＣ信号に伸長され、ビデオエンコーダ１３４に加えられる。ビデオエンコーダ１３４は、入力するＹＣ信号からＮＴＳＣ方式のＲＧＢカラー複合映像信号を作成し、これを表示部１１０に出力する。これにより、表示部１１０に画像が表示される。
【００４６】
表示部１１０は、カメラ１０に内蔵されたＬＣＤ、ファインダー又は映像出力端子等に接続された外部の表示装置に相当する。なお、ビデオエンコーダ１３４は、ＯＳＤ信号発生回路１３５を含み、ＯＳＤ信号発生回路１３５はＣＰＵ１１２からの指令に応じてシャッター速度や絞り値、撮影可能枚数、撮影日時、警告指示等の文字及びアイコン等の記号を表示するための信号を発生させる。このＯＳＤ信号発生回路１３５から出力される信号は、必要に応じて画像信号に混合されて、ＬＣＤ１１４に供給される。これにより、スルー画像や再生画像に文字やアイコン等が合成された合成画像が表示される。
【００４７】
画像記憶部１３２は、撮影で得た画像データ（静止画、動画）を保持する手段であり、例えばスマートメディアと呼ばれるメモリカードが使用される。記録メディアの形態はこれに限定されず、ＰＣカード、コンパクトフラッシュ（登録商標）、磁気ディスク、光ディスク、光磁気ディスク、メモリスティックなどでもよく、電子的、磁気的、もしくは光学的、又はこれらの組み合わせによる方式などに従って読み書き可能な媒体を用いることができる。異種・同種の記録メディアを問わず、複数の媒体を装着可能な構成にしてもよい。また、画像ファイルを保存する手段は、カメラ本体に着脱可能なリムーバブルメディアに限らず、カメラに内蔵された記録媒体（内蔵メモリ）であってもよい。
【００４８】
ＣＰＵ１１２は、カメラ１０の各回路を統括制御する制御回路であり、レリーズスイッチ、十字キー、電源スイッチ、モードダイヤル、情報位置指定キーあるいは図示しないストロボボタン、ズームキー、メニュー／実行ボタンその他を含む操作部１１３から受信する信号に基づき、対応する回路の動作を制御するとともに、表示部１１０における表示制御、ストロボ発光制御、ＡＦ補助光の発光制御、オートフォーカス（ＡＦ）制御及び自動露出（ＡＥ）制御等を行う。
【００４９】
カメラ１０の電源が電源スイッチでオンされる度に、カメラボディ内部に装着される電池からなる図示しない主要電源から、デジタルカメラ１０の各回路に電源が供給される。
【００５０】
通信インターフェース７６は、パソコンンやプリンタなどの各種情報処理機器と接続可能であり、ＣＰＵ１１２からのコマンドに従い、データの送受信を行う。
【００５１】
動き検出回路２１は、加速度センサ、ポテンショメータ、重力サンサ、傾斜センサ、姿勢センサ、電子コンパス等からなる。具体的には、動き検出回路２１は、操作部１１３、特にレリーズスイッチへの押圧力を検知する圧力検出部、カメラ１００の左右の動き方向及びその動作量を示す左右動き情報を出力する左右動き検出部、カメラ１００の上下の動き方向及びその動作量を示す上下動き情報を出力する上下動き検出部、カメラ１００の筐体の水平方向に対する傾き方向及びその傾き量を示す傾き動き情報を出力する傾き動き検出部を備える。動き情報は、左右動き情報、上下動き情報、および傾き動き情報ならびに各動きの検知が開始した時刻、各動きの検知が終了した時刻、各動きの検知が持続した時間を含む。
【００５２】
サブ撮像部２０は、カメラ１０の筐体前面に設けられて被写体の撮影に用いられる撮像部１０２とは異なり、筐体前面に設けられて撮影者自身の撮影（以下、セルフ撮影と呼ぶ）を行なう。また、サブ撮像部２０は、ユーザが表示部１１０の画面のどこを注視しているかを検出する装置であり、検出した情報はＣＰＵ１１２に入力される。被検眼の視線方向を検出するには、被検眼の前眼部に光線を投射し、角膜或いは水晶体による反射像を光電変換素子によって検出することで実現される。被検眼の視線方向を検出する装置は周知である。
【００５３】
測距部８１は、例えば、撮像部１０２の撮影範囲にある被写体に対して発光部から光を発し、被写体に反射して戻ってきた光を受光し、発光部と受光部のなす角から被写体までの距離を算出する三角測距センサを採用できる。あるいはＴＯＦ（タイムオブフライト）原理を応用したセンサや、複眼カメラの距離画像（３Ｄ画像）を利用するなど、被写体の測距を行う手段であれば各種の公知技術を採用できる。
【００５４】
表示部１１０にはタッチパネル１１４が積層されている。ユーザが指やペンなどで表示部１１０の対応部分を押下すると、その押下位置を示す情報がＣＰＵ１１２に出力される。
【００５５】
ＣＰＵ１１２には、音声処理回路８４を介してスピーカ８５が接続されている。音声処理回路８４は、ＣＰＵ１１２から送られた報知音データ（シャッタ音、警告音など）に基づき、スピーカ８５を駆動させることで、報知音や、動画とともに記録された音声を出力する。
【００５６】
マイク１７から取得されたアナログ音声信号は、動画撮影モードの場合、音声処理回路８４によって増幅後デジタルデータに変換されるとともに、所定の圧縮記録形式（ＭＰＥＧ４など）で圧縮されるなどのデータ処理がなされ、取得した画像とともに画像記憶部１３２に記憶される。静止画撮影モードであっても、本撮影指示前後の音声を記録することは可能である。また、画像記憶部１３２に記憶された音声の他、記憶部１１９に予め記憶された操作音、シャッタ音、ＡＦの合焦音などの各種報知音データは、音声処理回路８４によってデコードやアナログ音声信号変換や増幅などのデータ処理がなされた後に、スピーカ８５に出力される。スピーカ８５は、音声処理回路８４から出力されたアナログ音声信号に従って音声を出力する。
【００５７】
ＲＴＣ（リアルタイムクロック）１５は、現在日時情報を出力する。この現在時刻情報は、撮像部１０２による記録用画像の撮影日時情報として、画像とともに記録することができる。
【００５８】
音声認識回路５４は、マイク１７から直接取得された音声、あるいは画像記憶部１３２に記憶された音声データのうちＣＰＵ１１２から指定された音声データが表す音声に対して音声認識を行い、認識結果をテキストデータとして出力する音声認識処理を行う。音声認識回路５４には、音声データベース７４が接続されており、音声データベース７４には、音声認識処理時にパターンマッチングのために参照されるパターンデータが記憶されている。音声認識回路５４は、音声データベース７４に記憶されているパターンデータを参照して音声認識を行う。音声データベース７４には、例えば不特定多数の人が出入りする駅などの公共施設で集音された雑踏の音声、道路沿いの歩道での車の通行の騒音といった、想定される様々な撮影時の状況を示す音声パターンが登録されている。
【００５９】
ＧＰＳ受信機１２０は、ＧＰＳ衛星からの電波を受信して軌道からの距離を測定することにより、カメラ１０の現在位置情報を得る。この現在位置情報は、撮像部１０２による記録用画像の撮影位置情報として、画像とともに（例えばメタ情報やヘッダ情報として）画像記憶部１３２に記憶することができる。
【００６０】
カメラ筐体裏面には、マイク１７が設置されており、これらの各種装置は、表示部１１０の周辺に設けられている。また、カメラ筐体正面あるいはカメラ１０の拡張機器として、サブ撮像部２０を設けることができるが、設けなくてもよい。
【００６１】
ＣＰＵ１１２は、画像処理の基礎となるユーザ情報を取得する。例えば、ユーザ情報は、ＧＰＳ受信機１２０からの位置情報、動き検出回路２１の検出した動きを示す動き情報、ＲＴＣ１５からの撮影日時情報、操作部１１３やタッチパネル１１４の操作内容情報、ＣＰＵ１１２からの構図情報、被写体情報、画質情報、音声認識回路５４からの認識音声情報、あるいはそれらをメタ情報やヘッダ情報として記録した画像ファイルなどが挙げられる。
【００６２】
画像解析部１４５は、画像記憶部１３２の画像を解析し、その結果に応じて、構図情報、被写体情報、画質情報を作成し、出力する。構図情報は、人物の有無、主要被写体（典型的には合焦被写体のことを指すが、顔検出のあった被写体でも可）の位置を含む。被写体情報は、顔領域の位置、被写体サイズ、人物名、被写体の動きの有無、その動き方向ならびにその動き速度、などを含む。なお、構図解析、被写体抽出、顔検出、画質解析については、各種の公知技術を用いればよい（例えば、本出願人による特開２００７−９７０９０号公報、特開２００５−３５４６０６号公報）。これらの情報は、画像の付帯情報として記録してもよい。
【００６３】
画質情報は、ボケ・ブレの有無や、目瞑りの有無などを示す画像情報を含む。ブレの検出については、従来の手ブレ検出と同様、動き検出回路２１の検出した加速度ベクトルのサイズが所定の閾値を超えた場合に手ブレありと判断する。ボケの検出については、例えばエッジ検出に基づいて行うことができる（例えば、本出願人による特開２００５−１２２７２１号公報）。目瞑りの有無の判定についても公知技術を用いることができる（例えば、本出願人による特開２００７−４９６３１号公報）。
【００６４】
操作内容情報は、撮影モード設定からシャッターボタン半押しまでの間に入力された操作の内容を含む。操作内容情報は、操作部１１３またはタッチパネル１１４への操作入力があるごとに、ＣＰＵ１１２によって記憶部１１９に記憶される。これらの情報は、画像の付帯情報として記録してもよい。
【００６５】
失敗画像登録部１４１は、画像記憶部１３２の画像、通信Ｉ／Ｆ７６から入力した画像、可搬性記憶媒体から読み出した画像など所望の画像のうち、失敗画像として登録すべき画像の選択を、操作部１１３を介して受け付ける。そして、操作部１１３から指定された画像に、失敗画像の分類を示す情報を対応づけて画像記憶部１３２に登録する。あるいは、画像記憶部１３２などから確保した所望の画像のうち、成功画像として登録すべき画像の選択を、操作部１１３を介して受け付ける。そして、操作部１１３から指定された画像に、成功画像の分類を示す情報を対応づけて画像記憶部１３２に登録する。あるいは、画像解析部１４５の取得した情報に基づいて、撮像部１０２やサブ撮像部２０やカメラ１０−Ｂの取得した画像の中から失敗画像と成功画像を分類し、その分類結果を示す情報を、画像記憶部１３２に記憶された各画像に対応づけて登録することもできる。
【００６６】
どのような画像を失敗画像あるいは成功画像として登録するかは、ユーザによる操作部１１３への指示入力に依存し、どのような画像が登録されてもよい。例えば、所望の画像の中で、人物被写体が横や後ろを向いたり、目を瞑った画像などを、ユーザが任意に操作部１１３を介して選択し、それを失敗画像とする。あるいは、ユーザが人物被写体が正面を向いた画像を操作部１１３を介して選択し、成功画像とする。
【００６７】
失敗画像や成功画像そのものを登録する代わりに、ユーザが失敗あるいは成功であると考える画像中の領域の指定を操作部１１３から受け付け、その部分を失敗画像や成功画像として登録してもよい。さらに、その部分を示す固有の特徴量が画像解析部１４５によって抽出可能であるならば、その特徴量を失敗画像や成功画像の代替物として登録してもよい。特徴量としては、露出している黒目の縦方向の長さ（単位は画素）、顔領域から検出される目の個数（２、１、または０）、人物被写体以外に動きのある被写体の位置情報がある。このような特徴量は、画像解析部１４５の画像解析によって作成してもよい。静止画撮影前後の動画がカメラ１０−Ｂやサブ撮像部２０によって記録されていれば、静止画撮影前後の動画と静止画との差分から、静止画の中で動いている被写体部分が特定でき、その部分を失敗画像にできる。その差分から動きベクトルを作成し、これを１次特徴量とすることもできる。
【００６８】
また、画像取得時に認識された音の種類や騒音の有無も、失敗画像または成功画像の特徴量の１つとして登録できる。騒音が検出されたときに撮られた画像は、車や人の集団など不要な被写体が主要被写体の背後あるいは前を通過する可能性が高く、その騒音のレベル（例えば７０デシベル）を失敗画像の特徴量として登録できる。あるいは、通常、集合写真の場合、皆静かになってから撮影を開始するであろうから、ユーザが操作部１１３を介して成功画像に指定した集合写真を撮った騒音のレベル（例えば５０デシベル）を、特徴量として登録する。合わせて、画像解析部１４５が公知の顔検出やエッジ検出などにより検出した人物被写体の数を、特徴量として登録してもよいであろう。
【００６９】
あるいは、撮影時における動き検出回路２１のカメラの瞬間的な振れ量（加速度）も、特徴量として登録できる。例えば、手振れが生じており、失敗画像として選択された画像の撮影時の振れ量は、失敗画像の特徴量として登録できる。あるいは、晴天下の逆光で撮影された失敗画像のＥＶ値や色温度は、失敗画像の特徴量として登録できる。また、失敗画像として選択されたピンボケ画像のエッジ特徴量（エッジの鮮鋭度）は、失敗画像の特徴量として登録できる。このような特徴量は、指定された目瞑り領域の座標情報と組み合わせた失敗画像とその特徴量として登録できる。
【００７０】
あるいは、主要被写体が小さすぎて失敗画像として選択された画像の主要被写体の位置、大きさ、あるいは測距部８１の測距したその主要被写体あるいはそれ以外の被写体までの距離も、失敗画像の特徴量として登録できる。
【００７１】
あるいは、露出不足で画像が黒くつぶれてしまった（露出アンダー）画像が失敗画像として選択された場合や、露出過多で画像に白飛びが生じた画像が失敗画像として選択された場合、ＥＶ値を失敗画像の特徴量として登録できる。
【００７２】
あるいは、画像の輝度レンジのハイライト部及びシャドー部が所定のラチチュード内に収まらず、ハイライト部の飛びやシャドー部のつぶれが発生した失敗画像の輝度情報を、失敗画像の特徴量として登録できる。
【００７３】
つまり、失敗画像または成功画像の特徴量とは、画像データの値に関連する情報ならびにその関連情報から派生する指標や数値（人物被写体の有無、人物被写体のサイズ、人物被写体の目瞑りの有無、被写体の目の数ならびにその数に応じた被写体の顔の向き、輝度情報、顔領域に含まれる各画素の輝度値についてのヒストグラム、動く被写体の有無など。以下、１次特徴量と呼ぶ）だけでなく、画像データの値そのものからは派生しない情報であるが、その画像データの撮影時の状況に関連する各種の指標や数値（ＥＶ値、焦点距離、周囲の騒音レベル、被写体までの距離など。以下、２次特徴量と呼ぶ）も包含し、それらのうちどれを失敗画像または成功画像と対応づけて登録するかは、ユーザの自由である。以下、登録された失敗画像、成功画像ならびにそれらに付随する各種の特徴量を、失敗／成功条件情報という。
【００７４】
失敗画像検出部１４２は、失敗画像登録部１４１が画像記憶部１３２に登録した失敗／成功条件情報に基づいて、任意の画像（記録済みの画像だけでなく、撮像部１０２から継続的に出力されるスルー画も含む）の失敗部分の有無とその場所を特定し、ＣＰＵ１１２に通知する。ＣＰＵ１１２は、その失敗部分の通知に基づいて、警告やメッセージを表示や音声出力したり、失敗部分を成功画像の成功部分で置換したりする。この処理については後述する。
【００７５】
なお、デジタルカメラ１０とは、要するに被写体像を画像データとして取得可能な機器であれば何でもよく、カメラ付き携帯電話、カメラ付きパソコン、デジタルビデオカメラ、デジタルスチルカメラなども含みうる。
【００７６】
記憶部１３２には、画像データに合成される文字情報やテンプレートデータが格納されており、画像処理部１４４は、ＣＰＵ１１２の指示あるいは操作部１１３からの選択操作に応じて所望の画像に所望のデータを合成する。
【００７７】
図２は撮像支援処理の概略を示すフローチャートである。この処理は撮影モードの設定に応じて開始する。あるいは、撮影準備動作の指示（シャッターボタンの半押し）が操作部１１３に入力されたことに応じて開始してもよい。この処理をＣＰＵ１１２に実行させるプログラムは記憶部１１９に記憶されている。なお、この「ＣＰＵ１１２」とは、カメラ１０そのものに内蔵されているものでなく、別の電子機器、例えばパソコン２００ａの内蔵するものも含みうる。つまり、本処理の実行主体は、パソコン２００ａのＣＰＵであり、その制御対象がパソコン２００ａとは別体の撮像装置でも可能である。
【００７８】
また、本明細書において「一致する」とは、実質的に一致すること、すなわち、完全に一致する場合の他、完全に一致しなくてもその誤差が所定の許容範囲に収まる場合も含むものとする。
【００７９】
Ｓ１では、スルー画の取得を開始するとともに、マイク１７による集音と音声認識回路５４による集音された音声の内容や大きさの解析、画像解析部１４５による画像の輝度情報や画像内の動きのある物体の検出、目瞑り領域の検出、露出した黒目の直径の検出、目の個数の検出、測距部８１による被写体までの距離の測定、動き検出回路２１によるカメラ１０の動き検出を開始するよう各ブロックを制御する。これらの制御によって各ブロックから得られた情報を、撮影時状況情報と総称する。
【００８０】
Ｓ２では、失敗／成功条件情報に含まれる失敗画像に対応づけられた特徴量と撮影時状況情報とを照合し、撮影時状況情報の中に失敗画像の特徴量と一致する情報が含まれるか否かを判断する。撮影時状況情報の中に失敗画像の特徴量と一致する情報が含まれる場合は、Ｓ３に進み、それ以外の場合はＳ４に進む。
【００８１】
もしくは、失敗／成功条件情報に含まれる成功画像に対応づけられた特徴量と撮影時状況情報とを照合し、撮影時状況情報の中に成功画像あるいは成功画像の特徴量と一致する情報が含まれないか否かを判断する。撮影時状況情報の中に成功画像の特徴量と一致する情報が含まれない場合はＳ３に進み、それ以外の場合はＳ４に進む。
【００８２】
なお、Ｓ２は失敗画像検出部１４２が行ってもよい。
【００８３】
Ｓ３では、失敗画像として登録された画像部分と合致するスルー画上の部分を特定する。これは、例えば、失敗画像のサイズと同じ領域がスルー画の全体を走査するよう、当該領域を任意の位置に設定しつつ、設定された領域に含まれるスルー画の部分領域と失敗画像との差分画像を作成し、差分画像が０（色データなし）となれば、登録された失敗画像の部分がスルー画にあると判断する。
【００８４】
そして、特定された、スルー画内の失敗画像部分に対する枠囲みや着色や色反転などを示す映像、失敗部分が存在する旨の警告メッセージ、設定された画角での撮影を行うと失敗画像を得る可能性がある旨の警告を、アイコンやメッセージその他の映像によって表示部１１０に表示したり、あるいはチャイム音や警告メッセージその他の音声によって音声処理回路８４およびスピーカ８５から再生する。その他、Ｓ３の判断結果を示す映像の生成をＯＳＤ回路１３５に指示したり、あるいは、そのような警告メッセージの再生を音声処理回路８４に指示してもよい。あるいは、そのような失敗部分の検出にもかかわらずシャッタボタンが全押しされて撮影指示が操作部１１３から入力された場合、ＣＰＵ１１２はその撮影指示を無効化したり無視したりすることで撮影をロックし、撮影を行わせず、また撮影の指示に従わなかった旨のメッセージを再生することもできる。図示は省略するが撮影をロックした場合は、Ｓ５に進まず、Ｓ１に戻ってもよい。
【００８５】
スルー画内に失敗画像に相当する部分がない場合でも、スルー画取得時の特徴量が失敗画像の特徴量と一致すると判断された場合、例えば、スルー画取得時に集音した周囲の音声の大きさが７０ホンを超えたり、ＣＰＵ１１２が算出したスルー画取得時のＥＶ値が、逆光、白飛び、黒つぶれの失敗画像のＥＶ値と一致したり、動き検出回路２１が検出したスルー画取得時のカメラ１０に加わった加速度が手振れ失敗画像に対応する加速度を超えたり、画像解析部１４５がスルー画から動きのある物体、目瞑りをした人物被写体、正面を向いていない顔（両目が検出されない顔）を検出したりした場合、そのような警告を表示したり拡声したりする。
【００８６】
合わせて、失敗の種類を通知してもよい。例えば、目瞑りの特徴量と一致すれば「目瞑りがあります」といったメッセージの表示や拡声、騒音が大きければ「現在撮影が妨げられるような騒音が観測されています」といったメッセージの表示や拡声を出力する。あるいは、露出アンダーの特徴量が検出されれば、その旨の警告を出力する。
【００８７】
スルー画は定期的に取得される画像であるため、スルー画取得時の特徴量も定期的に取得する。その周期はスルー画のコマ画像の取得周期と同じでなくてもよい。
【００８８】
さらに、登録された失敗画像の部分がスルー画にあると判断されたか、あるいはスルー画取得時の特徴量が失敗画像の特徴量と一致すると判断された場合、カメラ１０−Ｂ（あるいはサブ撮像部２０。以下同様）に対し、補完用画像の取得の開始を指示する。カメラ１０−Ｂは、この指示を通信Ｉ／Ｆ７６を介して受信すると、以後、撮像部１０２−Ｂによる定期的な画像の取得を行い、取得された画像を補完用画像として順次画像記憶部１３２−Ｂに格納する。これは、動画のコマ画像の取得でもよいし、静止画の連写でもよい。カメラ１０−Ｂでなくカメラ１０自身の撮像部１０２による静止画の連写や動画取得により補完用画像の取得を行ってもよい。さらに、カメラ１０とカメラ１０−Ｂの両方が補完用画像の取得を行ってもよい。さらに、通信インターフェース７６に接続された所望のパソコン２００ａに補完用画像の出力を要求し、パソコン２００ａがその要求に応じて補完用画像をカメラ１０に出力してもよい。このように、失敗画像の撮影の可能性が高まると、後の失敗画像の修正用の補完用画像を確保する。
【００８９】
ただし、この補完用画像が際限なく記憶されていくことを防ぐため、補完用画像が所定の枚数あるいは所定の時間的長さに収まるよう、古い画像（コマ画像）から廃棄していくとよい。例えば、廃棄を開始する枚数閾値が「５」として記憶部１１９に設定されていれば、６枚以上の補完用画像が得られたとき、その中で最も古い画像から順に削除していき、枚数閾値にまでに減ったら削除を止める。あるいは、廃棄を開始する時間閾値が「１０秒」として記憶部１１９に設定されていれば、現在時刻から１０秒遡った動画コマ画像よりも古い動画コマ画像を削除する。
【００９０】
Ｓ４では、撮影に適した条件が整った旨の通知メッセージの映像信号の合成をＯＳＤ回路１３５に指示する。あるいは当該通知メッセージの再生を音声処理回路８４に指示する。合わせて、補完用画像の取得を停止する指示をカメラ１０−Ｂに出力してもよい。
【００９１】
Ｓ５では、操作部１１３への撮影開始の指示入力があったか否か（シャッタボタンの全押しがあったか否か）を判断する。Ｙｅｓの場合はＳ６に進み、Ｎｏの場合はＳ１に戻る。
【００９２】
Ｓ６では、撮影開始の指示入力に応じた撮影動作が行われる。この結果、撮像部１０２による記録用画像取得動作が行われ、画像が画像記憶部１３２に格納される。また撮影開始の指示入力時の特徴量を画像に対応づけて画像記憶部１３２に格納する。
【００９３】
また、画像の格納後、一定時間（例えば５秒間経過後）、カメラ１０−Ｂに対し、補完用画像の取得の終了を指示する。カメラ１０−Ｂは、この指示を通信Ｉ／Ｆ７６を介して受信すると、画像の取得を停止する。
【００９４】
なお、Ｓ２において、一旦失敗画像が検出されたとしても、その後のスルー画について、ＣＰＵ１１２が、登録された成功画像の画像部分と合致するスルー画上の部分の有無、および、成功画像の特徴量とスルー画取得時の特徴量との合致の有無を判断し、スルー画と成功画像部分とが一致しあるいはスルー画取得時の特徴量と成功画像の特徴量が存在する場合、撮影条件が整った旨の通知メッセージを出力してもよい。また、撮影がロックされている場合は、それを解除し、本撮影指示を受け入れるようにする。こうすると成功画像の記録の可能性がさらに増す。また、撮影ロックが解除されている間に本撮影指示があり、撮像と画像の格納が行われた場合は、その画像の取得時と同じタイミングで取得された補完用画像は破棄してもよい。成功画像が確保された以上、それと同じ補完画像は必要ないからである。
【００９５】
なお、登録された成功画像の画像部分と合致するスルー画上の部分の有無を示す映像も、同様にしてＯＳＤ回路１３５に指示してもよい。
【００９６】
このように、予め登録した失敗画像とその特徴量が、スルー画の取得時に得られた場合、警告を出力することで、ユーザが失敗画像を撮る可能性を低くすることができる。また、予め登録した成功画像とその特徴量が、スルー画の取得時に得られた場合、撮影条件が整った旨の通知を出力することで、ユーザが成功画像を撮る可能性をさらに高めることができる。
【００９７】
＜第２実施形態＞
図３は第２実施形態に係る画像補完処理のフローチャートである。この処理をＣＰＵ１１２に実行させるプログラムは記憶部１１９に記憶されている。ただし、このプログラムは、カメラ１０以外の情報処理装置、例えばパソコン２００ａでも可能である。このパソコンは、ＣＰＵ１２、通信Ｉ／Ｆ７６、記憶部１１９、画像記憶部１３２、操作部１１３、失敗画像登録部１４１、画像解析部１４５、表示部１１０、ビデオエンコーダ１３４、ＯＳＤ回路１３５と同等の構成を備えているものとする。
【００９８】
Ｓ１１では、画像記憶部１３２から、撮影済み画像（静止画でも動画のコマ画像でもよい）、登録済みの失敗画像を入力する。これらの画像が複数ある場合は、それぞれを入力する。なお、本処理をパソコン２００ａで行う場合は、通信Ｉ／Ｆ７６経由あるいは可搬性記憶媒体経由でカメラ１０から撮影済み画像を入力するとともに、通信Ｉ／Ｆ７６経由あるいは可搬性記憶媒体経由でカメラ１０−Ｂ（またはカメラ１０）から補完用画像を入力する。
【００９９】
Ｓ１２では、Ｓ２と同様の処理をスルー画でなく撮影済み画像について行う。撮影済み画像の中に失敗画像が一致する領域があるか、あるいは撮影済み画像に対応する特徴量と失敗画像の特徴量とが一致する場合、Ｓ１３に進み、それ以外の場合は本処理を終了する。この処理については後で詳述する。
【０１００】
Ｓ１３では、失敗画像と一致する撮影済み画像内の領域（失敗部分）に対する枠囲みや着色や色反転などを示す映像、失敗部分が存在する旨の警告メッセージ、その他Ｓ１２の判断結果を示す映像の生成をＯＳＤ回路１３５に指示する。あるいは、警告メッセージの表示とともに、所定の警告音の再生を音声処理回路８４に指示してもよい。なお、Ｓ３のメッセージの内容は、これから撮影を行う撮影者に対して失敗画像が撮影される可能性を示唆する警告であるが、本ステップＳ１３のメッセージは、既に撮影を行った画像に失敗部分が存在する可能性を示唆する警告である。
【０１０１】
Ｓ１４では、失敗部分のうち、修正したい所望の箇所を操作部１１３を介して選択させる。選択があったことに応じてＳ１５に進む。
【０１０２】
Ｓ１５では、選択された修正箇所を、カメラ１０−Ｂの記憶した補完用画像の対応部分のうち成功画像の特徴量を有するもので置換する。そして置換後の修正画像を表示部１１０に表示させる。
【０１０３】
図４は、撮影済み画像もしくはその特徴量が失敗画像もしくはその特徴量と一致するか否かを判断し、一致した場合はその旨を通知する処理（Ｓ１２およびＳ１３）の詳細を示すフローチャートである。以下のフローチャートは、第１実施形態で挙げた１次特徴量あるいは２次特徴量のうちの一部についての判定であるが、その他の特徴量についても同様な判定が可能である。
【０１０４】
Ｓ２１では、失敗の可能性がある撮影済み画像を画像記憶部１３２から抽出する。これは例えば、撮影済み画像もしくはその特徴量が成功画像もしくはその特徴量と一致するか否かを判断し、成功画像もしくはその特徴量と全く一致しない撮影済み画像を、失敗の可能性がある撮影済み画像として抽出する。なお、抽出された失敗の可能性がある撮影済み画像を表示部１１０に一覧表示させ、その中からＳ２２以降の処理対象とする画像を操作部１１３から選択させて、それを改めて取得された撮影済み画像とし、その他は失敗の可能性がある撮影済み画像から排除してもよい。
【０１０５】
Ｓ２２では、Ｓ２１で取得された撮影済み画像および失敗画像に対応する１次特徴量同士を比較し、両者が一致するか否かを判断する。Ｙｅｓの場合はＳ２３、Ｎｏの場合はＳ２４に進む。
【０１０６】
Ｓ２３では、失敗画像の１次特徴量を有する撮影済み画像の領域を特定し、その部分を示す失敗部分指示映像を生成するようＯＳＤ回路１３５に指令する。
【０１０７】
Ｓ２４では、合焦被写体の距離よりも近い距離に被写体が存在するか否かを判断する。これは、焦点距離を合焦被写体までの距離に換算した上、合焦被写体までの距離と、測距部８１の測距した被写体（合焦被写体とそれ以外の被写体を含む）までの距離とを比較し、合焦被写体までの距離よりも近い距離にある被写体（手前側被写体）があるか否かを判断する。Ｙｅｓの場合はＳ２５、Ｎｏの場合はＳ２６に進む。なお、この判断を行う前に、測距部８１は、顔検出などで検出された人物や、パターンマッチングなどで検出された人物以外の物体（車など）の存在するエリアのみについて、測距演算を繰り返し、各エリアに対応する距離を画像記憶部１３２に記憶し、各被写体の距離データを保存しておく。
【０１０８】
Ｓ２５では、撮影済み画像における手前側被写体の存在部分、すなわち当該手前側被写体の存在エリアを特定し、その部分を示す失敗部分指示映像を生成するようＯＳＤ回路１３５に指令する。
【０１０９】
Ｓ２６では、撮影済み画像における合焦被写体のサイズと、失敗画像の特徴量に含まれる被写体サイズとを比較し、前者が後者以下であるか否かを判断する。Ｙｅｓの場合はＳ２７に進む。Ｎｏの場合は本処理を終える。
【０１１０】
Ｓ２７では、合焦被写体の存在部分を示す失敗部分指示映像を生成するようＯＳＤ回路１３５に指令する。
【０１１１】
図５は、失敗画像部分Ｂおよび成功画像部分Ｇの一例を示す。ここでは、失敗画像部分Ｂは、被写体の顔領域内の瞑った目およびその近傍領域であり、成功画像部分Ｇは目を完全に開いた状態の被写体の顔領域内の目およびその近傍領域である。これらは１次特徴量として画像記憶部１３２に記憶することができる。
【０１１２】
図６は、撮像部１０２やサブ撮像部２０などから取得された画像（スルー画または撮影済み画像）の一つ目の例を示す。画像中の被写体ＳＢ１およびＳＢ２は、目を瞑っており、図５の失敗画像部分Ｂと一致する。また、被写体ＳＢ３は、目を完全に開いており、成功画像部分Ｇと一致する。
【０１１３】
よって、図６の画像がスルー画であり、この画像について図２の撮影支援処理を行うと、被写体ＳＢ１およびＳＢ２の失敗画像部分Ｂを指摘する映像や音声警告の出力が行われる。あるいは、図６の画像が撮影済み画像であり、この画像について図３の画像補完処理を行うと、被写体ＳＢ１およびＳＢ２の失敗画像部分Ｂを指摘する映像や音声警告の出力が行われる。
【０１１４】
図７は、撮像部１０２などから取得された画像（スルー画または撮影済み画像）の２つ目の例を示す。画像中、被写体ＳＢ４およびＳＢ５が存在している。被写体ＳＢ４は合焦被写体であるが、被写体ＳＢ５は、画像解析部１４５による当該撮影済み画像とカメラ１０−Ｂあるいはサブ撮像部２０の撮った撮影前後の補完画像との比較で、被写体ＳＢ２は動きが検出されているものとする（ただし、動き検出回路２１は動きを検出しておらずカメラ１０は静止しているものとする）。被写体ＳＢ２は、撮影の時に突然急に飛び出してきたような車のような移動物体である。この場合、被写体ＳＢ５が失敗画像部分であることを指摘する映像、ここでは被写体ＳＢ５を囲む破線Ｔ１の映像出力が行われる。
【０１１５】
あるいは、被写体ＳＢ５が合焦被写体であり、被写体ＳＢ６が合焦被写体ＳＢ５よりも距離が近い場合も、被写体ＳＢ５を囲む破線Ｔ１の映像出力が行われる。
【０１１６】
図８は、撮像部１０２から取得された画像（スルー画または撮影済み画像）の３つ目の例を示す。画像中、人物であることが検出された被写体ＳＢ６およびＳＢ７が存在している。人物被写体ＳＢ６は合焦被写体であるが、人物被写体ＳＢ７は合焦しておらず、ＳＢ７の被写体サイズは合焦被写体ＳＢ６よりも小さいものとする。この場合、被写体ＳＢ７が失敗画像部分であることを指摘する映像、ここでは被写体ＳＢ７を囲む破線Ｔ２の映像出力が行われる。
【０１１７】
図９は、失敗画像部分の修正（Ｓ１４）の一例を示す。画像Ｉ２は、Ｓ６でカメラ１０が記憶した撮影済み画像であり、画像Ｉ１およびＩ３は、Ｓ３でカメラ１０−Ｂまたはカメラ１０が画像Ｉ２の撮影前後に記憶した補完用画像であるとする。画像Ｉ１〜Ｉ３は、被写体ＳＢ１１、ＳＢ１２、ＳＢ１３を含んでいる。画像Ｉ２の被写体ＳＢ１１およびＳＢ１２は、目を瞑っており、これらの目領域は失敗画像部分である。Ｓ１３にて、画像Ｉ２の被写体ＳＢ１１およびＳＢ１２の各目領域が失敗画像部分Ｐ２−１、Ｐ２−２である旨が表示され、Ｓ１４にて、その中から、修正したい失敗画像部分としてＰ２−１、Ｐ２−２の双方が選択されたとする。
【０１１８】
なお、失敗画像登録部１４１が、選択されなかった失敗画像部分およびその特徴量を失敗／成功条件情報の中から削除すれば、ユーザが実際に失敗であると考える失敗画像部分およびその特徴量だけが失敗／成功条件情報に残り、徐々に精度の高い失敗画像部分およびその特徴量が失敗／成功条件情報として蓄積されていく。
【０１１９】
Ｓ１５にて、ＣＰＵ１１２は、補完用画像の中から、選択された失敗画像部分Ｐ２−１、Ｐ２−２に対応する画像部分（補完候補）を特定する。これは、画像Ｉ２の被写体ＳＢ１１およびＳＢ１２と同じ位置に存在する補完用画像Ｉ１またはＩ３の被写体、ここでは同じく被写体ＳＢ１１およびＳＢ１２の目領域を、公知の目領域検出技術（例えば特許文献５）で特定し、特定した目領域が補完候補となる。
【０１２０】
次に、ＣＰＵ１１２は、補完候補の特徴量と、予め登録された成功画像の特徴量とを比較し、両者が一致するか否かを判断する。そして、両者が一致すれば、その補完候補を補完用画像部分とし、両者が一致しなければ、その置換候補を排除する。
【０１２１】
図９の画像Ｉ２の被写体ＳＢ１１の失敗画像部分Ｐ２−１に対応する補完候補は、画像Ｉ１のＰ１−１と画像Ｉ３のＰ３−１である。また、画像Ｉ２の被写体ＳＢ１２の失敗画像部分Ｐ２−２に対応する補完候補は、画像Ｉ１のＰ１−２と画像Ｉ３のＰ３−２である。
【０１２２】
補完候補である画像Ｉ１のＰ１−１、画像Ｉ３のＰ３−２は、目瞑りが生じた目領域であり、その特徴量は成功画像の特徴量と一致しない。従って、補完候補から排除される。
【０１２３】
補完候補である画像Ｉ１のＰ１−２、画像Ｉ３のＰ３−１は、完全に目が開いた目領域であり、その特徴量は成功画像の特徴量と一致する。従って、補完用画像部分とされる。
【０１２４】
ＣＰＵ１１２は、失敗画像部分を、対応する補完用画像部分で置換する。例えば、Ｐ２−１はＰ３−１で、Ｐ２−２はＰ１−２で置換する。これにより、失敗画像部分が対応する補完用画像部分で置換された修正画像Ｉ’が完成する。この完成された修正画像Ｉ’は表示部１１０に表示される。なお、失敗画像部分が非常に小さいパーツの場合は、その部分を含めた周辺領域を置換する方が違和感が少なくなる。例えば、目、鼻、口のような顔領域内の小さいパーツを置換する場合は、それらのパーツを含む顔領域を置換するとよい。なお、修正したい失敗画像部分として、Ｐ２−１あるいはＰ２−２のうち一方のみが選択されれば、選択された方だけ置換される。
【０１２５】
同じ失敗画像部分に対応する補完用画像部分が複数存在する場合は、それぞれの補完用画像部分によって失敗画像部分を置換した画像を複数作成し、その中から所望の修正画像を操作部１１３を介して選択させ、選択された修正画像のみを画像記憶部１３２に記憶してもよい。
【０１２６】
例えば、図９の画像Ｉ４が補完用画像として確保されており、補完用画像部分Ｐ４−１が失敗画像部分Ｐ２−１に対応していれば、失敗画像部分Ｐ２−１を補完用画像部分Ｐ４−１で置換した修正画像Ｉ’２を作成し、修正画像Ｉ’と修正画像Ｉ’２のうち所望のものを選択させ、選択された方だけ記憶する。修正画像を選択させる際、選択される可能性の高い画像、例えば公知の表情認識技術により口の曲がり具合，口角の上がり具合，目の大きさ，しわのより具合などにもとづいて笑顔の程度を定量化し、その程度の高いものから低いものにかけて順次切り替えて表示させてもよい。なお、記憶する修正画像として選べるのは１つである必要はなく、出来上がった修正画像の中からどれでも好きな数だけ選んで残せる。
【０１２７】
図１０は、失敗画像部分の修正（Ｓ１４）の他の一例を示す。図１０の画像Ｊ２は、静止した被写体ＳＢｓにピントが合っているが、動く被写体ＳＢｍを失敗画像部分Ｑｆとして有する撮影済み画像である。画像Ｊ１、Ｊ３は、画像Ｊ２が撮影される前後にカメラ１０−Ｂが撮影した静止画あるいは動画の１コマであるとする。この場合も上記と同様、ＣＰＵ１１２が、失敗画像部分Ｑｆに対応する補完候補の中から成功画像の特徴量と一致するものを補完用画像部分Ｑｓとして選び出し、失敗部分Ｑｆを補完用画像部分Ｑｓで置き換え、修正済み画像Ｊ３を得る。なお、静止画Ｊ２と動画コマＪ１とは同じ程度の画質であれば、この置換による周囲の画質との不調和が生じず好ましい。
【０１２８】
作成された修正画像は、パソコン２００ａのハードディスクに保管したり、プリンタ２００ｂでプリントアウトすることができる。無論、ユーザは修正した画像の利用を強制しされるのでなく、ＣＰＵ１１２が、作成した修正画像のうち、所望の部分を操作部１１３から選択させ、選択された部分だけ修正前の元の失敗画像部分に戻した上で画像記憶部１３２や表示部１１０に出力したり、全く修正されていない失敗画像を画像記憶部１３２や表示部１１０に出力に出力してもよい。元の失敗画像部分に戻すとは、修正前と修正後の画像を一時的に記憶部１１９に記憶しておき、元に戻す指示が入力されれば、修正後の画像を記憶部１１９から破棄し、修正前の画像をそのまま記憶部１１９に保持すれば済む。後は、保持された画像を画像記憶部１３２、表示部１１０、プリンタ２００ｂ、記録媒体など所望の出力先に出力できる。
【０１２９】
＜その他の実施形態＞
第１実施形態の図２の撮像支援処理のＳ２において、スルー画と成功画像の双方の特徴量が不一致と判断されればＳ３、一致と判断されればＳ４に進んでもよい。あるいは、スルー画と失敗画像の双方の特徴量が一致と判断されればＳ３、スルー画と成功画像の双方の特徴量が一致と判断されれば一致と判断されればＳ４に進んでもよい。あるいは、スルー画と成功画像の双方の特徴量が不一致と判断されればＳ３、スルー画と失敗画像の双方の特徴量が不一致と判断されればＳ４に進んでもよい。スルー画と成功画像の双方の特徴量が一致せず、かつスルー画と失敗画像双方の特徴量が一致しない場合や、スルー画と成功画像の双方の特徴量が一致し、かつスルー画と失敗画像双方の特徴量が一致する場合は、判定不能としてＳ２からＳ６に進んでもよい。この際、判定不能である旨を表示してもよい。第２実施形態の図３の画像補完処理のＳ１２についても、撮影済み画像について同様の判断と分岐を行ってもよい。
【図面の簡単な説明】
【０１３０】
【図１】デジタルカメラの機能ブロック図
【図２】撮影支援処理のフローチャート
【図３】画像補完処理のフローチャート
【図４】撮影済み画像もしくはその特徴量が失敗画像もしくはその特徴量と一致するか否かを判断し、一致した場合はその旨を通知する処理のフローチャート
【図５】失敗画像部分および成功画像部分の一例を示す図
【図６】取得された画像の１つ目の例を示す図
【図７】取得された画像の２つ目の例を示す図
【図８】取得された画像の３つ目の例を示す図
【図９】失敗画像部分の修正の一例を示す図
【図１０】失敗画像部分の修正の他の一例を示す図
【符号の説明】
【０１３１】
１０：カメラ、１１２：ＣＰＵ、１４１：失敗画像登録部、１４２：失敗画像検出部、２００：電子機器
【特許請求の範囲】
【請求項１】
撮影の成功または失敗の基準となる基準画像もしくはその特徴量を登録する登録部と、
所望の画像もしくはその特徴量と、前記登録部の登録した基準画像もしくはその特徴量とを比較し、前記比較結果に応じて、前記所望の画像が撮影に失敗した画像であるか否かを判断する判断部と、
前記判断部の判断結果に応じて、補完用画像の出力を所定の画像出力装置に指示する制御部と、
を備える画像処理装置。
【請求項２】
前記登録部は、撮影の失敗の基準となる失敗基準画像もしくはその特徴量を登録し、
前記判断部は、所望の画像もしくはその特徴量と、前記登録部の登録した失敗基準画像もしくはその特徴量とを比較し、両者の一致に応じて、前記所望の画像が撮影に失敗した画像であるか否かを判断する請求項１に記載の画像処理装置。
【請求項３】
前記登録部は、撮影の成功の基準となる成功基準画像もしくはその特徴量を登録し、
前記判断部は、所望の画像もしくはその特徴量と、前記登録部の登録した成功基準画像もしくはその特徴量とを比較し、両者の不一致に応じて、前記所望の画像が撮影に失敗した画像であるか否かを判断する請求項１に記載の画像処理装置。
【請求項４】
前記登録部は、撮影の失敗の基準となる失敗基準画像もしくはその特徴量を登録し、
前記判断部は、前記所望の画像もしくはその特徴量と、前記登録部の登録した失敗基準画像とを比較し、両者の不一致に応じて、前記所望の画像が撮影に成功した画像であるか否かを判断する請求項２または３に記載の画像処理装置。
【請求項５】
前記登録部は、撮影の成功の基準となる成功基準画像もしくはその特徴量を登録し、
前記判断部は、前記所望の画像もしくはその特徴量と、前記登録部の登録した成功基準画像とを比較し、両者の一致に応じて、前記所望の画像が撮影に成功した画像であるか否かを判断する請求項２または３に記載の画像処理装置。
【請求項６】
前記判断部の判断結果に応じ、成功画像の取得条件が整った旨を通知する成功通知部を備える請求項４または５に記載の画像処理装置。
【請求項７】
前記所望の画像から、前記登録部の登録した失敗基準画像もしくはその特徴量と一致する失敗部分を特定する失敗部分特定部を備える請求項２または４に記載の画像処理装置。
【請求項８】
前記判断部の判断結果および／または前記失敗部分特定部の特定した失敗部分を通知する失敗通知部を備える請求項７に記載の画像処理装置。
【請求項９】
前記所定の画像出力装置が出力した補完用画像を入力する補完用画像入力部と、
前記補完用画像入力部が入力した補完用画像によって、前記所望の画像のうち前記失敗部分特定部の特定した失敗部分を修正する修正部と、
を備える請求項７または８に記載の画像処理装置。
【請求項１０】
前記失敗部分特定部の特定した失敗部分のうち、修正すべき失敗部分の選択を受け付ける選択部を備え、
前記修正部は、前記選択部が選択を受け付けた失敗部分を前記補完用画像で修正する請求項９に記載の画像処理装置。
【請求項１１】
前記選択部は、前記修正部が修正した画像のうち元に戻したい部分の選択を受け付け、
前記修正部は、前記選択部が選択を受け付けた部分を元の失敗部分に戻す請求項９または１０に記載の画像処理装置。
【請求項１２】
前記修正部が修正した画像を出力する出力部を備える請求項９〜１１のいずれかに記載の画像処理装置。
【請求項１３】
撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を画像に変換して出力する第１の撮像部を備え、
前記判断部は、前記第１の撮像部の出力した画像もしくはその特徴量と、前記登録部の登録した基準画像もしくはその特徴量とを比較し、前記比較結果に応じて、前記第１の撮像部の出力した画像が撮影に失敗した画像であるか否かを判断し、
前記制御部は、前記判断部の判断結果に応じ、前記第１の撮像部または前記第１の撮像部以外の第２の撮像部を有する第２の撮像装置に前記補完用画像の取得を指示する請求項１〜８のいずれかに記載の画像処理装置。
【請求項１４】
前記第１の撮像部の出力した画像は前記第１の撮像部に対する本撮像指示が入力される前に出力されたスルー画像を含む請求項１３に記載の画像処理装置。
【請求項１５】
前記補完用画像は前記第１の撮像部に対する本撮像指示が入力される前後に前記第１の撮像部または前記第２の撮像部が取得した静止画または動画を含む請求項１３に記載の画像処理装置。
【請求項１６】
前記基準画像の特徴量は、画像データの値に関連する第１の特徴量および前記画像データの撮影時の状況に関連する前記第１の特徴量以外の特徴量である第２の特徴量のうち少なくとも一方を含む請求項１〜１５のいずれかに記載の画像処理装置。
【請求項１７】
コンピュータが、
撮影の成功または失敗の基準となる基準画像もしくはその特徴量を登録するステップと、
所望の画像もしくはその特徴量と、前記登録した基準画像もしくはその特徴量とを比較し、前記比較結果に応じて、前記所望の画像が撮影に失敗した画像であるか否かを判断するステップと、
前記判断結果に応じて、補完用画像の出力を所定の画像出力装置に指示するステップと、
を実行する画像処理方法。
【請求項１８】
請求項１７に記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。
【請求項１】
撮影の成功または失敗の基準となる基準画像もしくはその特徴量を登録する登録部と、
所望の画像もしくはその特徴量と、前記登録部の登録した基準画像もしくはその特徴量とを比較し、前記比較結果に応じて、前記所望の画像が撮影に失敗した画像であるか否かを判断する判断部と、
前記判断部の判断結果に応じて、補完用画像の出力を所定の画像出力装置に指示する制御部と、
を備える画像処理装置。
【請求項２】
前記登録部は、撮影の失敗の基準となる失敗基準画像もしくはその特徴量を登録し、
前記判断部は、所望の画像もしくはその特徴量と、前記登録部の登録した失敗基準画像もしくはその特徴量とを比較し、両者の一致に応じて、前記所望の画像が撮影に失敗した画像であるか否かを判断する請求項１に記載の画像処理装置。
【請求項３】
前記登録部は、撮影の成功の基準となる成功基準画像もしくはその特徴量を登録し、
前記判断部は、所望の画像もしくはその特徴量と、前記登録部の登録した成功基準画像もしくはその特徴量とを比較し、両者の不一致に応じて、前記所望の画像が撮影に失敗した画像であるか否かを判断する請求項１に記載の画像処理装置。
【請求項４】
前記登録部は、撮影の失敗の基準となる失敗基準画像もしくはその特徴量を登録し、
前記判断部は、前記所望の画像もしくはその特徴量と、前記登録部の登録した失敗基準画像とを比較し、両者の不一致に応じて、前記所望の画像が撮影に成功した画像であるか否かを判断する請求項２または３に記載の画像処理装置。
【請求項５】
前記登録部は、撮影の成功の基準となる成功基準画像もしくはその特徴量を登録し、
前記判断部は、前記所望の画像もしくはその特徴量と、前記登録部の登録した成功基準画像とを比較し、両者の一致に応じて、前記所望の画像が撮影に成功した画像であるか否かを判断する請求項２または３に記載の画像処理装置。
【請求項６】
前記判断部の判断結果に応じ、成功画像の取得条件が整った旨を通知する成功通知部を備える請求項４または５に記載の画像処理装置。
【請求項７】
前記所望の画像から、前記登録部の登録した失敗基準画像もしくはその特徴量と一致する失敗部分を特定する失敗部分特定部を備える請求項２または４に記載の画像処理装置。
【請求項８】
前記判断部の判断結果および／または前記失敗部分特定部の特定した失敗部分を通知する失敗通知部を備える請求項７に記載の画像処理装置。
【請求項９】
前記所定の画像出力装置が出力した補完用画像を入力する補完用画像入力部と、
前記補完用画像入力部が入力した補完用画像によって、前記所望の画像のうち前記失敗部分特定部の特定した失敗部分を修正する修正部と、
を備える請求項７または８に記載の画像処理装置。
【請求項１０】
前記失敗部分特定部の特定した失敗部分のうち、修正すべき失敗部分の選択を受け付ける選択部を備え、
前記修正部は、前記選択部が選択を受け付けた失敗部分を前記補完用画像で修正する請求項９に記載の画像処理装置。
【請求項１１】
前記選択部は、前記修正部が修正した画像のうち元に戻したい部分の選択を受け付け、
前記修正部は、前記選択部が選択を受け付けた部分を元の失敗部分に戻す請求項９または１０に記載の画像処理装置。
【請求項１２】
前記修正部が修正した画像を出力する出力部を備える請求項９〜１１のいずれかに記載の画像処理装置。
【請求項１３】
撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を画像に変換して出力する第１の撮像部を備え、
前記判断部は、前記第１の撮像部の出力した画像もしくはその特徴量と、前記登録部の登録した基準画像もしくはその特徴量とを比較し、前記比較結果に応じて、前記第１の撮像部の出力した画像が撮影に失敗した画像であるか否かを判断し、
前記制御部は、前記判断部の判断結果に応じ、前記第１の撮像部または前記第１の撮像部以外の第２の撮像部を有する第２の撮像装置に前記補完用画像の取得を指示する請求項１〜８のいずれかに記載の画像処理装置。
【請求項１４】
前記第１の撮像部の出力した画像は前記第１の撮像部に対する本撮像指示が入力される前に出力されたスルー画像を含む請求項１３に記載の画像処理装置。
【請求項１５】
前記補完用画像は前記第１の撮像部に対する本撮像指示が入力される前後に前記第１の撮像部または前記第２の撮像部が取得した静止画または動画を含む請求項１３に記載の画像処理装置。
【請求項１６】
前記基準画像の特徴量は、画像データの値に関連する第１の特徴量および前記画像データの撮影時の状況に関連する前記第１の特徴量以外の特徴量である第２の特徴量のうち少なくとも一方を含む請求項１〜１５のいずれかに記載の画像処理装置。
【請求項１７】
コンピュータが、
撮影の成功または失敗の基準となる基準画像もしくはその特徴量を登録するステップと、
所望の画像もしくはその特徴量と、前記登録した基準画像もしくはその特徴量とを比較し、前記比較結果に応じて、前記所望の画像が撮影に失敗した画像であるか否かを判断するステップと、
前記判断結果に応じて、補完用画像の出力を所定の画像出力装置に指示するステップと、
を実行する画像処理方法。
【請求項１８】
請求項１７に記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−８１５２８（Ｐ２０１０−８１５２８Ａ）
【公開日】平成２２年４月８日（２０１０．４．８）
【国際特許分類】
【出願番号】特願２００８−２５０４１５（Ｐ２００８−２５０４１５）
【出願日】平成２０年９月２９日（２００８．９．２９）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２２年４月８日（２０１０．４．８）
【国際特許分類】
【出願日】平成２０年９月２９日（２００８．９．２９）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]