画像処理装置、撮像装置および画像処理プログラム
【課題】第１画像における被写体に対してのトリミングにあわせて、第２画像にも同様のトリミングすることができる画像処理装置を提供する。
【解決手段】画像処理装置が、第２トリミング枠設定部、を備えている。この第２トリミング枠設定部は、第１画像に対して設定された第１トリミング枠の条件と同じ条件となるように、第２画像に対して第２トリミング枠を設定する。画像処理装置が第２トリミング枠設定部を備えていることにより、この画像処理装置は、第１画像における被写体に対してのトリミングにあわせて、第２画像にも同様のトリミングすることができる。
【解決手段】画像処理装置が、第２トリミング枠設定部、を備えている。この第２トリミング枠設定部は、第１画像に対して設定された第１トリミング枠の条件と同じ条件となるように、第２画像に対して第２トリミング枠を設定する。画像処理装置が第２トリミング枠設定部を備えていることにより、この画像処理装置は、第１画像における被写体に対してのトリミングにあわせて、第２画像にも同様のトリミングすることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置および画像処理プログラムに関する。
【背景技術】
【０００２】
電子カメラなどで撮影した画像をトリミングし、新たな画像を作成して保存することや、トリミング範囲からプリントを作成することが行われている。なお、認識された顔にあわせてトリミングする技術が、知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２６７４５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、日常の撮影では同じ被写体・同じシーンで複数枚撮影をする場合、それらの画像においては画面内での被写体の大きさや位置が微妙に異なることが多い。それは、ユーザーが、被写体とカメラとの距離を変化させたり、ズーミングを変化させたり、構図を変化させたりして、撮影するからである。
【０００５】
このような一連の撮影画像からベストなものを１画像だけ選択してトリミングする場合は問題ないが、被写体の表情が異なっているため複数画像を選択して保存したり、プリントを作成することも多い。このときに、それぞれの画像に対して個々に考えながら自分の好みに合ったようにトリミングしたい場合は良いが、第一画像で自分の好みに合ったようにトリミングを行なったら、第二画像以降は、「被写体に対して第一画像とだいたい同じようにトリミングできればよい」ということも多い。
【０００６】
しかしながら、現状でカメラ内蔵のトリミング装置や、パソコン上で使用される画像編集ソフトウェアーでは、各画像ごとにトリミングを行なわなければならないという問題がある。ユーザーにとってトリミング操作は、画像を写真として完成させる創造的なプロセスではあるが、ほぼ同様の画像に対してトリミング操作を複数回繰返さなければならないことは、時間的にも心理的にも大きな負担となっている。
【０００７】
本発明は、このような事情に鑑みてなされたもので、その目的は、第１画像における被写体に対してのトリミングにあわせて、第２画像にも同様のトリミングすることができる画像処理装置、撮像装置および画像処理プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
この発明は上述した課題を解決するためになされたもので、第１画像に対して設定された第１トリミング枠の条件と同じ条件となるように、第２画像に対して第２トリミング枠を設定する第２トリミング枠設定部、を備えることを特徴とする画像処理装置である。
【０００９】
また、この発明は、上記に記載の画像処理装置、を備えることを特徴とする撮像装置である。
【００１０】
また、この発明は、画像処理装置としてのコンピュータに、第１画像に対して設定された第１トリミング枠の条件と同じ条件となるように、第２画像に対して第２トリミング枠を設定する第２トリミング枠設定手順、を実行させるための画像処理プログラムである。
【発明の効果】
【００１１】
この発明によれば、第１画像における被写体に対してのトリミングにあわせて、第２画像にも同様のトリミングすることができるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】この発明の一実施形態による画像処理装置を有する撮像装置の構成を示すブロック図である。
【図２】総合メニューで「画像編集」を選択する操作の図である。
【図３】画像編集メニューで「トリミング」を選択する操作の図である。
【図４】トリミング操作で、対象画像を指定する操作の図である。
【図５】トリミングの縦横比を決めるためにプリントサイズを指定する操作の図である。
【図６】選択画像に対してトリミング枠を操作する図である。
【図７】類似画像に対して自動トリミングを行なうかどうかを選択する操作の図である。
【図８】自動トリミングを初めのトリミング枠と同じ縦横比とするかどうかを選択する操作の図である。
【図９】自動トリミングする対象となる類似画像を選択する操作の図である。
【図１０】自動トリミングで設定されたトリミング枠を確認・変更する操作の図である。
【図１１】第１画像に対してユーザーが設定したトリミング枠の分析を説明する図である。
【図１２】第１画像のトリミング枠分析結果から類似画像に対して自動トリミングをする方法を説明する図である。
【図１３】第１画像のトリミング枠の分析の別の方法を説明する図である。
【図１４】図１の画像処理装置を有する撮像装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、本発明の実施形態について説明する。図１は、この発明の一実施形態による画像処理装置（トリミング装置）を有する撮像装置の構成を示す概略ブロック図である。ここでは、画像処理装置が、マイクロコンピュータ１として構成されている場合について説明する。
【００１４】
撮像装置は、撮像装置が有している各構成を制御するマイクロコンピュータ１と、撮影レンズ３１を用いた撮影における光学系を制御する光学系制御部２と、撮影レンズ３１を介して受光した光信号を電気信号に変換する撮像部３と、ユーザーが操作する操作部４とを有している。また撮像装置は、外部インターフェース５１、画像表示制御部６１、重畳表示制御部６２、モニター６３、ドライバ回路ＤＲ５、撮影情報モニター６４、カードコネクター７１、メモリーカード７２、画像記憶メモリー７３、圧縮／伸長回路７４、メモリー７５、タイマー７６、ドライバ回路ＤＲ６、圧電ブザー７７、電池８１および電池チェック回路８２を有している。
【００１５】
光学系制御部２は、測光装置２１、ドライバ回路ＤＲ２、ドライバ回路ＤＲ３、ドライバ回路ＤＲ４、シャッター部２２、絞り機構部２３およびミラー機構部２４を有している。測光装置２１は被写体の輝度を検出し、検出信号をマイクロコンピュータ１へ送出する。ドライバ回路ＤＲ２は、マイクロコンピュータ１からの指令に応じてシャッター部２２を駆動制御する。シャッター部２２は、シャッター羽根を開閉して光の遮光を行う。ドライバ回路ＤＲ３は、マイクロコンピュータ１からの指令に応じて絞り機構部２３を駆動制御する。絞り機構部２３は、撮影レンズ３１が有する絞りを開閉する。ドライバ回路ＤＲ４は、マイクロコンピュータ１からの指令に応じてミラー機構部２４を駆動制御する。ミラー機構部２４は、不図示のミラーのアップ・ダウンを行う。
【００１６】
撮像部３は、撮影レンズ３１、ＣＣＤ（Charge Coupled Device）等の撮像素子３２、撮像回路３３、ドライバ回路ＤＲ１およびモータＭ１を有している。撮影レンズ３１は、被写体像を撮像素子３２の撮像面上に結像する。撮像回路３３は、Ａ／Ｄ変換回路を含み、撮像素子３２から出力されるアナログ撮像信号をデジタルデータに変換し、変換後の画像データに対して所定の画像処理を行う。この画像処理として、たとえば、γ変換処理やホワイトバランス調整処理などがある。ドライバ回路ＤＲ１は、マイクロコンピュータ１からの指令に応じてモータＭ１を駆動する。モータＭ１は、たとえば、撮影レンズ３１の焦点レンズを光軸方向に進退駆動する。なお、撮影レンズ３１は、撮像装置に固定されて取り付けられていてもよいし、撮像装置に着脱可能となるようにして取り付けられていてもよい。
【００１７】
操作部４は、メインスイッチＳＷ１、レリーズスイッチＳＷ２、取消スイッチＳＷ３、モードスイッチＳＷ４、再生・メニュースイッチＳＷ５、左選択スイッチＳＷ６、右選択スイッチＳＷ７、上選択スイッチＳＷ８、下選択スイッチＳＷ９、確定スイッチＳＷ１０、操作用スイッチＳＷ１１、操作用スイッチＳＷ１２、コマンドダイヤル左回転スイッチＳＷ１３、コマンドダイヤル右回転スイッチＳＷ１４、および、画像削除スイッチＳＷ１５を有している。
【００１８】
メインスイッチＳＷ１は、撮像装置の電源オンまたは電源オフを指示する操作信号を出力する。レリーズスイッチＳＷ２は、レリーズスイッチＳＷ２が半押しされた場合には撮影の開始を示す半押し操作信号を出力し、レリーズスイッチＳＷ２が全押しされた場合には撮影することを示す全押し操作信号を出力する。取消スイッチＳＷ３は、操作取消を示す操作信号を出力する。
【００１９】
モードスイッチＳＷ４は、撮像装置の撮影モードと再生モードとを切替えるための操作信号を出力する。また、モードスイッチＳＷ４は、再生モードにおいて押されたことに応じて、総合メニューモードに切替える操作信号を出力する。再生・メニュースイッチＳＷ５は、再生またはメニューを選択する操作信号を出力する。
【００２０】
左選択スイッチＳＷ６、右選択スイッチＳＷ７、上選択スイッチＳＷ８および下選択スイッチＳＷ９は、それぞれ選択方向を示す操作信号を出力する。以降においては、左選択スイッチＳＷ６および右選択スイッチＳＷ７の組み合わせを左右選択スイッチＳＷ６・７と称し、上選択スイッチＳＷ８および下選択スイッチＳＷ９の組み合わせを上下選択スイッチＳＷ８・９と称して説明する。
【００２１】
確定スイッチＳＷ１０は、操作確定を示す操作信号を出力する。操作用スイッチＳＷ１１は、コマンドダイヤル左回転スイッチＳＷ１３またはコマンドダイヤル右回転スイッチＳＷ１４と組み合わせて用いられ、トリミング枠（後述する第１トリミング枠または第２トリミング枠）を拡大または縮小することを示す操作信号を出力する。
【００２２】
コマンドダイヤル左回転スイッチＳＷ１３またはコマンドダイヤル右回転スイッチＳＷ１４は、順方向にまたは逆方向に順に切り替える操作信号を出力する。この左回転スイッチＳＷ１３またはコマンドダイヤル右回転スイッチＳＷ１４は、たとえば１つの回転スイッチとして構成されている。この回転スイッチが左回転した場合には左回転スイッチＳＷ１３が押された状態となり、回転スイッチが右回転した場合にはコマンドダイヤル右回転スイッチＳＷ１４が押された状態となる。
【００２３】
画像削除スイッチＳＷ１５は、画像を削除することを示す操作信号を出力する。プレビュースイッチＳＷ１６は、画像をプレビューすることを示す操作信号を出力する。
【００２４】
外部インターフェース５１は、撮像装置内のデータをパソコンや別の電子カメラなどの外部機器へ出力（送信）するインターフェース回路である。外部インターフェース５１の一例として、ＲＳ２３２（Recommended Standard 232）、ＵＳＢ（Universal Serial Bus）、ＩＥＥＥ１３９４（Institute of Electrical and Electronic Engineers 1394）などの通信規格がある。
【００２５】
画像表示制御部６１は、マイクロコンピュータ１からの指令によりモニター６３に画像やメニュー画面を表示させる駆動信号を生成して、モニター６３に出力する。重畳表示制御部６２は、マイクロコンピュータ１からの指令により、撮影条件などの文字情報やトリミング枠を、画像表示制御部６１がモニター６３に表示させている画像に重畳して表示させる駆動信号を生成して、モニター６３に出力する。モニター６３は、例えばカラーの液晶ディスプレイであり、画像表示制御部６１および重畳表示制御部６２からの駆動信号に基づいて、画像や操作メニューなどを表示するとともに、撮影条件などの文字情報やトリミング枠を重畳表示する。なおモニター６３として、液晶ディスプレイの代わりにＥＬディスプレイなどを用いてもよい。
【００２６】
ドライバ回路ＤＲ５は、マイクロコンピュータ１からの指令により撮影情報モニター６４に対する駆動信号を生成する。撮影情報モニター６４は、例えば白黒の液晶ディスプレイであり、設定されている露出モードを示す符号もしくはマーク、撮影コマ数などの撮影条件を示す文字情報を表示する。
【００２７】
メモリーカード７２は、カードコネクター７１を介して撮像装置に着脱される記録媒体である。メモリーカード７２には画像データおよびトリミングされた画像データが記録される。画像記憶メモリー７３は、上述した画像処理、後述する圧縮処理および伸長処理の際に一時的に画像データを格納する。圧縮／伸長回路７４は、たとえば、ＪＰＥＧ（Joint Photographic Experts Group）など所定の画像形式で画像データを圧縮処理したり、圧縮された画像データを伸長処理したりする。
【００２８】
メモリー７５は、たとえば、ＲＡＭ（Random Access Memory）領域およびＲＯＭ（Read Only Memory）領域の記憶領域を有している。ＲＡＭ領域は、たとえば、マイクロコンピュータ１の作業領域として利用される。また、ＲＯＭ領域は、撮像装置全体を制御するプログラムが予め記憶されている。マイクロコンピュータ１は、このＲＯＭ領域から読み出したプログラムに基づいて撮像装置全体を制御する。
【００２９】
また、メモリー７５は、トリミング枠情報記憶部７５１を有している。このトリミング枠情報記憶部７５１には、プリントサイズを示す情報と関連付けて、当該プリントサイズの場合のトリミング枠の縦横比を示す情報、または、当該プリントサイズの場合のトリミング枠の初期値としての縦と横とのサイズを示す情報が予め記憶されている。このトリミング枠情報記憶部７５１は、たとえばＲＯＭ領域に含められている。
【００３０】
タイマー７６は、マイクロコンピュータ１によって指定された時間を計時し、タイムアップ信号を出力したり、現在の日時を示す信号を出力したりする。ドライバ回路ＤＲ６は、マイクロコンピュータ１からの指令により圧電ブザー７７に対する駆動信号を生成する。圧電ブザー７７は、入力された駆動信号に応じて、内蔵している圧電素子を振動させてブザー音を出力する。電池８１は、撮像装置内の各部に電力を供給する。電池チェック回路８２は、電池８１が撮像装置に供給する電力を監視し、監視した結果をマイクロコンピュータ１に出力する。
【００３１】
次に、本実施形態による画像処理装置としてのマイクロコンピュータ１について説明する。ここでは、マイクロコンピュータ１の構成において、画像処理装置に関する構成のみについて説明する。このマイクロコンピュータ１は、第１トリミング枠設定部１１、第２トリミング枠設定部１２、トリミング部１３、および、制御部１４を有している。
【００３２】
第１トリミング枠設定部１１は、第１画像に対して第１トリミング枠を設定する。
第２トリミング枠設定部１２は、第１トリミング枠設定部１１により第１画像に対して設定された第１トリミング枠の条件と同じ条件となるように、第２画像に対して第２トリミング枠を設定する。
【００３３】
また、第２トリミング枠設定部１２は、第１画像のうちの被写体と第２画像のうちの被写体とが類似しているか否かを判定し、当該判定した結果が類似である場合に、第１画像に対する第１トリミング枠の条件と同じ条件となるように、第２画像に対して第２トリミング枠を設定する。
【００３４】
また、第２トリミング枠設定部１２は、第１画像のうちの被写体または第２画像のうちの被写体を、第１画像または第２画像に対する顔認識技術、または、色に基づいた被写体の検出技術により検出する。なお、画面内における色に基づいた被写体の検出技術として、たとえば、次の文献による技術が知られている。
【００３５】
（文献） 特開２００９−５９３２６号公報
【００３６】
また、第２トリミング枠設定部１２は、第１画像のうちの被写体に対する第１トリミング枠の画面内における位置を条件として、第２画像に対して第２トリミング枠を設定する。
【００３７】
また、第２トリミング枠設定部１２は、第１画像のうちの被写体に対する第１トリミング枠の画面内における位置の比率を算出し、当該算出した位置の比率を条件として、第２画像に対して第２トリミング枠を設定する。
【００３８】
また、第２トリミング枠設定部１２には、第２画像に対して第２トリミング枠を設定する場合に、第１トリミング枠の縦横比と同じとなるように第２トリミング枠の縦横比を設定するか否かが選択されて設定される。そして、第２トリミング枠設定部１２は、第１トリミング枠の縦横比と同じとなるように第２トリミング枠の縦横比を設定するように選択せれている場合には、第２画像に対して第２トリミング枠を設定する場合に、第１トリミング枠の縦横比と同じとなるように第２トリミング枠を設定する。
【００３９】
また、第２トリミング枠設定部１２は、第１画像に対して設定された第１トリミング枠の条件と同じ条件となるように、第２画像に対して第２トリミング枠を設定する場合に、第２トリミング枠が第２画像の画像領域外に設定される場合には、当該第２トリミング枠を第２画像の画像領域内に設定する。
【００４０】
トリミング部１３は、第１トリミング枠設定部１１により設定された第１トリミング枠に基づいて、第１画像をトリミングする。また、トリミング部１３は、第２トリミング枠設定部１２により設定された第２トリミング枠に基づいて、第２画像をトリミングする。また、トリミング部１３は、トリミングした第１画像または第２画像を、たとえば、カードコネクター７１を介してメモリーカード７２に記録する。
【００４１】
制御部１４は、マイクロコンピュータ１が有している各構成、および、撮像装置が有している各構成を制御する。
【００４２】
次に、図２から図１３の画面図および図１４のフローチャートを用いて、モニター６３に画像を表示して、当該表示した画像に対してユーザーがトリミングする場合における撮像装置が有する画像処理装置の動作について説明する。なお、この図２から図１３の画面図は、撮像装置のモニター６３に表示される画像である。また、下記のステップ番号は、それぞれ、図１４のフローチャートにおけるステップ番号である。また、下記においては、被写体が、顔認識技術により検出される顔ないし人物である場合について説明する。また、後述する類似画像は、上述した第２画像に相当する。
【００４３】
＜1.トリミングのモードに入る＞
まず、ユーザーがモードスイッチSW4（図１参照）を押すと、制御部１４は、撮影モードから再生モードにし、もう一度、ユーザーがモードスイッチSW4（図１参照）押すと、制御部１４は、総合メニューモードにする（図２、ステップS101）。
【００４４】
次に、ユーザーが上下選択スイッチSW8・9で「画像編集」を選択し確定スイッチSW10を押すと、制御部１４は、画像編集メニューに移行する（図３、ステップS103）。
【００４５】
次に、ユーザーが上下選択スイッチSW8・9で「トリミング」を選択し確定スイッチSW10を押すと、制御部１４は、トリミングする対象の画像を選択する画面に移行する（図４、図１４のステップS105）。
【００４６】
＜2.トリミングする画像を選択する＞
次に、ユーザーが上下選択スイッチSW8・9と左右選択スイッチSW6・7とでトリミングする画像を選択して確定スイッチSW10を押すと、制御部１４は、選択した画像を全画面表示すると共に、それに重ねて第１トリミング枠の指定のダイアログを表示する（図５、ステップS107,ステップS109）。
【００４７】
＜3. 第１トリミング枠（縦横比）を選択しトリミングを実行する＞
次に、図５の画面で、ユーザーは、上下選択スイッチSW8・9で、予め定められている複数のプリントサイズの中から、いずれのプリントサイズの縦横比でトリミングするかを指定する。図５では、例として六切に対応する縦横比でトリミングする場合を示しており、ユーザーが、六切を選択して確定スイッチSW10を押すと(ステップS109)、第１トリミング枠設定部１１は、第１トリミング枠を設定する画面に移行する（図６、ステップS111）。
【００４８】
＜第１トリミング枠の拡大縮小・移動＞
図６の画面で第１トリミング枠を操作するには、ユーザーは、左右選択スイッチSW6・7と上下選択スイッチSW8・9で左右と上下の移動を、操作用スイッチSW11を押しながらコマンドダイヤル左回転スイッチSW13または右回転スイッチSW14で第１トリミング枠の拡大・縮小を行なう。ユーザーの操作に応じて、第１トリミング枠設定部１１は、第１トリミング枠を設定する。ユーザーが、第１トリミング枠の設定を終えてから確定スイッチSW10を押すと、制御部１４は、類似画像に対して自動トリミングを行なうか否かを決める画面に移行する（図７、ステップS113）。
【００４９】
＜4.類似画像に対する自動トリミング（１）〜初期設定、類似画像の選択・チェック＞
上記（図７、ステップS113）で、トリミング設定した第１画像と類似する画像に対して、第１画像のトリミングと同様に自動トリミングを行なう場合には、ユーザーは、「類似画像の自動トリミング」を上下選択スイッチSW8・9で選択し確定スイッチSW10を押す。すると、制御部１４は、類似の画像以降の画像の第２トリミング枠について設定する画面に移行する（図８、ステップS115）。
【００５０】
一方、上記（図７、ステップS113）で、類似画像に対して自動トリミングを行なわない場合は、ユーザーは、「単一トリミング」を上下選択スイッチSW8・9で選択し確定スイッチSW10を押す。すると、制御部１４は、後述のステップS141に処理を進める。
【００５１】
次に、上記（図７、ステップS113）で、ユーザーが、「類似画像の自動トリミング」を選択し、制御部１４が、類似の第２画像以降の画像の第２トリミング枠について設定する画面に移行（図８、ステップS115）した場合には、この図８（ステップS115）で、制御部１４は、ユーザーに、類似画像に対しての第２トリミング枠の作成方法を選択させる。
【００５２】
たとえば、類似画像に対しての第２トリミング枠を、第１画像の第１トリミング枠と同じ縦横比としたい場合には、ユーザーは、「初めのトリミング枠と同じ縦横比で自動作成する」を選択し、第１画像の第１トリミング枠と同じ縦横比としなくてもよい場合は、ユーザーは、「縦横比は限定しないで自動作成する」を選択する。
【００５３】
後述のように、類似画像に対して自動トリミングを行なうと、第２トリミング枠の縦横比は、参照する第１画像に対する第１トリミング枠の縦横比と同じになるとは限らない。そのため、制御部１４は、類似画像に対しても、ユーザーがトリミング設定した第１画像のトリミング縦横比と同じトリミングをするか否かを、この図８（ステップS115）で、ユーザーに選択させている。
【００５４】
＜類似画像の選択＞
次に、図８で、ユーザーが、何れかを選択して確定スイッチSW10を押すと、制御部１４は、自動トリミングを行なう類似画像を選択する画面に移行する（図９、ステップS117）。次に、ユーザーは、左右選択スイッチSW6・7と上下選択スイッチSW8・9で左右と上下の移動を行ないながら、自動トリミングをしたい画像を選択して、操作用スイッチSW11を押しながら確定スイッチSW10を押して、１つまたは複数の自動トリミング対象の類自画像を選択する。ユーザーは、選択が終了したら確定スイッチSW10を押す。
【００５５】
＜類似画像の判定＞
次に、第２トリミング枠設定部１２は、ユーザーにより上記のように選択された自動トリミングすべき類似画像が、既にユーザーがトリミング指定した第１画像と類似であるか否かを判定する（ステップS119）。
【００５６】
このステップS119で、第２トリミング枠設定部１２は、類似でないと判定した場合には、その画像の選択を解除すると共に、「類似画像とは認識できない画像の選択を解除しました」というメッセージを表示する。第２トリミング枠設定部１２は、「類似画像とは認識できない画像の選択を解除しました」というメッセージを表示する場合に、たとえば、図９の画面において、画像とともに、メッセージを表示してもよい。ユーザーは、表示されたメッセージを確認して再度確定スイッチSW10を押す（ステップS125,127）。この再度確定スイッチSW10が押されたことに応じて、第２トリミング枠設定部１２は、処理を後述するステップS121に進める。
【００５７】
上述した既にユーザーがトリミング指定した第１画像と類似であるか否かの判定、すなわち、類似画像の判定については、たとえば、第２トリミング枠設定部１２は、第１画像で認識した顔数と、それぞれの指定された類似画像の顔数を比較し（ステップS119）、顔数が異なっている画像があるか否かにより判定する。また、この類似画像の判定は、顔数が同一であることで行なう他、類似画像での各顔の距離と、第１画像での対応する顔距離との差が一定値以内であるか否かを判定することにより、判定してもよい。
【００５８】
上述したステップS119で、第２トリミング枠設定部１２は、類似であると判定された場合には、または、上述したステップS117で確定スイッチSW10が操作されたことに応じて、第２トリミング枠設定部１２は、選択された類似画像に対して、以下に説明するステップS121からステップS139の処理により、第２トリミング枠を生成する。
【００５９】
＜5.類似画像に対する自動トリミング（２）〜第１画像の第１トリミング枠の分析＞
次に、第２画像以降の類似画像に対して自動トリミングを行なうために、第２トリミング枠設定部１２は、まずユーザーが第１画像に対して設定した第１トリミング枠を、次のようにして分析する。
【００６０】
1)図１１に示すように、既知技術である顔認識を行ない、顔領域F1,F2,F3を認識する(ステップS121)。
【００６１】
2) 第１トリミング枠左辺の分析：トリミング画面内で最も左にある認識された顔F1の幅F1Wと、その左端から第１トリミング枠までの距離SLを得て、値（SL÷F1W)を、トリミング左辺を定義する特性値とする(ステップS123)。
【００６２】
3) 第１トリミング枠右辺の分析：トリミング画面内で最も右にある認識された顔F3の幅F3Wと、その右端から第１トリミング枠までの距離SRを得て、値（SR÷F3W)を、トリミング右辺を定義する特性値とする(ステップS123)。
【００６３】
4) 第１トリミング枠上辺の分析：トリミング画面内で最も上にある認識された顔F2の高さF2Hと、その上端から第１トリミング枠までの距離SUを得て、値（SU÷F2H)を、トリミング上辺を定義する特性値とする(ステップS123)。
【００６４】
5) 第１トリミング枠下辺の分析：トリミング画面内で最も下にある認識された顔F3の高さF3Hと、その下端から第１トリミング枠までの距離SBを得て、値（SB÷F3H)を、トリミング下辺を定義する特性値とする(図１２、ステップS123)。
【００６５】
＜6.類似画像に対する自動トリミング（３）〜特性値からの第２トリミング枠作成＞
次に、上記で求めた４つの特性値を用いて、第２トリミング枠設定部１２は、類似画像への自動トリミング設定を、次のようにして行なう(ステップS129)。
【００６６】
1) 自動トリミングを行なう類似画像に対し顔認識を行ない、顔領域F1,F2,F3を認識する。しかしながら、類似画像において認識される顔領域F1,F2,F3は、第１画像の場合とは、その位置や大きさが異なっている可能性がある。
【００６７】
2) 第２トリミング枠左辺の設定：画面内において最も左にある認識された顔F1の幅F1W2と、上記特性値（SL÷F1W)から、次の（式１）により特性値SL2を求め、第２トリミング枠左辺を設定する。
【００６８】
SL2 = F1W2 × (SL÷F1W) ・・・ （式１）
【００６９】
3) 第２トリミング枠右辺の設定：画面内において最も右にある認識された顔F3の幅F3W2と、上記特性値（SR÷F3W)から、次の（式２）により特性値SR2を求め、第２トリミング枠右辺を設定する。
【００７０】
SR2 = F3W2 × (SR÷F3W) ・・・ （式２）
【００７１】
4) 第２トリミング枠上辺の設定：画面内において最も上にある認識された顔F2の高さF2H2と、上記特性値（SU÷F2H)から、次の（式３）により特性値SU2を求め、第２トリミング枠上辺を設定する。
【００７２】
SU2 = F2H2 × (SU÷F2H) ・・・ （式３）
【００７３】
5) 第２トリミング枠下辺の設定：画面内において最も下にある認識された顔F3の高さF3H2と、上記特性値（SB÷F3H)から、次の（式４）により特性値SB2を求め、第２トリミング枠下辺を設定する。
【００７４】
SB2 = F3H2 × (SB÷F3H) ・・・ （式４）
【００７５】
＜7.類似画像に対する自動トリミング（４）〜第２トリミング枠の縦横比の修正＞
次に、第２トリミング枠設定部１２は、上述したステップS115で、自動トリミングで縦横比を保持することが選択されたか否かを判定する。すなわち、第２トリミング枠設定部１２は、上述したステップS115で、「初めのトリミング枠と同じ縦横比で自動作成する」と、「縦横比は限定しないで自動作成する」とのうち、いずれを選択されたかを判定する。「初めのトリミング枠と同じ縦横比で自動作成する」が選択されている場合には、第２トリミング枠設定部１２は、作成した第２トリミング枠を修正する（ステップS131,ステップS133)。
【００７６】
ここでは、前述のように図８で、第２トリミング枠の指定として「初めのトリミング枠と同じ縦横比で自動作成する」を選択しているものとして説明する。この場合、類似画像で作成される第２トリミング枠も第１画像で指定した（図５）のと同様に六切の縦横比にしなければならない。しかしながら、上記のように自動作成した図１２の第２トリミング枠（作成した初期の第２トリミング枠）は、結果的に六切の縦横比よりも横長や縦長になってしまっている可能性もある。この場合、横幅をつめて、六切の縦横比にする方法を以下に説明する（ステップS131,ステップS133)。
【００７７】
まず、第２トリミング枠設定部１２は、上記で自動作成された初期の第２トリミング枠（幅W1・高さH1）の縦横比 (W1÷H1)と、六切の縦横比1.25とを比較し、初期の第２トリミング枠が縦長か横長かを判定する。この場合は横長と判定される。なお、この六切の縦横比は、たとえば、第２トリミング枠設定部１２が、トリミング枠情報記憶部７５１から読み出している。そして、第２トリミング枠設定部１２は、目標となる幅W2を、W2 = H1 × 1.25 により、算出して求める。この場合、左右合計で W1 - W2 だけ縮めてW2にすることになる。
【００７８】
そこで、第２トリミング枠設定部１２は、前期の最左の顔から左のスペースSL2と、最右の顔から右のスペースSR2の割合に応じてつめる量を左右で決めるとすれば、次の（式５）と（式６）により、新たな左右のスペースを求める。この様にして、第２トリミング枠設定部１２は、作成した第２トリミング枠を、修正する。
【００７９】
SL2’ = (W1 - W2) × (SL2 ÷ (SL2 + SR2)) ・・・ （式５）
【００８０】
SR2’ = (W1 - W2) × (SR2 ÷ (SL2 + SR2)) ・・・ （式６）
【００８１】
これとは逆に上下をつめなければならない場合も、第２トリミング枠設定部１２は、同様に縦方向の上下スペースに対して補正をすることで、選択された縦横比となるように、第２トリミング枠を修正することができる。
【００８２】
＜8.類似画像に対する自動トリミング（５）〜第２トリミング枠の４辺を決める別の例＞
上記例では、第２トリミング枠設定部１２は、ステップS131とS133とで、認識された顔の幅・高さをもとに特性値を求め、これとの比が等しくなるように上下左右の顔からのスペースを決めることで、第２トリミング枠を設定した。
この他の方法としては、第２トリミング枠設定部１２は、図１３のように認識された複数の顔の全体の幅(F13W)と高さ(F23H)から上記同様に特性値を求めてもよい。
更には、第２トリミング枠設定部１２は、顔だけに限定せず、距離が顔と所定の範囲内にある部分を被写体と認識し、その幅・高さから特性値を求めてもよい。
【００８３】
＜9.類似画像に対する自動トリミング（６）〜第２トリミング枠が画像終端に至った場合＞
次に、第２トリミング枠設定部１２は、作成した第２トリミング枠が第２画像の画像領域を超えているか否かを判定し、超えている場合には、第２トリミング枠が第２画像の画像領域内となるように、作成した第２トリミング枠を修正する(ステップS135,ステップS137)。
【００８４】
たとえば、上記では、計算どおり第２トリミング枠を設定できたが、場合によっては特性値から計算した上下左右の第２トリミング枠のいずれかの辺が、画像自体から飛出してしまう場合、つまり計算した結果だけのスペースを顔からとれない場合もある。その場合は、第２トリミング枠設定部１２は、画像外端を第２トリミング枠とする(ステップS135,ステップS137)。
【００８５】
このように第２トリミング枠を画像外端に修正した場合、図８で「縦横比は限定しないで自動作成する」を選択している場合は問題ない。しかし、図８で「初めのトリミング枠と同じ縦横比で自動作成する」を選択している場合には、第２トリミング枠設定部１２は、たとえば、図１０での確認画面で「画像スペースが不足していたためトリミング枠の縦横比が変更された」旨のメッセージを表示する。
【００８６】
＜10. 類似画像に対する自動トリミング（７）〜結果の確認・変更、トリミング作業の終了＞
次に、上記により指定した類似画像に、第２トリミング枠が第２トリミング枠設定部１２により設定され、制御部１４は、第２トリミング枠が設定された類似画像を１画像ごとに確認する画面（図１０、ステップS139）に、処理を移行する。
【００８７】
ユーザーは、第２トリミング枠がこのままで良ければ、確定スイッチSW10を押す。ユーザーは、もし、自動生成された第２トリミング枠を変更したい場合は、左右選択スイッチSW6・7と上下選択スイッチSW8・9で左右と上下の移動を、操作用スイッチSW11を押しながらコマンドダイヤル左回転スイッチSW13／右回転スイッチSW14で、第２トリミング枠の拡大・縮小を行なって変更し、確定スイッチSW10を押す。
【００８８】
更に自動トリミング設定をする次の類似画像がある場合は、第２トリミング枠は、次の類似画像に順に進み、同様の操作を行なう。自動トリミング設定した類似画像がなければ、第２トリミング枠は、一連の第２トリミング枠を設定する作業を終了し、次に、トリミング部１３が、それぞれのトリミング枠で元画像を切出して新たなトリミング画像を生成し記録媒体（たとえば、メモリーカード７２）に保存する(ステップS141)。
【００８９】
すなわち、トリミング部１３は、第１トリミング枠で画像を切出してメモリーカード７２のような記録媒体に保存するとともに、第２トリミング枠で類似画像を第２トリミング枠で切出して記録媒体に保存する。その後、制御部１４は、たとえば、処理をステップS101に戻し、総合メニュー表示が復帰される（図２、ステップS143）。
【００９０】
以上説明したように、本実施形態による画像処理装置は以下のような動作を行う。
(1) 第１画像に対してユーザーが第１トリミング枠の指定を行なう。
(2) ユーザーは、被写体に対してのトリミング設定が第１画像とだいたい同じ様にしてトリミングしたい画像（類似画像）を選択し、自動トリミングの実行を指示する。
(3) 画像処理装置の第２トリミング枠設定部１２は、第１画像において、シーン認識・顔認識などにより被写体を認識し、それとユーザーが設定した第１トリミング枠との位置関係を求め、それと同様になるように、ユーザーにより選択された第２以降の画像（類似画像）に対して第２トリミング枠を自動設定する。
(4) ユーザーは、第２以降の画像に対して自動的に設定された第２トリミング枠が適切であるかの確認および修正を行なう。
(5) ユーザーは、第２トリミング枠の確定、画像生成・保管 あるいはプリントを指示する。
(6) 画像処理装置は、上記指示に従い、画像生成、保管あるいはプリントを行なう。
【００９１】
＜効果＞
上述した動作を実行する第２トリミング枠設定部１２という構成を備えることにより、本実施形態による画像処理装置は、次のような効果を奏する。
【００９２】
1.ユーザーは第１画像に対してだけ第１トリミング枠を設定すれば、その画像と類似の一連の画像に対し、被写体と第１トリミング枠の関係を第１画像と同様にして自動で第２トリミング枠が設定されるので、短時間で手間なく効率的にトリミング作業を行なうことができる。
2.自動トリミングの前に、第１画像と同じトリミング縦横比で行なうことを指定できるので、全てのトリミング対象画像に対して同じ縦横比でトリミングができる。
3.自動トリミングの前に、第１画像とは異なるトリミング縦横比で行なうことを指定できるので、各画像に最適なトリミングを行なうことができる。
4.自動トリミングされた第２トリミング枠を確認することと、更に必要に応じて第２トリミング枠を変更することができるので、ユーザーの希望に合ったトリミングを行なえる。
5.自動トリミング実行前に類似画像としてユーザーが選択した画像が、類似画像として扱えるかどうかをチェックするので、ユーザーが誤って第１画像とは類似でない画像を自動トリミング対象として選択しても、自動トリミングが不所望な結果となることを防止できる。
【００９３】
このように、本実施形態による画像処理装置によれば、第１画像に対しての第１トリミング枠は、ユーザーの好み、指向、または、意思により設定される。たとえば、被写体の画面内の位置などが、ユーザーの好み、指向、または、意思により設定される。そして、第１トリミング枠に合わせて、ユーザーの好み、指向、または、意思が反映されて、第１トリミング枠の場合と同様に、第１画像と同様の被写体が撮像されている第２画像に対しても第２トリミング枠が設定される。
【００９４】
このようにして、本実施形態による画像処理装置は、第１画像における被写体に対してのトリミングにあわせて、第２画像にも同様のトリミングすることができるのみならず、ユーザーの好み、指向、または、意思を反映して、第２画像にも同様のトリミングすることができる。また、第１画像における被写体と第２画像における被写体とが類似しているか否かを判定することにより、第１画像における被写体と同様の被写体が撮像されている第２画像に対して、同様にトリミングすることができる。
【００９５】
＜実施形態の応用＞
1.実施形態では顔を認識して、この位置・寸法に基づいてユーザーが設定した第１画像に対する第１トリミング枠を分析し、それをもとに自動トリミングを行なっている。顔を認識する他にも、画像の色・形から被写体領域を認識してこれとユーザーが設定した第１トリミング枠の関係を分析し、これをもとに自動トリミング（第２トリミング枠の設定）をしてもよい。
2.実施形態では本発明のトリミング装置をカメラなどの撮像装置に搭載した例を示したが、この他に、ＰＣで使用する画像編集アプリケーションソフトやプリンターに搭載することも可能で、その場合には操作インターフェースはそれぞれに適した形態で行なえばよい。
3.実施形態の第１画像への第１トリミング枠の設定では、第１トリミング枠は横長としているが、第１トリミング枠が横長か縦長かを最初にユーザーが選択するようにしてもよい。更には顔や被写体を認識してその配置から自動的に横長か縦長かを選択するようにしてもよい。
【００９６】
なお、上記の説明においては、第２トリミング枠設定部１２は、第１トリミング枠設定部１１により第１画像に対して設定された第１トリミング枠の条件と同じ条件となるように、第２画像に対して第２トリミング枠を設定するものとして説明した。しかし、本実施形態は、これに限られるものではなく、第２トリミング枠設定部１２は、第１画像に対して設定された第１トリミング枠の条件と同じ条件となるように、第２画像に対して第２トリミング枠を設定してもよい。
【００９７】
たとえば、第１トリミング枠で既にトリミングされている第１画像がある場合、第２トリミング枠設定部１２は、第１画像に対して設定された第１トリミング枠の条件と同じ条件となるように、第２画像に対して第２トリミング枠を設定してもよい。
【００９８】
また、この第１トリミング枠で既にトリミングされている第１画像とは、実際には第１トリミング枠でトリミングされておらず、撮影されたままであってもよい。この場合、第２トリミング枠設定部１２は、たとえば、第１トリミング枠は、第１画像全体に対応する枠であるとみなして、この第１画像に対して設定された第１トリミング枠の条件と同じ条件となるように、第２画像に対して第２トリミング枠を設定する。
【００９９】
この場合でも、第２トリミング枠設定部１２は、第１画像における被写体の画面内における位置が同じとなるように、第２画像をトリミングすることができる。そのために、第２トリミング枠設定部１２を備える画像処理装置は、第１画像における被写体に対してのトリミングにあわせて、第２画像にも同様のトリミングすることができる。
【０１００】
なお、上述した第２トリミング枠設定部１２は、顔認識技術、または、色に基づいた被写体の検出技術により、画像内の被写体を検出している。このように、顔認識技術、または、色に基づいた被写体の検出技術により、画像内の被写体を検出する構成を、顔認識部または画像認識部という構成として、マイクロコンピュータ１または撮像装置が備えるようにしてもよい。そして、第２トリミング枠設定部１２は、顔認識部または画像認識部という構成により、顔認識技術、または、色に基づいた被写体の検出技術により、画像内の被写体を検出してもよい。
【０１０１】
なお、上記の実施形態の説明においては、第２画像（類似画像）は、ユーザーにより選択されるものとして説明したが、これに限られるものではない。たとえば、第２トリミング枠設定部１２は、ユーザーにより選択された第１画像に類似する第２画像を、画像が記憶されている記憶部（たとえば、メモリカード７２）から選択し、当該選択した画像を、第２画像として、上述した処理を実行するようにしてもよい。このようにすることにより、ユーザーは、トリミングの対象とする画像を選択することなしに、第１画像と同様に第２画像に対して、トリミングすることができる。
【０１０２】
なお、この第１画像に類似する第２画像の選択において、第２トリミング枠設定部１２は、上述した顔数による判定以外にも、第１画像と第２画像との撮影時刻が連続している画像、または、撮影モードなどの撮影条件が同様に画像を、類似画像とするようにしてもよい。これらの撮影時間および撮影モードなどの撮影条件は、たとえば、画像が撮像される場合に、撮像装置により画像に付加される情報である。
【０１０３】
なお、上記に図１から図１４を用いて説明した実施形態においては、画像処理装置を撮像装置が有する場合について説明したが、これに限られるものではなく、画像処理装置としての機能をコンピュータ上で実現するようにしてもよい。すなわち、図１における画像処理装置が有する第１トリミング枠設定部１１、第２トリミング枠設定部１２、トリミング部１３、および、制御部１４という各構成は、専用のハードウェアにより実現されるものであってもよく、また、この各構成はメモリーおよびＣＰＵ（中央演算装置）により構成され、この各構成の機能を実現するためのプログラムをメモリーにロードして実行することによりその機能を実現させるものであってもよい。
【０１０４】
また、図１における画像処理装置が有する各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像処理装置としての機能を実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【０１０５】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【符号の説明】
【０１０６】
１１…第１トリミング枠設定部、１２…第２トリミング枠設定部
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置および画像処理プログラムに関する。
【背景技術】
【０００２】
電子カメラなどで撮影した画像をトリミングし、新たな画像を作成して保存することや、トリミング範囲からプリントを作成することが行われている。なお、認識された顔にあわせてトリミングする技術が、知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２６７４５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、日常の撮影では同じ被写体・同じシーンで複数枚撮影をする場合、それらの画像においては画面内での被写体の大きさや位置が微妙に異なることが多い。それは、ユーザーが、被写体とカメラとの距離を変化させたり、ズーミングを変化させたり、構図を変化させたりして、撮影するからである。
【０００５】
このような一連の撮影画像からベストなものを１画像だけ選択してトリミングする場合は問題ないが、被写体の表情が異なっているため複数画像を選択して保存したり、プリントを作成することも多い。このときに、それぞれの画像に対して個々に考えながら自分の好みに合ったようにトリミングしたい場合は良いが、第一画像で自分の好みに合ったようにトリミングを行なったら、第二画像以降は、「被写体に対して第一画像とだいたい同じようにトリミングできればよい」ということも多い。
【０００６】
しかしながら、現状でカメラ内蔵のトリミング装置や、パソコン上で使用される画像編集ソフトウェアーでは、各画像ごとにトリミングを行なわなければならないという問題がある。ユーザーにとってトリミング操作は、画像を写真として完成させる創造的なプロセスではあるが、ほぼ同様の画像に対してトリミング操作を複数回繰返さなければならないことは、時間的にも心理的にも大きな負担となっている。
【０００７】
本発明は、このような事情に鑑みてなされたもので、その目的は、第１画像における被写体に対してのトリミングにあわせて、第２画像にも同様のトリミングすることができる画像処理装置、撮像装置および画像処理プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
この発明は上述した課題を解決するためになされたもので、第１画像に対して設定された第１トリミング枠の条件と同じ条件となるように、第２画像に対して第２トリミング枠を設定する第２トリミング枠設定部、を備えることを特徴とする画像処理装置である。
【０００９】
また、この発明は、上記に記載の画像処理装置、を備えることを特徴とする撮像装置である。
【００１０】
また、この発明は、画像処理装置としてのコンピュータに、第１画像に対して設定された第１トリミング枠の条件と同じ条件となるように、第２画像に対して第２トリミング枠を設定する第２トリミング枠設定手順、を実行させるための画像処理プログラムである。
【発明の効果】
【００１１】
この発明によれば、第１画像における被写体に対してのトリミングにあわせて、第２画像にも同様のトリミングすることができるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】この発明の一実施形態による画像処理装置を有する撮像装置の構成を示すブロック図である。
【図２】総合メニューで「画像編集」を選択する操作の図である。
【図３】画像編集メニューで「トリミング」を選択する操作の図である。
【図４】トリミング操作で、対象画像を指定する操作の図である。
【図５】トリミングの縦横比を決めるためにプリントサイズを指定する操作の図である。
【図６】選択画像に対してトリミング枠を操作する図である。
【図７】類似画像に対して自動トリミングを行なうかどうかを選択する操作の図である。
【図８】自動トリミングを初めのトリミング枠と同じ縦横比とするかどうかを選択する操作の図である。
【図９】自動トリミングする対象となる類似画像を選択する操作の図である。
【図１０】自動トリミングで設定されたトリミング枠を確認・変更する操作の図である。
【図１１】第１画像に対してユーザーが設定したトリミング枠の分析を説明する図である。
【図１２】第１画像のトリミング枠分析結果から類似画像に対して自動トリミングをする方法を説明する図である。
【図１３】第１画像のトリミング枠の分析の別の方法を説明する図である。
【図１４】図１の画像処理装置を有する撮像装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、本発明の実施形態について説明する。図１は、この発明の一実施形態による画像処理装置（トリミング装置）を有する撮像装置の構成を示す概略ブロック図である。ここでは、画像処理装置が、マイクロコンピュータ１として構成されている場合について説明する。
【００１４】
撮像装置は、撮像装置が有している各構成を制御するマイクロコンピュータ１と、撮影レンズ３１を用いた撮影における光学系を制御する光学系制御部２と、撮影レンズ３１を介して受光した光信号を電気信号に変換する撮像部３と、ユーザーが操作する操作部４とを有している。また撮像装置は、外部インターフェース５１、画像表示制御部６１、重畳表示制御部６２、モニター６３、ドライバ回路ＤＲ５、撮影情報モニター６４、カードコネクター７１、メモリーカード７２、画像記憶メモリー７３、圧縮／伸長回路７４、メモリー７５、タイマー７６、ドライバ回路ＤＲ６、圧電ブザー７７、電池８１および電池チェック回路８２を有している。
【００１５】
光学系制御部２は、測光装置２１、ドライバ回路ＤＲ２、ドライバ回路ＤＲ３、ドライバ回路ＤＲ４、シャッター部２２、絞り機構部２３およびミラー機構部２４を有している。測光装置２１は被写体の輝度を検出し、検出信号をマイクロコンピュータ１へ送出する。ドライバ回路ＤＲ２は、マイクロコンピュータ１からの指令に応じてシャッター部２２を駆動制御する。シャッター部２２は、シャッター羽根を開閉して光の遮光を行う。ドライバ回路ＤＲ３は、マイクロコンピュータ１からの指令に応じて絞り機構部２３を駆動制御する。絞り機構部２３は、撮影レンズ３１が有する絞りを開閉する。ドライバ回路ＤＲ４は、マイクロコンピュータ１からの指令に応じてミラー機構部２４を駆動制御する。ミラー機構部２４は、不図示のミラーのアップ・ダウンを行う。
【００１６】
撮像部３は、撮影レンズ３１、ＣＣＤ（Charge Coupled Device）等の撮像素子３２、撮像回路３３、ドライバ回路ＤＲ１およびモータＭ１を有している。撮影レンズ３１は、被写体像を撮像素子３２の撮像面上に結像する。撮像回路３３は、Ａ／Ｄ変換回路を含み、撮像素子３２から出力されるアナログ撮像信号をデジタルデータに変換し、変換後の画像データに対して所定の画像処理を行う。この画像処理として、たとえば、γ変換処理やホワイトバランス調整処理などがある。ドライバ回路ＤＲ１は、マイクロコンピュータ１からの指令に応じてモータＭ１を駆動する。モータＭ１は、たとえば、撮影レンズ３１の焦点レンズを光軸方向に進退駆動する。なお、撮影レンズ３１は、撮像装置に固定されて取り付けられていてもよいし、撮像装置に着脱可能となるようにして取り付けられていてもよい。
【００１７】
操作部４は、メインスイッチＳＷ１、レリーズスイッチＳＷ２、取消スイッチＳＷ３、モードスイッチＳＷ４、再生・メニュースイッチＳＷ５、左選択スイッチＳＷ６、右選択スイッチＳＷ７、上選択スイッチＳＷ８、下選択スイッチＳＷ９、確定スイッチＳＷ１０、操作用スイッチＳＷ１１、操作用スイッチＳＷ１２、コマンドダイヤル左回転スイッチＳＷ１３、コマンドダイヤル右回転スイッチＳＷ１４、および、画像削除スイッチＳＷ１５を有している。
【００１８】
メインスイッチＳＷ１は、撮像装置の電源オンまたは電源オフを指示する操作信号を出力する。レリーズスイッチＳＷ２は、レリーズスイッチＳＷ２が半押しされた場合には撮影の開始を示す半押し操作信号を出力し、レリーズスイッチＳＷ２が全押しされた場合には撮影することを示す全押し操作信号を出力する。取消スイッチＳＷ３は、操作取消を示す操作信号を出力する。
【００１９】
モードスイッチＳＷ４は、撮像装置の撮影モードと再生モードとを切替えるための操作信号を出力する。また、モードスイッチＳＷ４は、再生モードにおいて押されたことに応じて、総合メニューモードに切替える操作信号を出力する。再生・メニュースイッチＳＷ５は、再生またはメニューを選択する操作信号を出力する。
【００２０】
左選択スイッチＳＷ６、右選択スイッチＳＷ７、上選択スイッチＳＷ８および下選択スイッチＳＷ９は、それぞれ選択方向を示す操作信号を出力する。以降においては、左選択スイッチＳＷ６および右選択スイッチＳＷ７の組み合わせを左右選択スイッチＳＷ６・７と称し、上選択スイッチＳＷ８および下選択スイッチＳＷ９の組み合わせを上下選択スイッチＳＷ８・９と称して説明する。
【００２１】
確定スイッチＳＷ１０は、操作確定を示す操作信号を出力する。操作用スイッチＳＷ１１は、コマンドダイヤル左回転スイッチＳＷ１３またはコマンドダイヤル右回転スイッチＳＷ１４と組み合わせて用いられ、トリミング枠（後述する第１トリミング枠または第２トリミング枠）を拡大または縮小することを示す操作信号を出力する。
【００２２】
コマンドダイヤル左回転スイッチＳＷ１３またはコマンドダイヤル右回転スイッチＳＷ１４は、順方向にまたは逆方向に順に切り替える操作信号を出力する。この左回転スイッチＳＷ１３またはコマンドダイヤル右回転スイッチＳＷ１４は、たとえば１つの回転スイッチとして構成されている。この回転スイッチが左回転した場合には左回転スイッチＳＷ１３が押された状態となり、回転スイッチが右回転した場合にはコマンドダイヤル右回転スイッチＳＷ１４が押された状態となる。
【００２３】
画像削除スイッチＳＷ１５は、画像を削除することを示す操作信号を出力する。プレビュースイッチＳＷ１６は、画像をプレビューすることを示す操作信号を出力する。
【００２４】
外部インターフェース５１は、撮像装置内のデータをパソコンや別の電子カメラなどの外部機器へ出力（送信）するインターフェース回路である。外部インターフェース５１の一例として、ＲＳ２３２（Recommended Standard 232）、ＵＳＢ（Universal Serial Bus）、ＩＥＥＥ１３９４（Institute of Electrical and Electronic Engineers 1394）などの通信規格がある。
【００２５】
画像表示制御部６１は、マイクロコンピュータ１からの指令によりモニター６３に画像やメニュー画面を表示させる駆動信号を生成して、モニター６３に出力する。重畳表示制御部６２は、マイクロコンピュータ１からの指令により、撮影条件などの文字情報やトリミング枠を、画像表示制御部６１がモニター６３に表示させている画像に重畳して表示させる駆動信号を生成して、モニター６３に出力する。モニター６３は、例えばカラーの液晶ディスプレイであり、画像表示制御部６１および重畳表示制御部６２からの駆動信号に基づいて、画像や操作メニューなどを表示するとともに、撮影条件などの文字情報やトリミング枠を重畳表示する。なおモニター６３として、液晶ディスプレイの代わりにＥＬディスプレイなどを用いてもよい。
【００２６】
ドライバ回路ＤＲ５は、マイクロコンピュータ１からの指令により撮影情報モニター６４に対する駆動信号を生成する。撮影情報モニター６４は、例えば白黒の液晶ディスプレイであり、設定されている露出モードを示す符号もしくはマーク、撮影コマ数などの撮影条件を示す文字情報を表示する。
【００２７】
メモリーカード７２は、カードコネクター７１を介して撮像装置に着脱される記録媒体である。メモリーカード７２には画像データおよびトリミングされた画像データが記録される。画像記憶メモリー７３は、上述した画像処理、後述する圧縮処理および伸長処理の際に一時的に画像データを格納する。圧縮／伸長回路７４は、たとえば、ＪＰＥＧ（Joint Photographic Experts Group）など所定の画像形式で画像データを圧縮処理したり、圧縮された画像データを伸長処理したりする。
【００２８】
メモリー７５は、たとえば、ＲＡＭ（Random Access Memory）領域およびＲＯＭ（Read Only Memory）領域の記憶領域を有している。ＲＡＭ領域は、たとえば、マイクロコンピュータ１の作業領域として利用される。また、ＲＯＭ領域は、撮像装置全体を制御するプログラムが予め記憶されている。マイクロコンピュータ１は、このＲＯＭ領域から読み出したプログラムに基づいて撮像装置全体を制御する。
【００２９】
また、メモリー７５は、トリミング枠情報記憶部７５１を有している。このトリミング枠情報記憶部７５１には、プリントサイズを示す情報と関連付けて、当該プリントサイズの場合のトリミング枠の縦横比を示す情報、または、当該プリントサイズの場合のトリミング枠の初期値としての縦と横とのサイズを示す情報が予め記憶されている。このトリミング枠情報記憶部７５１は、たとえばＲＯＭ領域に含められている。
【００３０】
タイマー７６は、マイクロコンピュータ１によって指定された時間を計時し、タイムアップ信号を出力したり、現在の日時を示す信号を出力したりする。ドライバ回路ＤＲ６は、マイクロコンピュータ１からの指令により圧電ブザー７７に対する駆動信号を生成する。圧電ブザー７７は、入力された駆動信号に応じて、内蔵している圧電素子を振動させてブザー音を出力する。電池８１は、撮像装置内の各部に電力を供給する。電池チェック回路８２は、電池８１が撮像装置に供給する電力を監視し、監視した結果をマイクロコンピュータ１に出力する。
【００３１】
次に、本実施形態による画像処理装置としてのマイクロコンピュータ１について説明する。ここでは、マイクロコンピュータ１の構成において、画像処理装置に関する構成のみについて説明する。このマイクロコンピュータ１は、第１トリミング枠設定部１１、第２トリミング枠設定部１２、トリミング部１３、および、制御部１４を有している。
【００３２】
第１トリミング枠設定部１１は、第１画像に対して第１トリミング枠を設定する。
第２トリミング枠設定部１２は、第１トリミング枠設定部１１により第１画像に対して設定された第１トリミング枠の条件と同じ条件となるように、第２画像に対して第２トリミング枠を設定する。
【００３３】
また、第２トリミング枠設定部１２は、第１画像のうちの被写体と第２画像のうちの被写体とが類似しているか否かを判定し、当該判定した結果が類似である場合に、第１画像に対する第１トリミング枠の条件と同じ条件となるように、第２画像に対して第２トリミング枠を設定する。
【００３４】
また、第２トリミング枠設定部１２は、第１画像のうちの被写体または第２画像のうちの被写体を、第１画像または第２画像に対する顔認識技術、または、色に基づいた被写体の検出技術により検出する。なお、画面内における色に基づいた被写体の検出技術として、たとえば、次の文献による技術が知られている。
【００３５】
（文献） 特開２００９−５９３２６号公報
【００３６】
また、第２トリミング枠設定部１２は、第１画像のうちの被写体に対する第１トリミング枠の画面内における位置を条件として、第２画像に対して第２トリミング枠を設定する。
【００３７】
また、第２トリミング枠設定部１２は、第１画像のうちの被写体に対する第１トリミング枠の画面内における位置の比率を算出し、当該算出した位置の比率を条件として、第２画像に対して第２トリミング枠を設定する。
【００３８】
また、第２トリミング枠設定部１２には、第２画像に対して第２トリミング枠を設定する場合に、第１トリミング枠の縦横比と同じとなるように第２トリミング枠の縦横比を設定するか否かが選択されて設定される。そして、第２トリミング枠設定部１２は、第１トリミング枠の縦横比と同じとなるように第２トリミング枠の縦横比を設定するように選択せれている場合には、第２画像に対して第２トリミング枠を設定する場合に、第１トリミング枠の縦横比と同じとなるように第２トリミング枠を設定する。
【００３９】
また、第２トリミング枠設定部１２は、第１画像に対して設定された第１トリミング枠の条件と同じ条件となるように、第２画像に対して第２トリミング枠を設定する場合に、第２トリミング枠が第２画像の画像領域外に設定される場合には、当該第２トリミング枠を第２画像の画像領域内に設定する。
【００４０】
トリミング部１３は、第１トリミング枠設定部１１により設定された第１トリミング枠に基づいて、第１画像をトリミングする。また、トリミング部１３は、第２トリミング枠設定部１２により設定された第２トリミング枠に基づいて、第２画像をトリミングする。また、トリミング部１３は、トリミングした第１画像または第２画像を、たとえば、カードコネクター７１を介してメモリーカード７２に記録する。
【００４１】
制御部１４は、マイクロコンピュータ１が有している各構成、および、撮像装置が有している各構成を制御する。
【００４２】
次に、図２から図１３の画面図および図１４のフローチャートを用いて、モニター６３に画像を表示して、当該表示した画像に対してユーザーがトリミングする場合における撮像装置が有する画像処理装置の動作について説明する。なお、この図２から図１３の画面図は、撮像装置のモニター６３に表示される画像である。また、下記のステップ番号は、それぞれ、図１４のフローチャートにおけるステップ番号である。また、下記においては、被写体が、顔認識技術により検出される顔ないし人物である場合について説明する。また、後述する類似画像は、上述した第２画像に相当する。
【００４３】
＜1.トリミングのモードに入る＞
まず、ユーザーがモードスイッチSW4（図１参照）を押すと、制御部１４は、撮影モードから再生モードにし、もう一度、ユーザーがモードスイッチSW4（図１参照）押すと、制御部１４は、総合メニューモードにする（図２、ステップS101）。
【００４４】
次に、ユーザーが上下選択スイッチSW8・9で「画像編集」を選択し確定スイッチSW10を押すと、制御部１４は、画像編集メニューに移行する（図３、ステップS103）。
【００４５】
次に、ユーザーが上下選択スイッチSW8・9で「トリミング」を選択し確定スイッチSW10を押すと、制御部１４は、トリミングする対象の画像を選択する画面に移行する（図４、図１４のステップS105）。
【００４６】
＜2.トリミングする画像を選択する＞
次に、ユーザーが上下選択スイッチSW8・9と左右選択スイッチSW6・7とでトリミングする画像を選択して確定スイッチSW10を押すと、制御部１４は、選択した画像を全画面表示すると共に、それに重ねて第１トリミング枠の指定のダイアログを表示する（図５、ステップS107,ステップS109）。
【００４７】
＜3. 第１トリミング枠（縦横比）を選択しトリミングを実行する＞
次に、図５の画面で、ユーザーは、上下選択スイッチSW8・9で、予め定められている複数のプリントサイズの中から、いずれのプリントサイズの縦横比でトリミングするかを指定する。図５では、例として六切に対応する縦横比でトリミングする場合を示しており、ユーザーが、六切を選択して確定スイッチSW10を押すと(ステップS109)、第１トリミング枠設定部１１は、第１トリミング枠を設定する画面に移行する（図６、ステップS111）。
【００４８】
＜第１トリミング枠の拡大縮小・移動＞
図６の画面で第１トリミング枠を操作するには、ユーザーは、左右選択スイッチSW6・7と上下選択スイッチSW8・9で左右と上下の移動を、操作用スイッチSW11を押しながらコマンドダイヤル左回転スイッチSW13または右回転スイッチSW14で第１トリミング枠の拡大・縮小を行なう。ユーザーの操作に応じて、第１トリミング枠設定部１１は、第１トリミング枠を設定する。ユーザーが、第１トリミング枠の設定を終えてから確定スイッチSW10を押すと、制御部１４は、類似画像に対して自動トリミングを行なうか否かを決める画面に移行する（図７、ステップS113）。
【００４９】
＜4.類似画像に対する自動トリミング（１）〜初期設定、類似画像の選択・チェック＞
上記（図７、ステップS113）で、トリミング設定した第１画像と類似する画像に対して、第１画像のトリミングと同様に自動トリミングを行なう場合には、ユーザーは、「類似画像の自動トリミング」を上下選択スイッチSW8・9で選択し確定スイッチSW10を押す。すると、制御部１４は、類似の画像以降の画像の第２トリミング枠について設定する画面に移行する（図８、ステップS115）。
【００５０】
一方、上記（図７、ステップS113）で、類似画像に対して自動トリミングを行なわない場合は、ユーザーは、「単一トリミング」を上下選択スイッチSW8・9で選択し確定スイッチSW10を押す。すると、制御部１４は、後述のステップS141に処理を進める。
【００５１】
次に、上記（図７、ステップS113）で、ユーザーが、「類似画像の自動トリミング」を選択し、制御部１４が、類似の第２画像以降の画像の第２トリミング枠について設定する画面に移行（図８、ステップS115）した場合には、この図８（ステップS115）で、制御部１４は、ユーザーに、類似画像に対しての第２トリミング枠の作成方法を選択させる。
【００５２】
たとえば、類似画像に対しての第２トリミング枠を、第１画像の第１トリミング枠と同じ縦横比としたい場合には、ユーザーは、「初めのトリミング枠と同じ縦横比で自動作成する」を選択し、第１画像の第１トリミング枠と同じ縦横比としなくてもよい場合は、ユーザーは、「縦横比は限定しないで自動作成する」を選択する。
【００５３】
後述のように、類似画像に対して自動トリミングを行なうと、第２トリミング枠の縦横比は、参照する第１画像に対する第１トリミング枠の縦横比と同じになるとは限らない。そのため、制御部１４は、類似画像に対しても、ユーザーがトリミング設定した第１画像のトリミング縦横比と同じトリミングをするか否かを、この図８（ステップS115）で、ユーザーに選択させている。
【００５４】
＜類似画像の選択＞
次に、図８で、ユーザーが、何れかを選択して確定スイッチSW10を押すと、制御部１４は、自動トリミングを行なう類似画像を選択する画面に移行する（図９、ステップS117）。次に、ユーザーは、左右選択スイッチSW6・7と上下選択スイッチSW8・9で左右と上下の移動を行ないながら、自動トリミングをしたい画像を選択して、操作用スイッチSW11を押しながら確定スイッチSW10を押して、１つまたは複数の自動トリミング対象の類自画像を選択する。ユーザーは、選択が終了したら確定スイッチSW10を押す。
【００５５】
＜類似画像の判定＞
次に、第２トリミング枠設定部１２は、ユーザーにより上記のように選択された自動トリミングすべき類似画像が、既にユーザーがトリミング指定した第１画像と類似であるか否かを判定する（ステップS119）。
【００５６】
このステップS119で、第２トリミング枠設定部１２は、類似でないと判定した場合には、その画像の選択を解除すると共に、「類似画像とは認識できない画像の選択を解除しました」というメッセージを表示する。第２トリミング枠設定部１２は、「類似画像とは認識できない画像の選択を解除しました」というメッセージを表示する場合に、たとえば、図９の画面において、画像とともに、メッセージを表示してもよい。ユーザーは、表示されたメッセージを確認して再度確定スイッチSW10を押す（ステップS125,127）。この再度確定スイッチSW10が押されたことに応じて、第２トリミング枠設定部１２は、処理を後述するステップS121に進める。
【００５７】
上述した既にユーザーがトリミング指定した第１画像と類似であるか否かの判定、すなわち、類似画像の判定については、たとえば、第２トリミング枠設定部１２は、第１画像で認識した顔数と、それぞれの指定された類似画像の顔数を比較し（ステップS119）、顔数が異なっている画像があるか否かにより判定する。また、この類似画像の判定は、顔数が同一であることで行なう他、類似画像での各顔の距離と、第１画像での対応する顔距離との差が一定値以内であるか否かを判定することにより、判定してもよい。
【００５８】
上述したステップS119で、第２トリミング枠設定部１２は、類似であると判定された場合には、または、上述したステップS117で確定スイッチSW10が操作されたことに応じて、第２トリミング枠設定部１２は、選択された類似画像に対して、以下に説明するステップS121からステップS139の処理により、第２トリミング枠を生成する。
【００５９】
＜5.類似画像に対する自動トリミング（２）〜第１画像の第１トリミング枠の分析＞
次に、第２画像以降の類似画像に対して自動トリミングを行なうために、第２トリミング枠設定部１２は、まずユーザーが第１画像に対して設定した第１トリミング枠を、次のようにして分析する。
【００６０】
1)図１１に示すように、既知技術である顔認識を行ない、顔領域F1,F2,F3を認識する(ステップS121)。
【００６１】
2) 第１トリミング枠左辺の分析：トリミング画面内で最も左にある認識された顔F1の幅F1Wと、その左端から第１トリミング枠までの距離SLを得て、値（SL÷F1W)を、トリミング左辺を定義する特性値とする(ステップS123)。
【００６２】
3) 第１トリミング枠右辺の分析：トリミング画面内で最も右にある認識された顔F3の幅F3Wと、その右端から第１トリミング枠までの距離SRを得て、値（SR÷F3W)を、トリミング右辺を定義する特性値とする(ステップS123)。
【００６３】
4) 第１トリミング枠上辺の分析：トリミング画面内で最も上にある認識された顔F2の高さF2Hと、その上端から第１トリミング枠までの距離SUを得て、値（SU÷F2H)を、トリミング上辺を定義する特性値とする(ステップS123)。
【００６４】
5) 第１トリミング枠下辺の分析：トリミング画面内で最も下にある認識された顔F3の高さF3Hと、その下端から第１トリミング枠までの距離SBを得て、値（SB÷F3H)を、トリミング下辺を定義する特性値とする(図１２、ステップS123)。
【００６５】
＜6.類似画像に対する自動トリミング（３）〜特性値からの第２トリミング枠作成＞
次に、上記で求めた４つの特性値を用いて、第２トリミング枠設定部１２は、類似画像への自動トリミング設定を、次のようにして行なう(ステップS129)。
【００６６】
1) 自動トリミングを行なう類似画像に対し顔認識を行ない、顔領域F1,F2,F3を認識する。しかしながら、類似画像において認識される顔領域F1,F2,F3は、第１画像の場合とは、その位置や大きさが異なっている可能性がある。
【００６７】
2) 第２トリミング枠左辺の設定：画面内において最も左にある認識された顔F1の幅F1W2と、上記特性値（SL÷F1W)から、次の（式１）により特性値SL2を求め、第２トリミング枠左辺を設定する。
【００６８】
SL2 = F1W2 × (SL÷F1W) ・・・ （式１）
【００６９】
3) 第２トリミング枠右辺の設定：画面内において最も右にある認識された顔F3の幅F3W2と、上記特性値（SR÷F3W)から、次の（式２）により特性値SR2を求め、第２トリミング枠右辺を設定する。
【００７０】
SR2 = F3W2 × (SR÷F3W) ・・・ （式２）
【００７１】
4) 第２トリミング枠上辺の設定：画面内において最も上にある認識された顔F2の高さF2H2と、上記特性値（SU÷F2H)から、次の（式３）により特性値SU2を求め、第２トリミング枠上辺を設定する。
【００７２】
SU2 = F2H2 × (SU÷F2H) ・・・ （式３）
【００７３】
5) 第２トリミング枠下辺の設定：画面内において最も下にある認識された顔F3の高さF3H2と、上記特性値（SB÷F3H)から、次の（式４）により特性値SB2を求め、第２トリミング枠下辺を設定する。
【００７４】
SB2 = F3H2 × (SB÷F3H) ・・・ （式４）
【００７５】
＜7.類似画像に対する自動トリミング（４）〜第２トリミング枠の縦横比の修正＞
次に、第２トリミング枠設定部１２は、上述したステップS115で、自動トリミングで縦横比を保持することが選択されたか否かを判定する。すなわち、第２トリミング枠設定部１２は、上述したステップS115で、「初めのトリミング枠と同じ縦横比で自動作成する」と、「縦横比は限定しないで自動作成する」とのうち、いずれを選択されたかを判定する。「初めのトリミング枠と同じ縦横比で自動作成する」が選択されている場合には、第２トリミング枠設定部１２は、作成した第２トリミング枠を修正する（ステップS131,ステップS133)。
【００７６】
ここでは、前述のように図８で、第２トリミング枠の指定として「初めのトリミング枠と同じ縦横比で自動作成する」を選択しているものとして説明する。この場合、類似画像で作成される第２トリミング枠も第１画像で指定した（図５）のと同様に六切の縦横比にしなければならない。しかしながら、上記のように自動作成した図１２の第２トリミング枠（作成した初期の第２トリミング枠）は、結果的に六切の縦横比よりも横長や縦長になってしまっている可能性もある。この場合、横幅をつめて、六切の縦横比にする方法を以下に説明する（ステップS131,ステップS133)。
【００７７】
まず、第２トリミング枠設定部１２は、上記で自動作成された初期の第２トリミング枠（幅W1・高さH1）の縦横比 (W1÷H1)と、六切の縦横比1.25とを比較し、初期の第２トリミング枠が縦長か横長かを判定する。この場合は横長と判定される。なお、この六切の縦横比は、たとえば、第２トリミング枠設定部１２が、トリミング枠情報記憶部７５１から読み出している。そして、第２トリミング枠設定部１２は、目標となる幅W2を、W2 = H1 × 1.25 により、算出して求める。この場合、左右合計で W1 - W2 だけ縮めてW2にすることになる。
【００７８】
そこで、第２トリミング枠設定部１２は、前期の最左の顔から左のスペースSL2と、最右の顔から右のスペースSR2の割合に応じてつめる量を左右で決めるとすれば、次の（式５）と（式６）により、新たな左右のスペースを求める。この様にして、第２トリミング枠設定部１２は、作成した第２トリミング枠を、修正する。
【００７９】
SL2’ = (W1 - W2) × (SL2 ÷ (SL2 + SR2)) ・・・ （式５）
【００８０】
SR2’ = (W1 - W2) × (SR2 ÷ (SL2 + SR2)) ・・・ （式６）
【００８１】
これとは逆に上下をつめなければならない場合も、第２トリミング枠設定部１２は、同様に縦方向の上下スペースに対して補正をすることで、選択された縦横比となるように、第２トリミング枠を修正することができる。
【００８２】
＜8.類似画像に対する自動トリミング（５）〜第２トリミング枠の４辺を決める別の例＞
上記例では、第２トリミング枠設定部１２は、ステップS131とS133とで、認識された顔の幅・高さをもとに特性値を求め、これとの比が等しくなるように上下左右の顔からのスペースを決めることで、第２トリミング枠を設定した。
この他の方法としては、第２トリミング枠設定部１２は、図１３のように認識された複数の顔の全体の幅(F13W)と高さ(F23H)から上記同様に特性値を求めてもよい。
更には、第２トリミング枠設定部１２は、顔だけに限定せず、距離が顔と所定の範囲内にある部分を被写体と認識し、その幅・高さから特性値を求めてもよい。
【００８３】
＜9.類似画像に対する自動トリミング（６）〜第２トリミング枠が画像終端に至った場合＞
次に、第２トリミング枠設定部１２は、作成した第２トリミング枠が第２画像の画像領域を超えているか否かを判定し、超えている場合には、第２トリミング枠が第２画像の画像領域内となるように、作成した第２トリミング枠を修正する(ステップS135,ステップS137)。
【００８４】
たとえば、上記では、計算どおり第２トリミング枠を設定できたが、場合によっては特性値から計算した上下左右の第２トリミング枠のいずれかの辺が、画像自体から飛出してしまう場合、つまり計算した結果だけのスペースを顔からとれない場合もある。その場合は、第２トリミング枠設定部１２は、画像外端を第２トリミング枠とする(ステップS135,ステップS137)。
【００８５】
このように第２トリミング枠を画像外端に修正した場合、図８で「縦横比は限定しないで自動作成する」を選択している場合は問題ない。しかし、図８で「初めのトリミング枠と同じ縦横比で自動作成する」を選択している場合には、第２トリミング枠設定部１２は、たとえば、図１０での確認画面で「画像スペースが不足していたためトリミング枠の縦横比が変更された」旨のメッセージを表示する。
【００８６】
＜10. 類似画像に対する自動トリミング（７）〜結果の確認・変更、トリミング作業の終了＞
次に、上記により指定した類似画像に、第２トリミング枠が第２トリミング枠設定部１２により設定され、制御部１４は、第２トリミング枠が設定された類似画像を１画像ごとに確認する画面（図１０、ステップS139）に、処理を移行する。
【００８７】
ユーザーは、第２トリミング枠がこのままで良ければ、確定スイッチSW10を押す。ユーザーは、もし、自動生成された第２トリミング枠を変更したい場合は、左右選択スイッチSW6・7と上下選択スイッチSW8・9で左右と上下の移動を、操作用スイッチSW11を押しながらコマンドダイヤル左回転スイッチSW13／右回転スイッチSW14で、第２トリミング枠の拡大・縮小を行なって変更し、確定スイッチSW10を押す。
【００８８】
更に自動トリミング設定をする次の類似画像がある場合は、第２トリミング枠は、次の類似画像に順に進み、同様の操作を行なう。自動トリミング設定した類似画像がなければ、第２トリミング枠は、一連の第２トリミング枠を設定する作業を終了し、次に、トリミング部１３が、それぞれのトリミング枠で元画像を切出して新たなトリミング画像を生成し記録媒体（たとえば、メモリーカード７２）に保存する(ステップS141)。
【００８９】
すなわち、トリミング部１３は、第１トリミング枠で画像を切出してメモリーカード７２のような記録媒体に保存するとともに、第２トリミング枠で類似画像を第２トリミング枠で切出して記録媒体に保存する。その後、制御部１４は、たとえば、処理をステップS101に戻し、総合メニュー表示が復帰される（図２、ステップS143）。
【００９０】
以上説明したように、本実施形態による画像処理装置は以下のような動作を行う。
(1) 第１画像に対してユーザーが第１トリミング枠の指定を行なう。
(2) ユーザーは、被写体に対してのトリミング設定が第１画像とだいたい同じ様にしてトリミングしたい画像（類似画像）を選択し、自動トリミングの実行を指示する。
(3) 画像処理装置の第２トリミング枠設定部１２は、第１画像において、シーン認識・顔認識などにより被写体を認識し、それとユーザーが設定した第１トリミング枠との位置関係を求め、それと同様になるように、ユーザーにより選択された第２以降の画像（類似画像）に対して第２トリミング枠を自動設定する。
(4) ユーザーは、第２以降の画像に対して自動的に設定された第２トリミング枠が適切であるかの確認および修正を行なう。
(5) ユーザーは、第２トリミング枠の確定、画像生成・保管 あるいはプリントを指示する。
(6) 画像処理装置は、上記指示に従い、画像生成、保管あるいはプリントを行なう。
【００９１】
＜効果＞
上述した動作を実行する第２トリミング枠設定部１２という構成を備えることにより、本実施形態による画像処理装置は、次のような効果を奏する。
【００９２】
1.ユーザーは第１画像に対してだけ第１トリミング枠を設定すれば、その画像と類似の一連の画像に対し、被写体と第１トリミング枠の関係を第１画像と同様にして自動で第２トリミング枠が設定されるので、短時間で手間なく効率的にトリミング作業を行なうことができる。
2.自動トリミングの前に、第１画像と同じトリミング縦横比で行なうことを指定できるので、全てのトリミング対象画像に対して同じ縦横比でトリミングができる。
3.自動トリミングの前に、第１画像とは異なるトリミング縦横比で行なうことを指定できるので、各画像に最適なトリミングを行なうことができる。
4.自動トリミングされた第２トリミング枠を確認することと、更に必要に応じて第２トリミング枠を変更することができるので、ユーザーの希望に合ったトリミングを行なえる。
5.自動トリミング実行前に類似画像としてユーザーが選択した画像が、類似画像として扱えるかどうかをチェックするので、ユーザーが誤って第１画像とは類似でない画像を自動トリミング対象として選択しても、自動トリミングが不所望な結果となることを防止できる。
【００９３】
このように、本実施形態による画像処理装置によれば、第１画像に対しての第１トリミング枠は、ユーザーの好み、指向、または、意思により設定される。たとえば、被写体の画面内の位置などが、ユーザーの好み、指向、または、意思により設定される。そして、第１トリミング枠に合わせて、ユーザーの好み、指向、または、意思が反映されて、第１トリミング枠の場合と同様に、第１画像と同様の被写体が撮像されている第２画像に対しても第２トリミング枠が設定される。
【００９４】
このようにして、本実施形態による画像処理装置は、第１画像における被写体に対してのトリミングにあわせて、第２画像にも同様のトリミングすることができるのみならず、ユーザーの好み、指向、または、意思を反映して、第２画像にも同様のトリミングすることができる。また、第１画像における被写体と第２画像における被写体とが類似しているか否かを判定することにより、第１画像における被写体と同様の被写体が撮像されている第２画像に対して、同様にトリミングすることができる。
【００９５】
＜実施形態の応用＞
1.実施形態では顔を認識して、この位置・寸法に基づいてユーザーが設定した第１画像に対する第１トリミング枠を分析し、それをもとに自動トリミングを行なっている。顔を認識する他にも、画像の色・形から被写体領域を認識してこれとユーザーが設定した第１トリミング枠の関係を分析し、これをもとに自動トリミング（第２トリミング枠の設定）をしてもよい。
2.実施形態では本発明のトリミング装置をカメラなどの撮像装置に搭載した例を示したが、この他に、ＰＣで使用する画像編集アプリケーションソフトやプリンターに搭載することも可能で、その場合には操作インターフェースはそれぞれに適した形態で行なえばよい。
3.実施形態の第１画像への第１トリミング枠の設定では、第１トリミング枠は横長としているが、第１トリミング枠が横長か縦長かを最初にユーザーが選択するようにしてもよい。更には顔や被写体を認識してその配置から自動的に横長か縦長かを選択するようにしてもよい。
【００９６】
なお、上記の説明においては、第２トリミング枠設定部１２は、第１トリミング枠設定部１１により第１画像に対して設定された第１トリミング枠の条件と同じ条件となるように、第２画像に対して第２トリミング枠を設定するものとして説明した。しかし、本実施形態は、これに限られるものではなく、第２トリミング枠設定部１２は、第１画像に対して設定された第１トリミング枠の条件と同じ条件となるように、第２画像に対して第２トリミング枠を設定してもよい。
【００９７】
たとえば、第１トリミング枠で既にトリミングされている第１画像がある場合、第２トリミング枠設定部１２は、第１画像に対して設定された第１トリミング枠の条件と同じ条件となるように、第２画像に対して第２トリミング枠を設定してもよい。
【００９８】
また、この第１トリミング枠で既にトリミングされている第１画像とは、実際には第１トリミング枠でトリミングされておらず、撮影されたままであってもよい。この場合、第２トリミング枠設定部１２は、たとえば、第１トリミング枠は、第１画像全体に対応する枠であるとみなして、この第１画像に対して設定された第１トリミング枠の条件と同じ条件となるように、第２画像に対して第２トリミング枠を設定する。
【００９９】
この場合でも、第２トリミング枠設定部１２は、第１画像における被写体の画面内における位置が同じとなるように、第２画像をトリミングすることができる。そのために、第２トリミング枠設定部１２を備える画像処理装置は、第１画像における被写体に対してのトリミングにあわせて、第２画像にも同様のトリミングすることができる。
【０１００】
なお、上述した第２トリミング枠設定部１２は、顔認識技術、または、色に基づいた被写体の検出技術により、画像内の被写体を検出している。このように、顔認識技術、または、色に基づいた被写体の検出技術により、画像内の被写体を検出する構成を、顔認識部または画像認識部という構成として、マイクロコンピュータ１または撮像装置が備えるようにしてもよい。そして、第２トリミング枠設定部１２は、顔認識部または画像認識部という構成により、顔認識技術、または、色に基づいた被写体の検出技術により、画像内の被写体を検出してもよい。
【０１０１】
なお、上記の実施形態の説明においては、第２画像（類似画像）は、ユーザーにより選択されるものとして説明したが、これに限られるものではない。たとえば、第２トリミング枠設定部１２は、ユーザーにより選択された第１画像に類似する第２画像を、画像が記憶されている記憶部（たとえば、メモリカード７２）から選択し、当該選択した画像を、第２画像として、上述した処理を実行するようにしてもよい。このようにすることにより、ユーザーは、トリミングの対象とする画像を選択することなしに、第１画像と同様に第２画像に対して、トリミングすることができる。
【０１０２】
なお、この第１画像に類似する第２画像の選択において、第２トリミング枠設定部１２は、上述した顔数による判定以外にも、第１画像と第２画像との撮影時刻が連続している画像、または、撮影モードなどの撮影条件が同様に画像を、類似画像とするようにしてもよい。これらの撮影時間および撮影モードなどの撮影条件は、たとえば、画像が撮像される場合に、撮像装置により画像に付加される情報である。
【０１０３】
なお、上記に図１から図１４を用いて説明した実施形態においては、画像処理装置を撮像装置が有する場合について説明したが、これに限られるものではなく、画像処理装置としての機能をコンピュータ上で実現するようにしてもよい。すなわち、図１における画像処理装置が有する第１トリミング枠設定部１１、第２トリミング枠設定部１２、トリミング部１３、および、制御部１４という各構成は、専用のハードウェアにより実現されるものであってもよく、また、この各構成はメモリーおよびＣＰＵ（中央演算装置）により構成され、この各構成の機能を実現するためのプログラムをメモリーにロードして実行することによりその機能を実現させるものであってもよい。
【０１０４】
また、図１における画像処理装置が有する各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像処理装置としての機能を実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【０１０５】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【符号の説明】
【０１０６】
１１…第１トリミング枠設定部、１２…第２トリミング枠設定部
【特許請求の範囲】
【請求項１】
第１画像に対して設定された第１トリミング枠の条件と同じ条件となるように、第２画像に対して第２トリミング枠を設定する第２トリミング枠設定部、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１画像に対して前記第１トリミング枠を設定する第１トリミング枠設定部、
を備え、
前記第２トリミング枠設定部は、
前記第１トリミング枠設定部により前記第１画像に対して設定された前記第１トリミング枠の条件と同じ条件となるように、前記第２画像に対して前記第２トリミング枠を設定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２トリミング枠設定部は、
前記第１画像のうちの被写体と前記第２画像のうちの被写体とが類似しているか否かを判定し、当該判定した結果が類似である場合に、前記第１画像に対する前記第１トリミング枠の条件と同じ条件となるように、前記第２画像に対して前記第２トリミング枠を設定する、
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記第２トリミング枠設定部は、
前記第１画像のうちの被写体または前記第２画像のうちの被写体を、前記第１画像または前記第２画像に対する顔認識技術、または、色に基づいた被写体の検出技術により検出する、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第２トリミング枠設定部は、
前記第１画像のうちの被写体に対する前記第１トリミング枠の画面内における位置を前記条件として、前記第２画像に対して前記第２トリミング枠を設定する、
ことを特徴とする請求項３または請求項４に記載の画像処理装置。
【請求項６】
前記第２トリミング枠設定部は、
前記第１画像のうちの被写体に対する前記第１トリミング枠の画面内における位置の比率を算出し、当該算出した位置の比率を前記条件として、前記第２画像に対して前記第２トリミング枠を設定する、
ことを特徴とする請求項１から請求項５のいずれか１項に記載の画像処理装置。
【請求項７】
前記第２トリミング枠設定部には、
前記第２画像に対して前記第２トリミング枠を設定する場合に、前記第１トリミング枠の縦横比と同じとなるように前記第２トリミング枠の縦横比を設定するか否かが選択されて設定される、
ことを特徴とする請求項１から請求項６のいずれか１項に記載の画像処理装置。
【請求項８】
前記第２トリミング枠設定部は、
前記第１トリミング枠の縦横比と同じとなるように前記第２トリミング枠の縦横比を設定するように選択せれている場合には、前記第２画像に対して前記第２トリミング枠を設定する場合に、前記第１トリミング枠の縦横比と同じとなるように前記第２トリミング枠を設定する、
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記第２トリミング枠設定部は、
前記第１画像に対して設定された前記第１トリミング枠の条件と同じ条件となるように、前記第２画像に対して前記第２トリミング枠を設定する場合に、前記第２トリミング枠が前記第２画像の画像領域外に設定される場合には、当該前記第２トリミング枠を前記第２画像の画像領域内に設定する、
ことを特徴とする請求項１から請求項８のいずれかに１項に記載の画像処理装置。
【請求項１０】
請求項１から請求項９のいずれか１項に記載の画像処理装置、
を備えることを特徴とする撮像装置。
【請求項１１】
画像処理装置としてのコンピュータに、
第１画像に対して設定された第１トリミング枠の条件と同じ条件となるように、第２画像に対して第２トリミング枠を設定する第２トリミング枠設定手順、
を実行させるための画像処理プログラム。
【請求項１】
第１画像に対して設定された第１トリミング枠の条件と同じ条件となるように、第２画像に対して第２トリミング枠を設定する第２トリミング枠設定部、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１画像に対して前記第１トリミング枠を設定する第１トリミング枠設定部、
を備え、
前記第２トリミング枠設定部は、
前記第１トリミング枠設定部により前記第１画像に対して設定された前記第１トリミング枠の条件と同じ条件となるように、前記第２画像に対して前記第２トリミング枠を設定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２トリミング枠設定部は、
前記第１画像のうちの被写体と前記第２画像のうちの被写体とが類似しているか否かを判定し、当該判定した結果が類似である場合に、前記第１画像に対する前記第１トリミング枠の条件と同じ条件となるように、前記第２画像に対して前記第２トリミング枠を設定する、
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記第２トリミング枠設定部は、
前記第１画像のうちの被写体または前記第２画像のうちの被写体を、前記第１画像または前記第２画像に対する顔認識技術、または、色に基づいた被写体の検出技術により検出する、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第２トリミング枠設定部は、
前記第１画像のうちの被写体に対する前記第１トリミング枠の画面内における位置を前記条件として、前記第２画像に対して前記第２トリミング枠を設定する、
ことを特徴とする請求項３または請求項４に記載の画像処理装置。
【請求項６】
前記第２トリミング枠設定部は、
前記第１画像のうちの被写体に対する前記第１トリミング枠の画面内における位置の比率を算出し、当該算出した位置の比率を前記条件として、前記第２画像に対して前記第２トリミング枠を設定する、
ことを特徴とする請求項１から請求項５のいずれか１項に記載の画像処理装置。
【請求項７】
前記第２トリミング枠設定部には、
前記第２画像に対して前記第２トリミング枠を設定する場合に、前記第１トリミング枠の縦横比と同じとなるように前記第２トリミング枠の縦横比を設定するか否かが選択されて設定される、
ことを特徴とする請求項１から請求項６のいずれか１項に記載の画像処理装置。
【請求項８】
前記第２トリミング枠設定部は、
前記第１トリミング枠の縦横比と同じとなるように前記第２トリミング枠の縦横比を設定するように選択せれている場合には、前記第２画像に対して前記第２トリミング枠を設定する場合に、前記第１トリミング枠の縦横比と同じとなるように前記第２トリミング枠を設定する、
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記第２トリミング枠設定部は、
前記第１画像に対して設定された前記第１トリミング枠の条件と同じ条件となるように、前記第２画像に対して前記第２トリミング枠を設定する場合に、前記第２トリミング枠が前記第２画像の画像領域外に設定される場合には、当該前記第２トリミング枠を前記第２画像の画像領域内に設定する、
ことを特徴とする請求項１から請求項８のいずれかに１項に記載の画像処理装置。
【請求項１０】
請求項１から請求項９のいずれか１項に記載の画像処理装置、
を備えることを特徴とする撮像装置。
【請求項１１】
画像処理装置としてのコンピュータに、
第１画像に対して設定された第１トリミング枠の条件と同じ条件となるように、第２画像に対して第２トリミング枠を設定する第２トリミング枠設定手順、
を実行させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−１１４４６３（Ｐ２０１１−１１４４６３Ａ）
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願番号】特願２００９−２６７４６４（Ｐ２００９−２６７４６４）
【出願日】平成２１年１１月２５日（２００９．１１．２５）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願日】平成２１年１１月２５日（２００９．１１．２５）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]