画像処理装置、撮像装置、制御方法及びプログラム
【課題】回転処理を行った後の画像において、回転処理を行う前の画像における注目部分の位置と同じ位置に注目部分を表示することができる画像処理装置を提供する。
【解決手段】画像中の注目部分の位置を第１の座標系で特定する情報が記録された画像データの画像処理を行う画像処理装置であって、前記第１の座標系と異なる原点を有する第２の座標系を用いて前記画像データの回転処理を行う画像処理手段と、前記回転処理の前と前記回転処理の後とで、前記注目部分の位置を特定する情報によって特定される注目部分の画像が一致するように、前記回転処理による前記画像データの回転量に応じて前記注目部分の位置を特定する情報を変更する変更手段と、を有することを特徴とする画像処理装置を提供する。
【解決手段】画像中の注目部分の位置を第１の座標系で特定する情報が記録された画像データの画像処理を行う画像処理装置であって、前記第１の座標系と異なる原点を有する第２の座標系を用いて前記画像データの回転処理を行う画像処理手段と、前記回転処理の前と前記回転処理の後とで、前記注目部分の位置を特定する情報によって特定される注目部分の画像が一致するように、前記回転処理による前記画像データの回転量に応じて前記注目部分の位置を特定する情報を変更する変更手段と、を有することを特徴とする画像処理装置を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、制御方法及びプログラムに関する。
【背景技術】
【０００２】
画像処理装置（画像処理アプリケーションソフト）を用いて撮像装置で撮像した画像を再生（表示）する際に、撮像時におけるオートフォーカス（ＡＦ）用の測距枠（以下、「ＡＦ枠」とする）を表示する機能が知られている。例えば、画像のピント確認を容易にするために、被写体への合焦に使用したＡＦ枠（以下、「合焦ＡＦ枠」とする）の位置情報を画像（画像データ）に記録しておき、画像の再生時に、合焦ＡＦ枠を表示する技術が提案されている（特許文献１参照）。かかる技術では、合焦ＡＦ枠内の画像を自動的に拡大して表示させることも可能である。
【０００３】
一方、撮像装置で撮像した画像には、撮像装置の姿勢の影響で水平方向に傾きが生じることがある。そこで、画像処理の１つとして、撮像した画像を回転させることによって傾きを補正する回転処理が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−１２５１７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、画像の回転処理を行った場合、画像に記録されているＡＦ枠の位置情報をそのまま用いて合焦ＡＦ枠を表示させると、回転処理を行った後の画像において、実際の合焦ＡＦ枠の位置からずれた位置に合焦ＡＦ枠が表示されてしまう。
【０００６】
図５を参照して、従来技術における課題を具体的に説明する。図５（ａ）は、水平方向に傾きが生じた画像（即ち、回転処理を行う前の画像）ＩＭ１に合焦ＡＦ枠を表示した場合の表示例を示す図である。図５（ａ）において、９つの矩形形状の枠は、撮像時に選択可能なＡＦ枠ＦＬ１を表し、かかる９つの矩形形状の枠のうち太線の矩形形状の枠は、ＡＦ機能による被写体ＯＢ（の顔）への合焦に使用した合焦ＡＦ枠ＦＬ２を表している。
【０００７】
図５（ｂ）は、図５（ａ）に示す画像ＩＭ１に対して被写体ＯＢが水平になるように回転処理を行った後の画像ＩＭ２に合焦ＡＦ枠を表示した場合の表示例を示す図である。図５（ｂ）において、画像ＩＭ３は、回転処理を行った後の画像ＩＭ２から、回転処理を行う前の画像ＩＭ１にはない画像領域を含まないように、画像ＩＭ２の画像領域に内接する領域を切り出した画像である。回転処理を行った後の画像ＩＭ２における被写体ＯＢの位置は、回転処理を行う前の画像ＩＭ１における被写体ＯＢの位置からずれている。また、ＡＦ枠ＦＬ１や合焦ＡＦ枠ＦＬ２は、画像ＩＭ２から画像ＩＭ３を切り出す際に切り出された位置情報を用いて画像ＩＭ３に表示される。
【０００８】
このように、画像ＩＭ１に記録されている位置情報をそのまま用いてＡＦ枠ＦＬ１や合焦ＡＦ枠ＦＬ２を画像ＩＭ３に表示すると、画像ＩＭ３における被写体ＯＢの顔の位置（実際の合焦ＡＦ枠の位置）からずれた位置に合焦ＡＦ枠ＦＬ２が表示されることになる。
【０００９】
本発明は、このような従来技術の課題に鑑みてなされ、回転処理を行った後の画像において、回転処理を行う前の画像における注目部分の位置と同じ位置に注目部分を表示することができる技術を提供することを例示的目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の一側面としての画像処理装置は、画像中の注目部分の位置を第１の座標系で特定する情報が記録された画像データの画像処理を行う画像処理装置であって、前記第１の座標系と異なる原点を有する第２の座標系を用いて前記画像データの回転処理を行う画像処理手段と、前記回転処理の前と前記回転処理の後とで、前記注目部分の位置を特定する情報によって特定される注目部分の画像が一致するように、前記回転処理による前記画像データの回転量に応じて前記注目部分の位置を特定する情報を変更する変更手段と、を有することを特徴とする。
【００１１】
本発明の更なる目的又はその他の側面は、以下、添付図面を参照して説明される好ましい実施形態によって明らかにされるであろう。
【発明の効果】
【００１２】
本発明によれば、例えば、回転処理を行った後の画像において、回転処理を行う前の画像における注目部分の位置と同じ位置に注目部分を表示する技術を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一側面としての撮像装置を示す概略図である。
【図２】図１に示す撮像装置における画像データの回転処理を説明するためのフローチャートである。
【図３】本実施形態において、図５（ａ）に示す画像に対して被写体が水平になるように回転処理を行った後の画像にＡＦ枠を表示した場合の表示例を示す図である。
【図４】図１に示す撮像装置における表示制御処理を説明するためのフローチャートである。
【図５】従来技術における課題を説明するための図である。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照して、本発明の好適な実施の形態について説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【００１５】
図１は、本発明の一側面としての撮像装置１００を示す概略図である。撮像装置１００は、被写体を撮像する撮像装置であって、本実施形態では、デジタルカメラとして具現化される。また、撮像装置１００は、撮像した画像に対応する画像データを、撮像装置１００に接続された外部記憶装置２００に記録すると共に、外部記憶装置２００に記録された画像データに対応する画像を表示（再生）する。
【００１６】
撮像レンズ１０２は、被写体からの光Ｌを撮像素子１０８の撮像面に結像する（即ち、光学像を形成する）。撮像素子１０８は、ＣＣＤやＣＭＯＳ素子（光電変換素子）などで構成され、撮像レンズ１０２、絞り１０４及びシャッタ１０６を介して形成された光学像を電気信号に変換する。Ａ／Ｄ変換部１１０は、撮像素子１０８から出力されるアナログ信号（アナログデータ）をデジタル信号（デジタルデータ）に変換する。タイミング発生部１１２は、メモリ制御部１１８及びシステム制御部１４２の制御下において、撮像素子１０８、Ａ／Ｄ変換部１１０及びＤ／Ａ変換部１１４にクロック信号や制御信号を供給して、それらの動作を制御する。
【００１７】
画像処理部１１６は、Ａ／Ｄ変換部１１０から入力されるデータ又はメモリ制御部１１８から入力されるデータに対して種々の処理を行う。例えば、画像処理部１１６は、ホワイトバランス処理、色補正処理、回転処理、撮像素子１０８に付着したゴミを検出するゴミ検出処理、かかるゴミを目立たなくするゴミ消し処理などを行う。なお、回転処理は、回転処理の前の画像データの座標系（第１の座標系）と異なる原点を有する座標系（第２の座標系）を用いて画像データを回転させることによって傾きを補正する処理である。
【００１８】
メモリ制御部１１８は、Ａ／Ｄ変換部１１０、タイミング発生部１１２、Ｄ／Ａ変換部１１４、画像処理部１１６、画像表示用メモリ１２０、メモリ１２２及び圧縮／伸張部１２４を制御する。Ａ／Ｄ変換部１１０でＡ／Ｄ変換されたデジタル信号は、画像処理部１１６及びメモリ制御部１１８を介して、或いは、メモリ制御部１１８を介して、画像表示用メモリ１２０又はメモリ１２２に記録される（書き込まれる）。
【００１９】
画像表示用メモリ１２０は、表示部１２６に表示される画像に対応する画像データを記憶する。メモリ１２２は、画像データ（例えば、撮像装置１００で撮像した静止画像データや動画像データ）を記憶するメモリであり、所定数の画像データを記憶することが可能な記憶容量を備える。また、メモリ１２２は、画像処理部１１６やシステム制御部１４２の作業領域として使用することもできる。
【００２０】
圧縮／伸張部１２４は、メモリ１２２から画像データを読み出して圧縮処理を行い、或いは、メモリ１２２から圧縮された画像データを読み出して伸張処理を行い、かかる処理が行われた後の画像データをメモリ１２２に記録する。
【００２１】
表示部１２６は、ＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）やＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などを含み、Ｄ／Ａ変換部１１４を介して、画像表示用メモリ１２０に記憶された画像データに対応する画像を表示する。また、表示部１２６は、撮像装置１００を制御するための各種メニュー画面（例えば、回転処理を設定するためのメニュー画面など）も表示する。これらのメニュー画面の表示やメニュー画面における設定及び選択は、ユーザが操作部１５２を操作することで行われる。
【００２２】
測光センサ１２８は、撮像素子１０８の撮像面と共役に関係付けられた各々の画素の輝度を検出して、システム制御部１４２に入力する。システム制御部１４２では、測光センサ１２８の検出結果に応じた適切な露光量が算出される。露光制御部１３０は、システム制御部１４２で算出された露光量に基づいて、絞り１０４及びシャッタ１０６を制御する。
【００２３】
測距センサ１３２は、ユーザが任意に選択した測距点（ＡＦ枠）の距離情報を検出する。但し、測距点は、ユーザが任意に選択するのではなく、測距センサ１３２の検出結果に基づいて、最短距離の被写体に自動的に合焦するように設定することも可能である。測距制御部１３４は、測距センサ１３２の検出結果に基づいて、撮像レンズ１０２のフォーカシングを制御する。
【００２４】
ズーム制御部１３６は、ユーザが手動で操作した撮像レンズ１０２のズーミング量（焦点距離）を検出する。また、ズーム制御部１３６は、撮像レンズ１０２のズーミングを自動で行う場合には、撮像レンズ１０２のズーミング量を制御する。ストロボ部１３８は、ＡＦ補助光の投光機能やストロボの調光機能を有する。角速度センサ１４０は、撮像装置１００の水平方向及び垂直方向の振れを検出するセンサであって、手振れ補正処理や縦位置撮像／横位置撮像の判定などに用いられる。
【００２５】
システム制御部１４２は、撮像装置１００の全体の動作を制御する。システム制御部１４２は、不揮発性メモリ１４４に格納されたプログラムを実行して、本実施形態の各処理を実行する。不揮発性メモリ１４４は、データを電気的に消去及び記録可能なメモリであって、例えば、ＥＥＰＲＯＭなどを含む。不揮発性メモリ１４４は、システム制御部１４２の動作用の定数やプログラム（後述する種々のフローチャートを実行するためのプログラム）などを格納する。システムメモリ１４６は、例えば、ＲＡＭで構成され、システム制御部１４２の動作用の定数や変数、不揮発性メモリ１４４から読み出したプログラムなどを展開する。
【００２６】
出力部１４８は、システム制御部１４２におけるプログラムの実行に応じて、撮像装置１００の動作状態やメッセージ等を文字や画像で表示する表示素子や音声で出力するスピーカを含む。出力部１４８は、シングルショット／連写撮像表示、タイマ表示、圧縮率表示、記録画素数表示、記録枚数表示、残記録可能枚数表示などを行う。また、出力部１４８は、シャッタスピード表示、絞り値表示、露出補正表示、電池残量表示、エラー表示、外部記憶装置２００の着脱状態表示なども行う。
【００２７】
レリーズボタン１５０は、被写体の撮像を指示するためのボタンであって、第１のスイッチと、第２のスイッチとを含む。第１のスイッチは、レリーズボタン１５０の操作途中（半押し）でＯＮ状態となり、測光処理や測距処理を開始するための信号をシステム制御部１４２に供給する。第２のスイッチは、レリーズボタン１５０の操作完了（全押し）でＯＮ状態となり、露光処理を開始するための信号をシステム制御部１４２に供給する。
【００２８】
操作部１５２は、設定ボタン、選択ボタン、表示部１２６に設けられたタッチパネルなどを含み、ユーザの操作を受け付ける（システム制御部１４２に各種の指示を入力する）機能を有する。操作部１５２は、例えば、シングルショット／連写撮像／セルフタイマの切り替え、シャッタスピード、絞り値、露出補正の設定に使用される。
【００２９】
電源スイッチ１５４は、撮像装置１００の電源状態を電源ＯＮの状態又は電源ＯＦＦの状態に切り替えるためのスイッチである。電源制御部１５６は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路などを含み、電源部１５８における電池の装着の有無、電池の種類、電池の残容量を検出する。また、電源制御部１５６は、電源部１５８における検出結果及びシステム制御部１４２の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、外部記憶装置２００を含む撮像装置１００の各部に供給する。電源部１５８は、アルカリ電池やリチウム電池などの一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池やＬｉ電池などの二次電池、ＡＣアダプターなどを着脱可能に保持して、電圧（直流電圧）を出力する。
【００３０】
外部記憶装置２００は、撮像装置１００に着脱可能な記憶媒体であって、ＣＦ（コンパクトフラッシュ（登録商標））カードやＳＤカードなどを含む。メモリ１２２に一時的に記録された画像データは、最終的に、外部記憶装置２００に記録される。
【００３１】
以下、撮像装置１００の各種処理（動作）について説明する。まず、図２を参照して、外部記憶装置２００に記録された画像データに対応する画像を回転させる、即ち、撮像装置１００における画像データの回転処理について説明する。外部記憶装置２００に記録された画像データは、撮像装置１００によって生成された画像データであっても他の撮像装置によって生成された画像データであってもよい。但し、かかる画像データ（の画像ヘッダ部）には、画像中の注目部分の位置を特定する（第１の座標系で特定する）情報が記録されているものとする。
【００３２】
Ｓ２０２において、システム制御部１４２は、外部記憶装置２００に記録されている画像データを画像表示用メモリ１２０に読み込む。この際、システム制御部１４２は、画像表示用メモリ１２０に読み込んだ画像データに対応する画像を表示部１２６に表示する。表示部１２６に表示される画像は、ユーザの操作（例えば、ユーザが操作部１５２を操作して画像切り替えの指示を入力すること）によって切り替えることが可能である。即ち、画像切り替えの指示が入力されると、システム制御部１４２は、外部記憶装置２００から別の画像データを画像表示用メモリ１２０に読み込み、かかる画像データに対応する画像を表示部１２６に表示する。
【００３３】
Ｓ２０４において、システム制御部１４２は、Ｓ２０２で読み込んだ画像データから、ユーザの操作（例えば、ユーザが操作部１５２を操作して画像選択の指示を入力すること）に応じて、回転処理を行う処理対象の画像データを選択する。
【００３４】
Ｓ２０６において、システム制御部１４２は、画像処理による画像データの回転量（画像の傾きを補正するために必要な画像データの回転量）を決定する。例えば、システム制御部１４２は、ユーザの操作に応じて、画像データの回転量を決定する。この際、システム制御部１４２は、ユーザが入力した回転量に応じて画像データを回転するように画像処理部１１６に指示し、画像処理部１１６によって回転された画像データに対応する画像を表示部１２６に表示する。従って、ユーザは、入力する画像データの回転量を増減させながら表示部１２６に表示される画像を確認し、画像データの回転量を最終的に決定することが可能である。
【００３５】
Ｓ２０８において、システム制御部１４２は、Ｓ２０４で選択した画像データに対してＳ２０６で決定した回転量で回転処理を行うように画像処理部１１６に指示し、画像処理部１１６において画像データの回転処理が行われる。なお、画像データの回転処理は、当業界で周知の回転処理アルゴリズムで実現できるため、ここでの詳細な説明は省略する。
【００３６】
Ｓ２１０において、システム制御部１４２は、Ｓ２０４で選択された画像データから画像中の注目部分の位置を特定する情報を取得する。ここで、注目部分は、例えば、オートフォーカス用の測距枠（ＡＦ枠）に相当する部分、顔検出処理によって検出された被写体の顔（目、鼻、口等も含む）に相当する部分、ゴミ検出処理によって検出された撮像素子１０８に付着したゴミに相当する部分などである。なお、ＡＦ枠は、画像データを生成する際に選択可能であったＡＦ枠及び画像データを生成する際に被写体への合焦に使用されたＡＦ枠（合焦ＡＦ枠）の少なくとも一方を含む。
【００３７】
Ｓ２１２において、システム制御部１４２は、回転処理（Ｓ２０８）の前後において、注目部分の位置を特定する情報によって特定される注目部分の画像が一致するように、Ｓ２０６で決定した回転量に応じて注目部分の位置を特定する情報を変更する。
【００３８】
Ｓ２１２について具体的に説明する。ここでは、注目部分が画像データを生成する際に選択可能であったＡＦ枠や画像データを生成する際に被写体への合焦に使用された合焦ＡＦ枠である場合について考える。ＡＦ枠は、図５（ａ）及び図５（ｂ）に示したように、一般に、矩形形状を有する。従って、本実施形態では、注目部分、即ち、ＡＦ枠の位置を特定する情報は、ＡＦ枠の位置及び大きさを表すために、ＡＦ枠の矩形形状の４つの頂点のそれぞれの位置を表す４つの座標を含む。なお、ＡＦ枠の位置を特定する情報は、ＡＦ枠内（測距枠内）に含まれる１点（例えば、矩形形状の４つの頂点のうちの１つの頂点や矩形形状の中心点など）の位置を表す１つの座標であってもよい。但し、この場合には、かかる１つの座標を基準として矩形形状を表すための情報が画像データに記録されている必要がある。また、図５（ａ）及び図５（ｂ）に示すように、画像データを生成する際に撮像装置で選択可能であるＡＦ枠として９つのＡＦ枠がある場合には、かかる９つのＡＦ枠のそれぞれについて上述した４つの頂点のそれぞれの位置を表す４つの座標を含むことになる。
【００３９】
システム制御部１４２は、上述した４つの頂点のそれぞれの位置を表す４つの座標を取得し（Ｓ２１０）、画像処理部１１６による画像データの回転処理と同じ処理によって、注目部分の位置を特定する情報である４つの座標を変更する。これにより、回転処理を行った後の画像にＡＦ枠を表示したとしても、実際のＡＦ枠の位置（回転処理を行う前の画像におけるＡＦ枠の位置）にＡＦ枠を表示することが可能となる。
【００４０】
Ｓ２１４において、システム制御部１４２は、Ｓ２１２で変更した注目部分の位置を特定する情報を画像データ（の画像ヘッダ部）に記録する。
【００４１】
なお、本実施形態では、注目部分であるＡＦ枠の位置を特定する情報がＡＦ枠の矩形形状の４つの頂点のそれぞれの位置を表す４つの座標であり、かかる４つの座標のそれぞれがＳ２０６で決定した回転量に応じて変更されて画像データに記録される。従って、回転処理が行われた後の画像にＳ２１４で記録された４つの座標を用いてＡＦ枠を表示すると、図３（ａ）のようになる。図３（ａ）は、図５（ａ）に示す画像ＩＭ１に対して被写体ＯＢが水平になるように回転処理を行った後の画像ＩＭ５にＡＦ枠ＦＬ１及び合焦ＡＦ枠ＦＬ２を表示した場合の表示例を示す図である。図３（ａ）において、画像ＩＭ６は、回転処理を行った後の画像ＩＭ５から、回転処理を行う前の画像ＩＭ１にはない画像領域を含まないように、画像ＩＭ５の画像領域に内接する領域を切り出した画像である。なお、画像を切り出す際には、画像の切り出しに応じて、画像データに記録されている注目部分の位置を特定する情報もシフトさせる。図３（ａ）に示すように、ＡＦ枠ＦＬ１や合焦ＡＦ枠ＦＬ２は、Ｓ２０６で決定された回転量に応じて変更された４つの座標を用いて画像ＩＭ５に表示される。従って、ＡＦ枠ＦＬ１や合焦ＡＦ枠ＦＬ２は、実際の位置（回転処理を行う前の画像におけるＡＦ枠の位置）に、回転量に応じて回転された状態で表示されている。
【００４２】
一方、ＡＦ枠の位置を特定する情報がＡＦ枠内に含まれる１点の位置を表す１つの座標である場合には、かかる１つの座標のみがＳ２０６で決定した回転量に応じて変更されて画像データに記録される。従って、回転処理が行われた後の画像にＳ２１４で記録された１つの座標と、画像データに記録されている１つの座標を基準として矩形形状を表すための情報とを用いてＡＦ枠を表示すると、図３（ｂ）のようになる。図３（ｂ）は、図５（ａ）に示す画像ＩＭ１に対して被写体ＯＢが水平になるように回転処理を行った後の画像ＩＭ７にＡＦ枠ＦＬ１及び合焦ＡＦ枠ＦＬ２を表示した場合の表示例を示す図である。図３（ｂ）において、画像ＩＭ８は、回転処理を行った後の画像ＩＭ７から、回転処理を行う前の画像ＩＭ１にはない画像領域を含まないように、画像ＩＭ７の画像領域に内接する領域を切り出した画像である。図３（ｂ）に示すように、ＡＦ枠ＦＬ１や合焦ＡＦ枠ＦＬ２は、Ｓ２０６で決定された回転量に応じて変更された１つの座標と、１つの座標を基準として矩形形状を表すための情報とを用いて画像ＩＭ７に表示される。従って、ＡＦ枠ＦＬ１や合焦ＡＦ枠ＦＬ２は、実際の位置（回転処理を行う前の画像におけるＡＦ枠の位置）に表示されている。但し、１つの座標を基準として矩形形状を表すための情報は回転処理（回転量）に応じて変更していないため、ＡＦ枠ＦＬ１や合焦ＡＦ枠ＦＬ２は回転されていない状態で画像ＩＭ７に表示され、違和感のある表示となる。そこで、ＡＦ枠も回転させた状態で回転処理を行った後の画像に表示させるために、Ｓ２１６において、システム制御部１４２は、Ｓ２０６で決定した回転量を画像データ（の画像ヘッダ部）に記録する。これにより、Ｓ２０６で決定した回転量に応じてＡＦ枠を回転させて表示することが可能となる。なお、ＡＦ枠の位置を特定する情報がＡＦ枠の矩形形状の４つの頂点のそれぞれの位置を表す４つの座標である場合、上述したように、Ｓ２１４で記録された４つの座標を用いてＡＦ枠を回転させた状態で表示することが可能である。従って、Ｓ２０６で決定した回転量を画像データに記録する、即ち、Ｓ２１６を行う必要はない。
【００４３】
Ｓ２１８において、システム制御部１４２は、Ｓ２１２で変更した注目部分の位置を特定する情報（及びＳ２０６で決定した回転量）が記録された画像データを外部記憶装置２００に記録する。
【００４４】
なお、本実施形態では、外部記憶装置２００に記録されている画像データに対して回転処理を行う場合について説明したが、これに限定されるものではない。例えば、外部記憶装置２００に画像データを記録する前に回転処理を行う構成であってもよい。この場合、角速度センサ１４０の検出結果を用いて画像データの回転量を決定し、上述したように、画像データの回転量に応じて注目部分の位置を特定する情報を変更して画像データに記録する。
【００４５】
次に、図４を参照して、外部記憶装置２００に記憶された画像データを読み込んで、かかる画像データに対応する画像を表示部１２６に表示する、即ち、撮像装置１００における表示制御処理について説明する。
【００４６】
Ｓ４０２において、システム制御部１４２は、外部記憶装置２００に記録されている画像データを画像表示用メモリ１２０に読み込む。
【００４７】
Ｓ４０４において、システム制御部１４２は、画像中の注目部分（例えば、ＡＦ枠）を表示する機能が設定されているか否かを判定する。画像中の注目部分を表示する機能の設定は、ユーザが操作部１５２を操作することで行われる。画像中の注目部分を表示する機能が設定されると、例えば、注目部分表示機能フラグが有効となり、システム制御部１４２は、注目部分表示機能フラグを参照することで、画像中の注目部分を表示する機能が設定されているか否かを判定することができる。画像中の注目部分を表示する機能が設定されている場合には、Ｓ４０６に移行し、画像中の注目部分を表示する機能が設定されていない場合には、Ｓ４１０に移行する。
【００４８】
Ｓ４０６において、システム制御部１４２は、Ｓ４０２で読み込んだ画像データから、注目部分の位置を特定する情報を取得する。この際、画像データの回転量やその他の情報（例えば、１つの座標を基準として矩形形状を表すための情報）が画像データに記録されている場合には、これらも取得する。
【００４９】
Ｓ４０８において、システム制御部１４２は、Ｓ４０６で取得した注目部分の位置を特定する情報に基づいて、注目部分表示用データ（例えば、注目部分である矩形形状のＡＦ枠を示すデータ）を生成して画像データ（の画像イメージ部）に記録する。この際、Ｓ４０６で画像データの回転量やその他の情報も取得している場合には、注目部分の位置を特定する情報、回転量及びその他の情報に基づいて、注目部分表示用データを生成する。
【００５０】
Ｓ４１０において、システム制御部１４２は、表示部１２６に画像を表示する。この際、画像中の注目部分を表示する機能が設定されていない場合には、Ｓ４０２で読み出した画像データに対応する画像をそのまま表示する（即ち、注目部分は表示しない）。一方、画像中の注目部分を表示する機能が設定されている場合には、Ｓ４０２で読み出した画像データに対応する画像を表示すると共に、かかる画像にＳ４０８で記録された注目部分表示用データに対応する注目部分を表示する。この場合、画像データに対して回転処理が行われていたとしても、上述したように、画像データに記録されている注目部分の位置を特定する情報は画像データの回転量に応じて変更されている。従って、図３（ａ）に示したように、回転処理が行われた後の画像に対して、注目部分を、実際の位置に、画像データの回転量に応じて回転させた状態で表示させることができる。
【００５１】
Ｓ４１２において、システム制御部１４２は、Ｓ４１０で表示された画像において、注目部分の画像の拡大が指示されたか否かを判定する。なお、注目部分の画像の拡大の指示は、ユーザが操作部１５２を操作することで行われる。注目部分の画像の拡大が指示されていない場合には、表示制御処理を終了する。一方、注目部分の画像の拡大が指示されている場合には、Ｓ４１４において、システム制御部１４２は、注目部分の画像を拡大して表示する。注目部分の画像を拡大する拡大方法には、当業界で周知のいかなる拡大方法も適用できるため、ここでの詳細な説明は省略する。
【００５２】
なお、注目部分が撮像素子１０８に付着したゴミに相当する部分である場合には、Ｓ４１２においてゴミ消し処理が指示されたか否かを判定し、Ｓ４１４においてゴミ消し処理を行うようにすることも可能である。
【００５３】
このように、本実施形態の撮像装置１００によれば、画像データの回転処理を行う場合に、画像データに記録されている注目部分の位置を特定する情報も画像データの回転量に応じて変更する。これにより、画像処理を行った後の画像において、回転処理を行う前の画像における注目部分の位置と同じ位置に注目部分を表示することができる。
【００５４】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００５５】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。例えば、本実施形態では、撮像装置における画像データの回転処理について説明したが、これに限定されるものではない。例えば、パーソナルコンピュータ（ＰＣ）などの画像処理装置（画像処理アプリケーションソフト）において、本発明を実現することもできる。
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、制御方法及びプログラムに関する。
【背景技術】
【０００２】
画像処理装置（画像処理アプリケーションソフト）を用いて撮像装置で撮像した画像を再生（表示）する際に、撮像時におけるオートフォーカス（ＡＦ）用の測距枠（以下、「ＡＦ枠」とする）を表示する機能が知られている。例えば、画像のピント確認を容易にするために、被写体への合焦に使用したＡＦ枠（以下、「合焦ＡＦ枠」とする）の位置情報を画像（画像データ）に記録しておき、画像の再生時に、合焦ＡＦ枠を表示する技術が提案されている（特許文献１参照）。かかる技術では、合焦ＡＦ枠内の画像を自動的に拡大して表示させることも可能である。
【０００３】
一方、撮像装置で撮像した画像には、撮像装置の姿勢の影響で水平方向に傾きが生じることがある。そこで、画像処理の１つとして、撮像した画像を回転させることによって傾きを補正する回転処理が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−１２５１７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、画像の回転処理を行った場合、画像に記録されているＡＦ枠の位置情報をそのまま用いて合焦ＡＦ枠を表示させると、回転処理を行った後の画像において、実際の合焦ＡＦ枠の位置からずれた位置に合焦ＡＦ枠が表示されてしまう。
【０００６】
図５を参照して、従来技術における課題を具体的に説明する。図５（ａ）は、水平方向に傾きが生じた画像（即ち、回転処理を行う前の画像）ＩＭ１に合焦ＡＦ枠を表示した場合の表示例を示す図である。図５（ａ）において、９つの矩形形状の枠は、撮像時に選択可能なＡＦ枠ＦＬ１を表し、かかる９つの矩形形状の枠のうち太線の矩形形状の枠は、ＡＦ機能による被写体ＯＢ（の顔）への合焦に使用した合焦ＡＦ枠ＦＬ２を表している。
【０００７】
図５（ｂ）は、図５（ａ）に示す画像ＩＭ１に対して被写体ＯＢが水平になるように回転処理を行った後の画像ＩＭ２に合焦ＡＦ枠を表示した場合の表示例を示す図である。図５（ｂ）において、画像ＩＭ３は、回転処理を行った後の画像ＩＭ２から、回転処理を行う前の画像ＩＭ１にはない画像領域を含まないように、画像ＩＭ２の画像領域に内接する領域を切り出した画像である。回転処理を行った後の画像ＩＭ２における被写体ＯＢの位置は、回転処理を行う前の画像ＩＭ１における被写体ＯＢの位置からずれている。また、ＡＦ枠ＦＬ１や合焦ＡＦ枠ＦＬ２は、画像ＩＭ２から画像ＩＭ３を切り出す際に切り出された位置情報を用いて画像ＩＭ３に表示される。
【０００８】
このように、画像ＩＭ１に記録されている位置情報をそのまま用いてＡＦ枠ＦＬ１や合焦ＡＦ枠ＦＬ２を画像ＩＭ３に表示すると、画像ＩＭ３における被写体ＯＢの顔の位置（実際の合焦ＡＦ枠の位置）からずれた位置に合焦ＡＦ枠ＦＬ２が表示されることになる。
【０００９】
本発明は、このような従来技術の課題に鑑みてなされ、回転処理を行った後の画像において、回転処理を行う前の画像における注目部分の位置と同じ位置に注目部分を表示することができる技術を提供することを例示的目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の一側面としての画像処理装置は、画像中の注目部分の位置を第１の座標系で特定する情報が記録された画像データの画像処理を行う画像処理装置であって、前記第１の座標系と異なる原点を有する第２の座標系を用いて前記画像データの回転処理を行う画像処理手段と、前記回転処理の前と前記回転処理の後とで、前記注目部分の位置を特定する情報によって特定される注目部分の画像が一致するように、前記回転処理による前記画像データの回転量に応じて前記注目部分の位置を特定する情報を変更する変更手段と、を有することを特徴とする。
【００１１】
本発明の更なる目的又はその他の側面は、以下、添付図面を参照して説明される好ましい実施形態によって明らかにされるであろう。
【発明の効果】
【００１２】
本発明によれば、例えば、回転処理を行った後の画像において、回転処理を行う前の画像における注目部分の位置と同じ位置に注目部分を表示する技術を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一側面としての撮像装置を示す概略図である。
【図２】図１に示す撮像装置における画像データの回転処理を説明するためのフローチャートである。
【図３】本実施形態において、図５（ａ）に示す画像に対して被写体が水平になるように回転処理を行った後の画像にＡＦ枠を表示した場合の表示例を示す図である。
【図４】図１に示す撮像装置における表示制御処理を説明するためのフローチャートである。
【図５】従来技術における課題を説明するための図である。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照して、本発明の好適な実施の形態について説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【００１５】
図１は、本発明の一側面としての撮像装置１００を示す概略図である。撮像装置１００は、被写体を撮像する撮像装置であって、本実施形態では、デジタルカメラとして具現化される。また、撮像装置１００は、撮像した画像に対応する画像データを、撮像装置１００に接続された外部記憶装置２００に記録すると共に、外部記憶装置２００に記録された画像データに対応する画像を表示（再生）する。
【００１６】
撮像レンズ１０２は、被写体からの光Ｌを撮像素子１０８の撮像面に結像する（即ち、光学像を形成する）。撮像素子１０８は、ＣＣＤやＣＭＯＳ素子（光電変換素子）などで構成され、撮像レンズ１０２、絞り１０４及びシャッタ１０６を介して形成された光学像を電気信号に変換する。Ａ／Ｄ変換部１１０は、撮像素子１０８から出力されるアナログ信号（アナログデータ）をデジタル信号（デジタルデータ）に変換する。タイミング発生部１１２は、メモリ制御部１１８及びシステム制御部１４２の制御下において、撮像素子１０８、Ａ／Ｄ変換部１１０及びＤ／Ａ変換部１１４にクロック信号や制御信号を供給して、それらの動作を制御する。
【００１７】
画像処理部１１６は、Ａ／Ｄ変換部１１０から入力されるデータ又はメモリ制御部１１８から入力されるデータに対して種々の処理を行う。例えば、画像処理部１１６は、ホワイトバランス処理、色補正処理、回転処理、撮像素子１０８に付着したゴミを検出するゴミ検出処理、かかるゴミを目立たなくするゴミ消し処理などを行う。なお、回転処理は、回転処理の前の画像データの座標系（第１の座標系）と異なる原点を有する座標系（第２の座標系）を用いて画像データを回転させることによって傾きを補正する処理である。
【００１８】
メモリ制御部１１８は、Ａ／Ｄ変換部１１０、タイミング発生部１１２、Ｄ／Ａ変換部１１４、画像処理部１１６、画像表示用メモリ１２０、メモリ１２２及び圧縮／伸張部１２４を制御する。Ａ／Ｄ変換部１１０でＡ／Ｄ変換されたデジタル信号は、画像処理部１１６及びメモリ制御部１１８を介して、或いは、メモリ制御部１１８を介して、画像表示用メモリ１２０又はメモリ１２２に記録される（書き込まれる）。
【００１９】
画像表示用メモリ１２０は、表示部１２６に表示される画像に対応する画像データを記憶する。メモリ１２２は、画像データ（例えば、撮像装置１００で撮像した静止画像データや動画像データ）を記憶するメモリであり、所定数の画像データを記憶することが可能な記憶容量を備える。また、メモリ１２２は、画像処理部１１６やシステム制御部１４２の作業領域として使用することもできる。
【００２０】
圧縮／伸張部１２４は、メモリ１２２から画像データを読み出して圧縮処理を行い、或いは、メモリ１２２から圧縮された画像データを読み出して伸張処理を行い、かかる処理が行われた後の画像データをメモリ１２２に記録する。
【００２１】
表示部１２６は、ＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）やＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などを含み、Ｄ／Ａ変換部１１４を介して、画像表示用メモリ１２０に記憶された画像データに対応する画像を表示する。また、表示部１２６は、撮像装置１００を制御するための各種メニュー画面（例えば、回転処理を設定するためのメニュー画面など）も表示する。これらのメニュー画面の表示やメニュー画面における設定及び選択は、ユーザが操作部１５２を操作することで行われる。
【００２２】
測光センサ１２８は、撮像素子１０８の撮像面と共役に関係付けられた各々の画素の輝度を検出して、システム制御部１４２に入力する。システム制御部１４２では、測光センサ１２８の検出結果に応じた適切な露光量が算出される。露光制御部１３０は、システム制御部１４２で算出された露光量に基づいて、絞り１０４及びシャッタ１０６を制御する。
【００２３】
測距センサ１３２は、ユーザが任意に選択した測距点（ＡＦ枠）の距離情報を検出する。但し、測距点は、ユーザが任意に選択するのではなく、測距センサ１３２の検出結果に基づいて、最短距離の被写体に自動的に合焦するように設定することも可能である。測距制御部１３４は、測距センサ１３２の検出結果に基づいて、撮像レンズ１０２のフォーカシングを制御する。
【００２４】
ズーム制御部１３６は、ユーザが手動で操作した撮像レンズ１０２のズーミング量（焦点距離）を検出する。また、ズーム制御部１３６は、撮像レンズ１０２のズーミングを自動で行う場合には、撮像レンズ１０２のズーミング量を制御する。ストロボ部１３８は、ＡＦ補助光の投光機能やストロボの調光機能を有する。角速度センサ１４０は、撮像装置１００の水平方向及び垂直方向の振れを検出するセンサであって、手振れ補正処理や縦位置撮像／横位置撮像の判定などに用いられる。
【００２５】
システム制御部１４２は、撮像装置１００の全体の動作を制御する。システム制御部１４２は、不揮発性メモリ１４４に格納されたプログラムを実行して、本実施形態の各処理を実行する。不揮発性メモリ１４４は、データを電気的に消去及び記録可能なメモリであって、例えば、ＥＥＰＲＯＭなどを含む。不揮発性メモリ１４４は、システム制御部１４２の動作用の定数やプログラム（後述する種々のフローチャートを実行するためのプログラム）などを格納する。システムメモリ１４６は、例えば、ＲＡＭで構成され、システム制御部１４２の動作用の定数や変数、不揮発性メモリ１４４から読み出したプログラムなどを展開する。
【００２６】
出力部１４８は、システム制御部１４２におけるプログラムの実行に応じて、撮像装置１００の動作状態やメッセージ等を文字や画像で表示する表示素子や音声で出力するスピーカを含む。出力部１４８は、シングルショット／連写撮像表示、タイマ表示、圧縮率表示、記録画素数表示、記録枚数表示、残記録可能枚数表示などを行う。また、出力部１４８は、シャッタスピード表示、絞り値表示、露出補正表示、電池残量表示、エラー表示、外部記憶装置２００の着脱状態表示なども行う。
【００２７】
レリーズボタン１５０は、被写体の撮像を指示するためのボタンであって、第１のスイッチと、第２のスイッチとを含む。第１のスイッチは、レリーズボタン１５０の操作途中（半押し）でＯＮ状態となり、測光処理や測距処理を開始するための信号をシステム制御部１４２に供給する。第２のスイッチは、レリーズボタン１５０の操作完了（全押し）でＯＮ状態となり、露光処理を開始するための信号をシステム制御部１４２に供給する。
【００２８】
操作部１５２は、設定ボタン、選択ボタン、表示部１２６に設けられたタッチパネルなどを含み、ユーザの操作を受け付ける（システム制御部１４２に各種の指示を入力する）機能を有する。操作部１５２は、例えば、シングルショット／連写撮像／セルフタイマの切り替え、シャッタスピード、絞り値、露出補正の設定に使用される。
【００２９】
電源スイッチ１５４は、撮像装置１００の電源状態を電源ＯＮの状態又は電源ＯＦＦの状態に切り替えるためのスイッチである。電源制御部１５６は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路などを含み、電源部１５８における電池の装着の有無、電池の種類、電池の残容量を検出する。また、電源制御部１５６は、電源部１５８における検出結果及びシステム制御部１４２の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、外部記憶装置２００を含む撮像装置１００の各部に供給する。電源部１５８は、アルカリ電池やリチウム電池などの一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池やＬｉ電池などの二次電池、ＡＣアダプターなどを着脱可能に保持して、電圧（直流電圧）を出力する。
【００３０】
外部記憶装置２００は、撮像装置１００に着脱可能な記憶媒体であって、ＣＦ（コンパクトフラッシュ（登録商標））カードやＳＤカードなどを含む。メモリ１２２に一時的に記録された画像データは、最終的に、外部記憶装置２００に記録される。
【００３１】
以下、撮像装置１００の各種処理（動作）について説明する。まず、図２を参照して、外部記憶装置２００に記録された画像データに対応する画像を回転させる、即ち、撮像装置１００における画像データの回転処理について説明する。外部記憶装置２００に記録された画像データは、撮像装置１００によって生成された画像データであっても他の撮像装置によって生成された画像データであってもよい。但し、かかる画像データ（の画像ヘッダ部）には、画像中の注目部分の位置を特定する（第１の座標系で特定する）情報が記録されているものとする。
【００３２】
Ｓ２０２において、システム制御部１４２は、外部記憶装置２００に記録されている画像データを画像表示用メモリ１２０に読み込む。この際、システム制御部１４２は、画像表示用メモリ１２０に読み込んだ画像データに対応する画像を表示部１２６に表示する。表示部１２６に表示される画像は、ユーザの操作（例えば、ユーザが操作部１５２を操作して画像切り替えの指示を入力すること）によって切り替えることが可能である。即ち、画像切り替えの指示が入力されると、システム制御部１４２は、外部記憶装置２００から別の画像データを画像表示用メモリ１２０に読み込み、かかる画像データに対応する画像を表示部１２６に表示する。
【００３３】
Ｓ２０４において、システム制御部１４２は、Ｓ２０２で読み込んだ画像データから、ユーザの操作（例えば、ユーザが操作部１５２を操作して画像選択の指示を入力すること）に応じて、回転処理を行う処理対象の画像データを選択する。
【００３４】
Ｓ２０６において、システム制御部１４２は、画像処理による画像データの回転量（画像の傾きを補正するために必要な画像データの回転量）を決定する。例えば、システム制御部１４２は、ユーザの操作に応じて、画像データの回転量を決定する。この際、システム制御部１４２は、ユーザが入力した回転量に応じて画像データを回転するように画像処理部１１６に指示し、画像処理部１１６によって回転された画像データに対応する画像を表示部１２６に表示する。従って、ユーザは、入力する画像データの回転量を増減させながら表示部１２６に表示される画像を確認し、画像データの回転量を最終的に決定することが可能である。
【００３５】
Ｓ２０８において、システム制御部１４２は、Ｓ２０４で選択した画像データに対してＳ２０６で決定した回転量で回転処理を行うように画像処理部１１６に指示し、画像処理部１１６において画像データの回転処理が行われる。なお、画像データの回転処理は、当業界で周知の回転処理アルゴリズムで実現できるため、ここでの詳細な説明は省略する。
【００３６】
Ｓ２１０において、システム制御部１４２は、Ｓ２０４で選択された画像データから画像中の注目部分の位置を特定する情報を取得する。ここで、注目部分は、例えば、オートフォーカス用の測距枠（ＡＦ枠）に相当する部分、顔検出処理によって検出された被写体の顔（目、鼻、口等も含む）に相当する部分、ゴミ検出処理によって検出された撮像素子１０８に付着したゴミに相当する部分などである。なお、ＡＦ枠は、画像データを生成する際に選択可能であったＡＦ枠及び画像データを生成する際に被写体への合焦に使用されたＡＦ枠（合焦ＡＦ枠）の少なくとも一方を含む。
【００３７】
Ｓ２１２において、システム制御部１４２は、回転処理（Ｓ２０８）の前後において、注目部分の位置を特定する情報によって特定される注目部分の画像が一致するように、Ｓ２０６で決定した回転量に応じて注目部分の位置を特定する情報を変更する。
【００３８】
Ｓ２１２について具体的に説明する。ここでは、注目部分が画像データを生成する際に選択可能であったＡＦ枠や画像データを生成する際に被写体への合焦に使用された合焦ＡＦ枠である場合について考える。ＡＦ枠は、図５（ａ）及び図５（ｂ）に示したように、一般に、矩形形状を有する。従って、本実施形態では、注目部分、即ち、ＡＦ枠の位置を特定する情報は、ＡＦ枠の位置及び大きさを表すために、ＡＦ枠の矩形形状の４つの頂点のそれぞれの位置を表す４つの座標を含む。なお、ＡＦ枠の位置を特定する情報は、ＡＦ枠内（測距枠内）に含まれる１点（例えば、矩形形状の４つの頂点のうちの１つの頂点や矩形形状の中心点など）の位置を表す１つの座標であってもよい。但し、この場合には、かかる１つの座標を基準として矩形形状を表すための情報が画像データに記録されている必要がある。また、図５（ａ）及び図５（ｂ）に示すように、画像データを生成する際に撮像装置で選択可能であるＡＦ枠として９つのＡＦ枠がある場合には、かかる９つのＡＦ枠のそれぞれについて上述した４つの頂点のそれぞれの位置を表す４つの座標を含むことになる。
【００３９】
システム制御部１４２は、上述した４つの頂点のそれぞれの位置を表す４つの座標を取得し（Ｓ２１０）、画像処理部１１６による画像データの回転処理と同じ処理によって、注目部分の位置を特定する情報である４つの座標を変更する。これにより、回転処理を行った後の画像にＡＦ枠を表示したとしても、実際のＡＦ枠の位置（回転処理を行う前の画像におけるＡＦ枠の位置）にＡＦ枠を表示することが可能となる。
【００４０】
Ｓ２１４において、システム制御部１４２は、Ｓ２１２で変更した注目部分の位置を特定する情報を画像データ（の画像ヘッダ部）に記録する。
【００４１】
なお、本実施形態では、注目部分であるＡＦ枠の位置を特定する情報がＡＦ枠の矩形形状の４つの頂点のそれぞれの位置を表す４つの座標であり、かかる４つの座標のそれぞれがＳ２０６で決定した回転量に応じて変更されて画像データに記録される。従って、回転処理が行われた後の画像にＳ２１４で記録された４つの座標を用いてＡＦ枠を表示すると、図３（ａ）のようになる。図３（ａ）は、図５（ａ）に示す画像ＩＭ１に対して被写体ＯＢが水平になるように回転処理を行った後の画像ＩＭ５にＡＦ枠ＦＬ１及び合焦ＡＦ枠ＦＬ２を表示した場合の表示例を示す図である。図３（ａ）において、画像ＩＭ６は、回転処理を行った後の画像ＩＭ５から、回転処理を行う前の画像ＩＭ１にはない画像領域を含まないように、画像ＩＭ５の画像領域に内接する領域を切り出した画像である。なお、画像を切り出す際には、画像の切り出しに応じて、画像データに記録されている注目部分の位置を特定する情報もシフトさせる。図３（ａ）に示すように、ＡＦ枠ＦＬ１や合焦ＡＦ枠ＦＬ２は、Ｓ２０６で決定された回転量に応じて変更された４つの座標を用いて画像ＩＭ５に表示される。従って、ＡＦ枠ＦＬ１や合焦ＡＦ枠ＦＬ２は、実際の位置（回転処理を行う前の画像におけるＡＦ枠の位置）に、回転量に応じて回転された状態で表示されている。
【００４２】
一方、ＡＦ枠の位置を特定する情報がＡＦ枠内に含まれる１点の位置を表す１つの座標である場合には、かかる１つの座標のみがＳ２０６で決定した回転量に応じて変更されて画像データに記録される。従って、回転処理が行われた後の画像にＳ２１４で記録された１つの座標と、画像データに記録されている１つの座標を基準として矩形形状を表すための情報とを用いてＡＦ枠を表示すると、図３（ｂ）のようになる。図３（ｂ）は、図５（ａ）に示す画像ＩＭ１に対して被写体ＯＢが水平になるように回転処理を行った後の画像ＩＭ７にＡＦ枠ＦＬ１及び合焦ＡＦ枠ＦＬ２を表示した場合の表示例を示す図である。図３（ｂ）において、画像ＩＭ８は、回転処理を行った後の画像ＩＭ７から、回転処理を行う前の画像ＩＭ１にはない画像領域を含まないように、画像ＩＭ７の画像領域に内接する領域を切り出した画像である。図３（ｂ）に示すように、ＡＦ枠ＦＬ１や合焦ＡＦ枠ＦＬ２は、Ｓ２０６で決定された回転量に応じて変更された１つの座標と、１つの座標を基準として矩形形状を表すための情報とを用いて画像ＩＭ７に表示される。従って、ＡＦ枠ＦＬ１や合焦ＡＦ枠ＦＬ２は、実際の位置（回転処理を行う前の画像におけるＡＦ枠の位置）に表示されている。但し、１つの座標を基準として矩形形状を表すための情報は回転処理（回転量）に応じて変更していないため、ＡＦ枠ＦＬ１や合焦ＡＦ枠ＦＬ２は回転されていない状態で画像ＩＭ７に表示され、違和感のある表示となる。そこで、ＡＦ枠も回転させた状態で回転処理を行った後の画像に表示させるために、Ｓ２１６において、システム制御部１４２は、Ｓ２０６で決定した回転量を画像データ（の画像ヘッダ部）に記録する。これにより、Ｓ２０６で決定した回転量に応じてＡＦ枠を回転させて表示することが可能となる。なお、ＡＦ枠の位置を特定する情報がＡＦ枠の矩形形状の４つの頂点のそれぞれの位置を表す４つの座標である場合、上述したように、Ｓ２１４で記録された４つの座標を用いてＡＦ枠を回転させた状態で表示することが可能である。従って、Ｓ２０６で決定した回転量を画像データに記録する、即ち、Ｓ２１６を行う必要はない。
【００４３】
Ｓ２１８において、システム制御部１４２は、Ｓ２１２で変更した注目部分の位置を特定する情報（及びＳ２０６で決定した回転量）が記録された画像データを外部記憶装置２００に記録する。
【００４４】
なお、本実施形態では、外部記憶装置２００に記録されている画像データに対して回転処理を行う場合について説明したが、これに限定されるものではない。例えば、外部記憶装置２００に画像データを記録する前に回転処理を行う構成であってもよい。この場合、角速度センサ１４０の検出結果を用いて画像データの回転量を決定し、上述したように、画像データの回転量に応じて注目部分の位置を特定する情報を変更して画像データに記録する。
【００４５】
次に、図４を参照して、外部記憶装置２００に記憶された画像データを読み込んで、かかる画像データに対応する画像を表示部１２６に表示する、即ち、撮像装置１００における表示制御処理について説明する。
【００４６】
Ｓ４０２において、システム制御部１４２は、外部記憶装置２００に記録されている画像データを画像表示用メモリ１２０に読み込む。
【００４７】
Ｓ４０４において、システム制御部１４２は、画像中の注目部分（例えば、ＡＦ枠）を表示する機能が設定されているか否かを判定する。画像中の注目部分を表示する機能の設定は、ユーザが操作部１５２を操作することで行われる。画像中の注目部分を表示する機能が設定されると、例えば、注目部分表示機能フラグが有効となり、システム制御部１４２は、注目部分表示機能フラグを参照することで、画像中の注目部分を表示する機能が設定されているか否かを判定することができる。画像中の注目部分を表示する機能が設定されている場合には、Ｓ４０６に移行し、画像中の注目部分を表示する機能が設定されていない場合には、Ｓ４１０に移行する。
【００４８】
Ｓ４０６において、システム制御部１４２は、Ｓ４０２で読み込んだ画像データから、注目部分の位置を特定する情報を取得する。この際、画像データの回転量やその他の情報（例えば、１つの座標を基準として矩形形状を表すための情報）が画像データに記録されている場合には、これらも取得する。
【００４９】
Ｓ４０８において、システム制御部１４２は、Ｓ４０６で取得した注目部分の位置を特定する情報に基づいて、注目部分表示用データ（例えば、注目部分である矩形形状のＡＦ枠を示すデータ）を生成して画像データ（の画像イメージ部）に記録する。この際、Ｓ４０６で画像データの回転量やその他の情報も取得している場合には、注目部分の位置を特定する情報、回転量及びその他の情報に基づいて、注目部分表示用データを生成する。
【００５０】
Ｓ４１０において、システム制御部１４２は、表示部１２６に画像を表示する。この際、画像中の注目部分を表示する機能が設定されていない場合には、Ｓ４０２で読み出した画像データに対応する画像をそのまま表示する（即ち、注目部分は表示しない）。一方、画像中の注目部分を表示する機能が設定されている場合には、Ｓ４０２で読み出した画像データに対応する画像を表示すると共に、かかる画像にＳ４０８で記録された注目部分表示用データに対応する注目部分を表示する。この場合、画像データに対して回転処理が行われていたとしても、上述したように、画像データに記録されている注目部分の位置を特定する情報は画像データの回転量に応じて変更されている。従って、図３（ａ）に示したように、回転処理が行われた後の画像に対して、注目部分を、実際の位置に、画像データの回転量に応じて回転させた状態で表示させることができる。
【００５１】
Ｓ４１２において、システム制御部１４２は、Ｓ４１０で表示された画像において、注目部分の画像の拡大が指示されたか否かを判定する。なお、注目部分の画像の拡大の指示は、ユーザが操作部１５２を操作することで行われる。注目部分の画像の拡大が指示されていない場合には、表示制御処理を終了する。一方、注目部分の画像の拡大が指示されている場合には、Ｓ４１４において、システム制御部１４２は、注目部分の画像を拡大して表示する。注目部分の画像を拡大する拡大方法には、当業界で周知のいかなる拡大方法も適用できるため、ここでの詳細な説明は省略する。
【００５２】
なお、注目部分が撮像素子１０８に付着したゴミに相当する部分である場合には、Ｓ４１２においてゴミ消し処理が指示されたか否かを判定し、Ｓ４１４においてゴミ消し処理を行うようにすることも可能である。
【００５３】
このように、本実施形態の撮像装置１００によれば、画像データの回転処理を行う場合に、画像データに記録されている注目部分の位置を特定する情報も画像データの回転量に応じて変更する。これにより、画像処理を行った後の画像において、回転処理を行う前の画像における注目部分の位置と同じ位置に注目部分を表示することができる。
【００５４】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００５５】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。例えば、本実施形態では、撮像装置における画像データの回転処理について説明したが、これに限定されるものではない。例えば、パーソナルコンピュータ（ＰＣ）などの画像処理装置（画像処理アプリケーションソフト）において、本発明を実現することもできる。
【特許請求の範囲】
【請求項１】
画像中の注目部分の位置を第１の座標系で特定する情報が記録された画像データの画像処理を行う画像処理装置であって、
前記第１の座標系と異なる原点を有する第２の座標系を用いて前記画像データの回転処理を行う画像処理手段と、
前記回転処理の前と前記回転処理の後とで、前記注目部分の位置を特定する情報によって特定される注目部分の画像が一致するように、前記回転処理による前記画像データの回転量に応じて前記注目部分の位置を特定する情報を変更する変更手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記画像データは、撮像装置によって生成され、
前記注目部分は、前記画像データを生成する際に前記撮像装置で選択可能であったオートフォーカス用の測距枠に相当する部分及び前記画像データを生成する際に前記撮像装置によって被写体への合焦に使用されたオートフォーカス用の測距枠に相当する部分の少なくとも一方を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記測距枠は、矩形形状を有し、
前記注目部分の位置を特定する情報は、前記測距枠の矩形形状の４つの頂点のそれぞれの位置を表す４つの座標を含み、
前記変更手段は、前記第１の座標系における前記４つの座標が前記回転処理の前の画像中で表す位置と前記第２の座標系における前記４つの座標が前記回転処理の後の画像中で表す位置とが一致するように、前記４つの座標を変更することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記回転処理が行われた後の画像データに対応する画像を表示手段に表示する際に、前記変更手段によって変更された前記４つの座標を用いて前記画像に前記測距枠を表示する表示制御手段を更に有することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記測距枠は、矩形形状を有し、
前記注目部分の位置を特定する情報は、前記測距枠内に含まれる１点の位置を表す１つの座標を含み、
前記変更手段は、前記第１の座標系における前記１つの座標が前記回転処理の前の画像中で表す位置と前記第２の座標系における前記１つの座標が前記回転処理の後の画像中で表す位置とが一致するように、前記１つの座標を変更し、
前記回転処理が行われた後の画像データに対応する画像を表示手段に表示する際に、前記変更手段によって変更された前記１つの座標と、前記１つの座標を基準として前記矩形形状を表すための情報とを用いて前記画像に前記測距枠を表示する表示制御手段を更に有することを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記表示制御手段は、前記回転処理による前記画像データの回転量に応じて、前記測距枠を回転させて表示することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記画像データは、撮像装置によって生成され、
前記注目部分は、前記撮像装置の撮像素子に付着したゴミに相当する部分であることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記画像処理手段は、前記回転処理の後の画像データに対して、前記変更手段によって変更された前記注目部分の位置を特定する情報を用いて、前記ゴミを目立たなくするゴミ消し処理を行うことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
被写体を撮像して画像データを生成する撮像手段と、
前記撮像手段で生成された前記画像データの画像処理を行う請求項１乃至８のうちいずれか１項に記載の画像処理装置と、
を有することを特徴とする撮像装置。
【請求項１０】
画像中の注目部分の位置を第１の座標系で特定する情報が記録された画像データの画像処理を行う画像処理装置の制御方法であって、
画像処理手段が、前記第１の座標系と異なる原点を有する第２の座標系を用いて前記画像データの回転処理を行う画像処理ステップと、
変更手段が、前記回転処理の前と前記回転処理の後とで、前記注目部分の位置を特定する情報によって特定される注目部分の画像が一致するように、前記回転処理による前記画像データの回転量に応じて前記注目部分の位置を特定する情報を変更する変更ステップと、
を有することを特徴とする制御方法。
【請求項１１】
請求項１０に記載の制御方法の各ステップをコンピュータに実行させるためのプログラム。
【請求項１】
画像中の注目部分の位置を第１の座標系で特定する情報が記録された画像データの画像処理を行う画像処理装置であって、
前記第１の座標系と異なる原点を有する第２の座標系を用いて前記画像データの回転処理を行う画像処理手段と、
前記回転処理の前と前記回転処理の後とで、前記注目部分の位置を特定する情報によって特定される注目部分の画像が一致するように、前記回転処理による前記画像データの回転量に応じて前記注目部分の位置を特定する情報を変更する変更手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記画像データは、撮像装置によって生成され、
前記注目部分は、前記画像データを生成する際に前記撮像装置で選択可能であったオートフォーカス用の測距枠に相当する部分及び前記画像データを生成する際に前記撮像装置によって被写体への合焦に使用されたオートフォーカス用の測距枠に相当する部分の少なくとも一方を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記測距枠は、矩形形状を有し、
前記注目部分の位置を特定する情報は、前記測距枠の矩形形状の４つの頂点のそれぞれの位置を表す４つの座標を含み、
前記変更手段は、前記第１の座標系における前記４つの座標が前記回転処理の前の画像中で表す位置と前記第２の座標系における前記４つの座標が前記回転処理の後の画像中で表す位置とが一致するように、前記４つの座標を変更することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記回転処理が行われた後の画像データに対応する画像を表示手段に表示する際に、前記変更手段によって変更された前記４つの座標を用いて前記画像に前記測距枠を表示する表示制御手段を更に有することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記測距枠は、矩形形状を有し、
前記注目部分の位置を特定する情報は、前記測距枠内に含まれる１点の位置を表す１つの座標を含み、
前記変更手段は、前記第１の座標系における前記１つの座標が前記回転処理の前の画像中で表す位置と前記第２の座標系における前記１つの座標が前記回転処理の後の画像中で表す位置とが一致するように、前記１つの座標を変更し、
前記回転処理が行われた後の画像データに対応する画像を表示手段に表示する際に、前記変更手段によって変更された前記１つの座標と、前記１つの座標を基準として前記矩形形状を表すための情報とを用いて前記画像に前記測距枠を表示する表示制御手段を更に有することを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記表示制御手段は、前記回転処理による前記画像データの回転量に応じて、前記測距枠を回転させて表示することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記画像データは、撮像装置によって生成され、
前記注目部分は、前記撮像装置の撮像素子に付着したゴミに相当する部分であることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記画像処理手段は、前記回転処理の後の画像データに対して、前記変更手段によって変更された前記注目部分の位置を特定する情報を用いて、前記ゴミを目立たなくするゴミ消し処理を行うことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
被写体を撮像して画像データを生成する撮像手段と、
前記撮像手段で生成された前記画像データの画像処理を行う請求項１乃至８のうちいずれか１項に記載の画像処理装置と、
を有することを特徴とする撮像装置。
【請求項１０】
画像中の注目部分の位置を第１の座標系で特定する情報が記録された画像データの画像処理を行う画像処理装置の制御方法であって、
画像処理手段が、前記第１の座標系と異なる原点を有する第２の座標系を用いて前記画像データの回転処理を行う画像処理ステップと、
変更手段が、前記回転処理の前と前記回転処理の後とで、前記注目部分の位置を特定する情報によって特定される注目部分の画像が一致するように、前記回転処理による前記画像データの回転量に応じて前記注目部分の位置を特定する情報を変更する変更ステップと、
を有することを特徴とする制御方法。
【請求項１１】
請求項１０に記載の制御方法の各ステップをコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−１６６３２１（Ｐ２０１１−１６６３２１Ａ）
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願番号】特願２０１０−２４８３２（Ｐ２０１０−２４８３２）
【出願日】平成２２年２月５日（２０１０．２．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願日】平成２２年２月５日（２０１０．２．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]