撮像装置及びその制御方法
【課題】撮像装置を不自由なく支えながら、画像中に選択領域の指定を行える撮像装置及びその制御方法を提供する。
【解決手段】領域選択指示手段１７０からの指示に従って、撮像手段１１０で得られた画像内に選択領域を生成する領域選択手段１８０を備え、領域選択手段１８０は、生成した選択領域を保持する選択領域保持手段１８１と、撮像画像処理手段１２０から出力される画像の変化に伴って選択領域保持手段１８１が保持する選択領域を補正する選択領域補正手段１８２を有する。
【解決手段】領域選択指示手段１７０からの指示に従って、撮像手段１１０で得られた画像内に選択領域を生成する領域選択手段１８０を備え、領域選択手段１８０は、生成した選択領域を保持する選択領域保持手段１８１と、撮像画像処理手段１２０から出力される画像の変化に伴って選択領域保持手段１８１が保持する選択領域を補正する選択領域補正手段１８２を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、領域選択を伴う操作を行う撮像装置及びその制御方法に関するものである。
【背景技術】
【０００２】
近年、スチルカメラ製品の流れは、従来の銀塩フィルムに光学的に画像を記録する銀塩カメラから、光学的情報を電気信号に変えてデジタルメディアに記録するデジタルカメラになってきている。デジタルカメラでは、撮像画像が電気信号となるため、デジタルメディアに記録するまでの間に、さまざまな画像処理を行うことが容易である。例えば、画像先鋭化処理によってメリハリをつけたり、ザラツキ感を除去したり、より印象的に見える色に変換したりすることが行われている。
【０００３】
このように、画像全体に対する画像処理により、画質を改善する試みは多く行われてきた。しかしながら、最近では、ユーザニーズの変化に画像処理技術の発展と小型化技術の進展とが後押しする形で、撮影画像内の被写体に注目し、その注目部分と他の部分とで異なる処理を行うような例も現れてきている。例えば、人の顔を検出し、顔に合わせて明るさや色を調整する機能は、既にデジタルカメラに搭載され実用化されている。また、非特許文献１では、複数の画像から各々の被写体が最もよく写っているものを切り出し、合成を行っている。
【０００４】
しかしながら、特に人物に対して画像の切り出し（セグメンテーション処理）を行う場合、現状では課題が存在する。色や柄（テクスチャ）といった画像特徴のみからセグメンテーション処理を行うと、顔、手、洋服、パンツ、靴、帽子、そして荷物といったように、本来ひとつの"人物"としてセグメンテーション処理したい領域が、バラバラに抽出されてしまう。このように、画像特徴のみから人物のセグメンテーション処理を自動的に行うのは困難であり、現状の技術で実用に耐えるものはないと思われる。
【０００５】
一方、この課題を克服するため、人間の介入を前提とした画像セグメンテーション手法が、近年注目されてきている。非特許文献２では、被写体の一部と背景の一部を、それぞれ、フリーハンドで描いた幅のある線で指定する。この幅のある線は、それ自体が領域になっており、各々の領域に属する画素について、確実に被写体または背景に属するというヒントを画像セグメンテーション処理に用いることが可能となる。画像は、テクスチャ等の画像特徴によって、１つの被写体が複数の領域に分離されるが、分離された複数の領域を統合して被写体領域とすることができる。こうした領域統合のためのヒントとして、人間の介入を用いるのである。
【０００６】
非特許文献２では、被写体の一部と背景の一部を指定したが、非特許文献３では、被写体を含む領域（文献では矩形領域であるが、原理的には閉領域であれば形状は問わない）を指定する。この手法では、指定した閉領域の外側の領域は、全て背景であるという情報を用いる。多くの場合、非特許文献２に比べて多くの画素が背景として指定されるので、背景領域の画素値の分布を調べることが可能となる。これと指定した閉領域内の画素値の分布とを比較することにより、当該閉領域内の各画素が被写体の可能性が高いのか、背景の可能性が高いのかという情報を算出することができる。非特許文献２および非特許文献３のいずれも、人間の介入を前提としているが、その結果は実用レベルのものである。
【０００７】
以下では、被写体領域の一部の領域或いは背景領域の一部の領域を指定（選択）する操作を、「領域ヒント指示操作」と呼ぶ。
【０００８】
さて、デジタルカメラでの撮影時に、領域ヒント指示操作を行うことを考える。
デジタルカメラでは、撮影前にレンズを通した画像を電子ビューファインダ画面で確認できる機能を持ったものが多い。コンパクトデジタルカメラでは、ほとんどの機種でこの機能の動作が可能であり、また、デジタル一眼レフカメラでも、この機能（ライブビュー）を搭載してきている。
【０００９】
領域ヒント指示操作では、電子ビューファインダ画面に表示された撮影前画像に対して、被写体領域の一部あるいは背景領域の一部を指定することになる。
【００１０】
デジタルカメラの電子ビューファインダ画面に表示された画像に対して、領域指定を行う従来技術としては、例えば、特許文献１と特許文献２がある。どちらもタッチパネルが電子ビューファインダ画面上にあり、その電子ビューファインダ画面上で任意の閉領域（特許文献１）あるいは矩形（特許文献２）を指定するものである。
【００１１】
また、タッチパネルを用いずに、画像内の小領域を指定するものとしては、特許文献３がある。これは、電子ビューファインダ画面に表示された画像の中央付近に小さな枠を表示し、その枠で所望の小領域を指定するものである。
【００１２】
選択領域をユーザにフィードバックさせる機能も重要である。特許文献４と特許文献５では、電子ビューファインダ画面上のタブレットに対し、ユーザがペンを用いて文字や図形を入力すると、あたかも撮像画像に対して直接描画したかのように、電子ビューファインダ画面に入力文字や図形を重畳表示する手法が開示されている。
【００１３】
また、何らかの手段で入力され、電子ビューファインダ画面上に重畳表示された領域を、電子ビューファインダ画面上の画像の変化に応じて変形させる一例が特許文献５に開示されており、手法の開示はないが製品としては非特許文献４が存在する。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開平１１−１３６５６８号公報
【特許文献２】特開２００３−３１９２４４号公報
【特許文献３】特開２００６−２１１５２５号公報
【特許文献４】特開平１０−２８２５０４号公報
【特許文献５】特開２０００−１１３２０８号公報
【非特許文献】
【００１５】
【非特許文献１】Agarwala, A., Dontcheva, M., Agrawala, M., Drucker, S., Colburn, A., Curless, B., Salesin, D., Cohen, M. (2004). "Interactive Digital Photomontage", Proc. ACM Siggraph, ACM Press, pp. 294-302.
【非特許文献２】Boykov, Y., and Jolly, M.-P. 2001. Interactive graph cuts for optimal boundary and region segmentation of objects in N-D images. In Proc. IEEE Int. Conf. on Computer Vision, CD-ROM.
【非特許文献３】C. Rother, V. Kolmogorv, A. Blake,""GrabCut":Interactive Foreground Extraction Using Iterated Graph Cuts," ACM Trans. Graphics (SIGGRAPH '04), vol.23, no.3, pp.309-314, 2004.
【非特許文献４】モーションディテクションエンジン プレスリリース(2004年12月7日)
【発明の概要】
【発明が解決しようとする課題】
【００１６】
しかしながら、特許文献１と特許文献２における領域指定では、タッチパネルを用いている。タッチパネルへの操作は、通常、タッチパネル側（本体）を片手で把持し、もう一方の手の指あるいは手に持ったペンで、タッチパネル上をなぞることで行う。タッチパネルを用いた領域ヒント指示操作では、撮影時にこのような操作を強いられるため、下記の課題が生じる。
【００１７】
一般に、カメラは両手で支えるとより安定して撮影が行えるが、タッチパネルを用いた領域ヒント指示操作では、片手でカメラを支えながら行わなくてはならない。特に、一眼レフカメラのような重量のあるカメラでは、両手で支えることができないということは問題である。
【００１８】
また、両手でカメラを支えることは、シャッターを切るという撮影そのものにとっても重要である。領域ヒント指示操作後に両手でカメラを支えてシャッターを切ることも可能ではあるが、この場合、領域ヒント指示操作後に両手でカメラを持つという追加の動作を行わねばならない。これは、シャッターチャンスを逃すことにもなり、また、写真を撮るという意識が一旦途切れることにより、撮影者のモチベーションが低下することにもなる。
【００１９】
また、足元が不安定な場所での撮影や、手すりにもたれかかるといった無理な姿勢での撮影の場合には、片手で身体を支えるため、片手での操作ができることが望ましいが、タッチパネルを用いると片手での操作ができないため、撮影自体に支障をきたしてしまう。片手でカメラを支えながら撮影する場合、カメラを支えている側の手でシャッターを切ることになる。タッチパネルによる領域ヒント指示操作の場合、タッチパネルを操作する側の手は、必然的にシャッターを切る側の手とは異なる。そのため、いずれか一方の操作は利き手ではない側の手で行わなくてはならず、領域ヒント指示操作あるいはシャッターを切る操作のいずれかに不自由を強いることになる。このように、タッチパネルを用いる場合、状況によって多大な不自由をユーザに強いることになるという課題がある。
【００２０】
さらに、一眼レフカメラの一般的な接眼式のファインダでは、タッチパネルを用いることができないため、タッチパネルを用いた領域ヒント指示操作を行えないという課題がある。
【００２１】
特許文献３の従来技術は、予め定められた電子ビューファインダ画面内の小領域を１つ選択するものであり、任意の位置、大きさ、形状での領域選択が行えないという課題がある。
【００２２】
特許文献４や特許文献５の従来技術は、タッチパネルやペンタブレットを前提とした任意の文字や図形の、電子ビューファインダ画面上の画像への重畳方法であり、そもそも、領域指定方法ではない。しかしながら、重畳される文字や図形の塗りつぶされた部分を領域と見立てれば、領域指定方法として捉えることも可能である。それでも、上述した特許文献１や特許文献２の場合と同様の課題がある。
【００２３】
また、特許文献５や非特許文献４の従来技術は、そもそも、単独では領域指定方法とはなり得ない。
【００２４】
本発明は、このような問題点に鑑みてなされたものであり、撮像装置を不自由なく支えながら、画像中に選択領域の指定を行える撮像装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【００２５】
本発明の撮像装置は、撮像手段と、前記撮像手段で得られた画像を画面に表示する表示手段とを備えた撮像装置であって、領域選択指示手段からの指示に従って、前記画像内に選択領域を生成する領域選択手段と、前記生成した選択領域を保持する選択領域保持手段と、前記画像の変化に伴って前記選択領域保持手段が保持する選択領域を補正する選択領域補正手段とを有する。
また、本発明は、上述した撮像装置による制御方法を含む。
【発明の効果】
【００２６】
本発明によれば、撮像装置を不自由なく支えながら、画像中に選択領域の指定を行うことができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施形態に係る撮像装置の概略構成の一例を示す図である。
【図２】図１に示す画像処理手段における処理動作を説明する図である。
【図３】図１に示す選択領域補正手段における処理動作を説明する図である。
【図４】図１に示す選択領域補正手段で用いるオプティカルフローの一例を示す図である。
【図５】図１に示す選択領域保持手段によって保持されている選択領域画像の様子を示す図である。
【図６】図１に示す選択領域保持手段によって保持されている選択領域画像と撮像画像の様子を示す図である。
【図７】図１に示す選択領域保持手段の様子を示し、領域選択指示手段から領域選択指示を出しながら、撮像装置を図５の状態から下向きにした場合の選択領域を示す図である。
【図８】本発明の変形例１を示し、図１に示す領域選択手段が表示手段に対して出力する画像の一例を示す図である。
【図９】本発明の変形例１を示し、図１に示す領域選択手段が表示手段に対して出力する画像の一例を示す図である。
【図１０】本発明の変形例２を示し、図１に示す領域選択手段が表示手段に対して出力する画像の一例を示す図である。
【図１１】本発明の変形例５を示し、図１に示す領域選択手段が表示手段に対して出力する画像の一例を示す図である。
【図１２】本発明の変形例５に係る撮像装置の概略構成の一例を示す図である。
【図１３】本発明の変形例６に係る撮像装置の概略構成の一例を示す図である。
【図１４】本発明の変形例６を示し、図１３に示す領域選択手段が表示手段に対して出力する画像の一例を示す図である。
【図１５】本発明の変形例６を示し、図１３に示す領域選択手段が表示手段に対して出力する画像の一例を示す図である。
【発明を実施するための形態】
【００２８】
以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。
【００２９】
まず、本発明により可能となる、領域ヒント指示操作の典型的なシナリオを説明する。
ユーザは、撮像装置であるカメラを被写体に向け、領域ヒント指示を開始する。ユーザがカメラのボタンを押すと、電子ビューファインダ画面の中央に設けられた小領域が、初期の領域ヒント領域になる。そして、カメラのボタンを押したまま、カメラを動かして被写体の上をなぞるようにすると、それに従い、あたかも被写体を直接なぞっているかのように、選択済みの領域ヒント領域に新たな領域ヒント領域が追加されていく。この様子は、電子ビューファインダ画面に表示されているため、確認することができる。
【００３０】
ただし、これを実現するためには、選択済みの領域ヒント領域を示す図形を、カメラの動きに応じて被写体上に定位しているように移動させる必要がある。そうしないと、常に画面の中央の小領域しか選択済みの領域ヒント領域とはならないからである。この領域ヒント領域を移動（補正）させる手段が「選択領域補正手段」であり、補正された領域ヒント領域を保持しているのが「選択領域保持手段」である。
【００３１】
以下では、具体的な構成例を用いて、以上の動作を説明する。
図１は、本発明の実施形態に係る撮像装置１００の概略構成の一例を示す図である。
【００３２】
撮像手段１１０は、レンズやイメージセンサー、Ａ／Ｄコンバータ等から成り、光学イメージを電気信号に変換して画像を生成し、後段の処理で用いることができるようにする。
【００３３】
撮像画像処理手段１２０は、撮像手段１１０で得られた画像を処理し、より見やすい、或いは、処理に適した画像に変換する。ここでの処理は、コントラスト強調処理や、先鋭化処理等がある。また、撮像画像処理手段１２０では、撮像手段１１０から出力された画像に対して、何も処理を行わず、そのまま出力しても構わない。ここでは、撮像画像処理手段１２０における具体的な処理の詳細に関しては、その説明を省略する。
【００３４】
なお、撮像手段１１０は、１秒あたり数画面から数十画面程度を連続して撮像しており、撮像画像処理手段１２０も同様な速度で画像を処理し、出力している。以下、特に断りのない限り、撮像画像処理手段１２０が出力する画像を「撮像画像」と呼ぶ。
【００３５】
撮像画像は、表示手段１３０により電子ビューファインダ画面に表示され、ユーザが撮影時に撮像画像を観察することができる。また、撮像画像は、画像処理手段１４０によって処理される。画像処理手段１４０は、画像処理指示手段１５０からの指示に従って処理を行う。
【００３６】
画像処理指示手段１５０は、不図示の画像処理内容を指示する手段や、シャッターボタン等から構成され、画像処理内容と画像処理を行う時期を指示する。例えば、画像処理指示手段１５０は、画像処理内容と「シャッターを"今"切った」という情報を画像処理手段１４０に伝える。画像処理手段１４０は、撮像画像を得て、画像処理内容に指示された処理を施し、画像を出力する。なお、画像処理手段１４０は撮像装置１００の内部にある必要はなく、不図示の通信部を経由して、不図示の画像処理サーバによって処理を行ってもよい。画像処理手段１４０から出力された画像は、画像記憶手段１６０により、ＳＤカード等の記録媒体に記録され、その後、必要に応じて表示手段１３０により表示される。
【００３７】
領域選択指示手段１７０は、領域選択手段１８０に対して、撮像画像処理手段１２０から出力される撮像画像内に選択領域を生成する指示を行う。
【００３８】
領域選択手段１８０は、領域選択指示手段１７０からの指示に従って、撮像画像処理手段１２０から出力される撮像画像内に選択領域を生成する。この領域選択手段１８０は、生成した選択領域を保持する選択領域保持手段１８１と、撮像画像処理手段１２０から出力される撮像画像の変化に伴って選択領域保持手段１８１が保持する選択領域を補正する選択領域補正手段１８２を有する。具体的に、選択領域補正手段１８２は、撮像画像処理手段１２０から出力される撮像画像の変化を検出し、検出した撮像画像の変化に基づいて前記選択領域を補正する。
【００３９】
また、表示手段１３０は、選択領域補正手段１８２により補正された選択領域を、非選択領域から判別可能に電子ビューファインダ画面に表示する。
【００４０】
ここで、画像処理手段１４０の処理例として、特定の人物のみカラーにし、他はモノクロに変換する処理を考える。
図２は、図１に示す画像処理手段１４０における処理動作を説明する図である。
この画像処理手段１４０における処理を行うモードをここでは「領域カラーモード」と呼ぶ。この場合、画像処理手段１４０は、画像処理指示手段１５０から「領域カラーモード」と「シャッターを"今"切った」という情報を受ける。そして、画像処理手段１４０は、撮像画像処理手段１２０から撮像画像（図２（１））を得ると同時に、領域選択手段１８０から黒い太線で描かれた領域情報（図２（２））を得る。
【００４１】
この領域情報（図２（２））は、撮像画像（図２（１））中の、ユーザが特定した人物の領域を示すヒントとなる情報である。画像処理手段１４０は、この領域情報から画像セグメンテーション処理により、人物領域を算出（図２（３））し、算出した人物領域内の画素の色は変更せず、人物領域外の画素はモノクロに変換して出力する（図２（４））。
【００４２】
なお、図２（２）の画像は、わかりやすくするため、領域選択手段１８０が出力する領域（以下、特に断りのない限り「選択領域」と呼ぶ）を、撮像画像に重畳して表している。また図２（１）および図２（４）はカラー画像であり、図２（４）で黒く縁取られた領域（人物領域）の内側はカラー、外側はモノクロである。
【００４３】
なお、画像処理手段１４０の処理内容は、領域カラーモードに限定されるわけでなく、領域情報を必要とする任意の処理でよい。
【００４４】
また、画像処理手段１４０において、画像セグメンテーション処理により、図２（３）で示される人物領域を算出するが、この際の算出方法は、前述の非特許文献２や非特許文献３に述べられているため、ここでは詳述しない。なお、本実施形態で用いる画像セグメンテーション処理は、これらの文献で述べられている手法に限られるわけではなく、任意の手法を用いることができる。
【００４５】
また、領域選択手段１８０は、ユーザが指示する撮像画像上の領域を選択領域として登録する。その際、既に選択領域として登録済みの領域は、撮像画像の移動とともに補正されるが、これは選択領域補正手段１８２によって行われる。
【００４６】
図３は、図１に示す選択領域補正手段１８２における処理動作を説明する図である。
図３において、既に選択済みの領域は黒い太線で示している。図３では、撮像画像上に、領域選択手段１８０によって選択された選択領域を重畳表示している。図３（１）に示す状態から、撮像装置１００本体を下に向けると、撮像画像は上に移動する。このとき、選択領域補正手段１８２は、撮像画像の上への変化に伴って選択領域を同様に上に移動させるように補正する（図３（２））。
【００４７】
選択領域の補正処理の実現には、オプティカルフローを用いる。撮像画像のオプティカルフローを計算すると、図３に示す２枚の撮影画像の場合、図４のようになる。
【００４８】
図４は、図１に示す選択領域補正手段１８２で用いるオプティカルフローの一例を示す図である。
そこで、選択領域補正手段１８２は、この図４に示すオプティカルフローに従い、選択領域を移動・変形させればよい。
【００４９】
具体的には、次のようにする。
ここでは説明を簡単にするため、選択領域は各画素が「選択されている」または「選択されていない」を表す二値画像として保持することにする。以下、特に断りのない限り、この二値画像を「選択領域画像」と呼ぶ。この選択領域画像は、撮像画像処理手段１２０が出力する撮像画像の画像サイズよりも十分に大きなサイズの画像として選択領域保持手段１８１によって保持される。
【００５０】
図５は、図１に示す選択領域保持手段１８１によって保持されている選択領域画像の様子を示す図である。
図５において、黒い太線で表された領域が選択領域を示している。なお、図５では、分かりやすくするため、撮像画像処理手段１２０が出力する撮像画像と重畳して選択領域を表しているが、選択領域画像では、太線で表された領域の画素を「選択されている」値、それ以外の画素を「選択されていない」値として保持している。さらに、選択領域保持手段１８１は、撮像画像と選択領域画像との位置関係も保持する。当該位置関係は、例えば、選択領域画像の中心から撮像画像の中心に向かうベクトル（ｏｆｓＸ，ｏｆｓＹ）と、選択領域画像上での撮像画像の回転角ｏｆｓＡｎｇｌｅを用いる。
【００５１】
図５では、ｏｆｓＸ＝ｏｆｓＹ＝０であり、ｏｆｓＡｎｇｌｅも０である。図５では、細い矢印を選択領域画像の中心を原点とする座標軸、太い矢印を撮像画像の中心を原点とする座標軸として表している。
【００５２】
ここで、撮像装置１００を下に向けると、前述したとおり、撮像画像は、上へ移動する。このときのオプティカルフローは、図４のようになることは既に説明した。そこで、各画素について、図４のオプティカルフローの向きとは逆向きに、撮像画像を移動させる。オプティカルフローは上向きなので、回転角ｏｆｓＡｎｇｌｅおよび水平方向の補正量ｏｆｓＸの増分は０である。垂直方向の補正量ｏｆｓＹは、オプティカルフローの大きさがｏｆＹだとして、−ｏｆＹとなる。
即ち、
新ｏｆｓＸ＝旧ｏｆｓＸ＝０
新ｏｆｓＹ＝旧ｏｆｓＹ−ｏｆＹ＝−ｏｆＹ
新ｏｆｓＡｎｇｌｅ＝旧ｏｆｓＡｎｇｌｅ＝０
となる。
【００５３】
図６は、図１に示す選択領域保持手段１８１によって保持されている選択領域画像と撮像画像の様子を示す図である。なお、ここでは、撮像装置１００を下に向けた例を示したが、左右（ヨー）に向けても、また回転（ロール）させても構わない。また、撮像装置１００の上下左右の移動を伴っても構わない。こうした場合の旧位置関係から新位置関係への補正値は、前記オプティカルフローから前述した例と同様に算出できる。
【００５４】
ユーザに対し、現在どの領域が選択されているのかを提示することは、領域選択をする上で非常に重要である。そこで、図５や図６に示すように、領域選択中は撮像画像に重畳して選択領域を表示してやればよい。これには、選択領域保持手段１８１が保持している選択領域（選択領域画像と、撮像画像と選択領域画像との位置関係）から、撮像画像内に含まれる選択領域を画像化し、撮像画像に重畳してやればよい。この処理は、領域選択手段１８０が行い、表示手段１３０に画像として出力する。表示手段１３０は、この画像を電子ビューファインダ画面に表示する。
【００５５】
ここまでの処理で、選択領域を被写体の移動に合わせて表示することはできる。領域の選択は、領域選択指示手段１７０からの指示により領域選択手段１８０が行う。領域選択指示手段１７０は、撮像装置１００本体に取り付けられたボタンであり、当該ボタンの押下状態或いは当該ボタンの押下状態の変化によって、領域選択手段１８０に対して、選択領域の生成のための処理を行うか否かを指示する。例えば、領域選択指示手段１７０は、当該ボタンを押下している間だけ、領域選択指示を出す。領域選択手段１８０は、領域選択指示手段１７０から領域選択指示があった場合、撮像画像の中央に位置する小領域を新たに選択領域として加える。
【００５６】
図７は、図１に示す選択領域保持手段１８１の様子を示し、領域選択指示手段１７０から領域選択指示を出しながら、撮像装置１００を図５の状態から下向きにした場合の選択領域を示す図である。
【００５７】
以上のような構成により、撮像画像の中心で被写体をなぞるように撮像装置１００を動かすことで、選択領域が被写体上を拡張するように広がっていく。その結果、ユーザは、撮像画像内に自由に選択領域を設定できる。
【００５８】
なお、本実施形態の上述した例では、新たに選択領域として加える小領域は、撮像画像の中央であったが、必ずしも中央でなくてもよい。
【００５９】
また、本実施形態の上述した例では、オプティカルフローを用いたが、撮像画像から、例えば特徴点のような画像特徴を抽出し、特徴点がどのように移動したかを用いてもよい。
【００６０】
また、本実施形態の上述した例では、オプティカルフローを用いたが、撮像装置１００にジャイロセンサ等の姿勢センサが搭載されていれば、この姿勢センサの情報を用いて撮像画像と選択領域画像との位置関係を算出してもよい。
【００６１】
レンズ歪がないと仮定した場合、撮像装置１００の上下方向の画角を２α、縦方向の画素数を２ｈとし、撮像装置１００を下向きに角度θ変えると、移動する前に撮像画像の中央にあった部分は、ｈ ｓｉｎθ／ｓｉｎα ［画素］だけ上に移動する。さらに、被写体との位置計測も可能な６自由度センサが撮像装置１００に搭載されていれば、撮像装置１００の向き（ヨー、ピッチ）や回転（ロール）だけではなく、上下左右への移動に対しても選択領域が補正可能となる。
【００６２】
こうしたセンサを用いた位置計測手法は、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ；仮想現実）やＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ；複合現実）の分野では広く知られた技術であるので、詳細は省略する。
【００６３】
（変形例１）
新たに選択領域として加える小領域（指標）は、ユーザに分かりやすく提示するために、色を変える、或いは、小領域の周辺に装飾を配置するようにしてもよい。このときの電子ビューファインダ画面の様子を図８に２例示す（図８（１）および図８（２））。
図８は、本発明の変形例１を示し、図１に示す領域選択手段１８０が表示手段１３０に対して出力する画像の一例を示す図である。図８（１）および図８（２）には、電子ビューファインダ画面に表示された画像に付された小領域（指標）を、被写体に沿って撮像装置１００を動かすことにより、選択領域を生成する様子が示されている。
【００６４】
また、領域選択指示手段１７０による選択指示が出ていない間も、選択指示を行った場合に選択される小領域を図示してもよい。
図９は、本発明の変形例１を示し、図１に示す領域選択手段１８０が表示手段１３０に対して出力する画像の一例を示す図である。
図９では、選択指示を行った場合に選択される小領域（指標）が電子ビューファインダ画面の中央に表示されているが（図９（１）および図９（２））、選択指示が出ていないために、当該小領域は選択されていない。
【００６５】
即ち、領域選択手段１８０は、図８および図９に示すように、撮像画像処理手段１２０から出力される画像中に固定された所定の範囲である小領域を選択領域に加える、または、前記所定の範囲を選択領域から除外するようにしている。この際、表示手段１３０は、前記所定の範囲を、撮像画像処理手段１２０から出力される画像に重畳して表示する。
【００６６】
（変形例２）
上述した本発明の実施形態の例では、選択領域を追加する場合を示したが、選択した選択領域を除去する機能を追加してもよい。この場合、領域選択指示手段１７０に、選択領域を追加するのか除去するのかを指定する機構を備える。例えば、ビデオカメラのズームボタンのように、一方を押すと追加、他方を押すと除去としてもよいし、不図示のモード切替機構を用いて、追加モード、除去モードと、ボタンの機能を切り替えてもよい。
【００６７】
また、小領域を追加するのか、除去するのかを分かりやすく表示してもよい。
図１０は、本発明の変形例２を示し、図１に示す領域選択手段１８０が表示手段１３０に対して出力する画像の一例を示す図である。図１０には、図１０（１）に小領域を追加する場合、図１０（２）に小領域を除去する場合の表示例を示している。
【００６８】
（変形例３）
上述した本発明の実施形態の例では、選択領域は「選択されている」または「選択されていない」の二値であったが、上述した従来例（非特許文献２）では、前景、背景、その他というように三値が必要である。この場合には、選択領域画像を三値、或いは、さらに多くの値が取れる多値画像として、領域選択手段１８０は、領域選択指示手段１７０から何（前景、背景、等）に対する追加・除去なのかを受け取るようにすればよい。例えば、領域選択指示手段１７０は、何に対する処理なのかを、不図示のモード切替機構を用いて切り替えればよい。
【００６９】
（変形例４）
上述した本発明の実施形態の例では、撮像画像は、選択領域画像内で、上下左右の移動と回転（ピッチ、ヨー、ロール）する場合を考慮したが、さらに、ズームや前後移動を考慮してもよい。この場合、選択領域保持手段１８１が保持する撮像画像と選択領域画像との位置関係は、前記位置関係に加えてズーム倍率を保持すればよい。ここで、ズーム倍率が大きくなると、選択領域画像中での撮像画像領域が小さくなる。逆に、ズーム倍率が小さくなると、選択領域画像中での撮像画像領域が大きくなる。
【００７０】
前後移動に関してもズーム倍率を用いることはできる。被写体に近づいた場合には、ズーム倍率を大きくしたのと同様の現象があり、被写体から遠ざかった場合には、ズーム倍率を小さくしたのと同様の現象がある。
【００７１】
また、ズーム倍率の算出は、上述した本発明の実施形態の例と同様に、オプティカルフローを用いればよい。なお、撮像機構からズーム倍率を取得してもよいし、被写体との距離が計測可能であれば、距離の変化からズーム倍率を計算してもよい。
【００７２】
（変形例５）
上述した本発明の実施形態の例では、撮像画像と選択領域画像との位置関係という、画像同士の位置関係を用いたが、各点がどの位置に移動したかという情報を密に保持し、それを前記位置関係に代えて用いてもよい。このようにすると、各点の移動を用いるため、背景とは独立に被写体が移動したり、姿勢を変えたりしても、それにつれて選択範囲（選択領域）を変形できるという効果がある。この例を図１１に示す。
図１１は、本発明の変形例５を示し、図１に示す領域選択手段１８０が表示手段１３０に対して出力する画像の一例を示す図である。被写体が姿勢を変えると、それに応じて、図１１（１）から図１１（２）に示すように、選択領域を変形させる（選択領域を補正する）。
【００７３】
図１２は、本発明の変形例５に係る撮像装置２００の概略構成の一例を示す図である。
図１２において、図１に示す構成と同様の構成については、同じ符号を付し、その詳細な説明は省略する。
【００７４】
位置姿勢計測手段２１０は、当該撮像装置２００と被写体との相対姿勢を計測する。さらに、位置姿勢計測手段２１０は、当該撮像装置２００と被写体との相対位置を計測する。選択領域補正手段１８２は、位置姿勢計測手段２１０で計測された相対姿勢（および／または相対位置）に基づく撮像画像の変化に伴って選択領域を補正する。
【００７５】
（変形例６）
図１３は、本発明の変形例６に係る撮像装置３００の概略構成の一例を示す図である。図１３において、図１に示す構成と同様の構成については、同じ符号を付し、その詳細な説明は省略する。
【００７６】
上述した例では、小領域を選択領域に追加或いは除去するものであったが、追加或いは除去する領域（追加除外領域）自体をユーザが作成してもよい。これには、図１３に示すように、追加除外領域決定手段３８１を領域選択手段３８０に備えるようにすればよい。
【００７７】
追加除外領域決定手段３８１は、領域選択指示手段１７０からの指示により、追加或いは除外する領域を決定する。追加除外領域決定手段３８１によって追加除外領域が決定され作成されたら、作成と同時に、或いは、別途、領域選択指示手段１７０からの指示により、上述した例と同様に選択領域に対して追加或いは除去すればよい。
【００７８】
例えば、矩形領域であれば、撮像画像処理手段１２０から出力される画像中の所定の位置である対角線上の２点を指示することによって指定可能である。そこで、指定しようとする矩形領域の対角の２点を端点とする線を上述した手法と同様の手法により選択する。この時点で、追加除外領域決定手段３８１は、追加除外領域を設定し、それと同時に選択領域に追加等する。この例を図１４に示す。
【００７９】
図１４は、本発明の変形例６を示し、図１３に示す領域選択手段３８０が表示手段１３０に対して出力する画像の一例を示す図である。具体的に、図１４は、領域選択手段３８０が出力し、表示手段１３０により電子ビューファインダ画面に表示された画像であり、矩形領域の左上から右下に向けて指定を行っている。撮像装置３００を動かしているので、図１４の左上の点は、電子ビューファインダ画面の外である。
【００８０】
また、図１４では、選択された領域を明るく、そうでない部分を暗く表示しているが、このように選択された矩形領域を分かりやすく表示してもよい。即ち、表示手段１３０は、矩形領域に係る追加除外領域を、少なくとも、選択領域または選択領域以外の領域から判別可能に表示してもよい。さらに、左上の点を指定した後、右下の点を指定している最中にも、この段階で選択作業を終了した場合に選択される範囲を分かりやすく表示してもよい。右下の点を確定していない段階では、電子ビューファインダ画面には、図１４と同様の画像が表示されている。
【００８１】
また、矩形ではなく、閉領域を指定してもよい。この例を図１５に示す。
図１５は、本発明の変形例６を示し、図１３に示す領域選択手段３８０が表示手段１３０に対して出力する画像の一例を示す図である。具体的に、図１５は、図１４と同様、領域選択手段３８０が出力し、表示手段１３０により電子ビューファインダ画面に表示された画像であり、選択範囲の上部および左部は、表示範囲の外である。図１５では、選択された領域を明るく、そうでない部分を暗く表示しているが、このように選択された領域を分かりやすく表示してもよい。
【００８２】
さらに閉領域の選択中にも、この段階で選択作業を終了した場合に選択される範囲を分かりやすく表示してもよい。この場合には、閉領域の始点と現在の点を結んだ線も閉領域の境界の一部を形成するとすれば、常に閉領域を指定することが可能となる。
【００８３】
例えば、追加除外領域決定手段３８１は、撮像画像処理手段１２０から出力される画像中の所定の位置である３点以上を指示することにより得られ、前記所定の位置を指示順に結び、さらに、最後に指示した位置と最初に指示した位置とを結ぶことによって得られる閉領域を、追加除外領域とする。
【００８４】
また、例えば、追加除外領域決定手段３８１は、領域選択手段３８０によって現在までに選択された選択領域の位置情報から推定できる追加除外領域を推定追加除外領域として出力する。そして、表示手段１３０は、例えば、前記推定追加除外領域を、少なくとも、選択領域または選択領域以外の領域から判別可能に表示する。
【００８５】
（変形例７）
本発明の変形例７では、選択領域保持手段１８１は、選択領域に加えて、さらに、領域の選択に必要な位置情報を保持する。そして、選択領域補正手段１８２は、さらに、撮像画像処理手段１２０から出力される画像の変化に伴って選択領域保持手段１８１が保持する領域の選択に必要な位置情報を補正する。
そして、領域選択手段１８０（３８０）は、選択領域補正手段１８２で補正された位置情報を用いて、選択領域に追加または除外する領域を決定する。
【００８６】
以上、本発明の実施形態および変形例によれば、撮像装置を不自由なく支えながら、画像中に選択領域の指定を行うことができる。
【００８７】
具体的には、撮像装置を両手で支えながら、画像中に選択領域の指定、即ち、領域ヒント指示を行うことが可能となり、また、片手での領域ヒント指示も可能となる。
また、領域ヒント指示操作或いはシャッターを切る操作のいずれかを、利き手ではない側の手で行わなければならないという不自由を回避することができる。
また、接眼式のファインダを用いる撮像装置においても、画像中に選択領域の指定を行うことができる。
さらに、任意の位置、大きさ、形状での領域選択を行うことができる。
【００８８】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。
即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワークまたは各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記録媒体は、本発明に含まれる。
【００８９】
なお、前述した本発明の実施形態及び変形例は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【産業上の利用可能性】
【００９０】
本発明は、撮影時に領域選択を行う撮像装置及びその制御方法に用いて好適なものである。
【符号の説明】
【００９１】
１００ 撮像装置、１１０ 撮像手段、１２０ 撮像画像処理手段、１３０ 表示手段、１４０ 画像処理手段、１５０ 画像処理指示手段、１６０ 画像記憶手段、１７０ 領域選択指示手段、１８０ 領域選択手段、１８１ 選択領域保持手段、１８２ 選択領域補正手段
【技術分野】
【０００１】
本発明は、領域選択を伴う操作を行う撮像装置及びその制御方法に関するものである。
【背景技術】
【０００２】
近年、スチルカメラ製品の流れは、従来の銀塩フィルムに光学的に画像を記録する銀塩カメラから、光学的情報を電気信号に変えてデジタルメディアに記録するデジタルカメラになってきている。デジタルカメラでは、撮像画像が電気信号となるため、デジタルメディアに記録するまでの間に、さまざまな画像処理を行うことが容易である。例えば、画像先鋭化処理によってメリハリをつけたり、ザラツキ感を除去したり、より印象的に見える色に変換したりすることが行われている。
【０００３】
このように、画像全体に対する画像処理により、画質を改善する試みは多く行われてきた。しかしながら、最近では、ユーザニーズの変化に画像処理技術の発展と小型化技術の進展とが後押しする形で、撮影画像内の被写体に注目し、その注目部分と他の部分とで異なる処理を行うような例も現れてきている。例えば、人の顔を検出し、顔に合わせて明るさや色を調整する機能は、既にデジタルカメラに搭載され実用化されている。また、非特許文献１では、複数の画像から各々の被写体が最もよく写っているものを切り出し、合成を行っている。
【０００４】
しかしながら、特に人物に対して画像の切り出し（セグメンテーション処理）を行う場合、現状では課題が存在する。色や柄（テクスチャ）といった画像特徴のみからセグメンテーション処理を行うと、顔、手、洋服、パンツ、靴、帽子、そして荷物といったように、本来ひとつの"人物"としてセグメンテーション処理したい領域が、バラバラに抽出されてしまう。このように、画像特徴のみから人物のセグメンテーション処理を自動的に行うのは困難であり、現状の技術で実用に耐えるものはないと思われる。
【０００５】
一方、この課題を克服するため、人間の介入を前提とした画像セグメンテーション手法が、近年注目されてきている。非特許文献２では、被写体の一部と背景の一部を、それぞれ、フリーハンドで描いた幅のある線で指定する。この幅のある線は、それ自体が領域になっており、各々の領域に属する画素について、確実に被写体または背景に属するというヒントを画像セグメンテーション処理に用いることが可能となる。画像は、テクスチャ等の画像特徴によって、１つの被写体が複数の領域に分離されるが、分離された複数の領域を統合して被写体領域とすることができる。こうした領域統合のためのヒントとして、人間の介入を用いるのである。
【０００６】
非特許文献２では、被写体の一部と背景の一部を指定したが、非特許文献３では、被写体を含む領域（文献では矩形領域であるが、原理的には閉領域であれば形状は問わない）を指定する。この手法では、指定した閉領域の外側の領域は、全て背景であるという情報を用いる。多くの場合、非特許文献２に比べて多くの画素が背景として指定されるので、背景領域の画素値の分布を調べることが可能となる。これと指定した閉領域内の画素値の分布とを比較することにより、当該閉領域内の各画素が被写体の可能性が高いのか、背景の可能性が高いのかという情報を算出することができる。非特許文献２および非特許文献３のいずれも、人間の介入を前提としているが、その結果は実用レベルのものである。
【０００７】
以下では、被写体領域の一部の領域或いは背景領域の一部の領域を指定（選択）する操作を、「領域ヒント指示操作」と呼ぶ。
【０００８】
さて、デジタルカメラでの撮影時に、領域ヒント指示操作を行うことを考える。
デジタルカメラでは、撮影前にレンズを通した画像を電子ビューファインダ画面で確認できる機能を持ったものが多い。コンパクトデジタルカメラでは、ほとんどの機種でこの機能の動作が可能であり、また、デジタル一眼レフカメラでも、この機能（ライブビュー）を搭載してきている。
【０００９】
領域ヒント指示操作では、電子ビューファインダ画面に表示された撮影前画像に対して、被写体領域の一部あるいは背景領域の一部を指定することになる。
【００１０】
デジタルカメラの電子ビューファインダ画面に表示された画像に対して、領域指定を行う従来技術としては、例えば、特許文献１と特許文献２がある。どちらもタッチパネルが電子ビューファインダ画面上にあり、その電子ビューファインダ画面上で任意の閉領域（特許文献１）あるいは矩形（特許文献２）を指定するものである。
【００１１】
また、タッチパネルを用いずに、画像内の小領域を指定するものとしては、特許文献３がある。これは、電子ビューファインダ画面に表示された画像の中央付近に小さな枠を表示し、その枠で所望の小領域を指定するものである。
【００１２】
選択領域をユーザにフィードバックさせる機能も重要である。特許文献４と特許文献５では、電子ビューファインダ画面上のタブレットに対し、ユーザがペンを用いて文字や図形を入力すると、あたかも撮像画像に対して直接描画したかのように、電子ビューファインダ画面に入力文字や図形を重畳表示する手法が開示されている。
【００１３】
また、何らかの手段で入力され、電子ビューファインダ画面上に重畳表示された領域を、電子ビューファインダ画面上の画像の変化に応じて変形させる一例が特許文献５に開示されており、手法の開示はないが製品としては非特許文献４が存在する。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開平１１−１３６５６８号公報
【特許文献２】特開２００３−３１９２４４号公報
【特許文献３】特開２００６−２１１５２５号公報
【特許文献４】特開平１０−２８２５０４号公報
【特許文献５】特開２０００−１１３２０８号公報
【非特許文献】
【００１５】
【非特許文献１】Agarwala, A., Dontcheva, M., Agrawala, M., Drucker, S., Colburn, A., Curless, B., Salesin, D., Cohen, M. (2004). "Interactive Digital Photomontage", Proc. ACM Siggraph, ACM Press, pp. 294-302.
【非特許文献２】Boykov, Y., and Jolly, M.-P. 2001. Interactive graph cuts for optimal boundary and region segmentation of objects in N-D images. In Proc. IEEE Int. Conf. on Computer Vision, CD-ROM.
【非特許文献３】C. Rother, V. Kolmogorv, A. Blake,""GrabCut":Interactive Foreground Extraction Using Iterated Graph Cuts," ACM Trans. Graphics (SIGGRAPH '04), vol.23, no.3, pp.309-314, 2004.
【非特許文献４】モーションディテクションエンジン プレスリリース(2004年12月7日)
【発明の概要】
【発明が解決しようとする課題】
【００１６】
しかしながら、特許文献１と特許文献２における領域指定では、タッチパネルを用いている。タッチパネルへの操作は、通常、タッチパネル側（本体）を片手で把持し、もう一方の手の指あるいは手に持ったペンで、タッチパネル上をなぞることで行う。タッチパネルを用いた領域ヒント指示操作では、撮影時にこのような操作を強いられるため、下記の課題が生じる。
【００１７】
一般に、カメラは両手で支えるとより安定して撮影が行えるが、タッチパネルを用いた領域ヒント指示操作では、片手でカメラを支えながら行わなくてはならない。特に、一眼レフカメラのような重量のあるカメラでは、両手で支えることができないということは問題である。
【００１８】
また、両手でカメラを支えることは、シャッターを切るという撮影そのものにとっても重要である。領域ヒント指示操作後に両手でカメラを支えてシャッターを切ることも可能ではあるが、この場合、領域ヒント指示操作後に両手でカメラを持つという追加の動作を行わねばならない。これは、シャッターチャンスを逃すことにもなり、また、写真を撮るという意識が一旦途切れることにより、撮影者のモチベーションが低下することにもなる。
【００１９】
また、足元が不安定な場所での撮影や、手すりにもたれかかるといった無理な姿勢での撮影の場合には、片手で身体を支えるため、片手での操作ができることが望ましいが、タッチパネルを用いると片手での操作ができないため、撮影自体に支障をきたしてしまう。片手でカメラを支えながら撮影する場合、カメラを支えている側の手でシャッターを切ることになる。タッチパネルによる領域ヒント指示操作の場合、タッチパネルを操作する側の手は、必然的にシャッターを切る側の手とは異なる。そのため、いずれか一方の操作は利き手ではない側の手で行わなくてはならず、領域ヒント指示操作あるいはシャッターを切る操作のいずれかに不自由を強いることになる。このように、タッチパネルを用いる場合、状況によって多大な不自由をユーザに強いることになるという課題がある。
【００２０】
さらに、一眼レフカメラの一般的な接眼式のファインダでは、タッチパネルを用いることができないため、タッチパネルを用いた領域ヒント指示操作を行えないという課題がある。
【００２１】
特許文献３の従来技術は、予め定められた電子ビューファインダ画面内の小領域を１つ選択するものであり、任意の位置、大きさ、形状での領域選択が行えないという課題がある。
【００２２】
特許文献４や特許文献５の従来技術は、タッチパネルやペンタブレットを前提とした任意の文字や図形の、電子ビューファインダ画面上の画像への重畳方法であり、そもそも、領域指定方法ではない。しかしながら、重畳される文字や図形の塗りつぶされた部分を領域と見立てれば、領域指定方法として捉えることも可能である。それでも、上述した特許文献１や特許文献２の場合と同様の課題がある。
【００２３】
また、特許文献５や非特許文献４の従来技術は、そもそも、単独では領域指定方法とはなり得ない。
【００２４】
本発明は、このような問題点に鑑みてなされたものであり、撮像装置を不自由なく支えながら、画像中に選択領域の指定を行える撮像装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【００２５】
本発明の撮像装置は、撮像手段と、前記撮像手段で得られた画像を画面に表示する表示手段とを備えた撮像装置であって、領域選択指示手段からの指示に従って、前記画像内に選択領域を生成する領域選択手段と、前記生成した選択領域を保持する選択領域保持手段と、前記画像の変化に伴って前記選択領域保持手段が保持する選択領域を補正する選択領域補正手段とを有する。
また、本発明は、上述した撮像装置による制御方法を含む。
【発明の効果】
【００２６】
本発明によれば、撮像装置を不自由なく支えながら、画像中に選択領域の指定を行うことができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施形態に係る撮像装置の概略構成の一例を示す図である。
【図２】図１に示す画像処理手段における処理動作を説明する図である。
【図３】図１に示す選択領域補正手段における処理動作を説明する図である。
【図４】図１に示す選択領域補正手段で用いるオプティカルフローの一例を示す図である。
【図５】図１に示す選択領域保持手段によって保持されている選択領域画像の様子を示す図である。
【図６】図１に示す選択領域保持手段によって保持されている選択領域画像と撮像画像の様子を示す図である。
【図７】図１に示す選択領域保持手段の様子を示し、領域選択指示手段から領域選択指示を出しながら、撮像装置を図５の状態から下向きにした場合の選択領域を示す図である。
【図８】本発明の変形例１を示し、図１に示す領域選択手段が表示手段に対して出力する画像の一例を示す図である。
【図９】本発明の変形例１を示し、図１に示す領域選択手段が表示手段に対して出力する画像の一例を示す図である。
【図１０】本発明の変形例２を示し、図１に示す領域選択手段が表示手段に対して出力する画像の一例を示す図である。
【図１１】本発明の変形例５を示し、図１に示す領域選択手段が表示手段に対して出力する画像の一例を示す図である。
【図１２】本発明の変形例５に係る撮像装置の概略構成の一例を示す図である。
【図１３】本発明の変形例６に係る撮像装置の概略構成の一例を示す図である。
【図１４】本発明の変形例６を示し、図１３に示す領域選択手段が表示手段に対して出力する画像の一例を示す図である。
【図１５】本発明の変形例６を示し、図１３に示す領域選択手段が表示手段に対して出力する画像の一例を示す図である。
【発明を実施するための形態】
【００２８】
以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。
【００２９】
まず、本発明により可能となる、領域ヒント指示操作の典型的なシナリオを説明する。
ユーザは、撮像装置であるカメラを被写体に向け、領域ヒント指示を開始する。ユーザがカメラのボタンを押すと、電子ビューファインダ画面の中央に設けられた小領域が、初期の領域ヒント領域になる。そして、カメラのボタンを押したまま、カメラを動かして被写体の上をなぞるようにすると、それに従い、あたかも被写体を直接なぞっているかのように、選択済みの領域ヒント領域に新たな領域ヒント領域が追加されていく。この様子は、電子ビューファインダ画面に表示されているため、確認することができる。
【００３０】
ただし、これを実現するためには、選択済みの領域ヒント領域を示す図形を、カメラの動きに応じて被写体上に定位しているように移動させる必要がある。そうしないと、常に画面の中央の小領域しか選択済みの領域ヒント領域とはならないからである。この領域ヒント領域を移動（補正）させる手段が「選択領域補正手段」であり、補正された領域ヒント領域を保持しているのが「選択領域保持手段」である。
【００３１】
以下では、具体的な構成例を用いて、以上の動作を説明する。
図１は、本発明の実施形態に係る撮像装置１００の概略構成の一例を示す図である。
【００３２】
撮像手段１１０は、レンズやイメージセンサー、Ａ／Ｄコンバータ等から成り、光学イメージを電気信号に変換して画像を生成し、後段の処理で用いることができるようにする。
【００３３】
撮像画像処理手段１２０は、撮像手段１１０で得られた画像を処理し、より見やすい、或いは、処理に適した画像に変換する。ここでの処理は、コントラスト強調処理や、先鋭化処理等がある。また、撮像画像処理手段１２０では、撮像手段１１０から出力された画像に対して、何も処理を行わず、そのまま出力しても構わない。ここでは、撮像画像処理手段１２０における具体的な処理の詳細に関しては、その説明を省略する。
【００３４】
なお、撮像手段１１０は、１秒あたり数画面から数十画面程度を連続して撮像しており、撮像画像処理手段１２０も同様な速度で画像を処理し、出力している。以下、特に断りのない限り、撮像画像処理手段１２０が出力する画像を「撮像画像」と呼ぶ。
【００３５】
撮像画像は、表示手段１３０により電子ビューファインダ画面に表示され、ユーザが撮影時に撮像画像を観察することができる。また、撮像画像は、画像処理手段１４０によって処理される。画像処理手段１４０は、画像処理指示手段１５０からの指示に従って処理を行う。
【００３６】
画像処理指示手段１５０は、不図示の画像処理内容を指示する手段や、シャッターボタン等から構成され、画像処理内容と画像処理を行う時期を指示する。例えば、画像処理指示手段１５０は、画像処理内容と「シャッターを"今"切った」という情報を画像処理手段１４０に伝える。画像処理手段１４０は、撮像画像を得て、画像処理内容に指示された処理を施し、画像を出力する。なお、画像処理手段１４０は撮像装置１００の内部にある必要はなく、不図示の通信部を経由して、不図示の画像処理サーバによって処理を行ってもよい。画像処理手段１４０から出力された画像は、画像記憶手段１６０により、ＳＤカード等の記録媒体に記録され、その後、必要に応じて表示手段１３０により表示される。
【００３７】
領域選択指示手段１７０は、領域選択手段１８０に対して、撮像画像処理手段１２０から出力される撮像画像内に選択領域を生成する指示を行う。
【００３８】
領域選択手段１８０は、領域選択指示手段１７０からの指示に従って、撮像画像処理手段１２０から出力される撮像画像内に選択領域を生成する。この領域選択手段１８０は、生成した選択領域を保持する選択領域保持手段１８１と、撮像画像処理手段１２０から出力される撮像画像の変化に伴って選択領域保持手段１８１が保持する選択領域を補正する選択領域補正手段１８２を有する。具体的に、選択領域補正手段１８２は、撮像画像処理手段１２０から出力される撮像画像の変化を検出し、検出した撮像画像の変化に基づいて前記選択領域を補正する。
【００３９】
また、表示手段１３０は、選択領域補正手段１８２により補正された選択領域を、非選択領域から判別可能に電子ビューファインダ画面に表示する。
【００４０】
ここで、画像処理手段１４０の処理例として、特定の人物のみカラーにし、他はモノクロに変換する処理を考える。
図２は、図１に示す画像処理手段１４０における処理動作を説明する図である。
この画像処理手段１４０における処理を行うモードをここでは「領域カラーモード」と呼ぶ。この場合、画像処理手段１４０は、画像処理指示手段１５０から「領域カラーモード」と「シャッターを"今"切った」という情報を受ける。そして、画像処理手段１４０は、撮像画像処理手段１２０から撮像画像（図２（１））を得ると同時に、領域選択手段１８０から黒い太線で描かれた領域情報（図２（２））を得る。
【００４１】
この領域情報（図２（２））は、撮像画像（図２（１））中の、ユーザが特定した人物の領域を示すヒントとなる情報である。画像処理手段１４０は、この領域情報から画像セグメンテーション処理により、人物領域を算出（図２（３））し、算出した人物領域内の画素の色は変更せず、人物領域外の画素はモノクロに変換して出力する（図２（４））。
【００４２】
なお、図２（２）の画像は、わかりやすくするため、領域選択手段１８０が出力する領域（以下、特に断りのない限り「選択領域」と呼ぶ）を、撮像画像に重畳して表している。また図２（１）および図２（４）はカラー画像であり、図２（４）で黒く縁取られた領域（人物領域）の内側はカラー、外側はモノクロである。
【００４３】
なお、画像処理手段１４０の処理内容は、領域カラーモードに限定されるわけでなく、領域情報を必要とする任意の処理でよい。
【００４４】
また、画像処理手段１４０において、画像セグメンテーション処理により、図２（３）で示される人物領域を算出するが、この際の算出方法は、前述の非特許文献２や非特許文献３に述べられているため、ここでは詳述しない。なお、本実施形態で用いる画像セグメンテーション処理は、これらの文献で述べられている手法に限られるわけではなく、任意の手法を用いることができる。
【００４５】
また、領域選択手段１８０は、ユーザが指示する撮像画像上の領域を選択領域として登録する。その際、既に選択領域として登録済みの領域は、撮像画像の移動とともに補正されるが、これは選択領域補正手段１８２によって行われる。
【００４６】
図３は、図１に示す選択領域補正手段１８２における処理動作を説明する図である。
図３において、既に選択済みの領域は黒い太線で示している。図３では、撮像画像上に、領域選択手段１８０によって選択された選択領域を重畳表示している。図３（１）に示す状態から、撮像装置１００本体を下に向けると、撮像画像は上に移動する。このとき、選択領域補正手段１８２は、撮像画像の上への変化に伴って選択領域を同様に上に移動させるように補正する（図３（２））。
【００４７】
選択領域の補正処理の実現には、オプティカルフローを用いる。撮像画像のオプティカルフローを計算すると、図３に示す２枚の撮影画像の場合、図４のようになる。
【００４８】
図４は、図１に示す選択領域補正手段１８２で用いるオプティカルフローの一例を示す図である。
そこで、選択領域補正手段１８２は、この図４に示すオプティカルフローに従い、選択領域を移動・変形させればよい。
【００４９】
具体的には、次のようにする。
ここでは説明を簡単にするため、選択領域は各画素が「選択されている」または「選択されていない」を表す二値画像として保持することにする。以下、特に断りのない限り、この二値画像を「選択領域画像」と呼ぶ。この選択領域画像は、撮像画像処理手段１２０が出力する撮像画像の画像サイズよりも十分に大きなサイズの画像として選択領域保持手段１８１によって保持される。
【００５０】
図５は、図１に示す選択領域保持手段１８１によって保持されている選択領域画像の様子を示す図である。
図５において、黒い太線で表された領域が選択領域を示している。なお、図５では、分かりやすくするため、撮像画像処理手段１２０が出力する撮像画像と重畳して選択領域を表しているが、選択領域画像では、太線で表された領域の画素を「選択されている」値、それ以外の画素を「選択されていない」値として保持している。さらに、選択領域保持手段１８１は、撮像画像と選択領域画像との位置関係も保持する。当該位置関係は、例えば、選択領域画像の中心から撮像画像の中心に向かうベクトル（ｏｆｓＸ，ｏｆｓＹ）と、選択領域画像上での撮像画像の回転角ｏｆｓＡｎｇｌｅを用いる。
【００５１】
図５では、ｏｆｓＸ＝ｏｆｓＹ＝０であり、ｏｆｓＡｎｇｌｅも０である。図５では、細い矢印を選択領域画像の中心を原点とする座標軸、太い矢印を撮像画像の中心を原点とする座標軸として表している。
【００５２】
ここで、撮像装置１００を下に向けると、前述したとおり、撮像画像は、上へ移動する。このときのオプティカルフローは、図４のようになることは既に説明した。そこで、各画素について、図４のオプティカルフローの向きとは逆向きに、撮像画像を移動させる。オプティカルフローは上向きなので、回転角ｏｆｓＡｎｇｌｅおよび水平方向の補正量ｏｆｓＸの増分は０である。垂直方向の補正量ｏｆｓＹは、オプティカルフローの大きさがｏｆＹだとして、−ｏｆＹとなる。
即ち、
新ｏｆｓＸ＝旧ｏｆｓＸ＝０
新ｏｆｓＹ＝旧ｏｆｓＹ−ｏｆＹ＝−ｏｆＹ
新ｏｆｓＡｎｇｌｅ＝旧ｏｆｓＡｎｇｌｅ＝０
となる。
【００５３】
図６は、図１に示す選択領域保持手段１８１によって保持されている選択領域画像と撮像画像の様子を示す図である。なお、ここでは、撮像装置１００を下に向けた例を示したが、左右（ヨー）に向けても、また回転（ロール）させても構わない。また、撮像装置１００の上下左右の移動を伴っても構わない。こうした場合の旧位置関係から新位置関係への補正値は、前記オプティカルフローから前述した例と同様に算出できる。
【００５４】
ユーザに対し、現在どの領域が選択されているのかを提示することは、領域選択をする上で非常に重要である。そこで、図５や図６に示すように、領域選択中は撮像画像に重畳して選択領域を表示してやればよい。これには、選択領域保持手段１８１が保持している選択領域（選択領域画像と、撮像画像と選択領域画像との位置関係）から、撮像画像内に含まれる選択領域を画像化し、撮像画像に重畳してやればよい。この処理は、領域選択手段１８０が行い、表示手段１３０に画像として出力する。表示手段１３０は、この画像を電子ビューファインダ画面に表示する。
【００５５】
ここまでの処理で、選択領域を被写体の移動に合わせて表示することはできる。領域の選択は、領域選択指示手段１７０からの指示により領域選択手段１８０が行う。領域選択指示手段１７０は、撮像装置１００本体に取り付けられたボタンであり、当該ボタンの押下状態或いは当該ボタンの押下状態の変化によって、領域選択手段１８０に対して、選択領域の生成のための処理を行うか否かを指示する。例えば、領域選択指示手段１７０は、当該ボタンを押下している間だけ、領域選択指示を出す。領域選択手段１８０は、領域選択指示手段１７０から領域選択指示があった場合、撮像画像の中央に位置する小領域を新たに選択領域として加える。
【００５６】
図７は、図１に示す選択領域保持手段１８１の様子を示し、領域選択指示手段１７０から領域選択指示を出しながら、撮像装置１００を図５の状態から下向きにした場合の選択領域を示す図である。
【００５７】
以上のような構成により、撮像画像の中心で被写体をなぞるように撮像装置１００を動かすことで、選択領域が被写体上を拡張するように広がっていく。その結果、ユーザは、撮像画像内に自由に選択領域を設定できる。
【００５８】
なお、本実施形態の上述した例では、新たに選択領域として加える小領域は、撮像画像の中央であったが、必ずしも中央でなくてもよい。
【００５９】
また、本実施形態の上述した例では、オプティカルフローを用いたが、撮像画像から、例えば特徴点のような画像特徴を抽出し、特徴点がどのように移動したかを用いてもよい。
【００６０】
また、本実施形態の上述した例では、オプティカルフローを用いたが、撮像装置１００にジャイロセンサ等の姿勢センサが搭載されていれば、この姿勢センサの情報を用いて撮像画像と選択領域画像との位置関係を算出してもよい。
【００６１】
レンズ歪がないと仮定した場合、撮像装置１００の上下方向の画角を２α、縦方向の画素数を２ｈとし、撮像装置１００を下向きに角度θ変えると、移動する前に撮像画像の中央にあった部分は、ｈ ｓｉｎθ／ｓｉｎα ［画素］だけ上に移動する。さらに、被写体との位置計測も可能な６自由度センサが撮像装置１００に搭載されていれば、撮像装置１００の向き（ヨー、ピッチ）や回転（ロール）だけではなく、上下左右への移動に対しても選択領域が補正可能となる。
【００６２】
こうしたセンサを用いた位置計測手法は、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ；仮想現実）やＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ；複合現実）の分野では広く知られた技術であるので、詳細は省略する。
【００６３】
（変形例１）
新たに選択領域として加える小領域（指標）は、ユーザに分かりやすく提示するために、色を変える、或いは、小領域の周辺に装飾を配置するようにしてもよい。このときの電子ビューファインダ画面の様子を図８に２例示す（図８（１）および図８（２））。
図８は、本発明の変形例１を示し、図１に示す領域選択手段１８０が表示手段１３０に対して出力する画像の一例を示す図である。図８（１）および図８（２）には、電子ビューファインダ画面に表示された画像に付された小領域（指標）を、被写体に沿って撮像装置１００を動かすことにより、選択領域を生成する様子が示されている。
【００６４】
また、領域選択指示手段１７０による選択指示が出ていない間も、選択指示を行った場合に選択される小領域を図示してもよい。
図９は、本発明の変形例１を示し、図１に示す領域選択手段１８０が表示手段１３０に対して出力する画像の一例を示す図である。
図９では、選択指示を行った場合に選択される小領域（指標）が電子ビューファインダ画面の中央に表示されているが（図９（１）および図９（２））、選択指示が出ていないために、当該小領域は選択されていない。
【００６５】
即ち、領域選択手段１８０は、図８および図９に示すように、撮像画像処理手段１２０から出力される画像中に固定された所定の範囲である小領域を選択領域に加える、または、前記所定の範囲を選択領域から除外するようにしている。この際、表示手段１３０は、前記所定の範囲を、撮像画像処理手段１２０から出力される画像に重畳して表示する。
【００６６】
（変形例２）
上述した本発明の実施形態の例では、選択領域を追加する場合を示したが、選択した選択領域を除去する機能を追加してもよい。この場合、領域選択指示手段１７０に、選択領域を追加するのか除去するのかを指定する機構を備える。例えば、ビデオカメラのズームボタンのように、一方を押すと追加、他方を押すと除去としてもよいし、不図示のモード切替機構を用いて、追加モード、除去モードと、ボタンの機能を切り替えてもよい。
【００６７】
また、小領域を追加するのか、除去するのかを分かりやすく表示してもよい。
図１０は、本発明の変形例２を示し、図１に示す領域選択手段１８０が表示手段１３０に対して出力する画像の一例を示す図である。図１０には、図１０（１）に小領域を追加する場合、図１０（２）に小領域を除去する場合の表示例を示している。
【００６８】
（変形例３）
上述した本発明の実施形態の例では、選択領域は「選択されている」または「選択されていない」の二値であったが、上述した従来例（非特許文献２）では、前景、背景、その他というように三値が必要である。この場合には、選択領域画像を三値、或いは、さらに多くの値が取れる多値画像として、領域選択手段１８０は、領域選択指示手段１７０から何（前景、背景、等）に対する追加・除去なのかを受け取るようにすればよい。例えば、領域選択指示手段１７０は、何に対する処理なのかを、不図示のモード切替機構を用いて切り替えればよい。
【００６９】
（変形例４）
上述した本発明の実施形態の例では、撮像画像は、選択領域画像内で、上下左右の移動と回転（ピッチ、ヨー、ロール）する場合を考慮したが、さらに、ズームや前後移動を考慮してもよい。この場合、選択領域保持手段１８１が保持する撮像画像と選択領域画像との位置関係は、前記位置関係に加えてズーム倍率を保持すればよい。ここで、ズーム倍率が大きくなると、選択領域画像中での撮像画像領域が小さくなる。逆に、ズーム倍率が小さくなると、選択領域画像中での撮像画像領域が大きくなる。
【００７０】
前後移動に関してもズーム倍率を用いることはできる。被写体に近づいた場合には、ズーム倍率を大きくしたのと同様の現象があり、被写体から遠ざかった場合には、ズーム倍率を小さくしたのと同様の現象がある。
【００７１】
また、ズーム倍率の算出は、上述した本発明の実施形態の例と同様に、オプティカルフローを用いればよい。なお、撮像機構からズーム倍率を取得してもよいし、被写体との距離が計測可能であれば、距離の変化からズーム倍率を計算してもよい。
【００７２】
（変形例５）
上述した本発明の実施形態の例では、撮像画像と選択領域画像との位置関係という、画像同士の位置関係を用いたが、各点がどの位置に移動したかという情報を密に保持し、それを前記位置関係に代えて用いてもよい。このようにすると、各点の移動を用いるため、背景とは独立に被写体が移動したり、姿勢を変えたりしても、それにつれて選択範囲（選択領域）を変形できるという効果がある。この例を図１１に示す。
図１１は、本発明の変形例５を示し、図１に示す領域選択手段１８０が表示手段１３０に対して出力する画像の一例を示す図である。被写体が姿勢を変えると、それに応じて、図１１（１）から図１１（２）に示すように、選択領域を変形させる（選択領域を補正する）。
【００７３】
図１２は、本発明の変形例５に係る撮像装置２００の概略構成の一例を示す図である。
図１２において、図１に示す構成と同様の構成については、同じ符号を付し、その詳細な説明は省略する。
【００７４】
位置姿勢計測手段２１０は、当該撮像装置２００と被写体との相対姿勢を計測する。さらに、位置姿勢計測手段２１０は、当該撮像装置２００と被写体との相対位置を計測する。選択領域補正手段１８２は、位置姿勢計測手段２１０で計測された相対姿勢（および／または相対位置）に基づく撮像画像の変化に伴って選択領域を補正する。
【００７５】
（変形例６）
図１３は、本発明の変形例６に係る撮像装置３００の概略構成の一例を示す図である。図１３において、図１に示す構成と同様の構成については、同じ符号を付し、その詳細な説明は省略する。
【００７６】
上述した例では、小領域を選択領域に追加或いは除去するものであったが、追加或いは除去する領域（追加除外領域）自体をユーザが作成してもよい。これには、図１３に示すように、追加除外領域決定手段３８１を領域選択手段３８０に備えるようにすればよい。
【００７７】
追加除外領域決定手段３８１は、領域選択指示手段１７０からの指示により、追加或いは除外する領域を決定する。追加除外領域決定手段３８１によって追加除外領域が決定され作成されたら、作成と同時に、或いは、別途、領域選択指示手段１７０からの指示により、上述した例と同様に選択領域に対して追加或いは除去すればよい。
【００７８】
例えば、矩形領域であれば、撮像画像処理手段１２０から出力される画像中の所定の位置である対角線上の２点を指示することによって指定可能である。そこで、指定しようとする矩形領域の対角の２点を端点とする線を上述した手法と同様の手法により選択する。この時点で、追加除外領域決定手段３８１は、追加除外領域を設定し、それと同時に選択領域に追加等する。この例を図１４に示す。
【００７９】
図１４は、本発明の変形例６を示し、図１３に示す領域選択手段３８０が表示手段１３０に対して出力する画像の一例を示す図である。具体的に、図１４は、領域選択手段３８０が出力し、表示手段１３０により電子ビューファインダ画面に表示された画像であり、矩形領域の左上から右下に向けて指定を行っている。撮像装置３００を動かしているので、図１４の左上の点は、電子ビューファインダ画面の外である。
【００８０】
また、図１４では、選択された領域を明るく、そうでない部分を暗く表示しているが、このように選択された矩形領域を分かりやすく表示してもよい。即ち、表示手段１３０は、矩形領域に係る追加除外領域を、少なくとも、選択領域または選択領域以外の領域から判別可能に表示してもよい。さらに、左上の点を指定した後、右下の点を指定している最中にも、この段階で選択作業を終了した場合に選択される範囲を分かりやすく表示してもよい。右下の点を確定していない段階では、電子ビューファインダ画面には、図１４と同様の画像が表示されている。
【００８１】
また、矩形ではなく、閉領域を指定してもよい。この例を図１５に示す。
図１５は、本発明の変形例６を示し、図１３に示す領域選択手段３８０が表示手段１３０に対して出力する画像の一例を示す図である。具体的に、図１５は、図１４と同様、領域選択手段３８０が出力し、表示手段１３０により電子ビューファインダ画面に表示された画像であり、選択範囲の上部および左部は、表示範囲の外である。図１５では、選択された領域を明るく、そうでない部分を暗く表示しているが、このように選択された領域を分かりやすく表示してもよい。
【００８２】
さらに閉領域の選択中にも、この段階で選択作業を終了した場合に選択される範囲を分かりやすく表示してもよい。この場合には、閉領域の始点と現在の点を結んだ線も閉領域の境界の一部を形成するとすれば、常に閉領域を指定することが可能となる。
【００８３】
例えば、追加除外領域決定手段３８１は、撮像画像処理手段１２０から出力される画像中の所定の位置である３点以上を指示することにより得られ、前記所定の位置を指示順に結び、さらに、最後に指示した位置と最初に指示した位置とを結ぶことによって得られる閉領域を、追加除外領域とする。
【００８４】
また、例えば、追加除外領域決定手段３８１は、領域選択手段３８０によって現在までに選択された選択領域の位置情報から推定できる追加除外領域を推定追加除外領域として出力する。そして、表示手段１３０は、例えば、前記推定追加除外領域を、少なくとも、選択領域または選択領域以外の領域から判別可能に表示する。
【００８５】
（変形例７）
本発明の変形例７では、選択領域保持手段１８１は、選択領域に加えて、さらに、領域の選択に必要な位置情報を保持する。そして、選択領域補正手段１８２は、さらに、撮像画像処理手段１２０から出力される画像の変化に伴って選択領域保持手段１８１が保持する領域の選択に必要な位置情報を補正する。
そして、領域選択手段１８０（３８０）は、選択領域補正手段１８２で補正された位置情報を用いて、選択領域に追加または除外する領域を決定する。
【００８６】
以上、本発明の実施形態および変形例によれば、撮像装置を不自由なく支えながら、画像中に選択領域の指定を行うことができる。
【００８７】
具体的には、撮像装置を両手で支えながら、画像中に選択領域の指定、即ち、領域ヒント指示を行うことが可能となり、また、片手での領域ヒント指示も可能となる。
また、領域ヒント指示操作或いはシャッターを切る操作のいずれかを、利き手ではない側の手で行わなければならないという不自由を回避することができる。
また、接眼式のファインダを用いる撮像装置においても、画像中に選択領域の指定を行うことができる。
さらに、任意の位置、大きさ、形状での領域選択を行うことができる。
【００８８】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。
即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワークまたは各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記録媒体は、本発明に含まれる。
【００８９】
なお、前述した本発明の実施形態及び変形例は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【産業上の利用可能性】
【００９０】
本発明は、撮影時に領域選択を行う撮像装置及びその制御方法に用いて好適なものである。
【符号の説明】
【００９１】
１００ 撮像装置、１１０ 撮像手段、１２０ 撮像画像処理手段、１３０ 表示手段、１４０ 画像処理手段、１５０ 画像処理指示手段、１６０ 画像記憶手段、１７０ 領域選択指示手段、１８０ 領域選択手段、１８１ 選択領域保持手段、１８２ 選択領域補正手段
【特許請求の範囲】
【請求項１】
撮像手段と、前記撮像手段で得られた画像を画面に表示する表示手段とを備えた撮像装置であって、
領域選択指示手段からの指示に従って、前記画像内に選択領域を生成する領域選択手段と、
前記生成した選択領域を保持する選択領域保持手段と、
前記画像の変化に伴って前記選択領域保持手段が保持する選択領域を補正する選択領域補正手段と
を有することを特徴とする撮像装置。
【請求項２】
前記領域選択手段は、前記画面に表示された画像に付された指標を、被写体に沿って当該撮像装置を動かすことにより、前記選択領域を生成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記選択領域補正手段は、前記画像の変化を検出し、検出した画像の変化に基づいて前記選択領域を補正することを特徴とする請求項１に記載の撮像装置。
【請求項４】
当該撮像装置と被写体との相対姿勢を計測する計測手段を更に有し、
前記選択領域補正手段は、前記計測手段で計測された前記相対姿勢に基づく前記画像の変化に伴って前記選択領域を補正することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記計測手段は、さらに、当該撮像装置と被写体との相対位置を計測するものであり、
前記選択領域補正手段は、前記計測手段で計測された前記相対位置および前記相対姿勢に基づく前記画像の変化に伴って前記選択領域を補正することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記表示手段は、前記選択領域補正手段により補正された選択領域を、非選択領域から判別可能に表示することを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記領域選択指示手段は、当該撮像装置に取り付けられたボタンを備え、当該ボタンの押下状態或いは当該ボタンの押下状態の変化によって、前記領域選択手段に対して、前記選択領域の生成のための処理を行うか否かを指示することを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記領域選択手段は、前記画像中に固定された所定の範囲を前記選択領域に加える、または、前記所定の範囲を前記選択領域から除外することを特徴とする請求項１に記載の撮像装置。
【請求項９】
前記表示手段は、前記所定の範囲を、前記画像に重畳して表示することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記選択領域保持手段は、さらに、領域の選択に必要な位置情報を保持し、
前記選択領域補正手段は、さらに、前記画像の変化に伴って前記選択領域保持手段が保持する領域の選択に必要な位置情報を補正し、
前記領域選択手段は、前記補正された位置情報を用いて、前記選択領域に追加または除外する領域を決定することを特徴とする請求項１に記載の撮像装置。
【請求項１１】
前記領域選択手段は、前記画像に、追加または除外する追加除外領域を決定する追加除外領域決定手段を備えることを特徴とする請求項１に記載の撮像装置。
【請求項１２】
前記追加除外領域決定手段は、前記画像中の所定の位置である２点を指示することにより得られる矩形領域を、前記追加除外領域とすることを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
前記追加除外領域決定手段は、前記画像中の所定の位置である３点以上を指示することにより得られ、前記所定の位置を指示順に結び、さらに、最後に指示した位置と最初に指示した位置とを結ぶことによって得られる閉領域を、前記追加除外領域とすることを特徴とする請求項１１に記載の撮像装置。
【請求項１４】
前記表示手段は、前記追加除外領域を、少なくとも、前記選択領域または前記選択領域以外の領域から判別可能に表示することを特徴とする請求項１１に記載の撮像装置。
【請求項１５】
前記追加除外領域決定手段は、前記領域選択手段によって現在までに選択された前記選択領域の位置情報から推定できる追加除外領域を推定追加除外領域として出力し、
前記表示手段は、前記推定追加除外領域を、少なくとも、前記選択領域または前記選択領域以外の領域から判別可能に表示することを特徴とする請求項１１に記載の撮像装置。
【請求項１６】
撮像手段と、前記撮像手段で得られた画像を画面に表示する表示手段とを備えた撮像装置の制御方法であって、
領域選択指示手段からの指示に従って、前記画像内に選択領域を生成する領域選択ステップと、
前記生成した選択領域を選択領域保持手段に保持する選択領域保持ステップと、
前記画像の変化に伴って前記選択領域保持手段が保持する選択領域を補正する選択領域補正ステップと
を有することを特徴とする撮像装置の制御方法。
【請求項１】
撮像手段と、前記撮像手段で得られた画像を画面に表示する表示手段とを備えた撮像装置であって、
領域選択指示手段からの指示に従って、前記画像内に選択領域を生成する領域選択手段と、
前記生成した選択領域を保持する選択領域保持手段と、
前記画像の変化に伴って前記選択領域保持手段が保持する選択領域を補正する選択領域補正手段と
を有することを特徴とする撮像装置。
【請求項２】
前記領域選択手段は、前記画面に表示された画像に付された指標を、被写体に沿って当該撮像装置を動かすことにより、前記選択領域を生成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記選択領域補正手段は、前記画像の変化を検出し、検出した画像の変化に基づいて前記選択領域を補正することを特徴とする請求項１に記載の撮像装置。
【請求項４】
当該撮像装置と被写体との相対姿勢を計測する計測手段を更に有し、
前記選択領域補正手段は、前記計測手段で計測された前記相対姿勢に基づく前記画像の変化に伴って前記選択領域を補正することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記計測手段は、さらに、当該撮像装置と被写体との相対位置を計測するものであり、
前記選択領域補正手段は、前記計測手段で計測された前記相対位置および前記相対姿勢に基づく前記画像の変化に伴って前記選択領域を補正することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記表示手段は、前記選択領域補正手段により補正された選択領域を、非選択領域から判別可能に表示することを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記領域選択指示手段は、当該撮像装置に取り付けられたボタンを備え、当該ボタンの押下状態或いは当該ボタンの押下状態の変化によって、前記領域選択手段に対して、前記選択領域の生成のための処理を行うか否かを指示することを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記領域選択手段は、前記画像中に固定された所定の範囲を前記選択領域に加える、または、前記所定の範囲を前記選択領域から除外することを特徴とする請求項１に記載の撮像装置。
【請求項９】
前記表示手段は、前記所定の範囲を、前記画像に重畳して表示することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記選択領域保持手段は、さらに、領域の選択に必要な位置情報を保持し、
前記選択領域補正手段は、さらに、前記画像の変化に伴って前記選択領域保持手段が保持する領域の選択に必要な位置情報を補正し、
前記領域選択手段は、前記補正された位置情報を用いて、前記選択領域に追加または除外する領域を決定することを特徴とする請求項１に記載の撮像装置。
【請求項１１】
前記領域選択手段は、前記画像に、追加または除外する追加除外領域を決定する追加除外領域決定手段を備えることを特徴とする請求項１に記載の撮像装置。
【請求項１２】
前記追加除外領域決定手段は、前記画像中の所定の位置である２点を指示することにより得られる矩形領域を、前記追加除外領域とすることを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
前記追加除外領域決定手段は、前記画像中の所定の位置である３点以上を指示することにより得られ、前記所定の位置を指示順に結び、さらに、最後に指示した位置と最初に指示した位置とを結ぶことによって得られる閉領域を、前記追加除外領域とすることを特徴とする請求項１１に記載の撮像装置。
【請求項１４】
前記表示手段は、前記追加除外領域を、少なくとも、前記選択領域または前記選択領域以外の領域から判別可能に表示することを特徴とする請求項１１に記載の撮像装置。
【請求項１５】
前記追加除外領域決定手段は、前記領域選択手段によって現在までに選択された前記選択領域の位置情報から推定できる追加除外領域を推定追加除外領域として出力し、
前記表示手段は、前記推定追加除外領域を、少なくとも、前記選択領域または前記選択領域以外の領域から判別可能に表示することを特徴とする請求項１１に記載の撮像装置。
【請求項１６】
撮像手段と、前記撮像手段で得られた画像を画面に表示する表示手段とを備えた撮像装置の制御方法であって、
領域選択指示手段からの指示に従って、前記画像内に選択領域を生成する領域選択ステップと、
前記生成した選択領域を選択領域保持手段に保持する選択領域保持ステップと、
前記画像の変化に伴って前記選択領域保持手段が保持する選択領域を補正する選択領域補正ステップと
を有することを特徴とする撮像装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１３−４６３００（Ｐ２０１３−４６３００Ａ）
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願番号】特願２０１１−１８３９３５（Ｐ２０１１−１８３９３５）
【出願日】平成２３年８月２５日（２０１１．８．２５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願日】平成２３年８月２５日（２０１１．８．２５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]