電子カメラ
【課題】 タッチパネル方式のディスプレイなどの特別な構成なく、撮像者の直感的動作により画像の一部領域の指定を可能とすることを目的とする。
【解決手段】 被写体を撮像して画像のデータを生成する撮像部と、前記撮像部により生成した画像のデータを解析することにより、前記画像における撮像者の手指先の位置を検出する検出部とを備えることを特徴とする電子カメラ。
【解決手段】 被写体を撮像して画像のデータを生成する撮像部と、前記撮像部により生成した画像のデータを解析することにより、前記画像における撮像者の手指先の位置を検出する検出部とを備えることを特徴とする電子カメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子カメラに関する。
【背景技術】
【０００２】
従来から、電子カメラにおいて、表示部に表示された画像の一部領域を撮影者により指定する様々な技術がある。
【０００３】
例えば、特許文献１の撮像装置は、タッチパネル方式のディスプレイを備え、撮像者からスタイラスペン等を介して注目領域の指定を受け付けている。
【特許文献１】特開２００６−１４１２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、従来の電子カメラでは、タッチパネル方式のディスプレイなどの特別な構成が必要であるため、電子カメラの大型化や製造コストが上がることがあった。
【０００５】
そこで、本発明の電子カメラは、タッチパネル方式のディスプレイなどの特別な構成なく、撮像者の直感的動作により画像の一部領域の指定を可能とすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の電子カメラは、被写体を撮像して画像のデータを生成する撮像部と、前記撮像部により生成した画像のデータを解析することにより、前記画像における撮像者の手指先の位置を検出する検出部とを備えることを特徴とする。
【０００７】
なお、好ましくは、前記手指先の位置に応じて、前記撮像部を制御して露出制御と焦点調節との少なくとも一方を行う制御部をさらに備えても良い。
【０００８】
また、好ましくは、前記撮像部により生成した画像のホワイトバランスを調整するホワイトバランス調整部をさらに備え、前記制御部は、前記手指先の位置に応じて、ホワイトバランス調整に用いる評価領域を設定するとともに、前記ホワイトバランス調整部を制御して、前記評価領域に最適化したホワイトバランス調整を行っても良い。
【０００９】
また、好ましくは、前記撮像部により生成した画像と所定の画像とを重ねて表示する表示部をさらに備え、前記制御部は、前記手指先の位置に応じて、前記手指先の位置に対応する前記所定の画像の一部領域を決定しても良い。
【００１０】
また、好ましくは、前記所定の画像は、各種の機能設定に関するメニュー画像であっても良い。
【００１１】
また、好ましくは、所定の画像と前記手指先の位置に対応する位置に表示するマークとを重ねて表示する表示部をさらに備えても良い。
【発明の効果】
【００１２】
本発明の電子カメラによれば、タッチパネル方式のディスプレイなどの特別な構成なく、撮像者の直感的動作により画像の一部領域の指定を可能とすることができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を用いて本発明の実施形態について説明する。図１は、本発明の実施形態における電子カメラ１の構成を示すブロック図である。図１に示すように、電子カメラ１は、撮像レンズ２、撮像素子３、Ａ／Ｄ変換部４、画像処理部５、バッファメモリ６、制御部７、記録Ｉ／Ｆ部８、記録媒体９、表示部１０、操作部１１を備える。
【００１４】
撮像レンズ２は、撮像素子３の撮像面に被写体像を結像させる。撮像素子３は、撮像レンズ２を通過した光束による被写体像を光電変換し、赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の各色に対応するアナログの画像の信号を出力する。撮像素子３の出力は、Ａ／Ｄ変換部４に接続される。撮像素子３は、レリーズ時に記録用画像（本画像）を撮像する。また、撮像素子３は、撮像待機時（非レリーズ時）にも所定間隔毎に間引き読み出しでスルー画像を撮像する。上記のスルー画像は、表示部１０に表示される。Ａ／Ｄ変換部４は、撮像素子３の出力信号のＡ／Ｄ変換を行う。画像処理部５は、Ａ／Ｄ変換部４から出力されたデータに各種の画像処理（色補間、階調変換処理、輪郭強調処理、ホワイトバランス調整など）を施す。また、画像処理部５は、記録媒体９に画像のデータを記録する前にＪＰＥＧ形式などで圧縮する処理や、圧縮された上記のデータを伸長復元する処理をも実行する。バッファメモリ６は、画像処理部５による画像処理の前工程や後工程で画像のデータを一時的に記録する。
【００１５】
制御部７は、所定のシーケンスプログラムにしたがって、電子カメラの統括的な制御を行うプロセッサである。また、制御部７は、画像認識の基本手法であるＳｎａｋｅｓを利用して、画像における撮像者の手指領域の輪郭を検出し、パターンマッチング関数により手指先を検出する。Ｓｎａｋｅｓとは、初期輪郭を収縮変形させることにより、物体の輪郭を抽出する輪郭線認識アルゴリズムである。なお、検出方法の詳細な説明については後述する。記録Ｉ／Ｆ部８は、記録媒体９を接続するためのコネクタが形成される。そして、記録Ｉ／Ｆ部８は、コネクタに接続された記録媒体９に対してデータの書き込み／読み込みを実行する。表示部１０は、制御部７の制御により各種の画像を表示する。表示部１０に表示される各種の画像は、本画像、スルー画像、記録媒体９に記録した画像、メニュー画像などを含む。操作部１１は、レリーズ釦や操作釦などを有する。操作部１１のレリーズ釦は、撮像動作の指示を撮像者から受け付ける。操作部１１の操作釦は、上記のメニュー画像等での操作入力を撮像者から受け付ける。
【００１６】
図２は、電子カメラ１における撮像時の制御部７の動作を示すフローチャートである。ここでは、上述した撮像者の手指先を検出し、検出結果に応じて撮像時の露出制御、焦点調節、ホワイトバランス調整の少なくとも一つを行う場合を例に挙げて説明する。
【００１７】
ステップＳ１で、制御部７は、操作部１１を介して撮像者から手指先の検出結果に連動する機能の選択を受け付ける。例えば、制御部７は、表示部１０にメニュー画像を表示することにより、撮像者から露出制御、焦点調節、ホワイトバランス調整のうち、何れか任意の処理の組み合わせを受け付ける。以下、制御部７が撮像者から操作部１１を介して、同一の評価領域に対して露出制御、焦点調節、ホワイトバランス調整を行う指示を受け付けた例を説明する。
【００１８】
ステップＳ２で、制御部７は、撮像素子３を制御して、スルー画像の撮像を開始するとともに、表示部１０に「左手で被写体を指さして下さい。」等のメッセージを表示する。撮像者が右手で電子カメラ１を構えて左手の指先で被写体である花Ａを指差す例を図３に示す。また、左手の指先と花Ａとが撮像されたスルー画像の例を図４（ａ）に示す。
【００１９】
ステップＳ３で、まず、制御部７は、認識フラグを０に初期設定する。認識フラグは、画像の中に撮像者の手指領域が検出された場合に、１へ変更されるフラグである。次に、制御部７は、スルー画像の四隅を頂点とする四角形にＳｎａｋｅｓを設定するとともに、ＲＧＢの輝度閾値の値域を既定値に設定する。これは、ステップＳ４以降の処理において、画像における手指領域の肌色の色味、すなわち、ＲＧＢの輝度値に基づいて、制御部７が撮像者の手指領域の輪郭を検出するためである。例えば、制御部７は、Ｒの輝度閾値の値域を１００から２００に設定しても良い。Ｓｎａｋｅｓを設定する四角形を図４（ａ）に示す。
【００２０】
ステップＳ４で、制御部７は、Ｓｎａｋｅｓを利用して、手指領域の輪郭の検出を開始する。このとき、撮像者の手指は、スルー画像の四辺の外側から伸びているため、スルー画像の四辺に沿って位置すると考えられる。そこで、制御部７は、ステップＳ３で設定した四角形の近傍画素から中心に向かって、ＲＧＢの輝度閾値の値域内に含まれる画素を探索する。
【００２１】
ステップＳ５で、ＲＧＢの輝度閾値の値域内に含まれる画素を検出した場合（ＹＥＳ）には、ステップＳ６に移行する。一方、ＲＧＢの輝度閾値の値域内に含まれる画素を検出しない場合（ＮＯ）には、ステップＳ７に移行する。
【００２２】
ステップＳ６で、制御部７は、認識フラグを１へ変更する。
【００２３】
ステップＳ７で、制御部７は、ステップＳ３で設定したＲＧＢの輝度閾値の値域を拡大して、ステップＳ４に戻る。制御部７は、画像の中に撮像者の手指領域を検出するまでこれを繰り返す。
【００２４】
ステップＳ８で、制御部７は、Ｓｎａｋｅｓの形状が変化するか否かを判定する。Ｓｎａｋｅｓの形状が変化しない場合（Ｙｅｓ）には、ステップＳ９に移行する。一方、Ｓｎａｋｅｓの形状が変化する場合（Ｎｏ）には、制御部７は、Ｓｎａｋｅｓの形状が変化しなくなるまでＳｎａｋｅｓの形状を変形させる。
【００２５】
ステップＳ９で、制御部７は、ステップＳ３またはステップＳ７で設定したＲＧＢの輝度閾値の値域を拡大する。
【００２６】
ステップＳ１０で、制御部７は、Ｓｎａｋｅｓの形状が変化するか否かを再び判定する。Ｓｎａｋｅｓの形状が変化する場合（ＮＯ）には、ステップＳ９に戻る。制御部７は、Ｓｎａｋｅｓの形状が変化しなくなるまでＲＧＢの輝度閾値の値域の拡大を繰り返す。なお、Ｓｎａｋｅｓの形状は、ＲＧＢの輝度閾値の値域を拡大するごとに、手指領域の輪郭に沿うように変形する。ＲＧＢの輝度閾値を変化させてＳｎａｋｅｓの形状が変化する例を図４（ｂ），（ｃ）に示す。図４（ｂ），（ｃ）の例では、（ｃ）のＳｎａｋｅｓの形状の方が、より手指領域の輪郭に沿った形状に変化している。一方、Ｓｎａｋｅｓの形状が変化しない場合（ＹＥＳ）には、ステップＳ１１に移行する。
【００２７】
ステップＳ１１で、制御部７は、ステップＳ１０でＳｎａｋｅｓの形状が変化しなくなったと判定されたときのＳｎａｋｅｓの形状のうち、ステップＳ３で設定した四角形と変化した部分とに囲まれた領域を画像における撮像者の手指領域とし、手指領域の輪郭の検出を終了する。図４（ｄ）は、手指領域の輪郭の検出が終了した状態におけるＳｎａｋｅｓの形状を示す図である。また、図４（ｄ）の斜線部分は、撮像者の手指領域を示す。
【００２８】
ステップＳ１２で、制御部７は、パターンマッチング関数により手指先の位置を検出する。パターンマッチング関数の例として、まず、制御部７は、ステップＳ１１で求めた手指領域の輪郭の形状から曲率の高い凸形状の部分を選出する。このとき、凸形状の部分が複数ある場合には、画像の中心から最も近い部分を選出する。次に、制御部７は、選出した凸形状の部分の位置に基づいて、手指先の位置を検出する。例えば、制御部７は、凸形状の頂点のうち、最も画像の中心に近い頂点を手指先の位置として検出する。凸形状の部分の例を図４（ｅ）に示す。図４（ｅ）の例では、撮像者の人差し指の先端部分が凸形状として選出されて、人差し指の先端の１点が手指先の位置として検出される。
【００２９】
ステップＳ１３で、制御部７は、手指先の位置に応じて、所定の領域を評価領域として設定する。例えば、制御部７は、ステップＳ１２で求めた手指先の位置を左下の頂点とする所定の大きさの四角形を評価領域として設定する。
【００３０】
ステップＳ１４で、制御部７は、ステップＳ１３で設定した評価領域の枠線とスルー画像とを重ねて表示し、評価領域が設定されている旨を撮像者に通知する。図４（ｆ）は、花Ａの周辺部分が評価領域として設定され、評価領域の枠線が表示された例を示す図である。このとき、撮像者による所定の操作に応じて、ステップＳ１３で設定した評価領域の位置および大きさを調整可能としても良い。
【００３１】
ステップＳ１５で、制御部７は、ステップＳ１で受け付けた機能とステップＳ１３で設定した評価領域とに応じて、各部を制御する。例えば、制御部７は、各部を制御して、評価領域に最適化した露出制御、焦点調節、ホワイトバランス調整を開始する。
【００３２】
ステップＳ１６で、制御部７は、レリーズ釦が半押しされたか否かを判定する。レリーズ釦が半押しされた場合（ＹＥＳ）には、ステップＳ１７に移行する。一方、レリーズ釦が半押しされない場合（ＮＯ）には、ステップＳ４に戻る。なお、１フレームのスルー画像ごとに、ステップＳ４からステップＳ１６の処理が行われる。したがって、スルー画像を撮像している間、評価領域の枠線は撮像者の手指の動きを追従する。
【００３３】
ステップＳ１７で、制御部７は、ＡＦとＡＥとをロックする。
【００３４】
ステップＳ１８で、制御部７は、レリーズ釦が全押しされたか否かを判定する。レリーズ釦が全押しされた場合（ＹＥＳ）には、ステップＳ１９に移行する。一方、レリーズ釦が全押しされない場合（ＮＯ）には、制御部７は、レリーズ釦が全押しされるまで待機する。
【００３５】
ステップＳ１９で、制御部７は、ステップＳ１７でＡＦとＡＥとをロックしたときの撮像条件で、本画像を撮像する。
【００３６】
次に、上述した「手指先の位置の検出」を利用して電子カメラ１における設定を行う場合について説明する。図５は、電子カメラ１における設定時の制御部７の動作を示すフローチャートである。
【００３７】
ステップＳ２１で、制御部７は、撮像素子３を制御して、スルー画像の撮像を開始する。
【００３８】
ステップＳ２２で、制御部７は、表示部１０に、半透過のスルー画像と半透過のメニュー画像とを重ねて表示するとともに、「左手をレンズ前方で動かし、項目を選択して下さい。」等のメッセージを表示する。
【００３９】
ステップＳ２３で、制御部７は、手指先の位置を検出する。制御部７は、図２のステップＳ３からステップＳ１２と同様の処理を行い、手指先の位置を検出する。
【００４０】
ステップＳ２４で、制御部７は、ステップＳ２３で検出した手指先の位置に対応するメニュー画像の選択項目を選択して、選択した項目を枠で囲う、選択した項目を反転させるなど項目が選択されている旨を撮像者に通知する。図７は、手指先の位置に対応するメニュー画面の選択項目を枠で囲う例を示す図である。なお、制御部７は、選択した項目を確定するＯＫ釦を表示部１０に表示しても良い。
【００４１】
ステップＳ２５で、制御部７は、表示部１０に表示したＯＫ釦の選択や操作釦等の操作入力を撮像者から受け付けることにより、ステップＳ２４で選択した項目を確定する。
【００４２】
なお、ステップＳ２２において、制御部７は、スルー画像とメニュー画像とを重ねて表示する例を示したが、スルー画像に代えて、手指先の位置に対応する位置にマークを表示しても良い。また、この場合、メニュー画像を半透過にすることなく、メニュー画像にマークのみを重ね合わせて表示しても良い。
【００４３】
次に、上述した「手指先の位置の検出」を利用して電子カメラ１における画像の再生を行う場合について説明する。図６は、電子カメラ１における再生時の制御部７の動作を示すフローチャートである。
【００４４】
ステップＳ３１で、制御部７は、撮像素子３を制御して、スルー画像の撮像を開始する。
【００４５】
ステップＳ３２で、制御部７は、表示部１０に、半透過のスルー画像と半透過の複数のサムネイル画像とを重ねて表示するとともに、「左手をレンズ前方で動かし、画像を選択して下さい。」等のメッセージを表示する。
【００４６】
ステップＳ３３で、制御部７は、手指先の位置を検出する。制御部７は、図２のステップＳ３からステップＳ１２と同様の処理を行い、手指先の位置を検出する。
【００４７】
ステップＳ３４で、制御部７は、ステップＳ３３で検出した手指先の位置に対応するサムネイル画像を選択して、選択したサムネイル画像を枠で囲う、選択したサムネイル画像を反転させるなどサムネイル画像が選択されている旨を撮像者に通知する。なお、制御部７は、選択したサムネイル画像を確定するＯＫ釦を表示部１０に表示しても良い。
【００４８】
ステップＳ３５で、制御部７は、表示部１０に表示したＯＫ釦の選択や操作釦等の操作入力を撮像者から受け付けることにより、ステップＳ３４で選択したサムネイル画像を確定する。
【００４９】
なお、ステップＳ３２において、制御部７は、スルー画像とサムネイル画像とを重ねて表示する例を示したが、設定時の場合と同様に、スルー画像に代えて、手指先の位置に対応する位置にマークを表示しても良い。また、この場合、複数のサムネイル画像を半透過にすることなく、複数のサムネイル画像にマークのみを重ね合わせて表示しても良い。図８は、手指先の位置に対応する位置に表示するマークとサムネイル画像とを重ねて表示する例を示す図である。
【００５０】
また、図６のフローチャートでは、複数のサムネイル画像から１つのサムネイル画像を選択する例を示したが、再生する画像の例はこれに限らない。例えば、制御部７は、手指先の位置に対応する位置に表示するマークと再生画像とを重ねて表示する。そして、制御部７は、マークの位置に基づいて、再生画像からズームインする領域を決定する。そして、制御部７は、画像処理部５を制御してズームインした画像を生成して、表示部１０に表示しても良い。また、同様にして、制御部７は、マークの位置に基づいて、画像のズームアウトや画像の回転を行っても良い。
【００５１】
以上説明したように、本実施形態の電子カメラによれば、撮像時において、撮像者の直感的動作により評価領域を設定することができる。したがって、操作性や即写性などのユーザビリティを向上するとともに、撮像者の意図に沿った写真を失敗なく撮像できるようにアシストすることができる。また、再生時や設定時にも撮像者の直感的動作により手指先の画像の位置に対応するメニュー画像や再生画像の一部領域を決定することができる。
【００５２】
また、本実施形態の電子カメラは、タッチパネル方式のディスプレイを搭載する必要がないため、スルー画像を撮像可能な全ての電子カメラに適用することができる。
【００５３】
なお、上記の実施形態では、ステップＳ４以降において、ステップＳ３で設定した四角形の近傍画素から中心に向かって、ＲＧＢの輝度閾値の値域内に含まれる画素を探索する例を示したが、これに限らない。例えば、制御部７は、画素ごとに探索する代わりに、スルー画像を複数のブロックに分割して、ブロックごとに探索しても良い。また、四角形の近傍画素に限らず、手指領域が位置すると考えられる部分から優先的に探索しても良い。例えば、ステップＳ２において、表示部１０に「左手で被写体を指さして下さい。」と表示した場合には、画像の左側に手指領域が位置すると考えられる。したがって、このような場合には、制御部７は、左側から画素を探索しても良い。
【００５４】
また、どのような肌色の手領域でも輪郭が検出できるように、肌色別に複数のＲＧＢの輝度閾値の値域を設定しても良い。例えば、ステップＳ４において、複数のＲＧＢの輝度閾値の値域のうち、いずれの値域に含まれるかを探索して、手指領域の輪郭の検出を開始しても良い。また、予め撮像者の手指領域を撮像し、撮像した手指領域の肌色に基づいて、ステップＳ３におけるＲＧＢの規定値を求めても良い。さらに、予め撮像した撮像者の手指領域の肌色が複数のＲＧＢの輝度閾値の値域のうち、いずれの値域に含まれるかを探索して、手指領域の輪郭の検出を開始しても良い。
【００５５】
また、上記の実施形態において、指先の位置の検出精度を上げるために、制御部７は、不図示の閃光発光装置を制御して、補助光を発光しても良い。
【００５６】
また、上記の実施形態において、指先の位置の検出精度を上げるために、オートホワイトバランスモードでスルー画像を撮像しても良い。
【００５７】
また、設定時または再生時においてはスルー画像による構図決定が不要なため、指先の位置の検出を検出しやすい撮像条件でスルー画像を撮像しても良い。例えば、焦点を撮像者の指先に合わせる。また、指先の位置の検出を重視するようにスルー画像の画像処理を最適化しても良い。
【００５８】
また、ステップＳ１５において、１つの評価領域に最適化した露出制御、焦点調節、ホワイトバランス調整を行う例を示したが、これに限らない。例えば、ステップＳ１において、撮像者から受け付けた露出制御、焦点調節、ホワイトバランス調整のうち、何れか任意の処理の組み合わせに応じて個々に評価領域を設定しても良い。また、本撮像するごとに、操作部１１を介して撮像者から評価領域に連動する機能の選択を受け付ける構成にしても良い。
【００５９】
また、上記の実施形態において、評価領域の形状および大きさは、限定されない。
【００６０】
また、上記の実施形態では、電子カメラ１の背面に設置された表示部１０に画像を表示したが、表示部１０に限らない。例えば、電子カメラ１は電子ビューファインダをさらに備え、電子ビューファインダに画像を表示しても良い。
【図面の簡単な説明】
【００６１】
【図１】電子カメラ１の構成を示すブロック図である。
【図２】電子カメラ１における撮像時の制御部７の動作を示すフローチャートである。
【図３】撮像者が右手で電子カメラ１を構えて左手の指先で花Ａを指差す例を示す図である。
【図４】撮像者の手指先の位置を検出する例を示す図である。
【図５】電子カメラ１における設定時の制御部７の動作を示すフローチャートである。
【図６】電子カメラ１における再生時の制御部７の動作を示すフローチャートである。
【図７】手指先の位置に対応するメニュー画面の選択項目を枠で囲う例を示す図である。
【図８】手指先の位置に対応する位置に表示するマークとサムネイル画像とを重ねて表示する例を示す図である。
【符号の説明】
【００６２】
１…電子カメラ、２…撮像レンズ、３…撮像素子、４…Ａ／Ｄ変換部、５…画像処理部、７…制御部、１０…表示部
【技術分野】
【０００１】
本発明は、電子カメラに関する。
【背景技術】
【０００２】
従来から、電子カメラにおいて、表示部に表示された画像の一部領域を撮影者により指定する様々な技術がある。
【０００３】
例えば、特許文献１の撮像装置は、タッチパネル方式のディスプレイを備え、撮像者からスタイラスペン等を介して注目領域の指定を受け付けている。
【特許文献１】特開２００６−１４１２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、従来の電子カメラでは、タッチパネル方式のディスプレイなどの特別な構成が必要であるため、電子カメラの大型化や製造コストが上がることがあった。
【０００５】
そこで、本発明の電子カメラは、タッチパネル方式のディスプレイなどの特別な構成なく、撮像者の直感的動作により画像の一部領域の指定を可能とすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の電子カメラは、被写体を撮像して画像のデータを生成する撮像部と、前記撮像部により生成した画像のデータを解析することにより、前記画像における撮像者の手指先の位置を検出する検出部とを備えることを特徴とする。
【０００７】
なお、好ましくは、前記手指先の位置に応じて、前記撮像部を制御して露出制御と焦点調節との少なくとも一方を行う制御部をさらに備えても良い。
【０００８】
また、好ましくは、前記撮像部により生成した画像のホワイトバランスを調整するホワイトバランス調整部をさらに備え、前記制御部は、前記手指先の位置に応じて、ホワイトバランス調整に用いる評価領域を設定するとともに、前記ホワイトバランス調整部を制御して、前記評価領域に最適化したホワイトバランス調整を行っても良い。
【０００９】
また、好ましくは、前記撮像部により生成した画像と所定の画像とを重ねて表示する表示部をさらに備え、前記制御部は、前記手指先の位置に応じて、前記手指先の位置に対応する前記所定の画像の一部領域を決定しても良い。
【００１０】
また、好ましくは、前記所定の画像は、各種の機能設定に関するメニュー画像であっても良い。
【００１１】
また、好ましくは、所定の画像と前記手指先の位置に対応する位置に表示するマークとを重ねて表示する表示部をさらに備えても良い。
【発明の効果】
【００１２】
本発明の電子カメラによれば、タッチパネル方式のディスプレイなどの特別な構成なく、撮像者の直感的動作により画像の一部領域の指定を可能とすることができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を用いて本発明の実施形態について説明する。図１は、本発明の実施形態における電子カメラ１の構成を示すブロック図である。図１に示すように、電子カメラ１は、撮像レンズ２、撮像素子３、Ａ／Ｄ変換部４、画像処理部５、バッファメモリ６、制御部７、記録Ｉ／Ｆ部８、記録媒体９、表示部１０、操作部１１を備える。
【００１４】
撮像レンズ２は、撮像素子３の撮像面に被写体像を結像させる。撮像素子３は、撮像レンズ２を通過した光束による被写体像を光電変換し、赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の各色に対応するアナログの画像の信号を出力する。撮像素子３の出力は、Ａ／Ｄ変換部４に接続される。撮像素子３は、レリーズ時に記録用画像（本画像）を撮像する。また、撮像素子３は、撮像待機時（非レリーズ時）にも所定間隔毎に間引き読み出しでスルー画像を撮像する。上記のスルー画像は、表示部１０に表示される。Ａ／Ｄ変換部４は、撮像素子３の出力信号のＡ／Ｄ変換を行う。画像処理部５は、Ａ／Ｄ変換部４から出力されたデータに各種の画像処理（色補間、階調変換処理、輪郭強調処理、ホワイトバランス調整など）を施す。また、画像処理部５は、記録媒体９に画像のデータを記録する前にＪＰＥＧ形式などで圧縮する処理や、圧縮された上記のデータを伸長復元する処理をも実行する。バッファメモリ６は、画像処理部５による画像処理の前工程や後工程で画像のデータを一時的に記録する。
【００１５】
制御部７は、所定のシーケンスプログラムにしたがって、電子カメラの統括的な制御を行うプロセッサである。また、制御部７は、画像認識の基本手法であるＳｎａｋｅｓを利用して、画像における撮像者の手指領域の輪郭を検出し、パターンマッチング関数により手指先を検出する。Ｓｎａｋｅｓとは、初期輪郭を収縮変形させることにより、物体の輪郭を抽出する輪郭線認識アルゴリズムである。なお、検出方法の詳細な説明については後述する。記録Ｉ／Ｆ部８は、記録媒体９を接続するためのコネクタが形成される。そして、記録Ｉ／Ｆ部８は、コネクタに接続された記録媒体９に対してデータの書き込み／読み込みを実行する。表示部１０は、制御部７の制御により各種の画像を表示する。表示部１０に表示される各種の画像は、本画像、スルー画像、記録媒体９に記録した画像、メニュー画像などを含む。操作部１１は、レリーズ釦や操作釦などを有する。操作部１１のレリーズ釦は、撮像動作の指示を撮像者から受け付ける。操作部１１の操作釦は、上記のメニュー画像等での操作入力を撮像者から受け付ける。
【００１６】
図２は、電子カメラ１における撮像時の制御部７の動作を示すフローチャートである。ここでは、上述した撮像者の手指先を検出し、検出結果に応じて撮像時の露出制御、焦点調節、ホワイトバランス調整の少なくとも一つを行う場合を例に挙げて説明する。
【００１７】
ステップＳ１で、制御部７は、操作部１１を介して撮像者から手指先の検出結果に連動する機能の選択を受け付ける。例えば、制御部７は、表示部１０にメニュー画像を表示することにより、撮像者から露出制御、焦点調節、ホワイトバランス調整のうち、何れか任意の処理の組み合わせを受け付ける。以下、制御部７が撮像者から操作部１１を介して、同一の評価領域に対して露出制御、焦点調節、ホワイトバランス調整を行う指示を受け付けた例を説明する。
【００１８】
ステップＳ２で、制御部７は、撮像素子３を制御して、スルー画像の撮像を開始するとともに、表示部１０に「左手で被写体を指さして下さい。」等のメッセージを表示する。撮像者が右手で電子カメラ１を構えて左手の指先で被写体である花Ａを指差す例を図３に示す。また、左手の指先と花Ａとが撮像されたスルー画像の例を図４（ａ）に示す。
【００１９】
ステップＳ３で、まず、制御部７は、認識フラグを０に初期設定する。認識フラグは、画像の中に撮像者の手指領域が検出された場合に、１へ変更されるフラグである。次に、制御部７は、スルー画像の四隅を頂点とする四角形にＳｎａｋｅｓを設定するとともに、ＲＧＢの輝度閾値の値域を既定値に設定する。これは、ステップＳ４以降の処理において、画像における手指領域の肌色の色味、すなわち、ＲＧＢの輝度値に基づいて、制御部７が撮像者の手指領域の輪郭を検出するためである。例えば、制御部７は、Ｒの輝度閾値の値域を１００から２００に設定しても良い。Ｓｎａｋｅｓを設定する四角形を図４（ａ）に示す。
【００２０】
ステップＳ４で、制御部７は、Ｓｎａｋｅｓを利用して、手指領域の輪郭の検出を開始する。このとき、撮像者の手指は、スルー画像の四辺の外側から伸びているため、スルー画像の四辺に沿って位置すると考えられる。そこで、制御部７は、ステップＳ３で設定した四角形の近傍画素から中心に向かって、ＲＧＢの輝度閾値の値域内に含まれる画素を探索する。
【００２１】
ステップＳ５で、ＲＧＢの輝度閾値の値域内に含まれる画素を検出した場合（ＹＥＳ）には、ステップＳ６に移行する。一方、ＲＧＢの輝度閾値の値域内に含まれる画素を検出しない場合（ＮＯ）には、ステップＳ７に移行する。
【００２２】
ステップＳ６で、制御部７は、認識フラグを１へ変更する。
【００２３】
ステップＳ７で、制御部７は、ステップＳ３で設定したＲＧＢの輝度閾値の値域を拡大して、ステップＳ４に戻る。制御部７は、画像の中に撮像者の手指領域を検出するまでこれを繰り返す。
【００２４】
ステップＳ８で、制御部７は、Ｓｎａｋｅｓの形状が変化するか否かを判定する。Ｓｎａｋｅｓの形状が変化しない場合（Ｙｅｓ）には、ステップＳ９に移行する。一方、Ｓｎａｋｅｓの形状が変化する場合（Ｎｏ）には、制御部７は、Ｓｎａｋｅｓの形状が変化しなくなるまでＳｎａｋｅｓの形状を変形させる。
【００２５】
ステップＳ９で、制御部７は、ステップＳ３またはステップＳ７で設定したＲＧＢの輝度閾値の値域を拡大する。
【００２６】
ステップＳ１０で、制御部７は、Ｓｎａｋｅｓの形状が変化するか否かを再び判定する。Ｓｎａｋｅｓの形状が変化する場合（ＮＯ）には、ステップＳ９に戻る。制御部７は、Ｓｎａｋｅｓの形状が変化しなくなるまでＲＧＢの輝度閾値の値域の拡大を繰り返す。なお、Ｓｎａｋｅｓの形状は、ＲＧＢの輝度閾値の値域を拡大するごとに、手指領域の輪郭に沿うように変形する。ＲＧＢの輝度閾値を変化させてＳｎａｋｅｓの形状が変化する例を図４（ｂ），（ｃ）に示す。図４（ｂ），（ｃ）の例では、（ｃ）のＳｎａｋｅｓの形状の方が、より手指領域の輪郭に沿った形状に変化している。一方、Ｓｎａｋｅｓの形状が変化しない場合（ＹＥＳ）には、ステップＳ１１に移行する。
【００２７】
ステップＳ１１で、制御部７は、ステップＳ１０でＳｎａｋｅｓの形状が変化しなくなったと判定されたときのＳｎａｋｅｓの形状のうち、ステップＳ３で設定した四角形と変化した部分とに囲まれた領域を画像における撮像者の手指領域とし、手指領域の輪郭の検出を終了する。図４（ｄ）は、手指領域の輪郭の検出が終了した状態におけるＳｎａｋｅｓの形状を示す図である。また、図４（ｄ）の斜線部分は、撮像者の手指領域を示す。
【００２８】
ステップＳ１２で、制御部７は、パターンマッチング関数により手指先の位置を検出する。パターンマッチング関数の例として、まず、制御部７は、ステップＳ１１で求めた手指領域の輪郭の形状から曲率の高い凸形状の部分を選出する。このとき、凸形状の部分が複数ある場合には、画像の中心から最も近い部分を選出する。次に、制御部７は、選出した凸形状の部分の位置に基づいて、手指先の位置を検出する。例えば、制御部７は、凸形状の頂点のうち、最も画像の中心に近い頂点を手指先の位置として検出する。凸形状の部分の例を図４（ｅ）に示す。図４（ｅ）の例では、撮像者の人差し指の先端部分が凸形状として選出されて、人差し指の先端の１点が手指先の位置として検出される。
【００２９】
ステップＳ１３で、制御部７は、手指先の位置に応じて、所定の領域を評価領域として設定する。例えば、制御部７は、ステップＳ１２で求めた手指先の位置を左下の頂点とする所定の大きさの四角形を評価領域として設定する。
【００３０】
ステップＳ１４で、制御部７は、ステップＳ１３で設定した評価領域の枠線とスルー画像とを重ねて表示し、評価領域が設定されている旨を撮像者に通知する。図４（ｆ）は、花Ａの周辺部分が評価領域として設定され、評価領域の枠線が表示された例を示す図である。このとき、撮像者による所定の操作に応じて、ステップＳ１３で設定した評価領域の位置および大きさを調整可能としても良い。
【００３１】
ステップＳ１５で、制御部７は、ステップＳ１で受け付けた機能とステップＳ１３で設定した評価領域とに応じて、各部を制御する。例えば、制御部７は、各部を制御して、評価領域に最適化した露出制御、焦点調節、ホワイトバランス調整を開始する。
【００３２】
ステップＳ１６で、制御部７は、レリーズ釦が半押しされたか否かを判定する。レリーズ釦が半押しされた場合（ＹＥＳ）には、ステップＳ１７に移行する。一方、レリーズ釦が半押しされない場合（ＮＯ）には、ステップＳ４に戻る。なお、１フレームのスルー画像ごとに、ステップＳ４からステップＳ１６の処理が行われる。したがって、スルー画像を撮像している間、評価領域の枠線は撮像者の手指の動きを追従する。
【００３３】
ステップＳ１７で、制御部７は、ＡＦとＡＥとをロックする。
【００３４】
ステップＳ１８で、制御部７は、レリーズ釦が全押しされたか否かを判定する。レリーズ釦が全押しされた場合（ＹＥＳ）には、ステップＳ１９に移行する。一方、レリーズ釦が全押しされない場合（ＮＯ）には、制御部７は、レリーズ釦が全押しされるまで待機する。
【００３５】
ステップＳ１９で、制御部７は、ステップＳ１７でＡＦとＡＥとをロックしたときの撮像条件で、本画像を撮像する。
【００３６】
次に、上述した「手指先の位置の検出」を利用して電子カメラ１における設定を行う場合について説明する。図５は、電子カメラ１における設定時の制御部７の動作を示すフローチャートである。
【００３７】
ステップＳ２１で、制御部７は、撮像素子３を制御して、スルー画像の撮像を開始する。
【００３８】
ステップＳ２２で、制御部７は、表示部１０に、半透過のスルー画像と半透過のメニュー画像とを重ねて表示するとともに、「左手をレンズ前方で動かし、項目を選択して下さい。」等のメッセージを表示する。
【００３９】
ステップＳ２３で、制御部７は、手指先の位置を検出する。制御部７は、図２のステップＳ３からステップＳ１２と同様の処理を行い、手指先の位置を検出する。
【００４０】
ステップＳ２４で、制御部７は、ステップＳ２３で検出した手指先の位置に対応するメニュー画像の選択項目を選択して、選択した項目を枠で囲う、選択した項目を反転させるなど項目が選択されている旨を撮像者に通知する。図７は、手指先の位置に対応するメニュー画面の選択項目を枠で囲う例を示す図である。なお、制御部７は、選択した項目を確定するＯＫ釦を表示部１０に表示しても良い。
【００４１】
ステップＳ２５で、制御部７は、表示部１０に表示したＯＫ釦の選択や操作釦等の操作入力を撮像者から受け付けることにより、ステップＳ２４で選択した項目を確定する。
【００４２】
なお、ステップＳ２２において、制御部７は、スルー画像とメニュー画像とを重ねて表示する例を示したが、スルー画像に代えて、手指先の位置に対応する位置にマークを表示しても良い。また、この場合、メニュー画像を半透過にすることなく、メニュー画像にマークのみを重ね合わせて表示しても良い。
【００４３】
次に、上述した「手指先の位置の検出」を利用して電子カメラ１における画像の再生を行う場合について説明する。図６は、電子カメラ１における再生時の制御部７の動作を示すフローチャートである。
【００４４】
ステップＳ３１で、制御部７は、撮像素子３を制御して、スルー画像の撮像を開始する。
【００４５】
ステップＳ３２で、制御部７は、表示部１０に、半透過のスルー画像と半透過の複数のサムネイル画像とを重ねて表示するとともに、「左手をレンズ前方で動かし、画像を選択して下さい。」等のメッセージを表示する。
【００４６】
ステップＳ３３で、制御部７は、手指先の位置を検出する。制御部７は、図２のステップＳ３からステップＳ１２と同様の処理を行い、手指先の位置を検出する。
【００４７】
ステップＳ３４で、制御部７は、ステップＳ３３で検出した手指先の位置に対応するサムネイル画像を選択して、選択したサムネイル画像を枠で囲う、選択したサムネイル画像を反転させるなどサムネイル画像が選択されている旨を撮像者に通知する。なお、制御部７は、選択したサムネイル画像を確定するＯＫ釦を表示部１０に表示しても良い。
【００４８】
ステップＳ３５で、制御部７は、表示部１０に表示したＯＫ釦の選択や操作釦等の操作入力を撮像者から受け付けることにより、ステップＳ３４で選択したサムネイル画像を確定する。
【００４９】
なお、ステップＳ３２において、制御部７は、スルー画像とサムネイル画像とを重ねて表示する例を示したが、設定時の場合と同様に、スルー画像に代えて、手指先の位置に対応する位置にマークを表示しても良い。また、この場合、複数のサムネイル画像を半透過にすることなく、複数のサムネイル画像にマークのみを重ね合わせて表示しても良い。図８は、手指先の位置に対応する位置に表示するマークとサムネイル画像とを重ねて表示する例を示す図である。
【００５０】
また、図６のフローチャートでは、複数のサムネイル画像から１つのサムネイル画像を選択する例を示したが、再生する画像の例はこれに限らない。例えば、制御部７は、手指先の位置に対応する位置に表示するマークと再生画像とを重ねて表示する。そして、制御部７は、マークの位置に基づいて、再生画像からズームインする領域を決定する。そして、制御部７は、画像処理部５を制御してズームインした画像を生成して、表示部１０に表示しても良い。また、同様にして、制御部７は、マークの位置に基づいて、画像のズームアウトや画像の回転を行っても良い。
【００５１】
以上説明したように、本実施形態の電子カメラによれば、撮像時において、撮像者の直感的動作により評価領域を設定することができる。したがって、操作性や即写性などのユーザビリティを向上するとともに、撮像者の意図に沿った写真を失敗なく撮像できるようにアシストすることができる。また、再生時や設定時にも撮像者の直感的動作により手指先の画像の位置に対応するメニュー画像や再生画像の一部領域を決定することができる。
【００５２】
また、本実施形態の電子カメラは、タッチパネル方式のディスプレイを搭載する必要がないため、スルー画像を撮像可能な全ての電子カメラに適用することができる。
【００５３】
なお、上記の実施形態では、ステップＳ４以降において、ステップＳ３で設定した四角形の近傍画素から中心に向かって、ＲＧＢの輝度閾値の値域内に含まれる画素を探索する例を示したが、これに限らない。例えば、制御部７は、画素ごとに探索する代わりに、スルー画像を複数のブロックに分割して、ブロックごとに探索しても良い。また、四角形の近傍画素に限らず、手指領域が位置すると考えられる部分から優先的に探索しても良い。例えば、ステップＳ２において、表示部１０に「左手で被写体を指さして下さい。」と表示した場合には、画像の左側に手指領域が位置すると考えられる。したがって、このような場合には、制御部７は、左側から画素を探索しても良い。
【００５４】
また、どのような肌色の手領域でも輪郭が検出できるように、肌色別に複数のＲＧＢの輝度閾値の値域を設定しても良い。例えば、ステップＳ４において、複数のＲＧＢの輝度閾値の値域のうち、いずれの値域に含まれるかを探索して、手指領域の輪郭の検出を開始しても良い。また、予め撮像者の手指領域を撮像し、撮像した手指領域の肌色に基づいて、ステップＳ３におけるＲＧＢの規定値を求めても良い。さらに、予め撮像した撮像者の手指領域の肌色が複数のＲＧＢの輝度閾値の値域のうち、いずれの値域に含まれるかを探索して、手指領域の輪郭の検出を開始しても良い。
【００５５】
また、上記の実施形態において、指先の位置の検出精度を上げるために、制御部７は、不図示の閃光発光装置を制御して、補助光を発光しても良い。
【００５６】
また、上記の実施形態において、指先の位置の検出精度を上げるために、オートホワイトバランスモードでスルー画像を撮像しても良い。
【００５７】
また、設定時または再生時においてはスルー画像による構図決定が不要なため、指先の位置の検出を検出しやすい撮像条件でスルー画像を撮像しても良い。例えば、焦点を撮像者の指先に合わせる。また、指先の位置の検出を重視するようにスルー画像の画像処理を最適化しても良い。
【００５８】
また、ステップＳ１５において、１つの評価領域に最適化した露出制御、焦点調節、ホワイトバランス調整を行う例を示したが、これに限らない。例えば、ステップＳ１において、撮像者から受け付けた露出制御、焦点調節、ホワイトバランス調整のうち、何れか任意の処理の組み合わせに応じて個々に評価領域を設定しても良い。また、本撮像するごとに、操作部１１を介して撮像者から評価領域に連動する機能の選択を受け付ける構成にしても良い。
【００５９】
また、上記の実施形態において、評価領域の形状および大きさは、限定されない。
【００６０】
また、上記の実施形態では、電子カメラ１の背面に設置された表示部１０に画像を表示したが、表示部１０に限らない。例えば、電子カメラ１は電子ビューファインダをさらに備え、電子ビューファインダに画像を表示しても良い。
【図面の簡単な説明】
【００６１】
【図１】電子カメラ１の構成を示すブロック図である。
【図２】電子カメラ１における撮像時の制御部７の動作を示すフローチャートである。
【図３】撮像者が右手で電子カメラ１を構えて左手の指先で花Ａを指差す例を示す図である。
【図４】撮像者の手指先の位置を検出する例を示す図である。
【図５】電子カメラ１における設定時の制御部７の動作を示すフローチャートである。
【図６】電子カメラ１における再生時の制御部７の動作を示すフローチャートである。
【図７】手指先の位置に対応するメニュー画面の選択項目を枠で囲う例を示す図である。
【図８】手指先の位置に対応する位置に表示するマークとサムネイル画像とを重ねて表示する例を示す図である。
【符号の説明】
【００６２】
１…電子カメラ、２…撮像レンズ、３…撮像素子、４…Ａ／Ｄ変換部、５…画像処理部、７…制御部、１０…表示部
【特許請求の範囲】
【請求項１】
被写体を撮像して画像のデータを生成する撮像部と、
前記撮像部により生成した画像のデータを解析することにより、前記画像における撮像者の手指先の位置を検出する検出部と
を備えることを特徴とする電子カメラ。
【請求項２】
請求項１に記載の電子カメラにおいて、
前記手指先の位置に応じて、前記撮像部を制御して露出制御と焦点調節との少なくとも一方を行う制御部をさらに備える
ことを特徴とする電子カメラ。
【請求項３】
請求項１に記載の電子カメラにおいて、
前記撮像部により生成した画像のホワイトバランスを調整するホワイトバランス調整部をさらに備え、
前記制御部は、前記手指先の位置に応じて、ホワイトバランス調整に用いる評価領域を設定するとともに、前記ホワイトバランス調整部を制御して、前記評価領域に最適化したホワイトバランス調整を行う
ことを特徴とする電子カメラ。
【請求項４】
請求項１に記載の電子カメラにおいて、
前記撮像部により生成した画像と所定の画像とを重ねて表示する表示部をさらに備え、
前記制御部は、前記手指先の位置に応じて、前記手指先の位置に対応する前記所定の画像の一部領域を決定する
ことを特徴とする電子カメラ。
【請求項５】
請求項４に記載の電子カメラにおいて、
前記所定の画像は、各種の機能設定に関するメニュー画像である
ことを特徴とする電子カメラ。
【請求項６】
請求項１に記載の電子カメラにおいて、
所定の画像と前記手指先の位置に対応する位置に表示するマークとを重ねて表示する表示部をさらに備える
ことを特徴とする電子カメラ。
【請求項１】
被写体を撮像して画像のデータを生成する撮像部と、
前記撮像部により生成した画像のデータを解析することにより、前記画像における撮像者の手指先の位置を検出する検出部と
を備えることを特徴とする電子カメラ。
【請求項２】
請求項１に記載の電子カメラにおいて、
前記手指先の位置に応じて、前記撮像部を制御して露出制御と焦点調節との少なくとも一方を行う制御部をさらに備える
ことを特徴とする電子カメラ。
【請求項３】
請求項１に記載の電子カメラにおいて、
前記撮像部により生成した画像のホワイトバランスを調整するホワイトバランス調整部をさらに備え、
前記制御部は、前記手指先の位置に応じて、ホワイトバランス調整に用いる評価領域を設定するとともに、前記ホワイトバランス調整部を制御して、前記評価領域に最適化したホワイトバランス調整を行う
ことを特徴とする電子カメラ。
【請求項４】
請求項１に記載の電子カメラにおいて、
前記撮像部により生成した画像と所定の画像とを重ねて表示する表示部をさらに備え、
前記制御部は、前記手指先の位置に応じて、前記手指先の位置に対応する前記所定の画像の一部領域を決定する
ことを特徴とする電子カメラ。
【請求項５】
請求項４に記載の電子カメラにおいて、
前記所定の画像は、各種の機能設定に関するメニュー画像である
ことを特徴とする電子カメラ。
【請求項６】
請求項１に記載の電子カメラにおいて、
所定の画像と前記手指先の位置に対応する位置に表示するマークとを重ねて表示する表示部をさらに備える
ことを特徴とする電子カメラ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−１６６９３（Ｐ２０１０−１６６９３Ａ）
【公開日】平成２２年１月２１日（２０１０．１．２１）
【国際特許分類】
【出願番号】特願２００８−１７５８７４（Ｐ２００８−１７５８７４）
【出願日】平成２０年７月４日（２００８．７．４）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２２年１月２１日（２０１０．１．２１）
【国際特許分類】
【出願日】平成２０年７月４日（２００８．７．４）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]