操作入力判定装置および撮像装置
【課題】タッチパネルを用いることなく、操作内容を入力する際の操作性を向上させること。
【解決手段】撮像部が連続して撮像した複数の画像のデータを入力する入力部と、指示手段を示す画像とともに前記指示手段により操作される操作対象画像を表示部に表示させる表示制御部と、前記入力部により入力された前記画像データに基づき予め決められた特徴を有する画像領域を前記指示手段として当該画像内から検出する指示手段検出部と、前記指示手段検出部の検出結果と前記複数の画像のデータとに基づいて、前記操作対象画像に対する前記指示手段の動作を検出し、当該指示手段の動作が予め決められている操作内容を示す動作であるか否かを判定する指示手段動作判定部とを備え、前記指示手段動作判定部が、予め決められている操作内容を示す当該指示手段の動作であると判定した場合、当該操作内容を受け付ける。
【解決手段】撮像部が連続して撮像した複数の画像のデータを入力する入力部と、指示手段を示す画像とともに前記指示手段により操作される操作対象画像を表示部に表示させる表示制御部と、前記入力部により入力された前記画像データに基づき予め決められた特徴を有する画像領域を前記指示手段として当該画像内から検出する指示手段検出部と、前記指示手段検出部の検出結果と前記複数の画像のデータとに基づいて、前記操作対象画像に対する前記指示手段の動作を検出し、当該指示手段の動作が予め決められている操作内容を示す動作であるか否かを判定する指示手段動作判定部とを備え、前記指示手段動作判定部が、予め決められている操作内容を示す当該指示手段の動作であると判定した場合、当該操作内容を受け付ける。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作入力判定装置および撮像装置に関する。
【背景技術】
【０００２】
例えば、タッチパネルにタッチする位置や時間に応じて、タッチパネルに与えられた操作がドラック操作であるか、フリック操作であるか、あるいはタップ操作であるかを判定する表示制御装置がある（例えば、特許文献１参照）。このように、タッチパネルを用いる場合、直感的な入力操作を実現するできるため操作性がよい。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−０３９７０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、小型のカメラや携帯ゲーム機等では、表示画面自体が小さく、十分な大きさのタッチパネルを搭載できない場合がある。また、操作内容が細かく操作項目が複数にわたる場合、各操作内容を指示する画像内でのボタンが小さくなる場合がある。このため、人の指先で操作する場合は、誤入力が発生する問題がある。
【０００５】
本発明は、前記の点に鑑みてなされたものであり、タッチパネルを用いることなく、操作内容を入力する際の操作性を向上させることができる操作入力判定装置および撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するためになされたものであり、本発明の一実施形態に係る操作入力判定装置は、撮像部が連続して撮像した、指示手段を含む複数の画像のデータを入力する入力部と、前記指示手段を示す画像とともに、前記指示手段により操作される操作対象画像を表示部に表示させる表示制御部と、前記入力部により入力された前記画像データに基づき、予め決められた特徴を有する画像領域を前記指示手段として当該画像内から検出する指示手段検出部と、前記指示手段検出部の検出結果と、前記入力部により入力された前記複数の画像のデータとに基づいて、前記操作対象画像に対する前記指示手段の動作を検出し、当該指示手段の動作が予め決められている操作内容を示す動作であるか否かを判定する指示手段動作判定部と、前記指示手段動作判定部が、予め決められている操作内容を示す当該指示手段の動作が前記複数の画像のデータに含まれていると判定した場合、当該操作内容を受け付ける。
【発明の効果】
【０００７】
本発明によれば、タッチパネルを用いることなく、操作内容を入力する際の操作性を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る撮像装置の構成の一例を示すブロック図である。
【図２】本発明の実施形態に係る制御部の構成の一例を示すブロック図である。
【図３】本願実施形態に係る撮像装置１の動作フローについて説明するためのフローチャートである。
【図４】本発明の実施形態に係る入力対象を選択するための操作画像の一例を示す図である。
【図５】本発明の実施形態に係るＯＳＤ表示処理の実行を指示するための操作画面の一例を示す図である。
【図６】本発明の実施形態に係る操作対象画像の一例を示す図である。
【図７】本発明の実施形態に係る操作対象画像における操作エリアが指示された状態の一例を示す図である。
【図８】本発明の実施形態に係るアイコン表示処理の実行を指示するための操作画面の一例を示す図である。
【図９】本発明の実施形態に係る決定操作画像の一例を示す図である。
【図１０】本発明の実施形態に係る決定操作画像が表示されている状態において操作が入力された際の一例を示す図である。
【図１１】一般的なソフトキーボード入力について説明するための図である。
【図１２】本発明の実施形態に係る指示手段の一例を示す図である。
【図１３】本発明の実施形態に係る操作内容解析部によって検出される左右のフリック操作の一例を示す図である。
【図１４】本発明の実施形態に係る操作内容解析部によって検出される上下のフリック操作の一例を示す図である。
【発明を実施するための形態】
【０００９】
本発明の実施形態について図面を参照して詳細に説明する。図１には、本実施形態に係る撮像装置の構成を示すブロック図が示されている。
図１を参照して、本実施形態に係る撮像装置１の構成の一例について説明する。
図１に示す通り、撮像装置１は、撮像部２と、画像処理部３と、バッファメモリ４と、制御部５と、記録Ｉ／Ｆ部６と、表示部７と、操作部８と、記録部９とを有する。この撮像装置１００は、記録Ｉ／Ｆ部６を介して外部構成である記録媒体１０に対して、データの読み出し、あるいは、書き込みを行う。
【００１０】
撮像部２は、光学系２０１と、撮像素子２０２と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部２０３とを備え、設定された撮像条件（例えば絞り値、露出値等）に従って、制御部５により制御される。また、撮像部２は、光学系２０１による光学像を撮像素子２０２に結像させて、Ａ／Ｄ変換部２０３によってデジタル信号に変換された光学像に基づく画像データを生成する。
【００１１】
光学系２０１は、焦点調整レンズ（以下、「ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）レンズ」という）２２１と、振れ補正レンズ（以下、「ＶＲ（Ｖｉｂｒａｔｉｏｎ Ｒｅｄｕｃｔｉｏｎ）レンズ」という）２２２と、ズームレンズ２２３と、レンズ駆動部２２４と、ＡＦエンコーダ２２５と、振れ補正部２２６、ズームエンコーダ２２７と、を有する。
この光学系２０１は、ズームレンズ２２３から入射し、ズームレンズ２２３、ＶＲレンズ２２２、ＡＦレンズ２２１の順番で通過した光学像を、撮像素子２０２の受光面に導く。
【００１２】
レンズ駆動部２２４には、ＡＦレンズ２２１及びズームレンズ２２３の位置を制御するための駆動制御信号が制御部５から入力され、この駆動制御信号に応じて、ＡＦレンズ２２１及びズームレンズ２２３の位置を制御する。この駆動制御信号が制御部５からレンズ駆動部２２４に入力されてレンズ駆動部２２４が駆動することにより、ＡＦレンズ２２１及びズームレンズ２２３が移動する。
【００１３】
ズームエンコーダ２２７は、ズームレンズ２２３の位置を表わすズームポジションを検出し、制御部５に出力する。
ＡＦエンコーダ２２５は、ＡＦレンズ２２１の位置を表わすフォーカスポジションを検出し、制御部５に出力する。
【００１４】
振れ補正部２２６は、光学系２０１の振れを検出し、当該振れを打ち消す方向にＶＲレンズ２２２を駆動する。この振れ補正部２２６は、例えばＶＲレンズ２２２が駆動されている場合にハイレベル、駆動が停止されている場合にローレベルとなる信号を制御部５に出力する。
【００１５】
撮像素子２０２は、受光面に結像した光学像を電気信号に変換して、赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の各色に対応する画像のアナログ信号をＡ／Ｄ変換部２０３に出力する。一方、撮像素子２０３は、操作部８を介して撮像指示を受け付けていない状態において、連続的に得られる画像データをスルー画像のデータとして、Ａ／Ｄ変換部２０３を介して制御部５および表示部７に出力する。
【００１６】
Ａ／Ｄ変換部２０３は、撮像素子２０２からのアナログ信号をデジタル化して、デジタル信号である画像データを画像処理部３に出力する。
【００１７】
画像処理部３は、Ａ／Ｄ変換部２０３から出力された画像データに各種の画像処理（色補間、階調変換処理、輪郭強調処理、ホワイトバランス調整など）を施す。また、画像処理部３は、記録媒体１０に画像データを記録する前にＪＰＥＧ形式などで圧縮する処理や、圧縮された上記のデータを伸長復元する処理も実行する。
【００１８】
バッファメモリ４は、撮像部２によって撮像された画像データを、一時的に記憶する。例えば、バッファメモリ４は、画像処理部３による画像処理の前工程や後工程で画像のデータを一時的に記録する。
【００１９】
制御部５は、所定のシーケンスプログラムにしたがって、撮像装置１の統括的な制御を行うプロセッサである。
この制御部５は、表示部７の表示画面に表示される操作対象画像を、撮像部１が撮像した指示手段が操作する操作入力（以下、バーチャルタッチパット入力モードという）を実現する処理を実行する。このバーチャルタッチパット入力モードとは、表示画面に表示される操作対象画像に指示手段（例えば、人の指）が直接タッチして操作するのではなく、実空間中を動く指示手段が表示部７の表示画面上に表示される操作対象画像を操作して入力をする操作入力方法である。つまり、操作対象画像は、表示部７に表示することによってユーザが視認することができる画像であるととともに、撮像部１によって撮像された指示手段が表示部７に表示される画像内において操作可能な仮想空間上の画像である。
なお、制御部５の詳細な構成については、図２を参照して後述する。
【００２０】
記録Ｉ／Ｆ部６は、記録媒体１０を接続するためのコネクタが形成される。この記録Ｉ／Ｆ部６は、コネクタに接続された記録媒体１０に対してデータの書き込み／読み込みを実行する。
表示部７は、例えば液晶ディスプレイであって、制御部５の制御により各種の画像を表示する。この表示部７に表示される各種の画像は、撮像画像、スルー画像、記録媒体１０に記録した画像、操作画像、メニュー画像などを含む。
【００２１】
操作部８は、レリーズボタン８０１や操作ボタン８０２等の操作部材を含み、ユーザによって操作されることでユーザの操作入力を受け付け、操作入力に応じた操作情報を制御部５に出力する。
レリーズボタン８０１は、撮像動作の指示をユーザから受け付ける。操作ボタン８０２は、操作画面やメニュー画像等での操作入力をユーザから受け付ける。
記録部９は、バーチャルタッチパット入力モードの処理において必要な情報を記録する。この記録部９は、例えば、バーチャルタッチパット入力モードが設定されている場合、バーチャルタッチパット入力モードが設定されていることを示す情報が記録されている。
【００２２】
次に、図２を参照して、制御部５の構成の一例について、詳細に説明する。図２は、本実施形態に係る制御部５の構成の一例を示す図である。
図２に示す通り、制御部５は、撮像制御部５０１と、画像入力部５０２と、操作内容解析部５０３と、表示制御部５０４と、登録部５０５とを有する。
【００２３】
撮像制御部５０１は、撮像条件の下、撮像部２を制御する。この撮像制御部５０１は、バーチャルタッチパット入力モードが設定された場合、例えば、オートフォーカス機能を利用して、被写体である指示手段にピントを合わせるようにＡＦレンズ２２１を制御する。また、撮像制御部５０１は、バーチャルタッチパット入力モードが設定された場合、例えば、広角側の焦点位置となるようにズームレンズ２２３を制御する。
【００２４】
画像入力部５０２は、撮像部２によって撮像された画像のデータが画像処理部３を介して入力される。この画像入力部５０２は、入力した画像のデータを操作内容解析部５０３および表示制御部５０４に出力する。
【００２５】
操作内容解析部５０３は、指示手段検出部５３１と、決定操作内容解析部５３２と、指示手段動作判定部５３３とを含む。
【００２６】
指示手段検出部５３１は、スルー画像から予め決められている特徴を有する指示手段を検出する。本実施形態において、指示手段は、人の指であり、指示手段検出部５３１は、スルー画像のデータに対して画像解析を行うことで、人の指の形状や色の特徴を有する画像領域を検出する。なお、指示手段検出部５３１による人の指の検出方法については、公開されている特開２０１０−１６６９７３号公報に記載されている技術を利用することができる。本明細書での詳細な説明は省略する。
また、指示手段検出部５３１は、検出した指示手段の画像内における位置を示す指示ポイントを検出する。この指示手段検出部５３１は、検出した指示手段のうち、指示手段が指定する指示ポイントとして、指先の位置を示すポイントを検出する。
【００２７】
また、指示手段検出部５３１は、記録部９に記録されている指示手段判定情報を参照して、指示手段判定情報が示す予め登録された指示手段を検出する。例えば、指示手段検出部５３１は、予め登録されている指示手段の特徴を示す形状、大きさ、あるいは色を示す情報、又は、予め登録されている指示手段が撮像される際の焦点距離あるいはズーム位置を示す情報（指示手段判定情報）のうち少なくとも１つの情報に基づき、登録されている情報が示す指示手段を検出する。
【００２８】
決定操作内容解析部５３２は、操作部８から操作信号が出力されたか否かを判定する。つまり、決定操作内容解析部５３２は、ＯＳＤ表示処理、あるいは、アイコン表示処理の状態において、決定指示が出力されたか否かを判定する。
例えば、操作部８のレリーズボタン８０１が押下された場合、決定操作内容解析部５３２は、操作部８から操作信号が出力した際、指示手段が指示する操作エリアに対応する操作内容を決定する。なお、この指示手段が指示する操作エリアを示す情報は、指示手段検出部５３１によって、操作部８から操作信号が出力した際に撮像された画像データに基づき検出されている。
【００２９】
指示手段動作判定部５３３は、指示手段検出部５３１によって検出された指示手段の動きが予め決められている操作内容を示す動作であるか否かを判定する。
例えば、指示手段動作判定部５３３は、指示手段検出部５３１から検出された指示手段の指示ポイントに基づき、撮像部２によって撮像された画像内の指示ポイントの移動軌跡と移動速度を検出する。なお、指示手段動作判定部５３３は、時系列に連続して撮像された複数の画像における指示ポイントの移動軌跡を追跡している。
指示手段動作判定部５３３は、検出した指示ポイントの移動軌跡と移動速度に基づき、指示手段の動きが予め決められている操作内容を示す動作であるか否かを判定する。この予め決められている操作内容として、フリック操作やドラッグ操作がある。
【００３０】
フリック操作とは、すばやく操作対象画像をはじく操作である。指示手段動作判定部５３３は、指示ポイントの移動速度が予め決められた閾値以上であった場合、当該移動した指示ポイントの移動軌跡に基づき、指示ポイントの移動方向を判定する。そして、指示手段動作判定部５３３は、判定した移動方向にフリック操作が入力されたことを判定する。
また、ドラック操作とは、フリック操作に比べて、遅い速度で指示手段を操作画面上で移動させる操作である。指示手段動作判定部５３３は、指示ポイントの移動速度が予め決められた閾値未満であった場合、操作画像上における操作エリアを指示ポイントが指示した状態において、当該指示ポイントが移動されたか否かを判定する。そして、指示手段動作判定部５３３は、当該指示ポイントが移動したことを判定した場合、当該移動した指示ポイントの移動軌跡に基づき、指示ポイントの移動方向を判定する。この指示手段動作判定部５３３は、判定した移動方向にドラッグ操作が入力されたことを判定する。
【００３１】
表示制御部５０４は、表示部７に表示される画像を制御する。この表示制御部５０４は、例えば、操作対象画像上にスルー画像から生成された指示手段の画像を重畳して表示するＯＳＤ表示処理、あるいは、操作対象画像上に指示手段に対応するアイコンの画像を重畳して表示するアイコン表示処理を実行する。
【００３２】
このＯＳＤ表示処理とは、例えば、撮像部２が撮像した指示手段を含む画像に対して、ブルーバック処理あるいはグリーンバック処理のように、背景画像を透過させる処理を行い、この背景画像を透過処理した画像を操作対象画像上に重畳して表示する表示処理をいう。この背景画像は、例えば、撮像部２が撮像した指示手段を含む画像のうち、指示手段以外の画像をいう。この背景画像は、指示手段がない状態がユーザによって撮像されることにより決定される。
表示制御部５０４は、ＯＳＤ表示処理において、指示手段を撮像したスルー画像に対して、指示手段以外の画像（以下、背景画像という）が透過する透過処理を実行して、背景透過画像を作成する。この背景透過画像は、例えば、背景透過画像の下に配置された画像のうち、背景透過画像と重なりあう部分を１００％透過するものである。この表示制御部５０４は、操作対象画像上に背景透過画像を重畳した画像を表示部７に表示させる。これにより、表示部７に表示する操作対象画像を撮像部７が撮像した指示手段が操作しているような画像を作成することができる。
【００３３】
また、表示制御部５０４は、アイコン表示処理において、指示手段検出部５３１によって検出された指示手段が指示する指示ポイントを示すアイコンを操作対象画像上に表示させる。表示制御部５は、指示手段検出部５３１によって検出される指示ポイントの位置を示す情報に基づき、操作対象画像上に表示するアイコンの位置を移動させる。これにより、表示制御部５０４は、撮像部２によって撮像される画像内における指示手段の動きに合わせて、指示ポイントを示すアイコンが動く画像を表示部７に表示させることができる。
【００３４】
本実施形態において、表示制御部５０４は、一定時間内に、ユーザによって背景画像が指定されたか否かを判定する。一定時間内に、ユーザによって背景画像が指定されたことを判定した場合、表示制御部５０４は、ＯＳＤ表示処理を実行する。一方、一定時間内にユーザによって背景画像が指定されなかったことを判定した場合、表示制御部５０４は、アイコン表示処理を実行する。
【００３５】
なお、表示制御部５０４は、上述の表示処理に限られず、例えば、以下のような表示処理を実行するものであってもよい。
例えば、表示制御部５０４は、指示手段をスルー画像やアイコンで操作対象画像上に重畳して表示することなく、撮像部２によって撮像された画像内の指示手段の位置に応じて、操作対象画像内の表示を変更するものであってもよい。この場合、表示制御部５０４は、例えば、指示手段検出部５３１によって検出された指示手段が指示する指示ポイントに対応する操作対象画像内の画像領域の色を変更して、あるいは、当該画像領域の外縁に枠を表示して、指示ポイントに対応する画像領域を強調表示する。
また、表示制御部５０４は、指示手段により操作可能な操作を文字や図にして操作対象画像に表示するものであってもよい。例えば、撮像した撮像画像を表示部７に表示する操作対象画像において、右フリックに対応する操作をした場合、記録媒体１０に記録されている次の撮像画像を表示することを示す情報を表示するものであってもよい。また、このような操作内容を操作説明書等において、ユーザに対して予め説明できる場合、このような操作内容を操作対象画像に表示しなくてもよい。
【００３６】
登録部５０５は、指示手段を検出する際に参照される登録情報を取得し、記録部１０に記録する。この登録情報としては、例えば、指示手段を検出するための指示手段を示す情報として、例えば、ユーザによって設定される指示手段の特徴を示す形状、大きさ、あるいは色を示す情報を含む。また、登録情報は、例えば、指示手段を検出するための撮像条件を示す情報として、指示手段が撮像される際の焦点距離あるいはズーム位置を示す情報を含む。
【００３７】
次に、図３を参照して、本願実施形態に係る撮像装置１の動作フローについて説明する。図３は、本願実施形態に係る撮像装置１の動作フローについて説明するためのフローチャートである。
（ステップＳＴ１）
例えば、操作部８の電源スイッチがＯＮされると、撮像装置１に電源が投入され、内蔵する電池（図示せず）から各構成部に対して電力が供給される。
（ステップＳＴ２）
制御部５は、入力モードとして、バーチャルタッチパット入力モードが設定されているか、あるいは、操作部８を介した入力モード（以下、操作部材入力モードという）が設定されているかを判定する。この制御部５は、記録部９に記録されている入力モードを示す情報を読み出し、読み出された入力モードが設定されていることを判定する。ここで、バーチャルタッチパット入力モードが設定されていた場合、制御部５は、以下の処理に進む。
【００３８】
（ステップＳＴ３）
また、電源がＯＮされると、制御部５は、撮像部２によって撮影されたスルー画像を表示部７に表示するとともに、バーチャルタッチパット入力モードにおいて入力する対象を選択する操作画像を、表示部７に表示させる。この入力する対象を選択する操作画像の一例を、図４に示す。
例えば、撮像部２は、撮像した画像データを画像処理部３に出力する。画像処理部３は、スルー画像の解像度として予め決められている解像度に入力する画像を変換した後、制御部５にスルー画像の画像データを出力する。そして、制御部５の表示制御部５０４は、入力するスルー画像に、図４に示す操作対象画像を重畳して表示部７に表示させる。
そして、操作部８の操作ボタン８０２を介して、ユーザによって入力する対象（例えば、“コメント入力”）が選択されると、制御部５の表示制御部５０４は、例えば、図５に示すようなメッセージをスルー画像に重畳して表示させる。そして、表示制御部５０４は、ＯＳＤ表示処理を実施するための背景画像の指定をユーザに指示するメッセージ（例えば、“背景画像を指定してください”）を表示部７の画面の表示する一例を示す。図５は、ＯＳＤ表示処理の実行をユーザが指示する際に、表示部７に表示される画面の一例を示す図である。
【００３９】
（ステップＳＴ４）
次いで、制御部５は、ユーザによって操作部８のレリーズボタン８０１が押下されたか否かを判定する。
（ステップＳＴ５）
ステップＳＴ４において、操作部８のレリーズボタン８０１が押下された場合、制御部５の撮像制御部５０１は、撮像部２および画像処理部３に対して、例えば、本画像と同等の解像度の画像データを撮像するように制御する。そして、表示制御部５０４は、撮像制御部５０１の制御によって撮像された画像を背景画像と決定し、記録部９に記録する。例えば、無地の壁紙がユーザによって撮影された場合、表示制御部５０４は、この無地の壁紙の画像を背景画像として決定する。
【００４０】
（ステップＳＴ６）
そして、表示制御部５０４は、図６に示す操作対象画像上に、背景画像が透過する透過処理をした背景透過画像を重畳して表示部７に表示させるＯＳＤ表示処理を実行する。
このＯＳＤ表示処理においては、撮像した指示手段、例えば、ユーザの指を操作対象画像上に表示された画像を表示部７に表示する。ユーザは、自身の指を撮像しながら、撮像した自身の指が操作対象画像上を動く画像を表示部７の表示画面で確認し、操作対象画像を操作する。
ここで、ユーザによって自身の指が撮像された場合、表示制御部５０４は、図７に示すような画像を表示部７に表示する。
【００４１】
このＯＳＤ表示処理における操作内容解析部５０３の動作について説明する。操作内容解析部５０３の指示手段検出部５３１は、画像処理部３から入力するスルー画像から、予め決められている特徴を有する指示手段を検出する。
この指示手段検出部５３１は、検出した指示手段のうち、指示手段が指定する指示ポイントの画像内における位置を検出する。本実施形態において、指示手段が指示する指示ポイントは指先である。
【００４２】
表示制御部５０４は、指示手段検出部５３１によって検出された指示ポイントの画像内に位置に対応する操作対象画像内の操作エリアを強調表示する。この操作エリアとは、操作対象画像内における操作ボタンに対応する画像領域である。図６、７に示す例において、操作エリアは、「あ」「か」「さ」「た」「な」「は」「ま」「や」「ら」「わ」を示す部分である。
図７では、ユーザの指の先端が「あ」「か」「さ」「た」「な」「は」「ま」「や」「ら」「わ」の操作エリアのうち、「な」の操作エリア上に位置している。このため、表示制御部５０４は、この「な」の操作部分の色を他の操作エリアよりも強調して表示させる。
【００４３】
（ステップＳＴ７）
一方、ステップＳＴ４において、例えば、予め決められた一定時間以上、操作部８のレリーズボタン８０１が押下されなかった場合、制御部５の表示制御部５０４は、予め決められている指示手段のアイコンを、図８に示す操作対象画像上に表示するアイコン表示処理を実行する。
このアイコン表示処理においては、撮像した指示手段を検出した場合、この指示手段の動きに応じて表示部７の表示画面内を動くアイコンを操作対象画像上に重畳して表示する。ユーザは、自身の指を撮像しながら、撮像した自身の指の動きに連動して動く操作対象画像上のアイコンを表示部７の表示画面で確認し、操作対象画像を操作する。このアイコン表示処理の詳細については、後述する。
なお、操作内容解析部５０３は、上述のＯＳＤ表示処理と同様にして、指示手段を検出する。表示制御部５０４は、検出された指示手段によって指示されている操作対象画像上の操作エリアを強調して表示させる。
【００４４】
（ステップＳＴ８）
次いで、操作内容解析部５０３の決定操作内容解析部５３２は、操作部８から操作信号が入力されたか否かを判定する。つまり、操作内容解析部５０３の決定操作内容解析部５３２は、ＯＳＤ表示処理、あるいは、アイコン表示処理の状態において、決定指示が入力されたか否かを判定する。
例えば、操作部８のレリーズボタン８０１が押下された場合、決定操作内容解析部５３２は、操作部８から操作信号が出力した際、指示手段が指示する操作エリアに対応する操作内容を決定する。なお、この指示手段が指示する操作エリアを示す情報は、指示手段検出部５３１によって、操作部８から操作信号が出力した際に撮像された画像データに基づき検出されている。
【００４５】
（ステップＳＴ９）
そして、操作内容解析部５０３の決定操作内容解析部５３２は、決定指示が入力された場合、決定された操作内容に対応する操作画像（以下、決定操作画像という）を操作対象画像に重畳して表示させる。この決定操作画像を操作対象画像に重畳して表示する一例を図９に示す。
例えば、「な」の操作エリアが指示手段によって指定されている状態において、ユーザが決定指示をした場合、決定操作内容解析部５３２は、「な」の操作エリアが決定されたことを示す情報を表示制御部５０４に出力する。この表示制御部５０４は、入力する情報に基づき、図９に示すように「な」の操作エリアに対応する決定操作画像として、「にぬねの」を指定するための操作方向を示す画像を操作対象画像上に表示させる。
この決定操作画像は、指を上にフリックする操作（上フリック）により「に」が指示可能であること、指を左にフリックする操作（左フリック）により「ぬ」が指示可能であること、指を右にフリックする操作（右フリック）により「ね」が指示可能であること、指を下にフリックする操作（下フリック）により「の」が指示可能であること、をそれぞれ示している。
【００４６】
（ステップＳＴ１０）
次いで、操作内容解析部５０３の指示手段動作判定部５３３は、指示手段検出部５３１によって検出された指示手段の動きが予め決められている操作内容を示す動作であるか否かを判定する。つまり、操作内容解析部５０３の指示手段動作判定部５３３は、決定操作画像において操作可能な動作が撮像部２によって撮像されたか否かを判定する。
【００４７】
（ステップＳＴ１１）
例えば、図９に示すような決定操作画像が表示されている状態において、指を上にフリックする操作（上フリック）がされた場合、指示手段検出部５３１は、この指の動きを撮像したスルー画像に基づき、検出した指示手段の指示ポイントの画像内での位置の移動を示す情報を取得し、指示手段動作判定部５３３に出力する。この指示手段動作判定部５３３は、指示手段検出部５３１から入力する指示ポイントの画像内での位置の動きを示す情報に基づき、指示手段の動作が、図１０に示すような決定操作画像において入力可能な操作動作として予め決められている動作であるか否かを判定する。この場合、指示手段動作判定部５３３は、指示ポイントの画像内での位置の動きに基づき、指を上にフリックする操作（上フリック）が入力されたことを判定し、「に」が指示されたことを判定する。
【００４８】
上述の通り、本実施形態に係る撮像装置１は、上記構成により、タッチパネルを用いることなく、表示部７に表示される操作対象画像に対して、撮像される指示手段の動作に応じた操作入力を実現することができる。これにより、タッチパネルを用いることなく、直感的な操作入力が可能となり操作性が向上する。
また、本実施形態に係る撮像装置１は、上記構成により、タッチパネルにおけるタッチ操作を受け付けることができる。つまり、決定操作内容解析部５３２によって、決定指示が入力された状態の操作内容を決定することにより、フリック操作やドラック操作の対象を操作ごとに細分化することができる。
【００４９】
例えば、ページ送りの操作入力の際、フリック操作は操作対象画像上において、ページ内のどの部分でフリック操作をしたとしても、フリック操作に対応する操作入力がページ送りのみであるため問題がない。しかし、上述の実施形態のように、文字入力をするような操作対象画像では、はじめに、「あ」〜「わ」までの文字を選択し、選択された文字毎に、フリック操作による操作入力が異なる。つまり、「あ」が選択された状態で上方向にフリック操作が入力された場合「い」の操作入力となるが、「な」が選択された状態で上方向にフリック操作が入力された場合「に」の操作入力となる。このように、フリック操作やドラック操作等の動作に応じて、その後の操作内容が異なる場合、フリック操作等を実行するまえに操作内容を決定する必要がある。
本実施形態に係る撮像装置１は、決定操作内容解析部５３２が決定指示が入力された際の操作内容を決定し、指示手段動作判定部５３３が、決定操作内容解析部５３２によって決定された操作内容に基づき、入力される指示手段の動作を判定する。これにより、上述のような操作入力であっても受け付けることができる。
【００５０】
なお、多くの一般的なデジタルカメラには、タッチパネルが搭載されていない。考えられる理由としては、デジタルカメラは、撮影シーンの状況に即座に設定変更する必要があるため、タッチパネルの操作入力に比べて、ボタンでの操作入力の方が素早く確実に操作できる点があげられる。また、デジタルカメラにタッチパネルを搭載するためには、ある程度の大きさの表示パネルを有するデジタルカメラでなければ、タッチパネルを指で操作しにくい。このため、デジタルカメラに搭載される表示パネルのサイズを大きくする必要があり、さらにコストがかかる点があげられる。
本実施形態に係る撮像装置１は、上述のような現状において、タッチパネルを用いずに、直感的な操作入力をできる点で有益である。
【００５１】
また、多くの一般的なデジタルカメラでは、文字入力をする際に、タッチパネルを用いずに、４方向のマルチセレクターで画面に表示される文字を選択し、決定ボタンで確定する方法が一般的である。この一般的な操作方法について、図１１を参照して説明する。この場合、デジタルカメラの表示部に図１１に示すような画面が表示部に表示され、ユーザは、キーボードエリアに表示されている文字に対してカーソルを合わせる操作をマルチセレクターにより実行する。そして、ユーザは、入力する文字にカーソルを合わせ、決定ボタンを押下する。これにより、１文字が入力され、入力された文字が名前エリアに表示される。このような操作を繰り返して、文字入力をする必要があるため操作性が悪い。
本実施形態に係る撮像装置１は、上述のような文字入力における手間を省き、操作性を向上することができる。
【００５２】
また、本実施形態に係る撮像装置１は、新たな構成部材を追加することなく、上述したような処理を実行するプログラムを制御部５にインストールすることにより、上述のような操作性の悪さを改善することができる。よって、コストの増加も抑えることができる。
【００５３】
また、本実施形態に係る撮像装置１は、片手で撮像装置１を持ちながら、もう一方の手を使い画角内に収まるように手を動かし操作する必要がある。この場合には、撮像装置１を片手でホールドしながら、もう一方の手動かすため、撮像装置１も動きがちである。これにより、操作者ではない人物の手が写りこんでしまうおそれがある。この場合、撮像部２によって撮像された画像内において、どれが操作者の手なのか、つまり、操作手段であるかの判定を誤る可能性がある。
この問題を解決するため、本実施形態に係る撮像装置１は、以下のような構成を有するものであってもよい。
例えば、指示手段検出部５３１は、撮像部２によって撮像された画像内に、人の指が検出された場合、当該指が２本以上であって、かつ、当該指がそろえたれた状態であるか否かを判定する。この指が２本以上である指示手段の一例を図１２に示す。指示手段検出部５３１は、このときの手の形状や爪の数等に基づき、指が２本以上の指示手段を検出することができる。このような指の形状は、操作入力を意図するユーザによって撮像される可能性が高く、一方、単純に移りこんでしまった人の手が、図１２に示すような形状で検出される可能性は低い。よって、指示手段検出部５３１による指示手段の検出精度を高め、誤検出を低減することができる。
【００５４】
また、指示手段検出部５３１は、登録部５０５によって登録されている登録情報を記録部９から読み出し、この登録情報を参照して、指示手段を検出するものであってもよい。例えば、ユーザが、右利きであることを登録設定した場合、右利きの場合、撮像装置１を右手で持ち、左手を指示手段として使用する可能性が高い。この場合、登録部５０５は、指示手段が左手であることを示す情報を記録部９に記録する。その他にも、ユーザの肌の色が色白よりなのか、あるいは、小麦色なのかを登録部５０５が記録部９に登録しておく。また、ユーザが成人男性であれば、一般的な成人男性の手の大きさを登録しておく。なお、手の大きさは、撮像装置１を自身で持って、自身の手を撮像する環境下では、ある程度決められる。
指示手段検出部５３１は、これら登録情報に基づき、ユーザの手に近い被写体を指示手段として検出することができる。
【００５５】
さらに、指示手段検出部５３１は、登録部５０５によって登録されている登録情報のうち、ズーム位置や焦点距離に基づき、指示手段を検出するものであってもよい。撮像装置１を自身で持って、自身の手を撮像する環境下では、ズーム位置や焦点距離がある程度決められる。指示手段検出部５３１は、指示手段を検出する対象である画像が撮像部２によって撮像された際の撮像条件（ズーム位置や焦点距離）を示す情報を撮像制御部５０１から入力し、この撮像条件を示す情報に基づき、撮像された画像内から指示手段である可能性の高い被写体を検出する。
【００５６】
また、撮像制御部５０１は、登録部５０５によって登録されている登録情報のうち、ズーム位置や焦点距離等の撮像条件に従って、撮像部２を制御するものであってもよい。そして、指示手段検出部５３１は、被写体の中からズーム位置や焦点距離のあう被写体を指示手段として検出する。
なお、ズーム位置や焦点距離は、マニュアル操作が可能な撮像装置において、ユーザの操作によって変更される場合がある。この場合、ズーム位置や焦点距離が指示手段を撮像する撮像条件にあっていない場合、表示制御部５０４は、表示部７に対して、「ワイド端に設定してください」、「レンズがバーチャルタッチパット入力に不適切なため、ソフトキーボード入力を利用してください」等のメッセージを表示させる。なお、ソフトキーボード入力とは、図１１を参照して説明したような操作入力のことである。
【００５７】
また、決定操作内容解析部５３２は、上記の通り、レリーズボタン８０１が押下されたことにより、決定指示を入力するものに限られず、以下のような構成であってもよい。例えば、撮像部２によって撮像される指示手段が図１２に示すような２本指である場合、この２本を指がＶ字上に開いた場合、決定指示が入力されたことを判定するものであってもよい。
【００５８】
さらに、指示手段の動きが高速であった場合、指示手段検出部５３１が指示手段の動きに追従できないおそれがある。また、指示手段を撮像する環境が暗い場合、指示手段検出部５３１が指示手段を検出できないおそれがある。この問題を解決するため、制御部５は、指示手段を撮像する際には、高速シャッターを使用するものであってもよく、ＩＳＯ感度を上げるものであってもよい。また、制御部５は、夜間の撮影のために設けられた機能であるナイトショット機能を利用して、赤外線を被写体に照射したり、暗い環境において撮像された被写体の画像を鮮明する画像処理を施すものであってもよい。さらに、プロジェクター用の光源が搭載されている撮像装置においては、制御部５は、指示手段を撮像する際に、この光源からの光を照射するものであってもよい。
【００５９】
また、指示手段による操作入力が腕を大きく動かす動きである場合、他方の手で保持する撮像装置１も動いてしまうおそれがある。この問題を解決するため、操作内容解析部５０３は、以下に説明するような手首を中心とした動きを検出するものであってもよい。
【００６０】
図１３は、操作内容解析部５０３によって検出される左右のフリック操作の一例を示す図である。
図１３に示す通り、操作内容解析部５０３によって検出される左右のフリック操作は、手首を中心として、指が動ける範囲内での動きが操作入力動作であることが予め決められている。例えば、指示手段検出部５３１は、指示手段として、図１２に示すような人の指を検出した場合、人の手首に相当する画像内の位置を基準位置として検出し、人の指先に相当する画像内の位置を指示ポイントとして検出する。指示手段動作判定部５３３は、指示手段検出部５３１によって検出された指示手段の指示ポイントが、撮像部２によって撮像された画像内において、基準位置から予め決められた範囲内で、左右の方向に移動する動きであるか否かを判定する。本実施形態において、この範囲は、基準位置を中心として、指示ポイントが左右に±６０度の範囲で移動する範囲である。
指示手段動作判定部５３３は、指示ポイントが、基準位置を中心として、右回転する方向に（例えば、＋６０°の範囲）に移動した場合、右方向のフリック操作が入力されたことを判定する。また、指示手段動作判定部５３３は、指示ポイントが、基準位置を中心として、左回転する方向に（例えば、−６０°の範囲）に移動した場合、左方向のフリック操作が入力されたことを判定する。
【００６１】
図１４は、操作内容解析部５０３によって検出される上下のフリック操作の一例を示す図である。
図１４（ａ）に示す通り、操作内容解析部５０３によって検出される上下のフリック操作は、手首を中心として、指が動ける範囲内での動きが操作入力動作であることが予め決められている。
例えば、図１４（ａ）に示す通り、指が隠される動作を下方向のフリック操作、図１４（ｂ）に示す通り、上方向に指を動かす動作を上方向のフリック操作、と予め決めておく。
指示手段検出部５３１は、指示手段検出部５３１によって検出された指示手段の指示ポイントが、撮像部２によって撮像された画像内において、人の指先が下方向に移動した後に画面内から消失する動きであると判定した場合、下方向のフリック操作が入力されたことを判定する。
また、指示手段動作判定部５３３は、指示手段検出部５３１によって検出された指示手段の指示ポイントが、撮像部２によって撮像された画像内において、上の方向に移動する動きであると判定した場合、上方向のフリック操作が入力されたことを判定する。
【００６２】
また、制御部５等による手順を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものであってもよい。
【００６３】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記録装置のことをいう。
【００６４】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記録装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００６５】
１…撮像装置、２…撮像部、３…画像処理部、４…バッファメモリ、５…制御部、６…記録Ｉ／Ｆ部、７…表示部、８…操作部、９…記録部、１０…記録媒体、５０１…撮像制御部、５０２…画像入力部、５０３…操作内容解析部、５０４…表示制御部、５０５…登録部、５３１…指示手段検出部、５３２…決定操作内容解析部、５３３…指示手段動作判定部
【技術分野】
【０００１】
本発明は、操作入力判定装置および撮像装置に関する。
【背景技術】
【０００２】
例えば、タッチパネルにタッチする位置や時間に応じて、タッチパネルに与えられた操作がドラック操作であるか、フリック操作であるか、あるいはタップ操作であるかを判定する表示制御装置がある（例えば、特許文献１参照）。このように、タッチパネルを用いる場合、直感的な入力操作を実現するできるため操作性がよい。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−０３９７０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、小型のカメラや携帯ゲーム機等では、表示画面自体が小さく、十分な大きさのタッチパネルを搭載できない場合がある。また、操作内容が細かく操作項目が複数にわたる場合、各操作内容を指示する画像内でのボタンが小さくなる場合がある。このため、人の指先で操作する場合は、誤入力が発生する問題がある。
【０００５】
本発明は、前記の点に鑑みてなされたものであり、タッチパネルを用いることなく、操作内容を入力する際の操作性を向上させることができる操作入力判定装置および撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するためになされたものであり、本発明の一実施形態に係る操作入力判定装置は、撮像部が連続して撮像した、指示手段を含む複数の画像のデータを入力する入力部と、前記指示手段を示す画像とともに、前記指示手段により操作される操作対象画像を表示部に表示させる表示制御部と、前記入力部により入力された前記画像データに基づき、予め決められた特徴を有する画像領域を前記指示手段として当該画像内から検出する指示手段検出部と、前記指示手段検出部の検出結果と、前記入力部により入力された前記複数の画像のデータとに基づいて、前記操作対象画像に対する前記指示手段の動作を検出し、当該指示手段の動作が予め決められている操作内容を示す動作であるか否かを判定する指示手段動作判定部と、前記指示手段動作判定部が、予め決められている操作内容を示す当該指示手段の動作が前記複数の画像のデータに含まれていると判定した場合、当該操作内容を受け付ける。
【発明の効果】
【０００７】
本発明によれば、タッチパネルを用いることなく、操作内容を入力する際の操作性を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る撮像装置の構成の一例を示すブロック図である。
【図２】本発明の実施形態に係る制御部の構成の一例を示すブロック図である。
【図３】本願実施形態に係る撮像装置１の動作フローについて説明するためのフローチャートである。
【図４】本発明の実施形態に係る入力対象を選択するための操作画像の一例を示す図である。
【図５】本発明の実施形態に係るＯＳＤ表示処理の実行を指示するための操作画面の一例を示す図である。
【図６】本発明の実施形態に係る操作対象画像の一例を示す図である。
【図７】本発明の実施形態に係る操作対象画像における操作エリアが指示された状態の一例を示す図である。
【図８】本発明の実施形態に係るアイコン表示処理の実行を指示するための操作画面の一例を示す図である。
【図９】本発明の実施形態に係る決定操作画像の一例を示す図である。
【図１０】本発明の実施形態に係る決定操作画像が表示されている状態において操作が入力された際の一例を示す図である。
【図１１】一般的なソフトキーボード入力について説明するための図である。
【図１２】本発明の実施形態に係る指示手段の一例を示す図である。
【図１３】本発明の実施形態に係る操作内容解析部によって検出される左右のフリック操作の一例を示す図である。
【図１４】本発明の実施形態に係る操作内容解析部によって検出される上下のフリック操作の一例を示す図である。
【発明を実施するための形態】
【０００９】
本発明の実施形態について図面を参照して詳細に説明する。図１には、本実施形態に係る撮像装置の構成を示すブロック図が示されている。
図１を参照して、本実施形態に係る撮像装置１の構成の一例について説明する。
図１に示す通り、撮像装置１は、撮像部２と、画像処理部３と、バッファメモリ４と、制御部５と、記録Ｉ／Ｆ部６と、表示部７と、操作部８と、記録部９とを有する。この撮像装置１００は、記録Ｉ／Ｆ部６を介して外部構成である記録媒体１０に対して、データの読み出し、あるいは、書き込みを行う。
【００１０】
撮像部２は、光学系２０１と、撮像素子２０２と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部２０３とを備え、設定された撮像条件（例えば絞り値、露出値等）に従って、制御部５により制御される。また、撮像部２は、光学系２０１による光学像を撮像素子２０２に結像させて、Ａ／Ｄ変換部２０３によってデジタル信号に変換された光学像に基づく画像データを生成する。
【００１１】
光学系２０１は、焦点調整レンズ（以下、「ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）レンズ」という）２２１と、振れ補正レンズ（以下、「ＶＲ（Ｖｉｂｒａｔｉｏｎ Ｒｅｄｕｃｔｉｏｎ）レンズ」という）２２２と、ズームレンズ２２３と、レンズ駆動部２２４と、ＡＦエンコーダ２２５と、振れ補正部２２６、ズームエンコーダ２２７と、を有する。
この光学系２０１は、ズームレンズ２２３から入射し、ズームレンズ２２３、ＶＲレンズ２２２、ＡＦレンズ２２１の順番で通過した光学像を、撮像素子２０２の受光面に導く。
【００１２】
レンズ駆動部２２４には、ＡＦレンズ２２１及びズームレンズ２２３の位置を制御するための駆動制御信号が制御部５から入力され、この駆動制御信号に応じて、ＡＦレンズ２２１及びズームレンズ２２３の位置を制御する。この駆動制御信号が制御部５からレンズ駆動部２２４に入力されてレンズ駆動部２２４が駆動することにより、ＡＦレンズ２２１及びズームレンズ２２３が移動する。
【００１３】
ズームエンコーダ２２７は、ズームレンズ２２３の位置を表わすズームポジションを検出し、制御部５に出力する。
ＡＦエンコーダ２２５は、ＡＦレンズ２２１の位置を表わすフォーカスポジションを検出し、制御部５に出力する。
【００１４】
振れ補正部２２６は、光学系２０１の振れを検出し、当該振れを打ち消す方向にＶＲレンズ２２２を駆動する。この振れ補正部２２６は、例えばＶＲレンズ２２２が駆動されている場合にハイレベル、駆動が停止されている場合にローレベルとなる信号を制御部５に出力する。
【００１５】
撮像素子２０２は、受光面に結像した光学像を電気信号に変換して、赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の各色に対応する画像のアナログ信号をＡ／Ｄ変換部２０３に出力する。一方、撮像素子２０３は、操作部８を介して撮像指示を受け付けていない状態において、連続的に得られる画像データをスルー画像のデータとして、Ａ／Ｄ変換部２０３を介して制御部５および表示部７に出力する。
【００１６】
Ａ／Ｄ変換部２０３は、撮像素子２０２からのアナログ信号をデジタル化して、デジタル信号である画像データを画像処理部３に出力する。
【００１７】
画像処理部３は、Ａ／Ｄ変換部２０３から出力された画像データに各種の画像処理（色補間、階調変換処理、輪郭強調処理、ホワイトバランス調整など）を施す。また、画像処理部３は、記録媒体１０に画像データを記録する前にＪＰＥＧ形式などで圧縮する処理や、圧縮された上記のデータを伸長復元する処理も実行する。
【００１８】
バッファメモリ４は、撮像部２によって撮像された画像データを、一時的に記憶する。例えば、バッファメモリ４は、画像処理部３による画像処理の前工程や後工程で画像のデータを一時的に記録する。
【００１９】
制御部５は、所定のシーケンスプログラムにしたがって、撮像装置１の統括的な制御を行うプロセッサである。
この制御部５は、表示部７の表示画面に表示される操作対象画像を、撮像部１が撮像した指示手段が操作する操作入力（以下、バーチャルタッチパット入力モードという）を実現する処理を実行する。このバーチャルタッチパット入力モードとは、表示画面に表示される操作対象画像に指示手段（例えば、人の指）が直接タッチして操作するのではなく、実空間中を動く指示手段が表示部７の表示画面上に表示される操作対象画像を操作して入力をする操作入力方法である。つまり、操作対象画像は、表示部７に表示することによってユーザが視認することができる画像であるととともに、撮像部１によって撮像された指示手段が表示部７に表示される画像内において操作可能な仮想空間上の画像である。
なお、制御部５の詳細な構成については、図２を参照して後述する。
【００２０】
記録Ｉ／Ｆ部６は、記録媒体１０を接続するためのコネクタが形成される。この記録Ｉ／Ｆ部６は、コネクタに接続された記録媒体１０に対してデータの書き込み／読み込みを実行する。
表示部７は、例えば液晶ディスプレイであって、制御部５の制御により各種の画像を表示する。この表示部７に表示される各種の画像は、撮像画像、スルー画像、記録媒体１０に記録した画像、操作画像、メニュー画像などを含む。
【００２１】
操作部８は、レリーズボタン８０１や操作ボタン８０２等の操作部材を含み、ユーザによって操作されることでユーザの操作入力を受け付け、操作入力に応じた操作情報を制御部５に出力する。
レリーズボタン８０１は、撮像動作の指示をユーザから受け付ける。操作ボタン８０２は、操作画面やメニュー画像等での操作入力をユーザから受け付ける。
記録部９は、バーチャルタッチパット入力モードの処理において必要な情報を記録する。この記録部９は、例えば、バーチャルタッチパット入力モードが設定されている場合、バーチャルタッチパット入力モードが設定されていることを示す情報が記録されている。
【００２２】
次に、図２を参照して、制御部５の構成の一例について、詳細に説明する。図２は、本実施形態に係る制御部５の構成の一例を示す図である。
図２に示す通り、制御部５は、撮像制御部５０１と、画像入力部５０２と、操作内容解析部５０３と、表示制御部５０４と、登録部５０５とを有する。
【００２３】
撮像制御部５０１は、撮像条件の下、撮像部２を制御する。この撮像制御部５０１は、バーチャルタッチパット入力モードが設定された場合、例えば、オートフォーカス機能を利用して、被写体である指示手段にピントを合わせるようにＡＦレンズ２２１を制御する。また、撮像制御部５０１は、バーチャルタッチパット入力モードが設定された場合、例えば、広角側の焦点位置となるようにズームレンズ２２３を制御する。
【００２４】
画像入力部５０２は、撮像部２によって撮像された画像のデータが画像処理部３を介して入力される。この画像入力部５０２は、入力した画像のデータを操作内容解析部５０３および表示制御部５０４に出力する。
【００２５】
操作内容解析部５０３は、指示手段検出部５３１と、決定操作内容解析部５３２と、指示手段動作判定部５３３とを含む。
【００２６】
指示手段検出部５３１は、スルー画像から予め決められている特徴を有する指示手段を検出する。本実施形態において、指示手段は、人の指であり、指示手段検出部５３１は、スルー画像のデータに対して画像解析を行うことで、人の指の形状や色の特徴を有する画像領域を検出する。なお、指示手段検出部５３１による人の指の検出方法については、公開されている特開２０１０−１６６９７３号公報に記載されている技術を利用することができる。本明細書での詳細な説明は省略する。
また、指示手段検出部５３１は、検出した指示手段の画像内における位置を示す指示ポイントを検出する。この指示手段検出部５３１は、検出した指示手段のうち、指示手段が指定する指示ポイントとして、指先の位置を示すポイントを検出する。
【００２７】
また、指示手段検出部５３１は、記録部９に記録されている指示手段判定情報を参照して、指示手段判定情報が示す予め登録された指示手段を検出する。例えば、指示手段検出部５３１は、予め登録されている指示手段の特徴を示す形状、大きさ、あるいは色を示す情報、又は、予め登録されている指示手段が撮像される際の焦点距離あるいはズーム位置を示す情報（指示手段判定情報）のうち少なくとも１つの情報に基づき、登録されている情報が示す指示手段を検出する。
【００２８】
決定操作内容解析部５３２は、操作部８から操作信号が出力されたか否かを判定する。つまり、決定操作内容解析部５３２は、ＯＳＤ表示処理、あるいは、アイコン表示処理の状態において、決定指示が出力されたか否かを判定する。
例えば、操作部８のレリーズボタン８０１が押下された場合、決定操作内容解析部５３２は、操作部８から操作信号が出力した際、指示手段が指示する操作エリアに対応する操作内容を決定する。なお、この指示手段が指示する操作エリアを示す情報は、指示手段検出部５３１によって、操作部８から操作信号が出力した際に撮像された画像データに基づき検出されている。
【００２９】
指示手段動作判定部５３３は、指示手段検出部５３１によって検出された指示手段の動きが予め決められている操作内容を示す動作であるか否かを判定する。
例えば、指示手段動作判定部５３３は、指示手段検出部５３１から検出された指示手段の指示ポイントに基づき、撮像部２によって撮像された画像内の指示ポイントの移動軌跡と移動速度を検出する。なお、指示手段動作判定部５３３は、時系列に連続して撮像された複数の画像における指示ポイントの移動軌跡を追跡している。
指示手段動作判定部５３３は、検出した指示ポイントの移動軌跡と移動速度に基づき、指示手段の動きが予め決められている操作内容を示す動作であるか否かを判定する。この予め決められている操作内容として、フリック操作やドラッグ操作がある。
【００３０】
フリック操作とは、すばやく操作対象画像をはじく操作である。指示手段動作判定部５３３は、指示ポイントの移動速度が予め決められた閾値以上であった場合、当該移動した指示ポイントの移動軌跡に基づき、指示ポイントの移動方向を判定する。そして、指示手段動作判定部５３３は、判定した移動方向にフリック操作が入力されたことを判定する。
また、ドラック操作とは、フリック操作に比べて、遅い速度で指示手段を操作画面上で移動させる操作である。指示手段動作判定部５３３は、指示ポイントの移動速度が予め決められた閾値未満であった場合、操作画像上における操作エリアを指示ポイントが指示した状態において、当該指示ポイントが移動されたか否かを判定する。そして、指示手段動作判定部５３３は、当該指示ポイントが移動したことを判定した場合、当該移動した指示ポイントの移動軌跡に基づき、指示ポイントの移動方向を判定する。この指示手段動作判定部５３３は、判定した移動方向にドラッグ操作が入力されたことを判定する。
【００３１】
表示制御部５０４は、表示部７に表示される画像を制御する。この表示制御部５０４は、例えば、操作対象画像上にスルー画像から生成された指示手段の画像を重畳して表示するＯＳＤ表示処理、あるいは、操作対象画像上に指示手段に対応するアイコンの画像を重畳して表示するアイコン表示処理を実行する。
【００３２】
このＯＳＤ表示処理とは、例えば、撮像部２が撮像した指示手段を含む画像に対して、ブルーバック処理あるいはグリーンバック処理のように、背景画像を透過させる処理を行い、この背景画像を透過処理した画像を操作対象画像上に重畳して表示する表示処理をいう。この背景画像は、例えば、撮像部２が撮像した指示手段を含む画像のうち、指示手段以外の画像をいう。この背景画像は、指示手段がない状態がユーザによって撮像されることにより決定される。
表示制御部５０４は、ＯＳＤ表示処理において、指示手段を撮像したスルー画像に対して、指示手段以外の画像（以下、背景画像という）が透過する透過処理を実行して、背景透過画像を作成する。この背景透過画像は、例えば、背景透過画像の下に配置された画像のうち、背景透過画像と重なりあう部分を１００％透過するものである。この表示制御部５０４は、操作対象画像上に背景透過画像を重畳した画像を表示部７に表示させる。これにより、表示部７に表示する操作対象画像を撮像部７が撮像した指示手段が操作しているような画像を作成することができる。
【００３３】
また、表示制御部５０４は、アイコン表示処理において、指示手段検出部５３１によって検出された指示手段が指示する指示ポイントを示すアイコンを操作対象画像上に表示させる。表示制御部５は、指示手段検出部５３１によって検出される指示ポイントの位置を示す情報に基づき、操作対象画像上に表示するアイコンの位置を移動させる。これにより、表示制御部５０４は、撮像部２によって撮像される画像内における指示手段の動きに合わせて、指示ポイントを示すアイコンが動く画像を表示部７に表示させることができる。
【００３４】
本実施形態において、表示制御部５０４は、一定時間内に、ユーザによって背景画像が指定されたか否かを判定する。一定時間内に、ユーザによって背景画像が指定されたことを判定した場合、表示制御部５０４は、ＯＳＤ表示処理を実行する。一方、一定時間内にユーザによって背景画像が指定されなかったことを判定した場合、表示制御部５０４は、アイコン表示処理を実行する。
【００３５】
なお、表示制御部５０４は、上述の表示処理に限られず、例えば、以下のような表示処理を実行するものであってもよい。
例えば、表示制御部５０４は、指示手段をスルー画像やアイコンで操作対象画像上に重畳して表示することなく、撮像部２によって撮像された画像内の指示手段の位置に応じて、操作対象画像内の表示を変更するものであってもよい。この場合、表示制御部５０４は、例えば、指示手段検出部５３１によって検出された指示手段が指示する指示ポイントに対応する操作対象画像内の画像領域の色を変更して、あるいは、当該画像領域の外縁に枠を表示して、指示ポイントに対応する画像領域を強調表示する。
また、表示制御部５０４は、指示手段により操作可能な操作を文字や図にして操作対象画像に表示するものであってもよい。例えば、撮像した撮像画像を表示部７に表示する操作対象画像において、右フリックに対応する操作をした場合、記録媒体１０に記録されている次の撮像画像を表示することを示す情報を表示するものであってもよい。また、このような操作内容を操作説明書等において、ユーザに対して予め説明できる場合、このような操作内容を操作対象画像に表示しなくてもよい。
【００３６】
登録部５０５は、指示手段を検出する際に参照される登録情報を取得し、記録部１０に記録する。この登録情報としては、例えば、指示手段を検出するための指示手段を示す情報として、例えば、ユーザによって設定される指示手段の特徴を示す形状、大きさ、あるいは色を示す情報を含む。また、登録情報は、例えば、指示手段を検出するための撮像条件を示す情報として、指示手段が撮像される際の焦点距離あるいはズーム位置を示す情報を含む。
【００３７】
次に、図３を参照して、本願実施形態に係る撮像装置１の動作フローについて説明する。図３は、本願実施形態に係る撮像装置１の動作フローについて説明するためのフローチャートである。
（ステップＳＴ１）
例えば、操作部８の電源スイッチがＯＮされると、撮像装置１に電源が投入され、内蔵する電池（図示せず）から各構成部に対して電力が供給される。
（ステップＳＴ２）
制御部５は、入力モードとして、バーチャルタッチパット入力モードが設定されているか、あるいは、操作部８を介した入力モード（以下、操作部材入力モードという）が設定されているかを判定する。この制御部５は、記録部９に記録されている入力モードを示す情報を読み出し、読み出された入力モードが設定されていることを判定する。ここで、バーチャルタッチパット入力モードが設定されていた場合、制御部５は、以下の処理に進む。
【００３８】
（ステップＳＴ３）
また、電源がＯＮされると、制御部５は、撮像部２によって撮影されたスルー画像を表示部７に表示するとともに、バーチャルタッチパット入力モードにおいて入力する対象を選択する操作画像を、表示部７に表示させる。この入力する対象を選択する操作画像の一例を、図４に示す。
例えば、撮像部２は、撮像した画像データを画像処理部３に出力する。画像処理部３は、スルー画像の解像度として予め決められている解像度に入力する画像を変換した後、制御部５にスルー画像の画像データを出力する。そして、制御部５の表示制御部５０４は、入力するスルー画像に、図４に示す操作対象画像を重畳して表示部７に表示させる。
そして、操作部８の操作ボタン８０２を介して、ユーザによって入力する対象（例えば、“コメント入力”）が選択されると、制御部５の表示制御部５０４は、例えば、図５に示すようなメッセージをスルー画像に重畳して表示させる。そして、表示制御部５０４は、ＯＳＤ表示処理を実施するための背景画像の指定をユーザに指示するメッセージ（例えば、“背景画像を指定してください”）を表示部７の画面の表示する一例を示す。図５は、ＯＳＤ表示処理の実行をユーザが指示する際に、表示部７に表示される画面の一例を示す図である。
【００３９】
（ステップＳＴ４）
次いで、制御部５は、ユーザによって操作部８のレリーズボタン８０１が押下されたか否かを判定する。
（ステップＳＴ５）
ステップＳＴ４において、操作部８のレリーズボタン８０１が押下された場合、制御部５の撮像制御部５０１は、撮像部２および画像処理部３に対して、例えば、本画像と同等の解像度の画像データを撮像するように制御する。そして、表示制御部５０４は、撮像制御部５０１の制御によって撮像された画像を背景画像と決定し、記録部９に記録する。例えば、無地の壁紙がユーザによって撮影された場合、表示制御部５０４は、この無地の壁紙の画像を背景画像として決定する。
【００４０】
（ステップＳＴ６）
そして、表示制御部５０４は、図６に示す操作対象画像上に、背景画像が透過する透過処理をした背景透過画像を重畳して表示部７に表示させるＯＳＤ表示処理を実行する。
このＯＳＤ表示処理においては、撮像した指示手段、例えば、ユーザの指を操作対象画像上に表示された画像を表示部７に表示する。ユーザは、自身の指を撮像しながら、撮像した自身の指が操作対象画像上を動く画像を表示部７の表示画面で確認し、操作対象画像を操作する。
ここで、ユーザによって自身の指が撮像された場合、表示制御部５０４は、図７に示すような画像を表示部７に表示する。
【００４１】
このＯＳＤ表示処理における操作内容解析部５０３の動作について説明する。操作内容解析部５０３の指示手段検出部５３１は、画像処理部３から入力するスルー画像から、予め決められている特徴を有する指示手段を検出する。
この指示手段検出部５３１は、検出した指示手段のうち、指示手段が指定する指示ポイントの画像内における位置を検出する。本実施形態において、指示手段が指示する指示ポイントは指先である。
【００４２】
表示制御部５０４は、指示手段検出部５３１によって検出された指示ポイントの画像内に位置に対応する操作対象画像内の操作エリアを強調表示する。この操作エリアとは、操作対象画像内における操作ボタンに対応する画像領域である。図６、７に示す例において、操作エリアは、「あ」「か」「さ」「た」「な」「は」「ま」「や」「ら」「わ」を示す部分である。
図７では、ユーザの指の先端が「あ」「か」「さ」「た」「な」「は」「ま」「や」「ら」「わ」の操作エリアのうち、「な」の操作エリア上に位置している。このため、表示制御部５０４は、この「な」の操作部分の色を他の操作エリアよりも強調して表示させる。
【００４３】
（ステップＳＴ７）
一方、ステップＳＴ４において、例えば、予め決められた一定時間以上、操作部８のレリーズボタン８０１が押下されなかった場合、制御部５の表示制御部５０４は、予め決められている指示手段のアイコンを、図８に示す操作対象画像上に表示するアイコン表示処理を実行する。
このアイコン表示処理においては、撮像した指示手段を検出した場合、この指示手段の動きに応じて表示部７の表示画面内を動くアイコンを操作対象画像上に重畳して表示する。ユーザは、自身の指を撮像しながら、撮像した自身の指の動きに連動して動く操作対象画像上のアイコンを表示部７の表示画面で確認し、操作対象画像を操作する。このアイコン表示処理の詳細については、後述する。
なお、操作内容解析部５０３は、上述のＯＳＤ表示処理と同様にして、指示手段を検出する。表示制御部５０４は、検出された指示手段によって指示されている操作対象画像上の操作エリアを強調して表示させる。
【００４４】
（ステップＳＴ８）
次いで、操作内容解析部５０３の決定操作内容解析部５３２は、操作部８から操作信号が入力されたか否かを判定する。つまり、操作内容解析部５０３の決定操作内容解析部５３２は、ＯＳＤ表示処理、あるいは、アイコン表示処理の状態において、決定指示が入力されたか否かを判定する。
例えば、操作部８のレリーズボタン８０１が押下された場合、決定操作内容解析部５３２は、操作部８から操作信号が出力した際、指示手段が指示する操作エリアに対応する操作内容を決定する。なお、この指示手段が指示する操作エリアを示す情報は、指示手段検出部５３１によって、操作部８から操作信号が出力した際に撮像された画像データに基づき検出されている。
【００４５】
（ステップＳＴ９）
そして、操作内容解析部５０３の決定操作内容解析部５３２は、決定指示が入力された場合、決定された操作内容に対応する操作画像（以下、決定操作画像という）を操作対象画像に重畳して表示させる。この決定操作画像を操作対象画像に重畳して表示する一例を図９に示す。
例えば、「な」の操作エリアが指示手段によって指定されている状態において、ユーザが決定指示をした場合、決定操作内容解析部５３２は、「な」の操作エリアが決定されたことを示す情報を表示制御部５０４に出力する。この表示制御部５０４は、入力する情報に基づき、図９に示すように「な」の操作エリアに対応する決定操作画像として、「にぬねの」を指定するための操作方向を示す画像を操作対象画像上に表示させる。
この決定操作画像は、指を上にフリックする操作（上フリック）により「に」が指示可能であること、指を左にフリックする操作（左フリック）により「ぬ」が指示可能であること、指を右にフリックする操作（右フリック）により「ね」が指示可能であること、指を下にフリックする操作（下フリック）により「の」が指示可能であること、をそれぞれ示している。
【００４６】
（ステップＳＴ１０）
次いで、操作内容解析部５０３の指示手段動作判定部５３３は、指示手段検出部５３１によって検出された指示手段の動きが予め決められている操作内容を示す動作であるか否かを判定する。つまり、操作内容解析部５０３の指示手段動作判定部５３３は、決定操作画像において操作可能な動作が撮像部２によって撮像されたか否かを判定する。
【００４７】
（ステップＳＴ１１）
例えば、図９に示すような決定操作画像が表示されている状態において、指を上にフリックする操作（上フリック）がされた場合、指示手段検出部５３１は、この指の動きを撮像したスルー画像に基づき、検出した指示手段の指示ポイントの画像内での位置の移動を示す情報を取得し、指示手段動作判定部５３３に出力する。この指示手段動作判定部５３３は、指示手段検出部５３１から入力する指示ポイントの画像内での位置の動きを示す情報に基づき、指示手段の動作が、図１０に示すような決定操作画像において入力可能な操作動作として予め決められている動作であるか否かを判定する。この場合、指示手段動作判定部５３３は、指示ポイントの画像内での位置の動きに基づき、指を上にフリックする操作（上フリック）が入力されたことを判定し、「に」が指示されたことを判定する。
【００４８】
上述の通り、本実施形態に係る撮像装置１は、上記構成により、タッチパネルを用いることなく、表示部７に表示される操作対象画像に対して、撮像される指示手段の動作に応じた操作入力を実現することができる。これにより、タッチパネルを用いることなく、直感的な操作入力が可能となり操作性が向上する。
また、本実施形態に係る撮像装置１は、上記構成により、タッチパネルにおけるタッチ操作を受け付けることができる。つまり、決定操作内容解析部５３２によって、決定指示が入力された状態の操作内容を決定することにより、フリック操作やドラック操作の対象を操作ごとに細分化することができる。
【００４９】
例えば、ページ送りの操作入力の際、フリック操作は操作対象画像上において、ページ内のどの部分でフリック操作をしたとしても、フリック操作に対応する操作入力がページ送りのみであるため問題がない。しかし、上述の実施形態のように、文字入力をするような操作対象画像では、はじめに、「あ」〜「わ」までの文字を選択し、選択された文字毎に、フリック操作による操作入力が異なる。つまり、「あ」が選択された状態で上方向にフリック操作が入力された場合「い」の操作入力となるが、「な」が選択された状態で上方向にフリック操作が入力された場合「に」の操作入力となる。このように、フリック操作やドラック操作等の動作に応じて、その後の操作内容が異なる場合、フリック操作等を実行するまえに操作内容を決定する必要がある。
本実施形態に係る撮像装置１は、決定操作内容解析部５３２が決定指示が入力された際の操作内容を決定し、指示手段動作判定部５３３が、決定操作内容解析部５３２によって決定された操作内容に基づき、入力される指示手段の動作を判定する。これにより、上述のような操作入力であっても受け付けることができる。
【００５０】
なお、多くの一般的なデジタルカメラには、タッチパネルが搭載されていない。考えられる理由としては、デジタルカメラは、撮影シーンの状況に即座に設定変更する必要があるため、タッチパネルの操作入力に比べて、ボタンでの操作入力の方が素早く確実に操作できる点があげられる。また、デジタルカメラにタッチパネルを搭載するためには、ある程度の大きさの表示パネルを有するデジタルカメラでなければ、タッチパネルを指で操作しにくい。このため、デジタルカメラに搭載される表示パネルのサイズを大きくする必要があり、さらにコストがかかる点があげられる。
本実施形態に係る撮像装置１は、上述のような現状において、タッチパネルを用いずに、直感的な操作入力をできる点で有益である。
【００５１】
また、多くの一般的なデジタルカメラでは、文字入力をする際に、タッチパネルを用いずに、４方向のマルチセレクターで画面に表示される文字を選択し、決定ボタンで確定する方法が一般的である。この一般的な操作方法について、図１１を参照して説明する。この場合、デジタルカメラの表示部に図１１に示すような画面が表示部に表示され、ユーザは、キーボードエリアに表示されている文字に対してカーソルを合わせる操作をマルチセレクターにより実行する。そして、ユーザは、入力する文字にカーソルを合わせ、決定ボタンを押下する。これにより、１文字が入力され、入力された文字が名前エリアに表示される。このような操作を繰り返して、文字入力をする必要があるため操作性が悪い。
本実施形態に係る撮像装置１は、上述のような文字入力における手間を省き、操作性を向上することができる。
【００５２】
また、本実施形態に係る撮像装置１は、新たな構成部材を追加することなく、上述したような処理を実行するプログラムを制御部５にインストールすることにより、上述のような操作性の悪さを改善することができる。よって、コストの増加も抑えることができる。
【００５３】
また、本実施形態に係る撮像装置１は、片手で撮像装置１を持ちながら、もう一方の手を使い画角内に収まるように手を動かし操作する必要がある。この場合には、撮像装置１を片手でホールドしながら、もう一方の手動かすため、撮像装置１も動きがちである。これにより、操作者ではない人物の手が写りこんでしまうおそれがある。この場合、撮像部２によって撮像された画像内において、どれが操作者の手なのか、つまり、操作手段であるかの判定を誤る可能性がある。
この問題を解決するため、本実施形態に係る撮像装置１は、以下のような構成を有するものであってもよい。
例えば、指示手段検出部５３１は、撮像部２によって撮像された画像内に、人の指が検出された場合、当該指が２本以上であって、かつ、当該指がそろえたれた状態であるか否かを判定する。この指が２本以上である指示手段の一例を図１２に示す。指示手段検出部５３１は、このときの手の形状や爪の数等に基づき、指が２本以上の指示手段を検出することができる。このような指の形状は、操作入力を意図するユーザによって撮像される可能性が高く、一方、単純に移りこんでしまった人の手が、図１２に示すような形状で検出される可能性は低い。よって、指示手段検出部５３１による指示手段の検出精度を高め、誤検出を低減することができる。
【００５４】
また、指示手段検出部５３１は、登録部５０５によって登録されている登録情報を記録部９から読み出し、この登録情報を参照して、指示手段を検出するものであってもよい。例えば、ユーザが、右利きであることを登録設定した場合、右利きの場合、撮像装置１を右手で持ち、左手を指示手段として使用する可能性が高い。この場合、登録部５０５は、指示手段が左手であることを示す情報を記録部９に記録する。その他にも、ユーザの肌の色が色白よりなのか、あるいは、小麦色なのかを登録部５０５が記録部９に登録しておく。また、ユーザが成人男性であれば、一般的な成人男性の手の大きさを登録しておく。なお、手の大きさは、撮像装置１を自身で持って、自身の手を撮像する環境下では、ある程度決められる。
指示手段検出部５３１は、これら登録情報に基づき、ユーザの手に近い被写体を指示手段として検出することができる。
【００５５】
さらに、指示手段検出部５３１は、登録部５０５によって登録されている登録情報のうち、ズーム位置や焦点距離に基づき、指示手段を検出するものであってもよい。撮像装置１を自身で持って、自身の手を撮像する環境下では、ズーム位置や焦点距離がある程度決められる。指示手段検出部５３１は、指示手段を検出する対象である画像が撮像部２によって撮像された際の撮像条件（ズーム位置や焦点距離）を示す情報を撮像制御部５０１から入力し、この撮像条件を示す情報に基づき、撮像された画像内から指示手段である可能性の高い被写体を検出する。
【００５６】
また、撮像制御部５０１は、登録部５０５によって登録されている登録情報のうち、ズーム位置や焦点距離等の撮像条件に従って、撮像部２を制御するものであってもよい。そして、指示手段検出部５３１は、被写体の中からズーム位置や焦点距離のあう被写体を指示手段として検出する。
なお、ズーム位置や焦点距離は、マニュアル操作が可能な撮像装置において、ユーザの操作によって変更される場合がある。この場合、ズーム位置や焦点距離が指示手段を撮像する撮像条件にあっていない場合、表示制御部５０４は、表示部７に対して、「ワイド端に設定してください」、「レンズがバーチャルタッチパット入力に不適切なため、ソフトキーボード入力を利用してください」等のメッセージを表示させる。なお、ソフトキーボード入力とは、図１１を参照して説明したような操作入力のことである。
【００５７】
また、決定操作内容解析部５３２は、上記の通り、レリーズボタン８０１が押下されたことにより、決定指示を入力するものに限られず、以下のような構成であってもよい。例えば、撮像部２によって撮像される指示手段が図１２に示すような２本指である場合、この２本を指がＶ字上に開いた場合、決定指示が入力されたことを判定するものであってもよい。
【００５８】
さらに、指示手段の動きが高速であった場合、指示手段検出部５３１が指示手段の動きに追従できないおそれがある。また、指示手段を撮像する環境が暗い場合、指示手段検出部５３１が指示手段を検出できないおそれがある。この問題を解決するため、制御部５は、指示手段を撮像する際には、高速シャッターを使用するものであってもよく、ＩＳＯ感度を上げるものであってもよい。また、制御部５は、夜間の撮影のために設けられた機能であるナイトショット機能を利用して、赤外線を被写体に照射したり、暗い環境において撮像された被写体の画像を鮮明する画像処理を施すものであってもよい。さらに、プロジェクター用の光源が搭載されている撮像装置においては、制御部５は、指示手段を撮像する際に、この光源からの光を照射するものであってもよい。
【００５９】
また、指示手段による操作入力が腕を大きく動かす動きである場合、他方の手で保持する撮像装置１も動いてしまうおそれがある。この問題を解決するため、操作内容解析部５０３は、以下に説明するような手首を中心とした動きを検出するものであってもよい。
【００６０】
図１３は、操作内容解析部５０３によって検出される左右のフリック操作の一例を示す図である。
図１３に示す通り、操作内容解析部５０３によって検出される左右のフリック操作は、手首を中心として、指が動ける範囲内での動きが操作入力動作であることが予め決められている。例えば、指示手段検出部５３１は、指示手段として、図１２に示すような人の指を検出した場合、人の手首に相当する画像内の位置を基準位置として検出し、人の指先に相当する画像内の位置を指示ポイントとして検出する。指示手段動作判定部５３３は、指示手段検出部５３１によって検出された指示手段の指示ポイントが、撮像部２によって撮像された画像内において、基準位置から予め決められた範囲内で、左右の方向に移動する動きであるか否かを判定する。本実施形態において、この範囲は、基準位置を中心として、指示ポイントが左右に±６０度の範囲で移動する範囲である。
指示手段動作判定部５３３は、指示ポイントが、基準位置を中心として、右回転する方向に（例えば、＋６０°の範囲）に移動した場合、右方向のフリック操作が入力されたことを判定する。また、指示手段動作判定部５３３は、指示ポイントが、基準位置を中心として、左回転する方向に（例えば、−６０°の範囲）に移動した場合、左方向のフリック操作が入力されたことを判定する。
【００６１】
図１４は、操作内容解析部５０３によって検出される上下のフリック操作の一例を示す図である。
図１４（ａ）に示す通り、操作内容解析部５０３によって検出される上下のフリック操作は、手首を中心として、指が動ける範囲内での動きが操作入力動作であることが予め決められている。
例えば、図１４（ａ）に示す通り、指が隠される動作を下方向のフリック操作、図１４（ｂ）に示す通り、上方向に指を動かす動作を上方向のフリック操作、と予め決めておく。
指示手段検出部５３１は、指示手段検出部５３１によって検出された指示手段の指示ポイントが、撮像部２によって撮像された画像内において、人の指先が下方向に移動した後に画面内から消失する動きであると判定した場合、下方向のフリック操作が入力されたことを判定する。
また、指示手段動作判定部５３３は、指示手段検出部５３１によって検出された指示手段の指示ポイントが、撮像部２によって撮像された画像内において、上の方向に移動する動きであると判定した場合、上方向のフリック操作が入力されたことを判定する。
【００６２】
また、制御部５等による手順を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものであってもよい。
【００６３】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記録装置のことをいう。
【００６４】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記録装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００６５】
１…撮像装置、２…撮像部、３…画像処理部、４…バッファメモリ、５…制御部、６…記録Ｉ／Ｆ部、７…表示部、８…操作部、９…記録部、１０…記録媒体、５０１…撮像制御部、５０２…画像入力部、５０３…操作内容解析部、５０４…表示制御部、５０５…登録部、５３１…指示手段検出部、５３２…決定操作内容解析部、５３３…指示手段動作判定部
【特許請求の範囲】
【請求項１】
撮像部が連続して撮像した、指示手段を含む複数の画像のデータを入力する入力部と、
前記指示手段を示す画像とともに、前記指示手段により操作される操作対象画像を表示部に表示させる表示制御部と、
前記入力部により入力された前記画像データに基づき、予め決められた特徴を有する画像領域を前記指示手段として当該画像内から検出する指示手段検出部と、
前記指示手段検出部の検出結果と、前記入力部により入力された前記複数の画像のデータとに基づいて、前記操作対象画像に対する前記指示手段の動作を検出し、当該指示手段の動作が予め決められている操作内容を示す動作であるか否かを判定する指示手段動作判定部と、
前記指示手段動作判定部が、予め決められている操作内容を示す当該指示手段の動作が前記複数の画像のデータに含まれていると判定した場合、当該操作内容を受け付けることを特徴とする操作入力判定装置。
【請求項２】
前記指示手段検出部は、当該指示手段によって指定される前記操作画像上の指定位置を示す指定ポイントを検出することを特徴とする請求項１に記載の操作入力判定装置。
【請求項３】
前記操作内容に対する決定指示を受け付けて決定指示信号を出力する操作部と、
前記操作部から決定指示信号が出力された際に、前記撮像部によって撮像された画像のデータに基づいて、前記指示手段が指示する操作内容を決定する決定操作内容解析部と、
をさらに備えることを特徴とする請求項１あるいは２に記載の操作入力判定装置。
【請求項４】
前記表示制御部は、
前記撮像部によって撮像された前記指示手段が指示する位置を示す画像を、前記操作対象画像上に重畳して前記表示部に表示させることを特徴とする請求項１から３のうちいずれか一項に記載の操作入力判定装置。
【請求項５】
前記表示制御部は、
前記複数の画像に対して、前記撮像部によって撮像された画像のうち前記指示手段以外の背景画像に対して、画像を透過するように処理した画像を、前記操作対象画像上に重畳して前記表示部に表示させることを特徴とする請求項１から４のうちいずれか一項に記載の操作入力判定装置。
【請求項６】
前記指示手段動作判定部は、
予め登録されている前記指示手段の特徴を示す形状、大きさ、あるいは色を示す情報、又は、予め登録されている前記指示手段が撮像される際の焦点距離あるいはズーム位置を示す情報のうち少なくとも１つの情報に基づき、前記登録されている情報が示す前記指示手段を検出することを特徴とする請求項１から５のうちいずれか一項に記載の操作入力判定装置。
【請求項７】
前記入力部は、
前記指示手段として指を前記撮像部が連続して撮像した複数の画像のデータを入力し、
前記指示手段動作判定部は、
前記複数の画像のデータに基づき、２本以上の指を前記指示手段として検出することを特徴とする請求項１から６のうちいずれか一項に記載の操作入力判定装置。
【請求項８】
前記入力部は、
前記指示手段として指を撮像した複数の画像のデータを入力し、
前記指示手段動作判定部は、
前記複数の画像のデータに基づき判定された前記指示手段の動きが、前記撮像部によって撮像された画像内において、前記指の指先が第１の方向に移動した後に前記画面内から消失する動きであると判定した場合、
前記操作受付部は、前記操作対象画像に対する前記第１の方向へのフリック操作を当該操作内容として受け付けることを特徴とする請求項１から７のうちいずれか一項に記載の操作入力判定装置。
【請求項９】
前記入力部は、
前記指示手段として指を撮像した複数の画像のデータを入力し、
前記指示手段動作判定部は、
前記複数の画像のデータに基づき判定された前記指示手段の動きが、前記撮像部によって撮像された画像内において、前記指の指先が動作前の前記指先の位置を基準として予め決められた範囲内において第２の方向に移動する動きであると判定した場合、
前記操作受付部は、前記操作対象画像に対する前記第２の方向へのフリックの操作を当該操作内容として受け付けることを特徴とする請求項１から８のうちいずれか一項に記載の操作入力判定装置。
【請求項１０】
前記請求項１から９のうちいずれか一項に記載の操作入力判定装置と、
前記指示手段を撮像して画像のデータを前記入力部に出力する撮像部と、
を備えることを特徴とする撮像装置。
【請求項１】
撮像部が連続して撮像した、指示手段を含む複数の画像のデータを入力する入力部と、
前記指示手段を示す画像とともに、前記指示手段により操作される操作対象画像を表示部に表示させる表示制御部と、
前記入力部により入力された前記画像データに基づき、予め決められた特徴を有する画像領域を前記指示手段として当該画像内から検出する指示手段検出部と、
前記指示手段検出部の検出結果と、前記入力部により入力された前記複数の画像のデータとに基づいて、前記操作対象画像に対する前記指示手段の動作を検出し、当該指示手段の動作が予め決められている操作内容を示す動作であるか否かを判定する指示手段動作判定部と、
前記指示手段動作判定部が、予め決められている操作内容を示す当該指示手段の動作が前記複数の画像のデータに含まれていると判定した場合、当該操作内容を受け付けることを特徴とする操作入力判定装置。
【請求項２】
前記指示手段検出部は、当該指示手段によって指定される前記操作画像上の指定位置を示す指定ポイントを検出することを特徴とする請求項１に記載の操作入力判定装置。
【請求項３】
前記操作内容に対する決定指示を受け付けて決定指示信号を出力する操作部と、
前記操作部から決定指示信号が出力された際に、前記撮像部によって撮像された画像のデータに基づいて、前記指示手段が指示する操作内容を決定する決定操作内容解析部と、
をさらに備えることを特徴とする請求項１あるいは２に記載の操作入力判定装置。
【請求項４】
前記表示制御部は、
前記撮像部によって撮像された前記指示手段が指示する位置を示す画像を、前記操作対象画像上に重畳して前記表示部に表示させることを特徴とする請求項１から３のうちいずれか一項に記載の操作入力判定装置。
【請求項５】
前記表示制御部は、
前記複数の画像に対して、前記撮像部によって撮像された画像のうち前記指示手段以外の背景画像に対して、画像を透過するように処理した画像を、前記操作対象画像上に重畳して前記表示部に表示させることを特徴とする請求項１から４のうちいずれか一項に記載の操作入力判定装置。
【請求項６】
前記指示手段動作判定部は、
予め登録されている前記指示手段の特徴を示す形状、大きさ、あるいは色を示す情報、又は、予め登録されている前記指示手段が撮像される際の焦点距離あるいはズーム位置を示す情報のうち少なくとも１つの情報に基づき、前記登録されている情報が示す前記指示手段を検出することを特徴とする請求項１から５のうちいずれか一項に記載の操作入力判定装置。
【請求項７】
前記入力部は、
前記指示手段として指を前記撮像部が連続して撮像した複数の画像のデータを入力し、
前記指示手段動作判定部は、
前記複数の画像のデータに基づき、２本以上の指を前記指示手段として検出することを特徴とする請求項１から６のうちいずれか一項に記載の操作入力判定装置。
【請求項８】
前記入力部は、
前記指示手段として指を撮像した複数の画像のデータを入力し、
前記指示手段動作判定部は、
前記複数の画像のデータに基づき判定された前記指示手段の動きが、前記撮像部によって撮像された画像内において、前記指の指先が第１の方向に移動した後に前記画面内から消失する動きであると判定した場合、
前記操作受付部は、前記操作対象画像に対する前記第１の方向へのフリック操作を当該操作内容として受け付けることを特徴とする請求項１から７のうちいずれか一項に記載の操作入力判定装置。
【請求項９】
前記入力部は、
前記指示手段として指を撮像した複数の画像のデータを入力し、
前記指示手段動作判定部は、
前記複数の画像のデータに基づき判定された前記指示手段の動きが、前記撮像部によって撮像された画像内において、前記指の指先が動作前の前記指先の位置を基準として予め決められた範囲内において第２の方向に移動する動きであると判定した場合、
前記操作受付部は、前記操作対象画像に対する前記第２の方向へのフリックの操作を当該操作内容として受け付けることを特徴とする請求項１から８のうちいずれか一項に記載の操作入力判定装置。
【請求項１０】
前記請求項１から９のうちいずれか一項に記載の操作入力判定装置と、
前記指示手段を撮像して画像のデータを前記入力部に出力する撮像部と、
を備えることを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−１１０４９９（Ｐ２０１３−１１０４９９Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５２４５４（Ｐ２０１１−２５２４５４）
【出願日】平成２３年１１月１８日（２０１１．１１．１８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月１８日（２０１１．１１．１８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]