撮影操作誘導システム、撮影操作誘導方法および撮影操作誘導プログラム
【課題】撮影者の手間を煩わせることなく、認識アプリケーションで認識しやすい画像の撮影を可能にする。
【解決手段】画像を解析することにより認識の可否を判断するための指標を得る。認識可否判別手段１２２は、解析した指標を元に認識可否判別パラメータ記憶部１３２を参照し、認識可否の判断を行う。認識可能である場合、カメラパラメータを設定する。認識不可の場合、認識可能となるための変更カメラパラメータを算出する。画面表示手段１２４は変更カメラパラメータに基づき、誘導表示を画像データに重畳して出力する。撮影者は誘導表示に従って操作を行い、対象物体を撮影するだけで、認識しやすい画像を得ることができる。
【解決手段】画像を解析することにより認識の可否を判断するための指標を得る。認識可否判別手段１２２は、解析した指標を元に認識可否判別パラメータ記憶部１３２を参照し、認識可否の判断を行う。認識可能である場合、カメラパラメータを設定する。認識不可の場合、認識可能となるための変更カメラパラメータを算出する。画面表示手段１２４は変更カメラパラメータに基づき、誘導表示を画像データに重畳して出力する。撮影者は誘導表示に従って操作を行い、対象物体を撮影するだけで、認識しやすい画像を得ることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影操作誘導システム、撮影操作誘導方法および撮影操作誘導プログラムに関し、特に認識しやすい画像を撮影するための、撮影操作誘導システム、撮影操作誘導方法および撮影操作誘導プログラムに関する。
【背景技術】
【０００２】
これまで、カメラ付き携帯電話のようなカメラ付き携帯端末は、風景や人物の撮影といった用途で使われてきた。近年、カメラ付き携帯端末における情報処理能力の高性能化、高機能化等は目覚しく、こうした端末が、OCR（Optical Character Recognition）やバーコード読み取りなど（以下、認識アプリケーションと呼ぶ）の画像認識処理用途にも使われつつある。
【０００３】
これらの認識アプリケーションが画像認識処理をするために必要とする入力画像の要件は、撮影者に意識されることが無いのが一般的であり、撮影者は、勘や経験等に基づいて、端末の位置等の撮影条件（カメラパラメータ）を調整し、利用する認識アプリケーションが必要とする要件を満たす入力画像を撮影していた。
【０００４】
所望の画像を得るためには、端末の備えるカメラの機械的構造を改良し、撮影時のカメラパラメータを所望のものへと制御するアプローチもあるが、端末の小型化という制約条件の元では、機械的構造の複雑化というアプローチは敬遠されやすい。
【０００５】
こうした状況の下、文字認識に対する入力画像として要件を満たす画像を撮影者に撮影させるため、撮影された画像中の所定の領域の大きさに基づいて撮影操作を誘導する手法が提案されている。
【０００６】
例えば、特許文献１には、文字認識の対象となる画像の入力にあたり、入力されるべき文字のサイズを撮影者に表示する手法が記載されている。また、特許文献２では、OCRをするための対象領域を文字の連結成分の大きさから判定し、ガイド情報を表示することにより、撮影操作をサポートするガイド表示機能を実現している。
【０００７】
一方、入力画像の要件として、合焦状態が着目されており、例えば、特許文献３には、「撮影者の操作によりピント調整された」撮影画像から微分画像データを作成し、その高域成分を示す画素値に応じて、所定の色を割り当てて表示する手段を備え、色の違いにより合焦状態を知らせる装置が記載されている。また、特許文献４には、「撮影者の操作によるピント調整」の合焦状態の表示を視覚的又は聴覚的に行う表示手段を備え、例えば、合焦状態を棒グラフやレベルメータ、数値、図形の個数、ＬＥＤの点滅ピッチ、音で示す方法が記載されている。
【特許文献１】特開平１１−１１０５３６号公報 （００１４段落〜００１５段落、図２等）
【特許文献２】特開２００４−２１３２１５号公報
【特許文献３】特開２００２−１９６２２５号公報
【特許文献４】特開２００６−１６６４５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
第１の問題点は、撮影された画像が領域の大きさや合焦状態を満たすものであっても、必ずしも撮影された画像は認識できる要件を満たすわけではないことである。
【０００９】
例えば、特許文献３、４に記載の画像の高域成分量で判断する合焦状態の場合、高域成分が増加し続けていても合焦状態と判断されるが、高域成分が増加するにつれ、画像には高周波ノイズが付加される場合がある。その結果、高周波ノイズの影響で画質が乱れ、認識不可の原因になり得る。また、入力画像の画像解像度の不足や、コントラストの不十分、位置合わせ、その他の要因によって認識できないことがある。
【００１０】
第２の問題点は、認識アプリケーションが認識できる要件を満たす画像を撮影するための具体的な撮影操作を、撮影者が分からないことである。
【００１１】
特許文献３、４に記載の、色の違いによる合焦状態の表示や、棒グラフや音による合焦状態を確認するだけでは、撮影者が撮影端末をどの位置までどのくらい動かせばよいか分からないので、経験則的に上下左右に端末を動かさなければならない。また、特許文献２は、認識できない場合の判定結果をガイド情報として提示しているのみであり、撮影者に具体的な撮影操作を誘導するための誘導表示を提示しているわけではない。
［発明の目的］
本発明は、このような課題に鑑みてなされたものであって、認識アプリケーションの認識処理の要件を満たす画像を撮影するための操作を、撮影者が、容易に把握することのできる撮影操作誘導システムを提供することにある。
【００１２】
本発明の他の目的は、要件を満たす画像を撮影するための操作を簡易化する撮影操作誘導システムを提供することにある。
【課題を解決するための手段】
【００１３】
上記課題を解決するべく本願に開示される発明は、撮影操作誘導システムであって、画像データに対し画像処理を行い所定の指標を出力する解析手段と、前記指標とカメラパラメータと画像データを認識できるか否かを示す認識の可否とを対応付けて記憶する認識可否パラメータ記憶手段と、前記認識可否パラメータ記憶手段から前記指標に対応するカメラパラメータと認識の可否を読み出し、認識できない場合に、認識できるためのカメラパラメータを出力する認識可否判別手段と、前記出力されたカメラパラメータに基づいて操作を誘導するための誘導表示を行う表示手段と、を備えることを特徴とする。
【００１４】
また、上記課題を解決するべく本願に開示される発明は、プログラムであって、情報処理装置に、画像データに対し画像処理を行い所定の指標を出力する解析処理と、前記指標とカメラパラメータと画像データを認識できるか否かを示す認識の可否とを対応付けて記憶する認識可否パラメータ記憶処理と、前記認識可否パラメータ記憶手段から前記指標に対応するカメラパラメータと認識の可否を読み出し、認識できない場合に、認識できるためのカメラパラメータを出力する認識可否判別処理と、前記出力されたカメラパラメータに基づいて操作を誘導するための誘導表示を行う表示処理と、を実行させることを特徴とする。
【発明の効果】
【００１５】
第１の効果は、撮影者が、認識アプリケーションにおける入力画像の要件を意識することなく、該要件を満たす画像を撮影するための撮影操作を把握しやすいことである。
【００１６】
その理由は、撮影した画像データを解析することに得られる指標とカメラパラメータとに基づいて画像データが認識可能かを判別し、認識できない場合は、認識しやすい画像データを得るためのカメラパラメータを算出し、前記カメラパラメータを実現するための撮影操作を端末画面に表示するからである。
【００１７】
第２の効果は、要件を満たす画像を撮影するための撮影者による操作が容易となる点にある。その理由は、内部機構を制御することによってカメラパラメータの再設定が可能な場合には、撮影者による操作を要することなく認識可能な画像を撮影できる状態となるからである。
【発明を実施するための最良の形態】
【００１８】
［第１の実施の形態］
次に、図１を参照して本発明を実施するための第１の実施の形態の構成について詳細に説明する。
【００１９】
本発明を実施するための第１の実施の形態は、画像を認識できるか否かを判定するための指標として、画像データの合焦状態を解析することにより得られるぼけ量を用いる。
【００２０】
図１を参照すると、本発明を実施するための第１の実施の形態は、撮像装置１１０とデータ処理装置１２０とデータ記憶装置１３０と表示装置１４０とから構成される。
【００２１】
撮像装置１１０は、対象を撮影することにより画像データを出力する。
【００２２】
データ記憶装置１３０は、カメラパラメータ記憶部１３１と認識可否判別パラメータ記憶部１３２とから構成される。データ記憶装置１３０は、たとえば半導体メモリや磁気記憶装置等により実現される。半導体メモリは、予め上述のように構成されていても良いし、読み込まれたプログラム等が動作する際に半導体メモリ内にカメラパラメータ記憶部１３１と認識可否判別パラメータ記憶部１３２とを構成しても良い。
【００２３】
カメラパラメータ記憶部１３１は、撮像装置１１０による画像データの撮影時のカメラパラメータを記憶する。カメラパラメータとしては、被写体との距離、撮像装置の姿勢、Ｆ値、画像データの解像度、ズーム値等がある。
【００２４】
認識可否判別パラメータ記憶部１３２は、画像データを解析することにより得られる指標と、カメラパラメータと、認識できるか否かを示す認識の可否とを対応付けて記憶する。本実施の形態では、指標として、合焦状態を解析した結果として得られるぼけ量を用いる。図４は、認識可否判別パラメータ記憶部１３２に記憶される、ぼけ量と、カメラパラメータと、認識の可否との対応付けの一例を示す図である。この図では、理解を容易にするために、ぼけ量と、カメラパラメータの一部である被写体との距離とが対応付けられる様子を示している。具体的には、ぼけ量を縦軸に、カメラパラメータの一部である被写体との距離を横軸にとり、対応付けられた両者の関係が所定のグラフ形状で示されている。また、ぼけ量と被写体との距離の関係において、認識できる範囲を、所定の形状（図４の例では矩形形状）として記憶している。上記記憶の態様は一例であり、このような手法に限られない。
【００２５】
データ処理装置１２０は、入力された画像データを処理し、表示装置に出力するための表示データを生成する装置である。具体的には、半導体集積回路等により実現される。
【００２６】
データ処理装置１２０は、合焦状態解析手段１２１と認識可否判別手段１２２と画面表示手段１２３とを備える。予めこのように構成されていた半導体集積回路として実現しても良いし、半導体集積回路が読み込まれたプログラム等を解釈実行することにより上記各手段をそなえるものとして動作するよう構成しても良い。
【００２７】
合焦状態解析手段１２１は、画像データを入力とし、画像を認識できるか否かを判定するための指標を得るために画像データを解析し、解析結果を出力する。本実施の形態では、画像を認識できるか否かを判定するための指標としてぼけ量を用いる。よって、本実施の形態における合焦状態解析手段１２１は、具体的には、画像データの合焦状態を解析し、ぼけ量を出力する。合焦状態の解析は、例えば、エッジの滑らかさや、中間色の占める割合等を求めることにより行う。合焦状態の解析処理の方法の例は後述される。
【００２８】
認識可否判別手段１２２は、画像を認識できるか否かを判定するための指標を入力とし、カメラパラメータ記憶部１３１からカメラパラメータを読み出し、前記指標と前記カメラパラメータに対応付けられた認識の可否を読み出す。そして、認識可否判別手段１２２は、、認識不可を読み出した場合には、認識可能とするために変更するカメラパラメータ（以下、変更カメラパラメータと記す）を出力する。本実施の形態では、指標としてぼけ量を用いるので、認識可否判別手段１２２は、ぼけ量を入力とし、読み出したカメラパラメータとともに認識可否判別パラメータ記憶部１３２を読み出し、対応付けられた認識の可否を読み出す。認識可否判別手段１２２は、認識不可を読み出した場合には、認識可能とするためのカメラパラメータ、例えば、Ｆ値や、被写体との距離等を算出し、変更カメラパラメータとして出力する。
【００２９】
認識可否判別手段１２２は、変更カメラパラメータとして、例えば、認識可能であるカメラパラメータに対応付けられた指標と入力された指標との差が最小であり、また、変更の前後におけるカメラパラメータの差分が最小となるカメラパラメータを出力することができる。上記のようなカメラパラメータの出力方法は一例であり、上記手法に限られない。
【００３０】
また、認識可否判別手段１２２は、カメラパラメータのうち、内部機構に関するもの（絞り値、Ｆ値等）については、変更してカメラパラメータ記憶部１３１に記憶させ、内部機構に関しない他のカメラパラメータ（被写体との距離、撮像装置の姿勢など）を変更カメラパラメータとして出力するようにしても良い。このようにすれば、内部機構に関するカメラパラメータの変更が自動化されるので、撮影者による操作を軽減することが出来る。
【００３１】
本実施の形態のように、前記指標から認識の可否を直接的に求めることが出来る場合には、カメラパラメータ記憶部１３１からのカメラパラメータの読み出しを省略しても良い。このようにすれば、読み出し処理を省略できるから、処理を高速かつ軽量にすることが出来る。
【００３２】
画面表示手段１２３は、画像データと変更カメラパラメータを入力とし、カメラパラメータの変更を実現するための操作を誘導する所定のメッセージや図形等を、画像データに重畳することにより表示データを出力する手段である。画面表示手段１２３は、例えば、変更カメラパラメータによるカメラパラメータの変更が、被写体との距離を延長するものである場合には、“もう少しはなれて下さい”等の文字列を表示データに埋め込むことにより、表示データを生成する。あるいは、画面表示手段１２３は、画像データ内の所定の領域と比較して小さい領域を示す枠状の図形を当該領域の中心点近辺に重畳して表示データを生成してもよい。変更カメラパラメータによるカメラパラメータの変更が、撮像装置の姿勢を変更するものである場合には、画面表示手段１２３は、“下に向けてください”等の文字列を表示データに埋め込んでも良いし、下方向を示す矢印状の図形を表示データに埋め込んでも良い。画面表示手段１２３によって埋め込まれる文字列は、図示しないが、変更カメラパラメータの要素と対応付けられて予めデータ記憶装置に記憶されていてもよい。
【００３３】
表示装置１４０は、表示データを入力とし、入力された表示データを表示する。表示装置１４０は、具体的には液晶ディスプレイ等によって実現される。
【００３４】
次に、図面を参照して、本発明を実施するための第１の実施の形態の動作を説明する。
【００３５】
撮像装置１１０は、カメラパラメータ記憶部１３１で保持しているカメラパラメータを元に撮影を行う。そして、撮像装置１１０は、撮影した画像データを合焦状態解析手段１２１に送信する（ステップＡ１）。
【００３６】
合焦状態解析手段１２１は、画像データの合焦状態の解析を行う（ステップＡ２）。
【００３７】
合焦状態解析手段１２１は、例えば、エッジの滑らかさを解析し、ぼけ量として出力することが出来る。非合焦状態では、エッジは滑らかになるのでこの滑らかの長さをぼけ量とする（図５）。他の例として、合焦状態解析手段１２１は、中間色の占める割合をぼけ量として出力することが出来る（図６）。撮影対象が２値画像（白黒画像）の場合、合焦状態であれば、白画素と黒画素の２種類に分かれるが、非合焦状態の場合、滑らかになっている画素値は白と黒の中間色になる（図６（ｂ）の斜線部分）。したがって、対象領域に対する中間色の割合をぼけ量とすることができる。
【００３８】
なお、合焦状態解析手段１２１による解析の対象領域は、あらかじめ画像中心付近の矩形領域と定めてもよいし、画像データから認識対象となる領域を抽出した領域でもよい。
【００３９】
合焦状態解析手段１２１は、合焦状態の解析を終了すると、解析の結果得られるぼけ量の値を認識可否判別手段１２２に入力する。
【００４０】
次に、認識可否判別手段１２２は、合焦状態の解析結果を受け取り、認識可否判別パラメータ記憶部１３２を参照し、解析結果が認識可能かを確認する（ステップＡ３）。
【００４１】
認識可否判別手段１２２は、入力されたぼけ量とカメラパラメータ記憶部１３１に記憶されたカメラパラメータとに対応付けられた認識の可否を、認識可否判別パラメータ記憶部１３２から読み出す。認識不可である場合、認識可否判別手段１２２は、内部機構を制御することにより変更できるカメラパラメータを変更することにより認識可能とすることが出来るか否かを判断する（ステップＡ４）。例えば、Ｆ値は、内部機構である絞りを制御することにより変更するカメラパラメータであり、ぼけ量は、Ｆ値を変更することによって制御することが可能である。認識可否判別手段１２２は、Ｆ値を変更することにより変更されるぼけ量とカメラパラメータとに対応付けられた認識の可否を確認しながら、認識可能であるＦ値を昇順あるいは降順に検索する。認識可能であるＦ値が検索された場合には、認識可否判別手段１２２は、カメラパラメータの再設定が可能であると判断し（ステップＡ４のＹｅｓ）、カメラパラメータ記憶部１３１に記憶させるとともに、カメラパラメータの設定を行い（ステップＡ５）、再設定された条件で撮影を行う。
【００４２】
認識可否判別手段１２２は、パラメータ設定が可能でないと判断する場合（ステップＡ４のＮｏ）、認識可能な画像データを撮影するための変更カメラパラメータを出力する。認識可否判別手段１２２は、例えば、認識可能な目標ぼけ量を定め、定められた目標ぼけ量を満たすための変更カメラパラメータのうち、現在のカメラパラメータと変更カメラパラメータの差分とが最小となるものを変更カメラパラメータとして出力することが出来る。
【００４３】
認識可否判別手段１２２は、認識可能な目標ぼけ量を、認識可否判別パラメータ記憶部１３２に記憶されたレコードから選択することにより定めてもよい。この場合において、認識可否判別手段は、解析されたぼけ量と、目標ぼけ量との差分が最小となるものを選択しても良い。このようにすれば、変更の前後におけるカメラパラメータの差分が小さくなるため、撮影者による操作を微細に抑えることが出来る。
【００４４】
上記のような認識可否判別手段１２２による処理方法は、一例であり、上記手法に限られない。
【００４５】
次に、画面表示手段１２３は、認識可否判別手段１２２から変更カメラパラメータを受け取ると、変更カメラパラメータを満たすために、操作を誘導するための表示データの生成を行う（ステップＡ６）。
【００４６】
変更カメラパラメータとして、撮影距離が入力された場合には、画面表示手段１２３は、例えば、操作を誘導するための表示データを、画像データ内の所定の領域を、該領域の輪郭を拡大／縮小した図形と重畳することにより作成することができる。この場合、画像表示手段１２３は、入力された撮影距離を元に、画像データ内の所定の領域を変更後の撮影距離で撮影した場合における変更後の領域の大きさを計算する。例えば、距離が２倍になると画角も２倍になるカメラの場合（図８）、撮影距離が２倍になると、画像データにおける所定領域の大きさは１／２になる（図９）から、変更後の領域の大きさを、現画像データにおける所定領域の１／２の大きさとして算出する。画像表示手段１２３は、このように計算した領域の大きさを表示する枠状の図形を、画像データに重畳することにより表示データを作成し、表示装置１４０に送信する。また、他の例として、画像表示手段１２３は、予め変更パラメータと対応付けられた所定のメッセージを画像データに重畳することにより、表示データを生成しても良い。
【００４７】
表示装置１４０は、入力された表示データを液晶ディスプレイ等の画面に表示する（ステップＡ７）。
【００４８】
次に、本発明を実施するための第１の実施の形態の効果について説明する。
【００４９】
本発明の第１の実施の形態では、認識アプリケーションにおける入力画像の要件を意識することなく、撮影者は、該要件を満たす画像を撮影することが出来る。本発明の第１の実施の形態は、撮影画像の合焦状態を解析した結果を元に認識可否判別処理を行い、認識不可の場合には、認識可能な合焦状態の画像を撮影するためのカメラパラメータを再設定または再設定を行うための誘導表示を行うからである。
【００５０】
また、本発明の第１の実施の形態では、要件を満たす画像を撮影するための撮影者による操作が容易となる。その理由は、内部機構を制御することによってはカメラパラメータの再設定が不可能な場合であっても、認識可能な画像を撮影するためのカメラパラメータへと誘導する誘導表示を行うからである。誘導表示は、画面等の表示装置により表示されるため、利用者は、当該表示を見ながら具体的なカメラの操作方法（カメラをどの方向にどのくらい動かせばよいか等）を知ることができ、認識アプリケーションにおける入力画像の要件を満たす画像を撮影するための撮影条件を撮影者が実現しやすい。
【００５１】
また、本発明の第１の実施の形態によれば、要件を満たす画像を撮影するための撮影者による操作が容易となる。その理由は、内部機構の制御によるカメラパラメータの再設定が可能な場合には、撮影者による操作を要することなく認識可能な画像を撮影できる状態となるからである。
［実施例］
次に、本発明の第１の実施例を、図面を参照して説明する。かかる実施例は本発明を実施するための第１の実施の形態に対応するものである。
【００５２】
本実施例は、撮像装置としてカメラ付き携帯電話を、データ処理装置として前記カメラ付き携帯電話に内蔵された小型コンピュータを、データ記憶装置として前記カメラ付き携帯電話に内蔵されたＲＡＭを、出力装置として前記カメラ付き携帯電話のディスプレイを備えている。
【００５３】
小型コンピュータは、合焦状態解析手段１２１、認識可否判別手段１２２、画面表示手段１２３として機能する中央演算処理装置を有しており、またＲＡＭには、カメラパラメータと、認識可否判別パラメータが記憶されている。
【００５４】
カメラパラメータ記憶部には、図３に示すように、例えば解像度は”１２８０ｘ１０２４”、Ｆ値は”４．０”、ズーム段階は”２”が予め定められている。また、認識可否判別パラメータ記憶部には、図４に示すように、合焦状態を示す量（以下ぼけ量と呼ぶ）と撮影距離との認識可否の関係に対して、認識できる範囲を示したパラメータが予め定められている。
【００５５】
今、カメラパラメータ記憶部で定められたパラメータで画像を撮影し、合焦状態解析手段１２１に入力されたとする。
【００５６】
合焦状態解析手段１２１では中央演算処理装置により、画像の合焦状態の解析を行う。合焦状態の解析は、エッジの滑らかさをぼけ量とする方法や、中間色の占める割合をぼけ量とする方法がある。合焦状態の解析が終了した後、合焦状態解析手段１２１は、ぼけ量の値を認識可否判別手段１２２に供給する。
【００５７】
認識可否判別手段１２２は、入力されたぼけ量を認識可否判別パラメータと比較する。認識不可と判別された場合、パラメータ設定が可能かを判断した後、可能であればパラメータ設定を行う。ぼけ量を改善するパラメータはＦ値であるので、Ｆ値のパラメータを例えば、Ｆ４．０からＦ５．６に変更することになる。パラメータ設定が可能でない場合、認識可批判別手段１２２は、認識可能な目標ぼけ量の計算を行い、理想的な撮影距離を変更カメラパラメータとして画面表示手段１２３へ出力する。
【００５８】
例えば、合焦状態解析手段１２１によって出力されたぼけ量が１００であったとする。この場合において、認識可否判別手段１２２が認識可否判別パラメータ記憶部１３２からぼけ量１００と対応付けられた撮影距離と認識の可否を読み出すと、ぼけ量１００は図７のＡに配置されるから、撮影距離は５ｃｍで認識不可と判断される。認識可能範囲にマッピング位置を移動させるには、目標ぼけ量の５０まで、ぼけ量を低減させる必要がある（図７のＢ）。目標ぼけ量から、理想撮影距離は１０ｃｍなので、現在の位置から５ｃｍ離れて撮影すればよい。認識可否判別手段１２２は、変更後カメラパラメータとして理想撮影距離１０ｃｍなる情報を出力する。
【００５９】
画面表示手段１２３は、前記出力された理想撮影距離を元に、現在表示している対象領域をどのくらいの大きさで表示すればよいかを計算する。例えば距離が２倍になると画角も２倍になるカメラの場合（図８）、撮影距離が２倍になると、撮影対象は１／２になる（図９）。これにより、対象領域は現在の対象領域の１／２の大きさに設定する。このように計算した対象領域の大きさを作成し、表示装置１４０に送信する。
【００６０】
表示装置１４０は、画面表示手段１２３で生成した対象領域を表示する。
【００６１】
以下に、図１０及び図１１を参照しながら、画面表示手段１２３で生成する対象例について具体的に説明する。画面表示手段１２３は、予めこれらの表示を行うことができるように設定されているものとする。
【００６２】
図１０において表示画面１には、誘導表示として矩形が表示されており、理想撮影距離に応じて、矩形領域が拡大することを示している（図１０（a））。矩形領域が小さくなる場合は、「カメラを引いてください」や、矩形領域が大きくなる場合は、「カメラを近づけて撮影してください」という文言を表示してもよい（図１０（b））。
【００６３】
図１１において表示画面２には、誘導表示として撮影対象物体の輪郭が表示されており、理想撮影距離に応じて、輪郭が拡大・縮小することを示している（図１１（a））。輪郭が小さくなる場合は、「カメラを引いて撮影してください」や、輪郭が大きくなる場合は、「カメラを近づけて撮影してください」という文言を表示してもよい（図１１（b））。ここで、撮影対象物体の輪郭は、従来手法である２次微分による輪郭抽出処理や、「新編 画像解析ハンドブック」（高木幹雄・下田陽久監修、日本、２００４年、２５３〜２５４頁）に記載のsnakeを用いた輪郭抽出処理を用いることにより抽出することが出来る。
【００６４】
このような誘導表示により、撮影者は、画面を見ながらカメラをどの方向にどのくらい動かせばよいかがわかる。
［第２の実施の形態］
次に、本発明の第２の実施の形態について図面を参照して説明する。
【００６５】
第１の実施の形態は、画像を認識できるか否かを判定するための指標として、画像データの合焦状態を解析することにより得られるぼけ量を用いたが、本発明を実施するための第２の実施の形態は、画像を認識できるか否かを判定するための指標として、画像データの解像度状態を解析することにより得られる解像度状態値を用いる点で、第１の実施の形態と異なる。すなわち、第２の実施の形態は、解像度低下による認識付加原因を把握し、解像度低下を防ぐためのカメラパラメータ設定を行うことを特徴とする。
【００６６】
図１２は、第２の実施の形態の構成を示す図である。図１２を参照すると、本発明の第２の実施の形態では、合焦状態解析手段１２１に代えて解像度解析手段１２４を備える点認識可否判別パラメータ記憶部１３２に代えて認識可否判別パラメータ記憶部１３３を備える点、及び認識可否判別手段１２２に変えて認識可否判別手段１２５を備える点で第１の実施の形態と異なる。第１の実施の形態と同様の構成要素については同一の番号を付し説明を省略する。
【００６７】
解像度解析手段１２４は、画像データを入力とし、画像を認識できるか否かを判定するための指標を得るために、画像データから解像度状態を解析し、解像度状態値を出力する。解像度状態の解析は、例えば、画像データ中の対象物体の大きさを解像度状態値として計測したり、２次元バーコードの型番情報を読み取ったりすること等により行うことが出来る。解像度状態の解析処理の方法の例は後述される。
【００６８】
認識可否判別パラメータ記憶部１３３は、画像データを解析することにより得られる指標として解像度状態値を用いる点で認識可否判別パラメータ記憶部１３２と異なる。すなわち、認識可否判別パラメータ記憶部１３３は、解像度状態値と、カメラパラメータと、認識できるか否かを示す認識の可否とを対応付けて記憶する。図１５は、認識可否判別パラメータ記憶部１３３に記憶される、解像度状態値と、カメラパラメータと、認識の可否との対応付けの一例を示す図である。この図では、理解を容易にするために、解像度状態値と、カメラパラメータの一部であるカメラ解像度との対応付けをグラフの形状で示している。具体的には、カメラ解像度を縦軸に、解像度状態値を横軸にとり、対応付けられた両者の関係が所定のグラフ形状で示されている。また、カメラ解像度と解像度状態値とのの関係において、認識できる範囲を、所定の領域（図１５の例では所定の直線の下部である三角形状の領域）として記憶している。上記記憶の態様は一例であり、このような手法に限られない。
【００６９】
認識可否判別手段１２５は、画像を認識できるか否かを判定するための指標として解像度状態値を用いる点で、認識可否判別手段１２２と異なる。認識可否判別手段１２５は、カメラパラメータ記憶部１３１からカメラパラメータを読み出し、入力された解像度状態値と前記カメラパラメータに対応付けられた認識の可否を読み出し、認識不可の場合には、認識可能となるための変更カメラパラメータ算出し、カメラパラメータ記憶部１３１に設定する手段である。
【００７０】
次に、図１２と図１３のフローチャートを参照して、本実施の形態の動作について詳細に説明する。なお、第１の実施の形態と同様の動作には、同一の符号が付され、説明は省略される。
【００７１】
解像度状態解析手段１２４は、画像データの解像度状態の解析を行う（ステップＢ２）。
【００７２】
解像度状態の解析を終えると、解像度状態解析手段１２４は、解像度状態値を解析結果として認識可否判別手段１２５に送信する。
【００７３】
解像度状態解析手段１２４は、例えば、画像データ中の対象物体の大きさを計測し、その大きさを解像度状態値とする方法により、解像度状態を解析することができる。画像データ中の対象物体の大きさを計測する方法としては、「新編 画像解析ハンドブック」（高木幹雄・下田陽久監修、日本、２００４年、１８２３〜１８２４頁）に記載のレイアウト解析で基本の処理となる投影法を用いることができる。投影方向については、縦方向、横方向の２種類について行い、投影量の間隔を解像度状態値とする。
【００７４】
画像データに２次元バーコードが撮影されている場合には、解像度状態解析手段１２４は、例えば、２次元バーコードの型番情報を読み取ることにより、２次元バーコードにおける解像度状態の解析を行っても良い。この型番情報は、２次元バーコードの１辺がいくつのモジュール数から構成されているかが記載されている（ＪＩＳ Ｘ ０５１０ ２次元コードシンボル−ＱＲコード−基本仕様、２００４年、５頁、７．３章）。解像度状態解析手段１２４は、モジュール数と２次元バーコードの画像上の１辺の長さ（画素数）から、１モジュールが何画素から構成されているかを計算し、その値を解像度状態値として用いることができる。例えば、撮影した２次元バーコードの１辺の長さが３００画素だとすると、解像度状態解析手段１２４は、型番情報から１辺が５４個のモジュールから構成されていると読み取った場合、１モジュールあたりの画素数は３００÷５４＝５．５６となることから、解像度状態値を５．５６とする（図１４）。
【００７５】
上記のような画像データの解像度状態の解析手法はその一例を示すものであり、上記手法に限られない。
【００７６】
次に、認識可否判別手段１２５では、解像度状態値を受け取り、認識可否判別パラメータ記憶部に格納されている、認識可否判別パラメータと照合し、解析結果が認識可能であるかを確認する（ステップＢ３）。認識可否判別手段１２５は、例えば、カメラパラメータ記憶部１３１から読み出したカメラパラメータと、受け取った解像度状態値とに対応付けられた認識の可否を読み出し、認識可能か否かを判断する。
【００７７】
認識可能である場合、後の処理は行われない（ステップＢ３のＹｅｓ）。認識不可能である場合（ステップＢ３のＮｏ）、認識可否判別手段１２５は、認識可否判別パラメータ記憶部１３４から認識できるためのカメラパラメータを求め、カメラパラメータの再設定が可能かを判断した後（ステップＢ４）、カメラパラメータ記憶部１３１に再設定し（ステップＢ５）、再撮影するとともに、画面表示手段１２３に変更カメラパラメータを出力する。。
【００７８】
認識可否判別手段１２５は、例えば、カメラの撮像解像度（図１５に示すカメラ解像度）を変更することにより、認識できるカメラパラメータを設定することが出来る。つまり、撮影時の解像度よりも更に高い解像度での撮影が可能な場合に、カメラパラメータ記憶部１３１に対して撮影時の解像度を高くするカメラパラメータを設定する。例えば、カメラ解像度が１２８０ｘ１０２４、解像度状態値が５．５６、ズーム段階が２の場合、かかる点は、図１５の点Ａに配置される。ここでカメラ解像度を１６１６ｘ１２１２にすると、点Ａは点Ｂに移動し、認識可能領域に配置される。カメラ解像度を１６１６ｘ１２１２に変更することで認識可能になることから、認識可否判別手段１２５は、カメラ解像度を１６１６ｘ１２１２とする変更カメラパラメータをカメラパラメータ記憶部１３１に設定し、撮像装置１１０は設定されたカメラパラメータで再撮影する。
【００７９】
他の例として、認識可否判別手段１２５は、例えば、カメラのズーム機能を使用することにより、認識できるカメラパラメータを設定することが出来る。すなわち、撮影時のズーム段階を上げることで、撮影対象を大きく写し解像度を上げる。例えば、カメラ解像度が１２８０ｘ１０２４、解像度状態値が５．５６、ズーム段階が２の場合、かかる点は、図１５の点Ａに配置される。ここで、ズーム段階を２倍の４にすると、解像度状態値は２倍となり、５．５６ｘ２＝１１．１２となる（点Ｃ）。ズーム段階を２倍にすることで、点Ａは点Ｃに移動し、認識可能領域に配置される。ズーム段階を２倍の４に変更することで認識可能になることから、認識可否判別手段１２５は、ズーム段階を４とする変更カメラパラメータをカメラパラメータ記憶部１３１に設定し、撮像装置１１０は設定されたカメラパラメータで再撮影する。
【００８０】
また、認識可否判別手段１２５は、カメラの撮像解像度の変更と、カメラのズーム機能の使用とを併用しても良い。
【００８１】
画面表示手段１２３は、カメラパラメータ記憶部１３１の内容が設定された場合に、その旨を表示装置１４０に送信するようにしても良い。この場合、画面表示手段１２３は再設定されたカメラパラメータを埋め込んだ画像データを生成して表示装置１４０に送信し、表示装置１４０は、該内容を表示装置に表示しても良い。このようにすれば、撮影者はカメラパラメータが再設定されたことを理解できる。また、この再設定した旨の通知・非通知は切り替えられるようにしてもよい。
【００８２】
次に、本発明を実施するための第２の実施の形態の効果について説明する。
【００８３】
本発明を実施するための第２の実施の形態では、解像度状態を解析する手段が加えられているため、解像度不足による認識可否を判別することができる。認識不可の場合、理想的な解像度状態を撮影するためのカメラパラメータを再設定するので、認識しやすい画像を撮影することができる。
【００８４】
第２の実施の形態として、第１の実施の形態の合焦状態解析手段１２１に解像度解析手段１２４を有する構成を説明したが、他の実施の形態として、合成状態解析手段１２１と解像度解析手段１２４との双方を有するように構成しても良い。そのような構成によれば、詳細な入力画像の要件を満たすための操作を誘導することができる。
［第３の実施の形態］
次に、本発明の第３の実施の形態について図面を参照して説明する。
【００８５】
図１６は、第３の実施の形態の構成を示すブロック図である。図１６を参照すると、本発明の第３の実施の形態は、画質状態解析手段１２６と画質調整手段１２７と認識可否判別手段１２８をさらに備える点、及び認識可否判別パラメータ記憶部１３２に代えて認識可否判別パラメータ記憶部１３４を備える点で第１の実施の形態と異なる。第３の実施の形態はこれらを有することにより、画質低下による認識不可要因を把握し、画質低下を防ぐための画像処理、パラメータ設定を行うことを特徴とする。
【００８６】
画質状態解析手段１２６は、画像データを入力とし、画像を認識できるか否かを判定するための指標を得るために、画像データから画質状態を解析し、解析結果として画質状態値を出力する。画質状態の解析は、例えば、画像のコントラストを解析し、コントラスト値を画質状態値として用いることが出来る。画質状態の解析方法は、後述される。
【００８７】
認識可否判別パラメータ記憶部１３４は、認識可否判別パラメータ記憶部１３２の記憶する内容に加えて、画質状態値と認識の可否とが対応付けられて記憶する。
【００８８】
認識可否判別手段１２８は、画質状態値を入力とし、認識可否判別パラメータ記憶部１３４から、画質状態値に対応付けられた認識の可否を読み出し、認識可能か否かを判断するとともに、認識不可の場合には、認識可能とするために目標となる画質状態値を読み出して出力する。
【００８９】
画質状態調整手段１２７は、目標とする画質状態値を入力とし、目標とする画質状態値への調整が可能か否かを判断し、調整可能な場合には所定の画像処理を行う手段である。調整不可能である場合には、予め定められた文字列を画面表示手段に出力する。
【００９０】
次に、図１６と図１７のフローチャートを参照して、本実施の形態の動作について詳細に説明する。
【００９１】
撮像装置１１０は、カメラパラメータ記憶部１３１で保持しているカメラパラメータに基づいて撮影した画像データを画質状態解析手段１２６に送信する（ステップＣ１）。画質状態解析手段１２６は、画像データの画質状態の解析を行う（ステップＣ２）。画質状態の解析結果は認識可否判別手段１２８に送信される。
【００９２】
画質状態解析手段１２６による撮影画像の画質状態の解析内容としては、例えば、画像のコントラストがある。コントラストを画像中の最大輝度値と最小輝度値の大きさと定義すると、画像中の輝度値のヒストグラム図１８では、最大輝度値２４５、最小輝度値５で、コントラスト値は２４０になる。コントラスト値が大きいほど画像ははっきりと写り、認識しやすい画像といえる。このような例によれば、画質状態解析手段１２６は、コントラスト値を解析結果とする。
【００９３】
次に、認識可否判別手段１２２では、画質状態の解析結果を受け取り、認識可否判別パラメータ記憶部に格納されている、認識可否判別パラメータと照合し、解析結果が認識可能かを確認する（ステップＣ３）。認識可能である場合、後の処理は行われない。認識不可能である場合、認識可否判別手段１２８は、認識可否判別パラメータ記憶部から認識可能な画質状態値と認識の可否とを読み出し、画質調整手段１２７に出力する。その後、画質調整手段１２７は、受け取った画質状態値と認識の可否とから、画質調整可能かを判断する（ステップＣ４）。画質調整可能である場合、画質調整手段１２７は、受け取った画質状態値に基づいて画像処理を行う（ステップＣ６）。画質調整不可能である場合、画質調整手段１２７は、予め定められた文言を表示装置１４０に表示する（ステップＣ５）。
【００９４】
画質状態値としてコントラスト値を用いる例で説明すると、例えば、認識可否判別パラメータ記憶部は、認識可能コンラトスト値として２００を、認識不可コントラスト値として１００を記憶するようにして、コントラスト値と認識の可否とが対応付けて記憶される。すなわち、この場合、認識可能なコントラスト値は２００以上、認識不可コントラストは１００以下となる。
【００９５】
認識可否判別パラメータ記憶部が上述の情報を記憶している場合の例で、例えば、画質状態解析手段１２６による画質状態の解析により、コントラスト値が１５０と解析され、認識可否判別手段１２８が受け取った例を説明する。この場合、認識可否判別手段は、コントラスト値１５０と対応付けられた認識の可否を読み出す。コントラスト値１５０は、認識可能なコントラスト値と認識不可能なコントラストの間にあるコントラスト値であり、対応付けられる認識の可否は、認識可能コントラストでも認識不可コントラストでもない。認識可否判別手段１２８はかかる結果を画質調整手段１２７へ出力する。また、認識可否判別手段１２８は、認識の可否が認識可能コントラストで無い場合には、認識の可否と併せて、認識可能なコントラスト値を目標画質状態値として出力してもよい。
【００９６】
画質調整手段１２７はかかる結果を受け取り、認識不可コントラストではないことから、調整可能と判断する。前記判断の後、画質調整手段１２７は、コントラストに関する画像処理を行い、画質の調整された画像データを出力する。コントラストを調整する方法は、例えば、「新編 画像解析ハンドブック」（高木幹雄・下田陽久監修、日本、２００４年）の１１７１〜１１７６頁に記載されている方法を用いることができる。画質調整手段１２７は、コントラストを調整する値を決定する際に、認識可否判別パラメータ部に記憶されている認識可能コントラスト値を参考にしてもよい。また、認識可否判別手段１２８から受け取った目標画質状態値を参考にしてもよい。
【００９７】
また、画質状態解析手段によりコントラスト値が５０と解析された場合は、認識可否判別手段１２８は、かかるコントラスト値を認識不可コントラストであるとして画質調整手段１２６に出力する。この場合、画質調整手段１２７は、受け取ったコントラスト値が認識不可コントラストであることから、調整できないと判断する。画質調整手段１２７は前記判断と共に、「ライトを付けてください」「明るい場所で撮影してください」などの予め定められた文字列を画面表示手段１２３に出力しても良い（図１９に表示された態様の一例）。なお、画質状態解析手段１２６により解析されたコントラスト値が２００以上の場合は、認識可能コントラストとして画質調整手段１２７に通知されるので、画質調整手段１２６は画質調整を行わない。
【００９８】
次に、合焦状態解析手段１２１は、画質調整後の画像データを入力とし、合焦状態の解析を行う（ステップＡ２）。その後、合焦状態解析手段１２１は、解析結果を認識可否判別手段１２２に送信する。
【００９９】
以降の動作は、第１の実施の形態と同様である。
【０１００】
次に、本発明を実施するための第３の実施の形態の効果について説明する。
【０１０１】
本発明を実施するための第３の実施の形態では、画質状態を解析する手段と、画質を調整する手段が加えられており、合焦状態を解析する前に画質状態を解析し、画質を調整する。このため、撮影された画像データが認識アプリケーションにおける画質の要件を満たすかどうかを判別することが出来る。具体的には、画質低下による認識可否を判別することができる。
【０１０２】
また、本発明を実施するための第３の実施の形態は、撮影された画像データが認識できない場合であって、認識可能な画質へと調整できる場合には画質の調整を行う。このため、所定の場合には、撮影条件等を変更することなく、認識アプリケーション処理にとって認識しやすい画像データを生成することができる。
【０１０３】
また、本発明を実施するための第３の実施の形態では、要件を満たす画像を撮影するための撮影者による操作が容易となる。その理由は、内部機構を制御することによってはカメラパラメータを再設定できない場合であっても、認識可能な合焦状態になるカメラパラメータへと誘導する誘導表示を行うからである。誘導表示は、画面等の表示装置により表示されるため、撮影者は、当該表示を見ながら具体的なカメラの操作方法（カメラをどの方向にどのくらい動かせばよいか等）を知ることができ、認識アプリケーションにおける入力画像の要件を満たす画像を撮影するための撮影条件を撮影者が実現しやすい。
【０１０４】
また、本発明の各実施の形態における各構成要素は、その機能をハードウェア的に実現することはもちろん、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態における構成要素として機能させる。
［産業上の利用可能性］
本発明によれば、最適な画質で撮影するための撮影操作誘導装置や、撮影操作誘導装置をコンピュータに実現するためのプログラムといった用途に適用できる。また、顔認識や指紋認証を備えているデジタルカメラやデジタルビデオカメラに搭載されている、画質調整機能といった用途にも適用できる。
【図面の簡単な説明】
【０１０５】
【図１】本発明の第１の実施の形態の構成を示すブロック図。
【図２】本発明の第１の実施の形態の動作を示すフローチャート
【図３】カメラパラメータの例を示す説明図
【図４】ぼけ量と撮影距離の関係から認識可能範囲を示す説明図
【図５】合焦状態と非合焦状態におけるぼけ量の関係を１次元で説明した図
【図６】合焦状態と非合焦状態におけるぼけ量の関係を２次元平面で説明した図
【図７】計測したぼけ量と目標ぼけ量と各々の撮影距離を説明した図
【図８】撮影距離と画角の例を示す説明図
【図９】撮影距離と撮影対象の大きさを示す説明図
【図１０】誘導表示を矩形として表示画面上に表示した例を示す説明図
【図１１】誘導表示を撮影対象の輪郭として表示画面上に表示した例を示す説明図
【図１２】本発明の第２の実施の形態の構成を示すブロック図
【図１３】本発明の第２の実施の形態の動作を示すフローチャート
【図１４】２次元バーコードの解像度状態値の計算例を示す説明図
【図１５】解像度状態とズーム段階変更による効果を示す説明図
【図１６】本発明の第３の実施の形態の構成を示すブロック図
【図１７】本発明の第４の実施の形態の動作を示すフローチャート
【図１８】コントラストの例を示す説明図
【図１９】誘導表示を文言として表示画面上に表示した例を示す説明図
【符号の説明】
【０１０６】
１１０ 撮像装置
１２０ データ処理装置
１２１ 合焦状態解析手段
１２２ 認識可否判別手段
１２３ 画面表示手段
１２４ 解像度解析手段
１２５ 認識可否判別手段
１２６ 画質状態解析手段
１２７ 画質調整手段
１２８ 認識可否判別手段
１３０ データ記憶装置
１３１ カメラパラメータ記憶部
１３２ 認識可否判別パラメータ記憶部
１３３ 認識可否判別パラメータ記憶部
１３４ 認識可否判別パラメータ記憶部
１４０ 表示装置
【技術分野】
【０００１】
本発明は、撮影操作誘導システム、撮影操作誘導方法および撮影操作誘導プログラムに関し、特に認識しやすい画像を撮影するための、撮影操作誘導システム、撮影操作誘導方法および撮影操作誘導プログラムに関する。
【背景技術】
【０００２】
これまで、カメラ付き携帯電話のようなカメラ付き携帯端末は、風景や人物の撮影といった用途で使われてきた。近年、カメラ付き携帯端末における情報処理能力の高性能化、高機能化等は目覚しく、こうした端末が、OCR（Optical Character Recognition）やバーコード読み取りなど（以下、認識アプリケーションと呼ぶ）の画像認識処理用途にも使われつつある。
【０００３】
これらの認識アプリケーションが画像認識処理をするために必要とする入力画像の要件は、撮影者に意識されることが無いのが一般的であり、撮影者は、勘や経験等に基づいて、端末の位置等の撮影条件（カメラパラメータ）を調整し、利用する認識アプリケーションが必要とする要件を満たす入力画像を撮影していた。
【０００４】
所望の画像を得るためには、端末の備えるカメラの機械的構造を改良し、撮影時のカメラパラメータを所望のものへと制御するアプローチもあるが、端末の小型化という制約条件の元では、機械的構造の複雑化というアプローチは敬遠されやすい。
【０００５】
こうした状況の下、文字認識に対する入力画像として要件を満たす画像を撮影者に撮影させるため、撮影された画像中の所定の領域の大きさに基づいて撮影操作を誘導する手法が提案されている。
【０００６】
例えば、特許文献１には、文字認識の対象となる画像の入力にあたり、入力されるべき文字のサイズを撮影者に表示する手法が記載されている。また、特許文献２では、OCRをするための対象領域を文字の連結成分の大きさから判定し、ガイド情報を表示することにより、撮影操作をサポートするガイド表示機能を実現している。
【０００７】
一方、入力画像の要件として、合焦状態が着目されており、例えば、特許文献３には、「撮影者の操作によりピント調整された」撮影画像から微分画像データを作成し、その高域成分を示す画素値に応じて、所定の色を割り当てて表示する手段を備え、色の違いにより合焦状態を知らせる装置が記載されている。また、特許文献４には、「撮影者の操作によるピント調整」の合焦状態の表示を視覚的又は聴覚的に行う表示手段を備え、例えば、合焦状態を棒グラフやレベルメータ、数値、図形の個数、ＬＥＤの点滅ピッチ、音で示す方法が記載されている。
【特許文献１】特開平１１−１１０５３６号公報 （００１４段落〜００１５段落、図２等）
【特許文献２】特開２００４−２１３２１５号公報
【特許文献３】特開２００２−１９６２２５号公報
【特許文献４】特開２００６−１６６４５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
第１の問題点は、撮影された画像が領域の大きさや合焦状態を満たすものであっても、必ずしも撮影された画像は認識できる要件を満たすわけではないことである。
【０００９】
例えば、特許文献３、４に記載の画像の高域成分量で判断する合焦状態の場合、高域成分が増加し続けていても合焦状態と判断されるが、高域成分が増加するにつれ、画像には高周波ノイズが付加される場合がある。その結果、高周波ノイズの影響で画質が乱れ、認識不可の原因になり得る。また、入力画像の画像解像度の不足や、コントラストの不十分、位置合わせ、その他の要因によって認識できないことがある。
【００１０】
第２の問題点は、認識アプリケーションが認識できる要件を満たす画像を撮影するための具体的な撮影操作を、撮影者が分からないことである。
【００１１】
特許文献３、４に記載の、色の違いによる合焦状態の表示や、棒グラフや音による合焦状態を確認するだけでは、撮影者が撮影端末をどの位置までどのくらい動かせばよいか分からないので、経験則的に上下左右に端末を動かさなければならない。また、特許文献２は、認識できない場合の判定結果をガイド情報として提示しているのみであり、撮影者に具体的な撮影操作を誘導するための誘導表示を提示しているわけではない。
［発明の目的］
本発明は、このような課題に鑑みてなされたものであって、認識アプリケーションの認識処理の要件を満たす画像を撮影するための操作を、撮影者が、容易に把握することのできる撮影操作誘導システムを提供することにある。
【００１２】
本発明の他の目的は、要件を満たす画像を撮影するための操作を簡易化する撮影操作誘導システムを提供することにある。
【課題を解決するための手段】
【００１３】
上記課題を解決するべく本願に開示される発明は、撮影操作誘導システムであって、画像データに対し画像処理を行い所定の指標を出力する解析手段と、前記指標とカメラパラメータと画像データを認識できるか否かを示す認識の可否とを対応付けて記憶する認識可否パラメータ記憶手段と、前記認識可否パラメータ記憶手段から前記指標に対応するカメラパラメータと認識の可否を読み出し、認識できない場合に、認識できるためのカメラパラメータを出力する認識可否判別手段と、前記出力されたカメラパラメータに基づいて操作を誘導するための誘導表示を行う表示手段と、を備えることを特徴とする。
【００１４】
また、上記課題を解決するべく本願に開示される発明は、プログラムであって、情報処理装置に、画像データに対し画像処理を行い所定の指標を出力する解析処理と、前記指標とカメラパラメータと画像データを認識できるか否かを示す認識の可否とを対応付けて記憶する認識可否パラメータ記憶処理と、前記認識可否パラメータ記憶手段から前記指標に対応するカメラパラメータと認識の可否を読み出し、認識できない場合に、認識できるためのカメラパラメータを出力する認識可否判別処理と、前記出力されたカメラパラメータに基づいて操作を誘導するための誘導表示を行う表示処理と、を実行させることを特徴とする。
【発明の効果】
【００１５】
第１の効果は、撮影者が、認識アプリケーションにおける入力画像の要件を意識することなく、該要件を満たす画像を撮影するための撮影操作を把握しやすいことである。
【００１６】
その理由は、撮影した画像データを解析することに得られる指標とカメラパラメータとに基づいて画像データが認識可能かを判別し、認識できない場合は、認識しやすい画像データを得るためのカメラパラメータを算出し、前記カメラパラメータを実現するための撮影操作を端末画面に表示するからである。
【００１７】
第２の効果は、要件を満たす画像を撮影するための撮影者による操作が容易となる点にある。その理由は、内部機構を制御することによってカメラパラメータの再設定が可能な場合には、撮影者による操作を要することなく認識可能な画像を撮影できる状態となるからである。
【発明を実施するための最良の形態】
【００１８】
［第１の実施の形態］
次に、図１を参照して本発明を実施するための第１の実施の形態の構成について詳細に説明する。
【００１９】
本発明を実施するための第１の実施の形態は、画像を認識できるか否かを判定するための指標として、画像データの合焦状態を解析することにより得られるぼけ量を用いる。
【００２０】
図１を参照すると、本発明を実施するための第１の実施の形態は、撮像装置１１０とデータ処理装置１２０とデータ記憶装置１３０と表示装置１４０とから構成される。
【００２１】
撮像装置１１０は、対象を撮影することにより画像データを出力する。
【００２２】
データ記憶装置１３０は、カメラパラメータ記憶部１３１と認識可否判別パラメータ記憶部１３２とから構成される。データ記憶装置１３０は、たとえば半導体メモリや磁気記憶装置等により実現される。半導体メモリは、予め上述のように構成されていても良いし、読み込まれたプログラム等が動作する際に半導体メモリ内にカメラパラメータ記憶部１３１と認識可否判別パラメータ記憶部１３２とを構成しても良い。
【００２３】
カメラパラメータ記憶部１３１は、撮像装置１１０による画像データの撮影時のカメラパラメータを記憶する。カメラパラメータとしては、被写体との距離、撮像装置の姿勢、Ｆ値、画像データの解像度、ズーム値等がある。
【００２４】
認識可否判別パラメータ記憶部１３２は、画像データを解析することにより得られる指標と、カメラパラメータと、認識できるか否かを示す認識の可否とを対応付けて記憶する。本実施の形態では、指標として、合焦状態を解析した結果として得られるぼけ量を用いる。図４は、認識可否判別パラメータ記憶部１３２に記憶される、ぼけ量と、カメラパラメータと、認識の可否との対応付けの一例を示す図である。この図では、理解を容易にするために、ぼけ量と、カメラパラメータの一部である被写体との距離とが対応付けられる様子を示している。具体的には、ぼけ量を縦軸に、カメラパラメータの一部である被写体との距離を横軸にとり、対応付けられた両者の関係が所定のグラフ形状で示されている。また、ぼけ量と被写体との距離の関係において、認識できる範囲を、所定の形状（図４の例では矩形形状）として記憶している。上記記憶の態様は一例であり、このような手法に限られない。
【００２５】
データ処理装置１２０は、入力された画像データを処理し、表示装置に出力するための表示データを生成する装置である。具体的には、半導体集積回路等により実現される。
【００２６】
データ処理装置１２０は、合焦状態解析手段１２１と認識可否判別手段１２２と画面表示手段１２３とを備える。予めこのように構成されていた半導体集積回路として実現しても良いし、半導体集積回路が読み込まれたプログラム等を解釈実行することにより上記各手段をそなえるものとして動作するよう構成しても良い。
【００２７】
合焦状態解析手段１２１は、画像データを入力とし、画像を認識できるか否かを判定するための指標を得るために画像データを解析し、解析結果を出力する。本実施の形態では、画像を認識できるか否かを判定するための指標としてぼけ量を用いる。よって、本実施の形態における合焦状態解析手段１２１は、具体的には、画像データの合焦状態を解析し、ぼけ量を出力する。合焦状態の解析は、例えば、エッジの滑らかさや、中間色の占める割合等を求めることにより行う。合焦状態の解析処理の方法の例は後述される。
【００２８】
認識可否判別手段１２２は、画像を認識できるか否かを判定するための指標を入力とし、カメラパラメータ記憶部１３１からカメラパラメータを読み出し、前記指標と前記カメラパラメータに対応付けられた認識の可否を読み出す。そして、認識可否判別手段１２２は、、認識不可を読み出した場合には、認識可能とするために変更するカメラパラメータ（以下、変更カメラパラメータと記す）を出力する。本実施の形態では、指標としてぼけ量を用いるので、認識可否判別手段１２２は、ぼけ量を入力とし、読み出したカメラパラメータとともに認識可否判別パラメータ記憶部１３２を読み出し、対応付けられた認識の可否を読み出す。認識可否判別手段１２２は、認識不可を読み出した場合には、認識可能とするためのカメラパラメータ、例えば、Ｆ値や、被写体との距離等を算出し、変更カメラパラメータとして出力する。
【００２９】
認識可否判別手段１２２は、変更カメラパラメータとして、例えば、認識可能であるカメラパラメータに対応付けられた指標と入力された指標との差が最小であり、また、変更の前後におけるカメラパラメータの差分が最小となるカメラパラメータを出力することができる。上記のようなカメラパラメータの出力方法は一例であり、上記手法に限られない。
【００３０】
また、認識可否判別手段１２２は、カメラパラメータのうち、内部機構に関するもの（絞り値、Ｆ値等）については、変更してカメラパラメータ記憶部１３１に記憶させ、内部機構に関しない他のカメラパラメータ（被写体との距離、撮像装置の姿勢など）を変更カメラパラメータとして出力するようにしても良い。このようにすれば、内部機構に関するカメラパラメータの変更が自動化されるので、撮影者による操作を軽減することが出来る。
【００３１】
本実施の形態のように、前記指標から認識の可否を直接的に求めることが出来る場合には、カメラパラメータ記憶部１３１からのカメラパラメータの読み出しを省略しても良い。このようにすれば、読み出し処理を省略できるから、処理を高速かつ軽量にすることが出来る。
【００３２】
画面表示手段１２３は、画像データと変更カメラパラメータを入力とし、カメラパラメータの変更を実現するための操作を誘導する所定のメッセージや図形等を、画像データに重畳することにより表示データを出力する手段である。画面表示手段１２３は、例えば、変更カメラパラメータによるカメラパラメータの変更が、被写体との距離を延長するものである場合には、“もう少しはなれて下さい”等の文字列を表示データに埋め込むことにより、表示データを生成する。あるいは、画面表示手段１２３は、画像データ内の所定の領域と比較して小さい領域を示す枠状の図形を当該領域の中心点近辺に重畳して表示データを生成してもよい。変更カメラパラメータによるカメラパラメータの変更が、撮像装置の姿勢を変更するものである場合には、画面表示手段１２３は、“下に向けてください”等の文字列を表示データに埋め込んでも良いし、下方向を示す矢印状の図形を表示データに埋め込んでも良い。画面表示手段１２３によって埋め込まれる文字列は、図示しないが、変更カメラパラメータの要素と対応付けられて予めデータ記憶装置に記憶されていてもよい。
【００３３】
表示装置１４０は、表示データを入力とし、入力された表示データを表示する。表示装置１４０は、具体的には液晶ディスプレイ等によって実現される。
【００３４】
次に、図面を参照して、本発明を実施するための第１の実施の形態の動作を説明する。
【００３５】
撮像装置１１０は、カメラパラメータ記憶部１３１で保持しているカメラパラメータを元に撮影を行う。そして、撮像装置１１０は、撮影した画像データを合焦状態解析手段１２１に送信する（ステップＡ１）。
【００３６】
合焦状態解析手段１２１は、画像データの合焦状態の解析を行う（ステップＡ２）。
【００３７】
合焦状態解析手段１２１は、例えば、エッジの滑らかさを解析し、ぼけ量として出力することが出来る。非合焦状態では、エッジは滑らかになるのでこの滑らかの長さをぼけ量とする（図５）。他の例として、合焦状態解析手段１２１は、中間色の占める割合をぼけ量として出力することが出来る（図６）。撮影対象が２値画像（白黒画像）の場合、合焦状態であれば、白画素と黒画素の２種類に分かれるが、非合焦状態の場合、滑らかになっている画素値は白と黒の中間色になる（図６（ｂ）の斜線部分）。したがって、対象領域に対する中間色の割合をぼけ量とすることができる。
【００３８】
なお、合焦状態解析手段１２１による解析の対象領域は、あらかじめ画像中心付近の矩形領域と定めてもよいし、画像データから認識対象となる領域を抽出した領域でもよい。
【００３９】
合焦状態解析手段１２１は、合焦状態の解析を終了すると、解析の結果得られるぼけ量の値を認識可否判別手段１２２に入力する。
【００４０】
次に、認識可否判別手段１２２は、合焦状態の解析結果を受け取り、認識可否判別パラメータ記憶部１３２を参照し、解析結果が認識可能かを確認する（ステップＡ３）。
【００４１】
認識可否判別手段１２２は、入力されたぼけ量とカメラパラメータ記憶部１３１に記憶されたカメラパラメータとに対応付けられた認識の可否を、認識可否判別パラメータ記憶部１３２から読み出す。認識不可である場合、認識可否判別手段１２２は、内部機構を制御することにより変更できるカメラパラメータを変更することにより認識可能とすることが出来るか否かを判断する（ステップＡ４）。例えば、Ｆ値は、内部機構である絞りを制御することにより変更するカメラパラメータであり、ぼけ量は、Ｆ値を変更することによって制御することが可能である。認識可否判別手段１２２は、Ｆ値を変更することにより変更されるぼけ量とカメラパラメータとに対応付けられた認識の可否を確認しながら、認識可能であるＦ値を昇順あるいは降順に検索する。認識可能であるＦ値が検索された場合には、認識可否判別手段１２２は、カメラパラメータの再設定が可能であると判断し（ステップＡ４のＹｅｓ）、カメラパラメータ記憶部１３１に記憶させるとともに、カメラパラメータの設定を行い（ステップＡ５）、再設定された条件で撮影を行う。
【００４２】
認識可否判別手段１２２は、パラメータ設定が可能でないと判断する場合（ステップＡ４のＮｏ）、認識可能な画像データを撮影するための変更カメラパラメータを出力する。認識可否判別手段１２２は、例えば、認識可能な目標ぼけ量を定め、定められた目標ぼけ量を満たすための変更カメラパラメータのうち、現在のカメラパラメータと変更カメラパラメータの差分とが最小となるものを変更カメラパラメータとして出力することが出来る。
【００４３】
認識可否判別手段１２２は、認識可能な目標ぼけ量を、認識可否判別パラメータ記憶部１３２に記憶されたレコードから選択することにより定めてもよい。この場合において、認識可否判別手段は、解析されたぼけ量と、目標ぼけ量との差分が最小となるものを選択しても良い。このようにすれば、変更の前後におけるカメラパラメータの差分が小さくなるため、撮影者による操作を微細に抑えることが出来る。
【００４４】
上記のような認識可否判別手段１２２による処理方法は、一例であり、上記手法に限られない。
【００４５】
次に、画面表示手段１２３は、認識可否判別手段１２２から変更カメラパラメータを受け取ると、変更カメラパラメータを満たすために、操作を誘導するための表示データの生成を行う（ステップＡ６）。
【００４６】
変更カメラパラメータとして、撮影距離が入力された場合には、画面表示手段１２３は、例えば、操作を誘導するための表示データを、画像データ内の所定の領域を、該領域の輪郭を拡大／縮小した図形と重畳することにより作成することができる。この場合、画像表示手段１２３は、入力された撮影距離を元に、画像データ内の所定の領域を変更後の撮影距離で撮影した場合における変更後の領域の大きさを計算する。例えば、距離が２倍になると画角も２倍になるカメラの場合（図８）、撮影距離が２倍になると、画像データにおける所定領域の大きさは１／２になる（図９）から、変更後の領域の大きさを、現画像データにおける所定領域の１／２の大きさとして算出する。画像表示手段１２３は、このように計算した領域の大きさを表示する枠状の図形を、画像データに重畳することにより表示データを作成し、表示装置１４０に送信する。また、他の例として、画像表示手段１２３は、予め変更パラメータと対応付けられた所定のメッセージを画像データに重畳することにより、表示データを生成しても良い。
【００４７】
表示装置１４０は、入力された表示データを液晶ディスプレイ等の画面に表示する（ステップＡ７）。
【００４８】
次に、本発明を実施するための第１の実施の形態の効果について説明する。
【００４９】
本発明の第１の実施の形態では、認識アプリケーションにおける入力画像の要件を意識することなく、撮影者は、該要件を満たす画像を撮影することが出来る。本発明の第１の実施の形態は、撮影画像の合焦状態を解析した結果を元に認識可否判別処理を行い、認識不可の場合には、認識可能な合焦状態の画像を撮影するためのカメラパラメータを再設定または再設定を行うための誘導表示を行うからである。
【００５０】
また、本発明の第１の実施の形態では、要件を満たす画像を撮影するための撮影者による操作が容易となる。その理由は、内部機構を制御することによってはカメラパラメータの再設定が不可能な場合であっても、認識可能な画像を撮影するためのカメラパラメータへと誘導する誘導表示を行うからである。誘導表示は、画面等の表示装置により表示されるため、利用者は、当該表示を見ながら具体的なカメラの操作方法（カメラをどの方向にどのくらい動かせばよいか等）を知ることができ、認識アプリケーションにおける入力画像の要件を満たす画像を撮影するための撮影条件を撮影者が実現しやすい。
【００５１】
また、本発明の第１の実施の形態によれば、要件を満たす画像を撮影するための撮影者による操作が容易となる。その理由は、内部機構の制御によるカメラパラメータの再設定が可能な場合には、撮影者による操作を要することなく認識可能な画像を撮影できる状態となるからである。
［実施例］
次に、本発明の第１の実施例を、図面を参照して説明する。かかる実施例は本発明を実施するための第１の実施の形態に対応するものである。
【００５２】
本実施例は、撮像装置としてカメラ付き携帯電話を、データ処理装置として前記カメラ付き携帯電話に内蔵された小型コンピュータを、データ記憶装置として前記カメラ付き携帯電話に内蔵されたＲＡＭを、出力装置として前記カメラ付き携帯電話のディスプレイを備えている。
【００５３】
小型コンピュータは、合焦状態解析手段１２１、認識可否判別手段１２２、画面表示手段１２３として機能する中央演算処理装置を有しており、またＲＡＭには、カメラパラメータと、認識可否判別パラメータが記憶されている。
【００５４】
カメラパラメータ記憶部には、図３に示すように、例えば解像度は”１２８０ｘ１０２４”、Ｆ値は”４．０”、ズーム段階は”２”が予め定められている。また、認識可否判別パラメータ記憶部には、図４に示すように、合焦状態を示す量（以下ぼけ量と呼ぶ）と撮影距離との認識可否の関係に対して、認識できる範囲を示したパラメータが予め定められている。
【００５５】
今、カメラパラメータ記憶部で定められたパラメータで画像を撮影し、合焦状態解析手段１２１に入力されたとする。
【００５６】
合焦状態解析手段１２１では中央演算処理装置により、画像の合焦状態の解析を行う。合焦状態の解析は、エッジの滑らかさをぼけ量とする方法や、中間色の占める割合をぼけ量とする方法がある。合焦状態の解析が終了した後、合焦状態解析手段１２１は、ぼけ量の値を認識可否判別手段１２２に供給する。
【００５７】
認識可否判別手段１２２は、入力されたぼけ量を認識可否判別パラメータと比較する。認識不可と判別された場合、パラメータ設定が可能かを判断した後、可能であればパラメータ設定を行う。ぼけ量を改善するパラメータはＦ値であるので、Ｆ値のパラメータを例えば、Ｆ４．０からＦ５．６に変更することになる。パラメータ設定が可能でない場合、認識可批判別手段１２２は、認識可能な目標ぼけ量の計算を行い、理想的な撮影距離を変更カメラパラメータとして画面表示手段１２３へ出力する。
【００５８】
例えば、合焦状態解析手段１２１によって出力されたぼけ量が１００であったとする。この場合において、認識可否判別手段１２２が認識可否判別パラメータ記憶部１３２からぼけ量１００と対応付けられた撮影距離と認識の可否を読み出すと、ぼけ量１００は図７のＡに配置されるから、撮影距離は５ｃｍで認識不可と判断される。認識可能範囲にマッピング位置を移動させるには、目標ぼけ量の５０まで、ぼけ量を低減させる必要がある（図７のＢ）。目標ぼけ量から、理想撮影距離は１０ｃｍなので、現在の位置から５ｃｍ離れて撮影すればよい。認識可否判別手段１２２は、変更後カメラパラメータとして理想撮影距離１０ｃｍなる情報を出力する。
【００５９】
画面表示手段１２３は、前記出力された理想撮影距離を元に、現在表示している対象領域をどのくらいの大きさで表示すればよいかを計算する。例えば距離が２倍になると画角も２倍になるカメラの場合（図８）、撮影距離が２倍になると、撮影対象は１／２になる（図９）。これにより、対象領域は現在の対象領域の１／２の大きさに設定する。このように計算した対象領域の大きさを作成し、表示装置１４０に送信する。
【００６０】
表示装置１４０は、画面表示手段１２３で生成した対象領域を表示する。
【００６１】
以下に、図１０及び図１１を参照しながら、画面表示手段１２３で生成する対象例について具体的に説明する。画面表示手段１２３は、予めこれらの表示を行うことができるように設定されているものとする。
【００６２】
図１０において表示画面１には、誘導表示として矩形が表示されており、理想撮影距離に応じて、矩形領域が拡大することを示している（図１０（a））。矩形領域が小さくなる場合は、「カメラを引いてください」や、矩形領域が大きくなる場合は、「カメラを近づけて撮影してください」という文言を表示してもよい（図１０（b））。
【００６３】
図１１において表示画面２には、誘導表示として撮影対象物体の輪郭が表示されており、理想撮影距離に応じて、輪郭が拡大・縮小することを示している（図１１（a））。輪郭が小さくなる場合は、「カメラを引いて撮影してください」や、輪郭が大きくなる場合は、「カメラを近づけて撮影してください」という文言を表示してもよい（図１１（b））。ここで、撮影対象物体の輪郭は、従来手法である２次微分による輪郭抽出処理や、「新編 画像解析ハンドブック」（高木幹雄・下田陽久監修、日本、２００４年、２５３〜２５４頁）に記載のsnakeを用いた輪郭抽出処理を用いることにより抽出することが出来る。
【００６４】
このような誘導表示により、撮影者は、画面を見ながらカメラをどの方向にどのくらい動かせばよいかがわかる。
［第２の実施の形態］
次に、本発明の第２の実施の形態について図面を参照して説明する。
【００６５】
第１の実施の形態は、画像を認識できるか否かを判定するための指標として、画像データの合焦状態を解析することにより得られるぼけ量を用いたが、本発明を実施するための第２の実施の形態は、画像を認識できるか否かを判定するための指標として、画像データの解像度状態を解析することにより得られる解像度状態値を用いる点で、第１の実施の形態と異なる。すなわち、第２の実施の形態は、解像度低下による認識付加原因を把握し、解像度低下を防ぐためのカメラパラメータ設定を行うことを特徴とする。
【００６６】
図１２は、第２の実施の形態の構成を示す図である。図１２を参照すると、本発明の第２の実施の形態では、合焦状態解析手段１２１に代えて解像度解析手段１２４を備える点認識可否判別パラメータ記憶部１３２に代えて認識可否判別パラメータ記憶部１３３を備える点、及び認識可否判別手段１２２に変えて認識可否判別手段１２５を備える点で第１の実施の形態と異なる。第１の実施の形態と同様の構成要素については同一の番号を付し説明を省略する。
【００６７】
解像度解析手段１２４は、画像データを入力とし、画像を認識できるか否かを判定するための指標を得るために、画像データから解像度状態を解析し、解像度状態値を出力する。解像度状態の解析は、例えば、画像データ中の対象物体の大きさを解像度状態値として計測したり、２次元バーコードの型番情報を読み取ったりすること等により行うことが出来る。解像度状態の解析処理の方法の例は後述される。
【００６８】
認識可否判別パラメータ記憶部１３３は、画像データを解析することにより得られる指標として解像度状態値を用いる点で認識可否判別パラメータ記憶部１３２と異なる。すなわち、認識可否判別パラメータ記憶部１３３は、解像度状態値と、カメラパラメータと、認識できるか否かを示す認識の可否とを対応付けて記憶する。図１５は、認識可否判別パラメータ記憶部１３３に記憶される、解像度状態値と、カメラパラメータと、認識の可否との対応付けの一例を示す図である。この図では、理解を容易にするために、解像度状態値と、カメラパラメータの一部であるカメラ解像度との対応付けをグラフの形状で示している。具体的には、カメラ解像度を縦軸に、解像度状態値を横軸にとり、対応付けられた両者の関係が所定のグラフ形状で示されている。また、カメラ解像度と解像度状態値とのの関係において、認識できる範囲を、所定の領域（図１５の例では所定の直線の下部である三角形状の領域）として記憶している。上記記憶の態様は一例であり、このような手法に限られない。
【００６９】
認識可否判別手段１２５は、画像を認識できるか否かを判定するための指標として解像度状態値を用いる点で、認識可否判別手段１２２と異なる。認識可否判別手段１２５は、カメラパラメータ記憶部１３１からカメラパラメータを読み出し、入力された解像度状態値と前記カメラパラメータに対応付けられた認識の可否を読み出し、認識不可の場合には、認識可能となるための変更カメラパラメータ算出し、カメラパラメータ記憶部１３１に設定する手段である。
【００７０】
次に、図１２と図１３のフローチャートを参照して、本実施の形態の動作について詳細に説明する。なお、第１の実施の形態と同様の動作には、同一の符号が付され、説明は省略される。
【００７１】
解像度状態解析手段１２４は、画像データの解像度状態の解析を行う（ステップＢ２）。
【００７２】
解像度状態の解析を終えると、解像度状態解析手段１２４は、解像度状態値を解析結果として認識可否判別手段１２５に送信する。
【００７３】
解像度状態解析手段１２４は、例えば、画像データ中の対象物体の大きさを計測し、その大きさを解像度状態値とする方法により、解像度状態を解析することができる。画像データ中の対象物体の大きさを計測する方法としては、「新編 画像解析ハンドブック」（高木幹雄・下田陽久監修、日本、２００４年、１８２３〜１８２４頁）に記載のレイアウト解析で基本の処理となる投影法を用いることができる。投影方向については、縦方向、横方向の２種類について行い、投影量の間隔を解像度状態値とする。
【００７４】
画像データに２次元バーコードが撮影されている場合には、解像度状態解析手段１２４は、例えば、２次元バーコードの型番情報を読み取ることにより、２次元バーコードにおける解像度状態の解析を行っても良い。この型番情報は、２次元バーコードの１辺がいくつのモジュール数から構成されているかが記載されている（ＪＩＳ Ｘ ０５１０ ２次元コードシンボル−ＱＲコード−基本仕様、２００４年、５頁、７．３章）。解像度状態解析手段１２４は、モジュール数と２次元バーコードの画像上の１辺の長さ（画素数）から、１モジュールが何画素から構成されているかを計算し、その値を解像度状態値として用いることができる。例えば、撮影した２次元バーコードの１辺の長さが３００画素だとすると、解像度状態解析手段１２４は、型番情報から１辺が５４個のモジュールから構成されていると読み取った場合、１モジュールあたりの画素数は３００÷５４＝５．５６となることから、解像度状態値を５．５６とする（図１４）。
【００７５】
上記のような画像データの解像度状態の解析手法はその一例を示すものであり、上記手法に限られない。
【００７６】
次に、認識可否判別手段１２５では、解像度状態値を受け取り、認識可否判別パラメータ記憶部に格納されている、認識可否判別パラメータと照合し、解析結果が認識可能であるかを確認する（ステップＢ３）。認識可否判別手段１２５は、例えば、カメラパラメータ記憶部１３１から読み出したカメラパラメータと、受け取った解像度状態値とに対応付けられた認識の可否を読み出し、認識可能か否かを判断する。
【００７７】
認識可能である場合、後の処理は行われない（ステップＢ３のＹｅｓ）。認識不可能である場合（ステップＢ３のＮｏ）、認識可否判別手段１２５は、認識可否判別パラメータ記憶部１３４から認識できるためのカメラパラメータを求め、カメラパラメータの再設定が可能かを判断した後（ステップＢ４）、カメラパラメータ記憶部１３１に再設定し（ステップＢ５）、再撮影するとともに、画面表示手段１２３に変更カメラパラメータを出力する。。
【００７８】
認識可否判別手段１２５は、例えば、カメラの撮像解像度（図１５に示すカメラ解像度）を変更することにより、認識できるカメラパラメータを設定することが出来る。つまり、撮影時の解像度よりも更に高い解像度での撮影が可能な場合に、カメラパラメータ記憶部１３１に対して撮影時の解像度を高くするカメラパラメータを設定する。例えば、カメラ解像度が１２８０ｘ１０２４、解像度状態値が５．５６、ズーム段階が２の場合、かかる点は、図１５の点Ａに配置される。ここでカメラ解像度を１６１６ｘ１２１２にすると、点Ａは点Ｂに移動し、認識可能領域に配置される。カメラ解像度を１６１６ｘ１２１２に変更することで認識可能になることから、認識可否判別手段１２５は、カメラ解像度を１６１６ｘ１２１２とする変更カメラパラメータをカメラパラメータ記憶部１３１に設定し、撮像装置１１０は設定されたカメラパラメータで再撮影する。
【００７９】
他の例として、認識可否判別手段１２５は、例えば、カメラのズーム機能を使用することにより、認識できるカメラパラメータを設定することが出来る。すなわち、撮影時のズーム段階を上げることで、撮影対象を大きく写し解像度を上げる。例えば、カメラ解像度が１２８０ｘ１０２４、解像度状態値が５．５６、ズーム段階が２の場合、かかる点は、図１５の点Ａに配置される。ここで、ズーム段階を２倍の４にすると、解像度状態値は２倍となり、５．５６ｘ２＝１１．１２となる（点Ｃ）。ズーム段階を２倍にすることで、点Ａは点Ｃに移動し、認識可能領域に配置される。ズーム段階を２倍の４に変更することで認識可能になることから、認識可否判別手段１２５は、ズーム段階を４とする変更カメラパラメータをカメラパラメータ記憶部１３１に設定し、撮像装置１１０は設定されたカメラパラメータで再撮影する。
【００８０】
また、認識可否判別手段１２５は、カメラの撮像解像度の変更と、カメラのズーム機能の使用とを併用しても良い。
【００８１】
画面表示手段１２３は、カメラパラメータ記憶部１３１の内容が設定された場合に、その旨を表示装置１４０に送信するようにしても良い。この場合、画面表示手段１２３は再設定されたカメラパラメータを埋め込んだ画像データを生成して表示装置１４０に送信し、表示装置１４０は、該内容を表示装置に表示しても良い。このようにすれば、撮影者はカメラパラメータが再設定されたことを理解できる。また、この再設定した旨の通知・非通知は切り替えられるようにしてもよい。
【００８２】
次に、本発明を実施するための第２の実施の形態の効果について説明する。
【００８３】
本発明を実施するための第２の実施の形態では、解像度状態を解析する手段が加えられているため、解像度不足による認識可否を判別することができる。認識不可の場合、理想的な解像度状態を撮影するためのカメラパラメータを再設定するので、認識しやすい画像を撮影することができる。
【００８４】
第２の実施の形態として、第１の実施の形態の合焦状態解析手段１２１に解像度解析手段１２４を有する構成を説明したが、他の実施の形態として、合成状態解析手段１２１と解像度解析手段１２４との双方を有するように構成しても良い。そのような構成によれば、詳細な入力画像の要件を満たすための操作を誘導することができる。
［第３の実施の形態］
次に、本発明の第３の実施の形態について図面を参照して説明する。
【００８５】
図１６は、第３の実施の形態の構成を示すブロック図である。図１６を参照すると、本発明の第３の実施の形態は、画質状態解析手段１２６と画質調整手段１２７と認識可否判別手段１２８をさらに備える点、及び認識可否判別パラメータ記憶部１３２に代えて認識可否判別パラメータ記憶部１３４を備える点で第１の実施の形態と異なる。第３の実施の形態はこれらを有することにより、画質低下による認識不可要因を把握し、画質低下を防ぐための画像処理、パラメータ設定を行うことを特徴とする。
【００８６】
画質状態解析手段１２６は、画像データを入力とし、画像を認識できるか否かを判定するための指標を得るために、画像データから画質状態を解析し、解析結果として画質状態値を出力する。画質状態の解析は、例えば、画像のコントラストを解析し、コントラスト値を画質状態値として用いることが出来る。画質状態の解析方法は、後述される。
【００８７】
認識可否判別パラメータ記憶部１３４は、認識可否判別パラメータ記憶部１３２の記憶する内容に加えて、画質状態値と認識の可否とが対応付けられて記憶する。
【００８８】
認識可否判別手段１２８は、画質状態値を入力とし、認識可否判別パラメータ記憶部１３４から、画質状態値に対応付けられた認識の可否を読み出し、認識可能か否かを判断するとともに、認識不可の場合には、認識可能とするために目標となる画質状態値を読み出して出力する。
【００８９】
画質状態調整手段１２７は、目標とする画質状態値を入力とし、目標とする画質状態値への調整が可能か否かを判断し、調整可能な場合には所定の画像処理を行う手段である。調整不可能である場合には、予め定められた文字列を画面表示手段に出力する。
【００９０】
次に、図１６と図１７のフローチャートを参照して、本実施の形態の動作について詳細に説明する。
【００９１】
撮像装置１１０は、カメラパラメータ記憶部１３１で保持しているカメラパラメータに基づいて撮影した画像データを画質状態解析手段１２６に送信する（ステップＣ１）。画質状態解析手段１２６は、画像データの画質状態の解析を行う（ステップＣ２）。画質状態の解析結果は認識可否判別手段１２８に送信される。
【００９２】
画質状態解析手段１２６による撮影画像の画質状態の解析内容としては、例えば、画像のコントラストがある。コントラストを画像中の最大輝度値と最小輝度値の大きさと定義すると、画像中の輝度値のヒストグラム図１８では、最大輝度値２４５、最小輝度値５で、コントラスト値は２４０になる。コントラスト値が大きいほど画像ははっきりと写り、認識しやすい画像といえる。このような例によれば、画質状態解析手段１２６は、コントラスト値を解析結果とする。
【００９３】
次に、認識可否判別手段１２２では、画質状態の解析結果を受け取り、認識可否判別パラメータ記憶部に格納されている、認識可否判別パラメータと照合し、解析結果が認識可能かを確認する（ステップＣ３）。認識可能である場合、後の処理は行われない。認識不可能である場合、認識可否判別手段１２８は、認識可否判別パラメータ記憶部から認識可能な画質状態値と認識の可否とを読み出し、画質調整手段１２７に出力する。その後、画質調整手段１２７は、受け取った画質状態値と認識の可否とから、画質調整可能かを判断する（ステップＣ４）。画質調整可能である場合、画質調整手段１２７は、受け取った画質状態値に基づいて画像処理を行う（ステップＣ６）。画質調整不可能である場合、画質調整手段１２７は、予め定められた文言を表示装置１４０に表示する（ステップＣ５）。
【００９４】
画質状態値としてコントラスト値を用いる例で説明すると、例えば、認識可否判別パラメータ記憶部は、認識可能コンラトスト値として２００を、認識不可コントラスト値として１００を記憶するようにして、コントラスト値と認識の可否とが対応付けて記憶される。すなわち、この場合、認識可能なコントラスト値は２００以上、認識不可コントラストは１００以下となる。
【００９５】
認識可否判別パラメータ記憶部が上述の情報を記憶している場合の例で、例えば、画質状態解析手段１２６による画質状態の解析により、コントラスト値が１５０と解析され、認識可否判別手段１２８が受け取った例を説明する。この場合、認識可否判別手段は、コントラスト値１５０と対応付けられた認識の可否を読み出す。コントラスト値１５０は、認識可能なコントラスト値と認識不可能なコントラストの間にあるコントラスト値であり、対応付けられる認識の可否は、認識可能コントラストでも認識不可コントラストでもない。認識可否判別手段１２８はかかる結果を画質調整手段１２７へ出力する。また、認識可否判別手段１２８は、認識の可否が認識可能コントラストで無い場合には、認識の可否と併せて、認識可能なコントラスト値を目標画質状態値として出力してもよい。
【００９６】
画質調整手段１２７はかかる結果を受け取り、認識不可コントラストではないことから、調整可能と判断する。前記判断の後、画質調整手段１２７は、コントラストに関する画像処理を行い、画質の調整された画像データを出力する。コントラストを調整する方法は、例えば、「新編 画像解析ハンドブック」（高木幹雄・下田陽久監修、日本、２００４年）の１１７１〜１１７６頁に記載されている方法を用いることができる。画質調整手段１２７は、コントラストを調整する値を決定する際に、認識可否判別パラメータ部に記憶されている認識可能コントラスト値を参考にしてもよい。また、認識可否判別手段１２８から受け取った目標画質状態値を参考にしてもよい。
【００９７】
また、画質状態解析手段によりコントラスト値が５０と解析された場合は、認識可否判別手段１２８は、かかるコントラスト値を認識不可コントラストであるとして画質調整手段１２６に出力する。この場合、画質調整手段１２７は、受け取ったコントラスト値が認識不可コントラストであることから、調整できないと判断する。画質調整手段１２７は前記判断と共に、「ライトを付けてください」「明るい場所で撮影してください」などの予め定められた文字列を画面表示手段１２３に出力しても良い（図１９に表示された態様の一例）。なお、画質状態解析手段１２６により解析されたコントラスト値が２００以上の場合は、認識可能コントラストとして画質調整手段１２７に通知されるので、画質調整手段１２６は画質調整を行わない。
【００９８】
次に、合焦状態解析手段１２１は、画質調整後の画像データを入力とし、合焦状態の解析を行う（ステップＡ２）。その後、合焦状態解析手段１２１は、解析結果を認識可否判別手段１２２に送信する。
【００９９】
以降の動作は、第１の実施の形態と同様である。
【０１００】
次に、本発明を実施するための第３の実施の形態の効果について説明する。
【０１０１】
本発明を実施するための第３の実施の形態では、画質状態を解析する手段と、画質を調整する手段が加えられており、合焦状態を解析する前に画質状態を解析し、画質を調整する。このため、撮影された画像データが認識アプリケーションにおける画質の要件を満たすかどうかを判別することが出来る。具体的には、画質低下による認識可否を判別することができる。
【０１０２】
また、本発明を実施するための第３の実施の形態は、撮影された画像データが認識できない場合であって、認識可能な画質へと調整できる場合には画質の調整を行う。このため、所定の場合には、撮影条件等を変更することなく、認識アプリケーション処理にとって認識しやすい画像データを生成することができる。
【０１０３】
また、本発明を実施するための第３の実施の形態では、要件を満たす画像を撮影するための撮影者による操作が容易となる。その理由は、内部機構を制御することによってはカメラパラメータを再設定できない場合であっても、認識可能な合焦状態になるカメラパラメータへと誘導する誘導表示を行うからである。誘導表示は、画面等の表示装置により表示されるため、撮影者は、当該表示を見ながら具体的なカメラの操作方法（カメラをどの方向にどのくらい動かせばよいか等）を知ることができ、認識アプリケーションにおける入力画像の要件を満たす画像を撮影するための撮影条件を撮影者が実現しやすい。
【０１０４】
また、本発明の各実施の形態における各構成要素は、その機能をハードウェア的に実現することはもちろん、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態における構成要素として機能させる。
［産業上の利用可能性］
本発明によれば、最適な画質で撮影するための撮影操作誘導装置や、撮影操作誘導装置をコンピュータに実現するためのプログラムといった用途に適用できる。また、顔認識や指紋認証を備えているデジタルカメラやデジタルビデオカメラに搭載されている、画質調整機能といった用途にも適用できる。
【図面の簡単な説明】
【０１０５】
【図１】本発明の第１の実施の形態の構成を示すブロック図。
【図２】本発明の第１の実施の形態の動作を示すフローチャート
【図３】カメラパラメータの例を示す説明図
【図４】ぼけ量と撮影距離の関係から認識可能範囲を示す説明図
【図５】合焦状態と非合焦状態におけるぼけ量の関係を１次元で説明した図
【図６】合焦状態と非合焦状態におけるぼけ量の関係を２次元平面で説明した図
【図７】計測したぼけ量と目標ぼけ量と各々の撮影距離を説明した図
【図８】撮影距離と画角の例を示す説明図
【図９】撮影距離と撮影対象の大きさを示す説明図
【図１０】誘導表示を矩形として表示画面上に表示した例を示す説明図
【図１１】誘導表示を撮影対象の輪郭として表示画面上に表示した例を示す説明図
【図１２】本発明の第２の実施の形態の構成を示すブロック図
【図１３】本発明の第２の実施の形態の動作を示すフローチャート
【図１４】２次元バーコードの解像度状態値の計算例を示す説明図
【図１５】解像度状態とズーム段階変更による効果を示す説明図
【図１６】本発明の第３の実施の形態の構成を示すブロック図
【図１７】本発明の第４の実施の形態の動作を示すフローチャート
【図１８】コントラストの例を示す説明図
【図１９】誘導表示を文言として表示画面上に表示した例を示す説明図
【符号の説明】
【０１０６】
１１０ 撮像装置
１２０ データ処理装置
１２１ 合焦状態解析手段
１２２ 認識可否判別手段
１２３ 画面表示手段
１２４ 解像度解析手段
１２５ 認識可否判別手段
１２６ 画質状態解析手段
１２７ 画質調整手段
１２８ 認識可否判別手段
１３０ データ記憶装置
１３１ カメラパラメータ記憶部
１３２ 認識可否判別パラメータ記憶部
１３３ 認識可否判別パラメータ記憶部
１３４ 認識可否判別パラメータ記憶部
１４０ 表示装置
【特許請求の範囲】
【請求項１】
画像データに対し画像処理を行い所定の指標を出力する解析手段と、
前記指標とカメラパラメータと画像データを認識できるか否かを示す認識の可否とを対応付けて記憶する認識可否パラメータ記憶手段と、
前記認識可否パラメータ記憶手段から前記指標に対応するカメラパラメータと認識の可否を読み出し、認識できない場合に、認識できるためのカメラパラメータを出力する認識可否判別手段と、
前記出力されたカメラパラメータに基づいて操作を誘導するための誘導表示を行う表示手段と、
を備えることを特徴とする撮影操作誘導システム。
【請求項２】
前記解析手段は、画像データの合焦状態を解析しぼけ量を出力する合焦状態解析手段であり、
前記認識可否パラメータ記憶手段は、ぼけ量と、被写体との距離と、画像データを認識できるか否かを示す認識の可否とを対応付けて記憶する、
ことを特徴とする請求項１に記載の撮影操作誘導システム。
【請求項３】
前記解析手段は、画像データの解像度状態を解析し解像度状態値を出力する解像度状態解析手段であり、
前記認識可否パラメータ記憶手段は、解像度状態値と、カメラ解像度と、画像データを認識できるか否かを示す認識の可否とを対応付けて記憶する、
ことを特徴とする請求項１に記載の撮影操作誘導システム。
【請求項４】
前記認識可否パラメータ記憶手段は、画像データの画質の状態を示す画質状態値と画像データを認識できるか否かを示す認識の可否をさらに記憶し、
画質状態値を入力とし、前記認識可否パラメータ記憶手段から入力された画質状態値に対応する認識の可否を読み出し、画質状態値と認識の可否とを出力する第２の認識可否判別手段と、
画像データから画質状態値を算出する画質解析手段と、
画像データと認識の可否と画質状態値とを受け取り、画質を調整可能か否か判断し、調整可能な場合に、受け取った画像データの画質を調整した画像データを出力する画質調整手段と、
をさらに備え、
前記解析手段は、前記画質調整手段から出力される画像データを入力とする
ることを特徴とする請求項２または３に記載の撮影操作誘導システム。
【請求項５】
情報処理装置に、
画像データに対し画像処理を行い所定の指標を出力する解析処理と、
前記指標とカメラパラメータと画像データを認識できるか否かを示す認識の可否とを対応付けて記憶する認識可否パラメータ記憶処理と、
前記認識可否パラメータ記憶手段から前記指標に対応するカメラパラメータと認識の可否を読み出し、認識できない場合に、認識できるためのカメラパラメータを出力する認識可否判別処理と、
前記出力されたカメラパラメータに基づいて操作を誘導するための誘導表示を行う表示処理と、
を実行させることを特徴とするプログラム。
【請求項６】
前記解析処理は、画像データの合焦状態を解析しぼけ量を出力する合焦状態解析処理であり、
前記認識可否パラメータ記憶処理は、ぼけ量と、被写体との距離と、画像データを認識できるか否かを示す認識の可否とを対応付けて記憶する、
ことを特徴とする請求項５に記載のプログラム。
【請求項７】
前記解析処理は、画像データの解像度状態を解析し解像度状態値を出力する解像度状態解析処理であり、
前記認識可否パラメータ記憶処理は、解像度状態値と、カメラ解像度と、画像データを認識できるか否かを示す認識の可否とを対応付けて記憶する、
ことを特徴とする請求項５に記載のプログラム。
【請求項８】
前記認識可否パラメータ記憶処理は、画像データの画質の状態を示す画質状態値と画像データを認識できるか否かを示す認識の可否をさらに記憶する処理であり、
画質状態値を入力とし、前記認識可否パラメータ記憶手段から入力された画質状態値に対応する認識の可否を読み出し、画質状態値と認識の可否とを出力する第２の認識可否判別処理と、
画像データから画質状態値を算出する画質解析処理と、
画像データと認識の可否と画質状態値とを受け取り、画質を調整可能か否か判断し、調整可能な場合に、受け取った画像データの画質を調整した画像データを出力する画質調整処理と、
をさらに実行させる、
前記解析処理は、前記画質調整処理から出力される画像データを入力とする
ることを特徴とする請求項６または７に記載のプログラム。
【請求項１】
画像データに対し画像処理を行い所定の指標を出力する解析手段と、
前記指標とカメラパラメータと画像データを認識できるか否かを示す認識の可否とを対応付けて記憶する認識可否パラメータ記憶手段と、
前記認識可否パラメータ記憶手段から前記指標に対応するカメラパラメータと認識の可否を読み出し、認識できない場合に、認識できるためのカメラパラメータを出力する認識可否判別手段と、
前記出力されたカメラパラメータに基づいて操作を誘導するための誘導表示を行う表示手段と、
を備えることを特徴とする撮影操作誘導システム。
【請求項２】
前記解析手段は、画像データの合焦状態を解析しぼけ量を出力する合焦状態解析手段であり、
前記認識可否パラメータ記憶手段は、ぼけ量と、被写体との距離と、画像データを認識できるか否かを示す認識の可否とを対応付けて記憶する、
ことを特徴とする請求項１に記載の撮影操作誘導システム。
【請求項３】
前記解析手段は、画像データの解像度状態を解析し解像度状態値を出力する解像度状態解析手段であり、
前記認識可否パラメータ記憶手段は、解像度状態値と、カメラ解像度と、画像データを認識できるか否かを示す認識の可否とを対応付けて記憶する、
ことを特徴とする請求項１に記載の撮影操作誘導システム。
【請求項４】
前記認識可否パラメータ記憶手段は、画像データの画質の状態を示す画質状態値と画像データを認識できるか否かを示す認識の可否をさらに記憶し、
画質状態値を入力とし、前記認識可否パラメータ記憶手段から入力された画質状態値に対応する認識の可否を読み出し、画質状態値と認識の可否とを出力する第２の認識可否判別手段と、
画像データから画質状態値を算出する画質解析手段と、
画像データと認識の可否と画質状態値とを受け取り、画質を調整可能か否か判断し、調整可能な場合に、受け取った画像データの画質を調整した画像データを出力する画質調整手段と、
をさらに備え、
前記解析手段は、前記画質調整手段から出力される画像データを入力とする
ることを特徴とする請求項２または３に記載の撮影操作誘導システム。
【請求項５】
情報処理装置に、
画像データに対し画像処理を行い所定の指標を出力する解析処理と、
前記指標とカメラパラメータと画像データを認識できるか否かを示す認識の可否とを対応付けて記憶する認識可否パラメータ記憶処理と、
前記認識可否パラメータ記憶手段から前記指標に対応するカメラパラメータと認識の可否を読み出し、認識できない場合に、認識できるためのカメラパラメータを出力する認識可否判別処理と、
前記出力されたカメラパラメータに基づいて操作を誘導するための誘導表示を行う表示処理と、
を実行させることを特徴とするプログラム。
【請求項６】
前記解析処理は、画像データの合焦状態を解析しぼけ量を出力する合焦状態解析処理であり、
前記認識可否パラメータ記憶処理は、ぼけ量と、被写体との距離と、画像データを認識できるか否かを示す認識の可否とを対応付けて記憶する、
ことを特徴とする請求項５に記載のプログラム。
【請求項７】
前記解析処理は、画像データの解像度状態を解析し解像度状態値を出力する解像度状態解析処理であり、
前記認識可否パラメータ記憶処理は、解像度状態値と、カメラ解像度と、画像データを認識できるか否かを示す認識の可否とを対応付けて記憶する、
ことを特徴とする請求項５に記載のプログラム。
【請求項８】
前記認識可否パラメータ記憶処理は、画像データの画質の状態を示す画質状態値と画像データを認識できるか否かを示す認識の可否をさらに記憶する処理であり、
画質状態値を入力とし、前記認識可否パラメータ記憶手段から入力された画質状態値に対応する認識の可否を読み出し、画質状態値と認識の可否とを出力する第２の認識可否判別処理と、
画像データから画質状態値を算出する画質解析処理と、
画像データと認識の可否と画質状態値とを受け取り、画質を調整可能か否か判断し、調整可能な場合に、受け取った画像データの画質を調整した画像データを出力する画質調整処理と、
をさらに実行させる、
前記解析処理は、前記画質調整処理から出力される画像データを入力とする
ることを特徴とする請求項６または７に記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２００８−２０５７７４（Ｐ２００８−２０５７７４Ａ）
【公開日】平成２０年９月４日（２００８．９．４）
【国際特許分類】
【出願番号】特願２００７−３８９７７（Ｐ２００７−３８９７７）
【出願日】平成１９年２月２０日（２００７．２．２０）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２０年９月４日（２００８．９．４）
【国際特許分類】
【出願日】平成１９年２月２０日（２００７．２．２０）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]