手ぶれ補正装置、手ぶれ補正方法及びプログラム
【課題】ユーザの意図を考慮して効果的な手ぶれ補正を自動的に行う。
【解決手段】手ぶれ補正装置１００であって、撮像部１により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う補正制御部５ｂと、撮像部により撮像された被写体の画像データに基づいて、被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する特定部４ｂと、この特定部により特定された規則性に基づいて、撮像部により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測する予測部４ｃと、この予測部により予測された範囲変化方向の補正制御部による手ぶれ補正を抑制する抑制制御部５ｃと、を備えている。
【解決手段】手ぶれ補正装置１００であって、撮像部１により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う補正制御部５ｂと、撮像部により撮像された被写体の画像データに基づいて、被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する特定部４ｂと、この特定部により特定された規則性に基づいて、撮像部により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測する予測部４ｃと、この予測部により予測された範囲変化方向の補正制御部による手ぶれ補正を抑制する抑制制御部５ｃと、を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の撮像の際に手ぶれ補正を行う手ぶれ補正装置、手ぶれ補正方法及びプログラムに関する。
【背景技術】
【０００２】
従来、手ぶれ補正機構を具備し、手ぶれ補正を行う方向（行わない方向）をユーザにより設定可能に構成された撮像装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１８９１６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、ユーザが意図的に当該装置本体を移動させて撮像範囲を変化させる場合には、その移動方向に対しては手ぶれ補正を行わない方がよい場合がある。
しかしながら、上記特許文献１の場合、ユーザは当該装置本体を移動させる方向に手ぶれ補正を行わないように設定することができるものの、当該装置本体を移動させる方向を変更する度に所定操作により手ぶれ補正を行わない方向を変更しなければならず、その作業が煩雑であった。
【０００５】
そこで、本発明の課題は、ユーザの意図を考慮して効果的な手ぶれ補正を自動的に行うことができる手ぶれ補正装置、手ぶれ補正方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明の手ぶれ補正装置は、
撮像手段により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う補正手段と、前記撮像手段により撮像された前記被写体の画像データに基づいて、前記被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する特定手段と、この特定手段により特定された前記規則性に基づいて、前記撮像手段により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測する予測手段と、この予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制する抑制手段と、を備えたことを特徴としている。
【０００７】
また、本発明の手ぶれ補正方法は、
撮像手段により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う補正手段を備える手ぶれ補正装置を用いた手ぶれ補正方法であって、前記撮像手段により撮像された前記被写体の画像データに基づいて、前記被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する処理と、特定された前記規則性に基づいて、前記撮像手段により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測する処理と、予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制する処理と、を含むことを特徴としている。
【０００８】
また、本発明のプログラムは、
撮像手段により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う補正手段を備える手ぶれ補正装置のコンピュータを、前記撮像手段により撮像された前記被写体の画像データに基づいて、前記被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する特定手段、この特定手段により特定された前記規則性に基づいて、前記撮像手段により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測する予測手段、この予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制する抑制手段、として機能させることを特徴としている。
【発明の効果】
【０００９】
本発明によれば、ユーザの意図を考慮して効果的な手ぶれ補正を自動的に行うことができる。
【図面の簡単な説明】
【００１０】
【図１】本発明を適用した実施形態１の撮像装置の概略構成を示すブロック図である。
【図２】図１の撮像装置による撮像処理に係る動作の一例を示すフローチャートである。
【図３】図１の撮像装置による撮像処理に係る動作を説明するための図である。
【図４】図１の撮像装置による撮像処理に係る動作を説明するための図である。
【図５】図１の撮像装置による撮像処理に係る動作を説明するための図である。
【図６】本発明を適用した実施形態１の変形例の撮像装置の概略構成を示すブロック図である。
【図７】図６の撮像装置による撮像処理に係る動作の一例を示すフローチャートである。
【図８】本発明を適用した実施形態２の撮像装置の概略構成を示すブロック図である。
【図９】図８の撮像装置による撮像処理に係る動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
【００１２】
［実施形態１］
実施形態１の撮像装置１００は、被写体の画像データに基づいて、被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する。そして、撮像装置１００は、特定された規則性に基づいて、撮像部１により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測する。更に、撮像装置１００は、予測された範囲変化方向の手ぶれ補正を抑制する。
【００１３】
図１は、本発明を適用した実施形態１の撮像装置１００の概略構成を示すブロック図である。
図１に示すように、撮像装置１００は、具体的には、撮像部１と、画像データ生成部２と、メモリ３と、画像処理部４と、手ぶれ補正部５と、記録媒体制御部６と、出力制御部７と、表示部８と、操作入力部９と、中央制御部１０とを備えている。
【００１４】
撮像部１は、被写体を撮像する撮像手段を構成し、レンズ部１ａと、電子撮像部１ｂと、撮像制御部（図示略）とを備えている。
レンズ部１ａは、例えば、図示は省略するが、ズームレンズ群、フォーカスレンズ群を含み、図示しないレンズ駆動機構（例えば、モータ等）により光軸方向の位置が調整可能となっている。
【００１５】
電子撮像部１ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサなどから構成されている。また、電子撮像部１ｂは、図示しない撮像制御部の制御下にて、レンズ部１ａの各種レンズや絞り（図示略）を通過した光学像を当該電子撮像部１ｂにより二次元の画像信号（ＲＧＢ画像データ）に変換して、画像データ生成部２に出力する。
なお、図示は省略するが、電子撮像部１ｂは、手ぶれ補正部５のステージ駆動部５ａ（後述）によりＸＹ方向（例えば、左右方向や上下方向等）に駆動されるステージ部に搭載されている。
【００１６】
画像データ生成部２は、例えば、電子撮像部１ｂから転送された画像フレームのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリ３にＤＭＡ転送される。
【００１７】
メモリ３は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、画像処理部４、手ぶれ補正部５、中央制御部１０等によって処理されるデータ等を一時記憶する。
【００１８】
画像処理部４は、画像データ取得部４ａと、特定部４ｂと、予測部４ｃとを備えている。
なお、画像処理部４の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
【００１９】
画像データ取得部４ａは、被写体の画像データを逐次取得する。
即ち、画像データ取得部４ａは、画像データ生成部２により生成された被写体の画像データを逐次取得する。具体的には、画像データ取得部４ａは、電子撮像部１ｂにより所定の撮像フレームレートで逐次撮像された画像フレームの各々から画像データ生成部２により生成された複数の画像データ（ＹＵＶデータ）をメモリ３から所定間隔で逐次取得する。
【００２０】
特定部４ｂは、被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する。
即ち、特定部４ｂは、撮像部１により撮像された被写体の画像データに基づいて、被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する。
ここで、複数の被写体構成部の位置に関連する規則性とは、各被写体構成部の形態的な連続性を有するパターンの有無を基準とする規則性である。例えば、被写体が被写体構成部としての文字を有するテキストである場合、複数の文字（被写体構成部）の位置に関連する規則性としては、画角内に存在する複数の文字の集合Ｇ、行間の空白Ｋ１、区切り線Ｋ２等から相互に規定される位置関係等が挙げられる（図３参照）。
具体的には、特定部４ｂは、被写体が被写体構成部としての文字を有するテキストである場合、画像データ取得部４ａにより取得されたテキストの画像データに基づいて、テキストを構成する複数の文字の集合Ｇ（例えば、複数の文字の一塊）、複数の文字の配列Ｌ、…（例えば、二次元空間の文字の並び方向）及び複数の文字の集合Ｇを他の被写体構成部と区切る区切り部Ｋ（例えば、行間の空白Ｋ１、区切り線Ｋ２等）のうちの少なくとも何れか一を基準として、複数の被写体構成部の位置に関連する規則性を特定する。例えば、特定部４ｂは、画像データ取得部４ａにより取得されたテキストのＹＵＶデータのうちの輝度信号（Ｙ）を所定の閾値で二値化し、当該テキストを構成する文字や記号や線等に対応する第１の画素値「１」を有する画素と、当該テキストの背景部分に対応する第２の画素値「０」を有する画素を含む二値画像（図示略）を生成する。そして、特定部４ｂは、第１の画素値「１」と第２の画素値「０」を有する各画素の集合度合い、第１の画素値「１」や第２の画素値「０」の画素の配置の規則性等に基づいて、被写体構成部の位置に関連する規則性を特定する。
【００２１】
ここで、文字の配列Ｌの各々は、二値画像において、例えば、複数の文字の各々に対応する第１の画素値「１」を有する画素が所定方向（例えば、上下方向）に並ぶように配列されている。
文字の集合Ｇは、二値画像において、例えば、第１の画素値「１」を有する画素が所定方向に連続的に配置された複数の文字の配列Ｌ、…が、所定方向に直交する直交方向（例えば、左右方向）に一定の間隔で並んで、即ち、第２の画素値「０」を有する画素からなる領域と交互に並んで構成されている。
行間の空白Ｋ１とは、例えば、直交方向に隣合う文字の配列Ｌ、Ｌの間に存在する空白の領域や、文字の集合Ｇを取り囲む空白の領域等を含んで構成されている。また、行間の空白Ｋ１は、二値画像において、例えば、第２の画素値「０」を有する画素から構成されている。
区切り線Ｋ２は、二値画像において、例えば、第１の画素値「１」を有する画素が一方向（例えば、左右方向）に連続して並んで構成されている。
【００２２】
また、例えば、図３に示すように、ユーザが撮像装置１００を通常方向に構え（いわゆる縦撮りではなく撮影画像が横長になるように保持し）、かつ、撮影して表示部８の表示画面に表示される文字が普通に読めるように（文字の上側が撮像装置１００の上側になるように）撮像装置１００と被写体（この例では新聞）の向きを合わせた基本状態で撮影されたテキストの場合、特定部４ｂは、複数の文字に関連する規則性として、文字の集合Ｇを構成する複数の文字の配列Ｌ、…が左右方向に一定の間隔で並んでいる点、当該文字の集合Ｇの上下に行間の空白Ｋ１、Ｋ１が設けられている点、上側の行間の空白Ｋ１の上に区切り線Ｋ２が設けられている点を特定する。更に、特定部４ｂは、文字の集合Ｇ、文字の配列Ｌ及び区切り部Ｋに基づいて、各文字の配列Ｌを構成する複数の文字が縦方向に並んでいる、即ち、上記基本状態で撮影することを前提とした場合に、各文字の配列Ｌが「縦書き」である点を、複数の文字に関連する規則性として特定する。以下、特に指定しない場合は、上記基本状態で撮影することを前提として処理を行うものとする。
このように、特定部４ｂは、撮像部１により撮像された被写体の画像データに基づいて、被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する特定手段を構成している。
【００２３】
予測部４ｃは、撮像部１により撮像される被写体の撮像範囲が連続的に変化する範囲変化方向を予測する。
即ち、予測部４ｃは、特定部４ｂにより特定された被写体を構成する複数の被写体構成部の位置に関連する規則性に基づいて、撮像部１により撮像される被写体の撮像範囲が連続的に変化する範囲変化方向を予測する。つまり、被写体の撮像の際に、ユーザが被写体の位置に対して当該装置本体を所定方向（例えば、上下方向や左右方向）に変位させる（例えば、平行移動や回転移動）ことで、被写体の位置に対して撮像部１が変位する。これに伴って、撮像部１により撮像される被写体の撮像範囲も所定方向に連続的に変化することとなり、予測部４ｃは、当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測して特定する。
なお、被写体の撮像範囲が連続的に変化する範囲変化方向に係る連続性とは、被写体の撮像範囲が略一定の速度で一方向に連続して変化する場合だけでなく、被写体の撮像範囲が一方向に所定時間変化した後、所定の短時間（例えば、１秒未満の時間等）停止し、その後、同方向に再度変化する場合等も含む。
つまり、ユーザが意図しない手振れなどに起因する撮像範囲のランダムな変化に対して、ユーザの意図する撮像装置１００の移動操作などに起因する撮像範囲の一定方向への変化を識別して予測できればよい。
【００２４】
具体的には、例えば、被写体が被写体構成部としての文字を有するテキストである場合（図３参照）、予測部４ｃは、特定部４ｂにより特定された文字の集合Ｇ、文字の配列Ｌ及び区切り部Ｋのうちの少なくとも何れか一を基準とする当該複数の文字の位置に関連する規則性に基づいて、被写体の撮像範囲が連続的に変化する範囲変化方向を予測する。
また、予測部４ｃは、撮像部１により撮像された撮像範囲内の文字の集合Ｇの位置を基準として、より具体的には、中央制御部１０のＣＰＵにより設定されたユーザ所望の拡大率で拡大されたテキストの文字の集合Ｇの位置を基準として、当該テキストの撮像部１による撮像範囲の外側であって、テキストを文字の集合Ｇとともに構成し当該文字の集合Ｇと関連する文字の存する方向と、複数の文字の並び方向（文字の配列Ｌ）とに基づいて、範囲変化方向を予測する。
例えば、図４（ａ）に示すように、区切り部Ｋである行間の空白Ｋ１が文字の集合Ｇを「コ」字状に取り囲むように三方向（複数の文字の配列Ｌ、…の上側Ｌ１、下側Ｌ２及び右側Ｌ３）に位置していることから、予測部４ｃは、文字の集合Ｇの位置に対して区切り部Ｋが設けられていない方向、即ち、左方向（図中、白抜きの矢印で示す）に、テキストの撮像部１による撮像範囲の外側に当該文字の集合Ｇと関連する文字が存するであろうと判断する。これにより、予測部４ｃは、テキストの撮像の際に、文字の集合Ｇの位置に対して装置本体（撮像部１）が左方向に変位し、これに伴って、テキスト（被写体）の撮像範囲が左方向に連続的に変化する、即ち、左方向が範囲変化方向であると予測する。
また、図４（ｂ）に示すように、各文字の配列Ｌが「縦書き」であり、行間の空白Ｋ１が複数の文字の集合Ｇの上側Ｌ１及び右側Ｌ３に位置していることから、予測部４ｃは、文字の集合Ｇの位置に対して区切り部Ｋが設けられていない下方向（図中、白抜きの矢印で示す）に、テキストの撮像部１による撮像範囲の外側に当該文字の集合Ｇと関連する文字が存するであろうと判断する。これにより、予測部４ｃは、テキストの撮像の際に、文字の集合Ｇの位置に対して装置本体（撮像部１）が下方向に変位し、これに伴って、テキスト（被写体）の撮像範囲が下方向に連続的に変化する、即ち、下方向が範囲変化方向であると予測する。この場合、左方向にも当該文字の集合Ｇと関連する文字が存在すると判断するが、各文字の配列Ｌが「縦書き」であることから、下方向を優先して範囲変化方向を予測する。
【００２５】
このように、予測部４ｃは、特定部４ｂにより特定された規則性に基づいて、撮像部１により撮像される被写体の撮像範囲が連続的に変化する範囲変化方向を予測する予測手段を構成している。
【００２６】
手ぶれ補正部５は、被写体の撮像の際の手ぶれを補正するものであり、具体的には、ステージ駆動部５ａと、補正制御部５ｂと、抑制制御部５ｃとを備えている。
【００２７】
ステージ駆動部５ａは、補正制御部５ｂの制御下にて、電子撮像部１ｂを搭載するステージ部を所定方向に移動させる。
即ち、ステージ駆動部５ａは、画像データ生成部２により生成された画像データに基づいて、駆動手段として手ぶれを補正するようにステージ部（補正用可動部）をＸＹ方向に逐次駆動させる。具体的には、ステージ駆動部５ａは、画像データ生成部２により生成された画像データに基づいて、補正制御部５ｂにより算出された手ぶれ量及び手ぶれ方向を補正するようにステージ部を上下方向（Ｙ方向）や左右方向（Ｘ方向）に逐次駆動させる。
【００２８】
補正制御部５ｂは、被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う。
即ち、補正制御部５ｂは、撮像部１により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う。具体的には、補正制御部５ｂは、撮像部１により逐次撮像される被写体の画像データに基づいて手ぶれ量及び手ぶれ方向を算出する。例えば、補正制御部５ｂは、画像データ取得部４ａにより逐次取得された画像フレームに基づいて特定部４ｂにより特定された被写体を構成する複数の被写体構成部の位置に関連する規則性を基準として、単位時間当たりに取得された所定数の画像フレームに係る規則性（例えば、文字の集合Ｇや区切り部Ｋの配置等）の変化に従って、被写体の撮像範囲の変化した量及び方向を特定し、変化した量及び方向に応じて手ぶれ量及び手ぶれの方向を算出する。
また、補正制御部５ｂは、算出された手ぶれ量及び手ぶれの方向に応じて手ぶれ補正量及び手ぶれ補正方向（例えば、ステージ駆動部５ａの駆動に必要な電流値や通電時間等）を算出し、算出された手ぶれ補正量及び手ぶれ補正方向に基づいてステージ駆動部５ａの駆動に係る制御信号を決定する。そして、補正制御部５ｂは、決定された制御信号に従ってステージ駆動部５ａの駆動を制御してステージ部をＸＹ方向に移動させる。これにより、補正制御部５ｂによってステージ部をＸＹ方向に移動させた状態で撮像部１により撮像され画像データ生成部２により生成される被写体の画像データは、手ぶれが補正された画像となる。
このように、補正制御部５ｂは、撮像部１により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う補正手段を構成している。
【００２９】
抑制制御部５ｃは、撮像部１により撮像される被写体の撮像範囲が連続的に変化する範囲変化方向の手ぶれ補正を抑制する。
即ち、抑制制御部５ｃは、予測部４ｃにより予測された被写体の撮像範囲が連続的に変化する範囲変化方向の補正制御部５ｂによる手ぶれ補正を抑制する。具体的には、抑制制御部５ｃは、補正制御部５ｂにより算出された手ぶれ方向が予測部４ｃにより予測された被写体の撮像範囲が連続的に変化する範囲変化方向と等しいか否かを判定する。そして、抑制制御部５ｃは、当該手ぶれ方向が範囲変化方向と等しいと判定された場合、当該手ぶれ方向（範囲変化方向）の補正制御部５ｂによる手ぶれ補正を抑制する。ここで、範囲変化方向の手ぶれ補正を抑制するとは、当該範囲変化方向の手ぶれ補正を行わないように禁止したり、当該範囲変化方向の手ぶれ補正の強度を他の方向に対して相対的に弱くすることを言う。
この場合、算出された手ぶれ方向と予測された範囲変化方向との差が所定範囲内である場合に手ぶれ補正を抑制するようにしてもよいが、以下のようにしてもよい。
つまり、抑制制御部５ｃは、補正制御部５ｂが算出する手ぶれ量及び手ぶれの方向を、予測された範囲変化方向に対応する第１のベクトルと、この第１のベクトルと直交する方向の第２のベクトルとに分解し、第１のベクトルに対しては手ぶれ補正を抑制（例えば、禁止）し、その一方で、第２のベクトルに対しては手ぶれ補正を抑制しない（例えば、許可する）ようにしてもよい。
また、予測部４ｃは、被写体が文字である場合には、範囲変化方向として上下方向と左右方向のいずれかを選択的に予測するようにすれば、抑制制御部５ｃは、上下方向のベクトルと左右方向のベクトルのいずれか一方のベクトルに対して手ぶれ補正を抑制すればよく、これは、ステージ部の駆動方向であるＸ方向（左右方向）とＹ方向（上下方向）に対応するので、いずれかの方向へのステージ部の駆動を抑制することで簡単に実現することができる。
【００３０】
また、抑制制御部５ｃは、被写体の画像データを所定の拡大率で拡大して表示部８に表示する動作モードが中央制御部１０のＣＰＵにより設定された場合に、予測部４ｃにより予測された被写体の撮像範囲が連続的に変化する範囲変化方向の補正制御部５ｂによる手ぶれ補正を抑制する。具体的には、ユーザによる操作入力部９の所定操作に基づいて、動作モードとして、テキストの画像データを所定の拡大率で拡大して表示部８に表示するテキスト表示モードが中央制御部１０のＣＰＵにより設定された場合に、抑制制御部５ｃは、特定部４ｂにより特定された文字の集合Ｇ及び文字の配列Ｌのうちの少なくとも一方を基準とする当該複数の文字の位置に関連する規則性に基づいて予測部４ｃにより予測された被写体の撮像範囲が連続的に変化する範囲変化方向の補正制御部５ｂによる手ぶれ補正を抑制する。
【００３１】
例えば、図５（ａ）に示すように、手ぶれ方向（図中、右側の下向きの矢印で表す）と範囲変化方向（図中、左側の下向きの白抜きの矢印で示す）が同一方向である場合、抑制制御部５ｃは、当該方向の補正制御部５ｂによる手ぶれ補正を禁止する。一方、図５（ｂ）に示すように、手ぶれ方向（図中、下側の左向きの矢印で表す）と範囲変化方向（図中、左側下向きの白抜きの矢印で示す）が異なる方向である場合、抑制制御部５ｃは、当該方向の補正制御部５ｂによる手ぶれ補正を禁止しない。
このように、抑制制御部５ｃは、予測部４ｃにより予測された範囲変化方向の補正制御部５ｂによる手ぶれ補正を抑制する抑制手段を構成している。
【００３２】
記録媒体制御部６は、記録媒体Ｍが着脱自在に構成され、装着された記録媒体Ｍからのデータの読み出しや記録媒体Ｍに対するデータの書き込みを制御する。
なお、記録媒体Ｍは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
【００３３】
出力制御部７は、撮像部１により撮像された被写体の画像データを表示部８に出力する制御を行う。具体的には、出力制御部７は、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１０の制御下にてメモリ３から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部８に出力する。
【００３４】
また、出力制御部７は、拡大手段として、表示部８に表示される被写体の画像データを所定の拡大率で拡大して表示部８に出力する。
即ち、出力制御部７は、ユーザによる操作入力部９のズームボタン等の所定操作に基づいて中央制御部１０のＣＰＵにより指定された拡大率（例えば、２倍）に従って、表示部８に表示される被写体の画像データに対する拡大処理を施す。具体的には、出力制御部７は、ＶＲＡＭから読み出された被写体の画像データに基づいて、指定された拡大率に従って水平方向及び垂直方向ともに所定の比率で拡大した拡大画像の画像データを生成し、当該画像データに基づいてビデオ信号を発生して表示部８に出力する。
これにより、表示部８に表示される被写体の画像は、拡大前の被写体の画像領域のうちの一部分が拡大された画像となる。
【００３５】
また、出力制御部７は、範囲変化方向の手ぶれ補正が抑制された状態で撮像部１により撮像された被写体の画像データを表示部８に出力する。
即ち、出力制御部７は、抑制制御部５ｃにより範囲変化方向の手ぶれ補正が抑制された状態で撮像部１により撮像された被写体の画像データを、メモリ３から読み出して取得し、取得した画像データを表示部８に出力して当該表示部８に表示させる制御を行う。
ここで、出力制御部７は、抑制制御部５ｃにより範囲変化方向の手ぶれ補正が抑制された状態で撮像部１により撮像された被写体の画像データを表示部８に出力する出力制御手段を構成している。
【００３６】
表示部８は、例えば、液晶表示装置であり、出力制御部７からのビデオ信号に基づいて撮像部１により撮像された画像などを表示画面に表示する。具体的には、表示部８は、ライブビューモードにて、撮像部１による被写体の撮像により生成された複数の画像フレームを所定のフレームレートで逐次更新しながらライブビュー画像を表示する。
【００３７】
操作入力部９は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部９は、被写体の撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等を備え（いずれも図示略）、これらのボタンの操作に応じて所定の操作信号を中央制御部１０に出力する。
【００３８】
また、操作入力部９の選択決定用ボタンは、ユーザによる所定操作に基づいて、複数の撮像モードの中で被写体の画像データを所定の拡大率で拡大して表示部８に表示する動作モードの設定指示を中央制御部１０に出力する。ここで、動作モードには、テキストの画像データを所定の拡大率で拡大して表示部８に表示するテキスト表示モードが含まれている。そして、選択決定用ボタンは、ユーザによる所定操作に基づいて指定された、例えば、テキスト表示モードの設定指示を中央制御部１０に出力する。
中央制御部１０のＣＰＵは、入力された設定指示に基づいて、被写体（テキスト）の画像データを所定の拡大率で拡大して表示部８に表示する動作モードに設定する。
ここで、操作入力部９及び中央制御部１０は、被写体の画像データを所定の拡大率で拡大して表示部８に表示する動作モードを設定する設定手段を構成している。
【００３９】
中央制御部１０は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１０、図示は省略するが、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。
【００４０】
次に、撮像装置１００による撮像処理について図２〜図５を参照して説明する。
図２は、撮像処理に係る動作の一例を示すフローチャートである。
撮像処理は、ユーザによる操作入力部９の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から、例えば、テキストの画像データを所定の拡大率で拡大して表示部８に表示するテキスト表示モードが選択指示された場合に実行される処理である。
なお、ここでの範囲変化方向の手ぶれ補正を抑制する処理として、当該範囲変化方向の手ぶれ補正を行わないように禁止する処理を例示するが、当該範囲変化方向の手ぶれ補正の強度を他の方向に対して相対的に弱くする処理を行ってもよい。
【００４１】
図２に示すように、撮像部１によるテキスト（被写体）の撮像が開始されると、先ず、画像データ生成部２は、撮像部１の電子撮像部１ｂから所定の撮像フレームレートで転送された各画像フレームの画像データを逐次生成し、画像処理部４の画像データ取得部４ａは、画像データ生成部２により生成された画像データを逐次取得する（ステップＳ１）。
次に、出力制御部７は、画像データ生成部２により逐次生成された複数の画像フレームの画像データに基づいて、表示内容を所定の表示フレームレートで逐次更新しながらライブビュー画像を表示部８に表示させる（ステップＳ２）。
【００４２】
続けて、画像処理部４の特定部４ｂは、画像データ取得部４ａにより取得されたテキストの画像データに基づいて、当該テキストを構成する複数の文字の位置に関連する規則性を特定する（ステップＳ３）。具体的には、特定部４ｂは、文字の集合Ｇ、文字の配列Ｌ及び区切り部Ｋのうちの少なくとも何れか一を基準として、テキストを構成する複数の文字の位置に関連する規則性を特定する。
【００４３】
次に、中央制御部１０のＣＰＵは、ユーザによる操作入力部９のズームボタン等の所定操作に基づいて、表示部８に表示される画像の拡大率を所望の倍率に設定する（ステップＳ４）。これにより、出力制御部７は、画像データ生成部２により生成されたテキストの画像データを指定された拡大率に従って水平方向及び垂直方向ともに所定の比率で拡大した拡大画像の画像データを生成し、当該画像データに基づいてビデオ信号を発生して表示部８に出力する。
【００４４】
続けて、予測部４ｃは、特定部４ｂにより特定されたテキストを構成する複数の文字の位置に関連する規則性に基づいて、撮像部１により撮像されるテキストの撮像範囲が連続的に変化する範囲変化方向を予測する（ステップＳ５）。具体的には、予測部４ｃは、撮像範囲内の文字の集合Ｇの位置を基準として、テキストの撮像部１による撮像範囲の外側であって、テキストを文字の集合Ｇとともに構成し当該文字の集合Ｇと関連する文字の存する方向と、複数の文字の並び方向（文字の配列Ｌ）とに基づいて、範囲変化方向を予測する。例えば、予測部４ｃは、ユーザ所望の拡大率で拡大されたテキストの表示態様が図４（ａ）に示すような状態となった場合には左方向を、また、テキストの表示態様が図４（ｂ）に示すような状態となった場合には下方向を、テキストの撮像範囲が連続的に変化する範囲変化方向として予測する。
【００４５】
その後、ユーザがテキストの位置に対して当該装置本体を所定方向に変位させた際に、補正制御部５ｂは、撮像部１によるテキストの撮像により画像データ生成部２により逐次生成されたテキストの画像データに基づいて、手ぶれ（手ぶれ量及び手ぶれ方向）を検出する（ステップＳ６）。
続けて、補正制御部５ｂは、検出された手ぶれ方向が予測部４ｃにより予測された範囲変化方向であり、かつ、当該方向に連続的に変化する手ぶれであるか否かを判定する（ステップＳ７）。
【００４６】
ステップＳ７にて、検出された手ぶれ方向が予測された範囲変化方向であり、かつ、当該方向に連続的に変化する手ぶれであると判定されると（ステップＳ７；Ｙｅｓ）、抑制制御部５ｃは、補正制御部５ｂにより手ぶれ補正を行うことを禁止するように制御する。そして、補正制御部５ｂは、抑制制御部５ｃにより手ぶれ補正が禁止された場合には手ぶれ補正を行わない（ステップＳ８）。続いて、出力制御部７は、抑制制御部５ｃにより手ぶれ補正が禁止された状態で撮像部１により撮像されて画像データ生成部２により生成されたテキストの画像データ、即ち、補正制御部５ｂにより手ぶれ補正が行われていないテキストの画像データを、表示部８に出力して当該テキストの画像を表示部８に表示させる（ステップＳ９；図５（ａ）参照）。
【００４７】
一方、ステップＳ７にて、検出された手ぶれ方向が予測された範囲変化方向でないか、あるいは当該方向に連続的に変化する手ぶれでないと判定されると（ステップＳ７；Ｎｏ）、抑制制御部５ｃは、補正制御部５ｂによる手ぶれ補正を禁止しない。そして、補正制御部５ｂは、抑制制御部５ｃにより手ぶれ補正が禁止されなかった場合には、撮像部１により撮像され画像データ生成部２により生成されたテキストの画像データに対して手ぶれ補正を行う（ステップＳ１０）。続いて、出力制御部７は、補正制御部５ｂにより手ぶれ補正が行われた状態で撮像部１により撮像されて画像データ生成部２により生成されたテキストの画像データを、表示部８に出力して当該テキストの画像を表示部８に表示させる（ステップＳ１１；図５（ｂ）参照）。
【００４８】
その後、中央制御部１０のＣＰＵは、例えば、ユーザによる操作入力部９の所定操作に基づいて撮像処理の終了指示が入力されているか否かを判定する（ステップＳ１２）。
ここで、撮像処理の終了指示が入力されていないと判定されると（ステップＳ１２；Ｎｏ）、中央制御部１０のＣＰＵは、処理をステップＳ１に移行し、それ以降の処理を実行する。また、ステップＳ１以降の各処理は、ステップＳ１２にて、撮像処理の終了指示が入力されたと判定されるまで逐次繰り返し実行される。
なお、ステップＳ３にて、テキストを構成する複数の文字の位置に関連する規則性を特定する処理は、表示部８に表示される画像の拡大をキャンセルする指示が入力された場合に行い、それ以外の場合には、当該処理をスキップしても良い。また、ステップＳ４は、表示部８に表示される画像の拡大倍率の再設定指示が入力された場合に行い、それ以外の場合には当該処理をスキップしても良い。また、ステップＳ５は、ステップＳ３にてテキストを構成する複数の文字の位置に関連する規則性の再特定や、ステップＳ４にて表示部８に表示される画像の拡大倍率の再設定が行われた場合に行い、それ以外の場合には、当該処理をスキップしても良い。
【００４９】
そして、ステップＳ１２にて、撮像処理の終了指示が入力されたと判定されると（ステップ１２；Ｙｅｓ）、中央制御部１０のＣＰＵは、当該撮像処理を終了させる。
【００５０】
なお、ステップＳ７〜Ｓ１１までの処理は以下のような処理であってもよい。
つまり、ステップＳ７の処理に代えて、補正制御部５ｂは、検出される手ぶれ（手ぶれ量及び手ぶれ方向）を、予測された範囲変化方向に対応する第１のベクトルと、この第１のベクトルと直交する方向の第２のベクトルとに分解することで、予測された範囲変化方向（第１のベクトル）に手ぶれがあるか否かを判定する。この場合、手ぶれが当該方向に連続的に変化しているか否かは問わない。
ステップＳ７の処理に代えて行われた上記の処理にて、予測された範囲変化方向（第１のベクトル）に手ぶれがあると判定されると、ステップＳ８の処理に代えて、抑制制御部５ｃは、補正制御部５ｂによる第１のベクトルに対する手ぶれ補正のみを禁止する。そして、第２のベクトルに対する手ぶれがある場合には、補正制御部５ｂは、当該ベクトルに対する手ぶれ補正を行う。そして、ステップＳ９の処理に代えて、出力制御部７は、補正制御部５ｂにより第１のベクトルに対する手ぶれ補正が行われず、第２のベクトルに対してのみ手ぶれ補正が行われた状態で、撮像部１により撮像されて画像データ生成部２により生成されたテキストの画像データを、表示部８に出力して当該テキストの画像を表示部８に表示させる。
一方、ステップＳ７の処理に代えて行われた上記の処理にて、予測された範囲変化方向（第１のベクトル）に手ぶれがないと判定されると、ステップＳ１０の処理に代えて、抑制制御部５ｃは、補正制御部５ｂによる第１のベクトルに対する手ぶれ補正を禁止せずに、第２のベクトルに対する手ぶれがある場合には、補正制御部５ｂは、第２のベクトルに対する手ぶれ補正のみを行う。そして、ステップＳ１１の処理に代えて、出力制御部７は、補正制御部５ｂにより第２のベクトルに対してのみ手ぶれ補正が行われた状態で撮像部１により撮像されて画像データ生成部２により生成されたテキストの画像データを、表示部８に出力して当該テキストの画像を表示部８に表示させる。
【００５１】
以上のように、実施形態１の撮像装置１００によれば、被写体を構成する複数の被写体構成部の位置に関連する規則性に基づいて、撮像部１により撮像される被写体の撮像範囲が連続的に変化する範囲変化方向を予測し、予測された範囲変化方向の手ぶれ補正を抑制するので、予め予測された被写体の撮像範囲が連続的に変化する範囲変化方向を基準として、手ぶれ補正を行う方向を自動的に制御することができる。即ち、手ぶれの方向が予測された範囲変化方向である場合には、ユーザが意図的に当該装置本体を被写体に対して変位させたと判断して、この方向の手ぶれ補正を抑制することができる一方で、手ぶれの方向が範囲変化方向以外である場合には、当該装置本体が誤って被写体に対して変位してしまったと判断して、この方向の手ぶれに対する手ぶれ補正を行うことができる。
このように、被写体の撮像の際に、ユーザによる意図的な被写体の位置に対する撮像部１の変位を考慮して手ぶれ補正を行う方向やその強度を適正に決定することができ、効果的な手ぶれ補正を自動的に行うことができる。
【００５２】
また、逐次撮像される被写体の画像データを逐次表示し、被写体の画像データを逐次表示している最中に、被写体を構成する複数の被写体構成部の位置に関連する規則性を逐次特定し、逐次特定される規則性に基づいて、予測される範囲変化方向の変化を逐次検出し、逐次検出される範囲変化方向の変化に応じて手ぶれ補正を抑制する方向を逐次変化させるので、逐次変化する被写体の画像データの表示内容に応じて適正な手ぶれ補正を行うことができる。即ち、撮像範囲の変化により撮像される被写体を構成する複数の被写体構成部の位置に関連する規則性が変化した場合についても、逐次変化する被写体の画像データに基づいて、ユーザが意図的に当該装置本体をテキストに対して変位させる方向の予測を適正に行うことができる。
【００５３】
また、テキストを構成する複数の文字の集合Ｇ、複数の文字の配列Ｌ、…及び複数の文字の集合Ｇを他の被写体構成部と区切る区切り部Ｋのうちの少なくとも何れか一を基準として、被写体を構成する複数の被写体構成部の位置に関連する規則性を特定するので、テキストの撮像範囲が連続的に変化する範囲変化方向、即ち、ユーザが意図的に当該装置本体をテキストに対して変位させる方向の予測を適正に行うことができる。つまり、取得されたテキストを構成する文字の集合Ｇや文字の配列Ｌや区切り部Ｋを基準とすることで、表示部８に表示された当該テキストの画像を視認するユーザが意図的に当該装置本体をテキストに対して変位させる方向の予測を適正に行うことができ、この結果、ユーザが意図的に当該装置本体をテキストに対して変位させる方向に対しては表示部８による滑らかな画像表示を行うことができる。
【００５４】
また、特定された複数の文字の集合Ｇ及び複数の文字の配列Ｌ、…のうちの少なくとも一方を基準とする被写体を構成する複数の被写体構成部の位置に関連する規則性に基づいて、テキストの撮像範囲が連続的に変化する範囲変化方向を予測するので、テキストの撮像範囲が連続的に変化する範囲変化方向、即ち、ユーザが意図的に当該装置本体をテキストに対して変位させる方向の予測を適正に行うことができる。
【００５５】
また、テキストを構成する複数の文字の集合Ｇの位置を基準として、テキストの撮像部１による撮像範囲の外側であって、テキストを文字の集合Ｇとともに構成し文字の集合Ｇと関連する文字の存する方向と、複数の文字の並び方向とに基づいて、テキストの撮像範囲が連続的に変化する範囲変化方向を予測するので、ユーザが意図的に当該装置本体をテキストに対して変位させる方向の予測を適正に行うことができる。即ち、一般的に、テキストを構成する複数の文字は、所定方向に連続する所定数の文字が一かたまりとなって意味をなすため、テキストの撮像部１による撮像範囲に一かたまり全ての文字が含まれていない場合には、ユーザは当該撮像範囲の外側に存する、テキストを構成する文字の集合Ｇと関連する文字を視認可能となるように、テキストの撮像の際に、当該ユーザが意図的に装置本体をテキストに対して変位させることとなる。同様に、ユーザは所定の並び方向に並んでいる複数の文字を視認する場合も、テキストの撮像の際に、ユーザが意図的に装置本体をテキストに対して変位させることとなる。
従って、テキストの位置に対して変位する撮像部１により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向、即ち、ユーザが意図的に当該装置本体をテキストに対して変位させる方向の予測を適正に行うことができる。
【００５６】
また、特定された区切り部Ｋを基準とする、被写体を構成する複数の被写体構成部の位置に関連する規則性に基づいて範囲変化方向を予測するので、例えば、短い文字数から構成されている段組のテキストについても、テキストの撮像範囲が連続的に変化する範囲変化方向、即ち、ユーザが意図的に当該装置本体をテキストに対して変位させる方向の予測を適正に行うことができる。
【００５７】
また、被写体の画像データを所定の拡大率で拡大して表示部８に表示する動作モードが設定された場合に、予測されたテキストの撮像範囲が連続的に変化する範囲変化方向の手ぶれ補正を抑制する。具体的には、テキストの画像データを所定の拡大率で拡大して表示部８に表示するテキスト表示モードが設定された場合に、特定されたテキストを構成する複数の文字の集合Ｇ及び複数の文字の配列Ｌ、…のうちの少なくとも一方を基準として、被写体を構成する複数の被写体構成部の位置に関連する規則性に基づいて予測された範囲変化方向の手ぶれ補正を抑制する。
従って、ユーザによりテキスト表示モード等の動作モードの設定に基づいて、予め予測された被写体の撮像範囲が連続的に変化する範囲変化方向を基準として、手ぶれ補正を行う方向を自動的に制御することができる。
【００５８】
また、範囲変化方向の手ぶれ補正が抑制された状態で撮像部１により撮像された被写体の画像データを表示部８に出力するので、テキストの撮像範囲が連続的に変化する範囲変化方向の手ぶれ補正が抑制された画像、即ち、ユーザによる当該装置本体のテキストに対する変位に追従させるように表示内容が変化する画像を表示部８に表示することができ、ユーザは自身の意図的な動作に対応させるように表示内容が変化する画像を視認することができる。
【００５９】
＜変形例＞
次に、撮像装置１０１の変形例について、図６及び図７を参照して説明する。
図６は、本発明を適用した実施形態１の変形例の撮像装置１０１の概略構成を示すブロック図である。
なお、変形例は、下記に詳細に説明する以外の点で、上記実施形態１と略同様の構成をなし、その説明は省略する。
【００６０】
図６に示すように、当該撮像装置１０１の画像処理部４は、画像データ取得部４ａ、特定部４ｂ、予測部４ｃに加えて、範囲変化量検出部４ｄ及び判定部４ｅを備える。
【００６１】
範囲変化量検出部４ｄは、予測部４ｃにより予測された範囲変化方向と異なる方向に撮像部１による撮像範囲が変化した変化量を検出する。
即ち、被写体の撮像の際に、被写体の位置に対して当該装置本体を所定方向（例えば、上下方向や左右方向）に変位することで、被写体の位置に対して撮像部１が変位する。そして、範囲変化量検出部４ｄは、予測部４ｃにより予め予測されている当該被写体の撮像範囲が連続的に変化する範囲変化方向と異なる方向に撮像部１による撮像範囲が変化した場合に、当該異なる方向の撮像部１による被写体の撮像範囲の変化量を検出する。
具体的には、範囲変化量検出部４ｄは、補正制御部５ｂによる手ぶれ量及び手ぶれの方向の算出処理と同様の処理を行う。即ち、範囲変化量検出部４ｄは、画像データ取得部４ａにより逐次取得された画像フレームに基づいて特定部４ｂにより特定された被写体を構成する複数の被写体構成部の位置に関連する規則性を基準として、単位時間当たりに取得された所定数の画像フレームに係る規則性（例えば、文字の集合Ｇや区切り部Ｋの配置等）の変化に従って、予測部４ｃにより予め予測されている範囲変化方向以外の方向について被写体の撮像範囲の変化した量を特定する。
なお、範囲変化量検出部４ｄは、補正制御部５ｂによる手ぶれ量及び手ぶれの方向の算出結果を利用して、予測部４ｃにより予測された範囲変化方向と異なる方向に撮像部１による撮像範囲が変化した変化量を検出しても良い。
このように、範囲変化量検出部４ｄは、予測部４ｃにより予測された範囲変化方向と異なる方向に撮像部１による撮像範囲が変化した変化量を検出する検出手段を構成している。
【００６２】
判定部４ｅは、範囲変化量検出部４ｄにより検出された変化量が所定の値以上であるか否かを判定する。
即ち、判定部４ｅは、範囲変化量検出部４ｄにより予測済みの範囲変化方向と異なる方向について検出された撮像部１による撮像範囲の変化量が所定の値以上であるか否かを判定する。
そして、判定部４ｅによる当該判定の結果、判定部４ｅにより範囲変化量検出部４ｄにより検出された変化量が所定の値以上であると判定された場合に、補正制御部５ｂは、変化量が所定の値以上でない場合よりも範囲変化方向と異なる方向の手ぶれ補正の強度を相対的に弱くする。即ち、判定部４ｅにより変化量が所定の値以上であると判定される場合、補正制御部５ｂは、例えば、予め予測されている範囲変化方向とは異なる方向へのユーザによるページめくり等による移動と判断し、変化量が所定の値以上でない場合（例えば、範囲変化方向とは異なる方向への周期的な手ぶれ等の場合）よりも相対的に弱い（所定量未満の）手ぶれ補正を行う。
このように、判定部４ｅは、範囲変化量検出部４ｄにより検出された変化量が所定の値以上であるか否かを判定する判定手段を構成している。
【００６３】
ここで、当該変形例の撮像装置１０１による撮像処理について、図７のフローチャートを参照して説明する。
なお、撮像処理は、以下に説明する点を除いて実施形態１の撮像処理と略同様であり、その詳細な説明は省略する。
【００６４】
即ち、上記実施形態１の撮像処理と同様に、中央制御部１０のＣＰＵの制御下にて、ステップＳ１〜Ｓ７の各処理が行われる。
そして、ステップＳ７にて、補正制御部５ｂによりステップＳ６にて検出された手ぶれ方向が予測部４ｃにより予測された範囲変化方向でないか、あるいは当該方向に連続的に変化する手ぶれでないと判定されると（ステップＳ７；Ｎｏ）、範囲変化量検出部４ｄは、補正制御部５ｂによる手ぶれ量及び手ぶれの方向の算出結果を利用して、予測部４ｃにより予測された範囲変化方向と異なる方向に撮像部１による撮像範囲が変化した変化量を検出した後、判定部４ｅは、範囲変化量検出部４ｄにより検出された変化量が所定値以上であるか否かを判定する（ステップＳ１０１）。
なお、範囲変化量検出部４ｄは、予め予測されている範囲変化方向と異なる方向に撮像部１による撮像範囲が変化した変化量を、補正制御部５ｂによる当該異なる方向への手ぶれ量として検出しても良い。
【００６５】
ステップＳ１０１にて、範囲変化方向と異なる方向に撮像部１による撮像範囲が変化した変化量が所定値以上であると判定されると（ステップＳ１０１；Ｙｅｓ）、補正制御部５ｂは、撮像部１による撮像範囲の変化（手ぶれ）に対して、手ぶれ補正の強度を相対的に弱くした所定量未満の手ぶれ補正を行う（ステップＳ１０２）。
一方、ステップＳ１０１にて、範囲変化方向と異なる方向に撮像部１による撮像範囲が変化した変化量が所定値以上ではないと判定されると（ステップＳ１０１；Ｎｏ）、補正制御部５ｂは、撮像部１による撮像範囲の変化（手ぶれ）に対して、手ぶれ補正の強度を相対的に強くした所定量以上の（通常の）手ぶれ補正を行う（ステップＳ１０３）。
【００６６】
そして、出力制御部７は、補正制御部５ｂにより所定の強度で手ぶれ補正が行われた状態で撮像部１により撮像されて画像データ生成部２により生成されたテキストの画像データを、表示部８に出力して当該テキストの画像を表示部８に表示させる（ステップＳ１１；図５（ｂ）参照）。
【００６７】
その後、上記実施形態１の撮像処理と同様に、中央制御部１０のＣＰＵは、例えば、ユーザによる操作入力部９の所定操作に基づいて撮像処理の終了指示が入力されているか否かを判定する（ステップＳ１２）。
なお、この変形例１においても実施形態１で説明したのと同様に、ステップＳ７〜Ｓ１１までの処理を、予測された範囲変化方向に対応する第１のベクトルと、この第１のベクトルと直交する方向の第２のベクトルとに分解して処理を行うようにしてもよい。
この場合、ステップＳ１０１〜Ｓ１０３では、第２のベクトルに対する変化量が所定値以上であるか否かを判定し、第２のベクトルに対する手ぶれ補正の強度を変化させ、第１のベクトルに対しては通常の手ぶれ補正を行う。
【００６８】
以上のように、撮像装置１０１の変形例によれば、予測された範囲変化方向と異なる方向に撮像範囲が変化した変化量を検出し、検出された変化量が所定の値以上であるか否かを判定し、変化量が所定の値以上であると判定された場合に、変化量が所定の値以上でない場合よりも範囲変化方向と異なる方向の手ぶれ補正の強度を相対的に弱くするので、例えば、予め予測されている範囲変化方向とは異なる方向にユーザによるページめくり等が行われ、被写体に対して撮像部１による撮像範囲の相対的な位置が大きく変化した場合に、当該範囲変化方向とは異なる方向に対しては手ぶれ補正の強度が相対的に強い手ぶれ補正を行うことがなくなる。この結果、ユーザによる意図的な当該装置本体の動作に対応させるように手ぶれ補正の強度を相対的に弱くした表示画像、即ち、表示内容の切り替えがより滑らかに表現された画像を表示部８に表示することができる。
【００６９】
［実施形態２］
図８は、本発明を適用した実施形態２の撮像装置２００の概略構成を示すブロック図である。
なお、実施形態２の撮像装置２００は、以下に詳細に説明する以外の点で上記実施形態１の撮像装置１００及び変形例の撮像装置１０１と略同様の構成をなし、詳細な説明は省略する。
【００７０】
上記実施形態１では、ユーザが撮像装置１００を通常方向に構え（いわゆる縦撮りではなく撮影画像が横長になるように保持し）、かつ、撮影して表示部８の表示画面に表示される文字が普通に読めるように（文字の上側が撮像装置１００の上側になるように）撮像装置１００と被写体（この例では新聞）の向きを合わせた基本状態で撮影することを前提として処理を行ったが、実施形態２ではユーザが任意の方向で撮像装置２００を構えるものとする。この場合、必ずしも文字の上側が撮像装置２００の上側になるとは限らず、撮像装置２００の移動方向とほぼ等しくなる文字の並び方向を特定しただけでは、文字が「縦書き」か「横書き」かを特定することはできない。撮像装置２００の向きが縦か横かを重力センサなどで検出してもよいが、実施形態２では、文字認識により文字の上側を判定し、文字の並び方向の判定結果と合わせて、文字が「縦書き」か「横書き」かを特定する。
図８に示すように、実施形態２の特定部４ｂは、第１認識部ｂ１と第２認識部ｂ２を備えている。
【００７１】
第１認識部ｂ１は、テキストを構成する文字を認識する。
即ち、第１認識部ｂ１は、撮像部１により撮像された被写体の画像データが文字を有するテキストである場合、撮像部１により撮像されたテキストの画像データに基づいて、当該テキストを構成する文字を認識する。具体的には、第１認識部ｂ１は、画像データ取得部４ａにより取得されたテキストの画像データに対してＯＣＲ（Optical Character Recognition）処理を行い、当該テキストに含まれる文字を認識する処理を行う。このとき、第１認識部ｂ１は、テキストに複数の文字が含まれていると認識した場合、複数の文字を一文字単位で分割し、当該テキストを構成する複数の文字の配列Ｌ、…や文字の集合Ｇを認識しても良い。
また、第１認識部ｂ１は、上記実施形態１の特定部４ｂによる被写体を構成する複数の被写体構成部の位置に関連する規則性の特定方法と同様の処理を行って、文字を認識しても良い。
このように、第１認識部ｂ１は、撮像部１により撮像されたテキストの画像データに基づいて、当該テキストを構成する文字を認識する第１認識手段を構成している。
【００７２】
第２認識部ｂ２は、テキストを構成する区切り部Ｋを認識する。
即ち、第２認識部ｂ２は、テキストを構成する複数の文字の集合Ｇを他の被写体構成部と区切る区切り部Ｋ（例えば、行間の空白Ｋ１、区切り線Ｋ２等）を認識する。具体的には、第２認識部ｂ２は、例えば、画像データ取得部４ａにより取得されたテキストの画像データに対してＨｏｕｇｈ変換等の直線検出処理を行い、二値画像における第１の画素値「１」を有する画素が連続して並ぶ直線として区切り線Ｋ２や、第２の画素値「０」を有する画素が連続して並ぶ領域として行間の空白Ｋ１を検出する。また、第２認識部ｂ２は、第１認識部ｂ１による文字、特に、文字の配列Ｌの認識結果に基づいて、例えば、所定方向に隣合うＬ、Ｌの間に存在する空白や、所定方向に並んで設けられた複数の文字の配列Ｌ、…からなる文字の集合Ｇに対して所定方向に直交する方向側に設けられた空白を行間の空白Ｋ１として認識する。
また、第２認識部ｂ２は、上記実施形態１の特定部４ｂによる被写体を構成する複数の被写体構成部の位置に関連する規則性の特定方法と同様の処理を行って、区切り部Ｋを認識しても良い。
また、第２認識部ｂ２は、例えば、単語の辞書を備え、並んでいる複数の文字が辞書登録されている単語と一致する場合、この単語の区切り部分を区切り部Ｋとして認識するようにしてもよい。
このように、第２認識部ｂ２は、撮像部１により撮像されたテキストの画像データに基づいて、テキストを構成し、複数の文字の集合Ｇを他の被写体構成部と区切る区切り部Ｋを認識する第２認識手段を構成している。
【００７３】
また、特定部４ｂは、第１認識部ｂ１により認識された文字に係る複数の文字の集合Ｇ及び複数の文字の配列Ｌ、…のうちの少なくとも一方を基準として、複数の被写体構成部の位置に関連する規則性を特定しても良い。
具体的には、撮像部１により撮像された被写体が文字を有するテキストである場合、特定部４ｂは、第１認識部ｂ１により認識された文字から成る、例えば、複数の文字の集合Ｇ及び複数の文字の配列Ｌ、…のうち少なくとも一方を基準として、複数の被写体構成部の位置に関連する規則性を特定しても良い。
例えば、特定部４ｂは、図３に示すように、第１認識部ｂ１により認識された個々の文字の方向と、複数の文字の配列Ｌ、…の並び方向とにより、複数の被写体構成部の位置に関連する規則性を「縦書き」として特定する。図３の例で、個々の文字の方向が横向きである場合には、複数の文字の配列Ｌ、…の並び方向が縦方向であっても、「横書き」として特定される。
つまり、通常の人間が認識する「縦書き」と「横書き」の判断を、特定部４ｂは、個々の文字方向の自動認識処理と、複数の文字の並び方向の自動認識処理と、個々の文字方向と複数の文字の並び方向との組み合わせに応じた「縦書き」と「横書き」との自動判定処理とによって行う。
なお、上記した文字の並び方向は一例であってこれに限られるものではなく、適宜任意に変更可能である。
【００７４】
また、特定部４ｂは、第２認識部ｂ２により認識された区切り部Ｋを基準として、複数の被写体構成部の位置に関連する規則性を特定しても良い。
具体的には、撮像部１により撮像された被写体が文字を有するテキストである場合、特定部４ｂは、第２認識部ｂ２により認識された複数の文字の集合Ｇを他の被写体構成部と区切る区切り部Ｋに基づいて、複数の被写体構成部の位置に関連する規則性を特定する。
例えば、特定部４ｂは、図３に示すように、第２認識部ｂ２により認識された行間の空白Ｋ１及び区切り線Ｋ２を基準として、複数の被写体構成部の位置に関連する規則性を「縦書き」として特定する。
なお、上記した行間の空白Ｋ１や区切り線Ｋ２は一例であってこれらに限られるものではなく、適宜任意に変更可能である。
【００７５】
次に、実施形態２の撮像装置２００による撮像処理について図８〜図９を参照して説明する。
図９は、撮像処理に係る動作の一例を示すフローチャートである。なお、本実施形態２の撮像処理は、以下に説明する以外の点で上記実施形態１及び変形例の撮像処理と略同様であり、その詳細な説明は省略する。
なお、ここでの範囲変化方向の手ぶれ補正を抑制する処理として、当該範囲変化方向の手ぶれ補正を行わないように禁止する処理を例示するが、当該範囲変化方向の手ぶれ補正の強度を他の方向に対して相対的に弱くする処理を行ってもよい。
【００７６】
図９に示すように、上記実施形態１の撮像処理と同様に、撮像部１によるテキスト（被写体）の撮像が開始されると、画像処理部４の画像データ取得部４ａは、画像データ生成部２により生成された画像データを逐次取得し（ステップＳ１）、出力制御部７は、表示内容を所定の表示フレームレートで逐次更新しながらライブビュー画像を表示部８に表示する（ステップＳ２）。
【００７７】
続けて、画像処理部４の特定部４ｂは、画像データ取得部４ａにより取得されたテキストの画像データに基づいて、当該テキストを構成する複数の文字の位置に関連する規則性を特定する（ステップＳ３１）。具体的には、第１認識部ｂ１は、テキストの画像データに対してＯＣＲ（Optical Character Recognition）処理を行い、当該テキストに含まれる文字を認識する処理を行う。また、第２認識部ｂ２は、テキストの画像データに対して所定の直線検出処理を行い、テキストを構成する区切り部Ｋ（行間の空白Ｋ１、区切り線Ｋ２等）を認識する。そして、特定部４ｂは、第１認識部ｂ１により認識された文字に係る複数の文字の集合Ｇ及び複数の文字の配列Ｌ、…や、第２認識部ｂ２により認識された区切り部Ｋ等を基準として、複数の被写体構成部の位置に関連する規則性を特定する。例えば、特定部４ｂは、各文字の配列Ｌが「縦書き」である点、文字の集合Ｇや文字の配列Ｌの行頭・行末、区画等の各文字の情報を、複数の文字の位置に関連する規則性として特定する。
ここで、一区画とは、テキストの画像データに含まれる所定の塊であり、例えば、図３に示すように、複数の文字の集合Ｇ１の１行目から９行目からなる一段落（○○○計算機は、…発売いたします。）等である。
【００７８】
次に、中央制御部１０のＣＰＵは、ユーザによる操作入力部９のズームボタン等の所定操作に基づいて、表示部８に表示される画像の拡大率を所望の倍率に設定する（ステップＳ４）。これにより、出力制御部７は、画像データ生成部２により生成されたテキストの画像データを指定された拡大率に従って水平方向及び垂直方向ともに所定の比率で拡大した拡大画像の画像データを生成し、当該画像データに基づいてビデオ信号を発生して表示部８に出力する。
【００７９】
続けて、予測部４ｃは、特定部４ｂにより特定されたテキストを構成する複数の文字の位置に関連する規則性に基づいて、撮像部１により撮像されるテキストの撮像範囲が連続的に変化する範囲変化方向を予測する（ステップＳ５）。
【００８０】
ここで、ステップＳ５における範囲変化方向の予測について詳細に説明する。
先ず、特定部４ｂは、テキストの画像データの文字配列が行末まで表示されているか否かを判定する（ステップＳ５１）。具体的には、特定部４ｂは、複数の文字の配列Ｌ、…の下端側Ｌ２が表示されているか否かを判定する（図４（ａ）参照）。
ステップＳ５１にて、テキストの画像データの文字配列が行末まで表示されていると判定されると（ステップＳ５１；Ｙｅｓ）、特定部４ｂは、テキストの画像データの一区画が全て表示されているか否かを判定する（ステップＳ５２）。
【００８１】
ステップＳ５２にて、テキストの画像データの一区画が全て表示されていると判定されると（ステップＳ５２；Ｙｅｓ）、予測部４ｃは、ユーザによる撮像範囲の意図的な変化がないと予測し、当該予測部４ｃによる予測の結果、補正制御部５ｂは、画面を固定するように手ぶれ補正の方向を特定する（ステップＳ５３）。これにより、補正制御部５ｂによって、表示部８により表示されている画像フレームを固定するように、即ち、ほぼ手ぶれがなくなるような強度で上下方向及び左右方向に手ぶれ補正が行われる。
なお、ここでの手ぶれ補正に係る補正制御部５ｂによるステージ駆動部５ａの制御は、実際に手ぶれが検出される前に行われても良い。つまり、手ぶれが検出された場合に、当該手ぶれの方向に応じて手ぶれ補正を禁止したり実行するのではなく、ユーザによる撮像範囲の意図的な変化がないものとして、表示部８により表示されている画面を固定するように手ぶれ補正の方向を特定していることから、手ぶれの検出の有無に拘わらず、補正制御部５ｂは、直ちに上下方向及び左右方向に手ぶれ補正の制御を行っても良い。
【００８２】
一方、ステップＳ５１にて、テキストの画像データの文字配列が行末まで表示されていないと判定されると（ステップＳ５１；Ｎｏ、図４（ｂ）参照）、予測部４ｃは、文字配列が途中で切れている方向に対して撮像範囲の意図的な変化があると予測し、当該予測部４ｃによる予測の結果、抑制制御部５ｃは、予測された範囲変化方向を手ぶれ補正を禁止する方向として特定する（ステップＳ５４）。具体的には、予測部４ｃは、特定部４ｂにより特定された被写体を構成する複数の被写体構成部の位置に関連する規則性（例えば、縦書き）に基づいて範囲変化方向を予測する。これにより、抑制制御部５ｃによって、予測された範囲変化方向（図中、白抜きの矢印で示す）に対する手ぶれ補正が禁止される。
続いて、補正制御部５ｂは、予測部４ｃにより予測された範囲変化方向に直交する方向を所定量の手ぶれ補正を行う方向として特定する（ステップＳ５５）。これにより、補正制御部５ｂによって、抑制制御部５ｃにより禁止された方向には手ぶれ補正が行われず、禁止されていない方向、即ち、予測された範囲変化方向に対する直交方向（範囲変化方向と異なる方向）にのみ所定量の手ぶれ補正が行われる。
なお、ここでの手ぶれ補正に係る補正制御部５ｂによるステージ駆動部５ａの制御は、上記の画面を固定するような手ぶれ補正と同様に手ぶれの検出前に行われても良いし、実際に手ぶれが検出されてから行われても良い。
【００８３】
また、ステップＳ５２にて、テキストの画像データの一区画が全て表示されていないと判定された場合にも（ステップＳ５２；Ｎｏ）、予測部４ｃは、処理をステップＳ５４に移行し、それ以降の処理を実行する。
【００８４】
その後、ユーザがテキストの位置に対して当該装置本体を所定方向に変位させた際に、補正制御部５ｂは、撮像部１によるテキストの撮像により画像データ生成部２により逐次生成されたテキストの画像データに基づいて、手ぶれ（手ぶれ量及び手ぶれ方向）を検出する（ステップＳ６）。
次に、範囲変化量検出部４ｄは、補正制御部５ｂによる手ぶれ量及び手ぶれの方向の算出結果を利用して、撮像部１による撮像範囲が変化した変化量を検出した後、判定部４ｅは、範囲変化量検出部４ｄにより検出された変化量が所定値以上であるか否かを判定する（ステップＳ２０１）。このとき、範囲変化量検出部４ｄは、予測部４ｃにより予測された範囲変化方向と異なる方向に撮像部１による撮像範囲が変化した変化量を検出するようにしてもよい。
【００８５】
ステップＳ２０１にて、撮像部１による撮像範囲が変化した変化量が所定値以上ではないと判定されると（ステップＳ２０１；Ｎｏ）、補正制御部５ｂは、ステップＳ５３やステップＳ５４にて予測されている方向の手ぶれに対して手ぶれ補正を行う（ステップＳ２０２）。
一方、ステップＳ２０１にて、撮像部１による撮像範囲が変化した変化量が所定値以上であると判定されると（ステップＳ２０１；Ｙｅｓ）、補正制御部５ｂは、全ての方向に対する手ぶれ補正を解除する（ステップＳ２０３）。その後、装置本体の移動が停止すると（ステップＳ２０４）、中央制御部１０のＣＰＵは、処理をステップＳ１に移行し、それ以降の処理の実行を制御する。
【００８６】
次に、中央制御部１０は、撮像処理の終了指示が入力されているか否かを判定する（ステップＳ１２）。ここで、撮像処理の終了指示が入力されていないと判定されると（ステップＳ１２；Ｎｏ）、中央制御部１０は、処理をステップＳ１に移行し、それ以降の処理を実行する。
なお、ステップＳ３１にて、テキストを構成する複数の文字の位置に関連する規則性を特定する処理は、表示部８に表示される画像の拡大のキャンセル指示が入力された場合に行い、それ以外の場合には、当該処理をスキップしても良い。また、ステップＳ４は、表示部８に表示される画像の拡大倍率の再設定指示が入力された場合に行い、それ以外の場合には当該処理をスキップしても良い。ステップＳ５は、ステップＳ３１にてテキストを構成する複数の文字の位置に関連する規則性の再特定や、ステップＳ４にて表示部８に表示される画像の拡大倍率の再設定が行われた場合に行い、それ以外の場合には、当該処理をスキップしても良い。
【００８７】
一方、ステップＳ１２にて、撮像処理の終了指示が入力されたと判定されると（ステップ１２；Ｙｅｓ）、中央制御部１０は、撮像処理を終了する。
【００８８】
以上のように、実施形態２の撮像装置２００によれば、上記実施形態１の撮像装置１００と同様に、予め予測された被写体の撮像範囲が連続的に変化する範囲変化方向を基準として、手ぶれ補正を行う方向を自動的に制御することができる。従って、被写体の撮像の際に、ユーザによる意図的な被写体の位置に対する撮像部１の変位を考慮して手ぶれ補正を行う方向やその強度を適正に決定することができ、効果的な手ぶれ補正を自動的に行うことができる。
特に、例えば、予め予測されている範囲変化方向とは異なる方向にユーザによるページめくり等が行われ、被写体に対して撮像部１による撮像範囲の相対的な位置が大きく変化した場合に、全ての方向に対する手ぶれ補正を解除することで、ユーザによる意図的な当該装置本体の動作に対応させるように手ぶれ補正が解除された表示画像、即ち、表示内容の切り替えが迅速に表現された画像を表示部８に表示することができる。
【００８９】
また、テキストの画像データに基づいて、テキストを構成する文字を認識し、認識された文字に係る複数の文字の集合Ｇ及び複数の文字の配列Ｌ、…のうちの少なくとも一方を基準として、被写体を構成する複数の被写体構成部の位置に関連する規則性を特定するので、テキストを構成する文字の並びを考慮した範囲変化方向を適正に予測することができる。
【００９０】
また、テキストの画像データに基づいて、テキストを構成し、複数の文字の集合Ｇを他の被写体構成部と区切る区切り部Ｋを認識し、認識された区切り部Ｋを基準として、被写体を構成する複数の被写体構成部の位置に関連する規則性を特定するので、文字の集合Ｇが完全に認識できない場合であっても、テキストを構成する区切り部Ｋを考慮した範囲変化方向を適正に予測することができる。
【００９１】
なお、本発明は、上記実施形態１、２並びに変形例に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態１、２並びに変形例では、予測部４ｃは、撮像部１により撮像された撮像範囲内の文字の集合Ｇの位置を基準として、当該テキストの撮像部１による撮像範囲の外側であって、テキストを文字の集合Ｇとともに構成し当該文字の集合Ｇと関連する文字の存する方向と、複数の文字の並び方向（文字の配列Ｌ）とに基づいて、被写体の撮像範囲が連続的に変化する範囲変化方向を予測するようにしたが、予測部４ｃによる被写体の撮像範囲が連続的に変化する範囲変化方向の予測方法は一例であってこれに限られるものではなく、適宜任意に変更可能である。
即ち、予測部４ｃは、テキストを構成する複数の文字の集合Ｇの位置を基準として、当該テキストの撮像部１による撮像範囲の外側であって、テキストを文字の集合Ｇとともに構成し文字の集合Ｇと関連する文字の存する方向を、被写体の撮像範囲が連続的に変化する範囲変化方向として予測しても良い。例えば、予測部４ｃは、撮像部１による撮像範囲の内側に有する３段（上段Ｇ１、中段Ｇ２及び下段Ｇ３；図３参照）のテキストを構成する複数の文字の集合Ｇの位置に基づいて、図４（ａ）に示すように、撮像部１による撮像範囲の外側に複数の文字の集合Ｇと関連する文字の存する方向（図中、白抜きの矢印で示す）を範囲変化方向として予測しても良い。
【００９２】
従って、ユーザがテキストを読み進める方向と被写体の撮像範囲が連続的に変化する範囲変化方向とが略等しくなり、テキストの位置に対して変位する撮像部１により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向、即ち、ユーザが意図的に当該装置本体をテキストに対して変位させる方向の予測を適正に行うことができる。
【００９３】
また、同様に、予測部４ｃは、テキストを構成する複数の文字の集合Ｇの位置を基準として、当該テキストの撮像部１による撮像範囲の外側であって、テキストを文字の集合Ｇとともに構成する区切り部Ｋの存する方向を、被写体の撮像範囲が連続的に変化する範囲変化方向として予測しても良い。
このような構成としても、テキストを構成する文字が認識できない場合であっても、当該テキストを構成する区切り部Ｋの位置を考慮して、撮像部１により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向、即ち、ユーザが意図的に当該装置本体をテキストに対して変位させる方向の予測を適正に行うことができる。
【００９４】
また、上記実施形態１、２並びに変形例では、被写体の画像データを所定の拡大率で拡大して表示部８に表示する動作モードが設定された場合に、抑制制御部５ｃは、予測されたテキストの撮像範囲が連続的に変化する範囲変化方向の手ぶれ補正を抑制するようにしたが、当該範囲変化方向の手ぶれ補正の抑制タイミングは、一例であってこれに限られるものではなく、適宜任意に変更可能である。
即ち、抑制制御部５ｃは、拡大手段による拡大率が所定の値以上の拡大率で拡大された被写体の画像データに被写体構成部としての文字が含まれる場合に、予測部４ｃにより予測された範囲変化方向の補正制御部５ｂによる手ぶれ補正を抑制するようにしても良い。
この場合には、ユーザにより所定の動作モードの設定等の操作が不要となり、所定の値以上の拡大率で拡大された被写体の画像データに被写体構成部としての文字が含まれる場合に、自動的に範囲変化方向の補正制御部５ｂによる手ぶれ補正を抑制することができる。
【００９５】
また、上記実施形態１、２並びに変形例では、被写体の位置に対して変位する撮像部１により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測しておき、当該方向の補正制御部５ｂによる手ぶれ補正を抑制するようにしたが、例えば、抑制制御部５ｃは、特定部４ｂにより特定された被写体を構成する複数の被写体構成部の位置に関連する規則性に基づいて、撮像部１により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を特定して、当該方向の補正制御部５ｂによる手ぶれ補正を抑制するようにしても良い。
このような構成としても、上記実施形態１、２並びに変形例と同様に、被写体の撮像範囲が連続的に変化する範囲変化方向を基準として、手ぶれ補正を行う方向を自動的に制御することができる。従って、被写体の撮像の際に、ユーザによる意図的な被写体の位置に対する撮像部１の変位を考慮して手ぶれ補正を行う方向やその強度を適正に決定することができ、効果的な手ぶれ補正を自動的に行うことができる。
【００９６】
また、上記実施形態１、２及び変形例に例示したものは一例であり、これに限られるものではない。また、撮像処理に係る動作を説明するための図として例示した図３〜図５は、一例であって、これらに限られるものではなく、適宜任意に変更可能である。
【００９７】
加えて、上記実施形態１、２及び変形例にあっては、補正手段、特定手段、予測手段、抑制手段としての機能を、中央制御部１０の制御下にて、画像処理部４の特定部４ｂ、予測部４ｃ、手ぶれ補正部５の補正制御部５ｂ、抑制制御部５ｃが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１０によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、補正処理ルーチン、特定処理ルーチン、予測処理ルーチン、抑制処理ルーチンを含むプログラムを記憶しておく。そして、補正処理ルーチンにより中央制御部１０のＣＰＵを、撮像手段により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う補正手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部１０のＣＰＵを、撮像手段により撮像された被写体の画像データに基づいて、被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する特定手段として機能させるようにしても良い。また、予測処理ルーチンにより中央制御部１０のＣＰＵを、特定手段により特定された規則性に基づいて、撮像手段により撮像される被写体の撮像範囲が連続的に変化する範囲変化方向を予測する予測手段として機能させるようにしても良い。また、抑制処理ルーチンにより中央制御部１０のＣＰＵを、予測手段により予測された範囲変化方向の補正手段による手ぶれ補正を抑制する抑制手段として機能させるようにしても良い。
【００９８】
同様に、第１認識手段、第２認識手段、検出手段、判定手段、設定手段、出力制御手段についても、中央制御部１０のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
【００９９】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
【０１００】
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
撮像手段により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う補正手段と、
前記撮像手段により撮像された前記被写体の画像データに基づいて、前記被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する特定手段と、
この特定手段により特定された前記規則性に基づいて、前記撮像手段により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測する予測手段と、
この予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制する抑制手段と、
を備えたことを特徴とする手ぶれ補正装置。
＜請求項２＞
前記撮像手段により逐次撮像される被写体の画像データを逐次表示する表示手段を更に備え、
前記特定手段は、前記表示手段により被写体の画像データを逐次表示している最中に、前記被写体を構成する複数の被写体構成部の位置に関連する規則性を逐次特定し、
前記予測手段は、前記特定手段により逐次特定される前記規則性に基づいて、前記予測される範囲変化方向の変化を逐次検出し、
前記抑制手段は、前記予測手段により逐次検出される前記範囲変化方向の変化に応じて前記補正手段による手ぶれ補正を抑制する方向を逐次変化させることを特徴とする請求項１に記載の手ぶれ補正装置。
＜請求項３＞
前記被写体は、前記被写体構成部としての文字を有するテキストを含み、
前記特定手段は、更に、
前記撮像手段により撮像された前記テキストの画像データに基づいて、当該テキストを構成する複数の文字の集合、当該複数の文字の配列及び前記複数の文字の集合を他の被写体構成部と区切る区切り部のうちの少なくとも何れか一を基準として前記規則性を特定することを特徴とする請求項１又は２に記載の手ぶれ補正装置。
＜請求項４＞
前記被写体は、前記被写体構成部としての文字を有するテキストを含み、
前記撮像手段により撮像された前記テキストの画像データに基づいて、当該テキストを構成する文字を認識する第１認識手段を更に備え、
前記特定手段は、
前記第１認識手段により認識された文字に係る当該複数の文字の集合及び当該複数の文字の配列のうちの少なくとも一方を基準として、前記規則性を特定することを特徴とする請求項１〜３の何れか一項に記載の手ぶれ補正装置。
＜請求項５＞
前記予測手段は、更に、
前記特定手段により特定された前記複数の文字の集合及び前記複数の文字の配列のうちの少なくとも一方を基準とする前記規則性に基づいて、前記範囲変化方向を予測することを特徴とする請求項３又は４に記載の手ぶれ補正装置。
＜請求項６＞
前記予測手段は、更に、
前記テキストを構成する複数の文字の集合の位置を基準として、前記テキストの前記撮像手段による撮像範囲の外側であって、前記テキストを前記文字の集合とともに構成し当該文字の集合と関連する文字の存する方向を、前記範囲変化方向として予測することを特徴とする請求項５に記載の手ぶれ補正装置。
＜請求項７＞
前記予測手段は、更に、
前記テキストを構成する複数の文字の集合の位置を基準として、前記テキストの前記撮像手段による撮像範囲の外側であって、前記テキストを前記文字の集合とともに構成し当該文字の集合と関連する文字の存する方向と、前記複数の文字の並び方向とに基づいて、前記範囲変化方向を予測することを特徴とする請求項５に記載の手ぶれ補正装置。
＜請求項８＞
前記被写体は、前記被写体構成部としての文字を有するテキストを含み、
前記撮像手段により撮像された前記テキストの画像データに基づいて、当該テキストを構成し、前記複数の文字の集合を他の被写体構成部と区切る区切り部を認識する第２認識手段を更に備え、
前記特定手段は、
前記第２認識手段により認識された前記区切り部を基準として、前記規則性を特定することを特徴とする請求項１〜７の何れか一項に記載の手ぶれ補正装置。
＜請求項９＞
前記予測手段は、更に、
前記特定手段により特定された前記区切り部を基準とする前記規則性に基づいて、前記範囲変化方向を予測することを特徴とする請求項８に記載の手ぶれ補正装置。
＜請求項１０＞
前記予測手段は、更に、
前記テキストを構成する複数の文字の集合の位置を基準として、前記テキストの前記撮像手段による撮像範囲の外側であって、前記テキストを前記文字の集合とともに構成する前記区切り部の存する方向を、前記範囲変化方向として予測することを特徴とする請求項９に記載の手ぶれ補正装置。
＜請求項１１＞
前記予測手段により予測された前記範囲変化方向と異なる方向に前記撮像手段による撮像範囲が変化した変化量を検出する検出手段と、
この検出手段により検出された変化量が所定の値以上であるか否かを判定する判定手段とを更に備え、
前記補正手段は、
前記判定手段により前記変化量が所定の値以上であると判定された場合に、前記変化量が所定の値以上でない場合よりも前記範囲変化方向と異なる方向の手ぶれ補正の強度を相対的に弱くすることを特徴とする請求項１〜１０の何れか一項に記載の手ぶれ補正装置。
＜請求項１２＞
前記抑制手段は、更に、
拡大手段による拡大率が所定の値以上の拡大率で拡大された被写体の画像データに前記被写体構成部としての文字が含まれる場合に、前記予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制することを特徴とする請求項１〜１１の何れか一項に記載の手ぶれ補正装置。
＜請求項１３＞
被写体の画像データを所定の拡大率で拡大して表示手段に表示する動作モードを設定する設定手段を更に備え、
前記抑制手段は、
前記設定手段により前記動作モードが設定された場合に、前記予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制することを特徴とする請求項１〜１１の何れか一項に記載の手ぶれ補正装置。
＜請求項１４＞
前記被写体は、前記被写体構成部としての文字を有するテキストを含み、
前記動作モードは、前記テキストの画像データを所定の拡大率で拡大して前記表示手段に表示するテキスト表示モードを含み、
前記抑制手段は、
前記設定手段により前記テキスト表示モードが設定された場合に、前記特定手段により特定された前記テキストを構成する複数の文字の集合及び前記複数の文字の配列のうちの少なくとも一方を基準とする前記規則性に基づいて前記予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制することを特徴とする請求項１３に記載の手ぶれ補正装置。
＜請求項１５＞
前記抑制手段により前記範囲変化方向の手ぶれ補正が抑制された状態で前記撮像手段により撮像された被写体の画像データを表示手段に出力する出力制御手段を更に備えることを特徴とする請求項１〜１４の何れか一項に記載の手ぶれ補正装置。
＜請求項１６＞
手ぶれ補正装置を用いた手ぶれ補正方法であって、
撮像手段により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う処理と、
前記撮像手段により撮像された前記被写体の画像データに基づいて、前記被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する処理と、
特定された前記規則性に基づいて、前記撮像手段により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測する処理と、
予測された前記範囲変化方向の手ぶれ補正を抑制する処理と、
を含むことを特徴とする手ぶれ補正方法。
＜請求項１７＞
手ぶれ補正装置のコンピュータを、
撮像手段により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う補正手段、
前記撮像手段により撮像された前記被写体の画像データに基づいて、前記被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する特定手段、
この特定手段により特定された前記規則性に基づいて、前記撮像手段により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測する予測手段、
この予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制する抑制手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【０１０１】
１００、１０１、２００ 撮像装置
１ 撮像部
４ 画像処理部
４ｂ 特定部
ｂ１ 第１認識部
ｂ２ 第２認識部
４ｃ 予測部
４ｄ 範囲変化量検出部
４ｅ 判定部
５ 手ぶれ補正部
５ｂ 補正制御部
５ｃ 抑制制御部
７ 出力制御部
８ 表示部
９ 操作入力部
１０ 中央制御部
【技術分野】
【０００１】
本発明は、被写体の撮像の際に手ぶれ補正を行う手ぶれ補正装置、手ぶれ補正方法及びプログラムに関する。
【背景技術】
【０００２】
従来、手ぶれ補正機構を具備し、手ぶれ補正を行う方向（行わない方向）をユーザにより設定可能に構成された撮像装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１８９１６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、ユーザが意図的に当該装置本体を移動させて撮像範囲を変化させる場合には、その移動方向に対しては手ぶれ補正を行わない方がよい場合がある。
しかしながら、上記特許文献１の場合、ユーザは当該装置本体を移動させる方向に手ぶれ補正を行わないように設定することができるものの、当該装置本体を移動させる方向を変更する度に所定操作により手ぶれ補正を行わない方向を変更しなければならず、その作業が煩雑であった。
【０００５】
そこで、本発明の課題は、ユーザの意図を考慮して効果的な手ぶれ補正を自動的に行うことができる手ぶれ補正装置、手ぶれ補正方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明の手ぶれ補正装置は、
撮像手段により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う補正手段と、前記撮像手段により撮像された前記被写体の画像データに基づいて、前記被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する特定手段と、この特定手段により特定された前記規則性に基づいて、前記撮像手段により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測する予測手段と、この予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制する抑制手段と、を備えたことを特徴としている。
【０００７】
また、本発明の手ぶれ補正方法は、
撮像手段により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う補正手段を備える手ぶれ補正装置を用いた手ぶれ補正方法であって、前記撮像手段により撮像された前記被写体の画像データに基づいて、前記被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する処理と、特定された前記規則性に基づいて、前記撮像手段により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測する処理と、予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制する処理と、を含むことを特徴としている。
【０００８】
また、本発明のプログラムは、
撮像手段により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う補正手段を備える手ぶれ補正装置のコンピュータを、前記撮像手段により撮像された前記被写体の画像データに基づいて、前記被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する特定手段、この特定手段により特定された前記規則性に基づいて、前記撮像手段により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測する予測手段、この予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制する抑制手段、として機能させることを特徴としている。
【発明の効果】
【０００９】
本発明によれば、ユーザの意図を考慮して効果的な手ぶれ補正を自動的に行うことができる。
【図面の簡単な説明】
【００１０】
【図１】本発明を適用した実施形態１の撮像装置の概略構成を示すブロック図である。
【図２】図１の撮像装置による撮像処理に係る動作の一例を示すフローチャートである。
【図３】図１の撮像装置による撮像処理に係る動作を説明するための図である。
【図４】図１の撮像装置による撮像処理に係る動作を説明するための図である。
【図５】図１の撮像装置による撮像処理に係る動作を説明するための図である。
【図６】本発明を適用した実施形態１の変形例の撮像装置の概略構成を示すブロック図である。
【図７】図６の撮像装置による撮像処理に係る動作の一例を示すフローチャートである。
【図８】本発明を適用した実施形態２の撮像装置の概略構成を示すブロック図である。
【図９】図８の撮像装置による撮像処理に係る動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
【００１２】
［実施形態１］
実施形態１の撮像装置１００は、被写体の画像データに基づいて、被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する。そして、撮像装置１００は、特定された規則性に基づいて、撮像部１により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測する。更に、撮像装置１００は、予測された範囲変化方向の手ぶれ補正を抑制する。
【００１３】
図１は、本発明を適用した実施形態１の撮像装置１００の概略構成を示すブロック図である。
図１に示すように、撮像装置１００は、具体的には、撮像部１と、画像データ生成部２と、メモリ３と、画像処理部４と、手ぶれ補正部５と、記録媒体制御部６と、出力制御部７と、表示部８と、操作入力部９と、中央制御部１０とを備えている。
【００１４】
撮像部１は、被写体を撮像する撮像手段を構成し、レンズ部１ａと、電子撮像部１ｂと、撮像制御部（図示略）とを備えている。
レンズ部１ａは、例えば、図示は省略するが、ズームレンズ群、フォーカスレンズ群を含み、図示しないレンズ駆動機構（例えば、モータ等）により光軸方向の位置が調整可能となっている。
【００１５】
電子撮像部１ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサなどから構成されている。また、電子撮像部１ｂは、図示しない撮像制御部の制御下にて、レンズ部１ａの各種レンズや絞り（図示略）を通過した光学像を当該電子撮像部１ｂにより二次元の画像信号（ＲＧＢ画像データ）に変換して、画像データ生成部２に出力する。
なお、図示は省略するが、電子撮像部１ｂは、手ぶれ補正部５のステージ駆動部５ａ（後述）によりＸＹ方向（例えば、左右方向や上下方向等）に駆動されるステージ部に搭載されている。
【００１６】
画像データ生成部２は、例えば、電子撮像部１ｂから転送された画像フレームのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリ３にＤＭＡ転送される。
【００１７】
メモリ３は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、画像処理部４、手ぶれ補正部５、中央制御部１０等によって処理されるデータ等を一時記憶する。
【００１８】
画像処理部４は、画像データ取得部４ａと、特定部４ｂと、予測部４ｃとを備えている。
なお、画像処理部４の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
【００１９】
画像データ取得部４ａは、被写体の画像データを逐次取得する。
即ち、画像データ取得部４ａは、画像データ生成部２により生成された被写体の画像データを逐次取得する。具体的には、画像データ取得部４ａは、電子撮像部１ｂにより所定の撮像フレームレートで逐次撮像された画像フレームの各々から画像データ生成部２により生成された複数の画像データ（ＹＵＶデータ）をメモリ３から所定間隔で逐次取得する。
【００２０】
特定部４ｂは、被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する。
即ち、特定部４ｂは、撮像部１により撮像された被写体の画像データに基づいて、被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する。
ここで、複数の被写体構成部の位置に関連する規則性とは、各被写体構成部の形態的な連続性を有するパターンの有無を基準とする規則性である。例えば、被写体が被写体構成部としての文字を有するテキストである場合、複数の文字（被写体構成部）の位置に関連する規則性としては、画角内に存在する複数の文字の集合Ｇ、行間の空白Ｋ１、区切り線Ｋ２等から相互に規定される位置関係等が挙げられる（図３参照）。
具体的には、特定部４ｂは、被写体が被写体構成部としての文字を有するテキストである場合、画像データ取得部４ａにより取得されたテキストの画像データに基づいて、テキストを構成する複数の文字の集合Ｇ（例えば、複数の文字の一塊）、複数の文字の配列Ｌ、…（例えば、二次元空間の文字の並び方向）及び複数の文字の集合Ｇを他の被写体構成部と区切る区切り部Ｋ（例えば、行間の空白Ｋ１、区切り線Ｋ２等）のうちの少なくとも何れか一を基準として、複数の被写体構成部の位置に関連する規則性を特定する。例えば、特定部４ｂは、画像データ取得部４ａにより取得されたテキストのＹＵＶデータのうちの輝度信号（Ｙ）を所定の閾値で二値化し、当該テキストを構成する文字や記号や線等に対応する第１の画素値「１」を有する画素と、当該テキストの背景部分に対応する第２の画素値「０」を有する画素を含む二値画像（図示略）を生成する。そして、特定部４ｂは、第１の画素値「１」と第２の画素値「０」を有する各画素の集合度合い、第１の画素値「１」や第２の画素値「０」の画素の配置の規則性等に基づいて、被写体構成部の位置に関連する規則性を特定する。
【００２１】
ここで、文字の配列Ｌの各々は、二値画像において、例えば、複数の文字の各々に対応する第１の画素値「１」を有する画素が所定方向（例えば、上下方向）に並ぶように配列されている。
文字の集合Ｇは、二値画像において、例えば、第１の画素値「１」を有する画素が所定方向に連続的に配置された複数の文字の配列Ｌ、…が、所定方向に直交する直交方向（例えば、左右方向）に一定の間隔で並んで、即ち、第２の画素値「０」を有する画素からなる領域と交互に並んで構成されている。
行間の空白Ｋ１とは、例えば、直交方向に隣合う文字の配列Ｌ、Ｌの間に存在する空白の領域や、文字の集合Ｇを取り囲む空白の領域等を含んで構成されている。また、行間の空白Ｋ１は、二値画像において、例えば、第２の画素値「０」を有する画素から構成されている。
区切り線Ｋ２は、二値画像において、例えば、第１の画素値「１」を有する画素が一方向（例えば、左右方向）に連続して並んで構成されている。
【００２２】
また、例えば、図３に示すように、ユーザが撮像装置１００を通常方向に構え（いわゆる縦撮りではなく撮影画像が横長になるように保持し）、かつ、撮影して表示部８の表示画面に表示される文字が普通に読めるように（文字の上側が撮像装置１００の上側になるように）撮像装置１００と被写体（この例では新聞）の向きを合わせた基本状態で撮影されたテキストの場合、特定部４ｂは、複数の文字に関連する規則性として、文字の集合Ｇを構成する複数の文字の配列Ｌ、…が左右方向に一定の間隔で並んでいる点、当該文字の集合Ｇの上下に行間の空白Ｋ１、Ｋ１が設けられている点、上側の行間の空白Ｋ１の上に区切り線Ｋ２が設けられている点を特定する。更に、特定部４ｂは、文字の集合Ｇ、文字の配列Ｌ及び区切り部Ｋに基づいて、各文字の配列Ｌを構成する複数の文字が縦方向に並んでいる、即ち、上記基本状態で撮影することを前提とした場合に、各文字の配列Ｌが「縦書き」である点を、複数の文字に関連する規則性として特定する。以下、特に指定しない場合は、上記基本状態で撮影することを前提として処理を行うものとする。
このように、特定部４ｂは、撮像部１により撮像された被写体の画像データに基づいて、被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する特定手段を構成している。
【００２３】
予測部４ｃは、撮像部１により撮像される被写体の撮像範囲が連続的に変化する範囲変化方向を予測する。
即ち、予測部４ｃは、特定部４ｂにより特定された被写体を構成する複数の被写体構成部の位置に関連する規則性に基づいて、撮像部１により撮像される被写体の撮像範囲が連続的に変化する範囲変化方向を予測する。つまり、被写体の撮像の際に、ユーザが被写体の位置に対して当該装置本体を所定方向（例えば、上下方向や左右方向）に変位させる（例えば、平行移動や回転移動）ことで、被写体の位置に対して撮像部１が変位する。これに伴って、撮像部１により撮像される被写体の撮像範囲も所定方向に連続的に変化することとなり、予測部４ｃは、当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測して特定する。
なお、被写体の撮像範囲が連続的に変化する範囲変化方向に係る連続性とは、被写体の撮像範囲が略一定の速度で一方向に連続して変化する場合だけでなく、被写体の撮像範囲が一方向に所定時間変化した後、所定の短時間（例えば、１秒未満の時間等）停止し、その後、同方向に再度変化する場合等も含む。
つまり、ユーザが意図しない手振れなどに起因する撮像範囲のランダムな変化に対して、ユーザの意図する撮像装置１００の移動操作などに起因する撮像範囲の一定方向への変化を識別して予測できればよい。
【００２４】
具体的には、例えば、被写体が被写体構成部としての文字を有するテキストである場合（図３参照）、予測部４ｃは、特定部４ｂにより特定された文字の集合Ｇ、文字の配列Ｌ及び区切り部Ｋのうちの少なくとも何れか一を基準とする当該複数の文字の位置に関連する規則性に基づいて、被写体の撮像範囲が連続的に変化する範囲変化方向を予測する。
また、予測部４ｃは、撮像部１により撮像された撮像範囲内の文字の集合Ｇの位置を基準として、より具体的には、中央制御部１０のＣＰＵにより設定されたユーザ所望の拡大率で拡大されたテキストの文字の集合Ｇの位置を基準として、当該テキストの撮像部１による撮像範囲の外側であって、テキストを文字の集合Ｇとともに構成し当該文字の集合Ｇと関連する文字の存する方向と、複数の文字の並び方向（文字の配列Ｌ）とに基づいて、範囲変化方向を予測する。
例えば、図４（ａ）に示すように、区切り部Ｋである行間の空白Ｋ１が文字の集合Ｇを「コ」字状に取り囲むように三方向（複数の文字の配列Ｌ、…の上側Ｌ１、下側Ｌ２及び右側Ｌ３）に位置していることから、予測部４ｃは、文字の集合Ｇの位置に対して区切り部Ｋが設けられていない方向、即ち、左方向（図中、白抜きの矢印で示す）に、テキストの撮像部１による撮像範囲の外側に当該文字の集合Ｇと関連する文字が存するであろうと判断する。これにより、予測部４ｃは、テキストの撮像の際に、文字の集合Ｇの位置に対して装置本体（撮像部１）が左方向に変位し、これに伴って、テキスト（被写体）の撮像範囲が左方向に連続的に変化する、即ち、左方向が範囲変化方向であると予測する。
また、図４（ｂ）に示すように、各文字の配列Ｌが「縦書き」であり、行間の空白Ｋ１が複数の文字の集合Ｇの上側Ｌ１及び右側Ｌ３に位置していることから、予測部４ｃは、文字の集合Ｇの位置に対して区切り部Ｋが設けられていない下方向（図中、白抜きの矢印で示す）に、テキストの撮像部１による撮像範囲の外側に当該文字の集合Ｇと関連する文字が存するであろうと判断する。これにより、予測部４ｃは、テキストの撮像の際に、文字の集合Ｇの位置に対して装置本体（撮像部１）が下方向に変位し、これに伴って、テキスト（被写体）の撮像範囲が下方向に連続的に変化する、即ち、下方向が範囲変化方向であると予測する。この場合、左方向にも当該文字の集合Ｇと関連する文字が存在すると判断するが、各文字の配列Ｌが「縦書き」であることから、下方向を優先して範囲変化方向を予測する。
【００２５】
このように、予測部４ｃは、特定部４ｂにより特定された規則性に基づいて、撮像部１により撮像される被写体の撮像範囲が連続的に変化する範囲変化方向を予測する予測手段を構成している。
【００２６】
手ぶれ補正部５は、被写体の撮像の際の手ぶれを補正するものであり、具体的には、ステージ駆動部５ａと、補正制御部５ｂと、抑制制御部５ｃとを備えている。
【００２７】
ステージ駆動部５ａは、補正制御部５ｂの制御下にて、電子撮像部１ｂを搭載するステージ部を所定方向に移動させる。
即ち、ステージ駆動部５ａは、画像データ生成部２により生成された画像データに基づいて、駆動手段として手ぶれを補正するようにステージ部（補正用可動部）をＸＹ方向に逐次駆動させる。具体的には、ステージ駆動部５ａは、画像データ生成部２により生成された画像データに基づいて、補正制御部５ｂにより算出された手ぶれ量及び手ぶれ方向を補正するようにステージ部を上下方向（Ｙ方向）や左右方向（Ｘ方向）に逐次駆動させる。
【００２８】
補正制御部５ｂは、被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う。
即ち、補正制御部５ｂは、撮像部１により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う。具体的には、補正制御部５ｂは、撮像部１により逐次撮像される被写体の画像データに基づいて手ぶれ量及び手ぶれ方向を算出する。例えば、補正制御部５ｂは、画像データ取得部４ａにより逐次取得された画像フレームに基づいて特定部４ｂにより特定された被写体を構成する複数の被写体構成部の位置に関連する規則性を基準として、単位時間当たりに取得された所定数の画像フレームに係る規則性（例えば、文字の集合Ｇや区切り部Ｋの配置等）の変化に従って、被写体の撮像範囲の変化した量及び方向を特定し、変化した量及び方向に応じて手ぶれ量及び手ぶれの方向を算出する。
また、補正制御部５ｂは、算出された手ぶれ量及び手ぶれの方向に応じて手ぶれ補正量及び手ぶれ補正方向（例えば、ステージ駆動部５ａの駆動に必要な電流値や通電時間等）を算出し、算出された手ぶれ補正量及び手ぶれ補正方向に基づいてステージ駆動部５ａの駆動に係る制御信号を決定する。そして、補正制御部５ｂは、決定された制御信号に従ってステージ駆動部５ａの駆動を制御してステージ部をＸＹ方向に移動させる。これにより、補正制御部５ｂによってステージ部をＸＹ方向に移動させた状態で撮像部１により撮像され画像データ生成部２により生成される被写体の画像データは、手ぶれが補正された画像となる。
このように、補正制御部５ｂは、撮像部１により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う補正手段を構成している。
【００２９】
抑制制御部５ｃは、撮像部１により撮像される被写体の撮像範囲が連続的に変化する範囲変化方向の手ぶれ補正を抑制する。
即ち、抑制制御部５ｃは、予測部４ｃにより予測された被写体の撮像範囲が連続的に変化する範囲変化方向の補正制御部５ｂによる手ぶれ補正を抑制する。具体的には、抑制制御部５ｃは、補正制御部５ｂにより算出された手ぶれ方向が予測部４ｃにより予測された被写体の撮像範囲が連続的に変化する範囲変化方向と等しいか否かを判定する。そして、抑制制御部５ｃは、当該手ぶれ方向が範囲変化方向と等しいと判定された場合、当該手ぶれ方向（範囲変化方向）の補正制御部５ｂによる手ぶれ補正を抑制する。ここで、範囲変化方向の手ぶれ補正を抑制するとは、当該範囲変化方向の手ぶれ補正を行わないように禁止したり、当該範囲変化方向の手ぶれ補正の強度を他の方向に対して相対的に弱くすることを言う。
この場合、算出された手ぶれ方向と予測された範囲変化方向との差が所定範囲内である場合に手ぶれ補正を抑制するようにしてもよいが、以下のようにしてもよい。
つまり、抑制制御部５ｃは、補正制御部５ｂが算出する手ぶれ量及び手ぶれの方向を、予測された範囲変化方向に対応する第１のベクトルと、この第１のベクトルと直交する方向の第２のベクトルとに分解し、第１のベクトルに対しては手ぶれ補正を抑制（例えば、禁止）し、その一方で、第２のベクトルに対しては手ぶれ補正を抑制しない（例えば、許可する）ようにしてもよい。
また、予測部４ｃは、被写体が文字である場合には、範囲変化方向として上下方向と左右方向のいずれかを選択的に予測するようにすれば、抑制制御部５ｃは、上下方向のベクトルと左右方向のベクトルのいずれか一方のベクトルに対して手ぶれ補正を抑制すればよく、これは、ステージ部の駆動方向であるＸ方向（左右方向）とＹ方向（上下方向）に対応するので、いずれかの方向へのステージ部の駆動を抑制することで簡単に実現することができる。
【００３０】
また、抑制制御部５ｃは、被写体の画像データを所定の拡大率で拡大して表示部８に表示する動作モードが中央制御部１０のＣＰＵにより設定された場合に、予測部４ｃにより予測された被写体の撮像範囲が連続的に変化する範囲変化方向の補正制御部５ｂによる手ぶれ補正を抑制する。具体的には、ユーザによる操作入力部９の所定操作に基づいて、動作モードとして、テキストの画像データを所定の拡大率で拡大して表示部８に表示するテキスト表示モードが中央制御部１０のＣＰＵにより設定された場合に、抑制制御部５ｃは、特定部４ｂにより特定された文字の集合Ｇ及び文字の配列Ｌのうちの少なくとも一方を基準とする当該複数の文字の位置に関連する規則性に基づいて予測部４ｃにより予測された被写体の撮像範囲が連続的に変化する範囲変化方向の補正制御部５ｂによる手ぶれ補正を抑制する。
【００３１】
例えば、図５（ａ）に示すように、手ぶれ方向（図中、右側の下向きの矢印で表す）と範囲変化方向（図中、左側の下向きの白抜きの矢印で示す）が同一方向である場合、抑制制御部５ｃは、当該方向の補正制御部５ｂによる手ぶれ補正を禁止する。一方、図５（ｂ）に示すように、手ぶれ方向（図中、下側の左向きの矢印で表す）と範囲変化方向（図中、左側下向きの白抜きの矢印で示す）が異なる方向である場合、抑制制御部５ｃは、当該方向の補正制御部５ｂによる手ぶれ補正を禁止しない。
このように、抑制制御部５ｃは、予測部４ｃにより予測された範囲変化方向の補正制御部５ｂによる手ぶれ補正を抑制する抑制手段を構成している。
【００３２】
記録媒体制御部６は、記録媒体Ｍが着脱自在に構成され、装着された記録媒体Ｍからのデータの読み出しや記録媒体Ｍに対するデータの書き込みを制御する。
なお、記録媒体Ｍは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
【００３３】
出力制御部７は、撮像部１により撮像された被写体の画像データを表示部８に出力する制御を行う。具体的には、出力制御部７は、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１０の制御下にてメモリ３から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部８に出力する。
【００３４】
また、出力制御部７は、拡大手段として、表示部８に表示される被写体の画像データを所定の拡大率で拡大して表示部８に出力する。
即ち、出力制御部７は、ユーザによる操作入力部９のズームボタン等の所定操作に基づいて中央制御部１０のＣＰＵにより指定された拡大率（例えば、２倍）に従って、表示部８に表示される被写体の画像データに対する拡大処理を施す。具体的には、出力制御部７は、ＶＲＡＭから読み出された被写体の画像データに基づいて、指定された拡大率に従って水平方向及び垂直方向ともに所定の比率で拡大した拡大画像の画像データを生成し、当該画像データに基づいてビデオ信号を発生して表示部８に出力する。
これにより、表示部８に表示される被写体の画像は、拡大前の被写体の画像領域のうちの一部分が拡大された画像となる。
【００３５】
また、出力制御部７は、範囲変化方向の手ぶれ補正が抑制された状態で撮像部１により撮像された被写体の画像データを表示部８に出力する。
即ち、出力制御部７は、抑制制御部５ｃにより範囲変化方向の手ぶれ補正が抑制された状態で撮像部１により撮像された被写体の画像データを、メモリ３から読み出して取得し、取得した画像データを表示部８に出力して当該表示部８に表示させる制御を行う。
ここで、出力制御部７は、抑制制御部５ｃにより範囲変化方向の手ぶれ補正が抑制された状態で撮像部１により撮像された被写体の画像データを表示部８に出力する出力制御手段を構成している。
【００３６】
表示部８は、例えば、液晶表示装置であり、出力制御部７からのビデオ信号に基づいて撮像部１により撮像された画像などを表示画面に表示する。具体的には、表示部８は、ライブビューモードにて、撮像部１による被写体の撮像により生成された複数の画像フレームを所定のフレームレートで逐次更新しながらライブビュー画像を表示する。
【００３７】
操作入力部９は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部９は、被写体の撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等を備え（いずれも図示略）、これらのボタンの操作に応じて所定の操作信号を中央制御部１０に出力する。
【００３８】
また、操作入力部９の選択決定用ボタンは、ユーザによる所定操作に基づいて、複数の撮像モードの中で被写体の画像データを所定の拡大率で拡大して表示部８に表示する動作モードの設定指示を中央制御部１０に出力する。ここで、動作モードには、テキストの画像データを所定の拡大率で拡大して表示部８に表示するテキスト表示モードが含まれている。そして、選択決定用ボタンは、ユーザによる所定操作に基づいて指定された、例えば、テキスト表示モードの設定指示を中央制御部１０に出力する。
中央制御部１０のＣＰＵは、入力された設定指示に基づいて、被写体（テキスト）の画像データを所定の拡大率で拡大して表示部８に表示する動作モードに設定する。
ここで、操作入力部９及び中央制御部１０は、被写体の画像データを所定の拡大率で拡大して表示部８に表示する動作モードを設定する設定手段を構成している。
【００３９】
中央制御部１０は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１０、図示は省略するが、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。
【００４０】
次に、撮像装置１００による撮像処理について図２〜図５を参照して説明する。
図２は、撮像処理に係る動作の一例を示すフローチャートである。
撮像処理は、ユーザによる操作入力部９の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から、例えば、テキストの画像データを所定の拡大率で拡大して表示部８に表示するテキスト表示モードが選択指示された場合に実行される処理である。
なお、ここでの範囲変化方向の手ぶれ補正を抑制する処理として、当該範囲変化方向の手ぶれ補正を行わないように禁止する処理を例示するが、当該範囲変化方向の手ぶれ補正の強度を他の方向に対して相対的に弱くする処理を行ってもよい。
【００４１】
図２に示すように、撮像部１によるテキスト（被写体）の撮像が開始されると、先ず、画像データ生成部２は、撮像部１の電子撮像部１ｂから所定の撮像フレームレートで転送された各画像フレームの画像データを逐次生成し、画像処理部４の画像データ取得部４ａは、画像データ生成部２により生成された画像データを逐次取得する（ステップＳ１）。
次に、出力制御部７は、画像データ生成部２により逐次生成された複数の画像フレームの画像データに基づいて、表示内容を所定の表示フレームレートで逐次更新しながらライブビュー画像を表示部８に表示させる（ステップＳ２）。
【００４２】
続けて、画像処理部４の特定部４ｂは、画像データ取得部４ａにより取得されたテキストの画像データに基づいて、当該テキストを構成する複数の文字の位置に関連する規則性を特定する（ステップＳ３）。具体的には、特定部４ｂは、文字の集合Ｇ、文字の配列Ｌ及び区切り部Ｋのうちの少なくとも何れか一を基準として、テキストを構成する複数の文字の位置に関連する規則性を特定する。
【００４３】
次に、中央制御部１０のＣＰＵは、ユーザによる操作入力部９のズームボタン等の所定操作に基づいて、表示部８に表示される画像の拡大率を所望の倍率に設定する（ステップＳ４）。これにより、出力制御部７は、画像データ生成部２により生成されたテキストの画像データを指定された拡大率に従って水平方向及び垂直方向ともに所定の比率で拡大した拡大画像の画像データを生成し、当該画像データに基づいてビデオ信号を発生して表示部８に出力する。
【００４４】
続けて、予測部４ｃは、特定部４ｂにより特定されたテキストを構成する複数の文字の位置に関連する規則性に基づいて、撮像部１により撮像されるテキストの撮像範囲が連続的に変化する範囲変化方向を予測する（ステップＳ５）。具体的には、予測部４ｃは、撮像範囲内の文字の集合Ｇの位置を基準として、テキストの撮像部１による撮像範囲の外側であって、テキストを文字の集合Ｇとともに構成し当該文字の集合Ｇと関連する文字の存する方向と、複数の文字の並び方向（文字の配列Ｌ）とに基づいて、範囲変化方向を予測する。例えば、予測部４ｃは、ユーザ所望の拡大率で拡大されたテキストの表示態様が図４（ａ）に示すような状態となった場合には左方向を、また、テキストの表示態様が図４（ｂ）に示すような状態となった場合には下方向を、テキストの撮像範囲が連続的に変化する範囲変化方向として予測する。
【００４５】
その後、ユーザがテキストの位置に対して当該装置本体を所定方向に変位させた際に、補正制御部５ｂは、撮像部１によるテキストの撮像により画像データ生成部２により逐次生成されたテキストの画像データに基づいて、手ぶれ（手ぶれ量及び手ぶれ方向）を検出する（ステップＳ６）。
続けて、補正制御部５ｂは、検出された手ぶれ方向が予測部４ｃにより予測された範囲変化方向であり、かつ、当該方向に連続的に変化する手ぶれであるか否かを判定する（ステップＳ７）。
【００４６】
ステップＳ７にて、検出された手ぶれ方向が予測された範囲変化方向であり、かつ、当該方向に連続的に変化する手ぶれであると判定されると（ステップＳ７；Ｙｅｓ）、抑制制御部５ｃは、補正制御部５ｂにより手ぶれ補正を行うことを禁止するように制御する。そして、補正制御部５ｂは、抑制制御部５ｃにより手ぶれ補正が禁止された場合には手ぶれ補正を行わない（ステップＳ８）。続いて、出力制御部７は、抑制制御部５ｃにより手ぶれ補正が禁止された状態で撮像部１により撮像されて画像データ生成部２により生成されたテキストの画像データ、即ち、補正制御部５ｂにより手ぶれ補正が行われていないテキストの画像データを、表示部８に出力して当該テキストの画像を表示部８に表示させる（ステップＳ９；図５（ａ）参照）。
【００４７】
一方、ステップＳ７にて、検出された手ぶれ方向が予測された範囲変化方向でないか、あるいは当該方向に連続的に変化する手ぶれでないと判定されると（ステップＳ７；Ｎｏ）、抑制制御部５ｃは、補正制御部５ｂによる手ぶれ補正を禁止しない。そして、補正制御部５ｂは、抑制制御部５ｃにより手ぶれ補正が禁止されなかった場合には、撮像部１により撮像され画像データ生成部２により生成されたテキストの画像データに対して手ぶれ補正を行う（ステップＳ１０）。続いて、出力制御部７は、補正制御部５ｂにより手ぶれ補正が行われた状態で撮像部１により撮像されて画像データ生成部２により生成されたテキストの画像データを、表示部８に出力して当該テキストの画像を表示部８に表示させる（ステップＳ１１；図５（ｂ）参照）。
【００４８】
その後、中央制御部１０のＣＰＵは、例えば、ユーザによる操作入力部９の所定操作に基づいて撮像処理の終了指示が入力されているか否かを判定する（ステップＳ１２）。
ここで、撮像処理の終了指示が入力されていないと判定されると（ステップＳ１２；Ｎｏ）、中央制御部１０のＣＰＵは、処理をステップＳ１に移行し、それ以降の処理を実行する。また、ステップＳ１以降の各処理は、ステップＳ１２にて、撮像処理の終了指示が入力されたと判定されるまで逐次繰り返し実行される。
なお、ステップＳ３にて、テキストを構成する複数の文字の位置に関連する規則性を特定する処理は、表示部８に表示される画像の拡大をキャンセルする指示が入力された場合に行い、それ以外の場合には、当該処理をスキップしても良い。また、ステップＳ４は、表示部８に表示される画像の拡大倍率の再設定指示が入力された場合に行い、それ以外の場合には当該処理をスキップしても良い。また、ステップＳ５は、ステップＳ３にてテキストを構成する複数の文字の位置に関連する規則性の再特定や、ステップＳ４にて表示部８に表示される画像の拡大倍率の再設定が行われた場合に行い、それ以外の場合には、当該処理をスキップしても良い。
【００４９】
そして、ステップＳ１２にて、撮像処理の終了指示が入力されたと判定されると（ステップ１２；Ｙｅｓ）、中央制御部１０のＣＰＵは、当該撮像処理を終了させる。
【００５０】
なお、ステップＳ７〜Ｓ１１までの処理は以下のような処理であってもよい。
つまり、ステップＳ７の処理に代えて、補正制御部５ｂは、検出される手ぶれ（手ぶれ量及び手ぶれ方向）を、予測された範囲変化方向に対応する第１のベクトルと、この第１のベクトルと直交する方向の第２のベクトルとに分解することで、予測された範囲変化方向（第１のベクトル）に手ぶれがあるか否かを判定する。この場合、手ぶれが当該方向に連続的に変化しているか否かは問わない。
ステップＳ７の処理に代えて行われた上記の処理にて、予測された範囲変化方向（第１のベクトル）に手ぶれがあると判定されると、ステップＳ８の処理に代えて、抑制制御部５ｃは、補正制御部５ｂによる第１のベクトルに対する手ぶれ補正のみを禁止する。そして、第２のベクトルに対する手ぶれがある場合には、補正制御部５ｂは、当該ベクトルに対する手ぶれ補正を行う。そして、ステップＳ９の処理に代えて、出力制御部７は、補正制御部５ｂにより第１のベクトルに対する手ぶれ補正が行われず、第２のベクトルに対してのみ手ぶれ補正が行われた状態で、撮像部１により撮像されて画像データ生成部２により生成されたテキストの画像データを、表示部８に出力して当該テキストの画像を表示部８に表示させる。
一方、ステップＳ７の処理に代えて行われた上記の処理にて、予測された範囲変化方向（第１のベクトル）に手ぶれがないと判定されると、ステップＳ１０の処理に代えて、抑制制御部５ｃは、補正制御部５ｂによる第１のベクトルに対する手ぶれ補正を禁止せずに、第２のベクトルに対する手ぶれがある場合には、補正制御部５ｂは、第２のベクトルに対する手ぶれ補正のみを行う。そして、ステップＳ１１の処理に代えて、出力制御部７は、補正制御部５ｂにより第２のベクトルに対してのみ手ぶれ補正が行われた状態で撮像部１により撮像されて画像データ生成部２により生成されたテキストの画像データを、表示部８に出力して当該テキストの画像を表示部８に表示させる。
【００５１】
以上のように、実施形態１の撮像装置１００によれば、被写体を構成する複数の被写体構成部の位置に関連する規則性に基づいて、撮像部１により撮像される被写体の撮像範囲が連続的に変化する範囲変化方向を予測し、予測された範囲変化方向の手ぶれ補正を抑制するので、予め予測された被写体の撮像範囲が連続的に変化する範囲変化方向を基準として、手ぶれ補正を行う方向を自動的に制御することができる。即ち、手ぶれの方向が予測された範囲変化方向である場合には、ユーザが意図的に当該装置本体を被写体に対して変位させたと判断して、この方向の手ぶれ補正を抑制することができる一方で、手ぶれの方向が範囲変化方向以外である場合には、当該装置本体が誤って被写体に対して変位してしまったと判断して、この方向の手ぶれに対する手ぶれ補正を行うことができる。
このように、被写体の撮像の際に、ユーザによる意図的な被写体の位置に対する撮像部１の変位を考慮して手ぶれ補正を行う方向やその強度を適正に決定することができ、効果的な手ぶれ補正を自動的に行うことができる。
【００５２】
また、逐次撮像される被写体の画像データを逐次表示し、被写体の画像データを逐次表示している最中に、被写体を構成する複数の被写体構成部の位置に関連する規則性を逐次特定し、逐次特定される規則性に基づいて、予測される範囲変化方向の変化を逐次検出し、逐次検出される範囲変化方向の変化に応じて手ぶれ補正を抑制する方向を逐次変化させるので、逐次変化する被写体の画像データの表示内容に応じて適正な手ぶれ補正を行うことができる。即ち、撮像範囲の変化により撮像される被写体を構成する複数の被写体構成部の位置に関連する規則性が変化した場合についても、逐次変化する被写体の画像データに基づいて、ユーザが意図的に当該装置本体をテキストに対して変位させる方向の予測を適正に行うことができる。
【００５３】
また、テキストを構成する複数の文字の集合Ｇ、複数の文字の配列Ｌ、…及び複数の文字の集合Ｇを他の被写体構成部と区切る区切り部Ｋのうちの少なくとも何れか一を基準として、被写体を構成する複数の被写体構成部の位置に関連する規則性を特定するので、テキストの撮像範囲が連続的に変化する範囲変化方向、即ち、ユーザが意図的に当該装置本体をテキストに対して変位させる方向の予測を適正に行うことができる。つまり、取得されたテキストを構成する文字の集合Ｇや文字の配列Ｌや区切り部Ｋを基準とすることで、表示部８に表示された当該テキストの画像を視認するユーザが意図的に当該装置本体をテキストに対して変位させる方向の予測を適正に行うことができ、この結果、ユーザが意図的に当該装置本体をテキストに対して変位させる方向に対しては表示部８による滑らかな画像表示を行うことができる。
【００５４】
また、特定された複数の文字の集合Ｇ及び複数の文字の配列Ｌ、…のうちの少なくとも一方を基準とする被写体を構成する複数の被写体構成部の位置に関連する規則性に基づいて、テキストの撮像範囲が連続的に変化する範囲変化方向を予測するので、テキストの撮像範囲が連続的に変化する範囲変化方向、即ち、ユーザが意図的に当該装置本体をテキストに対して変位させる方向の予測を適正に行うことができる。
【００５５】
また、テキストを構成する複数の文字の集合Ｇの位置を基準として、テキストの撮像部１による撮像範囲の外側であって、テキストを文字の集合Ｇとともに構成し文字の集合Ｇと関連する文字の存する方向と、複数の文字の並び方向とに基づいて、テキストの撮像範囲が連続的に変化する範囲変化方向を予測するので、ユーザが意図的に当該装置本体をテキストに対して変位させる方向の予測を適正に行うことができる。即ち、一般的に、テキストを構成する複数の文字は、所定方向に連続する所定数の文字が一かたまりとなって意味をなすため、テキストの撮像部１による撮像範囲に一かたまり全ての文字が含まれていない場合には、ユーザは当該撮像範囲の外側に存する、テキストを構成する文字の集合Ｇと関連する文字を視認可能となるように、テキストの撮像の際に、当該ユーザが意図的に装置本体をテキストに対して変位させることとなる。同様に、ユーザは所定の並び方向に並んでいる複数の文字を視認する場合も、テキストの撮像の際に、ユーザが意図的に装置本体をテキストに対して変位させることとなる。
従って、テキストの位置に対して変位する撮像部１により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向、即ち、ユーザが意図的に当該装置本体をテキストに対して変位させる方向の予測を適正に行うことができる。
【００５６】
また、特定された区切り部Ｋを基準とする、被写体を構成する複数の被写体構成部の位置に関連する規則性に基づいて範囲変化方向を予測するので、例えば、短い文字数から構成されている段組のテキストについても、テキストの撮像範囲が連続的に変化する範囲変化方向、即ち、ユーザが意図的に当該装置本体をテキストに対して変位させる方向の予測を適正に行うことができる。
【００５７】
また、被写体の画像データを所定の拡大率で拡大して表示部８に表示する動作モードが設定された場合に、予測されたテキストの撮像範囲が連続的に変化する範囲変化方向の手ぶれ補正を抑制する。具体的には、テキストの画像データを所定の拡大率で拡大して表示部８に表示するテキスト表示モードが設定された場合に、特定されたテキストを構成する複数の文字の集合Ｇ及び複数の文字の配列Ｌ、…のうちの少なくとも一方を基準として、被写体を構成する複数の被写体構成部の位置に関連する規則性に基づいて予測された範囲変化方向の手ぶれ補正を抑制する。
従って、ユーザによりテキスト表示モード等の動作モードの設定に基づいて、予め予測された被写体の撮像範囲が連続的に変化する範囲変化方向を基準として、手ぶれ補正を行う方向を自動的に制御することができる。
【００５８】
また、範囲変化方向の手ぶれ補正が抑制された状態で撮像部１により撮像された被写体の画像データを表示部８に出力するので、テキストの撮像範囲が連続的に変化する範囲変化方向の手ぶれ補正が抑制された画像、即ち、ユーザによる当該装置本体のテキストに対する変位に追従させるように表示内容が変化する画像を表示部８に表示することができ、ユーザは自身の意図的な動作に対応させるように表示内容が変化する画像を視認することができる。
【００５９】
＜変形例＞
次に、撮像装置１０１の変形例について、図６及び図７を参照して説明する。
図６は、本発明を適用した実施形態１の変形例の撮像装置１０１の概略構成を示すブロック図である。
なお、変形例は、下記に詳細に説明する以外の点で、上記実施形態１と略同様の構成をなし、その説明は省略する。
【００６０】
図６に示すように、当該撮像装置１０１の画像処理部４は、画像データ取得部４ａ、特定部４ｂ、予測部４ｃに加えて、範囲変化量検出部４ｄ及び判定部４ｅを備える。
【００６１】
範囲変化量検出部４ｄは、予測部４ｃにより予測された範囲変化方向と異なる方向に撮像部１による撮像範囲が変化した変化量を検出する。
即ち、被写体の撮像の際に、被写体の位置に対して当該装置本体を所定方向（例えば、上下方向や左右方向）に変位することで、被写体の位置に対して撮像部１が変位する。そして、範囲変化量検出部４ｄは、予測部４ｃにより予め予測されている当該被写体の撮像範囲が連続的に変化する範囲変化方向と異なる方向に撮像部１による撮像範囲が変化した場合に、当該異なる方向の撮像部１による被写体の撮像範囲の変化量を検出する。
具体的には、範囲変化量検出部４ｄは、補正制御部５ｂによる手ぶれ量及び手ぶれの方向の算出処理と同様の処理を行う。即ち、範囲変化量検出部４ｄは、画像データ取得部４ａにより逐次取得された画像フレームに基づいて特定部４ｂにより特定された被写体を構成する複数の被写体構成部の位置に関連する規則性を基準として、単位時間当たりに取得された所定数の画像フレームに係る規則性（例えば、文字の集合Ｇや区切り部Ｋの配置等）の変化に従って、予測部４ｃにより予め予測されている範囲変化方向以外の方向について被写体の撮像範囲の変化した量を特定する。
なお、範囲変化量検出部４ｄは、補正制御部５ｂによる手ぶれ量及び手ぶれの方向の算出結果を利用して、予測部４ｃにより予測された範囲変化方向と異なる方向に撮像部１による撮像範囲が変化した変化量を検出しても良い。
このように、範囲変化量検出部４ｄは、予測部４ｃにより予測された範囲変化方向と異なる方向に撮像部１による撮像範囲が変化した変化量を検出する検出手段を構成している。
【００６２】
判定部４ｅは、範囲変化量検出部４ｄにより検出された変化量が所定の値以上であるか否かを判定する。
即ち、判定部４ｅは、範囲変化量検出部４ｄにより予測済みの範囲変化方向と異なる方向について検出された撮像部１による撮像範囲の変化量が所定の値以上であるか否かを判定する。
そして、判定部４ｅによる当該判定の結果、判定部４ｅにより範囲変化量検出部４ｄにより検出された変化量が所定の値以上であると判定された場合に、補正制御部５ｂは、変化量が所定の値以上でない場合よりも範囲変化方向と異なる方向の手ぶれ補正の強度を相対的に弱くする。即ち、判定部４ｅにより変化量が所定の値以上であると判定される場合、補正制御部５ｂは、例えば、予め予測されている範囲変化方向とは異なる方向へのユーザによるページめくり等による移動と判断し、変化量が所定の値以上でない場合（例えば、範囲変化方向とは異なる方向への周期的な手ぶれ等の場合）よりも相対的に弱い（所定量未満の）手ぶれ補正を行う。
このように、判定部４ｅは、範囲変化量検出部４ｄにより検出された変化量が所定の値以上であるか否かを判定する判定手段を構成している。
【００６３】
ここで、当該変形例の撮像装置１０１による撮像処理について、図７のフローチャートを参照して説明する。
なお、撮像処理は、以下に説明する点を除いて実施形態１の撮像処理と略同様であり、その詳細な説明は省略する。
【００６４】
即ち、上記実施形態１の撮像処理と同様に、中央制御部１０のＣＰＵの制御下にて、ステップＳ１〜Ｓ７の各処理が行われる。
そして、ステップＳ７にて、補正制御部５ｂによりステップＳ６にて検出された手ぶれ方向が予測部４ｃにより予測された範囲変化方向でないか、あるいは当該方向に連続的に変化する手ぶれでないと判定されると（ステップＳ７；Ｎｏ）、範囲変化量検出部４ｄは、補正制御部５ｂによる手ぶれ量及び手ぶれの方向の算出結果を利用して、予測部４ｃにより予測された範囲変化方向と異なる方向に撮像部１による撮像範囲が変化した変化量を検出した後、判定部４ｅは、範囲変化量検出部４ｄにより検出された変化量が所定値以上であるか否かを判定する（ステップＳ１０１）。
なお、範囲変化量検出部４ｄは、予め予測されている範囲変化方向と異なる方向に撮像部１による撮像範囲が変化した変化量を、補正制御部５ｂによる当該異なる方向への手ぶれ量として検出しても良い。
【００６５】
ステップＳ１０１にて、範囲変化方向と異なる方向に撮像部１による撮像範囲が変化した変化量が所定値以上であると判定されると（ステップＳ１０１；Ｙｅｓ）、補正制御部５ｂは、撮像部１による撮像範囲の変化（手ぶれ）に対して、手ぶれ補正の強度を相対的に弱くした所定量未満の手ぶれ補正を行う（ステップＳ１０２）。
一方、ステップＳ１０１にて、範囲変化方向と異なる方向に撮像部１による撮像範囲が変化した変化量が所定値以上ではないと判定されると（ステップＳ１０１；Ｎｏ）、補正制御部５ｂは、撮像部１による撮像範囲の変化（手ぶれ）に対して、手ぶれ補正の強度を相対的に強くした所定量以上の（通常の）手ぶれ補正を行う（ステップＳ１０３）。
【００６６】
そして、出力制御部７は、補正制御部５ｂにより所定の強度で手ぶれ補正が行われた状態で撮像部１により撮像されて画像データ生成部２により生成されたテキストの画像データを、表示部８に出力して当該テキストの画像を表示部８に表示させる（ステップＳ１１；図５（ｂ）参照）。
【００６７】
その後、上記実施形態１の撮像処理と同様に、中央制御部１０のＣＰＵは、例えば、ユーザによる操作入力部９の所定操作に基づいて撮像処理の終了指示が入力されているか否かを判定する（ステップＳ１２）。
なお、この変形例１においても実施形態１で説明したのと同様に、ステップＳ７〜Ｓ１１までの処理を、予測された範囲変化方向に対応する第１のベクトルと、この第１のベクトルと直交する方向の第２のベクトルとに分解して処理を行うようにしてもよい。
この場合、ステップＳ１０１〜Ｓ１０３では、第２のベクトルに対する変化量が所定値以上であるか否かを判定し、第２のベクトルに対する手ぶれ補正の強度を変化させ、第１のベクトルに対しては通常の手ぶれ補正を行う。
【００６８】
以上のように、撮像装置１０１の変形例によれば、予測された範囲変化方向と異なる方向に撮像範囲が変化した変化量を検出し、検出された変化量が所定の値以上であるか否かを判定し、変化量が所定の値以上であると判定された場合に、変化量が所定の値以上でない場合よりも範囲変化方向と異なる方向の手ぶれ補正の強度を相対的に弱くするので、例えば、予め予測されている範囲変化方向とは異なる方向にユーザによるページめくり等が行われ、被写体に対して撮像部１による撮像範囲の相対的な位置が大きく変化した場合に、当該範囲変化方向とは異なる方向に対しては手ぶれ補正の強度が相対的に強い手ぶれ補正を行うことがなくなる。この結果、ユーザによる意図的な当該装置本体の動作に対応させるように手ぶれ補正の強度を相対的に弱くした表示画像、即ち、表示内容の切り替えがより滑らかに表現された画像を表示部８に表示することができる。
【００６９】
［実施形態２］
図８は、本発明を適用した実施形態２の撮像装置２００の概略構成を示すブロック図である。
なお、実施形態２の撮像装置２００は、以下に詳細に説明する以外の点で上記実施形態１の撮像装置１００及び変形例の撮像装置１０１と略同様の構成をなし、詳細な説明は省略する。
【００７０】
上記実施形態１では、ユーザが撮像装置１００を通常方向に構え（いわゆる縦撮りではなく撮影画像が横長になるように保持し）、かつ、撮影して表示部８の表示画面に表示される文字が普通に読めるように（文字の上側が撮像装置１００の上側になるように）撮像装置１００と被写体（この例では新聞）の向きを合わせた基本状態で撮影することを前提として処理を行ったが、実施形態２ではユーザが任意の方向で撮像装置２００を構えるものとする。この場合、必ずしも文字の上側が撮像装置２００の上側になるとは限らず、撮像装置２００の移動方向とほぼ等しくなる文字の並び方向を特定しただけでは、文字が「縦書き」か「横書き」かを特定することはできない。撮像装置２００の向きが縦か横かを重力センサなどで検出してもよいが、実施形態２では、文字認識により文字の上側を判定し、文字の並び方向の判定結果と合わせて、文字が「縦書き」か「横書き」かを特定する。
図８に示すように、実施形態２の特定部４ｂは、第１認識部ｂ１と第２認識部ｂ２を備えている。
【００７１】
第１認識部ｂ１は、テキストを構成する文字を認識する。
即ち、第１認識部ｂ１は、撮像部１により撮像された被写体の画像データが文字を有するテキストである場合、撮像部１により撮像されたテキストの画像データに基づいて、当該テキストを構成する文字を認識する。具体的には、第１認識部ｂ１は、画像データ取得部４ａにより取得されたテキストの画像データに対してＯＣＲ（Optical Character Recognition）処理を行い、当該テキストに含まれる文字を認識する処理を行う。このとき、第１認識部ｂ１は、テキストに複数の文字が含まれていると認識した場合、複数の文字を一文字単位で分割し、当該テキストを構成する複数の文字の配列Ｌ、…や文字の集合Ｇを認識しても良い。
また、第１認識部ｂ１は、上記実施形態１の特定部４ｂによる被写体を構成する複数の被写体構成部の位置に関連する規則性の特定方法と同様の処理を行って、文字を認識しても良い。
このように、第１認識部ｂ１は、撮像部１により撮像されたテキストの画像データに基づいて、当該テキストを構成する文字を認識する第１認識手段を構成している。
【００７２】
第２認識部ｂ２は、テキストを構成する区切り部Ｋを認識する。
即ち、第２認識部ｂ２は、テキストを構成する複数の文字の集合Ｇを他の被写体構成部と区切る区切り部Ｋ（例えば、行間の空白Ｋ１、区切り線Ｋ２等）を認識する。具体的には、第２認識部ｂ２は、例えば、画像データ取得部４ａにより取得されたテキストの画像データに対してＨｏｕｇｈ変換等の直線検出処理を行い、二値画像における第１の画素値「１」を有する画素が連続して並ぶ直線として区切り線Ｋ２や、第２の画素値「０」を有する画素が連続して並ぶ領域として行間の空白Ｋ１を検出する。また、第２認識部ｂ２は、第１認識部ｂ１による文字、特に、文字の配列Ｌの認識結果に基づいて、例えば、所定方向に隣合うＬ、Ｌの間に存在する空白や、所定方向に並んで設けられた複数の文字の配列Ｌ、…からなる文字の集合Ｇに対して所定方向に直交する方向側に設けられた空白を行間の空白Ｋ１として認識する。
また、第２認識部ｂ２は、上記実施形態１の特定部４ｂによる被写体を構成する複数の被写体構成部の位置に関連する規則性の特定方法と同様の処理を行って、区切り部Ｋを認識しても良い。
また、第２認識部ｂ２は、例えば、単語の辞書を備え、並んでいる複数の文字が辞書登録されている単語と一致する場合、この単語の区切り部分を区切り部Ｋとして認識するようにしてもよい。
このように、第２認識部ｂ２は、撮像部１により撮像されたテキストの画像データに基づいて、テキストを構成し、複数の文字の集合Ｇを他の被写体構成部と区切る区切り部Ｋを認識する第２認識手段を構成している。
【００７３】
また、特定部４ｂは、第１認識部ｂ１により認識された文字に係る複数の文字の集合Ｇ及び複数の文字の配列Ｌ、…のうちの少なくとも一方を基準として、複数の被写体構成部の位置に関連する規則性を特定しても良い。
具体的には、撮像部１により撮像された被写体が文字を有するテキストである場合、特定部４ｂは、第１認識部ｂ１により認識された文字から成る、例えば、複数の文字の集合Ｇ及び複数の文字の配列Ｌ、…のうち少なくとも一方を基準として、複数の被写体構成部の位置に関連する規則性を特定しても良い。
例えば、特定部４ｂは、図３に示すように、第１認識部ｂ１により認識された個々の文字の方向と、複数の文字の配列Ｌ、…の並び方向とにより、複数の被写体構成部の位置に関連する規則性を「縦書き」として特定する。図３の例で、個々の文字の方向が横向きである場合には、複数の文字の配列Ｌ、…の並び方向が縦方向であっても、「横書き」として特定される。
つまり、通常の人間が認識する「縦書き」と「横書き」の判断を、特定部４ｂは、個々の文字方向の自動認識処理と、複数の文字の並び方向の自動認識処理と、個々の文字方向と複数の文字の並び方向との組み合わせに応じた「縦書き」と「横書き」との自動判定処理とによって行う。
なお、上記した文字の並び方向は一例であってこれに限られるものではなく、適宜任意に変更可能である。
【００７４】
また、特定部４ｂは、第２認識部ｂ２により認識された区切り部Ｋを基準として、複数の被写体構成部の位置に関連する規則性を特定しても良い。
具体的には、撮像部１により撮像された被写体が文字を有するテキストである場合、特定部４ｂは、第２認識部ｂ２により認識された複数の文字の集合Ｇを他の被写体構成部と区切る区切り部Ｋに基づいて、複数の被写体構成部の位置に関連する規則性を特定する。
例えば、特定部４ｂは、図３に示すように、第２認識部ｂ２により認識された行間の空白Ｋ１及び区切り線Ｋ２を基準として、複数の被写体構成部の位置に関連する規則性を「縦書き」として特定する。
なお、上記した行間の空白Ｋ１や区切り線Ｋ２は一例であってこれらに限られるものではなく、適宜任意に変更可能である。
【００７５】
次に、実施形態２の撮像装置２００による撮像処理について図８〜図９を参照して説明する。
図９は、撮像処理に係る動作の一例を示すフローチャートである。なお、本実施形態２の撮像処理は、以下に説明する以外の点で上記実施形態１及び変形例の撮像処理と略同様であり、その詳細な説明は省略する。
なお、ここでの範囲変化方向の手ぶれ補正を抑制する処理として、当該範囲変化方向の手ぶれ補正を行わないように禁止する処理を例示するが、当該範囲変化方向の手ぶれ補正の強度を他の方向に対して相対的に弱くする処理を行ってもよい。
【００７６】
図９に示すように、上記実施形態１の撮像処理と同様に、撮像部１によるテキスト（被写体）の撮像が開始されると、画像処理部４の画像データ取得部４ａは、画像データ生成部２により生成された画像データを逐次取得し（ステップＳ１）、出力制御部７は、表示内容を所定の表示フレームレートで逐次更新しながらライブビュー画像を表示部８に表示する（ステップＳ２）。
【００７７】
続けて、画像処理部４の特定部４ｂは、画像データ取得部４ａにより取得されたテキストの画像データに基づいて、当該テキストを構成する複数の文字の位置に関連する規則性を特定する（ステップＳ３１）。具体的には、第１認識部ｂ１は、テキストの画像データに対してＯＣＲ（Optical Character Recognition）処理を行い、当該テキストに含まれる文字を認識する処理を行う。また、第２認識部ｂ２は、テキストの画像データに対して所定の直線検出処理を行い、テキストを構成する区切り部Ｋ（行間の空白Ｋ１、区切り線Ｋ２等）を認識する。そして、特定部４ｂは、第１認識部ｂ１により認識された文字に係る複数の文字の集合Ｇ及び複数の文字の配列Ｌ、…や、第２認識部ｂ２により認識された区切り部Ｋ等を基準として、複数の被写体構成部の位置に関連する規則性を特定する。例えば、特定部４ｂは、各文字の配列Ｌが「縦書き」である点、文字の集合Ｇや文字の配列Ｌの行頭・行末、区画等の各文字の情報を、複数の文字の位置に関連する規則性として特定する。
ここで、一区画とは、テキストの画像データに含まれる所定の塊であり、例えば、図３に示すように、複数の文字の集合Ｇ１の１行目から９行目からなる一段落（○○○計算機は、…発売いたします。）等である。
【００７８】
次に、中央制御部１０のＣＰＵは、ユーザによる操作入力部９のズームボタン等の所定操作に基づいて、表示部８に表示される画像の拡大率を所望の倍率に設定する（ステップＳ４）。これにより、出力制御部７は、画像データ生成部２により生成されたテキストの画像データを指定された拡大率に従って水平方向及び垂直方向ともに所定の比率で拡大した拡大画像の画像データを生成し、当該画像データに基づいてビデオ信号を発生して表示部８に出力する。
【００７９】
続けて、予測部４ｃは、特定部４ｂにより特定されたテキストを構成する複数の文字の位置に関連する規則性に基づいて、撮像部１により撮像されるテキストの撮像範囲が連続的に変化する範囲変化方向を予測する（ステップＳ５）。
【００８０】
ここで、ステップＳ５における範囲変化方向の予測について詳細に説明する。
先ず、特定部４ｂは、テキストの画像データの文字配列が行末まで表示されているか否かを判定する（ステップＳ５１）。具体的には、特定部４ｂは、複数の文字の配列Ｌ、…の下端側Ｌ２が表示されているか否かを判定する（図４（ａ）参照）。
ステップＳ５１にて、テキストの画像データの文字配列が行末まで表示されていると判定されると（ステップＳ５１；Ｙｅｓ）、特定部４ｂは、テキストの画像データの一区画が全て表示されているか否かを判定する（ステップＳ５２）。
【００８１】
ステップＳ５２にて、テキストの画像データの一区画が全て表示されていると判定されると（ステップＳ５２；Ｙｅｓ）、予測部４ｃは、ユーザによる撮像範囲の意図的な変化がないと予測し、当該予測部４ｃによる予測の結果、補正制御部５ｂは、画面を固定するように手ぶれ補正の方向を特定する（ステップＳ５３）。これにより、補正制御部５ｂによって、表示部８により表示されている画像フレームを固定するように、即ち、ほぼ手ぶれがなくなるような強度で上下方向及び左右方向に手ぶれ補正が行われる。
なお、ここでの手ぶれ補正に係る補正制御部５ｂによるステージ駆動部５ａの制御は、実際に手ぶれが検出される前に行われても良い。つまり、手ぶれが検出された場合に、当該手ぶれの方向に応じて手ぶれ補正を禁止したり実行するのではなく、ユーザによる撮像範囲の意図的な変化がないものとして、表示部８により表示されている画面を固定するように手ぶれ補正の方向を特定していることから、手ぶれの検出の有無に拘わらず、補正制御部５ｂは、直ちに上下方向及び左右方向に手ぶれ補正の制御を行っても良い。
【００８２】
一方、ステップＳ５１にて、テキストの画像データの文字配列が行末まで表示されていないと判定されると（ステップＳ５１；Ｎｏ、図４（ｂ）参照）、予測部４ｃは、文字配列が途中で切れている方向に対して撮像範囲の意図的な変化があると予測し、当該予測部４ｃによる予測の結果、抑制制御部５ｃは、予測された範囲変化方向を手ぶれ補正を禁止する方向として特定する（ステップＳ５４）。具体的には、予測部４ｃは、特定部４ｂにより特定された被写体を構成する複数の被写体構成部の位置に関連する規則性（例えば、縦書き）に基づいて範囲変化方向を予測する。これにより、抑制制御部５ｃによって、予測された範囲変化方向（図中、白抜きの矢印で示す）に対する手ぶれ補正が禁止される。
続いて、補正制御部５ｂは、予測部４ｃにより予測された範囲変化方向に直交する方向を所定量の手ぶれ補正を行う方向として特定する（ステップＳ５５）。これにより、補正制御部５ｂによって、抑制制御部５ｃにより禁止された方向には手ぶれ補正が行われず、禁止されていない方向、即ち、予測された範囲変化方向に対する直交方向（範囲変化方向と異なる方向）にのみ所定量の手ぶれ補正が行われる。
なお、ここでの手ぶれ補正に係る補正制御部５ｂによるステージ駆動部５ａの制御は、上記の画面を固定するような手ぶれ補正と同様に手ぶれの検出前に行われても良いし、実際に手ぶれが検出されてから行われても良い。
【００８３】
また、ステップＳ５２にて、テキストの画像データの一区画が全て表示されていないと判定された場合にも（ステップＳ５２；Ｎｏ）、予測部４ｃは、処理をステップＳ５４に移行し、それ以降の処理を実行する。
【００８４】
その後、ユーザがテキストの位置に対して当該装置本体を所定方向に変位させた際に、補正制御部５ｂは、撮像部１によるテキストの撮像により画像データ生成部２により逐次生成されたテキストの画像データに基づいて、手ぶれ（手ぶれ量及び手ぶれ方向）を検出する（ステップＳ６）。
次に、範囲変化量検出部４ｄは、補正制御部５ｂによる手ぶれ量及び手ぶれの方向の算出結果を利用して、撮像部１による撮像範囲が変化した変化量を検出した後、判定部４ｅは、範囲変化量検出部４ｄにより検出された変化量が所定値以上であるか否かを判定する（ステップＳ２０１）。このとき、範囲変化量検出部４ｄは、予測部４ｃにより予測された範囲変化方向と異なる方向に撮像部１による撮像範囲が変化した変化量を検出するようにしてもよい。
【００８５】
ステップＳ２０１にて、撮像部１による撮像範囲が変化した変化量が所定値以上ではないと判定されると（ステップＳ２０１；Ｎｏ）、補正制御部５ｂは、ステップＳ５３やステップＳ５４にて予測されている方向の手ぶれに対して手ぶれ補正を行う（ステップＳ２０２）。
一方、ステップＳ２０１にて、撮像部１による撮像範囲が変化した変化量が所定値以上であると判定されると（ステップＳ２０１；Ｙｅｓ）、補正制御部５ｂは、全ての方向に対する手ぶれ補正を解除する（ステップＳ２０３）。その後、装置本体の移動が停止すると（ステップＳ２０４）、中央制御部１０のＣＰＵは、処理をステップＳ１に移行し、それ以降の処理の実行を制御する。
【００８６】
次に、中央制御部１０は、撮像処理の終了指示が入力されているか否かを判定する（ステップＳ１２）。ここで、撮像処理の終了指示が入力されていないと判定されると（ステップＳ１２；Ｎｏ）、中央制御部１０は、処理をステップＳ１に移行し、それ以降の処理を実行する。
なお、ステップＳ３１にて、テキストを構成する複数の文字の位置に関連する規則性を特定する処理は、表示部８に表示される画像の拡大のキャンセル指示が入力された場合に行い、それ以外の場合には、当該処理をスキップしても良い。また、ステップＳ４は、表示部８に表示される画像の拡大倍率の再設定指示が入力された場合に行い、それ以外の場合には当該処理をスキップしても良い。ステップＳ５は、ステップＳ３１にてテキストを構成する複数の文字の位置に関連する規則性の再特定や、ステップＳ４にて表示部８に表示される画像の拡大倍率の再設定が行われた場合に行い、それ以外の場合には、当該処理をスキップしても良い。
【００８７】
一方、ステップＳ１２にて、撮像処理の終了指示が入力されたと判定されると（ステップ１２；Ｙｅｓ）、中央制御部１０は、撮像処理を終了する。
【００８８】
以上のように、実施形態２の撮像装置２００によれば、上記実施形態１の撮像装置１００と同様に、予め予測された被写体の撮像範囲が連続的に変化する範囲変化方向を基準として、手ぶれ補正を行う方向を自動的に制御することができる。従って、被写体の撮像の際に、ユーザによる意図的な被写体の位置に対する撮像部１の変位を考慮して手ぶれ補正を行う方向やその強度を適正に決定することができ、効果的な手ぶれ補正を自動的に行うことができる。
特に、例えば、予め予測されている範囲変化方向とは異なる方向にユーザによるページめくり等が行われ、被写体に対して撮像部１による撮像範囲の相対的な位置が大きく変化した場合に、全ての方向に対する手ぶれ補正を解除することで、ユーザによる意図的な当該装置本体の動作に対応させるように手ぶれ補正が解除された表示画像、即ち、表示内容の切り替えが迅速に表現された画像を表示部８に表示することができる。
【００８９】
また、テキストの画像データに基づいて、テキストを構成する文字を認識し、認識された文字に係る複数の文字の集合Ｇ及び複数の文字の配列Ｌ、…のうちの少なくとも一方を基準として、被写体を構成する複数の被写体構成部の位置に関連する規則性を特定するので、テキストを構成する文字の並びを考慮した範囲変化方向を適正に予測することができる。
【００９０】
また、テキストの画像データに基づいて、テキストを構成し、複数の文字の集合Ｇを他の被写体構成部と区切る区切り部Ｋを認識し、認識された区切り部Ｋを基準として、被写体を構成する複数の被写体構成部の位置に関連する規則性を特定するので、文字の集合Ｇが完全に認識できない場合であっても、テキストを構成する区切り部Ｋを考慮した範囲変化方向を適正に予測することができる。
【００９１】
なお、本発明は、上記実施形態１、２並びに変形例に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態１、２並びに変形例では、予測部４ｃは、撮像部１により撮像された撮像範囲内の文字の集合Ｇの位置を基準として、当該テキストの撮像部１による撮像範囲の外側であって、テキストを文字の集合Ｇとともに構成し当該文字の集合Ｇと関連する文字の存する方向と、複数の文字の並び方向（文字の配列Ｌ）とに基づいて、被写体の撮像範囲が連続的に変化する範囲変化方向を予測するようにしたが、予測部４ｃによる被写体の撮像範囲が連続的に変化する範囲変化方向の予測方法は一例であってこれに限られるものではなく、適宜任意に変更可能である。
即ち、予測部４ｃは、テキストを構成する複数の文字の集合Ｇの位置を基準として、当該テキストの撮像部１による撮像範囲の外側であって、テキストを文字の集合Ｇとともに構成し文字の集合Ｇと関連する文字の存する方向を、被写体の撮像範囲が連続的に変化する範囲変化方向として予測しても良い。例えば、予測部４ｃは、撮像部１による撮像範囲の内側に有する３段（上段Ｇ１、中段Ｇ２及び下段Ｇ３；図３参照）のテキストを構成する複数の文字の集合Ｇの位置に基づいて、図４（ａ）に示すように、撮像部１による撮像範囲の外側に複数の文字の集合Ｇと関連する文字の存する方向（図中、白抜きの矢印で示す）を範囲変化方向として予測しても良い。
【００９２】
従って、ユーザがテキストを読み進める方向と被写体の撮像範囲が連続的に変化する範囲変化方向とが略等しくなり、テキストの位置に対して変位する撮像部１により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向、即ち、ユーザが意図的に当該装置本体をテキストに対して変位させる方向の予測を適正に行うことができる。
【００９３】
また、同様に、予測部４ｃは、テキストを構成する複数の文字の集合Ｇの位置を基準として、当該テキストの撮像部１による撮像範囲の外側であって、テキストを文字の集合Ｇとともに構成する区切り部Ｋの存する方向を、被写体の撮像範囲が連続的に変化する範囲変化方向として予測しても良い。
このような構成としても、テキストを構成する文字が認識できない場合であっても、当該テキストを構成する区切り部Ｋの位置を考慮して、撮像部１により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向、即ち、ユーザが意図的に当該装置本体をテキストに対して変位させる方向の予測を適正に行うことができる。
【００９４】
また、上記実施形態１、２並びに変形例では、被写体の画像データを所定の拡大率で拡大して表示部８に表示する動作モードが設定された場合に、抑制制御部５ｃは、予測されたテキストの撮像範囲が連続的に変化する範囲変化方向の手ぶれ補正を抑制するようにしたが、当該範囲変化方向の手ぶれ補正の抑制タイミングは、一例であってこれに限られるものではなく、適宜任意に変更可能である。
即ち、抑制制御部５ｃは、拡大手段による拡大率が所定の値以上の拡大率で拡大された被写体の画像データに被写体構成部としての文字が含まれる場合に、予測部４ｃにより予測された範囲変化方向の補正制御部５ｂによる手ぶれ補正を抑制するようにしても良い。
この場合には、ユーザにより所定の動作モードの設定等の操作が不要となり、所定の値以上の拡大率で拡大された被写体の画像データに被写体構成部としての文字が含まれる場合に、自動的に範囲変化方向の補正制御部５ｂによる手ぶれ補正を抑制することができる。
【００９５】
また、上記実施形態１、２並びに変形例では、被写体の位置に対して変位する撮像部１により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測しておき、当該方向の補正制御部５ｂによる手ぶれ補正を抑制するようにしたが、例えば、抑制制御部５ｃは、特定部４ｂにより特定された被写体を構成する複数の被写体構成部の位置に関連する規則性に基づいて、撮像部１により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を特定して、当該方向の補正制御部５ｂによる手ぶれ補正を抑制するようにしても良い。
このような構成としても、上記実施形態１、２並びに変形例と同様に、被写体の撮像範囲が連続的に変化する範囲変化方向を基準として、手ぶれ補正を行う方向を自動的に制御することができる。従って、被写体の撮像の際に、ユーザによる意図的な被写体の位置に対する撮像部１の変位を考慮して手ぶれ補正を行う方向やその強度を適正に決定することができ、効果的な手ぶれ補正を自動的に行うことができる。
【００９６】
また、上記実施形態１、２及び変形例に例示したものは一例であり、これに限られるものではない。また、撮像処理に係る動作を説明するための図として例示した図３〜図５は、一例であって、これらに限られるものではなく、適宜任意に変更可能である。
【００９７】
加えて、上記実施形態１、２及び変形例にあっては、補正手段、特定手段、予測手段、抑制手段としての機能を、中央制御部１０の制御下にて、画像処理部４の特定部４ｂ、予測部４ｃ、手ぶれ補正部５の補正制御部５ｂ、抑制制御部５ｃが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１０によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、補正処理ルーチン、特定処理ルーチン、予測処理ルーチン、抑制処理ルーチンを含むプログラムを記憶しておく。そして、補正処理ルーチンにより中央制御部１０のＣＰＵを、撮像手段により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う補正手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部１０のＣＰＵを、撮像手段により撮像された被写体の画像データに基づいて、被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する特定手段として機能させるようにしても良い。また、予測処理ルーチンにより中央制御部１０のＣＰＵを、特定手段により特定された規則性に基づいて、撮像手段により撮像される被写体の撮像範囲が連続的に変化する範囲変化方向を予測する予測手段として機能させるようにしても良い。また、抑制処理ルーチンにより中央制御部１０のＣＰＵを、予測手段により予測された範囲変化方向の補正手段による手ぶれ補正を抑制する抑制手段として機能させるようにしても良い。
【００９８】
同様に、第１認識手段、第２認識手段、検出手段、判定手段、設定手段、出力制御手段についても、中央制御部１０のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
【００９９】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
【０１００】
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
撮像手段により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う補正手段と、
前記撮像手段により撮像された前記被写体の画像データに基づいて、前記被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する特定手段と、
この特定手段により特定された前記規則性に基づいて、前記撮像手段により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測する予測手段と、
この予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制する抑制手段と、
を備えたことを特徴とする手ぶれ補正装置。
＜請求項２＞
前記撮像手段により逐次撮像される被写体の画像データを逐次表示する表示手段を更に備え、
前記特定手段は、前記表示手段により被写体の画像データを逐次表示している最中に、前記被写体を構成する複数の被写体構成部の位置に関連する規則性を逐次特定し、
前記予測手段は、前記特定手段により逐次特定される前記規則性に基づいて、前記予測される範囲変化方向の変化を逐次検出し、
前記抑制手段は、前記予測手段により逐次検出される前記範囲変化方向の変化に応じて前記補正手段による手ぶれ補正を抑制する方向を逐次変化させることを特徴とする請求項１に記載の手ぶれ補正装置。
＜請求項３＞
前記被写体は、前記被写体構成部としての文字を有するテキストを含み、
前記特定手段は、更に、
前記撮像手段により撮像された前記テキストの画像データに基づいて、当該テキストを構成する複数の文字の集合、当該複数の文字の配列及び前記複数の文字の集合を他の被写体構成部と区切る区切り部のうちの少なくとも何れか一を基準として前記規則性を特定することを特徴とする請求項１又は２に記載の手ぶれ補正装置。
＜請求項４＞
前記被写体は、前記被写体構成部としての文字を有するテキストを含み、
前記撮像手段により撮像された前記テキストの画像データに基づいて、当該テキストを構成する文字を認識する第１認識手段を更に備え、
前記特定手段は、
前記第１認識手段により認識された文字に係る当該複数の文字の集合及び当該複数の文字の配列のうちの少なくとも一方を基準として、前記規則性を特定することを特徴とする請求項１〜３の何れか一項に記載の手ぶれ補正装置。
＜請求項５＞
前記予測手段は、更に、
前記特定手段により特定された前記複数の文字の集合及び前記複数の文字の配列のうちの少なくとも一方を基準とする前記規則性に基づいて、前記範囲変化方向を予測することを特徴とする請求項３又は４に記載の手ぶれ補正装置。
＜請求項６＞
前記予測手段は、更に、
前記テキストを構成する複数の文字の集合の位置を基準として、前記テキストの前記撮像手段による撮像範囲の外側であって、前記テキストを前記文字の集合とともに構成し当該文字の集合と関連する文字の存する方向を、前記範囲変化方向として予測することを特徴とする請求項５に記載の手ぶれ補正装置。
＜請求項７＞
前記予測手段は、更に、
前記テキストを構成する複数の文字の集合の位置を基準として、前記テキストの前記撮像手段による撮像範囲の外側であって、前記テキストを前記文字の集合とともに構成し当該文字の集合と関連する文字の存する方向と、前記複数の文字の並び方向とに基づいて、前記範囲変化方向を予測することを特徴とする請求項５に記載の手ぶれ補正装置。
＜請求項８＞
前記被写体は、前記被写体構成部としての文字を有するテキストを含み、
前記撮像手段により撮像された前記テキストの画像データに基づいて、当該テキストを構成し、前記複数の文字の集合を他の被写体構成部と区切る区切り部を認識する第２認識手段を更に備え、
前記特定手段は、
前記第２認識手段により認識された前記区切り部を基準として、前記規則性を特定することを特徴とする請求項１〜７の何れか一項に記載の手ぶれ補正装置。
＜請求項９＞
前記予測手段は、更に、
前記特定手段により特定された前記区切り部を基準とする前記規則性に基づいて、前記範囲変化方向を予測することを特徴とする請求項８に記載の手ぶれ補正装置。
＜請求項１０＞
前記予測手段は、更に、
前記テキストを構成する複数の文字の集合の位置を基準として、前記テキストの前記撮像手段による撮像範囲の外側であって、前記テキストを前記文字の集合とともに構成する前記区切り部の存する方向を、前記範囲変化方向として予測することを特徴とする請求項９に記載の手ぶれ補正装置。
＜請求項１１＞
前記予測手段により予測された前記範囲変化方向と異なる方向に前記撮像手段による撮像範囲が変化した変化量を検出する検出手段と、
この検出手段により検出された変化量が所定の値以上であるか否かを判定する判定手段とを更に備え、
前記補正手段は、
前記判定手段により前記変化量が所定の値以上であると判定された場合に、前記変化量が所定の値以上でない場合よりも前記範囲変化方向と異なる方向の手ぶれ補正の強度を相対的に弱くすることを特徴とする請求項１〜１０の何れか一項に記載の手ぶれ補正装置。
＜請求項１２＞
前記抑制手段は、更に、
拡大手段による拡大率が所定の値以上の拡大率で拡大された被写体の画像データに前記被写体構成部としての文字が含まれる場合に、前記予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制することを特徴とする請求項１〜１１の何れか一項に記載の手ぶれ補正装置。
＜請求項１３＞
被写体の画像データを所定の拡大率で拡大して表示手段に表示する動作モードを設定する設定手段を更に備え、
前記抑制手段は、
前記設定手段により前記動作モードが設定された場合に、前記予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制することを特徴とする請求項１〜１１の何れか一項に記載の手ぶれ補正装置。
＜請求項１４＞
前記被写体は、前記被写体構成部としての文字を有するテキストを含み、
前記動作モードは、前記テキストの画像データを所定の拡大率で拡大して前記表示手段に表示するテキスト表示モードを含み、
前記抑制手段は、
前記設定手段により前記テキスト表示モードが設定された場合に、前記特定手段により特定された前記テキストを構成する複数の文字の集合及び前記複数の文字の配列のうちの少なくとも一方を基準とする前記規則性に基づいて前記予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制することを特徴とする請求項１３に記載の手ぶれ補正装置。
＜請求項１５＞
前記抑制手段により前記範囲変化方向の手ぶれ補正が抑制された状態で前記撮像手段により撮像された被写体の画像データを表示手段に出力する出力制御手段を更に備えることを特徴とする請求項１〜１４の何れか一項に記載の手ぶれ補正装置。
＜請求項１６＞
手ぶれ補正装置を用いた手ぶれ補正方法であって、
撮像手段により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う処理と、
前記撮像手段により撮像された前記被写体の画像データに基づいて、前記被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する処理と、
特定された前記規則性に基づいて、前記撮像手段により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測する処理と、
予測された前記範囲変化方向の手ぶれ補正を抑制する処理と、
を含むことを特徴とする手ぶれ補正方法。
＜請求項１７＞
手ぶれ補正装置のコンピュータを、
撮像手段により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う補正手段、
前記撮像手段により撮像された前記被写体の画像データに基づいて、前記被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する特定手段、
この特定手段により特定された前記規則性に基づいて、前記撮像手段により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測する予測手段、
この予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制する抑制手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【０１０１】
１００、１０１、２００ 撮像装置
１ 撮像部
４ 画像処理部
４ｂ 特定部
ｂ１ 第１認識部
ｂ２ 第２認識部
４ｃ 予測部
４ｄ 範囲変化量検出部
４ｅ 判定部
５ 手ぶれ補正部
５ｂ 補正制御部
５ｃ 抑制制御部
７ 出力制御部
８ 表示部
９ 操作入力部
１０ 中央制御部
【特許請求の範囲】
【請求項１】
撮像手段により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う補正手段と、
前記撮像手段により撮像された前記被写体の画像データに基づいて、前記被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する特定手段と、
この特定手段により特定された前記規則性に基づいて、前記撮像手段により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測する予測手段と、
この予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制する抑制手段と、
を備えたことを特徴とする手ぶれ補正装置。
【請求項２】
前記撮像手段により逐次撮像される被写体の画像データを逐次表示する表示手段を更に備え、
前記特定手段は、前記表示手段により被写体の画像データを逐次表示している最中に、前記被写体を構成する複数の被写体構成部の位置に関連する規則性を逐次特定し、
前記予測手段は、前記特定手段により逐次特定される前記規則性に基づいて、前記予測される範囲変化方向の変化を逐次検出し、
前記抑制手段は、前記予測手段により逐次検出される前記範囲変化方向の変化に応じて前記補正手段による手ぶれ補正を抑制する方向を逐次変化させることを特徴とする請求項１に記載の手ぶれ補正装置。
【請求項３】
前記被写体は、前記被写体構成部としての文字を有するテキストを含み、
前記特定手段は、更に、
前記撮像手段により撮像された前記テキストの画像データに基づいて、当該テキストを構成する複数の文字の集合、当該複数の文字の配列及び前記複数の文字の集合を他の被写体構成部と区切る区切り部のうちの少なくとも何れか一を基準として前記規則性を特定することを特徴とする請求項１又は２に記載の手ぶれ補正装置。
【請求項４】
前記被写体は、前記被写体構成部としての文字を有するテキストを含み、
前記撮像手段により撮像された前記テキストの画像データに基づいて、当該テキストを構成する文字を認識する第１認識手段を更に備え、
前記特定手段は、
前記第１認識手段により認識された文字に係る当該複数の文字の集合及び当該複数の文字の配列のうちの少なくとも一方を基準として、前記規則性を特定することを特徴とする請求項１〜３の何れか一項に記載の手ぶれ補正装置。
【請求項５】
前記予測手段は、更に、
前記特定手段により特定された前記複数の文字の集合及び前記複数の文字の配列のうちの少なくとも一方を基準とする前記規則性に基づいて、前記範囲変化方向を予測することを特徴とする請求項３又は４に記載の手ぶれ補正装置。
【請求項６】
前記予測手段は、更に、
前記テキストを構成する複数の文字の集合の位置を基準として、前記テキストの前記撮像手段による撮像範囲の外側であって、前記テキストを前記文字の集合とともに構成し当該文字の集合と関連する文字の存する方向を、前記範囲変化方向として予測することを特徴とする請求項５に記載の手ぶれ補正装置。
【請求項７】
前記予測手段は、更に、
前記テキストを構成する複数の文字の集合の位置を基準として、前記テキストの前記撮像手段による撮像範囲の外側であって、前記テキストを前記文字の集合とともに構成し当該文字の集合と関連する文字の存する方向と、前記複数の文字の並び方向とに基づいて、前記範囲変化方向を予測することを特徴とする請求項５に記載の手ぶれ補正装置。
【請求項８】
前記被写体は、前記被写体構成部としての文字を有するテキストを含み、
前記撮像手段により撮像された前記テキストの画像データに基づいて、当該テキストを構成し、前記複数の文字の集合を他の被写体構成部と区切る区切り部を認識する第２認識手段を更に備え、
前記特定手段は、
前記第２認識手段により認識された前記区切り部を基準として、前記規則性を特定することを特徴とする請求項１〜７の何れか一項に記載の手ぶれ補正装置。
【請求項９】
前記予測手段は、更に、
前記特定手段により特定された前記区切り部を基準とする前記規則性に基づいて、前記範囲変化方向を予測することを特徴とする請求項８に記載の手ぶれ補正装置。
【請求項１０】
前記予測手段は、更に、
前記テキストを構成する複数の文字の集合の位置を基準として、前記テキストの前記撮像手段による撮像範囲の外側であって、前記テキストを前記文字の集合とともに構成する前記区切り部の存する方向を、前記範囲変化方向として予測することを特徴とする請求項９に記載の手ぶれ補正装置。
【請求項１１】
前記予測手段により予測された前記範囲変化方向と異なる方向に前記撮像手段による撮像範囲が変化した変化量を検出する検出手段と、
この検出手段により検出された変化量が所定の値以上であるか否かを判定する判定手段とを更に備え、
前記補正手段は、
前記判定手段により前記変化量が所定の値以上であると判定された場合に、前記変化量が所定の値以上でない場合よりも前記範囲変化方向と異なる方向の手ぶれ補正の強度を相対的に弱くすることを特徴とする請求項１〜１０の何れか一項に記載の手ぶれ補正装置。
【請求項１２】
前記抑制手段は、更に、
拡大手段による拡大率が所定の値以上の拡大率で拡大された被写体の画像データに前記被写体構成部としての文字が含まれる場合に、前記予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制することを特徴とする請求項１〜１１の何れか一項に記載の手ぶれ補正装置。
【請求項１３】
被写体の画像データを所定の拡大率で拡大して表示手段に表示する動作モードを設定する設定手段を更に備え、
前記抑制手段は、
前記設定手段により前記動作モードが設定された場合に、前記予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制することを特徴とする請求項１〜１１の何れか一項に記載の手ぶれ補正装置。
【請求項１４】
前記被写体は、前記被写体構成部としての文字を有するテキストを含み、
前記動作モードは、前記テキストの画像データを所定の拡大率で拡大して前記表示手段に表示するテキスト表示モードを含み、
前記抑制手段は、
前記設定手段により前記テキスト表示モードが設定された場合に、前記特定手段により特定された前記テキストを構成する複数の文字の集合及び前記複数の文字の配列のうちの少なくとも一方を基準とする前記規則性に基づいて前記予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制することを特徴とする請求項１３に記載の手ぶれ補正装置。
【請求項１５】
前記抑制手段により前記範囲変化方向の手ぶれ補正が抑制された状態で前記撮像手段により撮像された被写体の画像データを表示手段に出力する出力制御手段を更に備えることを特徴とする請求項１〜１４の何れか一項に記載の手ぶれ補正装置。
【請求項１６】
手ぶれ補正装置を用いた手ぶれ補正方法であって、
撮像手段により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う処理と、
前記撮像手段により撮像された前記被写体の画像データに基づいて、前記被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する処理と、
特定された前記規則性に基づいて、前記撮像手段により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測する処理と、
予測された前記範囲変化方向の手ぶれ補正を抑制する処理と、
を含むことを特徴とする手ぶれ補正方法。
【請求項１７】
手ぶれ補正装置のコンピュータを、
撮像手段により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う補正手段、
前記撮像手段により撮像された前記被写体の画像データに基づいて、前記被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する特定手段、
この特定手段により特定された前記規則性に基づいて、前記撮像手段により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測する予測手段、
この予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制する抑制手段、
として機能させることを特徴とするプログラム。
【請求項１】
撮像手段により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う補正手段と、
前記撮像手段により撮像された前記被写体の画像データに基づいて、前記被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する特定手段と、
この特定手段により特定された前記規則性に基づいて、前記撮像手段により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測する予測手段と、
この予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制する抑制手段と、
を備えたことを特徴とする手ぶれ補正装置。
【請求項２】
前記撮像手段により逐次撮像される被写体の画像データを逐次表示する表示手段を更に備え、
前記特定手段は、前記表示手段により被写体の画像データを逐次表示している最中に、前記被写体を構成する複数の被写体構成部の位置に関連する規則性を逐次特定し、
前記予測手段は、前記特定手段により逐次特定される前記規則性に基づいて、前記予測される範囲変化方向の変化を逐次検出し、
前記抑制手段は、前記予測手段により逐次検出される前記範囲変化方向の変化に応じて前記補正手段による手ぶれ補正を抑制する方向を逐次変化させることを特徴とする請求項１に記載の手ぶれ補正装置。
【請求項３】
前記被写体は、前記被写体構成部としての文字を有するテキストを含み、
前記特定手段は、更に、
前記撮像手段により撮像された前記テキストの画像データに基づいて、当該テキストを構成する複数の文字の集合、当該複数の文字の配列及び前記複数の文字の集合を他の被写体構成部と区切る区切り部のうちの少なくとも何れか一を基準として前記規則性を特定することを特徴とする請求項１又は２に記載の手ぶれ補正装置。
【請求項４】
前記被写体は、前記被写体構成部としての文字を有するテキストを含み、
前記撮像手段により撮像された前記テキストの画像データに基づいて、当該テキストを構成する文字を認識する第１認識手段を更に備え、
前記特定手段は、
前記第１認識手段により認識された文字に係る当該複数の文字の集合及び当該複数の文字の配列のうちの少なくとも一方を基準として、前記規則性を特定することを特徴とする請求項１〜３の何れか一項に記載の手ぶれ補正装置。
【請求項５】
前記予測手段は、更に、
前記特定手段により特定された前記複数の文字の集合及び前記複数の文字の配列のうちの少なくとも一方を基準とする前記規則性に基づいて、前記範囲変化方向を予測することを特徴とする請求項３又は４に記載の手ぶれ補正装置。
【請求項６】
前記予測手段は、更に、
前記テキストを構成する複数の文字の集合の位置を基準として、前記テキストの前記撮像手段による撮像範囲の外側であって、前記テキストを前記文字の集合とともに構成し当該文字の集合と関連する文字の存する方向を、前記範囲変化方向として予測することを特徴とする請求項５に記載の手ぶれ補正装置。
【請求項７】
前記予測手段は、更に、
前記テキストを構成する複数の文字の集合の位置を基準として、前記テキストの前記撮像手段による撮像範囲の外側であって、前記テキストを前記文字の集合とともに構成し当該文字の集合と関連する文字の存する方向と、前記複数の文字の並び方向とに基づいて、前記範囲変化方向を予測することを特徴とする請求項５に記載の手ぶれ補正装置。
【請求項８】
前記被写体は、前記被写体構成部としての文字を有するテキストを含み、
前記撮像手段により撮像された前記テキストの画像データに基づいて、当該テキストを構成し、前記複数の文字の集合を他の被写体構成部と区切る区切り部を認識する第２認識手段を更に備え、
前記特定手段は、
前記第２認識手段により認識された前記区切り部を基準として、前記規則性を特定することを特徴とする請求項１〜７の何れか一項に記載の手ぶれ補正装置。
【請求項９】
前記予測手段は、更に、
前記特定手段により特定された前記区切り部を基準とする前記規則性に基づいて、前記範囲変化方向を予測することを特徴とする請求項８に記載の手ぶれ補正装置。
【請求項１０】
前記予測手段は、更に、
前記テキストを構成する複数の文字の集合の位置を基準として、前記テキストの前記撮像手段による撮像範囲の外側であって、前記テキストを前記文字の集合とともに構成する前記区切り部の存する方向を、前記範囲変化方向として予測することを特徴とする請求項９に記載の手ぶれ補正装置。
【請求項１１】
前記予測手段により予測された前記範囲変化方向と異なる方向に前記撮像手段による撮像範囲が変化した変化量を検出する検出手段と、
この検出手段により検出された変化量が所定の値以上であるか否かを判定する判定手段とを更に備え、
前記補正手段は、
前記判定手段により前記変化量が所定の値以上であると判定された場合に、前記変化量が所定の値以上でない場合よりも前記範囲変化方向と異なる方向の手ぶれ補正の強度を相対的に弱くすることを特徴とする請求項１〜１０の何れか一項に記載の手ぶれ補正装置。
【請求項１２】
前記抑制手段は、更に、
拡大手段による拡大率が所定の値以上の拡大率で拡大された被写体の画像データに前記被写体構成部としての文字が含まれる場合に、前記予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制することを特徴とする請求項１〜１１の何れか一項に記載の手ぶれ補正装置。
【請求項１３】
被写体の画像データを所定の拡大率で拡大して表示手段に表示する動作モードを設定する設定手段を更に備え、
前記抑制手段は、
前記設定手段により前記動作モードが設定された場合に、前記予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制することを特徴とする請求項１〜１１の何れか一項に記載の手ぶれ補正装置。
【請求項１４】
前記被写体は、前記被写体構成部としての文字を有するテキストを含み、
前記動作モードは、前記テキストの画像データを所定の拡大率で拡大して前記表示手段に表示するテキスト表示モードを含み、
前記抑制手段は、
前記設定手段により前記テキスト表示モードが設定された場合に、前記特定手段により特定された前記テキストを構成する複数の文字の集合及び前記複数の文字の配列のうちの少なくとも一方を基準とする前記規則性に基づいて前記予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制することを特徴とする請求項１３に記載の手ぶれ補正装置。
【請求項１５】
前記抑制手段により前記範囲変化方向の手ぶれ補正が抑制された状態で前記撮像手段により撮像された被写体の画像データを表示手段に出力する出力制御手段を更に備えることを特徴とする請求項１〜１４の何れか一項に記載の手ぶれ補正装置。
【請求項１６】
手ぶれ補正装置を用いた手ぶれ補正方法であって、
撮像手段により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う処理と、
前記撮像手段により撮像された前記被写体の画像データに基づいて、前記被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する処理と、
特定された前記規則性に基づいて、前記撮像手段により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測する処理と、
予測された前記範囲変化方向の手ぶれ補正を抑制する処理と、
を含むことを特徴とする手ぶれ補正方法。
【請求項１７】
手ぶれ補正装置のコンピュータを、
撮像手段により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う補正手段、
前記撮像手段により撮像された前記被写体の画像データに基づいて、前記被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する特定手段、
この特定手段により特定された前記規則性に基づいて、前記撮像手段により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測する予測手段、
この予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制する抑制手段、
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−４６１９２（Ｐ２０１３−４６１９２Ａ）
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願番号】特願２０１１−１８２２８６（Ｐ２０１１−１８２２８６）
【出願日】平成２３年８月２４日（２０１１．８．２４）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願日】平成２３年８月２４日（２０１１．８．２４）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]