撮像装置および撮像方法
【課題】データ容量が大幅に増大することなく書籍画像の湾曲歪を補正し歪の少ない画像が取得でき、且つ、ポータビリティに優れ、小型で低コストである撮像装置および撮像方法を提供すること。
【解決手段】撮像素子１１と、該撮像素子１１に被写体の像を結像させる撮影レンズ系２と、前記撮像素子１１の信号から画像データを生成する画像生成手段１２と、前記画像データを記録する記録手段と、前記被写体の距離を二次元方向で多点測距し測距データを取得する測距手段３と、前記被写体として書籍を撮影する書籍撮影モードが設定可能な撮影モード選択手段と、前記書籍撮影モードが選択されて得られた画像データを、前記測距手段３により取得した測距データに基づいて湾曲歪を補正する制御手段１４と、を備えることを特徴とする。
【解決手段】撮像素子１１と、該撮像素子１１に被写体の像を結像させる撮影レンズ系２と、前記撮像素子１１の信号から画像データを生成する画像生成手段１２と、前記画像データを記録する記録手段と、前記被写体の距離を二次元方向で多点測距し測距データを取得する測距手段３と、前記被写体として書籍を撮影する書籍撮影モードが設定可能な撮影モード選択手段と、前記書籍撮影モードが選択されて得られた画像データを、前記測距手段３により取得した測距データに基づいて湾曲歪を補正する制御手段１４と、を備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および撮像方法に関し、特に書籍の湾曲歪を補正して撮影することができる撮像装置および撮像方法に関する。
【背景技術】
【０００２】
近年、携帯情報端末（タブレット型携帯端末、電子ペーパー等）の普及により、紙の書籍を電子化して携帯情報端末に取り込んで（この電子化は一般に「自炊」とも称される。）閲覧する機会が増加して来ている。
【０００３】
書籍を電子化する際にはフラットベットスキャナが用いられているが、デジタルカメラの方がより手軽な操作で電子化することができる。
しかしながら、デジタルカメラで書籍を撮影する際には書籍の取り込み面を上面にして机上等にページを開いた状態にする必要があるが、その際、見開き部分（綴じ部）に湾曲を生じ、湾曲部に印刷された内容が見難くなるといった問題点があった。また、書籍を机等の上に見開き状態で置き、上方から撮影する場合、通常の被写体を撮影する際の撮影方向（縦横）の検出に使用されている加速度センサの情報では、デジタルカメラと書籍の撮影方向の関係を検出することができない。さらに、上面から書籍を読み取る装置として専用の装置（公的な図書館の業務用等に利用されるもの）があるが、大きな占有面積が必要となり、個人用には向いていない。
【０００４】
ここで、従来における書籍を撮影する技術として、特許文献１（特開平０８−２４２３４７号公報）には、据え置き型のブックスキャナーの基本構成に関する発明で、書籍の綴じ部の湾曲を検出する為に原稿台に書籍の側面が撮像される位置にミラーを設けた構成が開示されている。更に、原稿台の高さも検出するようにしている。
しかしながら、特許文献１に記載の構成では、綴じ部の湾曲を検出するための検出手段を書籍の側面に別途有しているため装置の大型化、高コスト化を招来する等の問題がある。
【０００５】
また、特許文献２（特許第４１６２５０１号公報）には、被写体の立体形状を測定する形状測定部を有する撮像手段により、見開き状態で設置した書籍を撮影する際、前記形状測定部の検出結果から書籍の綴じ部を検出する構成が開示されている。特許文献２に記載の構成では、検出した綴じ部が拡大されるようにズームし、高解像に撮像し、全体撮影した画像の綴じ部の画像を置き換え、更に、前記形状測定部による綴じ部の湾曲状態の検出結果から、湾曲歪を平面に補正する。
しかしながら、特許文献２に記載の構成では、前記撮像手段は支持台に固定される構成であり、ポータビリティに劣る、装置構成上の制約が生じる等の問題がある。また、前記形状測定部は投光手段により所定のパターン光を投影し、その投影位置から形状を検出するため、所定のパターン光を投影する装置を要し、装置の大型化、高コスト化を招来する等の問題がある。さらに、高解像に撮像すること等を要し、データ容量が大幅に増大するという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、以上の従来技術における問題に鑑みてなされたものであり、データ容量が大幅に増大することなく書籍画像の湾曲歪を補正し歪の少ない画像が取得でき、且つ、ポータビリティに優れ、小型で低コストである撮像装置および撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために本発明に係る撮像装置は、撮像素子と、該撮像素子に被写体の像を結像させる撮影レンズ系と、前記撮像素子の信号から画像データを生成する画像生成手段と、前記画像データを記録する記録手段と、前記被写体の距離を二次元方向で多点測距し測距データを取得する測距手段と、前記被写体として書籍を撮影する書籍撮影モードが設定可能な撮影モード選択手段と、前記書籍撮影モードが選択されて得られた画像データを、前記測距手段により取得した測距データに基づいて湾曲歪を補正する制御手段と、を備えることを特徴とする。
また、上記課題を解決するために本発明に係る撮像方法は、撮影レンズ系を介して被写体の像を撮像素子に結像させ、該撮像素子の信号から画像データを生成する画像生成工程と、前記画像データを記録する記録工程と、前記被写体の距離を二次元方向で多点測距し測距データを取得する測距工程と、前記被写体として書籍を撮影する書籍撮影モードが設定可能な撮影モード選択工程と、前記書籍撮影モードが選択されて得られた画像データを、前記測距手段により取得した測距データに基づいて湾曲歪を補正する制御工程と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、データ容量が大幅に増大することなく書籍画像の湾曲歪を補正し歪の少ない画像が取得でき、且つ、ポータビリティに優れ、小型で低コストである撮像装置および撮像方法を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明に係る撮像装置の一実施の形態としてのデジタルカメラにおける構成例を示す正面図である。
【図２】図１に示したデジタルカメラのシステム構成の概要を示すブロック図である。
【図３】図１に示したデジタルカメラが備える測距部（測距装置）の構成を示す概略側断面図である。
【図４】図１に示したデジタルカメラが備える測距部（測距装置）の構成を示す概略正面図である。
【図５】本発明に係る撮像装置の一実施の形態における測距原理を説明するための図である。
【図６】（ａ）：綴じ部が湾曲した形状となる書籍を示す図である。（ｂ）：（ａ）に示す書籍の距離画像データを示す斜視図である。（ｃ）：（ａ）に示す書籍の距離画像データを示すグラフである。
【図７】（ａ）：補正前の歪んだ画像である。（ｂ）：補正された歪みの少ない画像である。
【図８】書籍の見開き時の湾曲歪の補正原理を説明する説明図である。
【図９】書籍と撮像装置の方向検出方法を説明する説明図である。
【図１０】書籍と撮像装置の方向検出結果を用いた画像表示例を示す図である。
【図１１】本発明に係る撮像装置の書籍撮影モードの第１の実施の形態における処理フローを示すフロー図である。
【図１２】本発明に係る撮像装置の書籍撮影モードの第２の実施の形態における処理フローを示すフロー図である。
【図１３】本発明に係る撮像装置の書籍撮影モードの第３の実施の形態における処理フローを示すフロー図である。
【発明を実施するための形態】
【００１０】
本発明に係る撮像装置は、撮像素子１１と、該撮像素子１１に被写体の像を結像させる撮影レンズ系２と、前記撮像素子１１の信号から画像データを生成する画像生成手段１２と、前記画像データを記録する記録手段と、前記被写体の距離を二次元方向で多点測距し測距データを取得する測距手段３と、前記被写体として書籍を撮影する書籍撮影モードが設定可能な撮影モード選択手段と、前記書籍撮影モードが選択されて得られた画像データを、前記測距手段３により取得した測距データに基づいて湾曲歪を補正する制御手段１４と、を備えることを特徴とする。
【００１１】
ここで、超高速高精度ＡＦ技術が用いられた測距装置が搭載されたデジタルカメラＣＸ５（株式会社リコー製）が既に上市されている。この超高速高精度ＡＦ技術は、同一基板上の複数の撮像素子のうちから２つの撮像素子を利用して、三角測距の原理で測距を行うものであり、被写体の二次元の距離画像を取得することができる。
本発明では、前記超高速高精度ＡＦ技術等を利用し、ユーザが書籍を見開き状態で撮影する際に綴じ部が湾曲して見難くなる点をその距離画像（立体形状）を計測して補正（引き伸ばし処理）することで見易い画像に変換することができる。このとき、カメラの撮影モードに書籍撮影モードを設け、書籍撮影モードが選択された際に、これらの処理が行われるようにすることで、非書籍画像は通常どおり撮影できるようにすることが好ましい。
また本発明では、前記距離画像により、書籍の湾曲方向から書籍とカメラとの相対的な向きを検出し、書籍撮影モードで撮影した画像を表示する際には検出された相対的な向きに応じて、画像の表示向きを変えることができることが好ましい。
【００１２】
次に、本発明に係る撮像装置および撮像方法についてさらに詳細に説明する。
尚、以下に述べる実施の形態は、本発明の好適な実施の形態であるから技術的に好ましい種々の限定が付されているが、本発明の範囲は以下の説明において本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。
【００１３】
図１は、本発明に係る撮像装置の一実施の形態としてのデジタルカメラにおける構成例を示す正面図、図２は、図１に示したデジタルカメラのシステム構成の概要を示すブロック図である。また、図３は、図１に示したデジタルカメラが備える測距部（測距装置）の構成を示す概略側断面図、図４は、図１に示したデジタルカメラが備える測距部（測距装置）の構成を示す概略正面図である。
【００１４】
（デジタルカメラの外観構成）
図１に示すように、本実施形態に係るデジタルカメラ１の正面（前面）側には、撮影レンズ系２、測距手段としての測距装置３の前面側のレンズアレイ４等が配置されている。レンズアレイ４の表面には、所定の間隔で左右に配置した第１の測距用レンズ５ａと、第２の測距用レンズ５ｂが一体に形成されている。撮像レンズ系２と第１、第２の測距用レンズ５ａ，５ｂの各光軸は平行である。
【００１５】
（デジタルカメラ１のシステム構成）
図２に示すように、このデジタルカメラ１は、複数のレンズ群を有する撮影レンズ系２、シャッタ機能を有する絞りユニット１０、撮影レンズ系２を通して入射される被写体像が受光面上に結像する固体撮像素子としてのＣＣＤイメージセンサ１１、ＣＣＤイメージセンサ１１の各画素から出力される撮像信号（電気信号）を取り込み、表示や記録が可能な画像データに変換処理する画像生成手段である信号処理部１２、操作部（レリーズボタン７、撮影モード選択手段である撮影モード切換ボタン８（図１参照）等）１３からの操作入力情報に基づき、ＲＯＭ（不図示）に記憶された制御プログラムに基づいてデジタルカメラ１全体のシステム制御等を行う制御部１４、信号処理部１２で生成された撮影中の被写体の画像データを表示する、および、後述するメモリカード１８より読み出した画像データを表示する表示手段である液晶モニタ（ＬＣＤ）１５、撮影レンズ系２のフォーカスレンズ群を駆動するフォーカスレンズ駆動部１６、絞りユニット１０を駆動する絞りユニット駆動部１７、及び被写体までの距離を測距する外測式の前記測距装置３等を備えている。画像処理部１２で生成された画像データは、記録手段（不図示）により着脱自在なメモリカード１８に記録される。
なお、撮影モード切換ボタン８は被写体として書籍を撮影する書籍撮影モードが設定可能である。
【００１６】
（測距装置３の構成）
図３、図４に示すように、測距装置３は、前面側（正面側、図３の上側）が開口した筐体２０と、この筐体２０の前面側に前記第１、第２の測距用レンズ５ａ，５ｂが一列（デジタルカメラ１の左右方向）に一体に形成された透明樹脂材からなる長方形状のレンズアレイ４と、レンズアレイ４と対向する筐体２０内の背面側（図３の下側）に配置された薄板状の撮像素子基板２１と、撮像素子基板２１上に配置された平面状（二次元状）の測距用撮像素子２２ａ，２２ｂと、撮像素子基板２１の背面に配置された回路基板２４を備えている。
【００１７】
平面状の一対の測距用撮像素子２２ａ，２２ｂは、第１、第２の測距用レンズ５ａ，５ｂとそれぞれ対向するようにして配置されている。
測距用撮像素子２２ａ，２２ｂの平面状の各受光面は同じサイズで、同一画素数を有している。また、測距用撮像素子２２ａ，２２ｂとの間には、所定の隙間が設けられている。
撮像素子基板２１上の測距用撮像素子２２ａ，２２ｂは、半導体ウェハ上に周知の半導体プロセスによって一体に形成された撮像素子（本実施の形態ではＣＣＤであるが、ＣＭＯＳ等の撮像素子であってもよい）であり、多数の受光素子（画素）が格子状に配列されている。
【００１８】
第１、第２の測距用レンズ５ａ，５ｂの各光軸は平行であり、測距用撮像素子２２ａ，２２ｂの各受光面の対角中心と前記各レンズ（第１、第２の測距用レンズ５ａ，５ｂ）の光軸が略一致するように位置決めされている。
第１、第２の測距用レンズ５ａ，５ｂは、該第１、第２の測距用レンズ５ａ，５ｂに入射する被写体光が測距用撮像素子２２ａ，２２ｂ表面に結像するような焦点距離を有している。
また、第１、第２の測距用レンズ５ａ，５ｂの各画角が、撮影レンズ系２の画角と略同じになるように構成されている。これにより、測距装置３は、ＣＣＤイメージセンサ１１の全受光面（撮像領域）に対応した画面全体の測距を行うことができる。
【００１９】
回路基板２４には、測距用演算部２５等が設けられ、測距用演算部２５は、測距用撮像素子２２ａ，２２ｂの各画素から出力される画素出力信号を取り込み、測距用撮像素子２２ａ，２２ｂにそれぞれ結像された被写体像間のずれ（視差）を算出して、被写体までの距離を算出する。
【００２０】
ここで、測距装置３による測距原理について図５を参照しながら詳細に簡単に説明する。図５は本発明に係る撮像装置の一実施の形態における測距原理を説明するための図である。
図５に示すように、第１の測距用レンズ５ａを通して得られた被写体像ａ１と第２の測距用レンズ５ｂを通して得られた被写体像ａ２は、被写体Ａ上の同一点が視差△だけずれて測距用撮像素子２２ａ，２２ｂ表面にそれぞれ結像し、複数の受光素子（画素）で受光されて電気信号に変換される。
そして、前記視差を△、第１、第２の測距用レンズ５ａ，５ｂの光軸間の距離（基線長）をＤ、第１、第２の測距用レンズ５ａ，５ｂと被写体Ａ間の距離をＬ、第１、第２の測距用レンズ５ａ，５ｂの焦点距離をｆとし、Ｌ≫ｆであるときは、下記の式（１）が成り立つ。
【００２１】
Ｌ＝Ｄ・ｆ／△ …式（１）
【００２２】
よって、Ｄとｆは既知であるので、測距用演算回路２５により、測距用撮像素子２２ａ，２２ｂの画素（受光素子）からそれぞれ出力される画素出力信号から周知の算出方法で前記視差△を算出することで、第１、第２の測距用レンズ５ａ，５ｂと被写体間の距離Ｌを算出することができる。
なお、第１、第２の測距用レンズ５ａ，５ｂの光軸間の距離（基線長）Ｄが短すぎると、視差△が小さくなって被写体までの距離Ｌを精度よく算出できなくなる。
【００２３】
なお、本発明における測距手段は、上述したような撮影レンズ系と異なる光学系を有する測距センサにより測距し、被写体の距離を二次元方向で多点測距し測距データを取得するものに限られるものではない。即ち、撮像素子上の被写体像による山登り方式（撮影レンズの焦点距離を微少に変化させながらコントラストのピークを求める方法）により測距して測距データを取得してもよく、撮影レンズ系を通った光線の一部を複数のラインセンサに導いて位相差方式で測距して測距データを取得してもよい。
【００２４】
（書籍撮影モードの第１の実施の形態）
次に、本発明に係る撮像装置の特徴となる書籍撮影モードの第１の実施の形態について説明する。
図６（ａ）は綴じ部が湾曲した形状となる書籍を示す図であり、図６（ｂ）は図６（ａ）に示す書籍の距離画像データを示す斜視図であり、図６（ｃ）は図６（ａ）に示す書籍の距離画像データを示すグラフである。
【００２５】
書籍を見開き状態で置くと図６（ａ）に示したように綴じ部（書籍の見開き中心）が湾曲した形状となり、撮影画像に歪が生じる。この状態で前記測距用撮像素子により測距を行うと図６（ａ）右側ページは図６（ｂ）に斜視で示した各画素の距離画像データのように計測される。綴じ部の湾曲は平面状の一方向に対して大きな距離画像の変化を有しているので、図６（ｃ）に示したようにＸａ方向にはデータ量が必要であるが、Ｙａ方向には距離の変化が少ない為、歪を補正する為にはより少ないデータ量で十分である。
【００２６】
本発明では撮影時に得られた距離画像は、距離の変化が大きい方向には分解能の大きいデータとし、距離の変化が小さい方向には分解能の低いデータに変換して測距データとして記録することが好ましい。例えば、図６（ｃ）で得られた立体形状を用いて補正を行うことで、図７（ａ）の補正前の歪んだ画像を図７（ｂ）の歪みの少ない画像に補正することが可能になる。
【００２７】
なお、書籍の撮影画像において歪補正が必要となる領域は書籍の撮影領域のみであるため、書籍の撮影領域以外の部分（原稿設置面等）の歪補正は不要である。
したがって、歪補正に必要な測距データは書籍の外周のエッジに囲まれた領域であるため、書籍の領域を背景画像とのコントラストから検出し、得られた測距データから、書籍の領域の測距データ（書籍の外周のエッジに囲まれた領域の測距データ）を抽出する。そして、抽出した測距データ（書籍の見開き中心までの距離）を用いて後述する書籍の領域の湾曲歪を補正する。
【００２８】
ここで、湾曲歪みの補正について説明する。図８（ａ）を用いて縦方向の伸長処理について説明する。縦方向の伸長処理により撮影画像の縦方向の歪みを除去する。この伸長処理は、画素列毎に伸長率を算出し、画像の中心線Ｘ０から距離に応じてそれぞれの画素列において上下方向に画素をマッピングしていくことによって行なう。
先ず、前記測距用撮像素子により画素列毎に画像の奥行き方向の距離を求める。ここで、被写体が書籍の場合であって且つ撮像部に対して正対して載置してあったとすると、本来撮像入力画像中のそれぞれの列の画素、即ち図６（ａ）に示す縦方向に並んだ画素は同じ奥行き距離を持つはずである。しかしながらノイズ等の影響により、画素毎に奥行き距離にバラつきが検出される場合があり、その場合は画素間の平均値を求める。平均値を求める場合は、被写体上の点のみを使う必要があるため、画像の中心付近の画素を用いたり、高さが一定値以上の部分の画素を用いたりする。このようにして求めた画像のＹ軸（Ｘ０）に相当する被写体上の各点の奥行き距離をＤ０、ｉ番目の列に相当する被写体上の各点の奥行き距離をＤｉとすると、以下の式（２）に従ってｉ番目の画素列の、ｊ番目の画素行の画素位置Ｐｉｊ１を列方向に移動させ、Ｐｉｊ２として再配置する処理を行う。
【００２９】
Ｐｉｊ２＝Ｐｉｊ１・（Ｄｉ／Ｄ０） …式（２）
【００３０】
この再配置処理と、各画素間の補完処理により、縦方向の歪、即ち撮像素子と被写体との間の距離の相違（書籍を開いた見開き状態の場合、図６（ａ）に示す綴じ部を支点として書面が湾曲し、その結果盛り上がった部分は他の部分に比して撮像部に近くなる現象等による）に起因する遠近要因による歪が除去された画像が得られる。
【００３１】
更に、各行の画素を、その方向、即ち横方向に適当な量だけ伸長すれば横方向の歪も除去出来る。図８（ｂ）に示したように、被写体画像のＹ軸（Ｘ０）からの距離に応じて、行方向に画素を再配置して、横方向に画像を伸長する。以下にその具体的な方法について説明する。
【００３２】
図８（ｃ）は、ある画素行内の画素Ｐｉ０〜Ｐｉ３に相当する３次元位置空間上における被写体上の点の位置を白丸（中抜きの丸）で示している。ここで、Ｐｉ０はＸ０上の点である。
先ず、これら点における隣接する点間の距離Ｌ０１〜Ｌ２３を求める。そして、再配置すべき画素の再配置後の位置を、画像の中心線Ｘ０からの距離として、縮尺を合わせて順次足し合せていくことで決定する。例えば、Ｐｉ３は、（Ｌ０１＋Ｌ１２＋Ｌ２３）・ｆ／Ｆの位置に再配置される（伸長前の画素位置である黒丸から、伸長後の画素位置である灰色丸に移動する）。ここで、ｆは該当する光学系の焦点距離、Ｆはその光学中心から画像の中心点に相当する被写体上の点迄の奥行き距離である。
【００３３】
この再配置処理と、各画素間の補完処理により、横方向の歪が除去された画像が生成される。尚、画像は適宜拡大あるいは縮小されるように補正しても良い。その場合には補正時に一律に適当な係数によって画素数を増減すれば良い。
【００３４】
これらの処理を行うことで、図７（ｂ）に示したように歪が補正された結果が得られる。
換言すると、制御手段により書籍撮影モードが選択されて得られた画像データを、測距手段により取得した測距データに基づいて湾曲歪を補正することで、歪が補正された画像が得られる。
【００３５】
本発明における処理フローを図１１に示す。カメラを撮影可能状態にすることをスタートとし、撮影モード切替ダイヤルにより書籍撮影モードが選択された場合（Ｓ１−１）、測距用撮像素子により距離画像（二次元の距離データ）が取得できるように準備を行う（Ｓ１−２）。この状態でシャッタレリーズにより画像取り込みが開始（Ｓ１−３）、終了（Ｓ１−４）し、その後、得られた距離画像に対して、書籍の歪補正に必要な測距データに変換（Ｓ１−５）し、画像データと測距データとの対応付けを行った上で記録手段により保存される（Ｓ１−６）。
また、画像データのフォーマットとしてＥｘｉｆ（Exchangeable Image File Format）を使用し、前記書籍の歪補正に必要な測距データを埋め込んで記録するようにしても良い。撮像装置にて書籍を撮影する際に取得した距離データを画像データに埋め込んで記録することで、画像データと距離データが分離して、補正できなくなるような問題が生じないようになる。
【００３６】
なお、他の実施の形態として、（Ｓ１−５）の後に、書籍の歪補正に必要な測距データにより制御手段で画像データの湾曲歪を補正し、この湾曲歪の補正後の画像データを記録手段に記録してもよい。（Ｓ１−６’）
湾曲歪の補正後の画像データを記録することで、測距データを保存する必要がなくなる。また、湾曲歪の補正後の画像データが記録されているため、画像データを表示する際には湾曲歪の補正後の画像しか表示されないものの、表示のたびに毎回制御手段により湾曲歪の補正を行うことを要しないため処理が少なくてすむ。
【００３７】
さらにその他の実施の形態として、測距センサによる検出結果（測距データ）から書籍の湾曲歪を充分に検出することができない場合、書籍の印刷情報（罫線、文字等）に基づいて書籍の湾曲歪を検出し、補正する構成を備えても良い。測距センサによる測距が出来なかった場合にも湾曲歪が補正できるため好ましい。
【００３８】
（書籍撮影モードの第２の実施の形態）
次に、本発明に係る撮像装置の特徴となる書籍撮影モードの第２の実施の形態について説明する。
第２の実施の形態は、上記第１の実施の形態で取得された画像を撮像装置に設けられたＬＣＤ等の画像表示手段により表示する際の表示方法に関する。図１２に処理フローを示す。
撮像装置において画像表示モードが選択されることをスタートとし、表示画像が書籍撮影モードで撮影されたデータである場合（Ｓ２−１）、対応する測距データを抽出し（Ｓ２−２）、上記第１の実施の形態で説明した書籍の湾曲歪み補正処理に基づいた補正を行い（Ｓ２−３）、補正画像を表示（Ｓ２−４）する。
本実施の形態によれば、書籍撮影モードで撮影された書籍画像を再生する際に、湾曲歪が補正された歪の少ない画像を自動的に表示できるようになる。
【００３９】
また、ここでは図示していないが、補正画像をそのまま保存できるようなメニューや、画像の表示向きを変更するメニュー等があり、ユーザによる操作が行えるようにしても良い。
【００４０】
さらに、図１３に示す処理フローには、画像表示時に書籍の画像が選択された際（Ｓ３−１）、書籍の湾曲歪の補正を実行するか否かをユーザが画像補正指示手段により指示（Ｓ３−２）できるようにし、指示された場合にのみ、測距データを抽出し（Ｓ３−３）、書籍の湾曲歪の補正を行い（Ｓ３−４）、補正画像を表示（Ｓ３−５）させるようにしても良い。書籍の湾曲歪の補正の実行が指示されなかった場合は、補正しないそのままの画像データを表示する。
湾曲歪の補正を指示できるようにすることで、歪補正が必要な画像に対してのみ補正処理を実行できるようになる。
【００４１】
（書籍撮影モードの第３の実施の形態）
次に、本発明に係る撮像装置の特徴となる書籍撮影モードの第３の実施の形態について説明する。
第３の実施の形態は、書籍の湾曲形状検出結果から書籍と撮像装置の相対位置関係を判定手段により判定し、書籍の撮影画像データを表示する際、書籍の向き（相対位置関係の判定）に応じて自動的に正しい向きで表示されるようにする回転設定する処理を行う。
書籍と撮像装置との方向を自動的に検出できるようにすることで、書籍を撮影した画像を再生する際に、正しい向き（書籍を読む向き）にて再生できるようになる。
この処理について図９及び図１０を参照しながらより詳細に説明する。
【００４２】
被写体になる書籍を撮影する際、カメラを横向きで撮影する場合（図９（ａ）横撮影）と縦向きで撮影する場合（図９（ｂ）縦撮影）とがある。書籍を撮影する場合には上記第１、第２の実施の形態に記載の書籍撮影モードを選択する。
書籍撮影モードでは測距用撮像素子により距離画像を取得し、書籍の歪み補正に必要な測距データを取得できる。測距データにおいて画像の縦方向の変化量と横方向の変化量を演算し、変化量が大きい方向を書籍の湾曲方向として認識する（図９（ａ）、（ｂ）に太線で図示）。前記変化量としては、測距データの変動量（最大−最小）、標準偏差等、変化量を定量的に比較できる統計量とし、縦方向と横方向の大きさを比較する。
【００４３】
見開き原稿の形状は見開き部において、高さ方向に対して同一方向に湾曲するという共通の特徴量を有し、多くの書籍では、湾曲方向に対して直行した方向が読む上での正しい向きになっている。図９の青の太線が湾曲方向で、直行した方向が書籍の“上”（図９に図示）側になっている。このように、湾曲方向から書籍の“上“側を認識し、画像データに付与することで、図１０に示したように画像を表示する際に、”上“側を画像表示手段上でも上側に表示させるようにすることで、撮影した書籍を正しい向きで表示できるようになる。
【００４４】
なお、綴じ部が水平、垂直方向に対して中途半端な傾き（例えば１０°傾いているなど）のときにも同様に、自動的に垂直方向に修正することが好ましい。
また、カレンダーなどは綴じ部を中心に上下にページをめくるので自動的な回転をＯＮ／ＯＦＦする設定があることが好ましい。
【００４５】
以上の第１〜３の実施の形態によれば、データ容量が大幅に増大することなく書籍画像の湾曲歪を補正し歪の少ない画像が取得でき、且つ、ポータビリティに優れ、小型で低コストを達成できる。
【符号の説明】
【００４６】
１ デジタルカメラ（撮像装置）
２ 撮影レンズ系
３ 測距装置
４ レンズアレイ
５ａ 第１の測距レンズ
５ｂ 第２の測距レンズ
７ レリーズボタン
８ 撮影モード切替ダイヤル
１１ ＣＣＤイメージセンサ
１２ 信号処理部
１３ 操作部
１４ 制御部
１５ ＬＣＤ
１６ フォーカスレンズ駆動部
１７ 絞りユニット駆動部
１８ メモリカード
２０ 筐体
２１ 撮像素子基盤
２２ａ 測距用撮像素子
２２ｂ 測距用撮像素子
２４ 回路基板
２５ 測距用演算部
Ａ 被写体
Δ 視差
Ｌ 測距用レンズと被写体間の距離
ｆ 焦点距離
Ｄ 光軸間の距離（基線長）
【先行技術文献】
【特許文献】
【００４７】
【特許文献１】特開平０８−２４２３４７号公報
【特許文献２】特許第４１６２５０１号公報
【技術分野】
【０００１】
本発明は、撮像装置および撮像方法に関し、特に書籍の湾曲歪を補正して撮影することができる撮像装置および撮像方法に関する。
【背景技術】
【０００２】
近年、携帯情報端末（タブレット型携帯端末、電子ペーパー等）の普及により、紙の書籍を電子化して携帯情報端末に取り込んで（この電子化は一般に「自炊」とも称される。）閲覧する機会が増加して来ている。
【０００３】
書籍を電子化する際にはフラットベットスキャナが用いられているが、デジタルカメラの方がより手軽な操作で電子化することができる。
しかしながら、デジタルカメラで書籍を撮影する際には書籍の取り込み面を上面にして机上等にページを開いた状態にする必要があるが、その際、見開き部分（綴じ部）に湾曲を生じ、湾曲部に印刷された内容が見難くなるといった問題点があった。また、書籍を机等の上に見開き状態で置き、上方から撮影する場合、通常の被写体を撮影する際の撮影方向（縦横）の検出に使用されている加速度センサの情報では、デジタルカメラと書籍の撮影方向の関係を検出することができない。さらに、上面から書籍を読み取る装置として専用の装置（公的な図書館の業務用等に利用されるもの）があるが、大きな占有面積が必要となり、個人用には向いていない。
【０００４】
ここで、従来における書籍を撮影する技術として、特許文献１（特開平０８−２４２３４７号公報）には、据え置き型のブックスキャナーの基本構成に関する発明で、書籍の綴じ部の湾曲を検出する為に原稿台に書籍の側面が撮像される位置にミラーを設けた構成が開示されている。更に、原稿台の高さも検出するようにしている。
しかしながら、特許文献１に記載の構成では、綴じ部の湾曲を検出するための検出手段を書籍の側面に別途有しているため装置の大型化、高コスト化を招来する等の問題がある。
【０００５】
また、特許文献２（特許第４１６２５０１号公報）には、被写体の立体形状を測定する形状測定部を有する撮像手段により、見開き状態で設置した書籍を撮影する際、前記形状測定部の検出結果から書籍の綴じ部を検出する構成が開示されている。特許文献２に記載の構成では、検出した綴じ部が拡大されるようにズームし、高解像に撮像し、全体撮影した画像の綴じ部の画像を置き換え、更に、前記形状測定部による綴じ部の湾曲状態の検出結果から、湾曲歪を平面に補正する。
しかしながら、特許文献２に記載の構成では、前記撮像手段は支持台に固定される構成であり、ポータビリティに劣る、装置構成上の制約が生じる等の問題がある。また、前記形状測定部は投光手段により所定のパターン光を投影し、その投影位置から形状を検出するため、所定のパターン光を投影する装置を要し、装置の大型化、高コスト化を招来する等の問題がある。さらに、高解像に撮像すること等を要し、データ容量が大幅に増大するという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、以上の従来技術における問題に鑑みてなされたものであり、データ容量が大幅に増大することなく書籍画像の湾曲歪を補正し歪の少ない画像が取得でき、且つ、ポータビリティに優れ、小型で低コストである撮像装置および撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために本発明に係る撮像装置は、撮像素子と、該撮像素子に被写体の像を結像させる撮影レンズ系と、前記撮像素子の信号から画像データを生成する画像生成手段と、前記画像データを記録する記録手段と、前記被写体の距離を二次元方向で多点測距し測距データを取得する測距手段と、前記被写体として書籍を撮影する書籍撮影モードが設定可能な撮影モード選択手段と、前記書籍撮影モードが選択されて得られた画像データを、前記測距手段により取得した測距データに基づいて湾曲歪を補正する制御手段と、を備えることを特徴とする。
また、上記課題を解決するために本発明に係る撮像方法は、撮影レンズ系を介して被写体の像を撮像素子に結像させ、該撮像素子の信号から画像データを生成する画像生成工程と、前記画像データを記録する記録工程と、前記被写体の距離を二次元方向で多点測距し測距データを取得する測距工程と、前記被写体として書籍を撮影する書籍撮影モードが設定可能な撮影モード選択工程と、前記書籍撮影モードが選択されて得られた画像データを、前記測距手段により取得した測距データに基づいて湾曲歪を補正する制御工程と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、データ容量が大幅に増大することなく書籍画像の湾曲歪を補正し歪の少ない画像が取得でき、且つ、ポータビリティに優れ、小型で低コストである撮像装置および撮像方法を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明に係る撮像装置の一実施の形態としてのデジタルカメラにおける構成例を示す正面図である。
【図２】図１に示したデジタルカメラのシステム構成の概要を示すブロック図である。
【図３】図１に示したデジタルカメラが備える測距部（測距装置）の構成を示す概略側断面図である。
【図４】図１に示したデジタルカメラが備える測距部（測距装置）の構成を示す概略正面図である。
【図５】本発明に係る撮像装置の一実施の形態における測距原理を説明するための図である。
【図６】（ａ）：綴じ部が湾曲した形状となる書籍を示す図である。（ｂ）：（ａ）に示す書籍の距離画像データを示す斜視図である。（ｃ）：（ａ）に示す書籍の距離画像データを示すグラフである。
【図７】（ａ）：補正前の歪んだ画像である。（ｂ）：補正された歪みの少ない画像である。
【図８】書籍の見開き時の湾曲歪の補正原理を説明する説明図である。
【図９】書籍と撮像装置の方向検出方法を説明する説明図である。
【図１０】書籍と撮像装置の方向検出結果を用いた画像表示例を示す図である。
【図１１】本発明に係る撮像装置の書籍撮影モードの第１の実施の形態における処理フローを示すフロー図である。
【図１２】本発明に係る撮像装置の書籍撮影モードの第２の実施の形態における処理フローを示すフロー図である。
【図１３】本発明に係る撮像装置の書籍撮影モードの第３の実施の形態における処理フローを示すフロー図である。
【発明を実施するための形態】
【００１０】
本発明に係る撮像装置は、撮像素子１１と、該撮像素子１１に被写体の像を結像させる撮影レンズ系２と、前記撮像素子１１の信号から画像データを生成する画像生成手段１２と、前記画像データを記録する記録手段と、前記被写体の距離を二次元方向で多点測距し測距データを取得する測距手段３と、前記被写体として書籍を撮影する書籍撮影モードが設定可能な撮影モード選択手段と、前記書籍撮影モードが選択されて得られた画像データを、前記測距手段３により取得した測距データに基づいて湾曲歪を補正する制御手段１４と、を備えることを特徴とする。
【００１１】
ここで、超高速高精度ＡＦ技術が用いられた測距装置が搭載されたデジタルカメラＣＸ５（株式会社リコー製）が既に上市されている。この超高速高精度ＡＦ技術は、同一基板上の複数の撮像素子のうちから２つの撮像素子を利用して、三角測距の原理で測距を行うものであり、被写体の二次元の距離画像を取得することができる。
本発明では、前記超高速高精度ＡＦ技術等を利用し、ユーザが書籍を見開き状態で撮影する際に綴じ部が湾曲して見難くなる点をその距離画像（立体形状）を計測して補正（引き伸ばし処理）することで見易い画像に変換することができる。このとき、カメラの撮影モードに書籍撮影モードを設け、書籍撮影モードが選択された際に、これらの処理が行われるようにすることで、非書籍画像は通常どおり撮影できるようにすることが好ましい。
また本発明では、前記距離画像により、書籍の湾曲方向から書籍とカメラとの相対的な向きを検出し、書籍撮影モードで撮影した画像を表示する際には検出された相対的な向きに応じて、画像の表示向きを変えることができることが好ましい。
【００１２】
次に、本発明に係る撮像装置および撮像方法についてさらに詳細に説明する。
尚、以下に述べる実施の形態は、本発明の好適な実施の形態であるから技術的に好ましい種々の限定が付されているが、本発明の範囲は以下の説明において本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。
【００１３】
図１は、本発明に係る撮像装置の一実施の形態としてのデジタルカメラにおける構成例を示す正面図、図２は、図１に示したデジタルカメラのシステム構成の概要を示すブロック図である。また、図３は、図１に示したデジタルカメラが備える測距部（測距装置）の構成を示す概略側断面図、図４は、図１に示したデジタルカメラが備える測距部（測距装置）の構成を示す概略正面図である。
【００１４】
（デジタルカメラの外観構成）
図１に示すように、本実施形態に係るデジタルカメラ１の正面（前面）側には、撮影レンズ系２、測距手段としての測距装置３の前面側のレンズアレイ４等が配置されている。レンズアレイ４の表面には、所定の間隔で左右に配置した第１の測距用レンズ５ａと、第２の測距用レンズ５ｂが一体に形成されている。撮像レンズ系２と第１、第２の測距用レンズ５ａ，５ｂの各光軸は平行である。
【００１５】
（デジタルカメラ１のシステム構成）
図２に示すように、このデジタルカメラ１は、複数のレンズ群を有する撮影レンズ系２、シャッタ機能を有する絞りユニット１０、撮影レンズ系２を通して入射される被写体像が受光面上に結像する固体撮像素子としてのＣＣＤイメージセンサ１１、ＣＣＤイメージセンサ１１の各画素から出力される撮像信号（電気信号）を取り込み、表示や記録が可能な画像データに変換処理する画像生成手段である信号処理部１２、操作部（レリーズボタン７、撮影モード選択手段である撮影モード切換ボタン８（図１参照）等）１３からの操作入力情報に基づき、ＲＯＭ（不図示）に記憶された制御プログラムに基づいてデジタルカメラ１全体のシステム制御等を行う制御部１４、信号処理部１２で生成された撮影中の被写体の画像データを表示する、および、後述するメモリカード１８より読み出した画像データを表示する表示手段である液晶モニタ（ＬＣＤ）１５、撮影レンズ系２のフォーカスレンズ群を駆動するフォーカスレンズ駆動部１６、絞りユニット１０を駆動する絞りユニット駆動部１７、及び被写体までの距離を測距する外測式の前記測距装置３等を備えている。画像処理部１２で生成された画像データは、記録手段（不図示）により着脱自在なメモリカード１８に記録される。
なお、撮影モード切換ボタン８は被写体として書籍を撮影する書籍撮影モードが設定可能である。
【００１６】
（測距装置３の構成）
図３、図４に示すように、測距装置３は、前面側（正面側、図３の上側）が開口した筐体２０と、この筐体２０の前面側に前記第１、第２の測距用レンズ５ａ，５ｂが一列（デジタルカメラ１の左右方向）に一体に形成された透明樹脂材からなる長方形状のレンズアレイ４と、レンズアレイ４と対向する筐体２０内の背面側（図３の下側）に配置された薄板状の撮像素子基板２１と、撮像素子基板２１上に配置された平面状（二次元状）の測距用撮像素子２２ａ，２２ｂと、撮像素子基板２１の背面に配置された回路基板２４を備えている。
【００１７】
平面状の一対の測距用撮像素子２２ａ，２２ｂは、第１、第２の測距用レンズ５ａ，５ｂとそれぞれ対向するようにして配置されている。
測距用撮像素子２２ａ，２２ｂの平面状の各受光面は同じサイズで、同一画素数を有している。また、測距用撮像素子２２ａ，２２ｂとの間には、所定の隙間が設けられている。
撮像素子基板２１上の測距用撮像素子２２ａ，２２ｂは、半導体ウェハ上に周知の半導体プロセスによって一体に形成された撮像素子（本実施の形態ではＣＣＤであるが、ＣＭＯＳ等の撮像素子であってもよい）であり、多数の受光素子（画素）が格子状に配列されている。
【００１８】
第１、第２の測距用レンズ５ａ，５ｂの各光軸は平行であり、測距用撮像素子２２ａ，２２ｂの各受光面の対角中心と前記各レンズ（第１、第２の測距用レンズ５ａ，５ｂ）の光軸が略一致するように位置決めされている。
第１、第２の測距用レンズ５ａ，５ｂは、該第１、第２の測距用レンズ５ａ，５ｂに入射する被写体光が測距用撮像素子２２ａ，２２ｂ表面に結像するような焦点距離を有している。
また、第１、第２の測距用レンズ５ａ，５ｂの各画角が、撮影レンズ系２の画角と略同じになるように構成されている。これにより、測距装置３は、ＣＣＤイメージセンサ１１の全受光面（撮像領域）に対応した画面全体の測距を行うことができる。
【００１９】
回路基板２４には、測距用演算部２５等が設けられ、測距用演算部２５は、測距用撮像素子２２ａ，２２ｂの各画素から出力される画素出力信号を取り込み、測距用撮像素子２２ａ，２２ｂにそれぞれ結像された被写体像間のずれ（視差）を算出して、被写体までの距離を算出する。
【００２０】
ここで、測距装置３による測距原理について図５を参照しながら詳細に簡単に説明する。図５は本発明に係る撮像装置の一実施の形態における測距原理を説明するための図である。
図５に示すように、第１の測距用レンズ５ａを通して得られた被写体像ａ１と第２の測距用レンズ５ｂを通して得られた被写体像ａ２は、被写体Ａ上の同一点が視差△だけずれて測距用撮像素子２２ａ，２２ｂ表面にそれぞれ結像し、複数の受光素子（画素）で受光されて電気信号に変換される。
そして、前記視差を△、第１、第２の測距用レンズ５ａ，５ｂの光軸間の距離（基線長）をＤ、第１、第２の測距用レンズ５ａ，５ｂと被写体Ａ間の距離をＬ、第１、第２の測距用レンズ５ａ，５ｂの焦点距離をｆとし、Ｌ≫ｆであるときは、下記の式（１）が成り立つ。
【００２１】
Ｌ＝Ｄ・ｆ／△ …式（１）
【００２２】
よって、Ｄとｆは既知であるので、測距用演算回路２５により、測距用撮像素子２２ａ，２２ｂの画素（受光素子）からそれぞれ出力される画素出力信号から周知の算出方法で前記視差△を算出することで、第１、第２の測距用レンズ５ａ，５ｂと被写体間の距離Ｌを算出することができる。
なお、第１、第２の測距用レンズ５ａ，５ｂの光軸間の距離（基線長）Ｄが短すぎると、視差△が小さくなって被写体までの距離Ｌを精度よく算出できなくなる。
【００２３】
なお、本発明における測距手段は、上述したような撮影レンズ系と異なる光学系を有する測距センサにより測距し、被写体の距離を二次元方向で多点測距し測距データを取得するものに限られるものではない。即ち、撮像素子上の被写体像による山登り方式（撮影レンズの焦点距離を微少に変化させながらコントラストのピークを求める方法）により測距して測距データを取得してもよく、撮影レンズ系を通った光線の一部を複数のラインセンサに導いて位相差方式で測距して測距データを取得してもよい。
【００２４】
（書籍撮影モードの第１の実施の形態）
次に、本発明に係る撮像装置の特徴となる書籍撮影モードの第１の実施の形態について説明する。
図６（ａ）は綴じ部が湾曲した形状となる書籍を示す図であり、図６（ｂ）は図６（ａ）に示す書籍の距離画像データを示す斜視図であり、図６（ｃ）は図６（ａ）に示す書籍の距離画像データを示すグラフである。
【００２５】
書籍を見開き状態で置くと図６（ａ）に示したように綴じ部（書籍の見開き中心）が湾曲した形状となり、撮影画像に歪が生じる。この状態で前記測距用撮像素子により測距を行うと図６（ａ）右側ページは図６（ｂ）に斜視で示した各画素の距離画像データのように計測される。綴じ部の湾曲は平面状の一方向に対して大きな距離画像の変化を有しているので、図６（ｃ）に示したようにＸａ方向にはデータ量が必要であるが、Ｙａ方向には距離の変化が少ない為、歪を補正する為にはより少ないデータ量で十分である。
【００２６】
本発明では撮影時に得られた距離画像は、距離の変化が大きい方向には分解能の大きいデータとし、距離の変化が小さい方向には分解能の低いデータに変換して測距データとして記録することが好ましい。例えば、図６（ｃ）で得られた立体形状を用いて補正を行うことで、図７（ａ）の補正前の歪んだ画像を図７（ｂ）の歪みの少ない画像に補正することが可能になる。
【００２７】
なお、書籍の撮影画像において歪補正が必要となる領域は書籍の撮影領域のみであるため、書籍の撮影領域以外の部分（原稿設置面等）の歪補正は不要である。
したがって、歪補正に必要な測距データは書籍の外周のエッジに囲まれた領域であるため、書籍の領域を背景画像とのコントラストから検出し、得られた測距データから、書籍の領域の測距データ（書籍の外周のエッジに囲まれた領域の測距データ）を抽出する。そして、抽出した測距データ（書籍の見開き中心までの距離）を用いて後述する書籍の領域の湾曲歪を補正する。
【００２８】
ここで、湾曲歪みの補正について説明する。図８（ａ）を用いて縦方向の伸長処理について説明する。縦方向の伸長処理により撮影画像の縦方向の歪みを除去する。この伸長処理は、画素列毎に伸長率を算出し、画像の中心線Ｘ０から距離に応じてそれぞれの画素列において上下方向に画素をマッピングしていくことによって行なう。
先ず、前記測距用撮像素子により画素列毎に画像の奥行き方向の距離を求める。ここで、被写体が書籍の場合であって且つ撮像部に対して正対して載置してあったとすると、本来撮像入力画像中のそれぞれの列の画素、即ち図６（ａ）に示す縦方向に並んだ画素は同じ奥行き距離を持つはずである。しかしながらノイズ等の影響により、画素毎に奥行き距離にバラつきが検出される場合があり、その場合は画素間の平均値を求める。平均値を求める場合は、被写体上の点のみを使う必要があるため、画像の中心付近の画素を用いたり、高さが一定値以上の部分の画素を用いたりする。このようにして求めた画像のＹ軸（Ｘ０）に相当する被写体上の各点の奥行き距離をＤ０、ｉ番目の列に相当する被写体上の各点の奥行き距離をＤｉとすると、以下の式（２）に従ってｉ番目の画素列の、ｊ番目の画素行の画素位置Ｐｉｊ１を列方向に移動させ、Ｐｉｊ２として再配置する処理を行う。
【００２９】
Ｐｉｊ２＝Ｐｉｊ１・（Ｄｉ／Ｄ０） …式（２）
【００３０】
この再配置処理と、各画素間の補完処理により、縦方向の歪、即ち撮像素子と被写体との間の距離の相違（書籍を開いた見開き状態の場合、図６（ａ）に示す綴じ部を支点として書面が湾曲し、その結果盛り上がった部分は他の部分に比して撮像部に近くなる現象等による）に起因する遠近要因による歪が除去された画像が得られる。
【００３１】
更に、各行の画素を、その方向、即ち横方向に適当な量だけ伸長すれば横方向の歪も除去出来る。図８（ｂ）に示したように、被写体画像のＹ軸（Ｘ０）からの距離に応じて、行方向に画素を再配置して、横方向に画像を伸長する。以下にその具体的な方法について説明する。
【００３２】
図８（ｃ）は、ある画素行内の画素Ｐｉ０〜Ｐｉ３に相当する３次元位置空間上における被写体上の点の位置を白丸（中抜きの丸）で示している。ここで、Ｐｉ０はＸ０上の点である。
先ず、これら点における隣接する点間の距離Ｌ０１〜Ｌ２３を求める。そして、再配置すべき画素の再配置後の位置を、画像の中心線Ｘ０からの距離として、縮尺を合わせて順次足し合せていくことで決定する。例えば、Ｐｉ３は、（Ｌ０１＋Ｌ１２＋Ｌ２３）・ｆ／Ｆの位置に再配置される（伸長前の画素位置である黒丸から、伸長後の画素位置である灰色丸に移動する）。ここで、ｆは該当する光学系の焦点距離、Ｆはその光学中心から画像の中心点に相当する被写体上の点迄の奥行き距離である。
【００３３】
この再配置処理と、各画素間の補完処理により、横方向の歪が除去された画像が生成される。尚、画像は適宜拡大あるいは縮小されるように補正しても良い。その場合には補正時に一律に適当な係数によって画素数を増減すれば良い。
【００３４】
これらの処理を行うことで、図７（ｂ）に示したように歪が補正された結果が得られる。
換言すると、制御手段により書籍撮影モードが選択されて得られた画像データを、測距手段により取得した測距データに基づいて湾曲歪を補正することで、歪が補正された画像が得られる。
【００３５】
本発明における処理フローを図１１に示す。カメラを撮影可能状態にすることをスタートとし、撮影モード切替ダイヤルにより書籍撮影モードが選択された場合（Ｓ１−１）、測距用撮像素子により距離画像（二次元の距離データ）が取得できるように準備を行う（Ｓ１−２）。この状態でシャッタレリーズにより画像取り込みが開始（Ｓ１−３）、終了（Ｓ１−４）し、その後、得られた距離画像に対して、書籍の歪補正に必要な測距データに変換（Ｓ１−５）し、画像データと測距データとの対応付けを行った上で記録手段により保存される（Ｓ１−６）。
また、画像データのフォーマットとしてＥｘｉｆ（Exchangeable Image File Format）を使用し、前記書籍の歪補正に必要な測距データを埋め込んで記録するようにしても良い。撮像装置にて書籍を撮影する際に取得した距離データを画像データに埋め込んで記録することで、画像データと距離データが分離して、補正できなくなるような問題が生じないようになる。
【００３６】
なお、他の実施の形態として、（Ｓ１−５）の後に、書籍の歪補正に必要な測距データにより制御手段で画像データの湾曲歪を補正し、この湾曲歪の補正後の画像データを記録手段に記録してもよい。（Ｓ１−６’）
湾曲歪の補正後の画像データを記録することで、測距データを保存する必要がなくなる。また、湾曲歪の補正後の画像データが記録されているため、画像データを表示する際には湾曲歪の補正後の画像しか表示されないものの、表示のたびに毎回制御手段により湾曲歪の補正を行うことを要しないため処理が少なくてすむ。
【００３７】
さらにその他の実施の形態として、測距センサによる検出結果（測距データ）から書籍の湾曲歪を充分に検出することができない場合、書籍の印刷情報（罫線、文字等）に基づいて書籍の湾曲歪を検出し、補正する構成を備えても良い。測距センサによる測距が出来なかった場合にも湾曲歪が補正できるため好ましい。
【００３８】
（書籍撮影モードの第２の実施の形態）
次に、本発明に係る撮像装置の特徴となる書籍撮影モードの第２の実施の形態について説明する。
第２の実施の形態は、上記第１の実施の形態で取得された画像を撮像装置に設けられたＬＣＤ等の画像表示手段により表示する際の表示方法に関する。図１２に処理フローを示す。
撮像装置において画像表示モードが選択されることをスタートとし、表示画像が書籍撮影モードで撮影されたデータである場合（Ｓ２−１）、対応する測距データを抽出し（Ｓ２−２）、上記第１の実施の形態で説明した書籍の湾曲歪み補正処理に基づいた補正を行い（Ｓ２−３）、補正画像を表示（Ｓ２−４）する。
本実施の形態によれば、書籍撮影モードで撮影された書籍画像を再生する際に、湾曲歪が補正された歪の少ない画像を自動的に表示できるようになる。
【００３９】
また、ここでは図示していないが、補正画像をそのまま保存できるようなメニューや、画像の表示向きを変更するメニュー等があり、ユーザによる操作が行えるようにしても良い。
【００４０】
さらに、図１３に示す処理フローには、画像表示時に書籍の画像が選択された際（Ｓ３−１）、書籍の湾曲歪の補正を実行するか否かをユーザが画像補正指示手段により指示（Ｓ３−２）できるようにし、指示された場合にのみ、測距データを抽出し（Ｓ３−３）、書籍の湾曲歪の補正を行い（Ｓ３−４）、補正画像を表示（Ｓ３−５）させるようにしても良い。書籍の湾曲歪の補正の実行が指示されなかった場合は、補正しないそのままの画像データを表示する。
湾曲歪の補正を指示できるようにすることで、歪補正が必要な画像に対してのみ補正処理を実行できるようになる。
【００４１】
（書籍撮影モードの第３の実施の形態）
次に、本発明に係る撮像装置の特徴となる書籍撮影モードの第３の実施の形態について説明する。
第３の実施の形態は、書籍の湾曲形状検出結果から書籍と撮像装置の相対位置関係を判定手段により判定し、書籍の撮影画像データを表示する際、書籍の向き（相対位置関係の判定）に応じて自動的に正しい向きで表示されるようにする回転設定する処理を行う。
書籍と撮像装置との方向を自動的に検出できるようにすることで、書籍を撮影した画像を再生する際に、正しい向き（書籍を読む向き）にて再生できるようになる。
この処理について図９及び図１０を参照しながらより詳細に説明する。
【００４２】
被写体になる書籍を撮影する際、カメラを横向きで撮影する場合（図９（ａ）横撮影）と縦向きで撮影する場合（図９（ｂ）縦撮影）とがある。書籍を撮影する場合には上記第１、第２の実施の形態に記載の書籍撮影モードを選択する。
書籍撮影モードでは測距用撮像素子により距離画像を取得し、書籍の歪み補正に必要な測距データを取得できる。測距データにおいて画像の縦方向の変化量と横方向の変化量を演算し、変化量が大きい方向を書籍の湾曲方向として認識する（図９（ａ）、（ｂ）に太線で図示）。前記変化量としては、測距データの変動量（最大−最小）、標準偏差等、変化量を定量的に比較できる統計量とし、縦方向と横方向の大きさを比較する。
【００４３】
見開き原稿の形状は見開き部において、高さ方向に対して同一方向に湾曲するという共通の特徴量を有し、多くの書籍では、湾曲方向に対して直行した方向が読む上での正しい向きになっている。図９の青の太線が湾曲方向で、直行した方向が書籍の“上”（図９に図示）側になっている。このように、湾曲方向から書籍の“上“側を認識し、画像データに付与することで、図１０に示したように画像を表示する際に、”上“側を画像表示手段上でも上側に表示させるようにすることで、撮影した書籍を正しい向きで表示できるようになる。
【００４４】
なお、綴じ部が水平、垂直方向に対して中途半端な傾き（例えば１０°傾いているなど）のときにも同様に、自動的に垂直方向に修正することが好ましい。
また、カレンダーなどは綴じ部を中心に上下にページをめくるので自動的な回転をＯＮ／ＯＦＦする設定があることが好ましい。
【００４５】
以上の第１〜３の実施の形態によれば、データ容量が大幅に増大することなく書籍画像の湾曲歪を補正し歪の少ない画像が取得でき、且つ、ポータビリティに優れ、小型で低コストを達成できる。
【符号の説明】
【００４６】
１ デジタルカメラ（撮像装置）
２ 撮影レンズ系
３ 測距装置
４ レンズアレイ
５ａ 第１の測距レンズ
５ｂ 第２の測距レンズ
７ レリーズボタン
８ 撮影モード切替ダイヤル
１１ ＣＣＤイメージセンサ
１２ 信号処理部
１３ 操作部
１４ 制御部
１５ ＬＣＤ
１６ フォーカスレンズ駆動部
１７ 絞りユニット駆動部
１８ メモリカード
２０ 筐体
２１ 撮像素子基盤
２２ａ 測距用撮像素子
２２ｂ 測距用撮像素子
２４ 回路基板
２５ 測距用演算部
Ａ 被写体
Δ 視差
Ｌ 測距用レンズと被写体間の距離
ｆ 焦点距離
Ｄ 光軸間の距離（基線長）
【先行技術文献】
【特許文献】
【００４７】
【特許文献１】特開平０８−２４２３４７号公報
【特許文献２】特許第４１６２５０１号公報
【特許請求の範囲】
【請求項１】
撮像素子と、
該撮像素子に被写体の像を結像させる撮影レンズ系と、
前記撮像素子の信号から画像データを生成する画像生成手段と、
前記画像データを記録する記録手段と、
前記被写体の距離を二次元方向で多点測距し測距データを取得する測距手段と、
前記被写体として書籍を撮影する書籍撮影モードが設定可能な撮影モード選択手段と、
前記書籍撮影モードが選択されて得られた画像データを、前記測距手段により取得した測距データに基づいて湾曲歪を補正する制御手段と、を備えることを特徴とする撮像装置。
【請求項２】
前記記録手段により記録された画像データを読み出して表示する表示手段をさらに備え、
前記記録手段は、前記書籍撮影モードが選択されて撮影が行われた場合に、前記撮像素子の信号から生成された画像データと、前記測距手段により取得された測距データと、を対応させて記録し、
前記書籍撮影モードで記録された画像データを表示する際には、前記制御手段が当該書籍撮影モードで記録された画像データおよび対応する前記測距データを読み出して湾曲歪を補正し、前記表示手段が当該湾曲歪を補正後の画像データを表示することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段に前記画像データの湾曲歪の補正の実行を指示する画像補正指示手段をさらに備え、
前記画像補正指示手段により前記画像データの湾曲歪の補正の実行が指示された場合は、前記制御手段が前記画像データの湾曲歪の補正をし、前記表示手段が当該湾曲歪を補正後の画像データを表示し、
前記画像補正指示手段により前記画像データの湾曲歪の補正の実行が指示されていない場合は、前記制御手段が前記画像データの湾曲歪の補正をせずに、前記表示手段が画像データを表示することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記記録手段は、前記書籍撮影モードが選択されて撮影が行われた場合に、前記制御手段が前記測距手段により取得した測距データに基づいて湾曲歪を補正した画像データを記録することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記制御手段は、前記書籍の外周のエッジ部に囲まれた領域において前記書籍の見開き中心までの距離に基づいて湾曲歪の補正を実行することを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
【請求項６】
前記制御手段は、前記書籍の見開き中心までの距離と、前記書籍の印刷情報に基づいて湾曲歪の補正を実行することを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
【請求項７】
前記記録手段により記録された画像データを読み出して表示する表示手段と、当該撮像装置と前記書籍の相対位置関係を判定する判定手段と、をさらに備え、
前記画像データは、前記判定手段の判定に基づき表示方向を自動的に回転設定されて表示されることを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記測距手段は、前記撮影レンズ系と異なる光学系を有する測距センサにより測距していること、前記撮像素子上の被写体像による山登り方式により測距していること、および、前記撮影レンズ系を通った光線の一部を複数のラインセンサに導いて位相差方式で測距していること、の何れかの測距方法を用いることを特徴とする請求項１乃至７のいずれかに記載の撮像装置。
【請求項９】
撮影レンズ系を介して被写体の像を撮像素子に結像させ、該撮像素子の信号から画像データを生成する画像生成工程と、
前記画像データを記録する記録工程と、
前記被写体の距離を二次元方向で多点測距し測距データを取得する測距工程と、
前記被写体として書籍を撮影する書籍撮影モードが設定可能な撮影モード選択工程と、
前記書籍撮影モードが選択されて得られた画像データを、前記測距手段により取得した測距データに基づいて湾曲歪を補正する制御工程と、を備えることを特徴とする撮像方法。
【請求項１】
撮像素子と、
該撮像素子に被写体の像を結像させる撮影レンズ系と、
前記撮像素子の信号から画像データを生成する画像生成手段と、
前記画像データを記録する記録手段と、
前記被写体の距離を二次元方向で多点測距し測距データを取得する測距手段と、
前記被写体として書籍を撮影する書籍撮影モードが設定可能な撮影モード選択手段と、
前記書籍撮影モードが選択されて得られた画像データを、前記測距手段により取得した測距データに基づいて湾曲歪を補正する制御手段と、を備えることを特徴とする撮像装置。
【請求項２】
前記記録手段により記録された画像データを読み出して表示する表示手段をさらに備え、
前記記録手段は、前記書籍撮影モードが選択されて撮影が行われた場合に、前記撮像素子の信号から生成された画像データと、前記測距手段により取得された測距データと、を対応させて記録し、
前記書籍撮影モードで記録された画像データを表示する際には、前記制御手段が当該書籍撮影モードで記録された画像データおよび対応する前記測距データを読み出して湾曲歪を補正し、前記表示手段が当該湾曲歪を補正後の画像データを表示することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段に前記画像データの湾曲歪の補正の実行を指示する画像補正指示手段をさらに備え、
前記画像補正指示手段により前記画像データの湾曲歪の補正の実行が指示された場合は、前記制御手段が前記画像データの湾曲歪の補正をし、前記表示手段が当該湾曲歪を補正後の画像データを表示し、
前記画像補正指示手段により前記画像データの湾曲歪の補正の実行が指示されていない場合は、前記制御手段が前記画像データの湾曲歪の補正をせずに、前記表示手段が画像データを表示することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記記録手段は、前記書籍撮影モードが選択されて撮影が行われた場合に、前記制御手段が前記測距手段により取得した測距データに基づいて湾曲歪を補正した画像データを記録することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記制御手段は、前記書籍の外周のエッジ部に囲まれた領域において前記書籍の見開き中心までの距離に基づいて湾曲歪の補正を実行することを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
【請求項６】
前記制御手段は、前記書籍の見開き中心までの距離と、前記書籍の印刷情報に基づいて湾曲歪の補正を実行することを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
【請求項７】
前記記録手段により記録された画像データを読み出して表示する表示手段と、当該撮像装置と前記書籍の相対位置関係を判定する判定手段と、をさらに備え、
前記画像データは、前記判定手段の判定に基づき表示方向を自動的に回転設定されて表示されることを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記測距手段は、前記撮影レンズ系と異なる光学系を有する測距センサにより測距していること、前記撮像素子上の被写体像による山登り方式により測距していること、および、前記撮影レンズ系を通った光線の一部を複数のラインセンサに導いて位相差方式で測距していること、の何れかの測距方法を用いることを特徴とする請求項１乃至７のいずれかに記載の撮像装置。
【請求項９】
撮影レンズ系を介して被写体の像を撮像素子に結像させ、該撮像素子の信号から画像データを生成する画像生成工程と、
前記画像データを記録する記録工程と、
前記被写体の距離を二次元方向で多点測距し測距データを取得する測距工程と、
前記被写体として書籍を撮影する書籍撮影モードが設定可能な撮影モード選択工程と、
前記書籍撮影モードが選択されて得られた画像データを、前記測距手段により取得した測距データに基づいて湾曲歪を補正する制御工程と、を備えることを特徴とする撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図６】
【図８】
【図２】
【図３】
【図４】
【図５】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図６】
【図８】
【公開番号】特開２０１３−９３７０４（Ｐ２０１３−９３７０４Ａ）
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願番号】特願２０１１−２３３８８３（Ｐ２０１１−２３３８８３）
【出願日】平成２３年１０月２５日（２０１１．１０．２５）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願日】平成２３年１０月２５日（２０１１．１０．２５）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]