画像処理装置、画像処理方法及び画像処理プログラム
【課題】立体視画像の向きや位置を変更させても、立体視画像の自然な立体感を実現しうる。
【解決手段】生成部２は、表示用画像に含まれる立体視画像の向き及び位置の少なくとも一方を変更する場合、変更後の向き及び位置の少なくとも一方に対応する立体視画像を、視点の向き及び位置の少なくとも一方が異なる複数の立体視画像を有するデータである立体視画像データ３に含まれる複数の立体視画像から抽出し、当該抽出した立体視画像を含む表示用画像のデータである表示用画像データを生成するようにした。
【解決手段】生成部２は、表示用画像に含まれる立体視画像の向き及び位置の少なくとも一方を変更する場合、変更後の向き及び位置の少なくとも一方に対応する立体視画像を、視点の向き及び位置の少なくとも一方が異なる複数の立体視画像を有するデータである立体視画像データ３に含まれる複数の立体視画像から抽出し、当該抽出した立体視画像を含む表示用画像のデータである表示用画像データを生成するようにした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関し、例えば、立体視画像を含む表示用画像のデータを生成する際に適用して好適なものである。
【背景技術】
【０００２】
従来、電子書籍の表示装置において、ユーザによって前又は次のページを表示させる操作（すなわちページをめくる操作）が行われると、電子書籍のページをめくるアニメーションを表示させるようになされたものがある。
【０００３】
このような装置として、例えば、３次元コンピュータグラフィックスを用いて、仮想の３Ｄ空間上に電子書籍のページを立体的なオブジェクトとして配置し、ページをめくるアニメーションを立体的に表示させるものが提案されている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１８２８２０公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、異なる視点からの画像を左目用画像及び右目用画像として表示させ、ユーザに、左目用画像を左目で視認させると共に右目用画像を右目で視認させることで、表示させた画像を立体視させることのできる表示装置が普及し始めている。尚、このように、ユーザが立体視し得るように表示される画像のことを、以下立体視画像とも呼ぶ。
【０００６】
また、電子書籍では、特に雑誌や写真集など、ページ内にテキストだけでなく、写真や挿絵などといった画像を配置することが考えられる。そこで立体視画像を表示しうる表示装置において、このような電子書籍のページ内に配置する画像も立体視画像として表示させることが望まれる。
【０００７】
そこで、ページ内に立体視画像を配置し、当該ページをめくるアニメーションを立体的に表示させる場合を考える。この場合、ページがめくられていく（すなわちページ画像が前を向いた状態から斜めを向いていく）ことに伴って、ページ内に配置された立体視画像も前を向いた状態から斜めを向いていくように表示されることが考えられる。
【０００８】
ここで、立体視画像が現実に立体的であるならば、表示画面上で立体視画像の向きや位置が変更されても立体的に見えるはずである。
【０００９】
しかしながら、立体視画像は、通常、立体的に見える視点の向きや位置が限定されているため、表示画面上で立体視画像の向きや位置が変更されると、当該立体視画像が立体的に見えがたくなってしまう。
【００１０】
このように、立体視画像の向きや位置を変更させると、立体視画像の自然な立体感を実現できなかった。
【００１１】
本発明は以上の点を考慮してなされたもので、立体視画像の向きや位置を変更させても、立体視画像の自然な立体感を実現しうる画像処理装置、画像処理方法及び画像処理プログラムを提案しようとするものである。
【課題を解決するための手段】
【００１２】
かかる課題を解決するため本発明においては、立体視画像を含む表示用画像のデータである表示用画像データを生成する生成部と、視点の向き及び位置の少なくとも一方が異なる複数の立体視画像を有するデータである立体視画像データが記憶されている記憶部から当該立体視画像データを読み出す読出部とを設け、生成部は、立体視画像の向き及び位置の少なくとも一方を変更させる場合、変更後の向き及び位置の少なくとも一方に対応する立体視画像を、読出部により読み出された立体視画像データに含まれる複数の立体視画像から抽出し、当該抽出した立体視画像を含む表示用画像の表示用画像データを生成するようにした。
【００１３】
これにより、立体視画像の向きや位置が変わるのに応じて、その向きや位置に適した立体視画像を表示することができる。こうすることで、立体視画像の向きや位置が変わっても、常に立体視画像が立体的に見えるようにすることができる。
【発明の効果】
【００１４】
本発明によれば、立体視画像の向きや位置が変わるのに応じて、その向きや位置に適した立体視画像を表示することができる。こうすることで、立体視画像の向きや位置が変わっても、常に立体視画像が立体的に見えるようにすることができる。かくして、立体視画像の向きや位置を変更させても、立体視画像の自然な立体感を実現しうる画像処理装置、画像処理方法及び画像処理プログラムを実現することができる。
【図面の簡単な説明】
【００１５】
【図１】実施の形態の概要となる画像処理装置の機能構成を示すブロック図である。
【図２】書籍閲覧装置のハードウェア構成を示すブロック図である。
【図３】書籍閲覧画面の説明にともなう略線図である。
【図４】ページ画像及び写真画像が立体視される様子の説明にともなう略線図である。
【図５】視点の向きごとの写真画像の説明にともなう略線図である。
【図６】書籍画像の生成（１）の説明にともなう略線図である。
【図７】書籍画像の生成（２）の説明にともなう略線図である。
【図８】２Ｄパノラマ画像の生成の説明にともなう略線図である。
【図９】３Ｄパノラマ画像（１）の生成の説明にともなう略線図である。
【図１０】３Ｄパノラマ画像（２）の生成の説明にともなう略線図である。
【図１１】任意の視点の向きである写真画像の抽出の説明にともなう略線図である。
【図１２】書籍画像生成処理手順を示すフローチャートである。
【図１３】ページ画像の生成の説明にともなう略線図である。
【図１４】写真画像を配置する範囲の中心の座標の設定の説明にともなう略線図である。
【図１５】立体視画像の表示（１）の説明にともなう略線図である。
【図１６】立体視画像の表示（２）の説明にともなう略線図である。
【図１７】他の実施の形態における書籍画像の生成（１）の説明にともなう略線図である。
【図１８】他の実施の形態における書籍画像の生成（２）の説明にともなう略線図である。
【図１９】他の実施の形態におけるページ画像及び写真画像が立体視される様子の説明にともなう略線図である。
【図２０】他の実施の形態における視点の位置が異なる写真画像の生成の説明にともなう略線図である。
【発明を実施するための形態】
【００１６】
以下、発明を実施するための形態（以下、実施の形態とする）について説明する。尚、説明は以下の順序で行う。
１．実施の形態
２．他の実施の形態
【００１７】
＜１．実施の形態＞
［１−１．実施の形態の概要］
まず、実施の形態の概要を説明する。因みに、この概要を説明した後、本実施の形態の具体例の説明に移る。
【００１８】
図１において１は、画像処理装置を示す。この画像処理装置１は、立体視画像を含む表示用画像のデータである表示用画像データを生成する生成部２を有する。また、この画像処理装置１は、視点の向き及び位置の少なくとも一方が異なる複数の立体視画像を有するデータである立体視画像データ３が記憶されている記憶部４から当該立体視画像データ３を読み出す読出部５を有する。
【００１９】
生成部２は、表示用画像に含まれる立体視画像の向き及び位置の少なくとも一方を変更する場合、変更後の向き及び位置の少なくとも一方に対応する立体視画像を、読出部５により読み出された立体視画像データ３に含まれる複数の立体視画像から抽出する。そして生成部２は、抽出した立体視画像を含む表示用画像の表示用画像データを生成する。
【００２０】
これにより、画像処理装置１は、立体視画像の向きや位置が変わるのに応じて、その向きや位置に適した立体視画像を表示することができる。こうすることで、立体視画像の向きや位置が変わっても、常に立体視画像が立体的に見えるようにすることができる。かくして、画像処理装置１は、立体視画像の向きや位置を変更させても、立体視画像の自然な立体感を実現することができる。
【００２１】
より具体的には、表示用画像に含まれる立体視画像は、表示用画像に含まれるオブジェクト内に配置されているようにしてもよい。ここで、当該オブジェクトの向き及び位置の少なくとも一方を変更させることに伴って当該オブジェクト内に配置された立体視画像の向き及び位置の少なくとも一方を変更させるとする。この場合、生成部２は、変更後の向き及び位置の少なくとも一方に対応する立体視画像を、読出部５により読み出された立体視画像データ３に含まれる複数の立体視画像から抽出するようにしてもよい。そして生成部２は、当該抽出した立体視画像を、向き及び位置の少なくとも一方を変更させたオブジェクト内に配置し、当該オブジェクトを含む表示用画像の表示用画像データを生成するようにしてもよい。
【００２２】
またこの場合、立体視画像データ３は、視点の向き及び位置の少なくとも一方が異なる複数の立体視画像をつなげたパノラマ画像の画像データであるようにしてもよい。さらに、表示用画像に含まれるオブジェクト内の立体視画像を配置する部分は、透明化されているようにしてもよい。
【００２３】
ここで、当該オブジェクトの向き及び位置の少なくとも一方を変更させることに伴って当該オブジェクト内に配置された立体視画像の向き及び位置の少なくとも一方を変更させるとする。この場合、生成部２は、パノラマ画像における変更後の向き及び位置の少なくとも一方に対応する部分が、向き及び位置の少なくとも一方を変更させたオブジェクトの透明化された部分の下に位置するようにパノラマ画像を配置するようにしてもよい。この結果、生成部２は、パノラマ画像から変更後の向き及び位置の少なくとも一方に対応する立体視画像を抽出して当該オブジェクト内に配置したこととなる。
【００２４】
また、立体視画像データ３は、視点の向き及び位置の少なくとも一方が異なる複数の立体視画像毎のデータからなるようにしてもよい。
【００２５】
この場合、表示用画像に含まれるオブジェクト内の立体視画像を配置する部分は、透明化されているようにしてもよい。ここで、当該オブジェクトの向き及び位置の少なくとも一方を変更させることに伴って当該オブジェクト内に配置された立体視画像の向き及び位置の少なくとも一方を変更させるとする。この場合、生成部２は、立体視画像データ３に含まれる複数の立体視画像から、変更後の向き及び位置の少なくとも一方に対応する立体視画像を選択することにより、変更後の向き及び位置の少なくとも一方に対応する立体視画像を抽出するようにしてもよい。そして、生成部２は、当該抽出した立体視画像を、向き及び位置の少なくとも一方を変更させたオブジェクトの透明化された部分の下に位置するように配置するようにしてもよい。
【００２６】
また、生成部２は、入力部６を介して表示用画像に含まれる立体視画像の向き及び位置の少なくとも一方を変更させる操作入力が行われると、変更後の向き及び位置の少なくとも一方に対応する立体視画像を、立体視画像データ３に含まれる複数の立体視画像から抽出するようにしてもよい。そして生成部２は、当該抽出した立体視画像を含む表示用画像の表示用画像データを生成し、当該表示用画像データに基づいて当該表示用画像を表示部７に表示させるようにしてもよい。
【００２７】
また、生成部２は、読出部５により読み出された立体視画像データ３をもとに、表示用画像に含まれる立体視画像の向き及び位置の少なくとも一方を連続して変化させる動画像の動画像データを生成するようにしてもよい。
【００２８】
このような構成でなる画像処理装置１の具体例について、以下、詳しく説明する。
【００２９】
［１−２．実施の形態の具体例］
［１−２−１．書籍閲覧装置のハードウェア構成］
次に、図２を用いて、上述した画像処理装置１の具体例である書籍閲覧装置１０のハードウェア構成について説明する。
【００３０】
書籍閲覧装置１０は、制御部１１と、主記憶装置１２と、補助記憶装置１３と、表示装置１４と、入力装置１５とを有し、これらは、バス１６を介して接続されている。制御部１１は、ＣＰＵ(Central Processing Unit)構成でなる。主記憶装置１２は、例えば、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などで構成される。補助記憶装置１３は、例えば、磁気ディスク、光ディスク、フラッシュメモリなどで構成される。
【００３１】
書籍閲覧装置１０では、制御部１１が全体を統括制御すると共に、ＲＯＭや補助記憶装置１３に格納されているプログラムをＲＡＭに展開して読み込み、このプログラムに従って各種処理を実行すると共に各部を制御する。
【００３２】
表示装置１４は、例えば液晶ディスプレイなどで構成され、立体視画像の表示が可能な構成を有する。尚、立体視画像の表示方式には、例えば、偏向メガネなどを用いるパッシブ方式、液晶シャッターメガネなどを用いるアクティブ方式などユーザにメガネを装着させる方式や、パララックスバリア方式、レンチキュラーレンズ方式など、裸眼で立体視画像を観察可能な方式がある。表示装置１４は、どの表示方式に対応する構成であってもよい。
【００３３】
制御部１１は、例えばリモートコントローラなどの入力装置１５を介して入力される操作信号に応じて、各種処理を実行するようになっている。
【００３４】
また、補助記憶装置１３には、電子書籍のデータとして、電子書籍のページの画像であるページ画像を生成するためのページ画像データＰｄと、ページ内に配置する写真の画像である写真画像を生成するための写真画像データＨｄとが格納されている。
【００３５】
制御部１１は、入力装置１５を介して電子書籍を表示させる操作入力を受け付けると、ページ画像データＰｄ及び写真画像データＨｄをもとに、ページ内に写真画像を配置した書籍画像Ｂｐのデータである書籍画像データを生成する。
【００３６】
そして制御部１１は、当該書籍画像データに基づく書籍画像Ｂｐを表示装置１４に表示させる。尚、制御部１１は、書籍画像Ｂｐの左目用画像及び右目用画像を表示装置１４に表示させる。この結果、書籍閲覧装置１０は、ユーザに電子書籍を立体視させながら閲覧させることができる。
【００３７】
因みに、実施の形態の概要で説明した画像処理装置１の生成部２及び読出部５の具体的なハードウェアの例が上述した書籍閲覧装置１０の制御部１１である。また画像処理装置１の記憶部４の具体的なハードウェアの例が書籍閲覧装置１０の補助記憶装置１３である。さらに画像処理装置１の入力部６の具体的なハードウェアの例が書籍閲覧装置１０の入力装置１５である。さらに画像処理装置１の表示部７の具体的なハードウェアの例が書籍閲覧装置１０の表示装置１４である。
【００３８】
［１−２−２．電子書籍の表示］
次に、この書籍閲覧装置１０における電子書籍の表示機能について説明する。制御部１１は、入力装置１５を介して任意の電子書籍を選択する操作入力を受け付けると、図３に示す書籍閲覧画面１００を表示装置１４に表示させ、選択された電子書籍の書籍画像Ｂｐを表示装置１４に表示させる。
【００３９】
書籍画像Ｂｐは、電子書籍の見開き２ページ分の画像であり、最初に電子書籍を表示させた際は、例えば電子書籍の最初の１ページ目及び２ページ目の画像が表示される。
【００４０】
また書籍画像Ｂｐは、ページ画像Ｐｐと写真画像Ｈｐとから構成される。ページ画像Ｐｐは、例えば、３次元コンピュータグラフィックスを用いて、仮想の３Ｄ空間上に電子書籍のページを立体的なオブジェクトとして配置して生成した画像である。写真画像Ｈｐは、ページ画像Ｐｐのオブジェクトとしてのページ内に配置される写真の画像である。
【００４１】
ページ画像Ｐｐ及び写真画像Ｈｐは、それぞれユーザに立体視されるよう構成されている。ここで、ページ画像Ｐｐ及び写真画像Ｈｐが立体視される様子を説明するために、書籍画像Ｂｐによって示される仮想の立体的な書籍をラインＡ−Ａで切断した面を、図４に模式的に示す。
【００４２】
ページ画像Ｐｐは、書籍のページの立体的な形状（以下、立体ページとも呼ぶ）Ｐｆとして立体視される。尚、図４（Ａ）に示すようにページがめくられていない状態ではページは正面を向いており、図４（Ｂ）に示すようにページがめくられるときには、ページが斜めを向いていき、最終的に奥を向くこととなる。
【００４３】
また、ページ画像Ｐｐ内において写真画像Ｈｐが配置されている部分は、立体ページＰｆにおいて窓Ｆｒのように機能する。写真画像Ｈｐは、その写真が示す立体的な空間（以下、立体写真空間とも呼ぶ）Ｈｆとして、立体ページＰｆ内の窓Ｆｒの奥側に位置するように立体視される。したがって、書籍画像Ｂｐは、ページの奥にその写真が示す空間が奥行きを持って広がって見えるようになっている。
【００４４】
また、書籍閲覧装置１０では、視点Ｚから窓Ｆｒを通して立体写真空間Ｈｆを見たときに見える範囲（Ｅｙ１又はＥｙ２）が、写真画像Ｈｐとして表示される。
【００４５】
例えば、図４（Ａ）に示すようにページがめくられていない状態から、図４（Ｂ）に示すようにページがめくられていくときには、視点Ｚの向きは、窓Ｆｒ側から見れば垂直方向からページの向き分斜め方向へと変化していく。このとき、書籍閲覧装置１０では、視点Ｚから窓Ｆｒを通して立体写真空間Ｈｆを見たときに見える範囲が範囲Ｅｙ１から範囲Ｅｙ２へと移動していくのに伴い、写真画像Ｈｐとして表示される範囲を範囲Ｅｙ１から範囲Ｅｙ２へと変化させていく。
【００４６】
このように、写真画像Ｈｐが示す空間（立体写真空間Ｈｆ）が現実的に立体的であるとすれば、ページめくりに伴って窓Ｆｒ（写真画像Ｈｐ）の向きが変わるのに伴い、立体写真空間Ｈｆに対する視点Ｚの向きは変化していくものと考えられる。
【００４７】
そこで、書籍閲覧装置１０では、ページめくりに伴って写真画像Ｈｐの向きが変わるのに応じて、立体写真空間Ｈｆに対する視点の向きが変化していくように、写真画像Ｈｐを変化させていくようになっている。具体的に右側から左側へページをめくるときは、立体写真空間Ｈｆに対する視点の向きを正面から左側へと変化させていき、左側から右側へページをめくるときは、立体写真空間Ｈｆに対する視点の向きを正面から右側へと変化させていく。
【００４８】
これにより、書籍閲覧装置１０は、ページがめくられている間も、ページ内に配置された写真画像Ｈｐが示す空間（立体写真空間Ｈｆ）の自然な立体感を実現することができるようになっている。
【００４９】
ところで、このように写真画像Ｈｐの表示を変化させる処理の前提として、図５に示すように、各写真画像Ｈｐにおいて視点の向きが水平方向にそれぞれ異なる複数の写真画像Ｈｐを準備しておく。ここで、ページがめくられていないとき（すなわちページが正面を向いているとき）のページの向きを０度とし、このときページ（写真画像Ｈｐ）側から見たときの視点の向きを０度とする。
【００５０】
例えば、書籍を開いたときに右側に表示されるページについては、ページが右側から左側にめくられることとなるので、ページの向きが左側に２０度、４０度、６０度…と変化していくときに、視点の向きも左側に２０度、４０度、６０度…と水平に変化していく。ゆえに、このページ内における写真画像Ｈｐについては、視点の向きが０度である画像の他に、例えば、左側に２０度、４０度、６０度、８０度と視点の向きを水平に変化させたときの画像を準備しておく。尚、ページの向きが９０度以上となると、そのページが見えなくなるので、ここでは、視点の向きが９０度以上となったときの写真画像Ｈｐについては用意しなくてよい。
【００５１】
また、写真画像Ｈｐを立体視画像として表示させるために、写真画像Ｈｐにおいて各視点の向きごとに左目用画像及び右目用画像を準備しておく。因みに、左目用画像及び右目用画像は、水平方向に異なる視点からの画像であるため、被写体の位置が水平方向にずれている。尚、左目用の写真画像Ｈｐを以下、左目用写真画像とも呼び、右目用の写真画像Ｈｐを以下、右目用写真画像とも呼ぶ。
【００５２】
さらに書籍閲覧装置１０では、ページ画像Ｐｐも立体視画像として表示させるために、ページ画像Ｐｐの左目用画像及び右目用画像を生成する。尚、左目用のページ画像Ｐｐを以下、左目用ページ画像とも呼び、右目用のページ画像Ｐｐを以下、右目用ページ画像とも呼ぶ。
【００５３】
そして書籍閲覧装置１０は、図６に示すように、左目用ページ画像ＰｐＬと左目用写真画像ＨｐＬとを合成して、左目用ページ画像ＰｐＬ内に左目用写真画像ＨｐＬが配置された書籍画像Ｂｐの左目用画像（以下、左目用書籍画像とも呼ぶ）ＢｐＬを生成する。また、書籍閲覧装置１０は、右目用ページ画像ＰｐＲと右目用写真画像ＨｐＲとを合成して、右目用ページ画像ＰｐＲ内に右目用写真画像ＨｐＲが配置された書籍画像Ｂｐの右目用画像（以下、右目用書籍画像とも呼ぶ）ＢｐＲを生成する。
【００５４】
具体的に、書籍閲覧装置１０は、図７（Ａ）に示すように、ページがめくられていないときは、ページの向きが０度である左目用ページ画像ＰｐＬ内に、視点の向きが０度である左目用写真画像ＨｐＬが配置された左目用書籍画像ＢｐＬを生成して表示させる。また、書籍閲覧装置１０は、ページの向きが０度である右目用ページ画像ＰｐＲ内に、視点の向きが０度である右目用写真画像ＨｐＲが配置された右目用書籍画像ＢｐＲを生成して表示させる。
【００５５】
また、図７（Ａ）の状態から、図７（Ｂ）に示すように、右側のページがめくられて右側のページの向きが０度から２０度に変化したとする。このとき、書籍閲覧装置１０は、右側のページの向きが２０度である左目用ページ画像ＰｐＬ内に、視点の向きが２０度である左目用写真画像ＨｐＬが配置された左目用書籍画像ＢｐＬを生成して表示させる。また、書籍閲覧装置１０は、右側のページの向きが２０度である右目用ページ画像ＰｐＲ内に、視点の向きが２０度である右目用写真画像ＨｐＲが配置された右目用書籍画像ＢｐＲを生成して表示させる。
【００５６】
これにより、書籍画像Ｂｐでは、ページの向きが０度から２０度に変化するのに応じて、ページ画像Ｐｐ内に配置されていた視点の向き０度である写真画像Ｈｐが、視点の向き２０度である写真画像Ｈｐに置き換わって表示されることとなる。
【００５７】
また、図７（Ｃ）、（Ｄ）又は（Ｅ）に示す右側のページの向きが４０度、６０度又は８０度に変化したときは、同様にして左目用書籍画像ＢｐＬ及び右目用書籍画像ＢｐＲを生成して表示する。
【００５８】
尚、図７（Ｆ）に示すように右側のページの向きが９０度以上となった場合は、そのページが見えなくなると共に、そのページ内に配置された写真画像Ｈｐも見えなくなる。
【００５９】
このように、書籍閲覧装置１０では、ページ（写真画像Ｈｐ）の向きと、その向きにおいて写真画像Ｈｐを現実に立体的であるように見せるのに適した視点の向きである写真画像Ｈｐとが、対応付けられている。そして書籍閲覧装置１０は、ページの向きが変わるのに応じて、変更後のページの向きに対応する写真画像Ｈｐをページ画像Ｐｐ内に配置して書籍画像Ｂｐを生成し、表示させる。すなわち書籍閲覧装置１０では、ページの向きが変更されると、ページ内に配置されている写真画像Ｈｐが、変更後のページの向きに対応する視点の向きである写真画像Ｈｐに置き換わるようになっている。
【００６０】
［１−２−３．視点の向きが異なる写真画像の生成］
次に、視点の向きが水平方向に異なる写真画像Ｈｐを生成する方法について具体的に説明する。
【００６１】
まず、視点の向きが水平方向に異なる画像を得る方法としては、カメラを水平に回転移動させながら連続的に撮影した複数の画像を連結してパノラマ画像を生成する方法がある。
【００６２】
この方法では、図８（Ａ）に示すように、ユーザがカメラＣａを手に持ち、シャッターを押して左（点Ａ）から右（点Ｂ）に点Ｏを回転中心としながらカメラＣａを水平に半回転させる。このときカメラＣａはシャッター押下を検出すると、例えば、数１０〜１００枚程度の画像を連続的に撮影する。
【００６３】
これらの画像が図８（Ｂ）に示す画像であり、それぞれ視点の向き（すなわち撮影方向）が異なる画像である。これらの各画像から、中心から所定の幅でなる短冊状の領域ＴＯを切り出して連結すると、図８（Ｃ）に示すパノラマ画像Ｎｐ２が生成される。尚、このように生成したパノラマ画像を、２Ｄパノラマ画像とも呼ぶ。
【００６４】
また、立体視しうるパノラマ画像（以下、３Ｄパノラマ画像とも呼ぶ）を生成する場合も、図８（Ａ）に示すように、カメラＣａを水平に回転移動させながら連続撮影した複数の画像から所定の幅でなる短冊状の領域を切り出して連結することで生成する。尚、パノラマ画像の左目用画像を、以下、左目用パノラマ画像とも呼び、パノラマ画像の右目用画像を、以下、右目用パノラマ画像とも呼ぶ。
【００６５】
ここで３Ｄパノラマ画像では、２Ｄパノラマ画像と異なり、図９（Ａ）に示すように、撮影した画像から短冊状の領域を切り出す位置を左目用パノラマ画像と右目用パノラマ画像とで異なる位置とする。
【００６６】
具体的に、撮影した画像の中心よりもやや右側寄りの位置から左目用パノラマ画像用となる短冊状の領域（以下、左目用画像短冊とも呼ぶ）ＴＬを切り出す。一方、撮影した画像の中心よりもやや左側寄りの位置から右目用パノラマ画像用となる短冊状の領域（以下、右目用画像短冊とも呼ぶ）ＴＲを切り出す。
【００６７】
そして、図９（Ｂ）に示すように、連続撮影した複数の各画像から左目用画像短冊ＴＬのみを切り出して連結することで左目用パノラマ画像ＮｐＬを生成する。一方、図９（Ｃ）に示すように、連続撮影した複数の各画像から右目用画像短冊ＴＲのみを切り出して連結することで右目用パノラマ画像ＮｐＲを生成する。尚、左目用パノラマ画像ＮｐＬ及び右目用パノラマ画像ＮｐＲをまとめて、３Ｄパノラマ画像とも呼ぶ。
【００６８】
このようにして生成した左目用パノラマ画像ＮｐＬ及び右目用パノラマ画像ＮｐＲによって立体視を実現できる仕組みについて、以下説明する。
【００６９】
図１０に、点Ｏを回転中心としてカメラＣａを水平に回転移動させ、点Ｃ及び点Ｄにおいて被写体Ｓを撮影した状況を示す。点Ｃでは、左目用画像短冊ＴＬにおいて被写体Ｓを左側から見た画像が記録される。一方、点Ｄでは、右目用画像短冊ＴＲにおいて被写体Ｓを右側から見た画像が記録される。
【００７０】
したがって、左目用パノラマ画像ＮｐＬ及び右目用パノラマ画像ＮｐＲには、同一の被写体Ｓを異なる視点（左側及び右側）から撮影した画像が含まれることとなる。ゆえに、左目用パノラマ画像ＮｐＬ及び右目用パノラマ画像ＮｐＲによって被写体Ｓを立体視させることができるようになっている。
【００７１】
このようにして生成した３Ｄパノラマ画像（左目用パノラマ画像ＮｐＬ及び右目用パノラマ画像ＮｐＲ）は、換言すれば、視点の向きが異なる複数の立体視画像をつなげた画像である。
【００７２】
ゆえに、左目用パノラマ画像ＮｐＬ及び右目用パノラマ画像ＮｐＲから任意の範囲を抽出することで、任意の視点の向きである左目用写真画像ＨｐＬ及び右目用写真画像ＨｐＲを得ることができる。
【００７３】
例えば、図８（Ａ）に示したように、カメラＣａを水平に半回転（すなわち１８０度）分移動させながら連続撮影した画像を用いて、左目用パノラマ画像ＮｐＬ及び右目用パノラマ画像ＮｐＲを生成したとする。このとき、カメラＣａを４分の１回転（すなわち９０度）させたときの撮影方向（視点の向き）を０度（正面）とすると、左目用パノラマ画像ＮｐＬ及び右目用パノラマ画像ＮｐＲには、視点の向きがおよそ−９０度から＋９０度までの画像が含まれることになる。尚、ここでは、視点の向きが０度から左側方向に変化するときの角度をプラスの値とし、視点の向きが０度から右側方向に変化するときの角度をマイナスの値とする。
【００７４】
この場合、図１１（Ａ）に示すように、右目用パノラマ画像ＮｐＲにおいて、任意の点Ｆの横方向における位置が、各視点の向きに対応することとなる。例えば、中心の点Ｆ（０）の位置が視点の向き０度に対応する。また、中心の点Ｆ（０）よりも左側にある点Ｆは、視点の向きが０度よりも左側方向に変化したときの角度に対応し、中心の点Ｆ（０）よりも右側にある点Ｆは、視点の向きが０度よりも右側方向に変化したときの角度に対応する。また、中心の点Ｆ（０）から横方向に離れるほど、視点の向きを示す角度の絶対値が大きくなる。尚、図１１（Ａ）には、例として、視点の向きが−８０度、−６０度、−４０度、―２０度、０度、２０度、４０度、６０度、８０度にそれぞれ対応する点Ｆ（−８０）、点Ｆ（−６０）、点Ｆ（−４０）、点Ｆ（−２０）、点Ｆ（０）、点Ｆ（２０）、点Ｆ（４０）、点Ｆ（６０）、点Ｆ（８０）を示している。
【００７５】
したがって、図１１（Ｂ）に示すように、右目用パノラマ画像ＮｐＲから、例えば、視点の向き０度に対応する点Ｆ（０）を中心とした任意の範囲Ｂ１を抽出すれば、視点の向きが０度である右目用写真画像ＨｐＲを得ることができる。
【００７６】
また、図１１（Ｃ）に示すように、右目用パノラマ画像ＮｐＲから、例えば、視点の向き２０度に対応する点Ｆ（２０）を中心とした任意の範囲Ｂ２を抽出すれば、視点の向きが２０度である右目用写真画像ＨｐＲを得ることができる。
【００７７】
すなわち、右目用パノラマ画像ＮｐＲから、ページの向きに適した視点の向きに対応する位置を中心とした任意の範囲を抽出すれば、ページの向きに適した視点の向きである右目用写真画像ＨｐＲを得ることができる。
【００７８】
同様にして、左目用パノラマ画像ＮｐＬにおいても、ページの向きに適した視点の向きに対応する位置を中心とした任意の範囲を抽出すれば、ページの向きに適した視点の向きである左目用写真画像ＨｐＬを得ることができる。
【００７９】
このように、ページ画像Ｐｐ内に配置する写真画像Ｈｐについては、その写真を撮影する際にパノラマ撮影を行って３Ｄパノラマ画像の画像データを生成しておく。また、ページの向きと、その向きに適した視点の向きに対応する３Ｄパノラマ画像における横（水平）方向の位置との対応付けを示すデータ（以下、対応付けデータとも呼ぶ）も生成しておく。３Ｄパノラマ画像の画像データと対応付けデータとが、写真画像データＨｄとして書籍閲覧装置１０の補助記憶装置１３に記憶される。
【００８０】
そして、書籍閲覧装置１０では、写真画像データＨｄに基づいて、左目用パノラマ画像ＮｐＬ及び右目用パノラマ画像ＮｐＲから、ページの向きに適した視点の向きである左目用写真画像ＨｐＬ及び右目用写真画像ＨｐＲをそれぞれ抽出するようにする。
【００８１】
こうすることにより、補助記憶装置１３には、左目用パノラマ画像ＮｐＬ及び右目用パノラマ画像ＮｐＲの２枚の画像を記憶しておくだけでよいので、複数の異なる視点の向きごとに左目用写真画像ＨｐＬ及び右目用写真画像ＨｐＲを記憶させておく場合と比較して、記憶容量を節約することができる。
【００８２】
［１−２−４．書籍画像生成処理手順］
次に、書籍閲覧装置１０において書籍画像Ｂｐを生成する処理の手順（これを書籍画像生成処理手順とも呼ぶ）について、図１２に示すフローチャートを用いて説明する。尚、図１２に示す書籍画像生成処理手順ＲＴ１は、書籍閲覧装置１０の制御部１１が、ＲＯＭ又は補助記憶装置１３に格納されているプログラムにしたがって実行する処理の手順である。
【００８３】
制御部１１は、例えば、入力装置１５を介してページをめくる操作入力が行われると、書籍画像生成処理手順ＲＴ１を開始して、ステップＳＰ１に移る。
【００８４】
ステップＳＰ１において制御部１１は、補助記憶装置１３に格納されたページ画像データＰｄを読み出す。そして制御部１１は、ページ画像データＰｄをもとに、図１３に示すように、ＲＡＭ上の仮想の３Ｄ空間に立体的なオブジェクトとして配置された電子書籍のページを含むページ画像Ｐｐを生成する。
【００８５】
このとき制御部１１は、ページをめくる操作入力に応じてページの向きを変更したページ画像Ｐｐを生成する。尚、ページめくりをアニメーションで表示させる場合には、例えば６度など数度おきにページの向きを変えたページ画像Ｐｐを生成するようにしてもよい。
【００８６】
そして制御部１１は、仮想の３Ｄ空間において視点を左右にずらすことで、電子書籍のページを左側から見た画像（左目用ページ画像ＰｐＬ）及び右側から見た画像（右目用ページ画像ＰｐＲ）を生成して、次のステップＳＰ２に移る。
【００８７】
ステップＳＰ２において制御部１１は、左目用ページ画像ＰｐＬ及び右目用ページ画像ＰｐＲのそれぞれに対して、ページ内における写真画像Ｈｐを配置する部分ＣＬ及びＣＲ（図１４）を透明化する処理を施して、次のステップＳＰ３に移る。
【００８８】
ステップＳＰ３において制御部１１は、書籍画像Ｂｐにおいて写真画像Ｈｐを配置する位置を設定する。具体的には、制御部１１は、書籍画像Ｂｐにおいて写真画像Ｈｐを配置する範囲の中心の座標を設定する。
【００８９】
ページ画像Ｐｐは立体視画像であることから、図１４に示すように、左目用ページ画像ＰｐＬと右目用ページ画像ＰｐＲとでは、ページの位置が水平方向に若干ずれている。ゆえに、これらにおいて写真画像Ｈｐが配置される部分（以下、透明部分とも呼ぶ）ＣＬ及びＣＲの位置も水平方向に若干ずれている。
【００９０】
しかしながら、写真画像Ｈｐを立体視しうるよう表示させるためには、左目用写真画像ＨｐＬ及び右目用写真画像ＨｐＲを表示画面上で同一の位置に表示させる必要がある。したがって、左目用書籍画像ＢｐＬ及び右目用書籍画像ＢｐＲにおいて、写真画像Ｈｐを配置する位置を同一の位置とする必要がある。
【００９１】
そこで制御部１１は、左目用ページ画像ＰｐＬ及び右目用ページ画像ＰｐＲにおける透明部分ＣＬ及びＣＲの重心ＯｐＬ及びＯｐＲの座標をそれぞれ算出する。そして制御部１１は、重心ＯｐＬ及びＯｐＲを結ぶ線分の中点の座標を、左目用書籍画像ＢｐＬ及び右目用書籍画像ＢｐＲにおいて写真画像Ｈｐを配置する範囲の中心の座標として設定し、次のステップＳＰ４に移る。
【００９２】
ステップＳＰ４において制御部１１は、補助記憶装置１３から写真画像データＨｄを読み出す。そして制御部１１は、写真画像データＨｄに含まれる対応付けデータに基づいて、３Ｄパノラマ画像における、変更後のページの向きに対応する位置の座標を取得する。
【００９３】
制御部１１は、左目用パノラマ画像ＮｐＬにおける当該取得した位置が、ステップＳＰ３で設定した写真画像Ｈｐを配置する範囲の中心の座標に位置するように、左目用パノラマ画像ＮｐＬを配置する。
【００９４】
また、制御部１１は、右目用パノラマ画像ＮｐＬにおける当該取得した位置が、ステップＳＰ３で設定した写真画像Ｈｐを配置する範囲の中心の座標に位置するように、右目用パノラマ画像ＮｐＬを配置する。そして、制御部１１は、次のステップＳＰ５に移る。
【００９５】
ステップＳＰ５において制御部１１は、ステップＳＰ４で配置した左目用パノラマ画像ＮｐＬの上から左目用ページ画像ＰｐＬを重ねて配置し合成することで左目用書籍画像ＢｐＬの画像データを生成する。
【００９６】
これにより、左目用書籍画像ＢｐＬでは、左目用ページ画像ＰｐＬの透明部分ＣＬを通して、左目用パノラマ画像ＮｐＬにおける、ページの向きに適した視点の向きに対応する位置を中心とした透明部分ＣＬの横幅と同じ幅の範囲が見えることとなる。すなわち、左目用パノラマ画像ＮｐＬからページの向きに適した視点の向きである左目用写真画像ＨｐＬが抽出され、当該抽出された左目用写真画像ＨｐＬが左目用書籍画像ＢｐＬ内に配置されたこととなる。
【００９７】
また制御部１１は、ステップＳＰ４で配置した右目用パノラマ画像ＮｐＲの上から右目用ページ画像ＰｐＲを重ねて配置して合成することで右目用書籍画像ＢｐＲの画像データを生成する。
【００９８】
これにより、右目用書籍画像ＢｐＲでは、右目用ページ画像ＰｐＲの透明部分ＣＲを通して、右目用パノラマ画像ＮｐＲにおける、ページの向きに適した視点の向きに対応する位置を中心とした透明部分ＣＲの横幅と同じ幅の範囲が見えることとなる。すなわち、右目用パノラマ画像ＮｐＲからページの向きに適した視点の向きである右目用写真画像ＨｐＬが抽出され、当該抽出された右目用写真画像ＨｐＲが右目用書籍画像ＢｐＲ内に配置されたこととなる。
【００９９】
このようにして制御部１１は、左目用書籍画像ＢｐＬの画像データ及び右目用書籍画像ＢｐＲの画像データを生成すると、書籍画像生成処理手順ＲＴ１を終了する。
【０１００】
そして制御部１１は、これらの画像データに基づいて左目用書籍画像ＢｐＬ及び右目用書籍画像Ｂｐを表示装置１４に表示させるようになっている。
【０１０１】
［１−２−５．動作及び効果］
以上の構成において、書籍閲覧装置１０の補助記憶装置１３には、視点の向きが異なる複数の立体視画像をつなげた画像である３Ｄパノラマ画像の画像データが記憶されている。
【０１０２】
書籍閲覧装置１０の制御部１１は、電子書籍を表示させる操作入力が行われると、電子書籍のページを含む書籍画像Ｂｐを表示装置１４に表示させる。書籍画像Ｂｐに含まれるページ内には、立体視画像である写真画像Ｈｐが配置される。
【０１０３】
制御部１１は、ページをめくる（すなわちページの向き及び写真画像Ｈｐの向きを変更する）操作入力が行われると、ページの向きを変更させたページ画像Ｐｐを生成し、当該ページ画像Ｐｐに対しページ内の写真画像Ｈｐを配置する部分を透明化する処理を施す。
【０１０４】
そして制御部１１は、補助記憶装置１３から３Ｄパノラマ画像の画像データを読み出す。制御部１１は、３Ｄパノラマ画像における変更後のページの向きに対応する部分が、ページ画像Ｐｐの透明化された部分の下に位置するように、ページ画像Ｐｐの下から３Ｄパノラマ画像を重ねることにより、書籍画像Ｂｐの画像データを生成する。
【０１０５】
これにより、制御部１１は、変更後のページの向きに対応する写真画像Ｈｐを抽出し、当該抽出した写真画像Ｈｐをページ内に配置した書籍画像Ｂｐの書籍画像データを生成したこととなる。
【０１０６】
そして制御部１１は、生成した書籍画像データに基づく書籍画像Ｂｐを表示装置１４に表示させる。
【０１０７】
これにより、写真画像Ｈｐの向きが変わるのに応じて、その向きに適した視点の向きである写真画像Ｈｐを表示することができる。こうすることで、写真画像Ｈｐの向きが変わっても、常に写真画像Ｈｐが立体的に見えるようにすることができる。
【０１０８】
ところで、立体視画像は人間の目の水平方向の視差を利用して立体視を行わせるため、図１５（Ａ）に示すように、左目用画像Ｌｐと右目用画像Ｒｐでは、画像内の物体Ｆｓの位置が水平方向にずれるように作成される。もし、図１５（Ｂ）に示すように、左目用画像Ｌｐと右目用画像Ｒｐとで、物体Ｆｓの位置が垂直方向にずれていると、人間の脳では対象物を同じものと認識できず、物体Ｆｓを立体視できなくなってしまう。
【０１０９】
ここで、上述と同様に、仮想の３Ｄ空間に電子書籍のページを立体的なオブジェクトとして配置してページをめくる様子を表示する場合、画面上でのページの向きを変更する（すなわちページを変形すると共に斜めに傾ける）処理が行われることとなる。
【０１１０】
このページ内に、図１６（Ａ）に示す左目用画像Ｌｐ及び右目用画像Ｒｐからなる立体視画像が配置されていた場合、ページと同様に立体視画像を変形すると、図１６（Ｂ）に示すように、左目用画像Ｌｐと右目用画像Ｒｐのずれが斜め方向となる。すなわち、左目用画像Ｌｐと右目用画像Ｒｐとが水平方向だけでなく垂直方向にもずれてしまうこととなるので、立体視できず、ユーザの脳にも負担をかけてしまう。
【０１１１】
これに対し、書籍閲覧装置１０では、ページをめくる際、ページの向きを変更させたページ画像Ｐｐの下から、ページの向きに適した視点の向きである写真画像Ｈｐを含む３Ｄパノラマ画像を重ねることにより、書籍画像Ｂｐを生成するようにした。
【０１１２】
こうすることにより、ページの向きが変わるのに伴って写真画像Ｈｐの向きを変更する場合に、写真画像Ｈｐを変形させるような処理を行わないため、写真画像Ｈｐが立体視できなくなってしまうことを防止することができる。
【０１１３】
以上の構成によれば、書籍閲覧装置１０は、書籍画像Ｂｐに含まれる写真画像Ｈｐの向きを変更する場合、変更後の向きに対応する写真画像Ｈｐを３Ｄパノラマ画像から抽出し、抽出した写真画像Ｈｐを含む書籍画像Ｂｐのデータを生成するようにした。
【０１１４】
これにより、書籍閲覧装置１０は、書籍画像Ｂｐに含まれる写真画像Ｈｐの向きが変わるのに応じて、その向きに適した写真画像Ｈｐを表示することができる。こうすることで、書籍閲覧装置１０は、写真画像Ｈｐの向きが変わっても、常に立体的に見えるようにすることができる。かくして、書籍閲覧装置１０は、写真画像Ｈｐの向きを変更させても、写真画像Ｈｐの自然な立体感を実現することができる。
【０１１５】
＜２．他の実施の形態＞
［２−１．他の実施の形態１］
尚、上述した実施の形態では、ページをめくる（ページの向きを変更させる）ことで、当該ページ内に配置された写真画像Ｈｐの向きを変更するようにした。
【０１１６】
これに限らず、電子書籍自体の向きを変えることで、当該電子書籍のページ内に配置された写真画像Ｈｐの向きを変更するようにしてもよい。
【０１１７】
制御部１１は、例えば、入力装置１５を介して電子書籍自体の向きを変化させる操作入力が行われると、図１７に示すように、電子書籍自体の向きに対応する写真画像Ｈｐを、電子書籍自体の向きを変化させたページ画像Ｐｐ内に配置して、書籍画像Ｂｐを生成する。
【０１１８】
具体的に制御部１１は、例えば、図１７（Ａ）に示すように電子書籍自体の向きを４０度左向きにするときは、その向きに適した視点の向き４０度である左目用写真画像ＨｐＬを左目用ページ画像ＰｐＬ内に配置して左目用書籍画像ＢｐＬを生成する。また制御部１１は、視点の向きが４０度である右目用写真画像ＨｐＲを右目用ページ画像ＰｐＲ内に配置して右目用書籍画像ＢｐＲを生成する。
【０１１９】
また例えば、図１７（Ｂ）に示すように、電子書籍自体の向きを４０度右向きにするときは、制御部１１は、その向きに適した視点の向き−４０度である左目用写真画像ＨｐＬを左目用ページ画像ＰｐＬ内に配置した左目用書籍画像ＢｐＬを生成する。また制御部１１は、視点の向き−４０度である右目用写真画像ＨｐＲを右目用ページ画像ＰｐＲ内に配置した右目用書籍画像ＢｐＲを生成する。
【０１２０】
またこれに限らず、電子書籍自体の位置を変えることで、当該電子書籍のページ内に配置された写真画像Ｈｐの位置を変更するようにしてもよい。
【０１２１】
制御部１１は、例えば、入力装置１５を介して電子書籍自体の位置を変化させる（スライドさせる）操作入力が行われると、図１８に示すように、電子書籍自体の位置に対応する写真画像Ｈｐを、電子書籍自体の位置を変化させたページ画像Ｐｐ内に配置して、書籍画像Ｂｐを生成する。
【０１２２】
具体的に、例えば、図１８（Ａ）に示すように、ページ内に配置された写真画像Ｈｐの位置が、書籍閲覧画面１００の中央であるときは、この中央の位置に対応する視点の向きを、例えば０度とする。そこで制御部１１は、この写真画像Ｈｐの位置に対応する視点の向き０度である左目用写真画像ＨｐＬを左目用ページ画像ＰｐＬ内に配置した左目用書籍画像ＢｐＬを生成する。また制御部１１は、視点の向きが０度である右目用写真画像ＨｐＲを右目用ページ画像ＰｐＲ内に配置した右目用書籍画像ＢｐＬを生成する。
【０１２３】
また例えば、図１８（Ｂ）に示すように、ページ内に配置された写真画像Ｈｐの位置が、書籍閲覧画面１００の右端に近い位置であるときは、この位置に対応する視点の向きを、例えば−４０度とする。そこで制御部１１は、この写真画像Ｈｐの位置に対応する視点の向き−４０度である左目用写真画像ＨｐＬを左目用ページ画像ＰｐＬ内に配置した左目用書籍画像ＢｐＬを生成する。また制御部１１は、視点の向きが−４０度である右目用写真画像ＨｐＲを右目用ページ画像ＰｐＲ内に配置した右目用書籍画像ＢｐＬを生成する。
【０１２４】
このように制御部１１は、写真画像Ｈｐの位置を変更する場合、変更後の位置に対応する写真画像Ｈｐを書籍画像Ｂｐ内に配置するようにする。これにより、制御部１１は、写真画像Ｈｐの位置の変化量（スライド量）に応じて写真画像Ｈｐの視点の向きを変化させて表示することができる。
【０１２５】
またこれに限らず、書籍閲覧装置１０を、例えば携帯型電話機や携帯端末など携帯型の装置とし、書籍閲覧装置１０に例えば加速度センサなどの傾き検出センサを設け、書籍閲覧装置１０が傾けられるのに応じて写真画像Ｈｐの向きを変更するようにしてもよい。この場合において、変更後の写真画像Ｈｐの向きに対応する視点の向きである写真画像Ｈｐを書籍画像Ｂｐ内に配置するようにしてもよい。
【０１２６】
またこれに限らず、写真画像Ｈｐの向き及び位置の両方を変更する場合に、変更後の向き及び位置に対応する視点の向きである写真画像Ｈｐを書籍画像Ｂｐ内に配置するようにしてもよい。
【０１２７】
このように、写真画像Ｈｐの向き及び位置の少なくとも一方を変更する場合に、変更後の向き及び位置の少なくとも一方に対応する写真画像Ｈｐを書籍画像Ｂｐ内に配置するようにしてもよい。
【０１２８】
［２−２．他の実施の形態２］
また、上述した実施の形態では、ページをめくる（ページの向きを変更する）操作入力が行われると、変更後のページの向き（写真画像Ｈｐの向き）に適した視点の向きである写真画像Ｈｐを表示させるようにした。
【０１２９】
これに限らず、ページをめくる（ページの向きを変更する）操作入力が行われると、変更後のページの向き（写真画像Ｈｐの向き）に適した視点の位置である写真画像Ｈｐを表示させるようにしてもよい。
【０１３０】
例えば、図１９に示すように、ページ画像Ｐｐは書籍のページの立体的な形状（立体ページ）Ｐｆとして立体視されると共に、写真画像Ｈｐが示す空間（立体写真空間）Ｈｆがページから前に向かって飛び出るように立体視されるとする。
【０１３１】
この場合、図１９（Ａ）に示すように、ページがめくられていないときは、視点Ｚは立体写真空間Ｈｆから見て正面に位置する。ゆえに、立体写真空間Ｈｆを正面から見たときの画像を写真画像Ｈｐとして表示させる。
【０１３２】
一方、図１９（Ｂ）に示すように、ページがめくられているときは、視点Ｚは立体写真空間Ｈｆから見てページの向き分斜め方向に位置する。ゆえに、ページの向き分斜めの方向から立体写真空間Ｈｆを見たときの画像を写真画像Ｈｐとして表示させる。
【０１３３】
このように、写真画像Ｈｐが示す立体写真空間Ｈｆが現実的に立体的であるとすれば、ページめくりに伴って立体写真空間Ｈｆの向きが変わるのに伴い、立体写真空間Ｈｆに対する視点の位置は変化していくものと考えられる。
【０１３４】
そこで、制御部１１は、ページめくりに伴って写真画像Ｈｐの向きが変わるのに応じて、立体写真空間Ｈｆに対する視点の位置を水平に移動していくように、写真画像Ｈｐを変化させる。具体的に右側から左側へページをめくるときは、立体写真空間Ｈｆに対する視点の位置を正面から右側へ移動させていき、左側から右側へページをめくるときは、立体写真空間Ｈｆに対する視点の位置を正面から左側へ移動させていく。
【０１３５】
これにより、書籍閲覧装置１０は、ページがめくられている間も、ページ内に配置された写真画像Ｈｐが示す空間（立体写真空間Ｈｆ）の自然な立体感を実現することができる。
【０１３６】
このように写真画像Ｈｐの表示を変化させる処理の前提として、各写真画像Ｈｐにおいて視点の位置が水平方向にそれぞれ異なる複数の写真画像Ｈｐを準備しておく。
【０１３７】
例えば、図２０（Ａ）に示すように、点Ｇから点ＨへとカメラＣａの位置を移動させながら連続的に撮影を行うことにより、図２０（Ｂ）に示すように、視点の位置が異なる複数の写真画像Ｈｐを取得することができる。尚、このとき、写真画像Ｈｐが立体視画像となるように、例えば2つの視点からの撮影が可能な二眼カメラにおいて撮影を行う。
【０１３８】
このようにして生成された視点の位置が異なる複数の写真画像Ｈｐの画像データを補助記憶装置１３に記憶しておく。また、補助記憶装置１３には、ページ（写真画像Ｈｐ）の向きと、その向きにおいて写真画像Ｈｐを現実に立体的であるように見せるのに適した視点の位置である写真画像Ｈｐとの対応付けを示す対応付けデータも、記憶しておく。
【０１３９】
制御部１１は、ページの向きを変更する場合、対応付けデータをもとに、補助記憶装置１３に記憶された視点の位置が異なる複数の写真画像Ｈｐの中から、ページの向きに対応する写真画像Ｈｐを抽出する。そして制御部１１は、ページの向きを変更させたページ画像Ｐｐと抽出した写真画像Ｈｐとを合成して、ページ内に当該写真画像Ｈｐを配置した書籍画像Ｂｐの画像データを生成する。
【０１４０】
こうすることにより、書籍閲覧装置１０は、写真画像Ｈｐの向きが変わるのに応じて、写真画像Ｈｐに対する視点の位置が変わっていくように表示することができ、写真画像Ｈｐが現実に立体的であるかのようにユーザに感じさせることができる。
【０１４１】
またこれに限らず、写真画像Ｈｐの向きを変更する場合に、写真画像Ｈｐの視点の向き及び位置の両方を変更するようにしてもよい。この場合、視点の向き及び位置の両方が異なる複数の写真画像Ｈｐを有する画像データを補助記憶装置１３に記憶しておく。制御部１１は、写真画像Ｈｐの向きを変更する際、当該向きに対応する視点の向き及び位置である写真画像Ｈｐを当該画像データから抽出してページ内に配置した書籍画像Ｂｐの画像データを生成する。
【０１４２】
このように、写真画像Ｈｐの向きを変更する際に、視点の向き及び位置の少なくとも一方が異なる複数の写真画像Ｈｐを有する画像データから、変更後の向きに対応する写真画像Ｈｐを抽出してページ内に配置するようにしてもよい。
【０１４３】
［２−３．他の実施の形態３］
さらに、上述した実施の形態では、ページの向きを変更する場合、変更後のページの向きに対応する写真画像Ｈｐを、３Ｄパノラマ画像から抽出するようにした。
【０１４４】
これに限らず、視点の向きが異なる複数の写真画像Ｈｐの中から、変更後のページの向きに対応する写真画像Ｈｐを選択することで、変更後のページの向きに対応する写真画像Ｈｐを抽出するようにしてもよい。
【０１４５】
この場合、複数の異なる視点の向きである写真画像Ｈｐを準備し、各視点の向きごとの写真画像Ｈｐの画像データを補助記憶装置１３に記憶しておく。
【０１４６】
複数の異なる視点の向きである写真画像Ｈｐについては、例えば、二つの視点からの撮影が可能な二眼カメラを用いて、異なる複数の撮影方向の左目用写真画像ＨｐＬ及び右目用写真画像ＨｐＲを撮影することにより生成することができる。
【０１４７】
制御部１１は、ページの向きを変更する場合、ページの向きを変更させた左目用ページ画像ＰｐＬ及び右目用ページ画像ＰｐＲを生成する。制御部１１は、左目用ページ画像ＰｐＬ及び右目用ページ画像ＰｐＲのそれぞれに対し、左目用写真画像ＨｐＬ及び右目用写真画像ＨｐＲを配置する部分を透明化する処理を施す。
【０１４８】
また制御部１１は、補助記憶装置１３に記憶された、視点の向きごとの複数の写真画像Ｈｐの中から、ページの向きに対応する写真画像Ｈｐ（左目用写真画像ＨｐＬ及び右目用写真画像ＨｐＲ）を選択する。
【０１４９】
具体的に、例えば、図５に示したように、２０度おきに視点の向きが異なる写真画像Ｈｐが補助記憶装置１３に記憶されているとする。このとき、制御部１１は、ページの向きに対応する写真画像Ｈｐとして、例えば、記憶されている写真画像Ｈｐの中で、ページの向きに適した視点の向きと最も近い視点の向きである写真画像Ｈｐを選択するようにする。例えばページの向きが４０度であるときは、制御部１１は、視点の向きが４０度である写真画像Ｈｐを選択する。また例えば、ページの向きが２５度であるときは、制御部１１は、記憶されている写真画像Ｈｐの中で視点の向き２５度に最も近い視点の向き２０度の写真画像Ｈｐを選択する。
【０１５０】
制御部１１は、選択した左目用写真画像ＨｐＬが、ページの向きを変更させた左目用ページ画像ＰｐＬの透明部分ＣＬの下に位置するように、当該左目用写真画像ＨｐＬ及び当該左目用ページ画像ＰｐＬを合成して左目用書籍画像ＢｐＬを生成して表示させる。また制御部１１は、選択した右目用写真画像ＨｐＲが、ページの向きを変更させた右目用ページ画像ＰｐＲの透明部分ＣＲの下に位置するように、当該右目用写真画像ＨｐＲ及び当該右目用ページ画像ＰｐＲを合成して右目用書籍画像ＢｐＲを生成して表示させる。
【０１５１】
［２−４．他の実施の形態４］
さらに、上述した実施の形態では、ページをめくる（すなわちページの向きを変更する）操作入力が行われると、ページの向きを変更させたページ画像Ｐｐに、変更後のページの向きに対応する写真画像Ｈｐを配置して書籍画像Ｂｐを生成するようにした。
【０１５２】
これに限らず、予め、異なる複数のページの向きごとに、ページをその向きにしたページ画像Ｐｐに、その向きに対応する写真画像Ｈｐを配置した書籍画像Ｂｐを生成しておくようにしてもよい。
【０１５３】
例えばパーソナルコンピュータなどの情報処理装置において、制御部が、ページの向きが０度から１８０度まで連続して変化していく（すなわちページがめくられていく）動画像を生成するとする。
【０１５４】
この場合、例えば１８０度を３０分割した６度おきなどに、ページの向きに対応する視点の向きである写真画像Ｈｐを準備し、当該写真画像Ｈｐの画像データを記憶部に記憶させておく。尚、写真画像Ｈｐは立体視画像とし、ページの向きごとに左目用写真画像ＨｐＬ及び右目用写真画像ＨｐＲを記憶させておくとする。
【０１５５】
制御部は、例えば１８０度を３０分割した６度おきなどに、ページの向きを変更させたページ画像Ｐｐ（左目用ページ画像ＰｐＬ及び右目用ページ画像ＰｐＲ）を生成する。そして制御部は、記憶部に記憶されている複数の写真画像Ｈｐの中から、ページの向きごとに、その向きに対応する写真画像Ｈｐを抽出する。そして制御部は、各ページの向きごとに、抽出したその向きに対応する写真画像Ｈｐを、ページをその向きにしたページ画像Ｐｐ内に配置して書籍画像Ｂｐ（左目用書籍画像ＢｐＬ及び右目用書籍画像ＢｐＲ）の画像データを生成する。
【０１５６】
制御部は、生成した各ページの向きごとの書籍画像Ｂｐの画像データをもとに、ページの向きが時間的に連続して変化していくような動画像の動画像データを生成する。制御部は、この動画像データを、例えばＭＰＥＧ−ＭＶＣ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ − Ｍｕｌｔｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などの３Ｄ動画の形式に従って生成する。そして、制御部は、当該動画像データを、例えばＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））などの記録媒体に書き込んでおく。
【０１５７】
このような動画像データが記録された記録媒体（例えばＢＤ）を、再生装置（例えばＢＤプレーヤ）などによって再生すると、電子書籍のページがめくられる様子を表した動画像をユーザに視聴させることができる。
【０１５８】
また、この動画像では、ページの向き（すなわち写真画像Ｈｐの向き）が変更されるのに伴って、変更後の向きに対応する写真画像Ｈｐが次々に置き換えられていく。したがって、写真画像Ｈｐの向きが変わるのに応じて、その向きに適した写真画像Ｈｐを表示でき、写真画像Ｈｐの向きが変わっても、立体的に見えるようにすることができる。
【０１５９】
また再生装置において、例えば、動画像を一時停止すれば、ユーザに、電子書籍のページを、時間をかけて確認させることができる。また例えば、動画像を逆再生することで、ページ戻しを行うことができる。
【０１６０】
ところで、装置によっては、ページ画像Ｐｐと写真画像Ｈｐとを合成して書籍画像Ｂｐを生成する処理の負荷により、ページをめくる（すなわちページの向きを変更する）操作入力に応じてリアルタイムに実行できない場合がある。
【０１６１】
そこで上述したように、ＰＣなどで、予め、異なる複数のページの向きごとに、ページをその向きにしたページ画像Ｐｐに、その向きに対応する写真画像Ｈｐを配置した書籍画像Ｂｐを生成する。そして、これをもとに、ページの向きが連続して変化していくような動画像の動画像データを生成して記録媒体に記録しておく。
【０１６２】
これにより再生装置で記録媒体に記録された動画像データを再生するだけで、ページ画像Ｐｐ内に配置された写真画像Ｈｐの自然な立体感を実現しながら、電子書籍のページがめくられる動画像をユーザに視聴させることができる。
【０１６３】
因みに、再生装置は、このようにして生成された動画像データを、ネットワークを介してダウンロードして再生するようにしてもよい。
【０１６４】
［２−５．他の実施の形態５］
さらに、上述した実施の形態では、画面に表示する書籍画像Ｂｐに含まれるオブジェクトとしての電子書籍のページ内に、立体視画像である写真画像Ｈｐを配置し、ページの向きを変更するのに応じて、視点の向きを変更した写真画像Ｈｐを表示させるようにした。
【０１６５】
これに限らず、立体視画像ではない画像（２Ｄの画像）である写真画像をページ内に配置し、ページの向きを変更するのに応じて、視点の向きを変更した写真画像を表示させるようにしてもよい。
【０１６６】
この場合、２Ｄの画像である写真画像において、視点の向きが異なる複数の写真画像の画像データを補助記憶装置１３に記憶しておく。制御部１１は、ページの向きを変更する場合、視点の向きが異なる複数の写真画像の中から、変更後のページの向きに対応する視点の向きである写真画像を抽出する。そして制御部１１は、ページの向きを変更させたページ画像内に当該抽出した写真画像を配置して書籍画像を生成して表示させる。
【０１６７】
［２−６．他の実施の形態６］
さらに、上述した実施の形態では、画面に表示する表示用画像である書籍画像Ｂｐに含まれるオブジェクトである電子書籍のページ内に、立体視画像である写真画像Ｈｐを配置するようにした。
【０１６８】
これに限らず、表示用画像としてこの他種々の画像を表示するようにしてもよく、この表示用画像が電子書籍のページに限らず、この他種々のオブジェクトを含んでいるようにしてもよい。また、立体視画像であれば、この他種々の画像をオブジェクト内に配置するようにしてもよい。
【０１６９】
また、ページ内に写真画像Ｈｐを配置した書籍画像Ｂｐに限らず、立体視画像を含む表示用画像であれば、この他種々の画像を表示し、当該画像に含まれる立体視画像の向き又は位置の少なくとも一方を変更する際に、本発明を適用するようにしてもよい。
【０１７０】
［２−７．他の実施の形態７］
さらに、上述した実施の形態では、画像処理装置１としての書籍閲覧装置１０に、生成部２及び読出部５としての制御部２と、記憶部４としての補助記憶装置１３と、表示部７としての表示装置１４と、入力部６としての入力装置１５とを設けるようにした。
【０１７１】
本発明はこれに限らず、同様の機能を有するのであれば、上述した書籍閲覧装置１０の各機能部を、他の種々のハードウェアにより構成するようにしてもよい。
【０１７２】
また、生成部２及び読出部５と、記憶部４とが別々の装置に設けられていてもよい。例えば、立体視画像データ３が記憶された記憶部４を有するサーバから、ネットワークを介して、端末装置の読出部５が立体視画像データ３を読み出すようにしてもよい。さらに、生成部２及び読出部５と、表示部７、入力部６とが別々の装置に設けられていてもよい。
【０１７３】
さらに上述した実施の形態では、書籍閲覧装置１０に本発明を適用するようにした。これに限らず、立体視画像を含む表示用画像のデータを生成しうる装置であれば、例えば、デジタルカメラ、パーソナルコンピュータ、携帯型電話機など、この他種々の機器に適用するようにしてもよく、また適用することができる。
【０１７４】
［２−８．他の実施の形態８］
さらに上述した実施の形態では、各種処理を実行するためのプログラムを、書籍閲覧装置１０のＲＯＭ又は補助記憶装置１３に書き込んでおくようにした。
【０１７５】
これに限らず、例えば、書籍閲覧装置１０にメモリカードなどの記憶媒体のスロットを設け、制御部１１が、このスロットに差し込まれた記憶媒体からプログラムを読み出して実行するようにしてもよい。また制御部１１が、この記憶媒体から読み出したプログラムを、補助記憶装置１３にインストールするようにしてもよい。さらに書籍閲覧装置１０にネットワークインターフェースを設け、制御部１１が、プログラムを、ネットワークインターフェースを介して、ネットワーク上の機器からダウンロードして、補助記憶装置１３にインストールするようにしてもよい。
【０１７６】
［２−９．他の実施の形態９］
さらに、本発明は、上述した実施の形態と他の実施の形態とに限定されるものではない。すなわち本発明は、上述した実施の形態と他の実施の形態の一部または全部を任意に組み合わせた形態、もしくは一部を抽出した形態にもその適用範囲が及ぶものである。
【産業上の利用可能性】
【０１７７】
本発明は、例えば、立体視画像を含む表示用画像のデータを生成する電子機器などで広く利用することができる。
【符号の説明】
【０１７８】
１……画像処理装置、２……制御部、３……立体視画像データ、４……記憶部、５……読出部、６……入力部、７……表示部、１０……書籍閲覧装置、１１……制御部、１２……主記憶装置、１３……補助記憶装置、１４……表示装置、１５……入力装置。
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関し、例えば、立体視画像を含む表示用画像のデータを生成する際に適用して好適なものである。
【背景技術】
【０００２】
従来、電子書籍の表示装置において、ユーザによって前又は次のページを表示させる操作（すなわちページをめくる操作）が行われると、電子書籍のページをめくるアニメーションを表示させるようになされたものがある。
【０００３】
このような装置として、例えば、３次元コンピュータグラフィックスを用いて、仮想の３Ｄ空間上に電子書籍のページを立体的なオブジェクトとして配置し、ページをめくるアニメーションを立体的に表示させるものが提案されている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１８２８２０公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、異なる視点からの画像を左目用画像及び右目用画像として表示させ、ユーザに、左目用画像を左目で視認させると共に右目用画像を右目で視認させることで、表示させた画像を立体視させることのできる表示装置が普及し始めている。尚、このように、ユーザが立体視し得るように表示される画像のことを、以下立体視画像とも呼ぶ。
【０００６】
また、電子書籍では、特に雑誌や写真集など、ページ内にテキストだけでなく、写真や挿絵などといった画像を配置することが考えられる。そこで立体視画像を表示しうる表示装置において、このような電子書籍のページ内に配置する画像も立体視画像として表示させることが望まれる。
【０００７】
そこで、ページ内に立体視画像を配置し、当該ページをめくるアニメーションを立体的に表示させる場合を考える。この場合、ページがめくられていく（すなわちページ画像が前を向いた状態から斜めを向いていく）ことに伴って、ページ内に配置された立体視画像も前を向いた状態から斜めを向いていくように表示されることが考えられる。
【０００８】
ここで、立体視画像が現実に立体的であるならば、表示画面上で立体視画像の向きや位置が変更されても立体的に見えるはずである。
【０００９】
しかしながら、立体視画像は、通常、立体的に見える視点の向きや位置が限定されているため、表示画面上で立体視画像の向きや位置が変更されると、当該立体視画像が立体的に見えがたくなってしまう。
【００１０】
このように、立体視画像の向きや位置を変更させると、立体視画像の自然な立体感を実現できなかった。
【００１１】
本発明は以上の点を考慮してなされたもので、立体視画像の向きや位置を変更させても、立体視画像の自然な立体感を実現しうる画像処理装置、画像処理方法及び画像処理プログラムを提案しようとするものである。
【課題を解決するための手段】
【００１２】
かかる課題を解決するため本発明においては、立体視画像を含む表示用画像のデータである表示用画像データを生成する生成部と、視点の向き及び位置の少なくとも一方が異なる複数の立体視画像を有するデータである立体視画像データが記憶されている記憶部から当該立体視画像データを読み出す読出部とを設け、生成部は、立体視画像の向き及び位置の少なくとも一方を変更させる場合、変更後の向き及び位置の少なくとも一方に対応する立体視画像を、読出部により読み出された立体視画像データに含まれる複数の立体視画像から抽出し、当該抽出した立体視画像を含む表示用画像の表示用画像データを生成するようにした。
【００１３】
これにより、立体視画像の向きや位置が変わるのに応じて、その向きや位置に適した立体視画像を表示することができる。こうすることで、立体視画像の向きや位置が変わっても、常に立体視画像が立体的に見えるようにすることができる。
【発明の効果】
【００１４】
本発明によれば、立体視画像の向きや位置が変わるのに応じて、その向きや位置に適した立体視画像を表示することができる。こうすることで、立体視画像の向きや位置が変わっても、常に立体視画像が立体的に見えるようにすることができる。かくして、立体視画像の向きや位置を変更させても、立体視画像の自然な立体感を実現しうる画像処理装置、画像処理方法及び画像処理プログラムを実現することができる。
【図面の簡単な説明】
【００１５】
【図１】実施の形態の概要となる画像処理装置の機能構成を示すブロック図である。
【図２】書籍閲覧装置のハードウェア構成を示すブロック図である。
【図３】書籍閲覧画面の説明にともなう略線図である。
【図４】ページ画像及び写真画像が立体視される様子の説明にともなう略線図である。
【図５】視点の向きごとの写真画像の説明にともなう略線図である。
【図６】書籍画像の生成（１）の説明にともなう略線図である。
【図７】書籍画像の生成（２）の説明にともなう略線図である。
【図８】２Ｄパノラマ画像の生成の説明にともなう略線図である。
【図９】３Ｄパノラマ画像（１）の生成の説明にともなう略線図である。
【図１０】３Ｄパノラマ画像（２）の生成の説明にともなう略線図である。
【図１１】任意の視点の向きである写真画像の抽出の説明にともなう略線図である。
【図１２】書籍画像生成処理手順を示すフローチャートである。
【図１３】ページ画像の生成の説明にともなう略線図である。
【図１４】写真画像を配置する範囲の中心の座標の設定の説明にともなう略線図である。
【図１５】立体視画像の表示（１）の説明にともなう略線図である。
【図１６】立体視画像の表示（２）の説明にともなう略線図である。
【図１７】他の実施の形態における書籍画像の生成（１）の説明にともなう略線図である。
【図１８】他の実施の形態における書籍画像の生成（２）の説明にともなう略線図である。
【図１９】他の実施の形態におけるページ画像及び写真画像が立体視される様子の説明にともなう略線図である。
【図２０】他の実施の形態における視点の位置が異なる写真画像の生成の説明にともなう略線図である。
【発明を実施するための形態】
【００１６】
以下、発明を実施するための形態（以下、実施の形態とする）について説明する。尚、説明は以下の順序で行う。
１．実施の形態
２．他の実施の形態
【００１７】
＜１．実施の形態＞
［１−１．実施の形態の概要］
まず、実施の形態の概要を説明する。因みに、この概要を説明した後、本実施の形態の具体例の説明に移る。
【００１８】
図１において１は、画像処理装置を示す。この画像処理装置１は、立体視画像を含む表示用画像のデータである表示用画像データを生成する生成部２を有する。また、この画像処理装置１は、視点の向き及び位置の少なくとも一方が異なる複数の立体視画像を有するデータである立体視画像データ３が記憶されている記憶部４から当該立体視画像データ３を読み出す読出部５を有する。
【００１９】
生成部２は、表示用画像に含まれる立体視画像の向き及び位置の少なくとも一方を変更する場合、変更後の向き及び位置の少なくとも一方に対応する立体視画像を、読出部５により読み出された立体視画像データ３に含まれる複数の立体視画像から抽出する。そして生成部２は、抽出した立体視画像を含む表示用画像の表示用画像データを生成する。
【００２０】
これにより、画像処理装置１は、立体視画像の向きや位置が変わるのに応じて、その向きや位置に適した立体視画像を表示することができる。こうすることで、立体視画像の向きや位置が変わっても、常に立体視画像が立体的に見えるようにすることができる。かくして、画像処理装置１は、立体視画像の向きや位置を変更させても、立体視画像の自然な立体感を実現することができる。
【００２１】
より具体的には、表示用画像に含まれる立体視画像は、表示用画像に含まれるオブジェクト内に配置されているようにしてもよい。ここで、当該オブジェクトの向き及び位置の少なくとも一方を変更させることに伴って当該オブジェクト内に配置された立体視画像の向き及び位置の少なくとも一方を変更させるとする。この場合、生成部２は、変更後の向き及び位置の少なくとも一方に対応する立体視画像を、読出部５により読み出された立体視画像データ３に含まれる複数の立体視画像から抽出するようにしてもよい。そして生成部２は、当該抽出した立体視画像を、向き及び位置の少なくとも一方を変更させたオブジェクト内に配置し、当該オブジェクトを含む表示用画像の表示用画像データを生成するようにしてもよい。
【００２２】
またこの場合、立体視画像データ３は、視点の向き及び位置の少なくとも一方が異なる複数の立体視画像をつなげたパノラマ画像の画像データであるようにしてもよい。さらに、表示用画像に含まれるオブジェクト内の立体視画像を配置する部分は、透明化されているようにしてもよい。
【００２３】
ここで、当該オブジェクトの向き及び位置の少なくとも一方を変更させることに伴って当該オブジェクト内に配置された立体視画像の向き及び位置の少なくとも一方を変更させるとする。この場合、生成部２は、パノラマ画像における変更後の向き及び位置の少なくとも一方に対応する部分が、向き及び位置の少なくとも一方を変更させたオブジェクトの透明化された部分の下に位置するようにパノラマ画像を配置するようにしてもよい。この結果、生成部２は、パノラマ画像から変更後の向き及び位置の少なくとも一方に対応する立体視画像を抽出して当該オブジェクト内に配置したこととなる。
【００２４】
また、立体視画像データ３は、視点の向き及び位置の少なくとも一方が異なる複数の立体視画像毎のデータからなるようにしてもよい。
【００２５】
この場合、表示用画像に含まれるオブジェクト内の立体視画像を配置する部分は、透明化されているようにしてもよい。ここで、当該オブジェクトの向き及び位置の少なくとも一方を変更させることに伴って当該オブジェクト内に配置された立体視画像の向き及び位置の少なくとも一方を変更させるとする。この場合、生成部２は、立体視画像データ３に含まれる複数の立体視画像から、変更後の向き及び位置の少なくとも一方に対応する立体視画像を選択することにより、変更後の向き及び位置の少なくとも一方に対応する立体視画像を抽出するようにしてもよい。そして、生成部２は、当該抽出した立体視画像を、向き及び位置の少なくとも一方を変更させたオブジェクトの透明化された部分の下に位置するように配置するようにしてもよい。
【００２６】
また、生成部２は、入力部６を介して表示用画像に含まれる立体視画像の向き及び位置の少なくとも一方を変更させる操作入力が行われると、変更後の向き及び位置の少なくとも一方に対応する立体視画像を、立体視画像データ３に含まれる複数の立体視画像から抽出するようにしてもよい。そして生成部２は、当該抽出した立体視画像を含む表示用画像の表示用画像データを生成し、当該表示用画像データに基づいて当該表示用画像を表示部７に表示させるようにしてもよい。
【００２７】
また、生成部２は、読出部５により読み出された立体視画像データ３をもとに、表示用画像に含まれる立体視画像の向き及び位置の少なくとも一方を連続して変化させる動画像の動画像データを生成するようにしてもよい。
【００２８】
このような構成でなる画像処理装置１の具体例について、以下、詳しく説明する。
【００２９】
［１−２．実施の形態の具体例］
［１−２−１．書籍閲覧装置のハードウェア構成］
次に、図２を用いて、上述した画像処理装置１の具体例である書籍閲覧装置１０のハードウェア構成について説明する。
【００３０】
書籍閲覧装置１０は、制御部１１と、主記憶装置１２と、補助記憶装置１３と、表示装置１４と、入力装置１５とを有し、これらは、バス１６を介して接続されている。制御部１１は、ＣＰＵ(Central Processing Unit)構成でなる。主記憶装置１２は、例えば、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などで構成される。補助記憶装置１３は、例えば、磁気ディスク、光ディスク、フラッシュメモリなどで構成される。
【００３１】
書籍閲覧装置１０では、制御部１１が全体を統括制御すると共に、ＲＯＭや補助記憶装置１３に格納されているプログラムをＲＡＭに展開して読み込み、このプログラムに従って各種処理を実行すると共に各部を制御する。
【００３２】
表示装置１４は、例えば液晶ディスプレイなどで構成され、立体視画像の表示が可能な構成を有する。尚、立体視画像の表示方式には、例えば、偏向メガネなどを用いるパッシブ方式、液晶シャッターメガネなどを用いるアクティブ方式などユーザにメガネを装着させる方式や、パララックスバリア方式、レンチキュラーレンズ方式など、裸眼で立体視画像を観察可能な方式がある。表示装置１４は、どの表示方式に対応する構成であってもよい。
【００３３】
制御部１１は、例えばリモートコントローラなどの入力装置１５を介して入力される操作信号に応じて、各種処理を実行するようになっている。
【００３４】
また、補助記憶装置１３には、電子書籍のデータとして、電子書籍のページの画像であるページ画像を生成するためのページ画像データＰｄと、ページ内に配置する写真の画像である写真画像を生成するための写真画像データＨｄとが格納されている。
【００３５】
制御部１１は、入力装置１５を介して電子書籍を表示させる操作入力を受け付けると、ページ画像データＰｄ及び写真画像データＨｄをもとに、ページ内に写真画像を配置した書籍画像Ｂｐのデータである書籍画像データを生成する。
【００３６】
そして制御部１１は、当該書籍画像データに基づく書籍画像Ｂｐを表示装置１４に表示させる。尚、制御部１１は、書籍画像Ｂｐの左目用画像及び右目用画像を表示装置１４に表示させる。この結果、書籍閲覧装置１０は、ユーザに電子書籍を立体視させながら閲覧させることができる。
【００３７】
因みに、実施の形態の概要で説明した画像処理装置１の生成部２及び読出部５の具体的なハードウェアの例が上述した書籍閲覧装置１０の制御部１１である。また画像処理装置１の記憶部４の具体的なハードウェアの例が書籍閲覧装置１０の補助記憶装置１３である。さらに画像処理装置１の入力部６の具体的なハードウェアの例が書籍閲覧装置１０の入力装置１５である。さらに画像処理装置１の表示部７の具体的なハードウェアの例が書籍閲覧装置１０の表示装置１４である。
【００３８】
［１−２−２．電子書籍の表示］
次に、この書籍閲覧装置１０における電子書籍の表示機能について説明する。制御部１１は、入力装置１５を介して任意の電子書籍を選択する操作入力を受け付けると、図３に示す書籍閲覧画面１００を表示装置１４に表示させ、選択された電子書籍の書籍画像Ｂｐを表示装置１４に表示させる。
【００３９】
書籍画像Ｂｐは、電子書籍の見開き２ページ分の画像であり、最初に電子書籍を表示させた際は、例えば電子書籍の最初の１ページ目及び２ページ目の画像が表示される。
【００４０】
また書籍画像Ｂｐは、ページ画像Ｐｐと写真画像Ｈｐとから構成される。ページ画像Ｐｐは、例えば、３次元コンピュータグラフィックスを用いて、仮想の３Ｄ空間上に電子書籍のページを立体的なオブジェクトとして配置して生成した画像である。写真画像Ｈｐは、ページ画像Ｐｐのオブジェクトとしてのページ内に配置される写真の画像である。
【００４１】
ページ画像Ｐｐ及び写真画像Ｈｐは、それぞれユーザに立体視されるよう構成されている。ここで、ページ画像Ｐｐ及び写真画像Ｈｐが立体視される様子を説明するために、書籍画像Ｂｐによって示される仮想の立体的な書籍をラインＡ−Ａで切断した面を、図４に模式的に示す。
【００４２】
ページ画像Ｐｐは、書籍のページの立体的な形状（以下、立体ページとも呼ぶ）Ｐｆとして立体視される。尚、図４（Ａ）に示すようにページがめくられていない状態ではページは正面を向いており、図４（Ｂ）に示すようにページがめくられるときには、ページが斜めを向いていき、最終的に奥を向くこととなる。
【００４３】
また、ページ画像Ｐｐ内において写真画像Ｈｐが配置されている部分は、立体ページＰｆにおいて窓Ｆｒのように機能する。写真画像Ｈｐは、その写真が示す立体的な空間（以下、立体写真空間とも呼ぶ）Ｈｆとして、立体ページＰｆ内の窓Ｆｒの奥側に位置するように立体視される。したがって、書籍画像Ｂｐは、ページの奥にその写真が示す空間が奥行きを持って広がって見えるようになっている。
【００４４】
また、書籍閲覧装置１０では、視点Ｚから窓Ｆｒを通して立体写真空間Ｈｆを見たときに見える範囲（Ｅｙ１又はＥｙ２）が、写真画像Ｈｐとして表示される。
【００４５】
例えば、図４（Ａ）に示すようにページがめくられていない状態から、図４（Ｂ）に示すようにページがめくられていくときには、視点Ｚの向きは、窓Ｆｒ側から見れば垂直方向からページの向き分斜め方向へと変化していく。このとき、書籍閲覧装置１０では、視点Ｚから窓Ｆｒを通して立体写真空間Ｈｆを見たときに見える範囲が範囲Ｅｙ１から範囲Ｅｙ２へと移動していくのに伴い、写真画像Ｈｐとして表示される範囲を範囲Ｅｙ１から範囲Ｅｙ２へと変化させていく。
【００４６】
このように、写真画像Ｈｐが示す空間（立体写真空間Ｈｆ）が現実的に立体的であるとすれば、ページめくりに伴って窓Ｆｒ（写真画像Ｈｐ）の向きが変わるのに伴い、立体写真空間Ｈｆに対する視点Ｚの向きは変化していくものと考えられる。
【００４７】
そこで、書籍閲覧装置１０では、ページめくりに伴って写真画像Ｈｐの向きが変わるのに応じて、立体写真空間Ｈｆに対する視点の向きが変化していくように、写真画像Ｈｐを変化させていくようになっている。具体的に右側から左側へページをめくるときは、立体写真空間Ｈｆに対する視点の向きを正面から左側へと変化させていき、左側から右側へページをめくるときは、立体写真空間Ｈｆに対する視点の向きを正面から右側へと変化させていく。
【００４８】
これにより、書籍閲覧装置１０は、ページがめくられている間も、ページ内に配置された写真画像Ｈｐが示す空間（立体写真空間Ｈｆ）の自然な立体感を実現することができるようになっている。
【００４９】
ところで、このように写真画像Ｈｐの表示を変化させる処理の前提として、図５に示すように、各写真画像Ｈｐにおいて視点の向きが水平方向にそれぞれ異なる複数の写真画像Ｈｐを準備しておく。ここで、ページがめくられていないとき（すなわちページが正面を向いているとき）のページの向きを０度とし、このときページ（写真画像Ｈｐ）側から見たときの視点の向きを０度とする。
【００５０】
例えば、書籍を開いたときに右側に表示されるページについては、ページが右側から左側にめくられることとなるので、ページの向きが左側に２０度、４０度、６０度…と変化していくときに、視点の向きも左側に２０度、４０度、６０度…と水平に変化していく。ゆえに、このページ内における写真画像Ｈｐについては、視点の向きが０度である画像の他に、例えば、左側に２０度、４０度、６０度、８０度と視点の向きを水平に変化させたときの画像を準備しておく。尚、ページの向きが９０度以上となると、そのページが見えなくなるので、ここでは、視点の向きが９０度以上となったときの写真画像Ｈｐについては用意しなくてよい。
【００５１】
また、写真画像Ｈｐを立体視画像として表示させるために、写真画像Ｈｐにおいて各視点の向きごとに左目用画像及び右目用画像を準備しておく。因みに、左目用画像及び右目用画像は、水平方向に異なる視点からの画像であるため、被写体の位置が水平方向にずれている。尚、左目用の写真画像Ｈｐを以下、左目用写真画像とも呼び、右目用の写真画像Ｈｐを以下、右目用写真画像とも呼ぶ。
【００５２】
さらに書籍閲覧装置１０では、ページ画像Ｐｐも立体視画像として表示させるために、ページ画像Ｐｐの左目用画像及び右目用画像を生成する。尚、左目用のページ画像Ｐｐを以下、左目用ページ画像とも呼び、右目用のページ画像Ｐｐを以下、右目用ページ画像とも呼ぶ。
【００５３】
そして書籍閲覧装置１０は、図６に示すように、左目用ページ画像ＰｐＬと左目用写真画像ＨｐＬとを合成して、左目用ページ画像ＰｐＬ内に左目用写真画像ＨｐＬが配置された書籍画像Ｂｐの左目用画像（以下、左目用書籍画像とも呼ぶ）ＢｐＬを生成する。また、書籍閲覧装置１０は、右目用ページ画像ＰｐＲと右目用写真画像ＨｐＲとを合成して、右目用ページ画像ＰｐＲ内に右目用写真画像ＨｐＲが配置された書籍画像Ｂｐの右目用画像（以下、右目用書籍画像とも呼ぶ）ＢｐＲを生成する。
【００５４】
具体的に、書籍閲覧装置１０は、図７（Ａ）に示すように、ページがめくられていないときは、ページの向きが０度である左目用ページ画像ＰｐＬ内に、視点の向きが０度である左目用写真画像ＨｐＬが配置された左目用書籍画像ＢｐＬを生成して表示させる。また、書籍閲覧装置１０は、ページの向きが０度である右目用ページ画像ＰｐＲ内に、視点の向きが０度である右目用写真画像ＨｐＲが配置された右目用書籍画像ＢｐＲを生成して表示させる。
【００５５】
また、図７（Ａ）の状態から、図７（Ｂ）に示すように、右側のページがめくられて右側のページの向きが０度から２０度に変化したとする。このとき、書籍閲覧装置１０は、右側のページの向きが２０度である左目用ページ画像ＰｐＬ内に、視点の向きが２０度である左目用写真画像ＨｐＬが配置された左目用書籍画像ＢｐＬを生成して表示させる。また、書籍閲覧装置１０は、右側のページの向きが２０度である右目用ページ画像ＰｐＲ内に、視点の向きが２０度である右目用写真画像ＨｐＲが配置された右目用書籍画像ＢｐＲを生成して表示させる。
【００５６】
これにより、書籍画像Ｂｐでは、ページの向きが０度から２０度に変化するのに応じて、ページ画像Ｐｐ内に配置されていた視点の向き０度である写真画像Ｈｐが、視点の向き２０度である写真画像Ｈｐに置き換わって表示されることとなる。
【００５７】
また、図７（Ｃ）、（Ｄ）又は（Ｅ）に示す右側のページの向きが４０度、６０度又は８０度に変化したときは、同様にして左目用書籍画像ＢｐＬ及び右目用書籍画像ＢｐＲを生成して表示する。
【００５８】
尚、図７（Ｆ）に示すように右側のページの向きが９０度以上となった場合は、そのページが見えなくなると共に、そのページ内に配置された写真画像Ｈｐも見えなくなる。
【００５９】
このように、書籍閲覧装置１０では、ページ（写真画像Ｈｐ）の向きと、その向きにおいて写真画像Ｈｐを現実に立体的であるように見せるのに適した視点の向きである写真画像Ｈｐとが、対応付けられている。そして書籍閲覧装置１０は、ページの向きが変わるのに応じて、変更後のページの向きに対応する写真画像Ｈｐをページ画像Ｐｐ内に配置して書籍画像Ｂｐを生成し、表示させる。すなわち書籍閲覧装置１０では、ページの向きが変更されると、ページ内に配置されている写真画像Ｈｐが、変更後のページの向きに対応する視点の向きである写真画像Ｈｐに置き換わるようになっている。
【００６０】
［１−２−３．視点の向きが異なる写真画像の生成］
次に、視点の向きが水平方向に異なる写真画像Ｈｐを生成する方法について具体的に説明する。
【００６１】
まず、視点の向きが水平方向に異なる画像を得る方法としては、カメラを水平に回転移動させながら連続的に撮影した複数の画像を連結してパノラマ画像を生成する方法がある。
【００６２】
この方法では、図８（Ａ）に示すように、ユーザがカメラＣａを手に持ち、シャッターを押して左（点Ａ）から右（点Ｂ）に点Ｏを回転中心としながらカメラＣａを水平に半回転させる。このときカメラＣａはシャッター押下を検出すると、例えば、数１０〜１００枚程度の画像を連続的に撮影する。
【００６３】
これらの画像が図８（Ｂ）に示す画像であり、それぞれ視点の向き（すなわち撮影方向）が異なる画像である。これらの各画像から、中心から所定の幅でなる短冊状の領域ＴＯを切り出して連結すると、図８（Ｃ）に示すパノラマ画像Ｎｐ２が生成される。尚、このように生成したパノラマ画像を、２Ｄパノラマ画像とも呼ぶ。
【００６４】
また、立体視しうるパノラマ画像（以下、３Ｄパノラマ画像とも呼ぶ）を生成する場合も、図８（Ａ）に示すように、カメラＣａを水平に回転移動させながら連続撮影した複数の画像から所定の幅でなる短冊状の領域を切り出して連結することで生成する。尚、パノラマ画像の左目用画像を、以下、左目用パノラマ画像とも呼び、パノラマ画像の右目用画像を、以下、右目用パノラマ画像とも呼ぶ。
【００６５】
ここで３Ｄパノラマ画像では、２Ｄパノラマ画像と異なり、図９（Ａ）に示すように、撮影した画像から短冊状の領域を切り出す位置を左目用パノラマ画像と右目用パノラマ画像とで異なる位置とする。
【００６６】
具体的に、撮影した画像の中心よりもやや右側寄りの位置から左目用パノラマ画像用となる短冊状の領域（以下、左目用画像短冊とも呼ぶ）ＴＬを切り出す。一方、撮影した画像の中心よりもやや左側寄りの位置から右目用パノラマ画像用となる短冊状の領域（以下、右目用画像短冊とも呼ぶ）ＴＲを切り出す。
【００６７】
そして、図９（Ｂ）に示すように、連続撮影した複数の各画像から左目用画像短冊ＴＬのみを切り出して連結することで左目用パノラマ画像ＮｐＬを生成する。一方、図９（Ｃ）に示すように、連続撮影した複数の各画像から右目用画像短冊ＴＲのみを切り出して連結することで右目用パノラマ画像ＮｐＲを生成する。尚、左目用パノラマ画像ＮｐＬ及び右目用パノラマ画像ＮｐＲをまとめて、３Ｄパノラマ画像とも呼ぶ。
【００６８】
このようにして生成した左目用パノラマ画像ＮｐＬ及び右目用パノラマ画像ＮｐＲによって立体視を実現できる仕組みについて、以下説明する。
【００６９】
図１０に、点Ｏを回転中心としてカメラＣａを水平に回転移動させ、点Ｃ及び点Ｄにおいて被写体Ｓを撮影した状況を示す。点Ｃでは、左目用画像短冊ＴＬにおいて被写体Ｓを左側から見た画像が記録される。一方、点Ｄでは、右目用画像短冊ＴＲにおいて被写体Ｓを右側から見た画像が記録される。
【００７０】
したがって、左目用パノラマ画像ＮｐＬ及び右目用パノラマ画像ＮｐＲには、同一の被写体Ｓを異なる視点（左側及び右側）から撮影した画像が含まれることとなる。ゆえに、左目用パノラマ画像ＮｐＬ及び右目用パノラマ画像ＮｐＲによって被写体Ｓを立体視させることができるようになっている。
【００７１】
このようにして生成した３Ｄパノラマ画像（左目用パノラマ画像ＮｐＬ及び右目用パノラマ画像ＮｐＲ）は、換言すれば、視点の向きが異なる複数の立体視画像をつなげた画像である。
【００７２】
ゆえに、左目用パノラマ画像ＮｐＬ及び右目用パノラマ画像ＮｐＲから任意の範囲を抽出することで、任意の視点の向きである左目用写真画像ＨｐＬ及び右目用写真画像ＨｐＲを得ることができる。
【００７３】
例えば、図８（Ａ）に示したように、カメラＣａを水平に半回転（すなわち１８０度）分移動させながら連続撮影した画像を用いて、左目用パノラマ画像ＮｐＬ及び右目用パノラマ画像ＮｐＲを生成したとする。このとき、カメラＣａを４分の１回転（すなわち９０度）させたときの撮影方向（視点の向き）を０度（正面）とすると、左目用パノラマ画像ＮｐＬ及び右目用パノラマ画像ＮｐＲには、視点の向きがおよそ−９０度から＋９０度までの画像が含まれることになる。尚、ここでは、視点の向きが０度から左側方向に変化するときの角度をプラスの値とし、視点の向きが０度から右側方向に変化するときの角度をマイナスの値とする。
【００７４】
この場合、図１１（Ａ）に示すように、右目用パノラマ画像ＮｐＲにおいて、任意の点Ｆの横方向における位置が、各視点の向きに対応することとなる。例えば、中心の点Ｆ（０）の位置が視点の向き０度に対応する。また、中心の点Ｆ（０）よりも左側にある点Ｆは、視点の向きが０度よりも左側方向に変化したときの角度に対応し、中心の点Ｆ（０）よりも右側にある点Ｆは、視点の向きが０度よりも右側方向に変化したときの角度に対応する。また、中心の点Ｆ（０）から横方向に離れるほど、視点の向きを示す角度の絶対値が大きくなる。尚、図１１（Ａ）には、例として、視点の向きが−８０度、−６０度、−４０度、―２０度、０度、２０度、４０度、６０度、８０度にそれぞれ対応する点Ｆ（−８０）、点Ｆ（−６０）、点Ｆ（−４０）、点Ｆ（−２０）、点Ｆ（０）、点Ｆ（２０）、点Ｆ（４０）、点Ｆ（６０）、点Ｆ（８０）を示している。
【００７５】
したがって、図１１（Ｂ）に示すように、右目用パノラマ画像ＮｐＲから、例えば、視点の向き０度に対応する点Ｆ（０）を中心とした任意の範囲Ｂ１を抽出すれば、視点の向きが０度である右目用写真画像ＨｐＲを得ることができる。
【００７６】
また、図１１（Ｃ）に示すように、右目用パノラマ画像ＮｐＲから、例えば、視点の向き２０度に対応する点Ｆ（２０）を中心とした任意の範囲Ｂ２を抽出すれば、視点の向きが２０度である右目用写真画像ＨｐＲを得ることができる。
【００７７】
すなわち、右目用パノラマ画像ＮｐＲから、ページの向きに適した視点の向きに対応する位置を中心とした任意の範囲を抽出すれば、ページの向きに適した視点の向きである右目用写真画像ＨｐＲを得ることができる。
【００７８】
同様にして、左目用パノラマ画像ＮｐＬにおいても、ページの向きに適した視点の向きに対応する位置を中心とした任意の範囲を抽出すれば、ページの向きに適した視点の向きである左目用写真画像ＨｐＬを得ることができる。
【００７９】
このように、ページ画像Ｐｐ内に配置する写真画像Ｈｐについては、その写真を撮影する際にパノラマ撮影を行って３Ｄパノラマ画像の画像データを生成しておく。また、ページの向きと、その向きに適した視点の向きに対応する３Ｄパノラマ画像における横（水平）方向の位置との対応付けを示すデータ（以下、対応付けデータとも呼ぶ）も生成しておく。３Ｄパノラマ画像の画像データと対応付けデータとが、写真画像データＨｄとして書籍閲覧装置１０の補助記憶装置１３に記憶される。
【００８０】
そして、書籍閲覧装置１０では、写真画像データＨｄに基づいて、左目用パノラマ画像ＮｐＬ及び右目用パノラマ画像ＮｐＲから、ページの向きに適した視点の向きである左目用写真画像ＨｐＬ及び右目用写真画像ＨｐＲをそれぞれ抽出するようにする。
【００８１】
こうすることにより、補助記憶装置１３には、左目用パノラマ画像ＮｐＬ及び右目用パノラマ画像ＮｐＲの２枚の画像を記憶しておくだけでよいので、複数の異なる視点の向きごとに左目用写真画像ＨｐＬ及び右目用写真画像ＨｐＲを記憶させておく場合と比較して、記憶容量を節約することができる。
【００８２】
［１−２−４．書籍画像生成処理手順］
次に、書籍閲覧装置１０において書籍画像Ｂｐを生成する処理の手順（これを書籍画像生成処理手順とも呼ぶ）について、図１２に示すフローチャートを用いて説明する。尚、図１２に示す書籍画像生成処理手順ＲＴ１は、書籍閲覧装置１０の制御部１１が、ＲＯＭ又は補助記憶装置１３に格納されているプログラムにしたがって実行する処理の手順である。
【００８３】
制御部１１は、例えば、入力装置１５を介してページをめくる操作入力が行われると、書籍画像生成処理手順ＲＴ１を開始して、ステップＳＰ１に移る。
【００８４】
ステップＳＰ１において制御部１１は、補助記憶装置１３に格納されたページ画像データＰｄを読み出す。そして制御部１１は、ページ画像データＰｄをもとに、図１３に示すように、ＲＡＭ上の仮想の３Ｄ空間に立体的なオブジェクトとして配置された電子書籍のページを含むページ画像Ｐｐを生成する。
【００８５】
このとき制御部１１は、ページをめくる操作入力に応じてページの向きを変更したページ画像Ｐｐを生成する。尚、ページめくりをアニメーションで表示させる場合には、例えば６度など数度おきにページの向きを変えたページ画像Ｐｐを生成するようにしてもよい。
【００８６】
そして制御部１１は、仮想の３Ｄ空間において視点を左右にずらすことで、電子書籍のページを左側から見た画像（左目用ページ画像ＰｐＬ）及び右側から見た画像（右目用ページ画像ＰｐＲ）を生成して、次のステップＳＰ２に移る。
【００８７】
ステップＳＰ２において制御部１１は、左目用ページ画像ＰｐＬ及び右目用ページ画像ＰｐＲのそれぞれに対して、ページ内における写真画像Ｈｐを配置する部分ＣＬ及びＣＲ（図１４）を透明化する処理を施して、次のステップＳＰ３に移る。
【００８８】
ステップＳＰ３において制御部１１は、書籍画像Ｂｐにおいて写真画像Ｈｐを配置する位置を設定する。具体的には、制御部１１は、書籍画像Ｂｐにおいて写真画像Ｈｐを配置する範囲の中心の座標を設定する。
【００８９】
ページ画像Ｐｐは立体視画像であることから、図１４に示すように、左目用ページ画像ＰｐＬと右目用ページ画像ＰｐＲとでは、ページの位置が水平方向に若干ずれている。ゆえに、これらにおいて写真画像Ｈｐが配置される部分（以下、透明部分とも呼ぶ）ＣＬ及びＣＲの位置も水平方向に若干ずれている。
【００９０】
しかしながら、写真画像Ｈｐを立体視しうるよう表示させるためには、左目用写真画像ＨｐＬ及び右目用写真画像ＨｐＲを表示画面上で同一の位置に表示させる必要がある。したがって、左目用書籍画像ＢｐＬ及び右目用書籍画像ＢｐＲにおいて、写真画像Ｈｐを配置する位置を同一の位置とする必要がある。
【００９１】
そこで制御部１１は、左目用ページ画像ＰｐＬ及び右目用ページ画像ＰｐＲにおける透明部分ＣＬ及びＣＲの重心ＯｐＬ及びＯｐＲの座標をそれぞれ算出する。そして制御部１１は、重心ＯｐＬ及びＯｐＲを結ぶ線分の中点の座標を、左目用書籍画像ＢｐＬ及び右目用書籍画像ＢｐＲにおいて写真画像Ｈｐを配置する範囲の中心の座標として設定し、次のステップＳＰ４に移る。
【００９２】
ステップＳＰ４において制御部１１は、補助記憶装置１３から写真画像データＨｄを読み出す。そして制御部１１は、写真画像データＨｄに含まれる対応付けデータに基づいて、３Ｄパノラマ画像における、変更後のページの向きに対応する位置の座標を取得する。
【００９３】
制御部１１は、左目用パノラマ画像ＮｐＬにおける当該取得した位置が、ステップＳＰ３で設定した写真画像Ｈｐを配置する範囲の中心の座標に位置するように、左目用パノラマ画像ＮｐＬを配置する。
【００９４】
また、制御部１１は、右目用パノラマ画像ＮｐＬにおける当該取得した位置が、ステップＳＰ３で設定した写真画像Ｈｐを配置する範囲の中心の座標に位置するように、右目用パノラマ画像ＮｐＬを配置する。そして、制御部１１は、次のステップＳＰ５に移る。
【００９５】
ステップＳＰ５において制御部１１は、ステップＳＰ４で配置した左目用パノラマ画像ＮｐＬの上から左目用ページ画像ＰｐＬを重ねて配置し合成することで左目用書籍画像ＢｐＬの画像データを生成する。
【００９６】
これにより、左目用書籍画像ＢｐＬでは、左目用ページ画像ＰｐＬの透明部分ＣＬを通して、左目用パノラマ画像ＮｐＬにおける、ページの向きに適した視点の向きに対応する位置を中心とした透明部分ＣＬの横幅と同じ幅の範囲が見えることとなる。すなわち、左目用パノラマ画像ＮｐＬからページの向きに適した視点の向きである左目用写真画像ＨｐＬが抽出され、当該抽出された左目用写真画像ＨｐＬが左目用書籍画像ＢｐＬ内に配置されたこととなる。
【００９７】
また制御部１１は、ステップＳＰ４で配置した右目用パノラマ画像ＮｐＲの上から右目用ページ画像ＰｐＲを重ねて配置して合成することで右目用書籍画像ＢｐＲの画像データを生成する。
【００９８】
これにより、右目用書籍画像ＢｐＲでは、右目用ページ画像ＰｐＲの透明部分ＣＲを通して、右目用パノラマ画像ＮｐＲにおける、ページの向きに適した視点の向きに対応する位置を中心とした透明部分ＣＲの横幅と同じ幅の範囲が見えることとなる。すなわち、右目用パノラマ画像ＮｐＲからページの向きに適した視点の向きである右目用写真画像ＨｐＬが抽出され、当該抽出された右目用写真画像ＨｐＲが右目用書籍画像ＢｐＲ内に配置されたこととなる。
【００９９】
このようにして制御部１１は、左目用書籍画像ＢｐＬの画像データ及び右目用書籍画像ＢｐＲの画像データを生成すると、書籍画像生成処理手順ＲＴ１を終了する。
【０１００】
そして制御部１１は、これらの画像データに基づいて左目用書籍画像ＢｐＬ及び右目用書籍画像Ｂｐを表示装置１４に表示させるようになっている。
【０１０１】
［１−２−５．動作及び効果］
以上の構成において、書籍閲覧装置１０の補助記憶装置１３には、視点の向きが異なる複数の立体視画像をつなげた画像である３Ｄパノラマ画像の画像データが記憶されている。
【０１０２】
書籍閲覧装置１０の制御部１１は、電子書籍を表示させる操作入力が行われると、電子書籍のページを含む書籍画像Ｂｐを表示装置１４に表示させる。書籍画像Ｂｐに含まれるページ内には、立体視画像である写真画像Ｈｐが配置される。
【０１０３】
制御部１１は、ページをめくる（すなわちページの向き及び写真画像Ｈｐの向きを変更する）操作入力が行われると、ページの向きを変更させたページ画像Ｐｐを生成し、当該ページ画像Ｐｐに対しページ内の写真画像Ｈｐを配置する部分を透明化する処理を施す。
【０１０４】
そして制御部１１は、補助記憶装置１３から３Ｄパノラマ画像の画像データを読み出す。制御部１１は、３Ｄパノラマ画像における変更後のページの向きに対応する部分が、ページ画像Ｐｐの透明化された部分の下に位置するように、ページ画像Ｐｐの下から３Ｄパノラマ画像を重ねることにより、書籍画像Ｂｐの画像データを生成する。
【０１０５】
これにより、制御部１１は、変更後のページの向きに対応する写真画像Ｈｐを抽出し、当該抽出した写真画像Ｈｐをページ内に配置した書籍画像Ｂｐの書籍画像データを生成したこととなる。
【０１０６】
そして制御部１１は、生成した書籍画像データに基づく書籍画像Ｂｐを表示装置１４に表示させる。
【０１０７】
これにより、写真画像Ｈｐの向きが変わるのに応じて、その向きに適した視点の向きである写真画像Ｈｐを表示することができる。こうすることで、写真画像Ｈｐの向きが変わっても、常に写真画像Ｈｐが立体的に見えるようにすることができる。
【０１０８】
ところで、立体視画像は人間の目の水平方向の視差を利用して立体視を行わせるため、図１５（Ａ）に示すように、左目用画像Ｌｐと右目用画像Ｒｐでは、画像内の物体Ｆｓの位置が水平方向にずれるように作成される。もし、図１５（Ｂ）に示すように、左目用画像Ｌｐと右目用画像Ｒｐとで、物体Ｆｓの位置が垂直方向にずれていると、人間の脳では対象物を同じものと認識できず、物体Ｆｓを立体視できなくなってしまう。
【０１０９】
ここで、上述と同様に、仮想の３Ｄ空間に電子書籍のページを立体的なオブジェクトとして配置してページをめくる様子を表示する場合、画面上でのページの向きを変更する（すなわちページを変形すると共に斜めに傾ける）処理が行われることとなる。
【０１１０】
このページ内に、図１６（Ａ）に示す左目用画像Ｌｐ及び右目用画像Ｒｐからなる立体視画像が配置されていた場合、ページと同様に立体視画像を変形すると、図１６（Ｂ）に示すように、左目用画像Ｌｐと右目用画像Ｒｐのずれが斜め方向となる。すなわち、左目用画像Ｌｐと右目用画像Ｒｐとが水平方向だけでなく垂直方向にもずれてしまうこととなるので、立体視できず、ユーザの脳にも負担をかけてしまう。
【０１１１】
これに対し、書籍閲覧装置１０では、ページをめくる際、ページの向きを変更させたページ画像Ｐｐの下から、ページの向きに適した視点の向きである写真画像Ｈｐを含む３Ｄパノラマ画像を重ねることにより、書籍画像Ｂｐを生成するようにした。
【０１１２】
こうすることにより、ページの向きが変わるのに伴って写真画像Ｈｐの向きを変更する場合に、写真画像Ｈｐを変形させるような処理を行わないため、写真画像Ｈｐが立体視できなくなってしまうことを防止することができる。
【０１１３】
以上の構成によれば、書籍閲覧装置１０は、書籍画像Ｂｐに含まれる写真画像Ｈｐの向きを変更する場合、変更後の向きに対応する写真画像Ｈｐを３Ｄパノラマ画像から抽出し、抽出した写真画像Ｈｐを含む書籍画像Ｂｐのデータを生成するようにした。
【０１１４】
これにより、書籍閲覧装置１０は、書籍画像Ｂｐに含まれる写真画像Ｈｐの向きが変わるのに応じて、その向きに適した写真画像Ｈｐを表示することができる。こうすることで、書籍閲覧装置１０は、写真画像Ｈｐの向きが変わっても、常に立体的に見えるようにすることができる。かくして、書籍閲覧装置１０は、写真画像Ｈｐの向きを変更させても、写真画像Ｈｐの自然な立体感を実現することができる。
【０１１５】
＜２．他の実施の形態＞
［２−１．他の実施の形態１］
尚、上述した実施の形態では、ページをめくる（ページの向きを変更させる）ことで、当該ページ内に配置された写真画像Ｈｐの向きを変更するようにした。
【０１１６】
これに限らず、電子書籍自体の向きを変えることで、当該電子書籍のページ内に配置された写真画像Ｈｐの向きを変更するようにしてもよい。
【０１１７】
制御部１１は、例えば、入力装置１５を介して電子書籍自体の向きを変化させる操作入力が行われると、図１７に示すように、電子書籍自体の向きに対応する写真画像Ｈｐを、電子書籍自体の向きを変化させたページ画像Ｐｐ内に配置して、書籍画像Ｂｐを生成する。
【０１１８】
具体的に制御部１１は、例えば、図１７（Ａ）に示すように電子書籍自体の向きを４０度左向きにするときは、その向きに適した視点の向き４０度である左目用写真画像ＨｐＬを左目用ページ画像ＰｐＬ内に配置して左目用書籍画像ＢｐＬを生成する。また制御部１１は、視点の向きが４０度である右目用写真画像ＨｐＲを右目用ページ画像ＰｐＲ内に配置して右目用書籍画像ＢｐＲを生成する。
【０１１９】
また例えば、図１７（Ｂ）に示すように、電子書籍自体の向きを４０度右向きにするときは、制御部１１は、その向きに適した視点の向き−４０度である左目用写真画像ＨｐＬを左目用ページ画像ＰｐＬ内に配置した左目用書籍画像ＢｐＬを生成する。また制御部１１は、視点の向き−４０度である右目用写真画像ＨｐＲを右目用ページ画像ＰｐＲ内に配置した右目用書籍画像ＢｐＲを生成する。
【０１２０】
またこれに限らず、電子書籍自体の位置を変えることで、当該電子書籍のページ内に配置された写真画像Ｈｐの位置を変更するようにしてもよい。
【０１２１】
制御部１１は、例えば、入力装置１５を介して電子書籍自体の位置を変化させる（スライドさせる）操作入力が行われると、図１８に示すように、電子書籍自体の位置に対応する写真画像Ｈｐを、電子書籍自体の位置を変化させたページ画像Ｐｐ内に配置して、書籍画像Ｂｐを生成する。
【０１２２】
具体的に、例えば、図１８（Ａ）に示すように、ページ内に配置された写真画像Ｈｐの位置が、書籍閲覧画面１００の中央であるときは、この中央の位置に対応する視点の向きを、例えば０度とする。そこで制御部１１は、この写真画像Ｈｐの位置に対応する視点の向き０度である左目用写真画像ＨｐＬを左目用ページ画像ＰｐＬ内に配置した左目用書籍画像ＢｐＬを生成する。また制御部１１は、視点の向きが０度である右目用写真画像ＨｐＲを右目用ページ画像ＰｐＲ内に配置した右目用書籍画像ＢｐＬを生成する。
【０１２３】
また例えば、図１８（Ｂ）に示すように、ページ内に配置された写真画像Ｈｐの位置が、書籍閲覧画面１００の右端に近い位置であるときは、この位置に対応する視点の向きを、例えば−４０度とする。そこで制御部１１は、この写真画像Ｈｐの位置に対応する視点の向き−４０度である左目用写真画像ＨｐＬを左目用ページ画像ＰｐＬ内に配置した左目用書籍画像ＢｐＬを生成する。また制御部１１は、視点の向きが−４０度である右目用写真画像ＨｐＲを右目用ページ画像ＰｐＲ内に配置した右目用書籍画像ＢｐＬを生成する。
【０１２４】
このように制御部１１は、写真画像Ｈｐの位置を変更する場合、変更後の位置に対応する写真画像Ｈｐを書籍画像Ｂｐ内に配置するようにする。これにより、制御部１１は、写真画像Ｈｐの位置の変化量（スライド量）に応じて写真画像Ｈｐの視点の向きを変化させて表示することができる。
【０１２５】
またこれに限らず、書籍閲覧装置１０を、例えば携帯型電話機や携帯端末など携帯型の装置とし、書籍閲覧装置１０に例えば加速度センサなどの傾き検出センサを設け、書籍閲覧装置１０が傾けられるのに応じて写真画像Ｈｐの向きを変更するようにしてもよい。この場合において、変更後の写真画像Ｈｐの向きに対応する視点の向きである写真画像Ｈｐを書籍画像Ｂｐ内に配置するようにしてもよい。
【０１２６】
またこれに限らず、写真画像Ｈｐの向き及び位置の両方を変更する場合に、変更後の向き及び位置に対応する視点の向きである写真画像Ｈｐを書籍画像Ｂｐ内に配置するようにしてもよい。
【０１２７】
このように、写真画像Ｈｐの向き及び位置の少なくとも一方を変更する場合に、変更後の向き及び位置の少なくとも一方に対応する写真画像Ｈｐを書籍画像Ｂｐ内に配置するようにしてもよい。
【０１２８】
［２−２．他の実施の形態２］
また、上述した実施の形態では、ページをめくる（ページの向きを変更する）操作入力が行われると、変更後のページの向き（写真画像Ｈｐの向き）に適した視点の向きである写真画像Ｈｐを表示させるようにした。
【０１２９】
これに限らず、ページをめくる（ページの向きを変更する）操作入力が行われると、変更後のページの向き（写真画像Ｈｐの向き）に適した視点の位置である写真画像Ｈｐを表示させるようにしてもよい。
【０１３０】
例えば、図１９に示すように、ページ画像Ｐｐは書籍のページの立体的な形状（立体ページ）Ｐｆとして立体視されると共に、写真画像Ｈｐが示す空間（立体写真空間）Ｈｆがページから前に向かって飛び出るように立体視されるとする。
【０１３１】
この場合、図１９（Ａ）に示すように、ページがめくられていないときは、視点Ｚは立体写真空間Ｈｆから見て正面に位置する。ゆえに、立体写真空間Ｈｆを正面から見たときの画像を写真画像Ｈｐとして表示させる。
【０１３２】
一方、図１９（Ｂ）に示すように、ページがめくられているときは、視点Ｚは立体写真空間Ｈｆから見てページの向き分斜め方向に位置する。ゆえに、ページの向き分斜めの方向から立体写真空間Ｈｆを見たときの画像を写真画像Ｈｐとして表示させる。
【０１３３】
このように、写真画像Ｈｐが示す立体写真空間Ｈｆが現実的に立体的であるとすれば、ページめくりに伴って立体写真空間Ｈｆの向きが変わるのに伴い、立体写真空間Ｈｆに対する視点の位置は変化していくものと考えられる。
【０１３４】
そこで、制御部１１は、ページめくりに伴って写真画像Ｈｐの向きが変わるのに応じて、立体写真空間Ｈｆに対する視点の位置を水平に移動していくように、写真画像Ｈｐを変化させる。具体的に右側から左側へページをめくるときは、立体写真空間Ｈｆに対する視点の位置を正面から右側へ移動させていき、左側から右側へページをめくるときは、立体写真空間Ｈｆに対する視点の位置を正面から左側へ移動させていく。
【０１３５】
これにより、書籍閲覧装置１０は、ページがめくられている間も、ページ内に配置された写真画像Ｈｐが示す空間（立体写真空間Ｈｆ）の自然な立体感を実現することができる。
【０１３６】
このように写真画像Ｈｐの表示を変化させる処理の前提として、各写真画像Ｈｐにおいて視点の位置が水平方向にそれぞれ異なる複数の写真画像Ｈｐを準備しておく。
【０１３７】
例えば、図２０（Ａ）に示すように、点Ｇから点ＨへとカメラＣａの位置を移動させながら連続的に撮影を行うことにより、図２０（Ｂ）に示すように、視点の位置が異なる複数の写真画像Ｈｐを取得することができる。尚、このとき、写真画像Ｈｐが立体視画像となるように、例えば2つの視点からの撮影が可能な二眼カメラにおいて撮影を行う。
【０１３８】
このようにして生成された視点の位置が異なる複数の写真画像Ｈｐの画像データを補助記憶装置１３に記憶しておく。また、補助記憶装置１３には、ページ（写真画像Ｈｐ）の向きと、その向きにおいて写真画像Ｈｐを現実に立体的であるように見せるのに適した視点の位置である写真画像Ｈｐとの対応付けを示す対応付けデータも、記憶しておく。
【０１３９】
制御部１１は、ページの向きを変更する場合、対応付けデータをもとに、補助記憶装置１３に記憶された視点の位置が異なる複数の写真画像Ｈｐの中から、ページの向きに対応する写真画像Ｈｐを抽出する。そして制御部１１は、ページの向きを変更させたページ画像Ｐｐと抽出した写真画像Ｈｐとを合成して、ページ内に当該写真画像Ｈｐを配置した書籍画像Ｂｐの画像データを生成する。
【０１４０】
こうすることにより、書籍閲覧装置１０は、写真画像Ｈｐの向きが変わるのに応じて、写真画像Ｈｐに対する視点の位置が変わっていくように表示することができ、写真画像Ｈｐが現実に立体的であるかのようにユーザに感じさせることができる。
【０１４１】
またこれに限らず、写真画像Ｈｐの向きを変更する場合に、写真画像Ｈｐの視点の向き及び位置の両方を変更するようにしてもよい。この場合、視点の向き及び位置の両方が異なる複数の写真画像Ｈｐを有する画像データを補助記憶装置１３に記憶しておく。制御部１１は、写真画像Ｈｐの向きを変更する際、当該向きに対応する視点の向き及び位置である写真画像Ｈｐを当該画像データから抽出してページ内に配置した書籍画像Ｂｐの画像データを生成する。
【０１４２】
このように、写真画像Ｈｐの向きを変更する際に、視点の向き及び位置の少なくとも一方が異なる複数の写真画像Ｈｐを有する画像データから、変更後の向きに対応する写真画像Ｈｐを抽出してページ内に配置するようにしてもよい。
【０１４３】
［２−３．他の実施の形態３］
さらに、上述した実施の形態では、ページの向きを変更する場合、変更後のページの向きに対応する写真画像Ｈｐを、３Ｄパノラマ画像から抽出するようにした。
【０１４４】
これに限らず、視点の向きが異なる複数の写真画像Ｈｐの中から、変更後のページの向きに対応する写真画像Ｈｐを選択することで、変更後のページの向きに対応する写真画像Ｈｐを抽出するようにしてもよい。
【０１４５】
この場合、複数の異なる視点の向きである写真画像Ｈｐを準備し、各視点の向きごとの写真画像Ｈｐの画像データを補助記憶装置１３に記憶しておく。
【０１４６】
複数の異なる視点の向きである写真画像Ｈｐについては、例えば、二つの視点からの撮影が可能な二眼カメラを用いて、異なる複数の撮影方向の左目用写真画像ＨｐＬ及び右目用写真画像ＨｐＲを撮影することにより生成することができる。
【０１４７】
制御部１１は、ページの向きを変更する場合、ページの向きを変更させた左目用ページ画像ＰｐＬ及び右目用ページ画像ＰｐＲを生成する。制御部１１は、左目用ページ画像ＰｐＬ及び右目用ページ画像ＰｐＲのそれぞれに対し、左目用写真画像ＨｐＬ及び右目用写真画像ＨｐＲを配置する部分を透明化する処理を施す。
【０１４８】
また制御部１１は、補助記憶装置１３に記憶された、視点の向きごとの複数の写真画像Ｈｐの中から、ページの向きに対応する写真画像Ｈｐ（左目用写真画像ＨｐＬ及び右目用写真画像ＨｐＲ）を選択する。
【０１４９】
具体的に、例えば、図５に示したように、２０度おきに視点の向きが異なる写真画像Ｈｐが補助記憶装置１３に記憶されているとする。このとき、制御部１１は、ページの向きに対応する写真画像Ｈｐとして、例えば、記憶されている写真画像Ｈｐの中で、ページの向きに適した視点の向きと最も近い視点の向きである写真画像Ｈｐを選択するようにする。例えばページの向きが４０度であるときは、制御部１１は、視点の向きが４０度である写真画像Ｈｐを選択する。また例えば、ページの向きが２５度であるときは、制御部１１は、記憶されている写真画像Ｈｐの中で視点の向き２５度に最も近い視点の向き２０度の写真画像Ｈｐを選択する。
【０１５０】
制御部１１は、選択した左目用写真画像ＨｐＬが、ページの向きを変更させた左目用ページ画像ＰｐＬの透明部分ＣＬの下に位置するように、当該左目用写真画像ＨｐＬ及び当該左目用ページ画像ＰｐＬを合成して左目用書籍画像ＢｐＬを生成して表示させる。また制御部１１は、選択した右目用写真画像ＨｐＲが、ページの向きを変更させた右目用ページ画像ＰｐＲの透明部分ＣＲの下に位置するように、当該右目用写真画像ＨｐＲ及び当該右目用ページ画像ＰｐＲを合成して右目用書籍画像ＢｐＲを生成して表示させる。
【０１５１】
［２−４．他の実施の形態４］
さらに、上述した実施の形態では、ページをめくる（すなわちページの向きを変更する）操作入力が行われると、ページの向きを変更させたページ画像Ｐｐに、変更後のページの向きに対応する写真画像Ｈｐを配置して書籍画像Ｂｐを生成するようにした。
【０１５２】
これに限らず、予め、異なる複数のページの向きごとに、ページをその向きにしたページ画像Ｐｐに、その向きに対応する写真画像Ｈｐを配置した書籍画像Ｂｐを生成しておくようにしてもよい。
【０１５３】
例えばパーソナルコンピュータなどの情報処理装置において、制御部が、ページの向きが０度から１８０度まで連続して変化していく（すなわちページがめくられていく）動画像を生成するとする。
【０１５４】
この場合、例えば１８０度を３０分割した６度おきなどに、ページの向きに対応する視点の向きである写真画像Ｈｐを準備し、当該写真画像Ｈｐの画像データを記憶部に記憶させておく。尚、写真画像Ｈｐは立体視画像とし、ページの向きごとに左目用写真画像ＨｐＬ及び右目用写真画像ＨｐＲを記憶させておくとする。
【０１５５】
制御部は、例えば１８０度を３０分割した６度おきなどに、ページの向きを変更させたページ画像Ｐｐ（左目用ページ画像ＰｐＬ及び右目用ページ画像ＰｐＲ）を生成する。そして制御部は、記憶部に記憶されている複数の写真画像Ｈｐの中から、ページの向きごとに、その向きに対応する写真画像Ｈｐを抽出する。そして制御部は、各ページの向きごとに、抽出したその向きに対応する写真画像Ｈｐを、ページをその向きにしたページ画像Ｐｐ内に配置して書籍画像Ｂｐ（左目用書籍画像ＢｐＬ及び右目用書籍画像ＢｐＲ）の画像データを生成する。
【０１５６】
制御部は、生成した各ページの向きごとの書籍画像Ｂｐの画像データをもとに、ページの向きが時間的に連続して変化していくような動画像の動画像データを生成する。制御部は、この動画像データを、例えばＭＰＥＧ−ＭＶＣ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ − Ｍｕｌｔｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などの３Ｄ動画の形式に従って生成する。そして、制御部は、当該動画像データを、例えばＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））などの記録媒体に書き込んでおく。
【０１５７】
このような動画像データが記録された記録媒体（例えばＢＤ）を、再生装置（例えばＢＤプレーヤ）などによって再生すると、電子書籍のページがめくられる様子を表した動画像をユーザに視聴させることができる。
【０１５８】
また、この動画像では、ページの向き（すなわち写真画像Ｈｐの向き）が変更されるのに伴って、変更後の向きに対応する写真画像Ｈｐが次々に置き換えられていく。したがって、写真画像Ｈｐの向きが変わるのに応じて、その向きに適した写真画像Ｈｐを表示でき、写真画像Ｈｐの向きが変わっても、立体的に見えるようにすることができる。
【０１５９】
また再生装置において、例えば、動画像を一時停止すれば、ユーザに、電子書籍のページを、時間をかけて確認させることができる。また例えば、動画像を逆再生することで、ページ戻しを行うことができる。
【０１６０】
ところで、装置によっては、ページ画像Ｐｐと写真画像Ｈｐとを合成して書籍画像Ｂｐを生成する処理の負荷により、ページをめくる（すなわちページの向きを変更する）操作入力に応じてリアルタイムに実行できない場合がある。
【０１６１】
そこで上述したように、ＰＣなどで、予め、異なる複数のページの向きごとに、ページをその向きにしたページ画像Ｐｐに、その向きに対応する写真画像Ｈｐを配置した書籍画像Ｂｐを生成する。そして、これをもとに、ページの向きが連続して変化していくような動画像の動画像データを生成して記録媒体に記録しておく。
【０１６２】
これにより再生装置で記録媒体に記録された動画像データを再生するだけで、ページ画像Ｐｐ内に配置された写真画像Ｈｐの自然な立体感を実現しながら、電子書籍のページがめくられる動画像をユーザに視聴させることができる。
【０１６３】
因みに、再生装置は、このようにして生成された動画像データを、ネットワークを介してダウンロードして再生するようにしてもよい。
【０１６４】
［２−５．他の実施の形態５］
さらに、上述した実施の形態では、画面に表示する書籍画像Ｂｐに含まれるオブジェクトとしての電子書籍のページ内に、立体視画像である写真画像Ｈｐを配置し、ページの向きを変更するのに応じて、視点の向きを変更した写真画像Ｈｐを表示させるようにした。
【０１６５】
これに限らず、立体視画像ではない画像（２Ｄの画像）である写真画像をページ内に配置し、ページの向きを変更するのに応じて、視点の向きを変更した写真画像を表示させるようにしてもよい。
【０１６６】
この場合、２Ｄの画像である写真画像において、視点の向きが異なる複数の写真画像の画像データを補助記憶装置１３に記憶しておく。制御部１１は、ページの向きを変更する場合、視点の向きが異なる複数の写真画像の中から、変更後のページの向きに対応する視点の向きである写真画像を抽出する。そして制御部１１は、ページの向きを変更させたページ画像内に当該抽出した写真画像を配置して書籍画像を生成して表示させる。
【０１６７】
［２−６．他の実施の形態６］
さらに、上述した実施の形態では、画面に表示する表示用画像である書籍画像Ｂｐに含まれるオブジェクトである電子書籍のページ内に、立体視画像である写真画像Ｈｐを配置するようにした。
【０１６８】
これに限らず、表示用画像としてこの他種々の画像を表示するようにしてもよく、この表示用画像が電子書籍のページに限らず、この他種々のオブジェクトを含んでいるようにしてもよい。また、立体視画像であれば、この他種々の画像をオブジェクト内に配置するようにしてもよい。
【０１６９】
また、ページ内に写真画像Ｈｐを配置した書籍画像Ｂｐに限らず、立体視画像を含む表示用画像であれば、この他種々の画像を表示し、当該画像に含まれる立体視画像の向き又は位置の少なくとも一方を変更する際に、本発明を適用するようにしてもよい。
【０１７０】
［２−７．他の実施の形態７］
さらに、上述した実施の形態では、画像処理装置１としての書籍閲覧装置１０に、生成部２及び読出部５としての制御部２と、記憶部４としての補助記憶装置１３と、表示部７としての表示装置１４と、入力部６としての入力装置１５とを設けるようにした。
【０１７１】
本発明はこれに限らず、同様の機能を有するのであれば、上述した書籍閲覧装置１０の各機能部を、他の種々のハードウェアにより構成するようにしてもよい。
【０１７２】
また、生成部２及び読出部５と、記憶部４とが別々の装置に設けられていてもよい。例えば、立体視画像データ３が記憶された記憶部４を有するサーバから、ネットワークを介して、端末装置の読出部５が立体視画像データ３を読み出すようにしてもよい。さらに、生成部２及び読出部５と、表示部７、入力部６とが別々の装置に設けられていてもよい。
【０１７３】
さらに上述した実施の形態では、書籍閲覧装置１０に本発明を適用するようにした。これに限らず、立体視画像を含む表示用画像のデータを生成しうる装置であれば、例えば、デジタルカメラ、パーソナルコンピュータ、携帯型電話機など、この他種々の機器に適用するようにしてもよく、また適用することができる。
【０１７４】
［２−８．他の実施の形態８］
さらに上述した実施の形態では、各種処理を実行するためのプログラムを、書籍閲覧装置１０のＲＯＭ又は補助記憶装置１３に書き込んでおくようにした。
【０１７５】
これに限らず、例えば、書籍閲覧装置１０にメモリカードなどの記憶媒体のスロットを設け、制御部１１が、このスロットに差し込まれた記憶媒体からプログラムを読み出して実行するようにしてもよい。また制御部１１が、この記憶媒体から読み出したプログラムを、補助記憶装置１３にインストールするようにしてもよい。さらに書籍閲覧装置１０にネットワークインターフェースを設け、制御部１１が、プログラムを、ネットワークインターフェースを介して、ネットワーク上の機器からダウンロードして、補助記憶装置１３にインストールするようにしてもよい。
【０１７６】
［２−９．他の実施の形態９］
さらに、本発明は、上述した実施の形態と他の実施の形態とに限定されるものではない。すなわち本発明は、上述した実施の形態と他の実施の形態の一部または全部を任意に組み合わせた形態、もしくは一部を抽出した形態にもその適用範囲が及ぶものである。
【産業上の利用可能性】
【０１７７】
本発明は、例えば、立体視画像を含む表示用画像のデータを生成する電子機器などで広く利用することができる。
【符号の説明】
【０１７８】
１……画像処理装置、２……制御部、３……立体視画像データ、４……記憶部、５……読出部、６……入力部、７……表示部、１０……書籍閲覧装置、１１……制御部、１２……主記憶装置、１３……補助記憶装置、１４……表示装置、１５……入力装置。
【特許請求の範囲】
【請求項１】
立体視画像を含む表示用画像のデータである表示用画像データを生成する生成部と、
視点の向き及び位置の少なくとも一方が異なる複数の立体視画像を有するデータである立体視画像データが記憶されている記憶部から当該立体視画像データを読み出す読出部と
を具え、
上記生成部は、
上記表示用画像に含まれる上記立体視画像の向き及び位置の少なくとも一方を変更させる場合、変更後の向き及び位置の少なくとも一方に対応する立体視画像を、上記読出部により読み出された上記立体視画像データに含まれる複数の立体視画像から抽出し、当該抽出した立体視画像を含む表示用画像の表示用画像データを生成する
画像処理装置。
【請求項２】
上記表示用画像に含まれる上記立体視画像は、上記表示用画像に含まれるオブジェクト内に配置されており、
上記生成部は、
上記オブジェクトの向き及び位置の少なくとも一方を変更させることに伴って上記オブジェクト内に配置された上記立体視画像の向き及び位置の少なくとも一方を変更させる場合、変更後の向き及び位置の少なくとも一方に対応する立体視画像を、上記読出部により読み出された上記立体視画像データに含まれる複数の立体視画像から抽出し、当該抽出した立体視画像を、向き及び位置の少なくとも一方を変更させたオブジェクト内に配置し、当該オブジェクトを含む表示用画像の表示用画像データを生成する
請求項１に記載の画像処理装置。
【請求項３】
上記立体視画像データは、
視点の向き及び位置の少なくとも一方が異なる複数の立体視画像をつなげたパノラマ画像のデータである
請求項２に記載の画像処理装置。
【請求項４】
上記オブジェクト内の上記立体視画像を配置する部分は、透明化されており、
上記生成部は、
上記オブジェクトの向き及び位置の少なくとも一方を変更させることに伴って上記オブジェクト内に配置された上記立体視画像の向き及び位置の少なくとも一方を変更させる場合、上記パノラマ画像における変更後の向き及び位置の少なくとも一方に対応する部分が、向き及び位置の少なくとも一方を変更させたオブジェクトの上記透明化された部分の下に位置するように上記表示用画像の下から上記パノラマ画像を重ねることにより、上記パノラマ画像から変更後の向き及び位置の少なくとも一方に対応する立体視画像を抽出して当該オブジェクト内に配置する
請求項３に記載の画像処理装置。
【請求項５】
上記立体視画像データは、
視点の向き及び位置の少なくとも一方が異なる複数の立体視画像毎のデータからなる
請求項２に記載の画像処理装置。
【請求項６】
上記オブジェクト内の上記立体視画像を配置する部分は、透明化されており、
上記生成部は、
上記オブジェクトの向き及び位置の少なくとも一方を変更させることに伴って上記オブジェクト内に配置された上記立体視画像の向き及び位置の少なくとも一方を変更させる場合、上記立体視画像データに含まれる複数の立体視画像から、変更後の向き及び位置の少なくとも一方に対応する立体視画像を選択することにより、変更後の向き及び位置の少なくとも一方に対応する上記立体視画像を抽出し、当該抽出した立体視画像を、向き及び位置の少なくとも一方を変更させたオブジェクトの上記透明化された部分の下に位置するように配置する
請求項５に記載の画像処理装置。
【請求項７】
上記生成部は、
入力部を介して上記表示用画像に含まれる上記立体視画像の向き及び位置の少なくとも一方を変更させる操作入力が行われると、変更後の向き及び位置の少なくとも一方に対応する立体視画像を、上記読出部により読み出された上記立体視画像データに含まれる複数の立体視画像から抽出し、当該抽出した立体視画像を含む表示用画像の表示用画像データを生成し、当該表示用画像データに基づく表示用画像を表示部に表示させる
請求項１に記載の画像処理装置。
【請求項８】
上記生成部は、
上記読出部により読み出された上記立体視画像データをもとに、上記表示用画像に含まれる上記立体視画像の向き及び位置の少なくとも一方を連続して変化していくような動画像の動画像データを生成する
請求項１に記載の画像処理装置。
【請求項９】
表示用画像に含まれる立体視画像の向き及び位置の少なくとも一方を変更する場合、変更後の向き及び位置の少なくとも一方に対応する立体視画像を、視点の向き及び位置の少なくとも一方が異なる複数の立体視画像を有するデータである立体視画像データに含まれる複数の立体視画像から抽出し、
当該抽出した立体視画像を含む表示用画像のデータである表示用画像データを生成する
画像処理方法。
【請求項１０】
コンピュータに、
表示用画像に含まれる立体視画像の向き及び位置の少なくとも一方を変更する場合、変更後の向き及び位置の少なくとも一方に対応する立体視画像を、視点の向き及び位置の少なくとも一方が異なる複数の立体視画像を有するデータである立体視画像データに含まれる複数の立体視画像から抽出する抽出ステップと、
当該抽出した立体視画像を含む表示用画像のデータである表示用画像データを生成する生成ステップと
を実行させるための画像処理プログラム。
【請求項１】
立体視画像を含む表示用画像のデータである表示用画像データを生成する生成部と、
視点の向き及び位置の少なくとも一方が異なる複数の立体視画像を有するデータである立体視画像データが記憶されている記憶部から当該立体視画像データを読み出す読出部と
を具え、
上記生成部は、
上記表示用画像に含まれる上記立体視画像の向き及び位置の少なくとも一方を変更させる場合、変更後の向き及び位置の少なくとも一方に対応する立体視画像を、上記読出部により読み出された上記立体視画像データに含まれる複数の立体視画像から抽出し、当該抽出した立体視画像を含む表示用画像の表示用画像データを生成する
画像処理装置。
【請求項２】
上記表示用画像に含まれる上記立体視画像は、上記表示用画像に含まれるオブジェクト内に配置されており、
上記生成部は、
上記オブジェクトの向き及び位置の少なくとも一方を変更させることに伴って上記オブジェクト内に配置された上記立体視画像の向き及び位置の少なくとも一方を変更させる場合、変更後の向き及び位置の少なくとも一方に対応する立体視画像を、上記読出部により読み出された上記立体視画像データに含まれる複数の立体視画像から抽出し、当該抽出した立体視画像を、向き及び位置の少なくとも一方を変更させたオブジェクト内に配置し、当該オブジェクトを含む表示用画像の表示用画像データを生成する
請求項１に記載の画像処理装置。
【請求項３】
上記立体視画像データは、
視点の向き及び位置の少なくとも一方が異なる複数の立体視画像をつなげたパノラマ画像のデータである
請求項２に記載の画像処理装置。
【請求項４】
上記オブジェクト内の上記立体視画像を配置する部分は、透明化されており、
上記生成部は、
上記オブジェクトの向き及び位置の少なくとも一方を変更させることに伴って上記オブジェクト内に配置された上記立体視画像の向き及び位置の少なくとも一方を変更させる場合、上記パノラマ画像における変更後の向き及び位置の少なくとも一方に対応する部分が、向き及び位置の少なくとも一方を変更させたオブジェクトの上記透明化された部分の下に位置するように上記表示用画像の下から上記パノラマ画像を重ねることにより、上記パノラマ画像から変更後の向き及び位置の少なくとも一方に対応する立体視画像を抽出して当該オブジェクト内に配置する
請求項３に記載の画像処理装置。
【請求項５】
上記立体視画像データは、
視点の向き及び位置の少なくとも一方が異なる複数の立体視画像毎のデータからなる
請求項２に記載の画像処理装置。
【請求項６】
上記オブジェクト内の上記立体視画像を配置する部分は、透明化されており、
上記生成部は、
上記オブジェクトの向き及び位置の少なくとも一方を変更させることに伴って上記オブジェクト内に配置された上記立体視画像の向き及び位置の少なくとも一方を変更させる場合、上記立体視画像データに含まれる複数の立体視画像から、変更後の向き及び位置の少なくとも一方に対応する立体視画像を選択することにより、変更後の向き及び位置の少なくとも一方に対応する上記立体視画像を抽出し、当該抽出した立体視画像を、向き及び位置の少なくとも一方を変更させたオブジェクトの上記透明化された部分の下に位置するように配置する
請求項５に記載の画像処理装置。
【請求項７】
上記生成部は、
入力部を介して上記表示用画像に含まれる上記立体視画像の向き及び位置の少なくとも一方を変更させる操作入力が行われると、変更後の向き及び位置の少なくとも一方に対応する立体視画像を、上記読出部により読み出された上記立体視画像データに含まれる複数の立体視画像から抽出し、当該抽出した立体視画像を含む表示用画像の表示用画像データを生成し、当該表示用画像データに基づく表示用画像を表示部に表示させる
請求項１に記載の画像処理装置。
【請求項８】
上記生成部は、
上記読出部により読み出された上記立体視画像データをもとに、上記表示用画像に含まれる上記立体視画像の向き及び位置の少なくとも一方を連続して変化していくような動画像の動画像データを生成する
請求項１に記載の画像処理装置。
【請求項９】
表示用画像に含まれる立体視画像の向き及び位置の少なくとも一方を変更する場合、変更後の向き及び位置の少なくとも一方に対応する立体視画像を、視点の向き及び位置の少なくとも一方が異なる複数の立体視画像を有するデータである立体視画像データに含まれる複数の立体視画像から抽出し、
当該抽出した立体視画像を含む表示用画像のデータである表示用画像データを生成する
画像処理方法。
【請求項１０】
コンピュータに、
表示用画像に含まれる立体視画像の向き及び位置の少なくとも一方を変更する場合、変更後の向き及び位置の少なくとも一方に対応する立体視画像を、視点の向き及び位置の少なくとも一方が異なる複数の立体視画像を有するデータである立体視画像データに含まれる複数の立体視画像から抽出する抽出ステップと、
当該抽出した立体視画像を含む表示用画像のデータである表示用画像データを生成する生成ステップと
を実行させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図１３】
【公開番号】特開２０１２−１１４８１６（Ｐ２０１２−１１４８１６Ａ）
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願番号】特願２０１０−２６３８９９（Ｐ２０１０−２６３８９９）
【出願日】平成２２年１１月２６日（２０１０．１１．２６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願日】平成２２年１１月２６日（２０１０．１１．２６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]