フォトブックデータ作成システム

【課題】動画から通常サイズ（一画面サイズ）以上のパノラマ画像を取得でき、それを用いたフォトブックデータを容易に作成できるシステムを提供する。
【解決手段】フォトブックデータ作成システムは、動画のデータから、当該動画の１シーンである画像を複数抽出し、それらの画像を合成することで、個々の画像よりも広いパノラマ合成画像を作成する（パノラマ合成処理）。パノラマ合成画像は、所定のサイズに切り出され（画像切り出し処理）、切り出されたパノラマ合成画像がフォトブックの表紙・裏表紙ページおよび中ページの画像データに合成されることにより、フォトブックデータが作成される（フォトブックデータ作成処理）。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、写真等の画像を印刷して製本化したフォトブックの作成を支援するフォトブックデータ作成システムに関し、特に、フォトブックに用いる画像を動画から抽出する技術に関するものである。
【背景技術】
【０００２】
通常の写真よりも広い範囲を撮影したパノラマ写真が一般に知られている。パノラマ写真の作成方法としては、デジタルカメラのパノラマ撮影機能を用いて撮影するのが一般的であるが、通常サイズの複数の写真を合成してパノラマ写真を作成する技術も知られている（例えば、下記の特許文献１）。従来、パノラマ写真のプリントは、写真店で銀塩方式により行われるのが一般的であったが、近年では、昇華型プリンターでも長尺サイズ（例えば通常のＬサイズの２倍サイズ）のプリントが可能となっている（例えば、下記の特許文献２）。
【０００３】
また近年、写真などの画像（静止画）を複数組み合わせて製本化した、いわゆる「フォトブック」が普及しつつある。例えば下記の特許文献３には、動画から静止画を抽出し、それを用いてフォトブックを作成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３９４７２９０号公報
【特許文献２】特開２００４−８２６１０号公報
【特許文献３】特開２００６−３３３０６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
用紙にプリントされたパノラマ写真は、通常の写真よりも横幅が広いため、通常の写真と共に収納したりアルバムに収めたりすることが難しい。
【０００６】
一方、フォトブックは、作成者が各ページのレイアウトを自由に構成でき、１つのページに複数の画像を配置するのはもちろん、パノラマ写真のような横幅の広い画像を見開きの２ページに跨らせて配置することも可能である。よって、フォトブックはパノラマ写真を収めるのに適した手段と言える。
【０００７】
上記のように、特許文献３では、動画から静止画を抽出してフォトブックを作成する技術が開示されているが、この技術では通常サイズ（一画面サイズ）の画像が抽出される。例えば、広範囲の景色を、ムービーカメラを用いたパン撮影によって、連続性のある動画として撮影することがあるが、特許文献３の技術では、そのような連続性のある動画からも通常サイズの画像しか抽出されず、パン撮影した景色を１枚の画像として鑑賞することはできない。
【０００８】
本発明は以上のような課題を解決するためになされたものであり、動画から通常サイズ（一画面サイズ）以上のパノラマ画像を取得でき、それを用いたフォトブックデータを容易に作成できる、フォトブックデータ作成システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係るフォトブックデータ作成システムは、動画のデータから、当該動画の１シーンである画像を複数抽出する手段と、前記複数の画像を合成することで、個々の前記画像よりも広いパノラマ画像を作成する手段と、フォトブックの表紙・裏表紙ページおよび中ページのいずれかの画像データを作成する手段と、表紙・裏表紙ページおよび中ページのいずれかの画像データに前記パノラマ画像を合成する手段とを備えるものである。
【発明の効果】
【００１０】
本発明によれば、動画から一画面サイズ以上のサイズのパノラマ画像を抽出でき、それを用いたフォトブックデータを容易に作成することができる。例えば、ムービーカメラで景色をパン撮影した動画から、その景色のパノラマ写真を抽出し、フォトブックの見開き２ページに掲載することも容易に行うことができる。動画では、パン撮影した景色を時間を追って一部ずつしか見ことしかできないが、本発明によればパノラマ写真により一目で鑑賞できるようになる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態１に係るフォトブックデータ作成システムの構成図である。
【図２】実施の形態１に係るフォトブックデータ作成方法を示すフロー図である。
【図３】パノラマ合成処理のフロー図である。
【図４】パン撮影される風景の一例を示す図である。
【図５】パン撮影して得られる動画の一例を示す図である。
【図６】フォトブックの構成例を示す図である。
【図７】フォトブックの表紙・背表紙ページおよび中ページの構成例を示す図である。
【図８】第１画像表示処理後における表示部の表示例を示す図である。
【図９】第２画像選択処理時における表示部の表示例を示す図である。
【図１０】合成前処理の一例を示す図である。
【図１１】画像切り出し処理の一例を示す図である。
【図１２】フォトブックの各ページのレイアウトの一例を示す図である。
【図１３】フォトブックの各ページのレイアウトの一例を示す図である。
【発明を実施するための形態】
【００１２】
＜実施の形態１＞
図１は、実施の形態１に係るフォトブックデータ作成システム１０の構成図である。当該フォトブックデータ作成システム１０は、動画から通常サイズ（一画面サイズ）以上のサイズのパノラマ画像を抽出し、それを用いてフォトブック作成用のデータ（フォトブックデータ）を生成するものである。
【００１３】
図１の如く、フォトブックデータ作成システム１０は、記憶部１、入力部２、操作部３、画像処理部４および表示部５を備えている。記憶部１は、フォトブックに掲載する画像を抽出するもととなる動画のデータや、抽出した画像のデータ、生成したフォトブックデータ等を格納するものである。入力部２は、ユーザが、作成するフォトブックのサイズおよび掲載する画像のサイズなどの数値データや、フォトブックの表紙や背表紙に配置するテキストデータなどを入力するためのものである。操作部３は、表示部５に表示された画像の指定および編集に係る操作や、表示部５に表示されたＧＵＩ（Graphical User Interface）の操作などを行うためのものである。画像処理部４は、ユーザによる入力部２および操作部３の操作に従って、記憶部１に格納された動画から画像（静止画）を抽出したり、複数の画像データを合成したり、それらの画像データを用いてフォトブックデータを作成するなどの処理を行うものである。
【００１４】
なお、フォトブックデータ作成システム１０は、汎用のパーソナルコンピュータ等によっても実現可能である。その場合、記憶部１はハードディスク等の記録媒体、入力部２はキーボード、操作部３はマウスなどのポインティングデバイス、画像処理部４はＣＰＵ（Central Processing Unit）、表示部５はディスプレイ装置に相当する。
【００１５】
以下、フォトブックデータ作成システム１０を用いたフォトブックデータ作成方法を、図２および図３のフロー図に基づいて説明する。
【００１６】
ここで、記憶部１には、既にフォトブック用の画像を抽出するもととなる動画が格納されているものとする。動画としては、例えば図４のような風景を、ムービーカメラを用いてパン撮影したものが挙げられる。図４の景色を左から右へとパン撮影した場合、図５に示す動画が得られる。図５の動画では、最初は図４の景色の左部分の画像が現れ、時間と共に映像が左へとスクロールして、当該景色の中央部分の画像、左部分の画像が順次現れることになる。
【００１７】
また図６は、フォトブックの構成を示す図である。フォトブックは、表紙および裏表紙を構成する１つの表紙・裏表紙ページ２０と、見開き２ページを構成する複数の中ページ２１とによって構成される。つまりフォトブックは、二つ折りにした複数の中ページ２１を順に重ねて接着剤などで張り合わせたものを、表紙・裏表紙ページ２０で挟み込んで綴じることによって製本される。
【００１８】
各ページの画像の配置は任意でよいが、本実施の形態では、表紙・裏表紙ページ２０および中ページ２１のそれぞれの全体に、動画から抽出したパノラマ画像を１つずつ掲載させるものとする。
【００１９】
表紙・裏表紙ページ２０および中ページ２１の構成例を図７に示す。表紙・裏表紙ページ２０および中ページ２１は、どちらも１枚の用紙で作成できるが、表紙・裏表紙ページ２０には、綴じ込む中ページ２１の厚みに相当する幅の背表紙部が設けられ、その分だけ中ページ２１よりも幅が広くなる。表紙・裏表紙ページ２０にパノラマ画像を掲載する場合、表紙・裏表紙ページ２０の幅と同じ（中ページ２１の幅よりも広い）パノラマ画像を、表紙、背表紙および裏表紙に跨るように配置してもよいし、中ページ２１と同じ幅のパノラマ画像を、無地の背表紙を挟んで表紙と裏表紙に分離して配置してもよい。また背表紙には、フォトブックのタイトル等の文字を配設してもよい。なお、中ページ２１が薄い（ページ数が少ない）場合には、表紙・裏表紙ページ２０の背表紙は省略してもよい。
【００２０】
ユーザは、まず、入力部２および操作部３を用いて、作成するフォトブックのサイズや、該フォトブックの各ページに配置する画像のサイズなどを設定する（Ｓ１；フォトブックサイズ設定処理）。さらにユーザは、該フォトブックの表紙・裏表紙ページおよび中ページそれぞれのタイプ（背景色、背景画像など）を設定する（Ｓ２；ページタイプ設定処理）。これらの設定方法は、ユーザが任意に設定する方法でもよいし、幾つかのテンプレートからユーザが好みに近いものを選択する方法であってもよい。
【００２１】
続いて、フォトブックデータ作成システム１０は、記憶部１に格納されている動画データから、複数の画像（静止画）データを抽出し、それらを合成したパノラマ画像（パノラマ合成画像）を作成する（Ｓ３；パノラマ合成処理）。
【００２２】
図３は、パノラマ合成処理（Ｓ３）の詳細を示すフロー図である。パノラマ合成処理では、２つの画像の合成が行われるが、ベースとなる合成される側の画像を「第１画像」、第１画像へ合成する側の画像を「第２画像」とそれぞれ定義する。パノラマ合成画像は、第１画像を第２画像の左右いずれかに繋ぎ合わせる合成処理によって生成される。
【００２３】
パノラマ合成処理では、まず、表示部５における第１画像と第２画像の表示位置の配置順を選択する（Ｓ３０１；配置順選択処理）。例えば、第１画像の右側に第２画像を繋ぎ合わせるのであれば、第１画像を左側、第２画像を右側、と設定する。逆に、第１画像の左側に第２画像を繋ぎ合わせるのであれば、第１画像を右側、第２画像を左側、と設定する。
【００２４】
続いて、ユーザが、動画の映像の中から第１画像を選択する（Ｓ３０２；第１画像選択処理）。この処理は、記憶部１から読み出した動画を表示部５上で実際に再生しながら、所望のシーンが現れた時点で、ユーザがそのシーンの映像を第１画像として選択することにより行われる。選択された第１画像は、静止画のデータとして画像処理部４に取り込まれる（Ｓ３０３：第１画像取り込み処理）。
【００２５】
上記の第１画像選択処理（Ｓ３０２）では、ユーザが所望のシーンを確実に選択できるように、動画をスロー再生やコマ送りできるようにするとよい。また、第１画像として所望のシーンを選択できるまで、何度もやり直し可能にするとよい。
【００２６】
画像処理部４に取り込まれた第１画像は、表示部５における配置順選択処理（Ｓ３０１）で選択された位置に表示される（Ｓ３０４；第１画像表示処理）。例えば、配置順選択処理（Ｓ３０１）で第１画像が左側に選択された場合、図８のように表示部５の画面左側に第１画像が表示される。図８の例では、図５に示した動画の冒頭部分が第１画像として選択されている。
【００２７】
ユーザはさらに、動画の映像の中から、第１画像に合成させる第２画像を選択する（Ｓ３０５；第２画像選択処理）。この処理も、表示部５上で実際に動画を再生しながら、所望のシーンが現れた時点で、ユーザがそのシーンの映像を第２画像として選択することにより行われる。
【００２８】
図８のように第１画像が表示部５の画面左側に配置されている場合、第２画像選択のための動画再生は、図９の如く表示部５の画面右側で行われる。ユーザは、例えば図９の最下段のように、動画再生映像の左端が第１画像の右端と一致するシーンを探し、それを第２画像として選択する。選択された第２画像は、静止画のデータとして画像処理部４に取り込まれる（Ｓ３０６：第２画像取り込み処理）。
【００２９】
第２画像選択処理（Ｓ３０５）においても、所望のシーンを確実に選択できるように、動画をスロー再生やコマ送りできるようにするとよい。また、第２画像として所望のシーンを選択できるまで、何度もやり直し可能にするとよい。
【００３０】
第１画像と第２画像との合成の前に、両者の重なり具合などの微調整を行う（Ｓ３０７；合成前処理）。パン撮影の際の手振れや、ムービーカメラのレンズによる歪みなどの影響により、第２画像の端部と第１画像の端部とが一致しないことがしばしば起こり得るが、ここではその補正処理が行われる。例えば上方向の手振れによって、図１０のように、第２画像中の映像が、第１画像に対して下方向にずれている場合、ユーザの編集操作により、第２画像を上にずらすことによって、第１画像の右端と第２画像の左端とをずれなく繋ぎ合わせることができる。
【００３１】
合成前処理（Ｓ３０７）は、画像処理部４が、第１画像および第２画像を解析して自動的に行うようにしてもよい。例えば図１０の場合であれば、画像処理部４が、第１画像の右端部分と第２画像の左端部分とのマッチングを行い、その一致度が最大になるように、第１画像および第２画像の位置合わせや歪み補正を行うようにすれば、自動化が可能である。その場合、合成前処理（Ｓ３０７）の全部を自動化せずに、ユーザがある程度調整を施した後の微調整を自動化してもよい。
【００３２】
合成前処理（Ｓ３０７）が完了すると、第１画像と第２画像を繋ぎ合わせる合成処理が行われる（Ｓ３０８；合成処理）。その結果、第１画像と第２画像を合成したパノラマ合成画像が得られるが、それに更に別の画像を合成して、より広範囲のパノラマ合成画像を作成したい場合には（Ｓ３０９においてNo）、合成処理（Ｓ３０８）で得たパノラマ合成画像を、次の合成のベースとなる「第１画像」として規定し（Ｓ３１０）、ステップＳ３０１と同様に当該第１画像とそれに合成する第２画像の、表示部５における表示位置の配置順を選択し（Ｓ３１１；配置順選択処理）、上記のステップＳ３０４〜Ｓ３０８を繰り返し実行する。
【００３３】
合成すべき画像の全てが合成され、パノラマ合成画像が完成すれば（Ｓ３０９においてYes）、パノラマ合成処理（図２のステップＳ３）は終了する。
【００３４】
上の説明では、第１画像および第２画像の選択処理（Ｓ３０２，Ｓ３０５）において、動画を実際に再生しながらシーンの選択を行う例を示したが、例えば動画データが静止画データの集合として扱われており、且つ、画像処理部４のメインメモリの容量がふんだんにある場合には、それらの静止画データを画像処理部４が予め取り込んでおき、その中から最適な画像を第１画像または第２画像として選択する手法をとってもよい。
【００３５】
先のパノラマ合成処理（Ｓ３）で得られたパノラマ合成画像は、表示部５に表示される（Ｓ４；パノラマ合成画像表示処理）。パノラマ合成処理（Ｓ３）で合成前処理（Ｓ３０７）および合成処理（Ｓ３０８）が繰り返し行われると、図１１に示すように、得られるパノラマ合成画像３０は、複雑な形状となる場合がある。
【００３６】
ユーザは、操作部３を操作し、フォトブックサイズ設定処理（Ｓ１）で設定した画像サイズのアスペクト比を有する矩形の枠３１を、表示部５に表示されたパノラマ合成画像３０の上で移動および拡大・縮小させながら、パノラマ合成画像３０上の所望の範囲を選択する。画像処理部４は、その選択された範囲の画像を切り出して取り込み、記憶部１に格納する（Ｓ５；画像切り出し処理）。これにより、作成するフォトブックに掲載するためのパノラマ画像（パノラマ合成画像）のデータが取得される。
【００３７】
本実施の形態のように、フォトブックの表紙・裏表紙ページ２０および中ページ２１のそれぞれの全体にパノラマ合成画像を１つずつ掲載する場合、画像の切り出し範囲を指定する枠３１は、表紙・裏表紙ページ２０または中ページ２１と同じ形状になる。
【００３８】
上記したように、画像の切り出し範囲を指定する枠３１は、拡大・縮小が可能であり、そのサイズは実際にフォトブックに掲載される画像サイズと一致しなくてよく、少なくとも画像のアスペクト比が一致していればよい。枠３１によって切り出された画像サイズが実際にフォトブックに掲載する画像サイズと異なる場合には、拡大・縮小処理によって画像サイズを調整してから記憶部１に保存してもよい。あるいは、パノラマ合成画像をフォトブックにレイアウトする際に拡大・縮小処理を行うことを前提として、切り出されたままのサイズで記憶部１に保存してもよい。
【００３９】
フォトブック用に作成すべきパノラマ合成画像が他にもある場合には（ステップＳ６においてNo）、上記のステップＳ３〜Ｓ５が繰り返し実行される。
【００４０】
フォトブック用のパノラマ合成画像が全て取得されると（ステップＳ６においてYes）、次はそれらを用いたフォトブックデータを作成する処理に移行する。
【００４１】
ユーザは、記憶部１に蓄積された画像から、フォトブックの各ページに掲載する画像を選択する（ステップＳ７；画像データ選択処理）。画像処理部４は、フォトブックサイズ設定処理（Ｓ１）で設定されたサイズおよびページタイプ設定処理（Ｓ２）で設定されたタイプの、表紙・裏表紙ページ２０並びに中ページ２１の画像データに、選択された画像のデータを合成する（Ｓ８；フォトブックデータ作成処理）。選択された画像が合成された表紙・裏表紙ページ２０および中ページ２１の画像データが、フォトブックデータとなる。ユーザは、フォトブックデータ作成システム１０で作成したフォトブックデータを印刷し、それらを製本することによって、実際のフォトブックを作成することができる。
【００４２】
本実施の形態に係るフォトブックデータ作成システム１０によれば、簡単な編集作業によって、パン撮影された動画からを１枚のパノラマ画像（パノラマ合成画像）として再現することができる。また作成されたパノラマ画像は、フォトブックに掲載する画像サイズまたはアスペクト比で取得されるので、その後のフォトブックへのレイアウトも容易にでき、フォトブックデータの作成を容易に行うことができる。またフォトブックとして製本化されるので、印刷されたパノラマ画像の収納等に困ることはなく、手軽にパノラマ画像を鑑賞することができる。
【００４３】
＜実施の形態２＞
実施の形態１のように、中ページ２１（見開き２ページ）のそれぞれの全体にパノラマ画像を１つずつ掲載するようにすれば、迫力のあるフォトブックが得られるが、本発明において、表紙・裏表紙ページ２０および中ページ２１における画像のレイアウトはそれに限定されない。
【００４４】
例えば図１２のように、一つの中ページ２１内に、パノラマ合成画像を複数に配置してもよい。図１２のように同じ風景を異なる時間に撮影した動画から得たパノラマ合成画像を、一つの中ページ２１内に並べて配置することで、風景が時間の経過とともに変化していく様子もあわせて楽しむことができる。その場合、パノラマ合成画像が配置されていない背景部分は、プリント用紙の色のままでもよいし、背景色や背景画像で装飾してもよい。また図１３のように、中ページ２１の全体に配置されるパノラマ合成画像を背景画像として扱い、その上に別に画像を配置してもよい。
【符号の説明】
【００４５】
１記憶部、２入力部、３操作部、４画像処理部、５表示部、１０フォトブックデータ作成システム、２０表紙・裏表紙ページ、２１中ページ。

【特許請求の範囲】
【請求項１】
動画のデータから、当該動画の１シーンである画像を複数抽出する手段と、
前記複数の画像を合成することで、個々の前記画像よりも広いパノラマ画像を作成する手段と、
フォトブックの表紙・裏表紙ページおよび中ページのいずれかの画像データを作成する手段と、
表紙・裏表紙ページおよび中ページのいずれかの画像データに前記パノラマ画像を合成する手段とを備える
ことを特徴とするフォトブックデータ作成システム。
【請求項２】
前記フォトブックに掲載する画像サイズを設定する手段をさらに備え、
前記パノラマ画像を作成する手段は、
前記複数の画像を合成した合成画像から、前記フォトブックに掲載する画像サイズに対応するアスペクト比を有する矩形の前記パノラマ画像を切り出す手段を含む
請求項１記載のフォトブックデータ作成システム。
【請求項３】
前記合成画像を表示する手段をさらに備え、
前記パノラマ画像を切り出す手段は、
表示された前記合成画像に重ねて、移動および拡大・縮小が可能な前記矩形の枠を表示する手段と、
前記枠内の範囲を前記パノラマ画像として切り出す手段とを備える
請求項２記載のフォトブックデータ作成システム。

【図１】