画像処理装置、方法及びプログラム
【課題】複数のシーンの動画をつなぎ合わせて生成された動画ファイルから静止画を抽出して印刷する際に、動画の動きを印刷結果に反映し、ユーザの望む印刷結果が得られるようにする。
【解決手段】複数のシーンの動画をつなぎ合わせて生成された動画ファイル３００から静止画を抽出して印刷する際に、動画ファイル３００の総シーン数を、用紙情報に含まれる縦方向に最大印刷可能なフレーム数で等間隔に分割して、印刷するシーンを決定する。次に、決定した各シーンの総フレーム数を、用紙情報に含まれる横方向に最大印刷可能なフレーム数で等間隔に分割して、印刷するフレームを決定する。
【解決手段】複数のシーンの動画をつなぎ合わせて生成された動画ファイル３００から静止画を抽出して印刷する際に、動画ファイル３００の総シーン数を、用紙情報に含まれる縦方向に最大印刷可能なフレーム数で等間隔に分割して、印刷するシーンを決定する。次に、決定した各シーンの総フレーム数を、用紙情報に含まれる横方向に最大印刷可能なフレーム数で等間隔に分割して、印刷するフレームを決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のシーンの動画をつなぎ合わせて生成された動画ファイルから静止画を抽出して印刷する際のレイアウトを決定する画像処理装置、方法、プログラム及びコンピュータ読み取り可能な記憶媒体に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の急速な普及やパソコン、プリンタ等の低価格化に伴い、デジタルカメラで撮影した静止画や動画を自宅のパソコンに保存して、編集したり、プリンタで印刷したりして楽しむユーザが増えている。また、最近では、パソコンを介することなくデジタルカメラ等（又はその記録用メモリカード）から画像を直接読み出して印刷することができる所謂ダイレクトプリンタも登場している。
【０００３】
特に動画の印刷を行う場合、動画ファイルの中から印刷したい場面（フレーム）をユーザが選択し、そのフレームを動画ファイルから静止画として抽出して印刷する方式が提案されている。また、動画ファイルから等間隔でフレームを抽出し、抽出したフレームを並べて連続フレームとして用紙１枚に収まるように印刷する方式（以下、「連続フレーム印刷」と呼ぶ）が提案されている。連続フレーム印刷を行うことで、動画ファイルを静止画（フレーム）の連続として用紙１枚に印刷することができ、動画の動きを印刷結果に反映することが可能となっている。
【０００４】
また、デジタルカメラでは静止画と動画を関連付けて記憶する構成も提案されており、例えば静止画撮影のたびに数秒間の動画を記録し、記録した動画データをつなぎ合わせて、複数のシーンからなる１つの動画ファイルを生成する方式も提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５―２４４９３４号公報
【特許文献２】特開２００９−０９５００３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記従来技術により、複数のシーンからなる動画ファイルに対して、連続フレーム印刷を行う場合、次の課題が考えられる。従来の連続フレーム印刷では、動画ファイルから等間隔でフレームの抽出を行っており、複数のシーンからなる動画ファイルを印刷する場合、各シーンから抽出されるフレームの数が少なくなるおそれがある。そのため、動画の動きを印刷結果に反映することができず、ユーザの望む印刷結果を得ることができない。
【０００７】
特許文献１には、指定された動画データを設定されたコマ数に応じて複数の部分動画データに分割した場合の当該分割した部分動画データ毎にフレーム画像を選択して印刷する第１の印刷手段と、前記複数の部分動画データから特定の部分動画データを指定する第２の指定手段と、前記指定された特定の部分動画データを前記設定されたコマ数に応じてさらに複数の部分動画データに分割した場合の当該分割した部分動画データ毎にフレーム画像を選択して印刷する第２の印刷手段と、を備えるプリンタが開示されている。特許文献１については、動画ファイルからフレームの抽出を行い、抽出したフレームを並べて印刷することが可能であるが、複数のシーンからなる動画ファイルに対する配慮がなされておらず、動画の動きを印刷結果に反映することができない。
【０００８】
また、特許文献２には、プリント領域の余白を最大限に埋め、ペーパーの無駄をなくすようにした画像処理装置が開示されている。特許文献２についても、動画ファイルからフレームを抽出し、用紙の余白量を計算したうえで、フレームを並べて印刷することが可能であるが、複数のシーンからなる動画ファイルに対する配慮がなされておらず、動画の動きを効果的に印刷結果に反映することができない。
【０００９】
本発明は上記問題点を鑑みてなされたものであり、複数のシーンの動画をつなぎ合わせて生成された動画ファイルから静止画を抽出して印刷する際に、動画の動きを印刷結果に反映し、ユーザの望む印刷結果が得られるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、複数のシーンの動画をつなぎ合わせて生成された動画ファイルから静止画を抽出して印刷する際のレイアウトを決定する画像処理装置であって、印刷対象の動画ファイルにおいて、印刷するシーンを決定する印刷シーン決定手段と、前記印刷シーン決定手段で決定した各シーンにおいて印刷するフレームを決定する印刷フレーム決定手段と、前記印刷フレーム決定手段で決定したフレームを１枚の用紙に配置するレイアウトを決定するレイアウト決定手段とを備えたことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、複数のシーンの動画をつなぎ合わせて生成された動画ファイルから静止画を抽出して印刷する際に、動画の動きを印刷結果に反映し、ユーザの望む印刷結果が得られるようにすることができる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態に係るデジタルカメラのシステム構成を示す図である。
【図２】第１の実施形態に係るプリンタのシステム全体の構成を示す図である。
【図３】動画ファイルの構成を示す図である。
【図４】第１の実施形態に係るデジタルカメラとプリンタの処理シーケンスを示す図である。
【図５】第１の実施形態に係るデジタルカメラの動作を示すフローチャートである。
【図６】第１の実施形態に係るプリンタの動作を示すフローチャートである。
【図７】第１の実施形態に係る動画ファイルの印刷結果を示す図である。
【図８】第２の実施形態に係るプリンタの動作を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
（第１の実施形態）
図１は、第１の実施形態に係るデジタルカメラ１００のシステム構成を示す図である。１０はレンズバリア、１１は撮影レンズ、１２は絞り機能を備えるシャッターである。１３は撮像制御手段であり、レンズバリア１０、撮影レンズ１１及びシャッター１２を制御する。１４は光学像を電気信号に変換する撮像素子である。１５は画像処理回路であり、撮像素子１４からのデータ或いはメモリ制御回路１６からのデータに対して所定の画素補間処理や色変換処理を行う。
【００１４】
１６はメモリ制御回路であり、その制御下で撮像素子１４のデータが画像処理回路１５においてＡ／Ｄ変換され、メモリ１８に書き込まれる。１７はＴＦＴ ＬＣＤ等からなる画像表示部であり、メモリ１８に書き込まれた表示用の画像データがＤ／Ａ変換されて画像表示部１７により表示される。１８は撮影した静止画や動画を格納するためのメモリであり、所定枚数の静止画や所定時間の動画を格納するのに十分な記憶量を備える。これにより、複数枚の静止画を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ１８に対して行うことが可能となる。また、メモリ１８はシステム制御回路５０の作業領域としても使用することが可能である。
【００１５】
５０はシステム制御回路であり、撮影画像の被写体認識処理や、被写体認識結果と管理データの照合処理や、ステータスデータの生成処理等、必要な各種処理を実行すると共に、デジタルカメラ１００全体を制御する。５１はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。６０は画像処理部であり、動画ファイルから静止画を抽出する等、各種画像処理を行う。
【００１６】
７０はシステム制御回路５０の各種の動作指示を入力するための操作部であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。７１は通信制御手段であり、外部機器との通信機能を制御する。
【００１７】
９０は外部記憶媒体９３とデータの送受信を行うカードコントローラである。９１は外部記憶媒体９３とのインタフェースである。９２は外部記憶媒体９３と接続を行うコネクタである。９３はメモリカード等の外部記憶媒体である。７２は記憶媒体着脱検知手段であり、コネクタ９２に外部記憶媒体９３が装着されているか否かを検知する。以上がデジタルカメラ１００の全体のシステム構成である。
【００１８】
図２は、第１の実施形態に係るプリンタ２０１のシステム構成を示す図である。２０２は実際に用紙に画像をプリントするプリントエンジンであり、給紙部２１３から用紙を供給し、プリント処理部２０５によってデータ印刷処理を行い、排紙部２１４からプリントされた用紙を排紙する。２０３はＬＣＤ表示、ＬＥＤ表示等でユーザに対する情報を表示する表示部であり、表示処理部２０６によって処理される。
【００１９】
２０４は各種の動作指示を入力するため操作部であり、システムコントローラ２０７を介してスイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。２０８は電気的に消去・記録可能な不揮発性メモリである。２０９はプリンタの動作用の定数、変数、プログラム等を記憶するメモリである。
【００２０】
２１０はメモリカード等の外部記憶媒体とデータの送受信を行うカードコントローラである。２１６はメモリカード等の外部記憶媒体とのインタフェースである。２１１はデジタルカメラ等の外部機器とＵＳＢを用いて接続するためのＵＳＢホストインタフェースである。２１２はパソコン等の外部機器とＵＳＢを用いて接続するためのＵＳＢデバイスインタフェースである。
【００２１】
２１５はプリンタカートリッジ装着部であり、L Size、Postcard Size、Roll Size等様々な用紙サイズのプリンタカートリッジの着脱検出、及び給紙部２１３と連動して印刷時に用紙を供給する。以上がプリンタ２０１の全体のシステム構成である。
【００２２】
図３は、動画ファイルの構成を示す図である。動画ファイル３００は、複数のシーン（３０１〜３０３、３１６〜３１８）の動画をつなぎ合わせて１つの動画ファイルとして構成されたものであり、各シーンは２〜４秒程度の記録時間となっているものとする。このような形式の動画ファイルを生成するために、例えばデジタルカメラ１００に専用のモードを設け、そのモードで動画が撮影された場合に、図３に示すように複数のシーンをつなぎ合わせた動画ファイルが生成されるようにする。各シーン（３０１〜３０３、３１６〜３１８）は、例えば３０ｆｐｓで撮影された動画の場合、符号３０４に示すように４秒間で１２０フレームのフレームデータ、符号３０５に示すように３秒間で９０フレームのフレームデータから構成される。以下、本実施形態ではこのような動画ファイルをダイジェスト動画と呼ぶ。
【００２３】
図４は、第１の実施形態に係るデジタルカメラ１００とプリンタ２０１の処理シーケンスを示す図である。また、図５は、第１の実施形態に係るデジタルカメラ１００の動作を示すフローチャート、図６は、第１の実施形態に係るプリンタ２０１の動作を示すフローチャートである。また、図７は、第１の実施形態において図３に示す動画ファイルを印刷したときの印刷結果を示す図である。以下、本実施形態においてはデジタルカメラ１００とプリンタ２０１とをＵＳＢで接続し、デジタルカメラ１００を操作してダイジェスト動画３００をプリンタ２０１に対して、ＰｉｃｔＢｒｉｄｇｅ（ピクトブリッジ）によるダイレクトプリントを実行する際の動作について説明する。
【００２４】
ステップＳ４０１、Ｓ５０１、Ｓ６０１において、デジタルカメラ１００とプリンタ２０１とをＵＳＢで接続すると、デジタルカメラ１００とプリンタ２０１との間で、ＰｉｃｔＢｒｉｄｇｅの初期化処理が実行される。ＰｉｃｔＢｒｉｄｇｅの初期化処理では、互いの機器がＰｉｃｔＢｒｉｄｇｅに対応していることを確認するためのＤＰＳ Ｄｉｓｃｏｖｅｒｙ処理（ステップＳ４０２）が実行される。また、互いの機器のＤＰＳ Ｖｅｒｓｉｏｎや、ベンダー名、機器名等の情報を交換するためのＣｏｎｆｉｇｕｒｅ Ｐｒｉｎｔ Ｓｅｒｖｉｃｅ（ステップＳ４０３）が実行される。
【００２５】
ＰｉｃｔＢｒｉｄｇｅの初期化処理が実行されると、ステップＳ４０４、Ｓ４０５において、用紙情報取得のために、デジタルカメラ１００は、プリンタ２０１の印刷能力（Ｃａｐａｂｉｌｉｔｙ）を取得するための処理（Ｇｅｔ Ｃａｐａｂｉｌｉｔｙ）を実行する。Ｃａｐａｂｉｌｉｔｙには、用紙サイズや用紙タイプ、及び印刷可能なファイルフォーマットや日付印刷・対応レイアウト印刷等の特殊プリント機能への対応の有無といった情報が含まれる。本実施形態では、このＣａｐａｂｉｌｉｔｙにおいて、現在プリンタ２０１にセットされている用紙の種別に基づいて、用紙の縦方向に配置可能なフレーム数、ここでは最大印刷可能なフレーム数と、横方向に配置可能なフレーム数、ここでは最大印刷可能なフレーム数の情報が含まれているものとする。本実施形態では、縦方向に最大印刷可能なフレーム数が「６」、横方向に最大印刷可能なフレーム数が「７」であるものとする。ステップＳ４０４において、デジタルカメラ１００がプリンタ２０１に対してＧｅｔ Ｃａｐａｂｉｌｉｔｙを実行すると、ステップＳ４０５において、プリンタ２０１からフレーム数情報が送信される（ステップＳ６０２）。これにより、デジタルカメラ１００はその情報を取得することが可能である（ステップＳ５０２）。
【００２６】
その後、ユーザはデジタルカメラ１００の操作部７０を操作し、ステップＳ４０６、Ｓ５０３において、印刷する動画を選択する。ステップＳ５０４において、ユーザがダイジェスト動画３００を印刷すると選択しなかった場合は、ダイジェスト動画印刷処理を終了し、通常のＰｉｃｔＢｒｉｄｇｅ印刷処理を実行する。
【００２７】
ステップＳ５０４において、ユーザがダイジェスト動画３００を印刷すると選択した場合は、ステップＳ５０５において、ステップＳ５０２で取得した用紙の縦方向に最大印刷可能なフレーム数「６」を取得する。そして、ステップＳ４０７、Ｓ５０６において、ダイジェスト動画３００の総シーン数から、印刷するシーンを決定する。例えば印刷する動画としてダイジェスト動画３００を選択した場合、ダイジェスト動画３００の総シーン数は「１８」であるので、総シーン数「１８」を縦方向に最大印刷可能なフレーム数「６」で等間隔に分割して、印刷シーンを決定する。この場合、シーン１、シーン４、シーン７、シーン１０、シーン１３、シーン１６が印刷シーンとなる。
【００２８】
次に、ステップＳ５０７において、ステップＳ５０２で取得した用紙の横方向に最大印刷可能なフレーム数「７」を取得する。そして、ステップＳ４０８、Ｓ５０８において、ステップＳ４０７、Ｓ５０６で決定した各印刷シーンにおける総フレーム数から、印刷するフレームを決定する。例えばダイジェスト動画３００のシーン１が印刷シーンとなった場合、シーン１の総フレーム数は「１２０」であるので、総フレーム数「１２０」を横方向に最大印刷可能なフレーム数「７」で等間隔に分割して、印刷フレームを決定する。この場合、フレーム１、フレーム１８、フレーム３５、フレーム５２、フレーム６９、フレーム８６、フレーム１０３が印刷フレームとなる。また、ダイジェスト動画３００のシーン１６が印刷シーンとなった場合、シーン１６の総フレーム数は「９０」であるので、総フレーム数「９０」を横方向に最大印刷可能なフレーム数「７」で等間隔に分割して、印刷フレームを決定する。この場合、フレーム１、フレーム１４、フレーム２７、フレーム４０、フレーム５３、フレーム６６、フレーム７９が印刷フレームとなる。
【００２９】
その後、ステップＳ４０９、Ｓ５０９において、デジタルカメラ１００は印刷ＪＯＢの生成を行う。まずデジタルカメラ１００は、ダイジェスト動画３００から、印刷シーン決定（ステップＳ４０７、Ｓ５０６）において印刷対象となったシーンから、印刷フレーム決定（ステップＳ４０８、Ｓ５０８）において印刷対象となったフレームを、画像処理部６０によって抽出し、印刷フレームを生成する。さらに、生成した印刷フレームを、図７に示すようにレイアウト決定して並べて印刷可能になるように、印刷ＪＯＢ生成を生成する。
【００３０】
ステップＳ４１０、Ｓ５１０において、デジタルカメラ１００はプリンタ２１０に、ステップＳ４０９、Ｓ５０９で生成した印刷ＪＯＢを送信する。ステップＳ６０３において、プリンタ２１０はデジタルカメラ１００からの印刷ＪＯＢを受信すると、プリント処理部２０５において印刷ＪＯＢの解析を行い、ステップＳ６０４において、印刷処理を実行する。このとき、プリンタ２１０は、印刷ＪＯＢの内容に従ってデジタルカメラ１００に画像の取得要求（ステップＳ４１１）を行い、デジタルカメラ１００はその要求に応じて画像データを送信する（ステップＳ４１２）。プリンタ２０１は用紙１枚分の画像の取得を行い、プリントエンジン２０２によって印刷処理を実行する。
【００３１】
印刷処理が完了すると、ステップＳ４１３、Ｓ６０５において、プリンタ２０１は印刷の終了を通知するための、Ｎｏｔｉｆｙ Ｊｏｂ Ｓｔａｔｕｓコマンドをデジタルカメラ１００に送信し、ダイジェスト動画印刷処理を終了する。ステップＳ５１１において、デジタルカメラ１００は印刷終了通知を受信したと判断し、ダイジェスト動画印刷処理を終了する。
【００３２】
図７は、本実施形態において１８個のシーンからなるダイジェスト動画３００を印刷した場合の印刷結果である。上述した印刷シーン決定、印刷フレーム決定の処理により、１行目にはシーン１のフレーム１、１８、３５、５２、６９、８６、１０３が印刷される。２行目〜６行目までも同様で、シーン４、７、１０、１３、１６についてシーン１と同様に選択されたフレームが横並びに印刷される。これにより、複数のシーンが集まって１つの動画ファイルになっているダイジェスト動画の印刷において、各シーンが横並びに１行に配置されるので、シーンの句切れが複数の行にまたがることない。これにより、ダイジェスト動画のフレーム印刷に適したレイアウトで印刷することが可能となる。
【００３３】
以上のように、複数のシーンからなる動画ファイルを印刷する場合に、印刷する用紙サイズに合わせて、印刷するシーン、フレームを決定するものであり、ダイジェスト動画の印刷に適したレイアウトで印刷することが可能である。
【００３４】
（第２の実施形態）
上記第１の実施形態では、デジタルカメラ１００が本発明でいう画像処理装置として機能した例を説明したが、プリンタ２０１が本発明でいう画像処理装置として機能するようにしてもよい。本実施形態では、プリンタ２０１にダイジェスト動画３００が記憶されているメモリカードを挿入し、プリンタ２０１を操作することでメモリカードからダイジェスト動画３００を読み出して印刷する場合の処理について説明する。なお、プリンタ２０１の構成、ダイジェスト動画３００のファイル構成等は第１の実施形態と同様である（図２、図３を参照）。
【００３５】
図８は、第２の実施形態に係るプリンタ２０１の動作を示すフローチャートである。以下、図８を参照して、プリンタ２０１のインタフェース２１６にダイジェスト動画３００が記憶されているメモリカードを挿入し、プリンタ２０１を操作することでメモリカードからダイジェスト動画３００を読み出して印刷する際の動作について説明する。
【００３６】
プリンタ２０１は、メモリカードからデータを読み出して表示処理部２０６で画像処理を行い、表示部２０３に画像データを表示する。ユーザは操作部２０４を操作し、ステップＳ８０１において、印刷を行うデータの選択を行う。
【００３７】
ステップＳ８０２において、ユーザがダイジェスト動画３００を印刷すると選択しなかった場合は、ダイジェスト動画印刷処理を終了し、通常の印刷処理を実行する。
【００３８】
ステップＳ８０２において、ユーザがダイジェスト動画３００を印刷すると選択した場合は、ステップＳ８０３において、プリンタ２０１にセットされている用紙の縦方向に最大印刷可能なフレーム数「６」を取得する。そして、ステップＳ８０４において、ダイジェスト動画３００の総シーン数から、印刷するシーンを決定する。例えば印刷する動画としてダイジェスト動画３００を選択した場合、ダイジェスト動画３００の総シーン数は「１８」であるので、総シーン数「１８」を縦方向に最大印刷可能なフレーム数「６」で等間隔に分割して、印刷シーンを決定する。この場合、シーン１、シーン４、シーン７、シーン１０、シーン１３、シーン１６が印刷シーンとなる。
【００３９】
次に、ステップＳ８０５において、プリンタ２０１にセットされている用紙の横方向に最大印刷可能なフレーム数「７」を取得する。そして、ステップＳ８０６において、ステップＳ８０４で決定した各印刷シーンにおける総フレーム数から、印刷するフレームを決定する。例えばダイジェスト動画３００のシーン１が印刷シーンとなった場合、シーン１の総フレーム数は「１２０」であるので、総フレーム数「１２０」を横方向に最大印刷可能なフレーム数「７」で等間隔に分割して、印刷フレームを決定する。この場合、フレーム１、フレーム１８、フレーム３５、フレーム５２、フレーム６９、フレーム８６、フレーム１０３が印刷フレームとなる。また、ダイジェスト動画３００のシーン１６が印刷シーンとなった場合、シーン１６の総フレーム数は「９０」であるので、総フレーム数「９０」を横方向に最大印刷可能なフレーム数「７」で等間隔に分割して、印刷フレームを決定する。この場合、フレーム１、フレーム１４、フレーム２７、フレーム４０、フレーム５３、フレーム６６、フレーム７９が印刷フレームとなる。
【００４０】
その後、ステップＳ８０７において、ステップＳ８０６で印刷対象となったフレームに対してダイジェスト動画３００から静止画を抽出して画像処理を行い、ステップＳ８０８において、印刷処理を実行する。プリンタ２０１は、ステップＳ８０９において、印刷処理が終了したと判断すると、ダイジェスト動画印刷処理を終了する。本実施形態における印刷結果は、第１の実施形態と同様であり（図７を参照）、レイアウトに関する詳しい説明は省略する。
【００４１】
以上のように、複数のシーンからなる動画ファイルを印刷する場合に、印刷する用紙サイズに合わせて、印刷するシーン、フレームを決定するものであり、ダイジェスト動画の印刷に適したレイアウトで印刷することが可能である。
【００４２】
（その他の実施形態）
第１、２の実施形態では、縦方向に最大印刷可能なフレーム数から印刷するシーンを決定し、横方向に最大印刷可能なフレーム数から印刷するフレームを決定しているが、それに限られるものではない。例えば逆に横方向に最大印刷可能なフレーム数から印刷するシーンを決定し、縦方向に最大印刷可能なフレーム数から印刷するフレームを決定することで、各シーンが縦並びに一列に配置されるように印刷することも可能である。
【００４３】
また、第１、２の実施形態では、ダイジェスト動画３００の総シーン数を縦方向に最大印刷可能なフレーム数で等間隔に分割して、印刷シーンを決定するようにしたが、それに限られるものではない。例えばダイジェスト動画３００の総動画撮影時間を縦方向に最大印刷可能なフレーム数で等間隔に分割して、各時点でのシーンを印刷シーンとするようにしてもよい。
【００４４】
また、例えばシーンの撮影時刻間隔から印刷するシーンを決定することも可能である。また、１シーン目の撮影開始日時から最終シーンの撮影終了日時までの経過時間を一列に配置されるフレーム数で分割し、各時点から一番近いシーン、又は各時点の直後或いは直後にあるシーンを印刷するシーンとして決定することも可能である。また、用紙がロール紙の場合には全シーンを印刷対象に決定することも可能である。
【００４５】
また、同じシーンのフレームを縦一列に並べて配置するか、又は同じシーンのフレームを横一列に並べて配置するかを、動画ファイルに含まれるシーン数に応じて決定してもよい。例えば、動画ファイルに含まれるシーン数が多い場合は、横方向に最大印刷可能なフレーム数と横方向に最大印刷可能なフレーム数を比較する。その結果、フレーム数が多い方向に異なるシーンのフレームが並び、フレーム数が少ない方向に同じシーンのフレームが並ぶようにレイアウトする。逆に、シーン数が少ない場合は、最大印刷可能なフレーム数が少ないほうに異なるシーンのフレームが並び、フレーム数が多いほうに同じシーンのフレームが並ぶようにレイアウトするようにするとよい。
【００４６】
また、上述の実施形態では、用紙を横方向に使用して複数のフレームを配置する場合を例にとって説明したが、用紙を縦方向に使用してフレームを配置してもよい。また、用紙を縦方向に使用する場合と横方向に使用する場合とで、縦方向又は横方向のうち一列に印刷可能な最大のフレーム数が異なる場合は、動画ファイルのシーン数に応じて、用紙を縦方向に使用するか、用紙を横方向に使用するかを自動的に決定してもよい。例えば、動画ファイルに含まれるシーン数が多い場合は、用紙を縦方向に使用する場合と横方向に使用する場合とで一列に印刷可能な最大のフレーム数を比較し、一列に印刷可能な最大のフレーム数が多いほうの用紙の方向を使用してフレームをレイアウトする。逆に、動画ファイルに含まれるシーン数が少ない場合は、用紙を縦方向に使用する場合と横方向に使用する場合とで一列に印刷可能な最大のフレーム数を比較し、一列に印刷可能な最大のフレーム数が少ないほうの用紙の方向を使用してフレームをレイアウトするとよい。動画ファイルに含まれるシーン数に応じて、同じシーンのフレームを縦一列に並べて配置するか同じシーンのフレームを横一列に並べて配置するかや、用紙を縦方向に使用するか横方向に使用するかを決定する場合について説明した。しかし、動画ファイルに含まれるシーンの数の大小だけでなく、動画ファイルのシーン数だけでなく、総動画撮影時間や撮影時刻間隔、又は１シーン目の撮影開始日時から最終シーンの撮影終了日時までの経過時間を考慮して決定してもよい。
【００４７】
また、動画ファイルに含まれるシーン数が多いか少ないかの判断については、予め閾値を用意しておくとよい。予め用意しておく閾値については、用紙のサイズ又は最大印刷可能なフレーム数に応じて異なる閾値を用意しておいてもよい。
【００４８】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。また、上記で説明した実施形態を組み合わせて、本発明を実現してもよい。
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種コンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４９】
１０：レンズバリア、１１：撮影レンズ、１２：シャッター、１３：撮像制御手段、１４：撮像素子、１５：画像処理回路、１６：メモリ制御回路、１７：画像表示部、１８：メモリ、５０：システム制御回路、５１：メモリ、６０：画像処理部、７０：操作部、７１：通信制御手段、７２：記憶媒体着脱検知手段、９０：カードコントローラ、９１：インタフェース、９２：コネクタ、９３：外部記憶媒体、１００：デジタルカメラ、２０１：プリンタ、２０２：プリントエンジン、２０３：表示部、２０４：操作部、２０５：プリント処理部、２０６：表示処理部、２０７：システムコントローラ、２０８：不揮発性メモリ、２０９：メモリ、２１０：カードコントローラ、２１１：ＵＳＢホストインタフェース、２１２：ＵＳＢデバイスインタフェース、２１３：給紙部、２１４：排紙部、２１５：プリンタカートリッジ装着部、２１６：インタフェース
【技術分野】
【０００１】
本発明は、複数のシーンの動画をつなぎ合わせて生成された動画ファイルから静止画を抽出して印刷する際のレイアウトを決定する画像処理装置、方法、プログラム及びコンピュータ読み取り可能な記憶媒体に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の急速な普及やパソコン、プリンタ等の低価格化に伴い、デジタルカメラで撮影した静止画や動画を自宅のパソコンに保存して、編集したり、プリンタで印刷したりして楽しむユーザが増えている。また、最近では、パソコンを介することなくデジタルカメラ等（又はその記録用メモリカード）から画像を直接読み出して印刷することができる所謂ダイレクトプリンタも登場している。
【０００３】
特に動画の印刷を行う場合、動画ファイルの中から印刷したい場面（フレーム）をユーザが選択し、そのフレームを動画ファイルから静止画として抽出して印刷する方式が提案されている。また、動画ファイルから等間隔でフレームを抽出し、抽出したフレームを並べて連続フレームとして用紙１枚に収まるように印刷する方式（以下、「連続フレーム印刷」と呼ぶ）が提案されている。連続フレーム印刷を行うことで、動画ファイルを静止画（フレーム）の連続として用紙１枚に印刷することができ、動画の動きを印刷結果に反映することが可能となっている。
【０００４】
また、デジタルカメラでは静止画と動画を関連付けて記憶する構成も提案されており、例えば静止画撮影のたびに数秒間の動画を記録し、記録した動画データをつなぎ合わせて、複数のシーンからなる１つの動画ファイルを生成する方式も提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５―２４４９３４号公報
【特許文献２】特開２００９−０９５００３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記従来技術により、複数のシーンからなる動画ファイルに対して、連続フレーム印刷を行う場合、次の課題が考えられる。従来の連続フレーム印刷では、動画ファイルから等間隔でフレームの抽出を行っており、複数のシーンからなる動画ファイルを印刷する場合、各シーンから抽出されるフレームの数が少なくなるおそれがある。そのため、動画の動きを印刷結果に反映することができず、ユーザの望む印刷結果を得ることができない。
【０００７】
特許文献１には、指定された動画データを設定されたコマ数に応じて複数の部分動画データに分割した場合の当該分割した部分動画データ毎にフレーム画像を選択して印刷する第１の印刷手段と、前記複数の部分動画データから特定の部分動画データを指定する第２の指定手段と、前記指定された特定の部分動画データを前記設定されたコマ数に応じてさらに複数の部分動画データに分割した場合の当該分割した部分動画データ毎にフレーム画像を選択して印刷する第２の印刷手段と、を備えるプリンタが開示されている。特許文献１については、動画ファイルからフレームの抽出を行い、抽出したフレームを並べて印刷することが可能であるが、複数のシーンからなる動画ファイルに対する配慮がなされておらず、動画の動きを印刷結果に反映することができない。
【０００８】
また、特許文献２には、プリント領域の余白を最大限に埋め、ペーパーの無駄をなくすようにした画像処理装置が開示されている。特許文献２についても、動画ファイルからフレームを抽出し、用紙の余白量を計算したうえで、フレームを並べて印刷することが可能であるが、複数のシーンからなる動画ファイルに対する配慮がなされておらず、動画の動きを効果的に印刷結果に反映することができない。
【０００９】
本発明は上記問題点を鑑みてなされたものであり、複数のシーンの動画をつなぎ合わせて生成された動画ファイルから静止画を抽出して印刷する際に、動画の動きを印刷結果に反映し、ユーザの望む印刷結果が得られるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、複数のシーンの動画をつなぎ合わせて生成された動画ファイルから静止画を抽出して印刷する際のレイアウトを決定する画像処理装置であって、印刷対象の動画ファイルにおいて、印刷するシーンを決定する印刷シーン決定手段と、前記印刷シーン決定手段で決定した各シーンにおいて印刷するフレームを決定する印刷フレーム決定手段と、前記印刷フレーム決定手段で決定したフレームを１枚の用紙に配置するレイアウトを決定するレイアウト決定手段とを備えたことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、複数のシーンの動画をつなぎ合わせて生成された動画ファイルから静止画を抽出して印刷する際に、動画の動きを印刷結果に反映し、ユーザの望む印刷結果が得られるようにすることができる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態に係るデジタルカメラのシステム構成を示す図である。
【図２】第１の実施形態に係るプリンタのシステム全体の構成を示す図である。
【図３】動画ファイルの構成を示す図である。
【図４】第１の実施形態に係るデジタルカメラとプリンタの処理シーケンスを示す図である。
【図５】第１の実施形態に係るデジタルカメラの動作を示すフローチャートである。
【図６】第１の実施形態に係るプリンタの動作を示すフローチャートである。
【図７】第１の実施形態に係る動画ファイルの印刷結果を示す図である。
【図８】第２の実施形態に係るプリンタの動作を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
（第１の実施形態）
図１は、第１の実施形態に係るデジタルカメラ１００のシステム構成を示す図である。１０はレンズバリア、１１は撮影レンズ、１２は絞り機能を備えるシャッターである。１３は撮像制御手段であり、レンズバリア１０、撮影レンズ１１及びシャッター１２を制御する。１４は光学像を電気信号に変換する撮像素子である。１５は画像処理回路であり、撮像素子１４からのデータ或いはメモリ制御回路１６からのデータに対して所定の画素補間処理や色変換処理を行う。
【００１４】
１６はメモリ制御回路であり、その制御下で撮像素子１４のデータが画像処理回路１５においてＡ／Ｄ変換され、メモリ１８に書き込まれる。１７はＴＦＴ ＬＣＤ等からなる画像表示部であり、メモリ１８に書き込まれた表示用の画像データがＤ／Ａ変換されて画像表示部１７により表示される。１８は撮影した静止画や動画を格納するためのメモリであり、所定枚数の静止画や所定時間の動画を格納するのに十分な記憶量を備える。これにより、複数枚の静止画を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ１８に対して行うことが可能となる。また、メモリ１８はシステム制御回路５０の作業領域としても使用することが可能である。
【００１５】
５０はシステム制御回路であり、撮影画像の被写体認識処理や、被写体認識結果と管理データの照合処理や、ステータスデータの生成処理等、必要な各種処理を実行すると共に、デジタルカメラ１００全体を制御する。５１はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。６０は画像処理部であり、動画ファイルから静止画を抽出する等、各種画像処理を行う。
【００１６】
７０はシステム制御回路５０の各種の動作指示を入力するための操作部であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。７１は通信制御手段であり、外部機器との通信機能を制御する。
【００１７】
９０は外部記憶媒体９３とデータの送受信を行うカードコントローラである。９１は外部記憶媒体９３とのインタフェースである。９２は外部記憶媒体９３と接続を行うコネクタである。９３はメモリカード等の外部記憶媒体である。７２は記憶媒体着脱検知手段であり、コネクタ９２に外部記憶媒体９３が装着されているか否かを検知する。以上がデジタルカメラ１００の全体のシステム構成である。
【００１８】
図２は、第１の実施形態に係るプリンタ２０１のシステム構成を示す図である。２０２は実際に用紙に画像をプリントするプリントエンジンであり、給紙部２１３から用紙を供給し、プリント処理部２０５によってデータ印刷処理を行い、排紙部２１４からプリントされた用紙を排紙する。２０３はＬＣＤ表示、ＬＥＤ表示等でユーザに対する情報を表示する表示部であり、表示処理部２０６によって処理される。
【００１９】
２０４は各種の動作指示を入力するため操作部であり、システムコントローラ２０７を介してスイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。２０８は電気的に消去・記録可能な不揮発性メモリである。２０９はプリンタの動作用の定数、変数、プログラム等を記憶するメモリである。
【００２０】
２１０はメモリカード等の外部記憶媒体とデータの送受信を行うカードコントローラである。２１６はメモリカード等の外部記憶媒体とのインタフェースである。２１１はデジタルカメラ等の外部機器とＵＳＢを用いて接続するためのＵＳＢホストインタフェースである。２１２はパソコン等の外部機器とＵＳＢを用いて接続するためのＵＳＢデバイスインタフェースである。
【００２１】
２１５はプリンタカートリッジ装着部であり、L Size、Postcard Size、Roll Size等様々な用紙サイズのプリンタカートリッジの着脱検出、及び給紙部２１３と連動して印刷時に用紙を供給する。以上がプリンタ２０１の全体のシステム構成である。
【００２２】
図３は、動画ファイルの構成を示す図である。動画ファイル３００は、複数のシーン（３０１〜３０３、３１６〜３１８）の動画をつなぎ合わせて１つの動画ファイルとして構成されたものであり、各シーンは２〜４秒程度の記録時間となっているものとする。このような形式の動画ファイルを生成するために、例えばデジタルカメラ１００に専用のモードを設け、そのモードで動画が撮影された場合に、図３に示すように複数のシーンをつなぎ合わせた動画ファイルが生成されるようにする。各シーン（３０１〜３０３、３１６〜３１８）は、例えば３０ｆｐｓで撮影された動画の場合、符号３０４に示すように４秒間で１２０フレームのフレームデータ、符号３０５に示すように３秒間で９０フレームのフレームデータから構成される。以下、本実施形態ではこのような動画ファイルをダイジェスト動画と呼ぶ。
【００２３】
図４は、第１の実施形態に係るデジタルカメラ１００とプリンタ２０１の処理シーケンスを示す図である。また、図５は、第１の実施形態に係るデジタルカメラ１００の動作を示すフローチャート、図６は、第１の実施形態に係るプリンタ２０１の動作を示すフローチャートである。また、図７は、第１の実施形態において図３に示す動画ファイルを印刷したときの印刷結果を示す図である。以下、本実施形態においてはデジタルカメラ１００とプリンタ２０１とをＵＳＢで接続し、デジタルカメラ１００を操作してダイジェスト動画３００をプリンタ２０１に対して、ＰｉｃｔＢｒｉｄｇｅ（ピクトブリッジ）によるダイレクトプリントを実行する際の動作について説明する。
【００２４】
ステップＳ４０１、Ｓ５０１、Ｓ６０１において、デジタルカメラ１００とプリンタ２０１とをＵＳＢで接続すると、デジタルカメラ１００とプリンタ２０１との間で、ＰｉｃｔＢｒｉｄｇｅの初期化処理が実行される。ＰｉｃｔＢｒｉｄｇｅの初期化処理では、互いの機器がＰｉｃｔＢｒｉｄｇｅに対応していることを確認するためのＤＰＳ Ｄｉｓｃｏｖｅｒｙ処理（ステップＳ４０２）が実行される。また、互いの機器のＤＰＳ Ｖｅｒｓｉｏｎや、ベンダー名、機器名等の情報を交換するためのＣｏｎｆｉｇｕｒｅ Ｐｒｉｎｔ Ｓｅｒｖｉｃｅ（ステップＳ４０３）が実行される。
【００２５】
ＰｉｃｔＢｒｉｄｇｅの初期化処理が実行されると、ステップＳ４０４、Ｓ４０５において、用紙情報取得のために、デジタルカメラ１００は、プリンタ２０１の印刷能力（Ｃａｐａｂｉｌｉｔｙ）を取得するための処理（Ｇｅｔ Ｃａｐａｂｉｌｉｔｙ）を実行する。Ｃａｐａｂｉｌｉｔｙには、用紙サイズや用紙タイプ、及び印刷可能なファイルフォーマットや日付印刷・対応レイアウト印刷等の特殊プリント機能への対応の有無といった情報が含まれる。本実施形態では、このＣａｐａｂｉｌｉｔｙにおいて、現在プリンタ２０１にセットされている用紙の種別に基づいて、用紙の縦方向に配置可能なフレーム数、ここでは最大印刷可能なフレーム数と、横方向に配置可能なフレーム数、ここでは最大印刷可能なフレーム数の情報が含まれているものとする。本実施形態では、縦方向に最大印刷可能なフレーム数が「６」、横方向に最大印刷可能なフレーム数が「７」であるものとする。ステップＳ４０４において、デジタルカメラ１００がプリンタ２０１に対してＧｅｔ Ｃａｐａｂｉｌｉｔｙを実行すると、ステップＳ４０５において、プリンタ２０１からフレーム数情報が送信される（ステップＳ６０２）。これにより、デジタルカメラ１００はその情報を取得することが可能である（ステップＳ５０２）。
【００２６】
その後、ユーザはデジタルカメラ１００の操作部７０を操作し、ステップＳ４０６、Ｓ５０３において、印刷する動画を選択する。ステップＳ５０４において、ユーザがダイジェスト動画３００を印刷すると選択しなかった場合は、ダイジェスト動画印刷処理を終了し、通常のＰｉｃｔＢｒｉｄｇｅ印刷処理を実行する。
【００２７】
ステップＳ５０４において、ユーザがダイジェスト動画３００を印刷すると選択した場合は、ステップＳ５０５において、ステップＳ５０２で取得した用紙の縦方向に最大印刷可能なフレーム数「６」を取得する。そして、ステップＳ４０７、Ｓ５０６において、ダイジェスト動画３００の総シーン数から、印刷するシーンを決定する。例えば印刷する動画としてダイジェスト動画３００を選択した場合、ダイジェスト動画３００の総シーン数は「１８」であるので、総シーン数「１８」を縦方向に最大印刷可能なフレーム数「６」で等間隔に分割して、印刷シーンを決定する。この場合、シーン１、シーン４、シーン７、シーン１０、シーン１３、シーン１６が印刷シーンとなる。
【００２８】
次に、ステップＳ５０７において、ステップＳ５０２で取得した用紙の横方向に最大印刷可能なフレーム数「７」を取得する。そして、ステップＳ４０８、Ｓ５０８において、ステップＳ４０７、Ｓ５０６で決定した各印刷シーンにおける総フレーム数から、印刷するフレームを決定する。例えばダイジェスト動画３００のシーン１が印刷シーンとなった場合、シーン１の総フレーム数は「１２０」であるので、総フレーム数「１２０」を横方向に最大印刷可能なフレーム数「７」で等間隔に分割して、印刷フレームを決定する。この場合、フレーム１、フレーム１８、フレーム３５、フレーム５２、フレーム６９、フレーム８６、フレーム１０３が印刷フレームとなる。また、ダイジェスト動画３００のシーン１６が印刷シーンとなった場合、シーン１６の総フレーム数は「９０」であるので、総フレーム数「９０」を横方向に最大印刷可能なフレーム数「７」で等間隔に分割して、印刷フレームを決定する。この場合、フレーム１、フレーム１４、フレーム２７、フレーム４０、フレーム５３、フレーム６６、フレーム７９が印刷フレームとなる。
【００２９】
その後、ステップＳ４０９、Ｓ５０９において、デジタルカメラ１００は印刷ＪＯＢの生成を行う。まずデジタルカメラ１００は、ダイジェスト動画３００から、印刷シーン決定（ステップＳ４０７、Ｓ５０６）において印刷対象となったシーンから、印刷フレーム決定（ステップＳ４０８、Ｓ５０８）において印刷対象となったフレームを、画像処理部６０によって抽出し、印刷フレームを生成する。さらに、生成した印刷フレームを、図７に示すようにレイアウト決定して並べて印刷可能になるように、印刷ＪＯＢ生成を生成する。
【００３０】
ステップＳ４１０、Ｓ５１０において、デジタルカメラ１００はプリンタ２１０に、ステップＳ４０９、Ｓ５０９で生成した印刷ＪＯＢを送信する。ステップＳ６０３において、プリンタ２１０はデジタルカメラ１００からの印刷ＪＯＢを受信すると、プリント処理部２０５において印刷ＪＯＢの解析を行い、ステップＳ６０４において、印刷処理を実行する。このとき、プリンタ２１０は、印刷ＪＯＢの内容に従ってデジタルカメラ１００に画像の取得要求（ステップＳ４１１）を行い、デジタルカメラ１００はその要求に応じて画像データを送信する（ステップＳ４１２）。プリンタ２０１は用紙１枚分の画像の取得を行い、プリントエンジン２０２によって印刷処理を実行する。
【００３１】
印刷処理が完了すると、ステップＳ４１３、Ｓ６０５において、プリンタ２０１は印刷の終了を通知するための、Ｎｏｔｉｆｙ Ｊｏｂ Ｓｔａｔｕｓコマンドをデジタルカメラ１００に送信し、ダイジェスト動画印刷処理を終了する。ステップＳ５１１において、デジタルカメラ１００は印刷終了通知を受信したと判断し、ダイジェスト動画印刷処理を終了する。
【００３２】
図７は、本実施形態において１８個のシーンからなるダイジェスト動画３００を印刷した場合の印刷結果である。上述した印刷シーン決定、印刷フレーム決定の処理により、１行目にはシーン１のフレーム１、１８、３５、５２、６９、８６、１０３が印刷される。２行目〜６行目までも同様で、シーン４、７、１０、１３、１６についてシーン１と同様に選択されたフレームが横並びに印刷される。これにより、複数のシーンが集まって１つの動画ファイルになっているダイジェスト動画の印刷において、各シーンが横並びに１行に配置されるので、シーンの句切れが複数の行にまたがることない。これにより、ダイジェスト動画のフレーム印刷に適したレイアウトで印刷することが可能となる。
【００３３】
以上のように、複数のシーンからなる動画ファイルを印刷する場合に、印刷する用紙サイズに合わせて、印刷するシーン、フレームを決定するものであり、ダイジェスト動画の印刷に適したレイアウトで印刷することが可能である。
【００３４】
（第２の実施形態）
上記第１の実施形態では、デジタルカメラ１００が本発明でいう画像処理装置として機能した例を説明したが、プリンタ２０１が本発明でいう画像処理装置として機能するようにしてもよい。本実施形態では、プリンタ２０１にダイジェスト動画３００が記憶されているメモリカードを挿入し、プリンタ２０１を操作することでメモリカードからダイジェスト動画３００を読み出して印刷する場合の処理について説明する。なお、プリンタ２０１の構成、ダイジェスト動画３００のファイル構成等は第１の実施形態と同様である（図２、図３を参照）。
【００３５】
図８は、第２の実施形態に係るプリンタ２０１の動作を示すフローチャートである。以下、図８を参照して、プリンタ２０１のインタフェース２１６にダイジェスト動画３００が記憶されているメモリカードを挿入し、プリンタ２０１を操作することでメモリカードからダイジェスト動画３００を読み出して印刷する際の動作について説明する。
【００３６】
プリンタ２０１は、メモリカードからデータを読み出して表示処理部２０６で画像処理を行い、表示部２０３に画像データを表示する。ユーザは操作部２０４を操作し、ステップＳ８０１において、印刷を行うデータの選択を行う。
【００３７】
ステップＳ８０２において、ユーザがダイジェスト動画３００を印刷すると選択しなかった場合は、ダイジェスト動画印刷処理を終了し、通常の印刷処理を実行する。
【００３８】
ステップＳ８０２において、ユーザがダイジェスト動画３００を印刷すると選択した場合は、ステップＳ８０３において、プリンタ２０１にセットされている用紙の縦方向に最大印刷可能なフレーム数「６」を取得する。そして、ステップＳ８０４において、ダイジェスト動画３００の総シーン数から、印刷するシーンを決定する。例えば印刷する動画としてダイジェスト動画３００を選択した場合、ダイジェスト動画３００の総シーン数は「１８」であるので、総シーン数「１８」を縦方向に最大印刷可能なフレーム数「６」で等間隔に分割して、印刷シーンを決定する。この場合、シーン１、シーン４、シーン７、シーン１０、シーン１３、シーン１６が印刷シーンとなる。
【００３９】
次に、ステップＳ８０５において、プリンタ２０１にセットされている用紙の横方向に最大印刷可能なフレーム数「７」を取得する。そして、ステップＳ８０６において、ステップＳ８０４で決定した各印刷シーンにおける総フレーム数から、印刷するフレームを決定する。例えばダイジェスト動画３００のシーン１が印刷シーンとなった場合、シーン１の総フレーム数は「１２０」であるので、総フレーム数「１２０」を横方向に最大印刷可能なフレーム数「７」で等間隔に分割して、印刷フレームを決定する。この場合、フレーム１、フレーム１８、フレーム３５、フレーム５２、フレーム６９、フレーム８６、フレーム１０３が印刷フレームとなる。また、ダイジェスト動画３００のシーン１６が印刷シーンとなった場合、シーン１６の総フレーム数は「９０」であるので、総フレーム数「９０」を横方向に最大印刷可能なフレーム数「７」で等間隔に分割して、印刷フレームを決定する。この場合、フレーム１、フレーム１４、フレーム２７、フレーム４０、フレーム５３、フレーム６６、フレーム７９が印刷フレームとなる。
【００４０】
その後、ステップＳ８０７において、ステップＳ８０６で印刷対象となったフレームに対してダイジェスト動画３００から静止画を抽出して画像処理を行い、ステップＳ８０８において、印刷処理を実行する。プリンタ２０１は、ステップＳ８０９において、印刷処理が終了したと判断すると、ダイジェスト動画印刷処理を終了する。本実施形態における印刷結果は、第１の実施形態と同様であり（図７を参照）、レイアウトに関する詳しい説明は省略する。
【００４１】
以上のように、複数のシーンからなる動画ファイルを印刷する場合に、印刷する用紙サイズに合わせて、印刷するシーン、フレームを決定するものであり、ダイジェスト動画の印刷に適したレイアウトで印刷することが可能である。
【００４２】
（その他の実施形態）
第１、２の実施形態では、縦方向に最大印刷可能なフレーム数から印刷するシーンを決定し、横方向に最大印刷可能なフレーム数から印刷するフレームを決定しているが、それに限られるものではない。例えば逆に横方向に最大印刷可能なフレーム数から印刷するシーンを決定し、縦方向に最大印刷可能なフレーム数から印刷するフレームを決定することで、各シーンが縦並びに一列に配置されるように印刷することも可能である。
【００４３】
また、第１、２の実施形態では、ダイジェスト動画３００の総シーン数を縦方向に最大印刷可能なフレーム数で等間隔に分割して、印刷シーンを決定するようにしたが、それに限られるものではない。例えばダイジェスト動画３００の総動画撮影時間を縦方向に最大印刷可能なフレーム数で等間隔に分割して、各時点でのシーンを印刷シーンとするようにしてもよい。
【００４４】
また、例えばシーンの撮影時刻間隔から印刷するシーンを決定することも可能である。また、１シーン目の撮影開始日時から最終シーンの撮影終了日時までの経過時間を一列に配置されるフレーム数で分割し、各時点から一番近いシーン、又は各時点の直後或いは直後にあるシーンを印刷するシーンとして決定することも可能である。また、用紙がロール紙の場合には全シーンを印刷対象に決定することも可能である。
【００４５】
また、同じシーンのフレームを縦一列に並べて配置するか、又は同じシーンのフレームを横一列に並べて配置するかを、動画ファイルに含まれるシーン数に応じて決定してもよい。例えば、動画ファイルに含まれるシーン数が多い場合は、横方向に最大印刷可能なフレーム数と横方向に最大印刷可能なフレーム数を比較する。その結果、フレーム数が多い方向に異なるシーンのフレームが並び、フレーム数が少ない方向に同じシーンのフレームが並ぶようにレイアウトする。逆に、シーン数が少ない場合は、最大印刷可能なフレーム数が少ないほうに異なるシーンのフレームが並び、フレーム数が多いほうに同じシーンのフレームが並ぶようにレイアウトするようにするとよい。
【００４６】
また、上述の実施形態では、用紙を横方向に使用して複数のフレームを配置する場合を例にとって説明したが、用紙を縦方向に使用してフレームを配置してもよい。また、用紙を縦方向に使用する場合と横方向に使用する場合とで、縦方向又は横方向のうち一列に印刷可能な最大のフレーム数が異なる場合は、動画ファイルのシーン数に応じて、用紙を縦方向に使用するか、用紙を横方向に使用するかを自動的に決定してもよい。例えば、動画ファイルに含まれるシーン数が多い場合は、用紙を縦方向に使用する場合と横方向に使用する場合とで一列に印刷可能な最大のフレーム数を比較し、一列に印刷可能な最大のフレーム数が多いほうの用紙の方向を使用してフレームをレイアウトする。逆に、動画ファイルに含まれるシーン数が少ない場合は、用紙を縦方向に使用する場合と横方向に使用する場合とで一列に印刷可能な最大のフレーム数を比較し、一列に印刷可能な最大のフレーム数が少ないほうの用紙の方向を使用してフレームをレイアウトするとよい。動画ファイルに含まれるシーン数に応じて、同じシーンのフレームを縦一列に並べて配置するか同じシーンのフレームを横一列に並べて配置するかや、用紙を縦方向に使用するか横方向に使用するかを決定する場合について説明した。しかし、動画ファイルに含まれるシーンの数の大小だけでなく、動画ファイルのシーン数だけでなく、総動画撮影時間や撮影時刻間隔、又は１シーン目の撮影開始日時から最終シーンの撮影終了日時までの経過時間を考慮して決定してもよい。
【００４７】
また、動画ファイルに含まれるシーン数が多いか少ないかの判断については、予め閾値を用意しておくとよい。予め用意しておく閾値については、用紙のサイズ又は最大印刷可能なフレーム数に応じて異なる閾値を用意しておいてもよい。
【００４８】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。また、上記で説明した実施形態を組み合わせて、本発明を実現してもよい。
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種コンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４９】
１０：レンズバリア、１１：撮影レンズ、１２：シャッター、１３：撮像制御手段、１４：撮像素子、１５：画像処理回路、１６：メモリ制御回路、１７：画像表示部、１８：メモリ、５０：システム制御回路、５１：メモリ、６０：画像処理部、７０：操作部、７１：通信制御手段、７２：記憶媒体着脱検知手段、９０：カードコントローラ、９１：インタフェース、９２：コネクタ、９３：外部記憶媒体、１００：デジタルカメラ、２０１：プリンタ、２０２：プリントエンジン、２０３：表示部、２０４：操作部、２０５：プリント処理部、２０６：表示処理部、２０７：システムコントローラ、２０８：不揮発性メモリ、２０９：メモリ、２１０：カードコントローラ、２１１：ＵＳＢホストインタフェース、２１２：ＵＳＢデバイスインタフェース、２１３：給紙部、２１４：排紙部、２１５：プリンタカートリッジ装着部、２１６：インタフェース
【特許請求の範囲】
【請求項１】
複数のシーンの動画をつなぎ合わせて生成された動画ファイルから静止画を抽出して印刷する際のレイアウトを決定する画像処理装置であって、
印刷対象の動画ファイルにおいて、印刷するシーンを決定する印刷シーン決定手段と、
前記印刷シーン決定手段で決定した各シーンにおいて印刷するフレームを決定する印刷フレーム決定手段と、
前記印刷フレーム決定手段で決定したフレームを１枚の用紙に配置するレイアウトを決定するレイアウト決定手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記レイアウト決定手段は、前記印刷フレーム決定手段で決定された複数のフレームを並べてレイアウトする際に、同じシーンに含まれるフレームが同じ列に並んで配置されるようにレイアウトすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
さらに、用紙情報を取得する用紙情報取得手段を有し、
前記印刷シーン決定手段は、前記用紙情報取得手段により取得した用紙情報に応じて決定される数のシーンを印刷するシーンとして決定し、
前記印刷フレーム決定手段は、前記用紙情報取得手段により取得した用紙情報に応じて決定される数のフレームを、各シーンにおいて印刷するフレームとして決定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記印刷シーン決定手段は、用紙の縦方向及び横方向のいずれか一方に配置可能なフレーム数分のシーンを印刷するシーンとして決定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記印刷フレーム決定手段は、前記印刷シーン決定手段により決定された各シーンから、用紙の縦方向及び横方向のいずれか他方に配置可能なフレーム数分のフレームを印刷するフレームとして決定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記レイアウト決定手段は、同じシーンに含まれるフレームが縦一列に並んで配置されるようにレイアウトすることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項７】
前記レイアウト決定手段は、同じシーンに含まれるフレームが横一列に並んで配置されるようにレイアウトすることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項８】
前記用紙情報には、横方向に配置可能なフレーム数、及び縦方向に配置可能なフレーム数に関する情報を含むことを特徴とする請求項３に記載の画像処理装置。
【請求項９】
前記印刷シーン決定手段は、前記動画ファイルの総シーン数を、縦方向及び横方向のいずれか一方に配置可能なフレーム数で等間隔に分割して、印刷するシーンを決定することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記印刷フレーム決定手段は、前記印刷シーン決定手段で決定した各シーンの総フレーム数を、縦方向及び横方向のいずれか他方に配置可能なフレーム数でそれぞれ等間隔に分割して、印刷するフレームを決定することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記動画ファイルのシーン数に応じて、同じシーンに含まれるフレームを縦一列に並べて配置するか横一列に並べて配置するかを決定する決定手段を有し、
前記決定手段での決定に応じて、前記印刷シーン決定手段は、印刷するシーンの数を決定し、前記印刷フレーム決定手段は、各シーンにおいて印刷するフレーム数を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記用紙情報には、用紙を縦方向に使用したときの横方向に配置可能なフレーム数及び縦方向に配置可能なフレーム数に関する情報と、用紙を横方向に使用したときの横方向に配置可能なフレーム数及び縦方向に配置可能なフレーム数に関する情報とが含まれていることを特徴とする請求項８に記載の画像処理装置。
【請求項１３】
用紙を縦方向に使用してフレームをレイアウトするか、又は用紙を横方向に使用してフレームをレイアウトするかを、前記動画ファイルのシーン数に応じて決定することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
複数のシーンの動画をつなぎ合わせて生成された動画ファイルから静止画を抽出して印刷する際のレイアウトを決定する画像処理方法であって、
印刷対象の動画ファイルにおいて、印刷するシーンを決定する印刷シーン決定ステップと、
前記印刷シーン決定ステップで決定した各シーンにおいて印刷するフレームを決定する印刷フレーム決定ステップと、
前記印刷フレーム決定ステップで決定したフレームを１枚の用紙に配置するレイアウトを決定するレイアウト決定ステップとを有することを特徴とする画像処理方法。
【請求項１５】
複数のシーンの動画をつなぎ合わせて生成された動画ファイルから静止画を抽出して印刷する際のレイアウトを決定するためのプログラムであって、
印刷対象の動画ファイルにおいて、印刷するシーンを決定する印刷シーン決定手段と、
前記印刷シーン決定手段で決定した各シーンにおいて印刷するフレームを決定する印刷フレーム決定手段と、
前記印刷フレーム決定手段で決定したフレームを１枚の用紙に配置するレイアウトを決定するレイアウト決定手段としてコンピュータを機能させるためのプログラム。
【請求項１６】
請求項１５に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項１】
複数のシーンの動画をつなぎ合わせて生成された動画ファイルから静止画を抽出して印刷する際のレイアウトを決定する画像処理装置であって、
印刷対象の動画ファイルにおいて、印刷するシーンを決定する印刷シーン決定手段と、
前記印刷シーン決定手段で決定した各シーンにおいて印刷するフレームを決定する印刷フレーム決定手段と、
前記印刷フレーム決定手段で決定したフレームを１枚の用紙に配置するレイアウトを決定するレイアウト決定手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記レイアウト決定手段は、前記印刷フレーム決定手段で決定された複数のフレームを並べてレイアウトする際に、同じシーンに含まれるフレームが同じ列に並んで配置されるようにレイアウトすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
さらに、用紙情報を取得する用紙情報取得手段を有し、
前記印刷シーン決定手段は、前記用紙情報取得手段により取得した用紙情報に応じて決定される数のシーンを印刷するシーンとして決定し、
前記印刷フレーム決定手段は、前記用紙情報取得手段により取得した用紙情報に応じて決定される数のフレームを、各シーンにおいて印刷するフレームとして決定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記印刷シーン決定手段は、用紙の縦方向及び横方向のいずれか一方に配置可能なフレーム数分のシーンを印刷するシーンとして決定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記印刷フレーム決定手段は、前記印刷シーン決定手段により決定された各シーンから、用紙の縦方向及び横方向のいずれか他方に配置可能なフレーム数分のフレームを印刷するフレームとして決定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記レイアウト決定手段は、同じシーンに含まれるフレームが縦一列に並んで配置されるようにレイアウトすることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項７】
前記レイアウト決定手段は、同じシーンに含まれるフレームが横一列に並んで配置されるようにレイアウトすることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項８】
前記用紙情報には、横方向に配置可能なフレーム数、及び縦方向に配置可能なフレーム数に関する情報を含むことを特徴とする請求項３に記載の画像処理装置。
【請求項９】
前記印刷シーン決定手段は、前記動画ファイルの総シーン数を、縦方向及び横方向のいずれか一方に配置可能なフレーム数で等間隔に分割して、印刷するシーンを決定することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記印刷フレーム決定手段は、前記印刷シーン決定手段で決定した各シーンの総フレーム数を、縦方向及び横方向のいずれか他方に配置可能なフレーム数でそれぞれ等間隔に分割して、印刷するフレームを決定することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記動画ファイルのシーン数に応じて、同じシーンに含まれるフレームを縦一列に並べて配置するか横一列に並べて配置するかを決定する決定手段を有し、
前記決定手段での決定に応じて、前記印刷シーン決定手段は、印刷するシーンの数を決定し、前記印刷フレーム決定手段は、各シーンにおいて印刷するフレーム数を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記用紙情報には、用紙を縦方向に使用したときの横方向に配置可能なフレーム数及び縦方向に配置可能なフレーム数に関する情報と、用紙を横方向に使用したときの横方向に配置可能なフレーム数及び縦方向に配置可能なフレーム数に関する情報とが含まれていることを特徴とする請求項８に記載の画像処理装置。
【請求項１３】
用紙を縦方向に使用してフレームをレイアウトするか、又は用紙を横方向に使用してフレームをレイアウトするかを、前記動画ファイルのシーン数に応じて決定することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
複数のシーンの動画をつなぎ合わせて生成された動画ファイルから静止画を抽出して印刷する際のレイアウトを決定する画像処理方法であって、
印刷対象の動画ファイルにおいて、印刷するシーンを決定する印刷シーン決定ステップと、
前記印刷シーン決定ステップで決定した各シーンにおいて印刷するフレームを決定する印刷フレーム決定ステップと、
前記印刷フレーム決定ステップで決定したフレームを１枚の用紙に配置するレイアウトを決定するレイアウト決定ステップとを有することを特徴とする画像処理方法。
【請求項１５】
複数のシーンの動画をつなぎ合わせて生成された動画ファイルから静止画を抽出して印刷する際のレイアウトを決定するためのプログラムであって、
印刷対象の動画ファイルにおいて、印刷するシーンを決定する印刷シーン決定手段と、
前記印刷シーン決定手段で決定した各シーンにおいて印刷するフレームを決定する印刷フレーム決定手段と、
前記印刷フレーム決定手段で決定したフレームを１枚の用紙に配置するレイアウトを決定するレイアウト決定手段としてコンピュータを機能させるためのプログラム。
【請求項１６】
請求項１５に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−３８６６２（Ｐ２０１３−３８６６２Ａ）
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１１−１７４４０２（Ｐ２０１１−１７４４０２）
【出願日】平成２３年８月９日（２０１１．８．９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２３年８月９日（２０１１．８．９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]