画像ファイル生成装置、画像ファイル生成プログラム及び画像ファイル生成方法
【課題】動画データからスライドショー形式での表示に適切なフレームデータを抽出してファイル化することを可能にする。
【解決手段】ステップS104〜ステップS108のループを繰り返されることにより、動画データからは所定時間ΔＴ毎にフレームデータが抽出される。また、この抽出されたフレームデータとその直前に抽出されたフレームデータと不一致率が所定以上である場合には、ｎ＋１番目に抽出されたフレームデータがＲＡＭのフォルダ作成エリアに格納される。よって、ＲＡＭのフォルダ作成エリアには、動画データから所定時間ΔＴ毎に抽出されたフレームデータであって、その直前に抽出された画像とは異なる複数のフレームデータが格納されることとなる。ステップS104〜ステップS107の処理を、動画データの全長に対して完了したならば、ファイル生成処理を行って、後述する漫画絵のフレームデータを複数含む画像ファイルを生成する（ステップS109）。
【解決手段】ステップS104〜ステップS108のループを繰り返されることにより、動画データからは所定時間ΔＴ毎にフレームデータが抽出される。また、この抽出されたフレームデータとその直前に抽出されたフレームデータと不一致率が所定以上である場合には、ｎ＋１番目に抽出されたフレームデータがＲＡＭのフォルダ作成エリアに格納される。よって、ＲＡＭのフォルダ作成エリアには、動画データから所定時間ΔＴ毎に抽出されたフレームデータであって、その直前に抽出された画像とは異なる複数のフレームデータが格納されることとなる。ステップS104〜ステップS107の処理を、動画データの全長に対して完了したならば、ファイル生成処理を行って、後述する漫画絵のフレームデータを複数含む画像ファイルを生成する（ステップS109）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像ファイル生成装置、画像ファイル生成プログラム及び画像ファイル生成方法に関し、特に動画データから画像ファイルを生成する技術に関する。
【背景技術】
【０００２】
近年、デジタルカメラの普及により、写真は、デジタル画像データとして保存することが一般的となっている。従来のフィルムカメラによる撮影の場合、プリントを伴うことが多かったが、画像データの場合、撮影したデジタルカメラで閲覧したり、画像データを取り込んだパーソナルコンピュータなどで閲覧したりすることができるため、写真の楽しみ方にも変化が生じている。
【０００３】
このような状況において、画像データでも従来のプリント写真と同様の楽しみ方ができるようにするため、所謂デジタルフォトフレームが実現され普及している（例えば、特許文献１）。
【０００４】
デジタルフォトフレームでは、デジタル方式の特性を活かし、従来のプリント写真を掲出するフォトフレームではできなかった複数の写真をスライドショー形式で表示するなどの多様な表示態様を実現することができるとともに、画像処理を加えることで、例えば、元の写真をベースとしつつも趣の異なる画調の画像（例えば絵画調など）を生成して表示することができるようにした発明が提案されている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１４１６７８号公報
【特許文献２】特開平８−４４８６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、デジタルフォトフレームにおいてスライドショー形式で表示される画像は、静止画撮影された画像である。したがって、より多くの異なる画像をスライドショー形式で表示するためには、多くの静止画撮影を行わなければならず、事前準備が煩雑となる。
【０００７】
そこで、時間的に連続する複数のフレームデータで構成される動画データを用い、この動画データを構成する個々のフレームデータをスライドショー形式で表示させることが考えられる。このようにすれば、例えば１回の動画撮影で多くのフレームデータを取得することができるので、簡単な事前準備によって多くの異なる画像をスライドショー形式で表示することができる。
【０００８】
しかしながら、動画撮影された複数のフレームデータにあっては、時間的に連続する複数のフレームデータ間に相違がなく、同一のフレームデータが連続する場合や、僅かに相違するフレームデータが連続する場合が多い。したがって、動画データを構成する個々のフレームデータをスライドショー形式で表示させると、同一あるいは僅かに相違するに過ぎない画像が順次表示される。このため、ユーザにおいて早期に画像の観賞を飽きてしまうという問題が生ずる。
【０００９】
本発明は、かかる従来の課題に鑑みてなされたものであり、動画データからスライドショー形式での表示に適切なフレームデータを抽出してファイル化することのできる画像ファイル生成装置、画像ファイル生成プログラム及び画像ファイル生成方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
前記課題を解決するため、本発明に係る画像ファイル生成装置にあっては、複数のフレームデータのうち、ｎ番目に選択された前記フレームデータの複数のエリアと、ｎ＋１番目に選択された前記フレームデータの複数のエリアと、を比較し、前記複数のエリアにおける所定の割合以上が異なる場合、前記ｎ＋１番目に選択された前記フレームデータを抽出することを特徴とする。
【００１１】
また、本発明に係る本発明に係る画像ファイル生成プログラムにあっては、画像ファイル生成装置が有するコンピュータを、複数のフレームデータのうち、ｎ番目に選択された前記フレームデータの複数のエリアと、ｎ＋１番目に選択された前記フレームデータの複数のエリアと、を比較し、前記複数のエリアにおける所定の割合以上が異なる場合、前記ｎ＋１番目に選択された前記フレームデータを抽出する手段として機能させることを特徴とする。
【００１２】
また、本発明に係る本発明に係る画像ファイル生成方法にあっては、複数のフレームデータのうち、ｎ番目に選択された前記フレームデータの複数のエリアと、ｎ＋１番目に選択された前記フレームデータの複数のエリアと、を比較し、前記複数のエリアにおける所定の割合以上が異なる場合、前記ｎ＋１番目に選択された前記フレームデータを抽出することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、動画撮影を行うという簡単な事前準備により、動画データからスライドショー形式での表示に適切な相違性のあるフレームデータを抽出してファイル化することができる。よって、簡単な事前準備によりユーザのスライドショー観賞に対する興趣性を向上させることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る画像表示装置の回路構成、及びシステム構成を示すブロック図である。
【図２】メモリカードの記憶状態を示す図である。
【図３】本実施の形態のメインルーチンを示すフローチャートである。
【図４】動画データの模式図である。
【図５】フレームデータの比較方法を示す図である。
【図６】漫画絵変換インターラプトルーチンを示すフローチャートである。
【図７】吹き出しが合成された漫画絵の一例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について説明する。図１は、本実施の形態に係る画像ファイル生成装置を内蔵する画像表示装置１、及びこれを含む画調変換システムの電気的構成を示したブロック図である。画像表示装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＣＰＵ１１に接続されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ ｍｅｍｏｒｙ）１３、内部メモリ１４を備える。ＲＯＭ１２には、ＣＰＵ１１に後述するフローチャートに示す動作を行わせるためのプログラム等が記憶されている。
【００１６】
内部メモリ１４は、ハードディスク又はフラッシュメモリによる大容量不揮発性メモリであり、後述するフローに示す処理により作成された新たな画像ファイルが保存可能となっている。表示制御部１６は、ＣＰＵ１１により制御されてＲＡＭ１３のバッファエリアに格納される画像データに基づいて液晶等からなる表示パネル３を駆動することにより、画像や各種メニューを表示パネル３に表示させる。
【００１７】
キー入力制御部１７はＣＰＵ１１の制御に基づいてタッチパネル５のタッチ検出信号と、キー入力部２１の操作信号を入力するものである。タッチパネル５は、表示パネル３に積層されており、タッチ位置を検出してタッチ位置を示すタッチ位置検出信号を発生する。また、本実施の形態において、キー入力部２１には、電源スイッチ、モード選択ＳＷ（スイッチ）、動画像選択ＳＷ、及びその他のスイッチが設けられている。
【００１８】
メモリカードインターフェース１８は、メモリカードスロットに着脱自在に装着された各種のメモリカード６０と、ＣＰＵ１１との間におけるデータの入出力を制御する入出力インターフェースである。メモリカード６０には、例えば音声付き動画撮影機能を備えたデジタルカメラでの撮影によって動画データが記録されている。したがって、メモリカード６０に記録されている動画データは、時間的に連続する所定のフレームレートからなる複数のフレームデータと、音声を表す音声データとで構成されている。動画データは、２４ｆｐｓ〜３０ｆｐｓ（Ｆｒａｍｅ Ｐｅｒ Ｓｅｃｏｎｄ）程度で滑らかな動きを表現できる。このように、１秒間に例えば２４〜３０枚の静止画像を連続表示することで動きのある画像を表現しているが、この１枚１枚の静止画像をフレームと呼び、フレームは動画データを構成する最小単位である。従って、連続して並べた静止画像を次々に入れ替えて表示することで動画が表現される。
【００１９】
ＧＰＳ制御部２０は、ＧＰＳアンテナ７で受信した情報を元に位置情報を取得する。これにより、画像表示装置１の現在位置を知ることもできる。人感センサ１９はＣＰＵ１１に接続され、近くに人がいるかどうかを検知するものである。したがって、近くに人がいない状態が所定時間以上続くと自動的に電源を切って節電を図る（オートパワーオフ）。
【００２０】
通信制御部３０は、電話回線３１若しくは無線ＬＡＮ３２を経由して画像やメールの送受信を含む通信制御を行う。アドレス帳３３は、メール送受信に使用するものであり、実際は内部メモリ１４内に設けられる。
【００２１】
バックアップサーバ４０は、ネットワーク９０を介して接続され、自動的に若しくは手動指示により内部メモリ１４に記録されたデータのバックアップを行う。コンテンツサーバ５０は、多数のコンテンツや画像を有しており、ネットワーク９０を介して画像表示装置１へデータを配信することができる。
【００２２】
撮像装置７０は、所謂デジタルカメラであり、撮像素子やこれを制御する撮像制御部、及び画像送信部等を備える。そして、撮像制御部により撮像素子を駆動してカラーからなる被写体の画像を所定の周期（フレームレート）で取り込む制御を行い、取り込んだライブビュー画像を外部に送信する送信手段を備える。この撮像装置７０は、ネットワーク９０を介して電話回線３１あるいは無線ＬＡＮ３２で画像表示装置１の通信制御部３０に接続されている。したがって、画像表示装置１のＣＰＵ１１は、撮像装置７０により撮像されて、前記送信手段により転送されたライブビュー画像を逐次取り込むことが可能である。
【００２３】
このとき、撮像装置７０が、ユーザが有している画像表示装置１の場所とは異なる遠隔地に配置されていることにより、ユーザは遠隔地の景色を画像表示装置１の表示パネル３で観賞することができる。
【００２４】
また、電源制御部８０は、電源プラグ８１を介してＡＣ電源を取り入れ、直流に変換して各部に電力を供給する。前述したオートパワーオフの制御も行う。ＲＡＭ１３は、ＣＰＵ１１が必要に応じて種々のデータを一時的に記憶する作業用のメモリであり、後述するフローに示すバッファエリアを備える。
【００２５】
図２は、メモリカード６０に記憶されている動画データを示す図である。このメモリカード６０には、複数の動画データ（１）〜（Ｍ）が予め記憶されている。この動画データ（１）〜（Ｍ）は、前述のようにデジタルカメラで撮影されて記録されたもの、あるいはコンテンツサーバ５０からネットワーク９０を介してダウンロードしたものである。
【００２６】
また、各動画データ（１）〜（Ｍ）は、複数のフレームデータ（１）〜（Ｎ）で構成され、例えば動画データ（１）は、所定のフレームレートからなるフレームデータ（１）（１）〜（１）（Ｎ）で構成されている。また、これらフレームデータ（１）（１）〜（１）（Ｎ）と関係付けられて、音声データ６０１も記録されている。
【００２７】
次に、以上の構成に係る本実施の形態の動作について説明する。キー入力部２１に設けられている電源スイッチがオン操作され、メニュー画面から画像ファイル生成モードが選択されると、ＣＰＵ１１はＲＯＭ１２に記憶されているプログラムに従ってＲＡＭ１３をワークエリアとして使用しつつ、各部の制御及び処理を開始する。図３は、ＣＰＵ１１の処理手順を示すメインフローである。ＣＰＵ１１は、先ずメモリカード６０に記憶されている動画データの一覧を表示パネル３に表示させる（ステップＳ１０１）。
【００２８】
次に、タッチパネル５によるタッチ位置検出に基づき、これら表示パネル３に表示させた動画データの一覧からいずれかが選択されたか否かを判断する（ステップＳ１０２）。いずれかの動画データが選択されたならば、選択された動画データの先頭フレームデータを選択部により選択して、ＲＡＭ１３のフォルダ作成エリアに格納する（ステップＳ１０３）。
【００２９】
すなわち、図４に示すように、動画データＭＤは、所定のフレームレートで時間ｔに従って連続する複数のフレームデータＦで構成される。また、動画データＭＤは、前述のようにデジタルカメラで動画撮影されたものであり、動画撮影の撮影開始時点ＴＳから撮影終了時点ＴＥまでの複数のフレームデータＦで構成されている。そして、ステップＳ１０３においては、選択部により、先ず撮影開始時点ＴＳのフレームデータＦ１を動画データＭＤから選択する。
【００３０】
引き続き、動画データＭＤにおいて、前記ステップＳ１０３で選択部により選択されたフレームデータに対し、所定時間ΔＴ経過後のフレームデータを選択部により選択して、ＲＡＭ１３のフォルダ作成エリア以外のエリアに格納する（ステップＳ１０４）。これにより、図４に示すように、フレームデータＦ１に対して、所定時間ΔＴ経過後のフレームデータＦ２が選択される。
【００３１】
次に、これら選択されたフレームデータＦ１、Ｆ２を複数のエリアに区分し、区分した複数のエリア毎に色を比較する（ステップＳ１０５）。つまり、図５（Ａ）（Ｂ）に示すように、フレームデータＦ１、Ｆ２を複数の独立した円からなる同一の位置かつ同一大きさのエリアｅ１、ｅ２に区分し、対応するエリアｅ１、ｅ２の色を比較する。
【００３２】
なお、本実施の形態においては、フレームデータＦ１、Ｆ２を複数の独立した円からなるエリアｅ１、ｅ２に区分するようにしたが、フレームデータＦ１、Ｆ２を格子状に区分する等、エリアｅ１、ｅ２は如何なる形状であってもよい。
【００３３】
また、フレームデータＦ１、Ｆ２における同一エリア同士で比較を行うが、動画撮影時における撮影者の手ブレやその他の原因により、画角が若干ずれる場合がある。この場合、殆ど画像の内容に変化がない場合であっても、比較するエリアの面積が小さいと、エリアにおける画像の色の変化する割合が大きくなってしまう可能性が高い。そこで、フレームデータ中に人物が写っている場合には、人物の顔を認識する機能を利用し、顔の位置を基準にして、Ｘ軸方向及びＹ軸方向に同一距離をもって離れている位置にエリアを設定すればよい。
【００３４】
また、天候の急激な変化（晴→曇、曇→晴）により、全て又は多数のエリアｅ１、ｅ２で明度（色ではない）が相違することが考えられるので、明度を用いる場合には、明度と色の組合せで不一致性を判断することが好ましい。
【００３５】
そして、このステップＳ１０５での比較の結果、複数のエリアｅ１、ｅ２における所定の割合以上、例えば２０％以上のエリアの色が不一致であるか否かを比較部により判断する（ステップＳ１０６）。不一致率が２０％以上（ステップＳ１０６；ＮＯ）である場合には、フレームデータＦ１、Ｆ２は、異なる画像であると判断し、抽出部により選択したフレームデータＦ２をＲＡＭ１３のフォルダ作成エリアに格納する（ステップＳ１０７）。
【００３６】
この２０％以上のエリアの色が不一致であるか否かを判断する方法としては、複数のエリアｅ１と複数のエリアｅ２との各対応するエリアをそれぞれ比較し、エリアの色が不一致である個数が２０％以上あるか否かを判断する方法がある。これは、フレームデータＦ１の各エリアｅ１と、フレームデータＦ１の各エリアｅ１と対応する領域にあるフレームデータＦ２の各エリアｅ２と、を比較し、例えば、図４に示すように、ｅ１及びｅ２の数がそれぞれ１５個ある場合、１５個それぞれについて比較し、１５個の２０％は３個なので、エリアの色が不一致である個数が３個以上の場合は不一致であると判断し、エリアの色が不一致である個数が３個未満の場合は、不一致で無いと判断することができる。
【００３７】
また、別の方法としてはとしては、複数のエリアｅ１全体と複数のエリアｅ２全体とを比較し、全体の２０％以上のエリアの色が不一致であるか否かを判断する方法がある。この方法は、フレームデータＦ１の各エリアｅ１全部と、フレームデータＦ２の各エリアｅ２全部と、を比較し、例えば、図４に示すように、ｅ１及びｅ２の数がそれぞれ１５個ある場合、それぞれの１５個全部について比較し、ｅ２の１５個のエリアの合計の色がｅ１の１５個のエリアの合計の色と不一致である面積が２０％以上の場合は不一致であると判断し、エリアの色が不一致である個数が３個未満の場合は、不一致で無いと判断することができる。
【００３８】
このように、本実施の形態においては、フレームデータＦ１、Ｆ２の異同判断をエリアｅ１、ｅ２における色に基づき行うことから、複雑な処理を伴うことなく簡単な処理により、フレームデータの異同を判断することができる。
【００３９】
次に、以上に説明したステップＳ１０４〜ステップＳ１０７の処理を、動画データＭＤの全長に対して完了したか否かを判断し（ステップＳ１０８）、完了するまでステップＳ１０４〜ステップＳ１０８のループを繰り返す。
【００４０】
したがって、ステップＳ１０４〜ステップＳ１０８のループを繰り返されることにより、図４に示すように、動画データＭＤからは所定時間ΔＴ毎にフレームデータＦ３、Ｆ４・・・が選択される。また、この選択されたフレームデータＦ３、Ｆ４・・・とその直前に選択されたフレームデータと不一致率が所定以上である場合には、ｎ＋１番目に選択されたフレームデータがＲＡＭ１３のフォルダ作成エリアに格納される。よって、ＲＡＭ１３のフォルダ作成エリアには、動画データＭＤから所定時間ΔＴ毎に抽出されたフレームデータであって、その直前に抽出された画像とは異なる複数のフレームデータが格納されることとなる。
【００４１】
そして、ステップＳ１０４〜ステップＳ１０７の処理を、動画データＭＤの全長に対して完了したならば、ファイル生成処理を行って、後述する漫画絵のフレームデータを複数含む画像ファイルを生成する（ステップＳ１０９）。さらに、この生成した画像ファイルを内部メモリ１４に保存して（ステップＳ１１０）、処理を終了する。
【００４２】
図６は、本実施の形態における漫画絵変換インターラプトルーチンを示すフローチャートである。ＣＰＵ１１は、一定の時間間隔で図３に示したメインルーチンに対し割り込んで、この漫画絵変換インターラプトルーチンに従った処理を実行する。
【００４３】
すなわち、新たに抽出されてＲＡＭ１３のフォルダ作成エリアに格納されたフレームデータがあるか否かを判断する（ステップＳ２０１）。新たに抽出されてＲＡＭ１３のフォルダ作成エリアに格納されたフレームデータがある場合には、当該フレームデータ中において主要被写体を認識する（ステップＳ２０２）。
【００４４】
このステップＳ２０２における主要被写体の認識に際しては、当該フレームデータ内における一定以上の大きさのオブジェクトであることを条件として主要被写体と認識する方法、あるいは一定以上の大きさのオブジェクトであってかつ人物被写体であることを条件に主要被写体と認識する方法等の如何なる方法であってもよい。
【００４５】
なお、本実施の形態においては、例えば一定以上の大きさのオブジェクトであってかつ人物被写体であることを条件に主要被写体と認識するものとする。
【００４６】
引き続き、この認識した人物被写体における顔部分を認識する（ステップＳ２０３）。さらに、この認識した人物被写体における顔部分のみを拡大処理し（ステップＳ２０４）、拡大処理した人物被写体における顔部分のみを漫画絵に画像変換する（ステップＳ２０５）。このステップＳ２０５での漫画絵画像変換に際しては、例えば特開２０１０−１４６２６４号公報記載の技術を用いることができる。この技術においては、２値化された画像に膨張伸縮処理が施されて得られた画像である輪郭画像を用いて漫画絵への変換を行うことより、より簡単かつ効果的に漫画絵画像を表示することができるとされている。
【００４７】
しかも、変換されるのは、顔部分のみであることから、漫画絵画像への変換に時間を要することなく、迅速に変換を完了することができる。
【００４８】
なお、顔部分のみではなく、人物被写体全体あるいは当該フレームデータ全体を漫画絵に変換するようにしてもよい。
【００４９】
また、本実施の形態においては、顔部分を拡大してから漫画絵に変換するようにしたことから、モチーフの特徴を誇張・強調した変形を加える表現手法である実際の漫画絵と同様に顔部分がデフォルメした漫画絵を得ることができる。
【００５０】
なお、顔部分を拡大することなく漫画絵に変換するようにしてもよい。
【００５１】
次に、動画データＭＤにおいて、ｎ番目に選択されたフレームデータと、ｎ＋１番目に選択されたフレームデータ間に音声データが記録されているか否かを判断する（ステップＳ２０６）。記録されている場合には、このｎ番目に選択されたフレームデータとｎ＋１番目に選択されたフレームデータ間に記録されている音声データを抽出する（ステップＳ２０７）。さらに、この抽出した音声データにより表される音声をテキストデータに変換する（ステップＳ２０８）。そして、吹き出しを作成して、吹き出し内にステップＳ２０８で変換したテキストデータの文字列を配置するとともに、この文字列が配置された吹き出しをｎ＋１番目に選択されたフレームデータ内に合成する（ステップＳ２０９）。しかる後に、メインルーチンにリターンする。
【００５２】
したがって、このタイマインターラプトルーチンがメインルーチンに割り込んで実行さえれると、図３のフローチャートにおいてステップＳ１０３及びステップＳ１０７でＲＡＭ１３のフォルダ作成エリアに格納されたフレームデータは、全て漫画絵変換がなされたもとなる。よって、ステップＳ１０９で生成される画像ファイルは、漫画絵のフレームデータを複数含むものとなり、かつ、順次異なる画像で構成されることとなる。
【００５３】
したがって、内部メモリ１４に格納された画像ファイル内のフレームデータを順次読み出して、スライドショー形式で表示させた際に、順次表示される画像が相違し、ユーザにおいて早期に画像の観賞を飽きてしまうという問題を解消することができる。
【００５４】
また、動画撮影を行うという簡単な事前準備により、動画データからスライドショー形式での表示に適切な相違性のあるフレームデータを抽出してファイル化することができる。よって、簡単な事前準備によりユーザのスライドショー観賞に対する興趣性を向上させることができる。
【００５５】
しかも、本実施の形態においては、図７に示すように、抽出したフレームデータＦにおける顔部分を漫画絵ＭＰに変換し、さらには音声を文字列Ｃにして吹き出しＢにより表示することから、ユーザのスライドショー観賞に対する興趣性を向上させることができる。
【００５６】
なお、本実施の形態においては、各フレームデータを漫画絵に変換し、音声を吹き出しにより表示するようにしたが、漫画絵変換や吹き出し表示を行うことなく、異なるフレームデータからなる画像ファイルを生成するようにしてもよい。この場合であっても、動画撮影を行うという簡単な事前準備により、動画データからスライドショー形式での表示に適切な相違性のあるフレームデータを抽出してファイル化することができる。
【００５７】
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
【００５８】
＜請求項１＞
複数のフレームデータのうち、ｎ番目に選択された前記フレームデータの複数のエリアと、ｎ＋１番目に選択された前記フレームデータの複数のエリアと、を比較し、前記複数のエリアにおける所定の割合以上が異なる場合、前記ｎ＋１番目に選択された前記フレームデータを抽出することを特徴とする画像ファイル生成装置。
【００５９】
＜請求項２＞
前記複数のフレームデータは、時間的に連続する前記複数のフレームデータで構成されている動画データから所定の時間毎の前記フレームデータを選択する選択部により選択し、
前記ｎ＋１番目に選択された前記フレームデータを抽出するのは抽出部により行い、
前記複数のエリアの比較は比較部により対応するエリア毎に行い、
前記比較部は、前記ｎ番目に選択された前記フレームデータの複数のエリアと、前記ｎ＋１番目に選択された前記フレームデータの複数のエリアと、の色を比較することを特徴とする請求項１記載の画像ファイル生成装置。
【００６０】
＜請求項３＞
前記比較部は、前記ｎ番目の前記複数のエリアと前記ｎ＋１番目の前記複数のエリアとの各対応するエリアをそれぞれ比較し、色が不一致である前記エリアの個数が前記所定の割合以上であるか否か、又は、前記ｎ番目の前記複数のエリア全体と前記ｎ＋１番目の前記複数のエリア全体とを比較し、前記複数のエリア全体のうち前記所定の割合以上の色が不一致であるか否か、のいずれかを判断することを特徴とする請求項１または２記載の画像ファイル生成装置。
【００６１】
＜請求項４＞
前記所定の割合は２０％であることを特徴とする請求項１乃至３の何れか一項記載の画像ファイル生成装置。
【００６２】
＜請求項５＞
前記抽出部により抽出された前記複数のフレームデータを含む画像ファイルを生成するファイル生成部と、
前記抽出部により抽出された前記フレームデータを漫画絵画像に変換する漫画絵変換部を備え、
前記ファイル生成部は、前記漫画絵変換部により変換された複数の漫画絵画像を含む画像ファイルを生成することを特徴とする請求項２乃至４の何れか一項記載の画像ファイル生成装置。
【００６３】
＜請求項６＞
前記漫画絵変換部は、前記フレームデータにおいて主要被写体を認識する主要被写体認識部を備え、
前記主要被写体認識部により認識された前記主要被写体の輪郭を抽出して、前記主要被写体のみを漫画絵画像に変換することを特徴とする請求項５記載の画像ファイル生成装置。
【００６４】
＜請求項７＞
前記主要被写体認識部は、人物被写体における顔部分のみを前記主要被写体として認識する顔認識部を備え、
前記漫画絵変換部は、前記顔認識部により認識された人物被写体における顔部分のみを漫画絵に変換することを特徴とする請求項６記載の画像ファイル生成装置。
【００６５】
＜請求項８＞
前記漫画絵変換部は、前記人物被写体の顔部分を拡大して漫画絵に変換することを特徴とする請求項７記載の画像ファイル生成装置。
【００６６】
＜請求項９＞
前記動画データが、前記複数のフレームデータと共に音声データが記録されているものである場合において、
前記選択部により前記ｎ番目に選択された前記フレームデータと前記ｎ＋１番目に選択された前記フレームデータとの間に記録されている前記音声データを抽出する音声データ抽出部と、
前記音声データ抽出部により抽出された前記音声データにより表される音声を文字列に変換する文字列変換部と、
を備え、
前記漫画絵変換部は、前記文字列変換部により変換された文字列を含む吹き出しを前記ｎ＋１番目に抽出された前記フレームデータ内に合成することを特徴とする請求項４乃至８の何れか一項記載の画像ファイル生成装置。
【００６７】
＜請求項１０＞
画像ファイル生成装置が有するコンピュータを、
複数のフレームデータのうち、ｎ番目に選択された前記フレームデータの複数のエリアと、ｎ＋１番目に選択された前記フレームデータの複数のエリアと、を比較し、前記複数のエリアにおける所定の割合以上が異なる場合、前記ｎ＋１番目に選択された前記フレームデータを抽出する手段として機能させることを特徴とする画像ファイル生成プログラム。
【００６８】
＜請求項１１＞
複数のフレームデータのうち、ｎ番目に選択された前記フレームデータの複数のエリアと、ｎ＋１番目に選択された前記フレームデータの複数のエリアと、を比較し、前記複数のエリアにおける所定の割合以上が異なる場合、前記ｎ＋１番目に選択された前記フレームデータを抽出することを特徴とする画像ファイル生成方法。
【符号の説明】
【００６９】
１ 画像表示装置
３ 表示パネル
５ タッチパネル
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ 内部メモリ
１６ 表示制御部
１７ キー入力制御部
１８ メモリカードインターフェース
１９ 人感センサ
２０ ＧＰＳ制御部
２１ キー入力部
３０ 通信制御部
６０ メモリカード
６０１ 音声データ
Ｆ フレームデータ
ＭＤ 動画データ
ＴＥ 撮影終了時点
ＴＳ 撮影開始時点
ｔ 時間
【技術分野】
【０００１】
本発明は、画像ファイル生成装置、画像ファイル生成プログラム及び画像ファイル生成方法に関し、特に動画データから画像ファイルを生成する技術に関する。
【背景技術】
【０００２】
近年、デジタルカメラの普及により、写真は、デジタル画像データとして保存することが一般的となっている。従来のフィルムカメラによる撮影の場合、プリントを伴うことが多かったが、画像データの場合、撮影したデジタルカメラで閲覧したり、画像データを取り込んだパーソナルコンピュータなどで閲覧したりすることができるため、写真の楽しみ方にも変化が生じている。
【０００３】
このような状況において、画像データでも従来のプリント写真と同様の楽しみ方ができるようにするため、所謂デジタルフォトフレームが実現され普及している（例えば、特許文献１）。
【０００４】
デジタルフォトフレームでは、デジタル方式の特性を活かし、従来のプリント写真を掲出するフォトフレームではできなかった複数の写真をスライドショー形式で表示するなどの多様な表示態様を実現することができるとともに、画像処理を加えることで、例えば、元の写真をベースとしつつも趣の異なる画調の画像（例えば絵画調など）を生成して表示することができるようにした発明が提案されている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１４１６７８号公報
【特許文献２】特開平８−４４８６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、デジタルフォトフレームにおいてスライドショー形式で表示される画像は、静止画撮影された画像である。したがって、より多くの異なる画像をスライドショー形式で表示するためには、多くの静止画撮影を行わなければならず、事前準備が煩雑となる。
【０００７】
そこで、時間的に連続する複数のフレームデータで構成される動画データを用い、この動画データを構成する個々のフレームデータをスライドショー形式で表示させることが考えられる。このようにすれば、例えば１回の動画撮影で多くのフレームデータを取得することができるので、簡単な事前準備によって多くの異なる画像をスライドショー形式で表示することができる。
【０００８】
しかしながら、動画撮影された複数のフレームデータにあっては、時間的に連続する複数のフレームデータ間に相違がなく、同一のフレームデータが連続する場合や、僅かに相違するフレームデータが連続する場合が多い。したがって、動画データを構成する個々のフレームデータをスライドショー形式で表示させると、同一あるいは僅かに相違するに過ぎない画像が順次表示される。このため、ユーザにおいて早期に画像の観賞を飽きてしまうという問題が生ずる。
【０００９】
本発明は、かかる従来の課題に鑑みてなされたものであり、動画データからスライドショー形式での表示に適切なフレームデータを抽出してファイル化することのできる画像ファイル生成装置、画像ファイル生成プログラム及び画像ファイル生成方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
前記課題を解決するため、本発明に係る画像ファイル生成装置にあっては、複数のフレームデータのうち、ｎ番目に選択された前記フレームデータの複数のエリアと、ｎ＋１番目に選択された前記フレームデータの複数のエリアと、を比較し、前記複数のエリアにおける所定の割合以上が異なる場合、前記ｎ＋１番目に選択された前記フレームデータを抽出することを特徴とする。
【００１１】
また、本発明に係る本発明に係る画像ファイル生成プログラムにあっては、画像ファイル生成装置が有するコンピュータを、複数のフレームデータのうち、ｎ番目に選択された前記フレームデータの複数のエリアと、ｎ＋１番目に選択された前記フレームデータの複数のエリアと、を比較し、前記複数のエリアにおける所定の割合以上が異なる場合、前記ｎ＋１番目に選択された前記フレームデータを抽出する手段として機能させることを特徴とする。
【００１２】
また、本発明に係る本発明に係る画像ファイル生成方法にあっては、複数のフレームデータのうち、ｎ番目に選択された前記フレームデータの複数のエリアと、ｎ＋１番目に選択された前記フレームデータの複数のエリアと、を比較し、前記複数のエリアにおける所定の割合以上が異なる場合、前記ｎ＋１番目に選択された前記フレームデータを抽出することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、動画撮影を行うという簡単な事前準備により、動画データからスライドショー形式での表示に適切な相違性のあるフレームデータを抽出してファイル化することができる。よって、簡単な事前準備によりユーザのスライドショー観賞に対する興趣性を向上させることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る画像表示装置の回路構成、及びシステム構成を示すブロック図である。
【図２】メモリカードの記憶状態を示す図である。
【図３】本実施の形態のメインルーチンを示すフローチャートである。
【図４】動画データの模式図である。
【図５】フレームデータの比較方法を示す図である。
【図６】漫画絵変換インターラプトルーチンを示すフローチャートである。
【図７】吹き出しが合成された漫画絵の一例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について説明する。図１は、本実施の形態に係る画像ファイル生成装置を内蔵する画像表示装置１、及びこれを含む画調変換システムの電気的構成を示したブロック図である。画像表示装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＣＰＵ１１に接続されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ ｍｅｍｏｒｙ）１３、内部メモリ１４を備える。ＲＯＭ１２には、ＣＰＵ１１に後述するフローチャートに示す動作を行わせるためのプログラム等が記憶されている。
【００１６】
内部メモリ１４は、ハードディスク又はフラッシュメモリによる大容量不揮発性メモリであり、後述するフローに示す処理により作成された新たな画像ファイルが保存可能となっている。表示制御部１６は、ＣＰＵ１１により制御されてＲＡＭ１３のバッファエリアに格納される画像データに基づいて液晶等からなる表示パネル３を駆動することにより、画像や各種メニューを表示パネル３に表示させる。
【００１７】
キー入力制御部１７はＣＰＵ１１の制御に基づいてタッチパネル５のタッチ検出信号と、キー入力部２１の操作信号を入力するものである。タッチパネル５は、表示パネル３に積層されており、タッチ位置を検出してタッチ位置を示すタッチ位置検出信号を発生する。また、本実施の形態において、キー入力部２１には、電源スイッチ、モード選択ＳＷ（スイッチ）、動画像選択ＳＷ、及びその他のスイッチが設けられている。
【００１８】
メモリカードインターフェース１８は、メモリカードスロットに着脱自在に装着された各種のメモリカード６０と、ＣＰＵ１１との間におけるデータの入出力を制御する入出力インターフェースである。メモリカード６０には、例えば音声付き動画撮影機能を備えたデジタルカメラでの撮影によって動画データが記録されている。したがって、メモリカード６０に記録されている動画データは、時間的に連続する所定のフレームレートからなる複数のフレームデータと、音声を表す音声データとで構成されている。動画データは、２４ｆｐｓ〜３０ｆｐｓ（Ｆｒａｍｅ Ｐｅｒ Ｓｅｃｏｎｄ）程度で滑らかな動きを表現できる。このように、１秒間に例えば２４〜３０枚の静止画像を連続表示することで動きのある画像を表現しているが、この１枚１枚の静止画像をフレームと呼び、フレームは動画データを構成する最小単位である。従って、連続して並べた静止画像を次々に入れ替えて表示することで動画が表現される。
【００１９】
ＧＰＳ制御部２０は、ＧＰＳアンテナ７で受信した情報を元に位置情報を取得する。これにより、画像表示装置１の現在位置を知ることもできる。人感センサ１９はＣＰＵ１１に接続され、近くに人がいるかどうかを検知するものである。したがって、近くに人がいない状態が所定時間以上続くと自動的に電源を切って節電を図る（オートパワーオフ）。
【００２０】
通信制御部３０は、電話回線３１若しくは無線ＬＡＮ３２を経由して画像やメールの送受信を含む通信制御を行う。アドレス帳３３は、メール送受信に使用するものであり、実際は内部メモリ１４内に設けられる。
【００２１】
バックアップサーバ４０は、ネットワーク９０を介して接続され、自動的に若しくは手動指示により内部メモリ１４に記録されたデータのバックアップを行う。コンテンツサーバ５０は、多数のコンテンツや画像を有しており、ネットワーク９０を介して画像表示装置１へデータを配信することができる。
【００２２】
撮像装置７０は、所謂デジタルカメラであり、撮像素子やこれを制御する撮像制御部、及び画像送信部等を備える。そして、撮像制御部により撮像素子を駆動してカラーからなる被写体の画像を所定の周期（フレームレート）で取り込む制御を行い、取り込んだライブビュー画像を外部に送信する送信手段を備える。この撮像装置７０は、ネットワーク９０を介して電話回線３１あるいは無線ＬＡＮ３２で画像表示装置１の通信制御部３０に接続されている。したがって、画像表示装置１のＣＰＵ１１は、撮像装置７０により撮像されて、前記送信手段により転送されたライブビュー画像を逐次取り込むことが可能である。
【００２３】
このとき、撮像装置７０が、ユーザが有している画像表示装置１の場所とは異なる遠隔地に配置されていることにより、ユーザは遠隔地の景色を画像表示装置１の表示パネル３で観賞することができる。
【００２４】
また、電源制御部８０は、電源プラグ８１を介してＡＣ電源を取り入れ、直流に変換して各部に電力を供給する。前述したオートパワーオフの制御も行う。ＲＡＭ１３は、ＣＰＵ１１が必要に応じて種々のデータを一時的に記憶する作業用のメモリであり、後述するフローに示すバッファエリアを備える。
【００２５】
図２は、メモリカード６０に記憶されている動画データを示す図である。このメモリカード６０には、複数の動画データ（１）〜（Ｍ）が予め記憶されている。この動画データ（１）〜（Ｍ）は、前述のようにデジタルカメラで撮影されて記録されたもの、あるいはコンテンツサーバ５０からネットワーク９０を介してダウンロードしたものである。
【００２６】
また、各動画データ（１）〜（Ｍ）は、複数のフレームデータ（１）〜（Ｎ）で構成され、例えば動画データ（１）は、所定のフレームレートからなるフレームデータ（１）（１）〜（１）（Ｎ）で構成されている。また、これらフレームデータ（１）（１）〜（１）（Ｎ）と関係付けられて、音声データ６０１も記録されている。
【００２７】
次に、以上の構成に係る本実施の形態の動作について説明する。キー入力部２１に設けられている電源スイッチがオン操作され、メニュー画面から画像ファイル生成モードが選択されると、ＣＰＵ１１はＲＯＭ１２に記憶されているプログラムに従ってＲＡＭ１３をワークエリアとして使用しつつ、各部の制御及び処理を開始する。図３は、ＣＰＵ１１の処理手順を示すメインフローである。ＣＰＵ１１は、先ずメモリカード６０に記憶されている動画データの一覧を表示パネル３に表示させる（ステップＳ１０１）。
【００２８】
次に、タッチパネル５によるタッチ位置検出に基づき、これら表示パネル３に表示させた動画データの一覧からいずれかが選択されたか否かを判断する（ステップＳ１０２）。いずれかの動画データが選択されたならば、選択された動画データの先頭フレームデータを選択部により選択して、ＲＡＭ１３のフォルダ作成エリアに格納する（ステップＳ１０３）。
【００２９】
すなわち、図４に示すように、動画データＭＤは、所定のフレームレートで時間ｔに従って連続する複数のフレームデータＦで構成される。また、動画データＭＤは、前述のようにデジタルカメラで動画撮影されたものであり、動画撮影の撮影開始時点ＴＳから撮影終了時点ＴＥまでの複数のフレームデータＦで構成されている。そして、ステップＳ１０３においては、選択部により、先ず撮影開始時点ＴＳのフレームデータＦ１を動画データＭＤから選択する。
【００３０】
引き続き、動画データＭＤにおいて、前記ステップＳ１０３で選択部により選択されたフレームデータに対し、所定時間ΔＴ経過後のフレームデータを選択部により選択して、ＲＡＭ１３のフォルダ作成エリア以外のエリアに格納する（ステップＳ１０４）。これにより、図４に示すように、フレームデータＦ１に対して、所定時間ΔＴ経過後のフレームデータＦ２が選択される。
【００３１】
次に、これら選択されたフレームデータＦ１、Ｆ２を複数のエリアに区分し、区分した複数のエリア毎に色を比較する（ステップＳ１０５）。つまり、図５（Ａ）（Ｂ）に示すように、フレームデータＦ１、Ｆ２を複数の独立した円からなる同一の位置かつ同一大きさのエリアｅ１、ｅ２に区分し、対応するエリアｅ１、ｅ２の色を比較する。
【００３２】
なお、本実施の形態においては、フレームデータＦ１、Ｆ２を複数の独立した円からなるエリアｅ１、ｅ２に区分するようにしたが、フレームデータＦ１、Ｆ２を格子状に区分する等、エリアｅ１、ｅ２は如何なる形状であってもよい。
【００３３】
また、フレームデータＦ１、Ｆ２における同一エリア同士で比較を行うが、動画撮影時における撮影者の手ブレやその他の原因により、画角が若干ずれる場合がある。この場合、殆ど画像の内容に変化がない場合であっても、比較するエリアの面積が小さいと、エリアにおける画像の色の変化する割合が大きくなってしまう可能性が高い。そこで、フレームデータ中に人物が写っている場合には、人物の顔を認識する機能を利用し、顔の位置を基準にして、Ｘ軸方向及びＹ軸方向に同一距離をもって離れている位置にエリアを設定すればよい。
【００３４】
また、天候の急激な変化（晴→曇、曇→晴）により、全て又は多数のエリアｅ１、ｅ２で明度（色ではない）が相違することが考えられるので、明度を用いる場合には、明度と色の組合せで不一致性を判断することが好ましい。
【００３５】
そして、このステップＳ１０５での比較の結果、複数のエリアｅ１、ｅ２における所定の割合以上、例えば２０％以上のエリアの色が不一致であるか否かを比較部により判断する（ステップＳ１０６）。不一致率が２０％以上（ステップＳ１０６；ＮＯ）である場合には、フレームデータＦ１、Ｆ２は、異なる画像であると判断し、抽出部により選択したフレームデータＦ２をＲＡＭ１３のフォルダ作成エリアに格納する（ステップＳ１０７）。
【００３６】
この２０％以上のエリアの色が不一致であるか否かを判断する方法としては、複数のエリアｅ１と複数のエリアｅ２との各対応するエリアをそれぞれ比較し、エリアの色が不一致である個数が２０％以上あるか否かを判断する方法がある。これは、フレームデータＦ１の各エリアｅ１と、フレームデータＦ１の各エリアｅ１と対応する領域にあるフレームデータＦ２の各エリアｅ２と、を比較し、例えば、図４に示すように、ｅ１及びｅ２の数がそれぞれ１５個ある場合、１５個それぞれについて比較し、１５個の２０％は３個なので、エリアの色が不一致である個数が３個以上の場合は不一致であると判断し、エリアの色が不一致である個数が３個未満の場合は、不一致で無いと判断することができる。
【００３７】
また、別の方法としてはとしては、複数のエリアｅ１全体と複数のエリアｅ２全体とを比較し、全体の２０％以上のエリアの色が不一致であるか否かを判断する方法がある。この方法は、フレームデータＦ１の各エリアｅ１全部と、フレームデータＦ２の各エリアｅ２全部と、を比較し、例えば、図４に示すように、ｅ１及びｅ２の数がそれぞれ１５個ある場合、それぞれの１５個全部について比較し、ｅ２の１５個のエリアの合計の色がｅ１の１５個のエリアの合計の色と不一致である面積が２０％以上の場合は不一致であると判断し、エリアの色が不一致である個数が３個未満の場合は、不一致で無いと判断することができる。
【００３８】
このように、本実施の形態においては、フレームデータＦ１、Ｆ２の異同判断をエリアｅ１、ｅ２における色に基づき行うことから、複雑な処理を伴うことなく簡単な処理により、フレームデータの異同を判断することができる。
【００３９】
次に、以上に説明したステップＳ１０４〜ステップＳ１０７の処理を、動画データＭＤの全長に対して完了したか否かを判断し（ステップＳ１０８）、完了するまでステップＳ１０４〜ステップＳ１０８のループを繰り返す。
【００４０】
したがって、ステップＳ１０４〜ステップＳ１０８のループを繰り返されることにより、図４に示すように、動画データＭＤからは所定時間ΔＴ毎にフレームデータＦ３、Ｆ４・・・が選択される。また、この選択されたフレームデータＦ３、Ｆ４・・・とその直前に選択されたフレームデータと不一致率が所定以上である場合には、ｎ＋１番目に選択されたフレームデータがＲＡＭ１３のフォルダ作成エリアに格納される。よって、ＲＡＭ１３のフォルダ作成エリアには、動画データＭＤから所定時間ΔＴ毎に抽出されたフレームデータであって、その直前に抽出された画像とは異なる複数のフレームデータが格納されることとなる。
【００４１】
そして、ステップＳ１０４〜ステップＳ１０７の処理を、動画データＭＤの全長に対して完了したならば、ファイル生成処理を行って、後述する漫画絵のフレームデータを複数含む画像ファイルを生成する（ステップＳ１０９）。さらに、この生成した画像ファイルを内部メモリ１４に保存して（ステップＳ１１０）、処理を終了する。
【００４２】
図６は、本実施の形態における漫画絵変換インターラプトルーチンを示すフローチャートである。ＣＰＵ１１は、一定の時間間隔で図３に示したメインルーチンに対し割り込んで、この漫画絵変換インターラプトルーチンに従った処理を実行する。
【００４３】
すなわち、新たに抽出されてＲＡＭ１３のフォルダ作成エリアに格納されたフレームデータがあるか否かを判断する（ステップＳ２０１）。新たに抽出されてＲＡＭ１３のフォルダ作成エリアに格納されたフレームデータがある場合には、当該フレームデータ中において主要被写体を認識する（ステップＳ２０２）。
【００４４】
このステップＳ２０２における主要被写体の認識に際しては、当該フレームデータ内における一定以上の大きさのオブジェクトであることを条件として主要被写体と認識する方法、あるいは一定以上の大きさのオブジェクトであってかつ人物被写体であることを条件に主要被写体と認識する方法等の如何なる方法であってもよい。
【００４５】
なお、本実施の形態においては、例えば一定以上の大きさのオブジェクトであってかつ人物被写体であることを条件に主要被写体と認識するものとする。
【００４６】
引き続き、この認識した人物被写体における顔部分を認識する（ステップＳ２０３）。さらに、この認識した人物被写体における顔部分のみを拡大処理し（ステップＳ２０４）、拡大処理した人物被写体における顔部分のみを漫画絵に画像変換する（ステップＳ２０５）。このステップＳ２０５での漫画絵画像変換に際しては、例えば特開２０１０−１４６２６４号公報記載の技術を用いることができる。この技術においては、２値化された画像に膨張伸縮処理が施されて得られた画像である輪郭画像を用いて漫画絵への変換を行うことより、より簡単かつ効果的に漫画絵画像を表示することができるとされている。
【００４７】
しかも、変換されるのは、顔部分のみであることから、漫画絵画像への変換に時間を要することなく、迅速に変換を完了することができる。
【００４８】
なお、顔部分のみではなく、人物被写体全体あるいは当該フレームデータ全体を漫画絵に変換するようにしてもよい。
【００４９】
また、本実施の形態においては、顔部分を拡大してから漫画絵に変換するようにしたことから、モチーフの特徴を誇張・強調した変形を加える表現手法である実際の漫画絵と同様に顔部分がデフォルメした漫画絵を得ることができる。
【００５０】
なお、顔部分を拡大することなく漫画絵に変換するようにしてもよい。
【００５１】
次に、動画データＭＤにおいて、ｎ番目に選択されたフレームデータと、ｎ＋１番目に選択されたフレームデータ間に音声データが記録されているか否かを判断する（ステップＳ２０６）。記録されている場合には、このｎ番目に選択されたフレームデータとｎ＋１番目に選択されたフレームデータ間に記録されている音声データを抽出する（ステップＳ２０７）。さらに、この抽出した音声データにより表される音声をテキストデータに変換する（ステップＳ２０８）。そして、吹き出しを作成して、吹き出し内にステップＳ２０８で変換したテキストデータの文字列を配置するとともに、この文字列が配置された吹き出しをｎ＋１番目に選択されたフレームデータ内に合成する（ステップＳ２０９）。しかる後に、メインルーチンにリターンする。
【００５２】
したがって、このタイマインターラプトルーチンがメインルーチンに割り込んで実行さえれると、図３のフローチャートにおいてステップＳ１０３及びステップＳ１０７でＲＡＭ１３のフォルダ作成エリアに格納されたフレームデータは、全て漫画絵変換がなされたもとなる。よって、ステップＳ１０９で生成される画像ファイルは、漫画絵のフレームデータを複数含むものとなり、かつ、順次異なる画像で構成されることとなる。
【００５３】
したがって、内部メモリ１４に格納された画像ファイル内のフレームデータを順次読み出して、スライドショー形式で表示させた際に、順次表示される画像が相違し、ユーザにおいて早期に画像の観賞を飽きてしまうという問題を解消することができる。
【００５４】
また、動画撮影を行うという簡単な事前準備により、動画データからスライドショー形式での表示に適切な相違性のあるフレームデータを抽出してファイル化することができる。よって、簡単な事前準備によりユーザのスライドショー観賞に対する興趣性を向上させることができる。
【００５５】
しかも、本実施の形態においては、図７に示すように、抽出したフレームデータＦにおける顔部分を漫画絵ＭＰに変換し、さらには音声を文字列Ｃにして吹き出しＢにより表示することから、ユーザのスライドショー観賞に対する興趣性を向上させることができる。
【００５６】
なお、本実施の形態においては、各フレームデータを漫画絵に変換し、音声を吹き出しにより表示するようにしたが、漫画絵変換や吹き出し表示を行うことなく、異なるフレームデータからなる画像ファイルを生成するようにしてもよい。この場合であっても、動画撮影を行うという簡単な事前準備により、動画データからスライドショー形式での表示に適切な相違性のあるフレームデータを抽出してファイル化することができる。
【００５７】
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
【００５８】
＜請求項１＞
複数のフレームデータのうち、ｎ番目に選択された前記フレームデータの複数のエリアと、ｎ＋１番目に選択された前記フレームデータの複数のエリアと、を比較し、前記複数のエリアにおける所定の割合以上が異なる場合、前記ｎ＋１番目に選択された前記フレームデータを抽出することを特徴とする画像ファイル生成装置。
【００５９】
＜請求項２＞
前記複数のフレームデータは、時間的に連続する前記複数のフレームデータで構成されている動画データから所定の時間毎の前記フレームデータを選択する選択部により選択し、
前記ｎ＋１番目に選択された前記フレームデータを抽出するのは抽出部により行い、
前記複数のエリアの比較は比較部により対応するエリア毎に行い、
前記比較部は、前記ｎ番目に選択された前記フレームデータの複数のエリアと、前記ｎ＋１番目に選択された前記フレームデータの複数のエリアと、の色を比較することを特徴とする請求項１記載の画像ファイル生成装置。
【００６０】
＜請求項３＞
前記比較部は、前記ｎ番目の前記複数のエリアと前記ｎ＋１番目の前記複数のエリアとの各対応するエリアをそれぞれ比較し、色が不一致である前記エリアの個数が前記所定の割合以上であるか否か、又は、前記ｎ番目の前記複数のエリア全体と前記ｎ＋１番目の前記複数のエリア全体とを比較し、前記複数のエリア全体のうち前記所定の割合以上の色が不一致であるか否か、のいずれかを判断することを特徴とする請求項１または２記載の画像ファイル生成装置。
【００６１】
＜請求項４＞
前記所定の割合は２０％であることを特徴とする請求項１乃至３の何れか一項記載の画像ファイル生成装置。
【００６２】
＜請求項５＞
前記抽出部により抽出された前記複数のフレームデータを含む画像ファイルを生成するファイル生成部と、
前記抽出部により抽出された前記フレームデータを漫画絵画像に変換する漫画絵変換部を備え、
前記ファイル生成部は、前記漫画絵変換部により変換された複数の漫画絵画像を含む画像ファイルを生成することを特徴とする請求項２乃至４の何れか一項記載の画像ファイル生成装置。
【００６３】
＜請求項６＞
前記漫画絵変換部は、前記フレームデータにおいて主要被写体を認識する主要被写体認識部を備え、
前記主要被写体認識部により認識された前記主要被写体の輪郭を抽出して、前記主要被写体のみを漫画絵画像に変換することを特徴とする請求項５記載の画像ファイル生成装置。
【００６４】
＜請求項７＞
前記主要被写体認識部は、人物被写体における顔部分のみを前記主要被写体として認識する顔認識部を備え、
前記漫画絵変換部は、前記顔認識部により認識された人物被写体における顔部分のみを漫画絵に変換することを特徴とする請求項６記載の画像ファイル生成装置。
【００６５】
＜請求項８＞
前記漫画絵変換部は、前記人物被写体の顔部分を拡大して漫画絵に変換することを特徴とする請求項７記載の画像ファイル生成装置。
【００６６】
＜請求項９＞
前記動画データが、前記複数のフレームデータと共に音声データが記録されているものである場合において、
前記選択部により前記ｎ番目に選択された前記フレームデータと前記ｎ＋１番目に選択された前記フレームデータとの間に記録されている前記音声データを抽出する音声データ抽出部と、
前記音声データ抽出部により抽出された前記音声データにより表される音声を文字列に変換する文字列変換部と、
を備え、
前記漫画絵変換部は、前記文字列変換部により変換された文字列を含む吹き出しを前記ｎ＋１番目に抽出された前記フレームデータ内に合成することを特徴とする請求項４乃至８の何れか一項記載の画像ファイル生成装置。
【００６７】
＜請求項１０＞
画像ファイル生成装置が有するコンピュータを、
複数のフレームデータのうち、ｎ番目に選択された前記フレームデータの複数のエリアと、ｎ＋１番目に選択された前記フレームデータの複数のエリアと、を比較し、前記複数のエリアにおける所定の割合以上が異なる場合、前記ｎ＋１番目に選択された前記フレームデータを抽出する手段として機能させることを特徴とする画像ファイル生成プログラム。
【００６８】
＜請求項１１＞
複数のフレームデータのうち、ｎ番目に選択された前記フレームデータの複数のエリアと、ｎ＋１番目に選択された前記フレームデータの複数のエリアと、を比較し、前記複数のエリアにおける所定の割合以上が異なる場合、前記ｎ＋１番目に選択された前記フレームデータを抽出することを特徴とする画像ファイル生成方法。
【符号の説明】
【００６９】
１ 画像表示装置
３ 表示パネル
５ タッチパネル
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ 内部メモリ
１６ 表示制御部
１７ キー入力制御部
１８ メモリカードインターフェース
１９ 人感センサ
２０ ＧＰＳ制御部
２１ キー入力部
３０ 通信制御部
６０ メモリカード
６０１ 音声データ
Ｆ フレームデータ
ＭＤ 動画データ
ＴＥ 撮影終了時点
ＴＳ 撮影開始時点
ｔ 時間
【特許請求の範囲】
【請求項１】
複数のフレームデータのうち、ｎ番目に選択された前記フレームデータの複数のエリアと、ｎ＋１番目に選択された前記フレームデータの複数のエリアと、を比較し、前記複数のエリアにおける所定の割合以上が異なる場合、前記ｎ＋１番目に選択された前記フレームデータを抽出することを特徴とする画像ファイル生成装置。
【請求項２】
前記複数のフレームデータは、時間的に連続する前記複数のフレームデータで構成されている動画データから所定の時間毎の前記フレームデータを選択する選択部により選択し、
前記ｎ＋１番目に選択された前記フレームデータを抽出するのは抽出部により行い、
前記複数のエリアの比較は比較部により対応するエリア毎に行い、
前記比較部は、前記ｎ番目に選択された前記フレームデータの複数のエリアと、前記ｎ＋１番目に選択された前記フレームデータの複数のエリアと、の色を比較することを特徴とする請求項１記載の画像ファイル生成装置。
【請求項３】
前記比較部は、前記ｎ番目の前記複数のエリアと前記ｎ＋１番目の前記複数のエリアとの各対応するエリアをそれぞれ比較し、色が不一致である前記エリアの個数が前記所定の割合以上であるか否か、又は、前記ｎ番目の前記複数のエリア全体と前記ｎ＋１番目の前記複数のエリア全体とを比較し、前記複数のエリア全体のうち前記所定の割合以上の色が不一致であるか否か、のいずれかを判断することを特徴とする請求項１または２記載の画像ファイル生成装置。
【請求項４】
前記所定の割合は２０％であることを特徴とする請求項１乃至３の何れか一項記載の画像ファイル生成装置。
【請求項５】
前記抽出部により抽出された前記複数のフレームデータを含む画像ファイルを生成するファイル生成部と、
前記抽出部により抽出された前記フレームデータを漫画絵画像に変換する漫画絵変換部を備え、
前記ファイル生成部は、前記漫画絵変換部により変換された複数の漫画絵画像を含む画像ファイルを生成することを特徴とする請求項２乃至４の何れか一項記載の画像ファイル生成装置。
【請求項６】
前記漫画絵変換部は、前記フレームデータにおいて主要被写体を認識する主要被写体認識部を備え、
前記主要被写体認識部により認識された前記主要被写体の輪郭を抽出して、前記主要被写体のみを漫画絵画像に変換することを特徴とする請求項５記載の画像ファイル生成装置。
【請求項７】
前記主要被写体認識部は、人物被写体における顔部分のみを前記主要被写体として認識する顔認識部を備え、
前記漫画絵変換部は、前記顔認識部により認識された人物被写体における顔部分のみを漫画絵に変換することを特徴とする請求項６記載の画像ファイル生成装置。
【請求項８】
前記漫画絵変換部は、前記人物被写体の顔部分を拡大して漫画絵に変換することを特徴とする請求項７記載の画像ファイル生成装置。
【請求項９】
前記動画データが、前記複数のフレームデータと共に音声データが記録されているものである場合において、
前記選択部により前記ｎ番目に選択された前記フレームデータと前記ｎ＋１番目に選択された前記フレームデータとの間に記録されている前記音声データを抽出する音声データ抽出部と、
前記音声データ抽出部により抽出された前記音声データにより表される音声を文字列に変換する文字列変換部と、
を備え、
前記漫画絵変換部は、前記文字列変換部により変換された文字列を含む吹き出しを前記ｎ＋１番目に抽出された前記フレームデータ内に合成することを特徴とする請求項４乃至８の何れか一項記載の画像ファイル生成装置。
【請求項１０】
画像ファイル生成装置が有するコンピュータを、
複数のフレームデータのうち、ｎ番目に選択された前記フレームデータの複数のエリアと、ｎ＋１番目に選択された前記フレームデータの複数のエリアと、を比較し、前記複数のエリアにおける所定の割合以上が異なる場合、前記ｎ＋１番目に選択された前記フレームデータを抽出する手段として機能させることを特徴とする画像ファイル生成プログラム。
【請求項１１】
複数のフレームデータのうち、ｎ番目に選択された前記フレームデータの複数のエリアと、ｎ＋１番目に選択された前記フレームデータの複数のエリアと、を比較し、前記複数のエリアにおける所定の割合以上が異なる場合、前記ｎ＋１番目に選択された前記フレームデータを抽出することを特徴とする画像ファイル生成方法。
【請求項１】
複数のフレームデータのうち、ｎ番目に選択された前記フレームデータの複数のエリアと、ｎ＋１番目に選択された前記フレームデータの複数のエリアと、を比較し、前記複数のエリアにおける所定の割合以上が異なる場合、前記ｎ＋１番目に選択された前記フレームデータを抽出することを特徴とする画像ファイル生成装置。
【請求項２】
前記複数のフレームデータは、時間的に連続する前記複数のフレームデータで構成されている動画データから所定の時間毎の前記フレームデータを選択する選択部により選択し、
前記ｎ＋１番目に選択された前記フレームデータを抽出するのは抽出部により行い、
前記複数のエリアの比較は比較部により対応するエリア毎に行い、
前記比較部は、前記ｎ番目に選択された前記フレームデータの複数のエリアと、前記ｎ＋１番目に選択された前記フレームデータの複数のエリアと、の色を比較することを特徴とする請求項１記載の画像ファイル生成装置。
【請求項３】
前記比較部は、前記ｎ番目の前記複数のエリアと前記ｎ＋１番目の前記複数のエリアとの各対応するエリアをそれぞれ比較し、色が不一致である前記エリアの個数が前記所定の割合以上であるか否か、又は、前記ｎ番目の前記複数のエリア全体と前記ｎ＋１番目の前記複数のエリア全体とを比較し、前記複数のエリア全体のうち前記所定の割合以上の色が不一致であるか否か、のいずれかを判断することを特徴とする請求項１または２記載の画像ファイル生成装置。
【請求項４】
前記所定の割合は２０％であることを特徴とする請求項１乃至３の何れか一項記載の画像ファイル生成装置。
【請求項５】
前記抽出部により抽出された前記複数のフレームデータを含む画像ファイルを生成するファイル生成部と、
前記抽出部により抽出された前記フレームデータを漫画絵画像に変換する漫画絵変換部を備え、
前記ファイル生成部は、前記漫画絵変換部により変換された複数の漫画絵画像を含む画像ファイルを生成することを特徴とする請求項２乃至４の何れか一項記載の画像ファイル生成装置。
【請求項６】
前記漫画絵変換部は、前記フレームデータにおいて主要被写体を認識する主要被写体認識部を備え、
前記主要被写体認識部により認識された前記主要被写体の輪郭を抽出して、前記主要被写体のみを漫画絵画像に変換することを特徴とする請求項５記載の画像ファイル生成装置。
【請求項７】
前記主要被写体認識部は、人物被写体における顔部分のみを前記主要被写体として認識する顔認識部を備え、
前記漫画絵変換部は、前記顔認識部により認識された人物被写体における顔部分のみを漫画絵に変換することを特徴とする請求項６記載の画像ファイル生成装置。
【請求項８】
前記漫画絵変換部は、前記人物被写体の顔部分を拡大して漫画絵に変換することを特徴とする請求項７記載の画像ファイル生成装置。
【請求項９】
前記動画データが、前記複数のフレームデータと共に音声データが記録されているものである場合において、
前記選択部により前記ｎ番目に選択された前記フレームデータと前記ｎ＋１番目に選択された前記フレームデータとの間に記録されている前記音声データを抽出する音声データ抽出部と、
前記音声データ抽出部により抽出された前記音声データにより表される音声を文字列に変換する文字列変換部と、
を備え、
前記漫画絵変換部は、前記文字列変換部により変換された文字列を含む吹き出しを前記ｎ＋１番目に抽出された前記フレームデータ内に合成することを特徴とする請求項４乃至８の何れか一項記載の画像ファイル生成装置。
【請求項１０】
画像ファイル生成装置が有するコンピュータを、
複数のフレームデータのうち、ｎ番目に選択された前記フレームデータの複数のエリアと、ｎ＋１番目に選択された前記フレームデータの複数のエリアと、を比較し、前記複数のエリアにおける所定の割合以上が異なる場合、前記ｎ＋１番目に選択された前記フレームデータを抽出する手段として機能させることを特徴とする画像ファイル生成プログラム。
【請求項１１】
複数のフレームデータのうち、ｎ番目に選択された前記フレームデータの複数のエリアと、ｎ＋１番目に選択された前記フレームデータの複数のエリアと、を比較し、前記複数のエリアにおける所定の割合以上が異なる場合、前記ｎ＋１番目に選択された前記フレームデータを抽出することを特徴とする画像ファイル生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−２４９２１１（Ｐ２０１２−２４９２１１Ａ）
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１１−１２１２０１（Ｐ２０１１−１２１２０１）
【出願日】平成２３年５月３１日（２０１１．５．３１）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願日】平成２３年５月３１日（２０１１．５．３１）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]