表示制御装置及び表示制御方法
【課題】タッチパネル上での操作により動画のタイムライン表示の操作を容易に行うことができるようにする。
【解決手段】タッチパネル部１０２上のタッチ位置を検出するタッチ状態検出部１１３により、１つの表示オブジェクトに対して、２箇所のタッチ位置を検出したか否かを判定する。そして、２箇所のタッチ位置を検出した場合に、次に、接触したまま２箇所のタッチ位置が移動したことを検出したか否かを判定する。そして、前記２箇所のタッチ位置が移動したことを検出した場合に、全体制御部１１４は、移動した２箇所のタッチ位置間の距離に応じた数のフレーム画像を前記表示オブジェクトが表す動画から抽出するようにフレーム画像抽出部１０６を制御し、前記移動した２箇所のタッチ位置の間に、抽出したフレーム画像を表示するように合成部１０７を制御する。
【解決手段】タッチパネル部１０２上のタッチ位置を検出するタッチ状態検出部１１３により、１つの表示オブジェクトに対して、２箇所のタッチ位置を検出したか否かを判定する。そして、２箇所のタッチ位置を検出した場合に、次に、接触したまま２箇所のタッチ位置が移動したことを検出したか否かを判定する。そして、前記２箇所のタッチ位置が移動したことを検出した場合に、全体制御部１１４は、移動した２箇所のタッチ位置間の距離に応じた数のフレーム画像を前記表示オブジェクトが表す動画から抽出するようにフレーム画像抽出部１０６を制御し、前記移動した２箇所のタッチ位置の間に、抽出したフレーム画像を表示するように合成部１０７を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は表示制御装置、表示制御方法、プログラム及び記録媒体に関し、特に、タッチパネル等を操作するために用いて好適な技術に関する。
【背景技術】
【０００２】
近年、様々な電子デバイス製品にタッチパネルが搭載されるようになっている。タッチパネルはユーザーインターフェイスとして優れており、直感的な操作及び応答を表示することができる。このようなタッチパネルでの操作において、タッチパネル上での指の動き、及びそのシステムの応答に関する技術が、例えば特許文献１に記載されている。特許文献１に記載の技術によれば、タッチパネル上における指と指との間の距離によってシステムの動作を変えることができる。さらに特許文献１には、複数の指が検出されたときその最外端にある２ヵ所の指の距離に応じて所定の動作を行うようにすることが記載されている。
【０００３】
また、近年のデジタルビデオカメラには、ユーザーに所望の動画を選択させるために、記録媒体に記録されている動画の一覧をユーザーに提示するインデックス画面表示と呼ばれる機能が搭載されている。これは、長時間の動画の中から予め決定済みのフレーム画像を１枚抜き出し、インデックス画面に並べる機能である。これによりユーザーはインデックス画面を見ながら所望の動画を選択することができ、選択した動画を再生したり編集したりすることができる。
【０００４】
さらに最近では、１枚のフレーム画像のみではなく、動画の中から数秒間隔で複数のフレーム画像を抽出し、表示画面に表示できるものもある。ユーザーは動画に含まれる数秒間隔のフレーム画像を見ることにより、動画の概要や流れをつかむことができる。なお、このように数秒間隔で動画からフレーム画像を抽出して表示する機能はタイムライン表示と呼ばれている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−２２８９７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述した動画のタイムライン表示をタッチパネル上の指の操作で実施しようとした場合、指の位置及び動きを検知することが必要である。一方、特許文献１には、複数の指でタッチパネルにタッチした場合のシステムの動作について記載されているが、動画のタイムライン表示を想定した技術ではない。このため、動画のタイムライン表示に対しては、操作性が不十分であるという問題点がある。
【０００７】
本発明は前述の問題点に鑑み、タッチパネル上で動画のタイムライン表示を簡単に操作できるようにすることを目的としている。
【課題を解決するための手段】
【０００８】
本発明の表示制御装置は、タッチパネルから構成される表示部と、動画を表す表示オブジェクトを前記表示部に表示するよう制御する表示制御手段と、前記タッチパネル上の接触位置を検出する検出手段と、前記表示部に表示された単一の前記表示オブジェクトにおいて、２箇所の接触位置を前記検出手段により検出したか否かを判定する第１の判定手段と、前記第１の判定手段により、単一の前記表示オブジェクトに２箇所の接触位置を検出したと判定した場合に、接触したまま前記接触位置が移動したことを前記検出手段により検出したか否かを判定する第２の判定手段と、前記第２の判定手段により、前記接触位置が移動したことを検出したと判定した場合に、移動後の２箇所の接触位置の間の距離に応じた数のフレーム画像を前記表示オブジェクトが表す動画から抽出し、前記表示制御手段に対して前記移動後の２箇所の接触位置の間に前記抽出したフレーム画像を表示するように制御する制御手段とを有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、タッチパネル上での操作により動画のタイムライン表示の操作を容易に行うことができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係るデジタルカメラの構成例を示すブロック図である。
【図２】実施形態に係るデジタルカメラの外観構成例を示す斜視図である。
【図３】実施形態における動画オブジェクトの表示例を示す図である。
【図４】選択されるフレーム画像と動画との関係を示す図である。
【図５】指を検出する処理手順の一例を示すフローチャートである。
【図６】２本の指での操作に関する処理手順の一例を示すフローチャートである。
【図７】３本の指での操作に関する処理手順の一例を示すフローチャートである。
【図８】動画オブジェクトをコピーする手順の一例を示す図である。
【図９】動画コンテンツの中の指定範囲をコピーする手順の一例を示す図である。
【図１０】コピーができない場合の表示の一例を示す図である。
【図１１】タイムラインの動画オブジェクトを増やす表示例を示す図である。
【図１２】タイムラインの動画オブジェクトを増やす他の表示例を示す図である。
【図１３】タイムラインの動画オブジェクトを減らす表示例を示す図である。
【図１４】複数の動画オブジェクトを結合する方法の一例を示す図である。
【図１５】動画オブジェクトを結合する際の表示効果の一例を示す図である。
【図１６】動画オブジェクトを結合できない場合の表示例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について、図面を参照しながら説明する。
図１は、本実施形態に係るデジタルカメラ１０１の構成例を示すブロック図である。
図１において、デジタルカメラ１０１は、動画及び静止画を撮影して再生することができるものである。タッチパネル部１０２は、ＬＥＤなどの表示部１０３とユーザーのタッチ操作を入力信号に変換する操作部１０４とを備えている。表示部１０３は、デジタルカメラ１０１で撮影された動画を表示したりユーザーに対しての指示ボタンを表示したりする。また、デジタルカメラ１０１に関する情報や、記録媒体１２０の残容量なども表示する。操作部１０４は、表示部１０３に表示されたボタン等から、ユーザーの指示を受け付けるものである。
【００１２】
映像入力部１０５は、デジタルカメラ１０１で撮影するときに被写体を撮像して映像信号を入力するものである。フレーム画像抽出部１０６は、記録媒体１２０に記録された動画から、ユーザー等により指示された時間の位置におけるフレーム画像を生成するものである。合成部１０７は表示制御手段として機能し、タッチパネル部１０２の表示部１０３に表示する文字情報や、画像、フレーム画像抽出部１０６で生成したフレーム画像等を合成して表示部１０３に表示するものである。復号部１０８は、記録媒体１２０に記録された動画データや静止画データを復号するものである。符号部１０９は、動画を記録する際に、映像入力部１０５から入力された映像信号を符号化するものである。
【００１３】
グラフィック部１１０は、デジタルカメラ１０１の様々な情報を表示部１０３に表示するための画像を生成するものである。例えば、時計、電池残量、記録媒体残量、記録された動画数などの情報をグラフィックにした画像を生成する。記録媒体アクセス部１１１は、動画を記録する時には記録媒体１２０へ動画データを記録し、動画を再生する時には記録媒体１２０から動画データを再生するインターフェイスである。データベース部１１２は、記録媒体１２０に記録されている動画データに関係した情報を保持するものである。
【００１４】
タッチ状態検出部１１３は、タッチパネル部１０２上にユーザーの指が何本触れているか、どこに触れているか等を検出するものである。全体制御部１１４は、デジタルカメラ基本部１１５の各ブロックと接続されており、記録や再生時の動作に応じて適切に制御する。なお、後述するフローチャートの処理は、ＲＯＭ１２２に記録されたプログラムをＲＡＭ１２３に展開してＣＰＵ１２１が実行し、デジタルカメラ１０１の各部を制御することにより行われる。また、記録媒体１２０は、脱着式の記録媒体である。
【００１５】
図２は、本実施形態に係るデジタルカメラ１０１の外観構成例を示す斜視図である。なお、図２（ａ）及び図２（ｂ）は、１つのデジタルカメラを互いに異なる角度から見た外観を示している。
図２において、デジタルカメラ１０１の筐体２０１には、記録媒体１２０の挿入口２０２が設けられており、この挿入口２０２から記録媒体１２０が挿入される。電源ボタン２０３は、デジタルカメラ１０１の主電源をオンにしたり、オフにしたりするためのボタンである。レンズ２０４は、デジタルカメラ１０１の鏡筒部分である。タッチパネル２０５は、表示部と操作部とを兼ねており、記録・再生の指示、編集の指示等すべての操作がこのタッチパネル２０５で行われる。
【００１６】
図３は、本実施形態における表示オブジェクトとして動画オブジェクトの表示例を示す図である。ここで、動画オブジェクトとは、１つのインデックスに表示されるフレーム画像の集合のことである。
図３において、タッチパネル２０５の表示画面３１０には、動画オブジェクトや静止画オブジェクトがインデックスに表示される。図３の表示例では、インデックスを左右に広がりをもつ表示空間に配置し、一部を切り出して表示画面３１０に表示しており、左方向は古いオブジェクトを表示し、右方向は新しいオブジェクトを表示している。
【００１７】
全体バー３１１は、この表示空間の全体をバーとして表すものである。エリアバー３１２は、表示空間のうち実際に表示画面３１０に表示されているエリアを表すバーである。インデックス３１３は例えば動画オブジェクトのインデックスを表しており、動画オブジェクトとしてフレーム画像を複数表示することができる。また、そのフレーム画像を黒いフレームで囲むように表示している。さらに、各フレーム画像の右下には、動画オブジェクトの先頭からの時間位置を付加して表示している。
【００１８】
図３に示す動画のインデックスの例は、１５秒程度のオブジェクトであり、０秒目のフレーム画像と、１５秒目のフレーム画像との２つでこの動画オブジェクトのインデックス３１３を構成している。静止画オブジェクト３１４は、フレーム画像とは区別するために黒いフレームを付さずに表示される。この黒いフレームの有無によりユーザーは静止画オブジェクトか動画オブジェクトかを判別することができる。なお、本実施形態では動画オブジェクトのタイムライン表示について詳細に説明するため、静止画の表示方法については割愛する。また、表示３１５は現在表示されるインデックスの撮影時間の概要を表しており、バー３１６は日付の開始を表すものである。
【００１９】
次に、フレーム画像の抽出方法に関して図４を参照しながら説明する。図４は、選択されるフレーム画像と動画との関係を示す図である。
図４（ａ）に示す例は、再生時間が６０秒の動画である。この場合において、タッチパネル２０５上の指の操作により、動画のインデックスについてフレーム画像を３枚用いて表すことになった場合、６０秒の動画から、時間間隔が同じになるように０、３０、６０秒目のフレーム画像を抽出する。
【００２０】
また、図４（ｂ）に示す例は、再生時間が２４０秒の動画である。フレーム画像を３枚用いて表す場合は図４（ａ）に示す例と同様に、０、１２０、２４０秒目のフレーム画像を抽出する。このように、動画の再生時間が異なる場合は、動画の全体をフレーム画像の表示枚数に応じて均等に割ることにより、抽出するフレーム画像の位置を決定する。
【００２１】
また、図４（ｃ）に示す例は、再生時間が２秒の動画である。この場合も、０、１、２秒目のフレーム画像を抽出する。０秒目は動画の開始点であり、１秒目は動画の開始点から１秒後の点である。そして、２秒目は動画の開始点から２秒後の点であり、動画の最終画像となる。本実施形態では、フレーム画像の間隔を最小で１秒としており、最大３枚のフレーム画像を表示することができる。
【００２２】
次に、タッチパネル２０５上での指の動きと、システムのシーケンスとの関係について図５〜図７のフローチャートを参照しながら説明する。なお、図５〜図７に示すフローチャートの処理は、ＲＯＭ１２２に記録されたプログラムをＣＰＵ１２１がＲＡＭ１２３に展開して実行することにより実現する。
【００２３】
図５は、本実施形態において、指を検出する処理手順の一例を示すフローチャートである。
まず、図５のステップＳ５０１において指の検出処理を開始する。そして、ステップＳ５０２において、タッチ状態検出部１１３は、１本目の指のタッチを検出したか否かを判定する。なお、本実施形態においては、タッチパネル２０５上の１点へのタッチを、１本目の指のタッチと称す。また、実際には指であるか否かに関わらず、タッチパネル２０５上で同時に１箇所（１点）においてなんらかの接触（タッチ）を検出した場合は、ステップＳ５０２の判定結果をＹｅｓとする。
【００２４】
ステップＳ５０２の判定の結果、１本目の指のタッチを検出していない場合は、ステップＳ５０３へ進む。そして、ステップＳ５０３において、全体制御部１１４は、一連の指の検出動作を終了するか否かを判定する。ここで、一連の指の検出動作を終了する場合とは、デジタルカメラ１０１の電源がオフにされる場合や、撮影モードなど他のモードへ遷移するよう指示がなされた場合などがある。この判定の結果、一連の指の検出動作を終了する場合はステップＳ５１２へ進み、そのまま処理を終了する。一方、ステップＳ５０３の判定の結果、処理を継続する場合は、ステップＳ５０２へ戻る。
【００２５】
一方、ステップＳ５０２の判定の結果、１本目の指のタッチを検出した場合は、ステップＳ５０３へ進む。そして、ステップＳ５０４において、全体制御部１１４の制御により１本の指に関する処理を行う。ここで、１本の指に関する処理とは、例えば指で指示したオブジェクトを画面上で選択するなどの動作である。次に、ステップＳ５０５において、タッチ状態検出部１１３は、１本目の指のタッチが継続したまま、２本目の指のタッチを検出したか否かを判定する。この場合も２本目の指のタッチと称しているが、実際には指であるか否かに関わらず、タッチパネル２０５上で同時に２箇所（２点）においてなんらかの接触（タッチ）を検出した場合に、ステップＳ５０５の判定結果をＹｅｓとする。
【００２６】
ステップＳ５０５の判定の結果、２本目の指を検出しなかった場合は、ステップＳ５０６へ進む。そして、ステップＳ５０６において、タッチ状態検出部１１３は、全ての指がタッチパネル２０５から離れたか否かを判定する。この判定の結果、全ての指がタッチパネル２０５から離れた場合はステップＳ５０３へ進み、タッチパネル２０５から離れていない指が存在する場合は、ステップＳ５０４へ戻る。
【００２７】
一方、ステップＳ５０５の判定の結果、２本目の指を検出した場合は、ステップＳ５０７へ進む。そして、ステップＳ５０７において、２本の指での操作に関する処理を行う。この２本の指での操作に関する処理については図６の説明で後述する。次に、ステップＳ５０８において、タッチ状態検出部１１３は、１本目及び２本目の指のタッチが継続したまま、３本目の指を検出したか否かを判定する。この場合も３本目の指のタッチと称しているが、実際には指であるか否かに関わらず、タッチパネル２０５上で同時に３箇所（３点）においてなんらかの接触（タッチ）を検出した場合に、ステップＳ５０８の判定結果をＹｅｓとする。
【００２８】
ステップＳ５０８の判定の結果、３本目の指を検出しなかった場合はステップＳ５０９へ進む。そして、ステップＳ５０９において、タッチ状態検出部１１３は、検出した指の本数を特定し、２本から１本に減っているか否かを判定する。この判定の結果、１本に減っている場合はステップＳ５０６へ進み、指の本数が減っていない場合はステップＳ５０７へ戻る。
【００２９】
一方、ステップＳ５０８の判定の結果、３本目の指を検出した場合はステップＳ５１０へ進む。そして、ステップＳ５１０において、３本の指に関する処理を行う。この３本の指に関する処理については、図７の説明で後述する。次に、ステップＳ５１１において、タッチ状態検出部１１３は、検出した指の本数を特定し、３本から２本に減ったか否かを判定する。この判定の結果、２本に減った場合はステップＳ５０９へ進み、指の本数が減っていない場合はステップＳ５１０に戻る。以上のように本実施形態においては、検出された指の本数により処理を変更しながら動作する。
【００３０】
図６は、図５のステップＳ５０７における２本の指での操作に関する詳細な処理手順の一例を示すフローチャートである。
まず、ステップＳ６０１において、タッチ状態検出部１１３は第１の判定手段として機能し、検出している２本の指のタッチが、同一の動画オブジェクトをタッチしているものであるか否かを判定する。この処理では、動画オブジェクトが複数のフレーム画像から構成されている場合は、２本の指がこれらのフレーム画像の何れかにタッチしているか否かを判定する。この判定の結果、同一の動画オブジェクトをタッチしている場合はステップＳ６０２へ進み、同一の動画オブジェクトをタッチしていない場合はステップＳ６１１へ進む。
【００３１】
ステップＳ６０２においては、タッチ状態検出部１１３は、検出している２本の指のタッチが解除されることなく、タッチ位置の移動があったか否かを判定する。この判定の結果、タッチ位置の移動があった場合はステップＳ６０３へ進み、タッチ位置の移動がなかった場合は処理を終了して図６の処理を抜け、図５のステップＳ５０８へ進む。
【００３２】
ステップＳ６０３においては、ステップＳ６０２で判定した移動によって、２本の指のタッチ位置が縦方向に離れたか否かを判定する。ここで、タッチパネル２０５の横方向は表示画面上の左右方向（動画オブジェクトのタイムラインにおいてフレーム画像が並ぶ方向）であり、縦方向は表示画面上の上下方向（タイムラインのフレーム画像が並べられる方向と垂直な方向）であるものとする。この処理は、タッチ状態検出部１１３による検出に基づいて全体制御部１１４のＣＰＵ１２１が、縦方向をｙ軸、横方向をｘ軸として判定する。すなわち、ステップＳ６０３では、２本の指によるタッチ位置が移動によってｙ方向に離れたか否かを判定し、ｙ方向に所定の閾値分（この閾値は閾値Ａと称する）の距離だけ離れると、タッチ位置が移動によってｙ方向に離れたと判定する。この判定の結果、ｙ方向に離れた場合はステップＳ６０４へ進み、ｙ方向に離れていない場合はステップＳ６０７へ進む。
【００３３】
ステップＳ６０４においては、全体制御部１１４の制御により合成部１０７は、２本の指でタッチしていた単一の動画オブジェクトを２つに増やし、２本の指のタッチ位置に追従した位置へそれぞれの動画オブジェクトを配置してタッチパネル２０５に表示する。ここで、２本の指のタッチ位置の距離がある程度短い場合は、２つの動画オブジェクトを重畳して表示するものとする。この際の表示例を図８に示しており、図８の詳細については後述する。
【００３４】
次に、ステップＳ６０５において、タッチ状態検出部１１３による検出に基づいて全体制御部１１４は、２本の指によりタッチされている移動後の２つの位置の縦方向の距離が、閾値Ｂ以上となったか否かを判定する。この判定の結果、閾値Ｂ以上となった場合はステップＳ６０６へ進み、閾値Ｂ未満である場合は処理を終了し、図５のステップＳ５０８へ進む。
【００３５】
ステップＳ６０６においては、２本の指でタッチしている動画オブジェクトが示す実際の動画データをコピーする。すなわち、記録媒体アクセス部１１１は、ステップＳ６０１でタッチしていた動画オブジェクトが示す動画データを複製して記録媒体１２０に記録する。この際、複製される動画データは、複製前の動画の全範囲とする。このように、同一の動画オブジェクトを２本の指でタッチし、タッチした２本の指を縦方向に広げる操作をするだけで、ユーザーがタッチした動画オブジェクトが示す動画データを簡単にコピーすることができる。そして、ステップＳ６０６の処理を終えると処理を終了し、図５のステップＳ５０８へ進む。
【００３６】
一方、ステップＳ６０７においては、タッチ状態検出部１１３による検出に基づいて全体制御部１１４は第２の判定手段として機能し、ステップＳ６０２で判定した移動によって、２本の指のタッチ位置が横方向（ｘ方向）に移動前より広がったか否かを判定する。このとき、ｘ方向に所定の閾値分（この閾値は閾値Ｃと称する）の距離だけ離れると、タッチ位置が移動によってｘ方向に広がったと判定する。この判定の結果、横方向に広がった場合はステップＳ６０８へ進み、横方向に広がっていない場合はステップＳ６０９へ進む。
【００３７】
ステップＳ６０８においては、全体制御部１１４の制御により２本の指の間の横方向の距離に応じて、タイムラインに表示すべきフレーム画像の枚数を決定する。そして、フレーム画像抽出部１０６により、決定した枚数のフレーム画像を、タッチしている動画オブジェクトが示す動画データから抽出し、合成部１０７により、ｘ方向に並べてタッチパネル２０５に表示する。このとき、動画オブジェトのタイムラインに２つ以上のフレーム画像が表示され、２本の指でタッチされたフレーム画像が異なる場合には、タッチされている２つのフレーム画像の間にあるフレーム画像が表示されるものとする。また、動画オブジェクトのタイムラインに１つのフレーム画像しか表示されていなかった場合は、動画オブジェクトが示す動画データの最初のフレームと最終フレームとの間のフレーム画像が抽出されるものとする。すなわち、同一の動画オブジェクトを２本の指でタッチし、タッチした２本の指を左右に広げる操作をするだけで、ユーザーが所望とする動画の所望とする範囲のタイムライン表示を、より詳細なものへと切り替えることができる。この際の表示例を図１１に示しており、図１１の詳細については後述する。そして、ステップＳ６０８の処理を終えると処理を終了し、図５のステップＳ５０８へ進む。
【００３８】
一方、ステップＳ６０９においては、タッチ状態検出部１１３による検出に基づいて全体制御部１１４は第２の判定手段として機能し、ステップＳ６０２で判定した移動によって、２本の指のタッチ位置が横方向（ｘ方向）に移動前より狭まったか否かを判定する。この判定の結果、横方向に狭まった場合はステップＳ６１０へ進み、横方向に狭まっていない場合は処理を終了し、図５のステップＳ５０８へ進む。
【００３９】
ステップＳ６１０においては、全体制御部１１４の制御により２本の指の間の横方向の距離に応じて、タイムラインに表示すべきフレーム画像の枚数を減少させ、合成部１０７によりタッチしている動画オブジェクトの横方向の表示領域を狭める。より詳細には、２本の指の間の横方向の距離に応じて、タイムラインに表示すべきフレーム画像の枚数を決定し、決定した枚数のフレーム画像を、タッチしている動画オブジェクトが示す動画データから抽出し、ｘ方向に並べて表示する。このとき、２本の指の間の横方向の距離が狭まっているので、結果的に抽出されるフレーム画像の枚数が狭まる前に比べて減少する。
【００４０】
ここで、タッチしている２本の指の距離を狭める前に、タッチしている動画オブジェクトのタイムラインに３つ以上のフレーム画像が表示されており、２本の指でタッチされたフレーム画像が異なっている場合がある。この場合は、２本の指の横方向の距離を狭めるのに伴って、タッチされた２つのフレーム画像の間にあるフレーム画像のみが減少するものとする。これにより、同一の動画オブジェクトを２本の指でタッチし、タッチした２本の指を左右に狭める操作をするだけで、ユーザーが所望とする動画の所望とする範囲のタイムライン表示をより簡易なものへと切り替え、表示領域を狭めることができる。この際の表示例を図１３に示す。図１３の詳細については後述する。ステップＳ６１０の処理を終えると処理を終了し、図５のステップＳ５０８へ進む。
【００４１】
一方、ステップＳ６１１においては、タッチ状態検出部１１３は、検出している２本の指が、それぞれ異なる動画オブジェクトをタッチしているものであるか否かを判定する。この判定の結果、異なる動画オブジェクトをタッチしている場合はステップＳ６１２へ進み、異なる動画オブジェクトをタッチしていない場合は処理を終了し、図５のステップＳ５０８へ進む。
【００４２】
ステップＳ６１２においては、タッチ状態検出部１１３は、検出している２本の指のタッチが解除されることなく、タッチ位置の移動があったか否かを判定する。この判定の結果、タッチ位置の移動があった場合はステップＳ６１３へ進み、タッチ位置の移動が無かった場合は処理を終了し、図５のＳ５０８へ進む。
【００４３】
ステップＳ６１３においては、全体制御部１１４の制御により合成部１０７は、タッチされている動画オブジェクトの表示位置を、指のタッチ位置の移動に追従して移動させる。すなわち、動画オブジェクトのドラッグを受け付ける。
【００４４】
次に、ステップＳ６１４においては、タッチ状態検出部１１３による検出に基づいて全体制御部１１４は、指の移動により２本の指によるタッチ位置の間の距離が閾値Ｄ以下になったか否かを判定する。この判定の結果、閾値Ｄ以下になった場合はステップＳ６１５へ進み、閾値Ｄ以下になっていない場合は処理を終了し、図５のステップＳ５０８へ進む。
【００４５】
ステップＳ６１５においては、全体制御部１１４の制御により、２本の指でタッチされている異なる２つの動画オブジェクトが示す動画データを結合する。このとき、タッチパネル２０５においては、合成部１０７により、２つの動画オブジェクトの表示位置に基づいて、より左に位置している動画オブジェクトの後に、他方の動画オブジェクトを結合し、１つのタイムラインとして表示する。実際には、ｘ方向で他方より左に位置している動画オブジェクトが示す動画の最終フレームの後に、他方の動画オブジェクトの動画の先頭フレームが続くように、連続して再生可能な１つの結合した動画データを新たに生成する。そして、記録媒体アクセス部１１１により新たに生成した動画データを記録媒体１２０に記録する。これにより、複数表示されて動画オブジェクトの中から、互いに結合したい動画オブジェクトを同時にタッチして近づけるという操作を行うだけで、簡単に所望の動画を所望の順番で結合することができる。また、このときの表示例を、図１４〜図１６に示す。図１４〜図１６の詳細については後述する。以上のようにステップＳ６１５の処理を終えると処理を終了し、図５のステップＳ５０８へ進む。
【００４６】
以上の制御により、タッチパネル２０５上に表示された動画オブジェクトをタッチして操作することにより、タイムラインを用いた動画の内容の確認、コピー、及び結合という操作を、直感的で簡単にすばやく行うことができる。
【００４７】
次に３本の指に関する処理について、図７を参照しながら説明する。図７は、図５のステップＳ５１０における３本の指での操作に関する詳細な処理手順の一例を示すフローチャートである。
まず、ステップＳ７０１においては、３本の指での操作に関する処理を開始する。そして、ステップＳ７０２において、タッチ状態検出部１１３は、３本の指で指定した動画オブジェクトは同一のものを指しているか否かを判定する。この判定の結果、同一の動画オブジェクトを指定している場合はステップＳ７０３に進み、同一の動画オブジェクトを指定していない場合はステップＳ７１６に進む。なお、ステップＳ７１５においては、同一の動画オブジェクトでない場合の処理を行う。この場合の処理については、動画オブジェクトを特定できないものとして何もしないようにしてもよい。本実施形態では同一の動画オブジェクトを指示して操作した場合について説明するため、詳細な説明は割愛する。
【００４８】
ステップＳ７０３においては、タッチ状態検出部１１３は、指のタッチ位置（接触位置）を監視することにより、タッチ位置が移動したか否かを判定する。この判定の結果、タッチ位置が移動した場合はステップＳ７０４に進み、移動していない場合は処理を終了し、図５のステップＳ５１１に進む。
【００４９】
ステップＳ７０４においては、タッチ状態検出部１１３は、移動した指の数をカウントし、３本とも指が移動したか否かを判定する。この判定の結果、３本とも移動した場合はステップＳ７１４へ進み、移動した指が２本以下である場合はステップＳ７０５へ進む。ステップＳ７１４においては、３点とも移動した場合の処理を行う。この場合の処理については、オブジェクトに対してどのように指示を出すかを特定できないものとして何もしないようにしてもよい。なお、本実施形態では３本の操作については言及していないため、詳細な説明は割愛する。
【００５０】
ステップＳ７０５においては、タッチ状態検出部１１３は、カウントの結果、１本の指のみが移動したか否かを判定する。この判定の結果、１本の指のみ移動した場合はステップＳ７０９へ進み、２本の指が移動した場合はステップＳ７０６へ進む。
【００５１】
ステップＳ７０６においては、タッチ状態検出部１１３による検出に基づいて全体制御部１１４は、２本の指の移動量が閾値Ｅを超えたか否かを判定する。この判定の結果、閾値Ｅを超えている場合はステップＳ７０８へ進み、閾値Ｅ以下である場合はステップＳ７０７へ進む。ステップＳ７０７においては、全体制御部１１４の制御により合成部１０７は、２本の指により指定されたフレーム画像の範囲に相当する部分を分離させて表示する。そして、ステップＳ７１６へ進んで処理を終了し、図５のステップＳ５１１へ進む。一方、ステップＳ７０８においては、全体制御部１１４の制御により、２本の指により指定されたフレーム画像の範囲に相当する動画の部分をコピーする。そして、ステップＳ７１６へ進んで処理を終了し、図５のステップＳ５１１へ進む。
【００５２】
ステップＳ７０９においては、タッチ状態検出部１１３による検出に基づいて全体制御部１１４は、１本の指の移動量が閾値Ｆを超えたか否かを判定する。この判定の結果、閾値Ｆを超えた場合はステップＳ７１１へ進み、閾値Ｆ以下であった場合はステップＳ７１０へ進む。ステップＳ７１０においては、全体制御部１１４の制御により、１点で指定されたオブジェクトのフレーム画像に相当する動画の部分をコピーする。このとき、静止画に切り出す旨のプレビュー表示を行ってもよい。そして、ステップＳ７１６へ進んで処理を終了し、図５のステップＳ５１１へ進む。
【００５３】
一方、ステップＳ７１１においては、全体制御部１１４の制御により、現在のモードが静止画切り出しモードであるか否かを判定する。この判定の結果、静止画切り出しモードである場合はステップＳ７１２へ進み、その他のモードである場合はステップＳ７１３へ進む。ステップＳ７１２においては、全体制御部１１４の制御により、１本の指により指定されたフレーム画像を静止画へ切り出す。そして、ステップＳ７１６へ進んで処理を終了し、図５のステップＳ５１１へ進む。一方、ステップＳ７１３においては、全体制御部１１４の制御により、１本の指により指定されたフレーム画像に相当する動画の部分をコピーする。そして、ステップＳ７１６へ進んで処理を終了し、図５のステップＳ５１１へ進む。
【００５４】
（コピーの例）
次に、実際のコピーの方法について説明する。図８は、図３のインデックス表示されたオブジェクトの中からコピーの対象として１つの動画オブジェクトが選択され、図６のステップＳ６０６においてコピーする手順の一例を示す図である。
図８（ａ）においては、１つのサムネールで表現された動画コンテンツ８０３が親指８０１及び人差し指８０２の２つの指でタッチされ、さらに２本の指の間隔が広がっていく動作を示している。その結果、コピーされた動画オブジェクトのサムネール８０４が表示される。なお、この時点で指が離れた場合は動画データがコピーされないものとし、親指８０１と人差し指８０２との距離が前述した閾値Ｂを超えた状態で指が離れることによりサムネール８０５が分離し、動画データがコピーされる。
【００５５】
また、図８（ｂ）に示すように、複数のサムネールで表現されたインデックスの場合も同様である。２枚のサムネールからなる動画オブジェクト８０６を指により摘んで広げられると、重なった動画オブジェクト８０７が生成され、さらには完全に分離した動画オブジェクト８０８が生成される。このとき、動画データがコピーされることとなる。
【００５６】
次に、動画データのコピーのうち、範囲を指定してコピーする場合について説明する。図９は、３本の指を用いて動画コンテンツの中から指定範囲をコピーする手順の一例を示す図である。
図９（ａ）には、図７のステップＳ７１０、Ｓ７１２及びＳ７１３において、複数のサムネールからなる動画オブジェクトのうちの一部を選択して静止画として切り出す、もしくは動画の一部をコピーする例を示している。図９（ａ）に示すように、左手親指９０１、右手人差し指９０２、及び右手中指９０３の３本の指で動画オブジェクト９０４が指示されている。
【００５７】
この状態で右手中指９０３のみがタッチパネル２０５の画面の上部へ移動すると、右手中指９０３がタッチしているサムネール９０５が動画オブジェクトから分離するように表示される。さらに右手中指９０３が上方へスライドされると、サムネール９０６が動画オブジェクトから完全に分離した状態になる。このとき、右手中指９０３で指定されたサムネールに該当する動画の区間がコピーされる。なお、この操作によりサムネール９０６の部分を動画データから静止画として切り出すようにしてもよい。
【００５８】
図９（ｂ）には、図７のステップＳ７０７及びＳ７０８において、左手親指で動画オブジェクトを押さえ、右手の２本の指を移動させる状態を示している。この状態では、右手の人差し指と中指とで動画オブジェクトのサムネールを指示することにより区間を指示している。人差し指と中指とがタッチパネル２０５の上部へスライドさせるように平行移動すると、動画オブジェクトの指定区間のサムネール９０７が指とともに移動し、動画オブジェクトから完全に分離した状態になる。そして、さらに指がスライドされると、指定区間の領域９０８の動画データがコピーされる。
【００５９】
（コピー不可の場合の例）
次に、コピーができない動画オブジェクトが選択された場合の処理について図１０を参照しながら説明する。図１０は、コピーができない動画オブジェクトを選択してコピーを実施しようとしている状態の一例を示す図である。
前述したように、コピーが可能なオブジェクトの場合、動画オブジェクトのサムネールが分かれた状態の表示で操作が終了する。ところがコピーができないオブジェクトの場合、図１０に示すように、人差し指１００１がタッチパネル２０５から離れると、サムネール１００２が元の状態に戻るように動作する。このようにコピーできたかの様にユーザーに見せておきながら元の状態に戻すことにより、コピーができない旨を明示的にユーザーに伝えることができる。このとき、コピーできない旨のメッセージを表示して警告してもよい。また、図９に示すように動画オブジェクトから動画の一部をコピーしたり静止画を切り出したりする場合も同様に、コピーもしくは静止画を切り出したかの様にユーザーに見せておきながら元の状態に戻す。そして、コピーできない旨のメッセージを表示して警告してもよい。
【００６０】
（タイムライン操作の例）
次に、動画オブジェクトのタイムライン表示の操作について図１１を参照しながら説明する。以下の説明では、図３に示したタッチパネル２０５の表示画面３１０に表示される動画オブジェクトのインデックス３１３を例に説明する。
【００６１】
図１１（ａ）には、タイムラインを表示する動画オブジェクトを選択する方法の一例を示している。動画オブジェクト１１０１に対し、右手の親指１１０２及び右手の人差し指１１０３の２本の指をタッチすることにより、タイムラインの表示を開始することができる。
【００６２】
図１１（ｂ）には、図６のステップＳ６０８において、タイムラインを表示する方法の一例を示している。図１１（ａ）に示すようにタッチした２本の指を引き離すようにして、タッチパネル２０５上で指を滑らせると、指と指との距離に応じたフレーム画像数になるように計算する。そして、タッチパネル２０５にインデックスで構成されたタイムライン１１０４が表示される。図１１（ｂ）に示す例では、指と指との間隔から３枚のフレーム画像が表示されている。
【００６３】
図１１（ｃ）には、さらに特定の区間のタイムラインを詳細に表示する例を示している。図１１（ｂ）に示した状態で１８秒目から３６秒目の間のタイムラインを詳細に見たい場合は、右手の親指１１０２をタッチパネル２０５から一旦離し、１８秒目のフレーム画像にタッチする。この状態で指と指とをタッチパネル２０５にタッチしたまま引き離す方向に広げると、図１１（ｃ）に示すように１８秒目から３６秒目の間のフレーム画像が等間隔になるようなタイムライン１１０５が表示される。
【００６４】
図１２は、動画オブジェクトを２本の指で選択して広げすぎた場合の表示例を示している。図１２（ａ）に示すタイムライン１２０１は、動画オブジェクトの３０秒目から３３秒目の全てのフレーム画像が表示された状態であり、これ以上指を広げてもフレーム画像が表示されない状態である。以下、この状態を超えてさらに指を広げようとした場合として２つの例を示す。
【００６５】
１つ目のケースは、図１２（ｂ）に示すように、タイムライン１２０２がそのままの状態でタッチした指にフレーム画像がついていかないケースであり、フレーム画像を新しく生成できないため、フレーム画像が追加されない。このようにすることにより、ユーザーは動画オブジェクトのタイムライン表示が端まで到達したことを知ることができる。
【００６６】
２つ目のケースは、図１２（ｃ）に示すように、タッチした指の場所にフレーム画像がついていくケースである。この場合、新しいフレーム画像は生成できないが、指と指との間のフレーム画像の間隔を広げたタイムライン１２０３が表示される。この場合、指がタッチパネル２０５から離れると通常のフレーム画像同士を連続して表示する通常表示に戻る。このように、これ以上フレーム画像を表示できない場合をユーザーに伝えることにより、ユーザーは表示限界を知ることができる。
【００６７】
図１３には、図６のステップＳ６１０において、動画オブジェクトのインデックスを１枚のフレーム画像で表す際のフレーム画像を決定する方法の一例を示している。動画オブジェクトを指で操作し、指同士を近づけていくと、動画オブジェクトのインデックスが１枚のフレーム画像になる。このときの１枚のフレーム画像を決定する方法として２つの例を示す。
【００６８】
１つ目の方法は、図１３（ａ）に示すように、動画オブジェクトのインデックスを１枚のフレーム画像で表す際に、先頭のフレーム画像を動画オブジェクト１３０１とする方法である。２つ目の方法は、図１３（ｂ）に示すように、動画オブジェクトのインデックスを１枚のフレーム画像で表す際に、予めユーザーが代表画像として決定しているフレーム画像１３０２を動画オブジェクト１３０３とする方法である。この場合、動画データを再生する時やインデックス表示を行う時に、動画オブジェクトを代表するフレーム画像として所望のフレーム画像をユーザーが登録できるようにしてもよい。また、デジタルカメラ等において最も特徴のある顔が抽出された画像をフレーム画像として利用してもよい。
【００６９】
このように、動画のフレーム画像が１枚になったときに、ユーザーが指定するフレーム画像、もしくは動画オブジェクトの先頭のフレーム画像を表示することにより、様々な動画、静止画のインデックスから所望の動画を見つけやすくすることができる。
【００７０】
（結合操作の例）
図１４には、図６のステップＳ６１５において、複数の動画オブジェクトを１つのインデックスに結合する方法の一例を示している。
図１４において、左側の動画オブジェクト１４０１は、結合後に動画の前半部分になる動画オブジェクトである。一方、右側の動画オブジェクト１４０２は、結合後に動画の後半部分になる動画オブジェクトである。左手人差し指１４０３、及び右手人差し指１４０４がそれぞれ指示した動画オブジェクトを、互いに近づけていくことにより接近させていく。動画オブジェクト同士の距離１４０５がある閾値を下回ると、動画オブジェクトが結合されて１つのインデックス１４０６になる。なお、図６のステップＳ６１４では、２点のタッチ位置を基準に閾値を用いているが、図１４に示す閾値は、最初のタッチ位置で決定される閾値である。このとき、実際に２つの動画データを結合させてもよいし、動画データそのものは結合せずプレイリスト上でのみ結合してもよい。
【００７１】
また、図１５に示すように、インデックスを結合した時に表示効果をつけてもよい。図１５に示すように、指で指示した２つの動画オブジェクトを接近させ、２つの動画オブジェクトの距離１５０１がある閾値を下回ったときに２つの動画が結合した場合のプレビュー画像１５０２が表示される。さらに、プレビュー画像１５０２の表示サイズは、２つの動画オブジェクトの距離１５０１に応じて変化する。
【００７２】
また、２つの動画オブジェクトが結合する寸前では、より大きなプレビュー画像１５０３が表示され、２つの動画オブジェクトを結合したときに結合点の前後１秒の動画オブジェクトがプレビュー画像１５０３に繰り返し表示される。これにより、ユーザーはこのプレビュー画像を見ながら結合した後のイメージをつかむことができる。さらに、２つの動画オブジェクトをさらに接近させて動画オブジェクトを結合させると、動画オブジェクトが１つのインデックス１５０４になったイメージが表示される。このとき、プレビュー画像１５０３の表示は停止する。
【００７３】
図１６には、動画オブジェクト同士を結合する際に、結合できない場合の表示方法の一例を示している。図１６に示す例では、結合対象の動画オブジェクト１６０１、１６０２があり、この２つの動画オブジェクトを指で指示して接近させる。２つの動画オブジェクトの重なる幅１６０３がある閾値を超えると、通常は２つの動画オブジェクトが結合される。しかしながら動画オブジェクトの属性などにより２つの動画オブジェクトが結合できないと判断されたときは、指を動画オブジェクトから離したときに、２つの動画オブジェクトはお互いに反発しあうように距離１６０４をおいて表示される。このような表示となる例として挙げられるのは動画のエンコード方法などの属性が異なる場合である。例えば、一方の動画データがＭＰＥＧ１により圧縮され、もう一方の動画データがＭＰＥＧ２で圧縮されているような場合である。このように２つの動画オブジェクトを反発させるように表示させることにより、２つの動画オブジェクトは結合できない旨をユーザーに伝えることができる。なお、結合できない旨のメッセージを表示して警告してもよい。
【００７４】
以上のように本実施形態によれば、タッチパネル上の指の操作により動画のタイムライン表示を自由に取り扱えることができ、ユーザーはより重点的に見たい動画の場所を詳細に見ることができる。さらに、まばらに動画の内容を見たい場合もタイムライン表示によりまばらに表示することができる。このようなタイムライン表示によってユーザーは自由に動画を操作できるようになる。
【００７５】
なお、全体制御部１１４の制御は１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。また、上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されない。すなわち、本発明はパーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、プリンタ装置に設けられた印刷画像選択および確認のためのディスプレイ、デジタルフォトフレームなどにも適用可能である。すなわち、動画のタイムラインをタッチパネルである表示装置に表示するように制御可能な表示制御装置であれば適用可能である。
【００７６】
（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明を構成することになる。
【符号の説明】
【００７７】
１０２ タッチパネル部、１０３ 表示部、１０６ フレーム画像抽出部、１０７ 合成部、１１３ タッチ状態検出部、１１４ 全体制御部
【技術分野】
【０００１】
本発明は表示制御装置、表示制御方法、プログラム及び記録媒体に関し、特に、タッチパネル等を操作するために用いて好適な技術に関する。
【背景技術】
【０００２】
近年、様々な電子デバイス製品にタッチパネルが搭載されるようになっている。タッチパネルはユーザーインターフェイスとして優れており、直感的な操作及び応答を表示することができる。このようなタッチパネルでの操作において、タッチパネル上での指の動き、及びそのシステムの応答に関する技術が、例えば特許文献１に記載されている。特許文献１に記載の技術によれば、タッチパネル上における指と指との間の距離によってシステムの動作を変えることができる。さらに特許文献１には、複数の指が検出されたときその最外端にある２ヵ所の指の距離に応じて所定の動作を行うようにすることが記載されている。
【０００３】
また、近年のデジタルビデオカメラには、ユーザーに所望の動画を選択させるために、記録媒体に記録されている動画の一覧をユーザーに提示するインデックス画面表示と呼ばれる機能が搭載されている。これは、長時間の動画の中から予め決定済みのフレーム画像を１枚抜き出し、インデックス画面に並べる機能である。これによりユーザーはインデックス画面を見ながら所望の動画を選択することができ、選択した動画を再生したり編集したりすることができる。
【０００４】
さらに最近では、１枚のフレーム画像のみではなく、動画の中から数秒間隔で複数のフレーム画像を抽出し、表示画面に表示できるものもある。ユーザーは動画に含まれる数秒間隔のフレーム画像を見ることにより、動画の概要や流れをつかむことができる。なお、このように数秒間隔で動画からフレーム画像を抽出して表示する機能はタイムライン表示と呼ばれている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−２２８９７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述した動画のタイムライン表示をタッチパネル上の指の操作で実施しようとした場合、指の位置及び動きを検知することが必要である。一方、特許文献１には、複数の指でタッチパネルにタッチした場合のシステムの動作について記載されているが、動画のタイムライン表示を想定した技術ではない。このため、動画のタイムライン表示に対しては、操作性が不十分であるという問題点がある。
【０００７】
本発明は前述の問題点に鑑み、タッチパネル上で動画のタイムライン表示を簡単に操作できるようにすることを目的としている。
【課題を解決するための手段】
【０００８】
本発明の表示制御装置は、タッチパネルから構成される表示部と、動画を表す表示オブジェクトを前記表示部に表示するよう制御する表示制御手段と、前記タッチパネル上の接触位置を検出する検出手段と、前記表示部に表示された単一の前記表示オブジェクトにおいて、２箇所の接触位置を前記検出手段により検出したか否かを判定する第１の判定手段と、前記第１の判定手段により、単一の前記表示オブジェクトに２箇所の接触位置を検出したと判定した場合に、接触したまま前記接触位置が移動したことを前記検出手段により検出したか否かを判定する第２の判定手段と、前記第２の判定手段により、前記接触位置が移動したことを検出したと判定した場合に、移動後の２箇所の接触位置の間の距離に応じた数のフレーム画像を前記表示オブジェクトが表す動画から抽出し、前記表示制御手段に対して前記移動後の２箇所の接触位置の間に前記抽出したフレーム画像を表示するように制御する制御手段とを有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、タッチパネル上での操作により動画のタイムライン表示の操作を容易に行うことができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係るデジタルカメラの構成例を示すブロック図である。
【図２】実施形態に係るデジタルカメラの外観構成例を示す斜視図である。
【図３】実施形態における動画オブジェクトの表示例を示す図である。
【図４】選択されるフレーム画像と動画との関係を示す図である。
【図５】指を検出する処理手順の一例を示すフローチャートである。
【図６】２本の指での操作に関する処理手順の一例を示すフローチャートである。
【図７】３本の指での操作に関する処理手順の一例を示すフローチャートである。
【図８】動画オブジェクトをコピーする手順の一例を示す図である。
【図９】動画コンテンツの中の指定範囲をコピーする手順の一例を示す図である。
【図１０】コピーができない場合の表示の一例を示す図である。
【図１１】タイムラインの動画オブジェクトを増やす表示例を示す図である。
【図１２】タイムラインの動画オブジェクトを増やす他の表示例を示す図である。
【図１３】タイムラインの動画オブジェクトを減らす表示例を示す図である。
【図１４】複数の動画オブジェクトを結合する方法の一例を示す図である。
【図１５】動画オブジェクトを結合する際の表示効果の一例を示す図である。
【図１６】動画オブジェクトを結合できない場合の表示例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について、図面を参照しながら説明する。
図１は、本実施形態に係るデジタルカメラ１０１の構成例を示すブロック図である。
図１において、デジタルカメラ１０１は、動画及び静止画を撮影して再生することができるものである。タッチパネル部１０２は、ＬＥＤなどの表示部１０３とユーザーのタッチ操作を入力信号に変換する操作部１０４とを備えている。表示部１０３は、デジタルカメラ１０１で撮影された動画を表示したりユーザーに対しての指示ボタンを表示したりする。また、デジタルカメラ１０１に関する情報や、記録媒体１２０の残容量なども表示する。操作部１０４は、表示部１０３に表示されたボタン等から、ユーザーの指示を受け付けるものである。
【００１２】
映像入力部１０５は、デジタルカメラ１０１で撮影するときに被写体を撮像して映像信号を入力するものである。フレーム画像抽出部１０６は、記録媒体１２０に記録された動画から、ユーザー等により指示された時間の位置におけるフレーム画像を生成するものである。合成部１０７は表示制御手段として機能し、タッチパネル部１０２の表示部１０３に表示する文字情報や、画像、フレーム画像抽出部１０６で生成したフレーム画像等を合成して表示部１０３に表示するものである。復号部１０８は、記録媒体１２０に記録された動画データや静止画データを復号するものである。符号部１０９は、動画を記録する際に、映像入力部１０５から入力された映像信号を符号化するものである。
【００１３】
グラフィック部１１０は、デジタルカメラ１０１の様々な情報を表示部１０３に表示するための画像を生成するものである。例えば、時計、電池残量、記録媒体残量、記録された動画数などの情報をグラフィックにした画像を生成する。記録媒体アクセス部１１１は、動画を記録する時には記録媒体１２０へ動画データを記録し、動画を再生する時には記録媒体１２０から動画データを再生するインターフェイスである。データベース部１１２は、記録媒体１２０に記録されている動画データに関係した情報を保持するものである。
【００１４】
タッチ状態検出部１１３は、タッチパネル部１０２上にユーザーの指が何本触れているか、どこに触れているか等を検出するものである。全体制御部１１４は、デジタルカメラ基本部１１５の各ブロックと接続されており、記録や再生時の動作に応じて適切に制御する。なお、後述するフローチャートの処理は、ＲＯＭ１２２に記録されたプログラムをＲＡＭ１２３に展開してＣＰＵ１２１が実行し、デジタルカメラ１０１の各部を制御することにより行われる。また、記録媒体１２０は、脱着式の記録媒体である。
【００１５】
図２は、本実施形態に係るデジタルカメラ１０１の外観構成例を示す斜視図である。なお、図２（ａ）及び図２（ｂ）は、１つのデジタルカメラを互いに異なる角度から見た外観を示している。
図２において、デジタルカメラ１０１の筐体２０１には、記録媒体１２０の挿入口２０２が設けられており、この挿入口２０２から記録媒体１２０が挿入される。電源ボタン２０３は、デジタルカメラ１０１の主電源をオンにしたり、オフにしたりするためのボタンである。レンズ２０４は、デジタルカメラ１０１の鏡筒部分である。タッチパネル２０５は、表示部と操作部とを兼ねており、記録・再生の指示、編集の指示等すべての操作がこのタッチパネル２０５で行われる。
【００１６】
図３は、本実施形態における表示オブジェクトとして動画オブジェクトの表示例を示す図である。ここで、動画オブジェクトとは、１つのインデックスに表示されるフレーム画像の集合のことである。
図３において、タッチパネル２０５の表示画面３１０には、動画オブジェクトや静止画オブジェクトがインデックスに表示される。図３の表示例では、インデックスを左右に広がりをもつ表示空間に配置し、一部を切り出して表示画面３１０に表示しており、左方向は古いオブジェクトを表示し、右方向は新しいオブジェクトを表示している。
【００１７】
全体バー３１１は、この表示空間の全体をバーとして表すものである。エリアバー３１２は、表示空間のうち実際に表示画面３１０に表示されているエリアを表すバーである。インデックス３１３は例えば動画オブジェクトのインデックスを表しており、動画オブジェクトとしてフレーム画像を複数表示することができる。また、そのフレーム画像を黒いフレームで囲むように表示している。さらに、各フレーム画像の右下には、動画オブジェクトの先頭からの時間位置を付加して表示している。
【００１８】
図３に示す動画のインデックスの例は、１５秒程度のオブジェクトであり、０秒目のフレーム画像と、１５秒目のフレーム画像との２つでこの動画オブジェクトのインデックス３１３を構成している。静止画オブジェクト３１４は、フレーム画像とは区別するために黒いフレームを付さずに表示される。この黒いフレームの有無によりユーザーは静止画オブジェクトか動画オブジェクトかを判別することができる。なお、本実施形態では動画オブジェクトのタイムライン表示について詳細に説明するため、静止画の表示方法については割愛する。また、表示３１５は現在表示されるインデックスの撮影時間の概要を表しており、バー３１６は日付の開始を表すものである。
【００１９】
次に、フレーム画像の抽出方法に関して図４を参照しながら説明する。図４は、選択されるフレーム画像と動画との関係を示す図である。
図４（ａ）に示す例は、再生時間が６０秒の動画である。この場合において、タッチパネル２０５上の指の操作により、動画のインデックスについてフレーム画像を３枚用いて表すことになった場合、６０秒の動画から、時間間隔が同じになるように０、３０、６０秒目のフレーム画像を抽出する。
【００２０】
また、図４（ｂ）に示す例は、再生時間が２４０秒の動画である。フレーム画像を３枚用いて表す場合は図４（ａ）に示す例と同様に、０、１２０、２４０秒目のフレーム画像を抽出する。このように、動画の再生時間が異なる場合は、動画の全体をフレーム画像の表示枚数に応じて均等に割ることにより、抽出するフレーム画像の位置を決定する。
【００２１】
また、図４（ｃ）に示す例は、再生時間が２秒の動画である。この場合も、０、１、２秒目のフレーム画像を抽出する。０秒目は動画の開始点であり、１秒目は動画の開始点から１秒後の点である。そして、２秒目は動画の開始点から２秒後の点であり、動画の最終画像となる。本実施形態では、フレーム画像の間隔を最小で１秒としており、最大３枚のフレーム画像を表示することができる。
【００２２】
次に、タッチパネル２０５上での指の動きと、システムのシーケンスとの関係について図５〜図７のフローチャートを参照しながら説明する。なお、図５〜図７に示すフローチャートの処理は、ＲＯＭ１２２に記録されたプログラムをＣＰＵ１２１がＲＡＭ１２３に展開して実行することにより実現する。
【００２３】
図５は、本実施形態において、指を検出する処理手順の一例を示すフローチャートである。
まず、図５のステップＳ５０１において指の検出処理を開始する。そして、ステップＳ５０２において、タッチ状態検出部１１３は、１本目の指のタッチを検出したか否かを判定する。なお、本実施形態においては、タッチパネル２０５上の１点へのタッチを、１本目の指のタッチと称す。また、実際には指であるか否かに関わらず、タッチパネル２０５上で同時に１箇所（１点）においてなんらかの接触（タッチ）を検出した場合は、ステップＳ５０２の判定結果をＹｅｓとする。
【００２４】
ステップＳ５０２の判定の結果、１本目の指のタッチを検出していない場合は、ステップＳ５０３へ進む。そして、ステップＳ５０３において、全体制御部１１４は、一連の指の検出動作を終了するか否かを判定する。ここで、一連の指の検出動作を終了する場合とは、デジタルカメラ１０１の電源がオフにされる場合や、撮影モードなど他のモードへ遷移するよう指示がなされた場合などがある。この判定の結果、一連の指の検出動作を終了する場合はステップＳ５１２へ進み、そのまま処理を終了する。一方、ステップＳ５０３の判定の結果、処理を継続する場合は、ステップＳ５０２へ戻る。
【００２５】
一方、ステップＳ５０２の判定の結果、１本目の指のタッチを検出した場合は、ステップＳ５０３へ進む。そして、ステップＳ５０４において、全体制御部１１４の制御により１本の指に関する処理を行う。ここで、１本の指に関する処理とは、例えば指で指示したオブジェクトを画面上で選択するなどの動作である。次に、ステップＳ５０５において、タッチ状態検出部１１３は、１本目の指のタッチが継続したまま、２本目の指のタッチを検出したか否かを判定する。この場合も２本目の指のタッチと称しているが、実際には指であるか否かに関わらず、タッチパネル２０５上で同時に２箇所（２点）においてなんらかの接触（タッチ）を検出した場合に、ステップＳ５０５の判定結果をＹｅｓとする。
【００２６】
ステップＳ５０５の判定の結果、２本目の指を検出しなかった場合は、ステップＳ５０６へ進む。そして、ステップＳ５０６において、タッチ状態検出部１１３は、全ての指がタッチパネル２０５から離れたか否かを判定する。この判定の結果、全ての指がタッチパネル２０５から離れた場合はステップＳ５０３へ進み、タッチパネル２０５から離れていない指が存在する場合は、ステップＳ５０４へ戻る。
【００２７】
一方、ステップＳ５０５の判定の結果、２本目の指を検出した場合は、ステップＳ５０７へ進む。そして、ステップＳ５０７において、２本の指での操作に関する処理を行う。この２本の指での操作に関する処理については図６の説明で後述する。次に、ステップＳ５０８において、タッチ状態検出部１１３は、１本目及び２本目の指のタッチが継続したまま、３本目の指を検出したか否かを判定する。この場合も３本目の指のタッチと称しているが、実際には指であるか否かに関わらず、タッチパネル２０５上で同時に３箇所（３点）においてなんらかの接触（タッチ）を検出した場合に、ステップＳ５０８の判定結果をＹｅｓとする。
【００２８】
ステップＳ５０８の判定の結果、３本目の指を検出しなかった場合はステップＳ５０９へ進む。そして、ステップＳ５０９において、タッチ状態検出部１１３は、検出した指の本数を特定し、２本から１本に減っているか否かを判定する。この判定の結果、１本に減っている場合はステップＳ５０６へ進み、指の本数が減っていない場合はステップＳ５０７へ戻る。
【００２９】
一方、ステップＳ５０８の判定の結果、３本目の指を検出した場合はステップＳ５１０へ進む。そして、ステップＳ５１０において、３本の指に関する処理を行う。この３本の指に関する処理については、図７の説明で後述する。次に、ステップＳ５１１において、タッチ状態検出部１１３は、検出した指の本数を特定し、３本から２本に減ったか否かを判定する。この判定の結果、２本に減った場合はステップＳ５０９へ進み、指の本数が減っていない場合はステップＳ５１０に戻る。以上のように本実施形態においては、検出された指の本数により処理を変更しながら動作する。
【００３０】
図６は、図５のステップＳ５０７における２本の指での操作に関する詳細な処理手順の一例を示すフローチャートである。
まず、ステップＳ６０１において、タッチ状態検出部１１３は第１の判定手段として機能し、検出している２本の指のタッチが、同一の動画オブジェクトをタッチしているものであるか否かを判定する。この処理では、動画オブジェクトが複数のフレーム画像から構成されている場合は、２本の指がこれらのフレーム画像の何れかにタッチしているか否かを判定する。この判定の結果、同一の動画オブジェクトをタッチしている場合はステップＳ６０２へ進み、同一の動画オブジェクトをタッチしていない場合はステップＳ６１１へ進む。
【００３１】
ステップＳ６０２においては、タッチ状態検出部１１３は、検出している２本の指のタッチが解除されることなく、タッチ位置の移動があったか否かを判定する。この判定の結果、タッチ位置の移動があった場合はステップＳ６０３へ進み、タッチ位置の移動がなかった場合は処理を終了して図６の処理を抜け、図５のステップＳ５０８へ進む。
【００３２】
ステップＳ６０３においては、ステップＳ６０２で判定した移動によって、２本の指のタッチ位置が縦方向に離れたか否かを判定する。ここで、タッチパネル２０５の横方向は表示画面上の左右方向（動画オブジェクトのタイムラインにおいてフレーム画像が並ぶ方向）であり、縦方向は表示画面上の上下方向（タイムラインのフレーム画像が並べられる方向と垂直な方向）であるものとする。この処理は、タッチ状態検出部１１３による検出に基づいて全体制御部１１４のＣＰＵ１２１が、縦方向をｙ軸、横方向をｘ軸として判定する。すなわち、ステップＳ６０３では、２本の指によるタッチ位置が移動によってｙ方向に離れたか否かを判定し、ｙ方向に所定の閾値分（この閾値は閾値Ａと称する）の距離だけ離れると、タッチ位置が移動によってｙ方向に離れたと判定する。この判定の結果、ｙ方向に離れた場合はステップＳ６０４へ進み、ｙ方向に離れていない場合はステップＳ６０７へ進む。
【００３３】
ステップＳ６０４においては、全体制御部１１４の制御により合成部１０７は、２本の指でタッチしていた単一の動画オブジェクトを２つに増やし、２本の指のタッチ位置に追従した位置へそれぞれの動画オブジェクトを配置してタッチパネル２０５に表示する。ここで、２本の指のタッチ位置の距離がある程度短い場合は、２つの動画オブジェクトを重畳して表示するものとする。この際の表示例を図８に示しており、図８の詳細については後述する。
【００３４】
次に、ステップＳ６０５において、タッチ状態検出部１１３による検出に基づいて全体制御部１１４は、２本の指によりタッチされている移動後の２つの位置の縦方向の距離が、閾値Ｂ以上となったか否かを判定する。この判定の結果、閾値Ｂ以上となった場合はステップＳ６０６へ進み、閾値Ｂ未満である場合は処理を終了し、図５のステップＳ５０８へ進む。
【００３５】
ステップＳ６０６においては、２本の指でタッチしている動画オブジェクトが示す実際の動画データをコピーする。すなわち、記録媒体アクセス部１１１は、ステップＳ６０１でタッチしていた動画オブジェクトが示す動画データを複製して記録媒体１２０に記録する。この際、複製される動画データは、複製前の動画の全範囲とする。このように、同一の動画オブジェクトを２本の指でタッチし、タッチした２本の指を縦方向に広げる操作をするだけで、ユーザーがタッチした動画オブジェクトが示す動画データを簡単にコピーすることができる。そして、ステップＳ６０６の処理を終えると処理を終了し、図５のステップＳ５０８へ進む。
【００３６】
一方、ステップＳ６０７においては、タッチ状態検出部１１３による検出に基づいて全体制御部１１４は第２の判定手段として機能し、ステップＳ６０２で判定した移動によって、２本の指のタッチ位置が横方向（ｘ方向）に移動前より広がったか否かを判定する。このとき、ｘ方向に所定の閾値分（この閾値は閾値Ｃと称する）の距離だけ離れると、タッチ位置が移動によってｘ方向に広がったと判定する。この判定の結果、横方向に広がった場合はステップＳ６０８へ進み、横方向に広がっていない場合はステップＳ６０９へ進む。
【００３７】
ステップＳ６０８においては、全体制御部１１４の制御により２本の指の間の横方向の距離に応じて、タイムラインに表示すべきフレーム画像の枚数を決定する。そして、フレーム画像抽出部１０６により、決定した枚数のフレーム画像を、タッチしている動画オブジェクトが示す動画データから抽出し、合成部１０７により、ｘ方向に並べてタッチパネル２０５に表示する。このとき、動画オブジェトのタイムラインに２つ以上のフレーム画像が表示され、２本の指でタッチされたフレーム画像が異なる場合には、タッチされている２つのフレーム画像の間にあるフレーム画像が表示されるものとする。また、動画オブジェクトのタイムラインに１つのフレーム画像しか表示されていなかった場合は、動画オブジェクトが示す動画データの最初のフレームと最終フレームとの間のフレーム画像が抽出されるものとする。すなわち、同一の動画オブジェクトを２本の指でタッチし、タッチした２本の指を左右に広げる操作をするだけで、ユーザーが所望とする動画の所望とする範囲のタイムライン表示を、より詳細なものへと切り替えることができる。この際の表示例を図１１に示しており、図１１の詳細については後述する。そして、ステップＳ６０８の処理を終えると処理を終了し、図５のステップＳ５０８へ進む。
【００３８】
一方、ステップＳ６０９においては、タッチ状態検出部１１３による検出に基づいて全体制御部１１４は第２の判定手段として機能し、ステップＳ６０２で判定した移動によって、２本の指のタッチ位置が横方向（ｘ方向）に移動前より狭まったか否かを判定する。この判定の結果、横方向に狭まった場合はステップＳ６１０へ進み、横方向に狭まっていない場合は処理を終了し、図５のステップＳ５０８へ進む。
【００３９】
ステップＳ６１０においては、全体制御部１１４の制御により２本の指の間の横方向の距離に応じて、タイムラインに表示すべきフレーム画像の枚数を減少させ、合成部１０７によりタッチしている動画オブジェクトの横方向の表示領域を狭める。より詳細には、２本の指の間の横方向の距離に応じて、タイムラインに表示すべきフレーム画像の枚数を決定し、決定した枚数のフレーム画像を、タッチしている動画オブジェクトが示す動画データから抽出し、ｘ方向に並べて表示する。このとき、２本の指の間の横方向の距離が狭まっているので、結果的に抽出されるフレーム画像の枚数が狭まる前に比べて減少する。
【００４０】
ここで、タッチしている２本の指の距離を狭める前に、タッチしている動画オブジェクトのタイムラインに３つ以上のフレーム画像が表示されており、２本の指でタッチされたフレーム画像が異なっている場合がある。この場合は、２本の指の横方向の距離を狭めるのに伴って、タッチされた２つのフレーム画像の間にあるフレーム画像のみが減少するものとする。これにより、同一の動画オブジェクトを２本の指でタッチし、タッチした２本の指を左右に狭める操作をするだけで、ユーザーが所望とする動画の所望とする範囲のタイムライン表示をより簡易なものへと切り替え、表示領域を狭めることができる。この際の表示例を図１３に示す。図１３の詳細については後述する。ステップＳ６１０の処理を終えると処理を終了し、図５のステップＳ５０８へ進む。
【００４１】
一方、ステップＳ６１１においては、タッチ状態検出部１１３は、検出している２本の指が、それぞれ異なる動画オブジェクトをタッチしているものであるか否かを判定する。この判定の結果、異なる動画オブジェクトをタッチしている場合はステップＳ６１２へ進み、異なる動画オブジェクトをタッチしていない場合は処理を終了し、図５のステップＳ５０８へ進む。
【００４２】
ステップＳ６１２においては、タッチ状態検出部１１３は、検出している２本の指のタッチが解除されることなく、タッチ位置の移動があったか否かを判定する。この判定の結果、タッチ位置の移動があった場合はステップＳ６１３へ進み、タッチ位置の移動が無かった場合は処理を終了し、図５のＳ５０８へ進む。
【００４３】
ステップＳ６１３においては、全体制御部１１４の制御により合成部１０７は、タッチされている動画オブジェクトの表示位置を、指のタッチ位置の移動に追従して移動させる。すなわち、動画オブジェクトのドラッグを受け付ける。
【００４４】
次に、ステップＳ６１４においては、タッチ状態検出部１１３による検出に基づいて全体制御部１１４は、指の移動により２本の指によるタッチ位置の間の距離が閾値Ｄ以下になったか否かを判定する。この判定の結果、閾値Ｄ以下になった場合はステップＳ６１５へ進み、閾値Ｄ以下になっていない場合は処理を終了し、図５のステップＳ５０８へ進む。
【００４５】
ステップＳ６１５においては、全体制御部１１４の制御により、２本の指でタッチされている異なる２つの動画オブジェクトが示す動画データを結合する。このとき、タッチパネル２０５においては、合成部１０７により、２つの動画オブジェクトの表示位置に基づいて、より左に位置している動画オブジェクトの後に、他方の動画オブジェクトを結合し、１つのタイムラインとして表示する。実際には、ｘ方向で他方より左に位置している動画オブジェクトが示す動画の最終フレームの後に、他方の動画オブジェクトの動画の先頭フレームが続くように、連続して再生可能な１つの結合した動画データを新たに生成する。そして、記録媒体アクセス部１１１により新たに生成した動画データを記録媒体１２０に記録する。これにより、複数表示されて動画オブジェクトの中から、互いに結合したい動画オブジェクトを同時にタッチして近づけるという操作を行うだけで、簡単に所望の動画を所望の順番で結合することができる。また、このときの表示例を、図１４〜図１６に示す。図１４〜図１６の詳細については後述する。以上のようにステップＳ６１５の処理を終えると処理を終了し、図５のステップＳ５０８へ進む。
【００４６】
以上の制御により、タッチパネル２０５上に表示された動画オブジェクトをタッチして操作することにより、タイムラインを用いた動画の内容の確認、コピー、及び結合という操作を、直感的で簡単にすばやく行うことができる。
【００４７】
次に３本の指に関する処理について、図７を参照しながら説明する。図７は、図５のステップＳ５１０における３本の指での操作に関する詳細な処理手順の一例を示すフローチャートである。
まず、ステップＳ７０１においては、３本の指での操作に関する処理を開始する。そして、ステップＳ７０２において、タッチ状態検出部１１３は、３本の指で指定した動画オブジェクトは同一のものを指しているか否かを判定する。この判定の結果、同一の動画オブジェクトを指定している場合はステップＳ７０３に進み、同一の動画オブジェクトを指定していない場合はステップＳ７１６に進む。なお、ステップＳ７１５においては、同一の動画オブジェクトでない場合の処理を行う。この場合の処理については、動画オブジェクトを特定できないものとして何もしないようにしてもよい。本実施形態では同一の動画オブジェクトを指示して操作した場合について説明するため、詳細な説明は割愛する。
【００４８】
ステップＳ７０３においては、タッチ状態検出部１１３は、指のタッチ位置（接触位置）を監視することにより、タッチ位置が移動したか否かを判定する。この判定の結果、タッチ位置が移動した場合はステップＳ７０４に進み、移動していない場合は処理を終了し、図５のステップＳ５１１に進む。
【００４９】
ステップＳ７０４においては、タッチ状態検出部１１３は、移動した指の数をカウントし、３本とも指が移動したか否かを判定する。この判定の結果、３本とも移動した場合はステップＳ７１４へ進み、移動した指が２本以下である場合はステップＳ７０５へ進む。ステップＳ７１４においては、３点とも移動した場合の処理を行う。この場合の処理については、オブジェクトに対してどのように指示を出すかを特定できないものとして何もしないようにしてもよい。なお、本実施形態では３本の操作については言及していないため、詳細な説明は割愛する。
【００５０】
ステップＳ７０５においては、タッチ状態検出部１１３は、カウントの結果、１本の指のみが移動したか否かを判定する。この判定の結果、１本の指のみ移動した場合はステップＳ７０９へ進み、２本の指が移動した場合はステップＳ７０６へ進む。
【００５１】
ステップＳ７０６においては、タッチ状態検出部１１３による検出に基づいて全体制御部１１４は、２本の指の移動量が閾値Ｅを超えたか否かを判定する。この判定の結果、閾値Ｅを超えている場合はステップＳ７０８へ進み、閾値Ｅ以下である場合はステップＳ７０７へ進む。ステップＳ７０７においては、全体制御部１１４の制御により合成部１０７は、２本の指により指定されたフレーム画像の範囲に相当する部分を分離させて表示する。そして、ステップＳ７１６へ進んで処理を終了し、図５のステップＳ５１１へ進む。一方、ステップＳ７０８においては、全体制御部１１４の制御により、２本の指により指定されたフレーム画像の範囲に相当する動画の部分をコピーする。そして、ステップＳ７１６へ進んで処理を終了し、図５のステップＳ５１１へ進む。
【００５２】
ステップＳ７０９においては、タッチ状態検出部１１３による検出に基づいて全体制御部１１４は、１本の指の移動量が閾値Ｆを超えたか否かを判定する。この判定の結果、閾値Ｆを超えた場合はステップＳ７１１へ進み、閾値Ｆ以下であった場合はステップＳ７１０へ進む。ステップＳ７１０においては、全体制御部１１４の制御により、１点で指定されたオブジェクトのフレーム画像に相当する動画の部分をコピーする。このとき、静止画に切り出す旨のプレビュー表示を行ってもよい。そして、ステップＳ７１６へ進んで処理を終了し、図５のステップＳ５１１へ進む。
【００５３】
一方、ステップＳ７１１においては、全体制御部１１４の制御により、現在のモードが静止画切り出しモードであるか否かを判定する。この判定の結果、静止画切り出しモードである場合はステップＳ７１２へ進み、その他のモードである場合はステップＳ７１３へ進む。ステップＳ７１２においては、全体制御部１１４の制御により、１本の指により指定されたフレーム画像を静止画へ切り出す。そして、ステップＳ７１６へ進んで処理を終了し、図５のステップＳ５１１へ進む。一方、ステップＳ７１３においては、全体制御部１１４の制御により、１本の指により指定されたフレーム画像に相当する動画の部分をコピーする。そして、ステップＳ７１６へ進んで処理を終了し、図５のステップＳ５１１へ進む。
【００５４】
（コピーの例）
次に、実際のコピーの方法について説明する。図８は、図３のインデックス表示されたオブジェクトの中からコピーの対象として１つの動画オブジェクトが選択され、図６のステップＳ６０６においてコピーする手順の一例を示す図である。
図８（ａ）においては、１つのサムネールで表現された動画コンテンツ８０３が親指８０１及び人差し指８０２の２つの指でタッチされ、さらに２本の指の間隔が広がっていく動作を示している。その結果、コピーされた動画オブジェクトのサムネール８０４が表示される。なお、この時点で指が離れた場合は動画データがコピーされないものとし、親指８０１と人差し指８０２との距離が前述した閾値Ｂを超えた状態で指が離れることによりサムネール８０５が分離し、動画データがコピーされる。
【００５５】
また、図８（ｂ）に示すように、複数のサムネールで表現されたインデックスの場合も同様である。２枚のサムネールからなる動画オブジェクト８０６を指により摘んで広げられると、重なった動画オブジェクト８０７が生成され、さらには完全に分離した動画オブジェクト８０８が生成される。このとき、動画データがコピーされることとなる。
【００５６】
次に、動画データのコピーのうち、範囲を指定してコピーする場合について説明する。図９は、３本の指を用いて動画コンテンツの中から指定範囲をコピーする手順の一例を示す図である。
図９（ａ）には、図７のステップＳ７１０、Ｓ７１２及びＳ７１３において、複数のサムネールからなる動画オブジェクトのうちの一部を選択して静止画として切り出す、もしくは動画の一部をコピーする例を示している。図９（ａ）に示すように、左手親指９０１、右手人差し指９０２、及び右手中指９０３の３本の指で動画オブジェクト９０４が指示されている。
【００５７】
この状態で右手中指９０３のみがタッチパネル２０５の画面の上部へ移動すると、右手中指９０３がタッチしているサムネール９０５が動画オブジェクトから分離するように表示される。さらに右手中指９０３が上方へスライドされると、サムネール９０６が動画オブジェクトから完全に分離した状態になる。このとき、右手中指９０３で指定されたサムネールに該当する動画の区間がコピーされる。なお、この操作によりサムネール９０６の部分を動画データから静止画として切り出すようにしてもよい。
【００５８】
図９（ｂ）には、図７のステップＳ７０７及びＳ７０８において、左手親指で動画オブジェクトを押さえ、右手の２本の指を移動させる状態を示している。この状態では、右手の人差し指と中指とで動画オブジェクトのサムネールを指示することにより区間を指示している。人差し指と中指とがタッチパネル２０５の上部へスライドさせるように平行移動すると、動画オブジェクトの指定区間のサムネール９０７が指とともに移動し、動画オブジェクトから完全に分離した状態になる。そして、さらに指がスライドされると、指定区間の領域９０８の動画データがコピーされる。
【００５９】
（コピー不可の場合の例）
次に、コピーができない動画オブジェクトが選択された場合の処理について図１０を参照しながら説明する。図１０は、コピーができない動画オブジェクトを選択してコピーを実施しようとしている状態の一例を示す図である。
前述したように、コピーが可能なオブジェクトの場合、動画オブジェクトのサムネールが分かれた状態の表示で操作が終了する。ところがコピーができないオブジェクトの場合、図１０に示すように、人差し指１００１がタッチパネル２０５から離れると、サムネール１００２が元の状態に戻るように動作する。このようにコピーできたかの様にユーザーに見せておきながら元の状態に戻すことにより、コピーができない旨を明示的にユーザーに伝えることができる。このとき、コピーできない旨のメッセージを表示して警告してもよい。また、図９に示すように動画オブジェクトから動画の一部をコピーしたり静止画を切り出したりする場合も同様に、コピーもしくは静止画を切り出したかの様にユーザーに見せておきながら元の状態に戻す。そして、コピーできない旨のメッセージを表示して警告してもよい。
【００６０】
（タイムライン操作の例）
次に、動画オブジェクトのタイムライン表示の操作について図１１を参照しながら説明する。以下の説明では、図３に示したタッチパネル２０５の表示画面３１０に表示される動画オブジェクトのインデックス３１３を例に説明する。
【００６１】
図１１（ａ）には、タイムラインを表示する動画オブジェクトを選択する方法の一例を示している。動画オブジェクト１１０１に対し、右手の親指１１０２及び右手の人差し指１１０３の２本の指をタッチすることにより、タイムラインの表示を開始することができる。
【００６２】
図１１（ｂ）には、図６のステップＳ６０８において、タイムラインを表示する方法の一例を示している。図１１（ａ）に示すようにタッチした２本の指を引き離すようにして、タッチパネル２０５上で指を滑らせると、指と指との距離に応じたフレーム画像数になるように計算する。そして、タッチパネル２０５にインデックスで構成されたタイムライン１１０４が表示される。図１１（ｂ）に示す例では、指と指との間隔から３枚のフレーム画像が表示されている。
【００６３】
図１１（ｃ）には、さらに特定の区間のタイムラインを詳細に表示する例を示している。図１１（ｂ）に示した状態で１８秒目から３６秒目の間のタイムラインを詳細に見たい場合は、右手の親指１１０２をタッチパネル２０５から一旦離し、１８秒目のフレーム画像にタッチする。この状態で指と指とをタッチパネル２０５にタッチしたまま引き離す方向に広げると、図１１（ｃ）に示すように１８秒目から３６秒目の間のフレーム画像が等間隔になるようなタイムライン１１０５が表示される。
【００６４】
図１２は、動画オブジェクトを２本の指で選択して広げすぎた場合の表示例を示している。図１２（ａ）に示すタイムライン１２０１は、動画オブジェクトの３０秒目から３３秒目の全てのフレーム画像が表示された状態であり、これ以上指を広げてもフレーム画像が表示されない状態である。以下、この状態を超えてさらに指を広げようとした場合として２つの例を示す。
【００６５】
１つ目のケースは、図１２（ｂ）に示すように、タイムライン１２０２がそのままの状態でタッチした指にフレーム画像がついていかないケースであり、フレーム画像を新しく生成できないため、フレーム画像が追加されない。このようにすることにより、ユーザーは動画オブジェクトのタイムライン表示が端まで到達したことを知ることができる。
【００６６】
２つ目のケースは、図１２（ｃ）に示すように、タッチした指の場所にフレーム画像がついていくケースである。この場合、新しいフレーム画像は生成できないが、指と指との間のフレーム画像の間隔を広げたタイムライン１２０３が表示される。この場合、指がタッチパネル２０５から離れると通常のフレーム画像同士を連続して表示する通常表示に戻る。このように、これ以上フレーム画像を表示できない場合をユーザーに伝えることにより、ユーザーは表示限界を知ることができる。
【００６７】
図１３には、図６のステップＳ６１０において、動画オブジェクトのインデックスを１枚のフレーム画像で表す際のフレーム画像を決定する方法の一例を示している。動画オブジェクトを指で操作し、指同士を近づけていくと、動画オブジェクトのインデックスが１枚のフレーム画像になる。このときの１枚のフレーム画像を決定する方法として２つの例を示す。
【００６８】
１つ目の方法は、図１３（ａ）に示すように、動画オブジェクトのインデックスを１枚のフレーム画像で表す際に、先頭のフレーム画像を動画オブジェクト１３０１とする方法である。２つ目の方法は、図１３（ｂ）に示すように、動画オブジェクトのインデックスを１枚のフレーム画像で表す際に、予めユーザーが代表画像として決定しているフレーム画像１３０２を動画オブジェクト１３０３とする方法である。この場合、動画データを再生する時やインデックス表示を行う時に、動画オブジェクトを代表するフレーム画像として所望のフレーム画像をユーザーが登録できるようにしてもよい。また、デジタルカメラ等において最も特徴のある顔が抽出された画像をフレーム画像として利用してもよい。
【００６９】
このように、動画のフレーム画像が１枚になったときに、ユーザーが指定するフレーム画像、もしくは動画オブジェクトの先頭のフレーム画像を表示することにより、様々な動画、静止画のインデックスから所望の動画を見つけやすくすることができる。
【００７０】
（結合操作の例）
図１４には、図６のステップＳ６１５において、複数の動画オブジェクトを１つのインデックスに結合する方法の一例を示している。
図１４において、左側の動画オブジェクト１４０１は、結合後に動画の前半部分になる動画オブジェクトである。一方、右側の動画オブジェクト１４０２は、結合後に動画の後半部分になる動画オブジェクトである。左手人差し指１４０３、及び右手人差し指１４０４がそれぞれ指示した動画オブジェクトを、互いに近づけていくことにより接近させていく。動画オブジェクト同士の距離１４０５がある閾値を下回ると、動画オブジェクトが結合されて１つのインデックス１４０６になる。なお、図６のステップＳ６１４では、２点のタッチ位置を基準に閾値を用いているが、図１４に示す閾値は、最初のタッチ位置で決定される閾値である。このとき、実際に２つの動画データを結合させてもよいし、動画データそのものは結合せずプレイリスト上でのみ結合してもよい。
【００７１】
また、図１５に示すように、インデックスを結合した時に表示効果をつけてもよい。図１５に示すように、指で指示した２つの動画オブジェクトを接近させ、２つの動画オブジェクトの距離１５０１がある閾値を下回ったときに２つの動画が結合した場合のプレビュー画像１５０２が表示される。さらに、プレビュー画像１５０２の表示サイズは、２つの動画オブジェクトの距離１５０１に応じて変化する。
【００７２】
また、２つの動画オブジェクトが結合する寸前では、より大きなプレビュー画像１５０３が表示され、２つの動画オブジェクトを結合したときに結合点の前後１秒の動画オブジェクトがプレビュー画像１５０３に繰り返し表示される。これにより、ユーザーはこのプレビュー画像を見ながら結合した後のイメージをつかむことができる。さらに、２つの動画オブジェクトをさらに接近させて動画オブジェクトを結合させると、動画オブジェクトが１つのインデックス１５０４になったイメージが表示される。このとき、プレビュー画像１５０３の表示は停止する。
【００７３】
図１６には、動画オブジェクト同士を結合する際に、結合できない場合の表示方法の一例を示している。図１６に示す例では、結合対象の動画オブジェクト１６０１、１６０２があり、この２つの動画オブジェクトを指で指示して接近させる。２つの動画オブジェクトの重なる幅１６０３がある閾値を超えると、通常は２つの動画オブジェクトが結合される。しかしながら動画オブジェクトの属性などにより２つの動画オブジェクトが結合できないと判断されたときは、指を動画オブジェクトから離したときに、２つの動画オブジェクトはお互いに反発しあうように距離１６０４をおいて表示される。このような表示となる例として挙げられるのは動画のエンコード方法などの属性が異なる場合である。例えば、一方の動画データがＭＰＥＧ１により圧縮され、もう一方の動画データがＭＰＥＧ２で圧縮されているような場合である。このように２つの動画オブジェクトを反発させるように表示させることにより、２つの動画オブジェクトは結合できない旨をユーザーに伝えることができる。なお、結合できない旨のメッセージを表示して警告してもよい。
【００７４】
以上のように本実施形態によれば、タッチパネル上の指の操作により動画のタイムライン表示を自由に取り扱えることができ、ユーザーはより重点的に見たい動画の場所を詳細に見ることができる。さらに、まばらに動画の内容を見たい場合もタイムライン表示によりまばらに表示することができる。このようなタイムライン表示によってユーザーは自由に動画を操作できるようになる。
【００７５】
なお、全体制御部１１４の制御は１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。また、上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されない。すなわち、本発明はパーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、プリンタ装置に設けられた印刷画像選択および確認のためのディスプレイ、デジタルフォトフレームなどにも適用可能である。すなわち、動画のタイムラインをタッチパネルである表示装置に表示するように制御可能な表示制御装置であれば適用可能である。
【００７６】
（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明を構成することになる。
【符号の説明】
【００７７】
１０２ タッチパネル部、１０３ 表示部、１０６ フレーム画像抽出部、１０７ 合成部、１１３ タッチ状態検出部、１１４ 全体制御部
【特許請求の範囲】
【請求項１】
タッチパネルから構成される表示部と、
動画を表す表示オブジェクトを前記表示部に表示するよう制御する表示制御手段と、
前記タッチパネル上の接触位置を検出する検出手段と、
前記表示部に表示された単一の前記表示オブジェクトにおいて、２箇所の接触位置を前記検出手段により検出したか否かを判定する第１の判定手段と、
前記第１の判定手段により、単一の前記表示オブジェクトに２箇所の接触位置を検出したと判定した場合に、接触したまま前記接触位置が移動したことを前記検出手段により検出したか否かを判定する第２の判定手段と、
前記第２の判定手段により、前記接触位置が移動したことを検出したと判定した場合に、移動後の２箇所の接触位置の間の距離に応じた数のフレーム画像を前記表示オブジェクトが表す動画から抽出し、前記表示制御手段に対して前記移動後の２箇所の接触位置の間に前記抽出したフレーム画像を表示するように制御する制御手段とを有することを特徴とする表示制御装置。
【請求項２】
前記制御手段は、前記移動後の２箇所の接触位置の間の距離が移動前よりも小さくなった場合は表示すべき画像を少なくし、大きくなった場合は表示すべき画像を多くするように制御することを特徴とする請求項１に記載の表示制御装置。
【請求項３】
前記制御手段は、前記移動後の２箇所の接触位置の間の距離が所定の値より大きい場合に前記表示オブジェクトを所定の大きさよりも大きくしないように前記表示制御手段を制御することを特徴とする請求項１または２に記載の表示制御装置。
【請求項４】
前記制御手段は、前記移動後の２箇所の接触位置の間の距離に応じた数のフレーム画像を、時間の間隔が等間隔になるように抽出することを特徴とする請求項１〜３の何れか１項に記載の表示制御装置。
【請求項５】
前記制御手段は、前記表示オブジェクトに表示すべき画像が１枚となる場合は、前記表示オブジェクトが表す動画の中から予め決められた画像を表示するように前記表示制御手段を制御することを特徴とする請求項１〜３の何れか１項に記載の表示制御装置。
【請求項６】
前記予め決められた画像は、前記表示オブジェクトが表す動画の先頭のフレーム画像、またはユーザーにより指定された画像であることを特徴とする請求項５に記載の表示制御装置。
【請求項７】
前記表示制御手段は、前記表示オブジェクトの各々の画像に時間位置を示す情報を付加して表示することを特徴とする請求項１〜６の何れか１項に記載の表示制御装置。
【請求項８】
動画を表す表示オブジェクトをタッチパネルから構成される表示部に表示するよう制御する表示制御工程と、
前記タッチパネル上の接触位置を検出する検出工程と、
前記表示部に表示された単一の前記表示オブジェクトにおいて、２箇所の接触位置を前記検出工程において検出したか否かを判定する第１の判定工程と、
前記第１の判定工程において、単一の前記表示オブジェクトに２箇所の接触位置を検出したと判定した場合に、接触したまま前記接触位置が移動したことを前記検出工程において検出したか否かを判定する第２の判定工程と、
前記第２の判定工程において、前記接触位置が移動したことを検出したと判定した場合に、移動後の２箇所の接触位置の間の距離に応じた数のフレーム画像を前記表示オブジェクトが表す動画から抽出し、前記表示制御工程の処理に対して前記移動後の２箇所の接触位置の間に前記抽出したフレーム画像を表示するように制御する制御工程とを有することを特徴とする表示制御方法。
【請求項９】
動画を表す表示オブジェクトをタッチパネルから構成される表示部に表示するよう制御する表示制御工程と、
前記タッチパネル上の接触位置を検出する検出工程と、
前記表示部に表示された単一の前記表示オブジェクトにおいて、２箇所の接触位置を前記検出工程において検出したか否かを判定する第１の判定工程と、
前記第１の判定工程において、単一の前記表示オブジェクトに２箇所の接触位置を検出したと判定した場合に、接触したまま前記接触位置が移動したことを前記検出工程において検出したか否かを判定する第２の判定工程と、
前記第２の判定工程において、前記接触位置が移動したことを検出したと判定した場合に、移動後の２箇所の接触位置の間の距離に応じた数のフレーム画像を前記表示オブジェクトが表す動画から抽出し、前記表示制御工程の処理に対して前記移動後の２箇所の接触位置の間に前記抽出したフレーム画像を表示するように制御する制御工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１０】
請求項９に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１】
タッチパネルから構成される表示部と、
動画を表す表示オブジェクトを前記表示部に表示するよう制御する表示制御手段と、
前記タッチパネル上の接触位置を検出する検出手段と、
前記表示部に表示された単一の前記表示オブジェクトにおいて、２箇所の接触位置を前記検出手段により検出したか否かを判定する第１の判定手段と、
前記第１の判定手段により、単一の前記表示オブジェクトに２箇所の接触位置を検出したと判定した場合に、接触したまま前記接触位置が移動したことを前記検出手段により検出したか否かを判定する第２の判定手段と、
前記第２の判定手段により、前記接触位置が移動したことを検出したと判定した場合に、移動後の２箇所の接触位置の間の距離に応じた数のフレーム画像を前記表示オブジェクトが表す動画から抽出し、前記表示制御手段に対して前記移動後の２箇所の接触位置の間に前記抽出したフレーム画像を表示するように制御する制御手段とを有することを特徴とする表示制御装置。
【請求項２】
前記制御手段は、前記移動後の２箇所の接触位置の間の距離が移動前よりも小さくなった場合は表示すべき画像を少なくし、大きくなった場合は表示すべき画像を多くするように制御することを特徴とする請求項１に記載の表示制御装置。
【請求項３】
前記制御手段は、前記移動後の２箇所の接触位置の間の距離が所定の値より大きい場合に前記表示オブジェクトを所定の大きさよりも大きくしないように前記表示制御手段を制御することを特徴とする請求項１または２に記載の表示制御装置。
【請求項４】
前記制御手段は、前記移動後の２箇所の接触位置の間の距離に応じた数のフレーム画像を、時間の間隔が等間隔になるように抽出することを特徴とする請求項１〜３の何れか１項に記載の表示制御装置。
【請求項５】
前記制御手段は、前記表示オブジェクトに表示すべき画像が１枚となる場合は、前記表示オブジェクトが表す動画の中から予め決められた画像を表示するように前記表示制御手段を制御することを特徴とする請求項１〜３の何れか１項に記載の表示制御装置。
【請求項６】
前記予め決められた画像は、前記表示オブジェクトが表す動画の先頭のフレーム画像、またはユーザーにより指定された画像であることを特徴とする請求項５に記載の表示制御装置。
【請求項７】
前記表示制御手段は、前記表示オブジェクトの各々の画像に時間位置を示す情報を付加して表示することを特徴とする請求項１〜６の何れか１項に記載の表示制御装置。
【請求項８】
動画を表す表示オブジェクトをタッチパネルから構成される表示部に表示するよう制御する表示制御工程と、
前記タッチパネル上の接触位置を検出する検出工程と、
前記表示部に表示された単一の前記表示オブジェクトにおいて、２箇所の接触位置を前記検出工程において検出したか否かを判定する第１の判定工程と、
前記第１の判定工程において、単一の前記表示オブジェクトに２箇所の接触位置を検出したと判定した場合に、接触したまま前記接触位置が移動したことを前記検出工程において検出したか否かを判定する第２の判定工程と、
前記第２の判定工程において、前記接触位置が移動したことを検出したと判定した場合に、移動後の２箇所の接触位置の間の距離に応じた数のフレーム画像を前記表示オブジェクトが表す動画から抽出し、前記表示制御工程の処理に対して前記移動後の２箇所の接触位置の間に前記抽出したフレーム画像を表示するように制御する制御工程とを有することを特徴とする表示制御方法。
【請求項９】
動画を表す表示オブジェクトをタッチパネルから構成される表示部に表示するよう制御する表示制御工程と、
前記タッチパネル上の接触位置を検出する検出工程と、
前記表示部に表示された単一の前記表示オブジェクトにおいて、２箇所の接触位置を前記検出工程において検出したか否かを判定する第１の判定工程と、
前記第１の判定工程において、単一の前記表示オブジェクトに２箇所の接触位置を検出したと判定した場合に、接触したまま前記接触位置が移動したことを前記検出工程において検出したか否かを判定する第２の判定工程と、
前記第２の判定工程において、前記接触位置が移動したことを検出したと判定した場合に、移動後の２箇所の接触位置の間の距離に応じた数のフレーム画像を前記表示オブジェクトが表す動画から抽出し、前記表示制御工程の処理に対して前記移動後の２箇所の接触位置の間に前記抽出したフレーム画像を表示するように制御する制御工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１０】
請求項９に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１１−１７０７８３（Ｐ２０１１−１７０７８３Ａ）
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願番号】特願２０１０−３６３８１（Ｐ２０１０−３６３８１）
【出願日】平成２２年２月２２日（２０１０．２．２２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願日】平成２２年２月２２日（２０１０．２．２２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]