動画像再生装置
【課題】 本発明は、一時停止の操作の際、フレーム画像の内容に応じてユーザにとって好ましいフレーム画像が選択される動画像再生装置を提供する。
【解決手段】 動画像再生装置は、操作部と、特徴抽出部と、フレーム画像選択部と、を有する。操作部は、一時停止の操作を含む動画像再生用の操作を受け付ける。特徴抽出部は、複数のフレーム画像からなる動画像データの再生中に、操作部が前記一時停止の操作を受け付けた場合、一時停止時と、一時停止前、及び／又は、一時停止後とにおけるフレーム画像から、予め決められた手順に従って画像の特徴をフレーム画像ごとに抽出する。フレーム画像選択部は、特徴抽出部が抽出した特徴に基づいて、最終的な一時停止時のフレーム画像を選択する。
【解決手段】 動画像再生装置は、操作部と、特徴抽出部と、フレーム画像選択部と、を有する。操作部は、一時停止の操作を含む動画像再生用の操作を受け付ける。特徴抽出部は、複数のフレーム画像からなる動画像データの再生中に、操作部が前記一時停止の操作を受け付けた場合、一時停止時と、一時停止前、及び／又は、一時停止後とにおけるフレーム画像から、予め決められた手順に従って画像の特徴をフレーム画像ごとに抽出する。フレーム画像選択部は、特徴抽出部が抽出した特徴に基づいて、最終的な一時停止時のフレーム画像を選択する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のフレーム画像からなる動画像データを再生する動画像再生装置に関する。
【背景技術】
【０００２】
動画像再生装置には、通常、再生中の動画を一時停止するための一時停止機能が備えられている（例えば、特許文献１参照）。
【特許文献１】特開平１１−３４１４２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来の一時停止機能では、当然ながら、一時停止の際のフレーム画像が再生表示される。この場合、フレーム画像の内容によっては、ユーザから見て好ましくない画像が再生表示されることがある。
【０００４】
例えば、人物を撮影した動画を再生する場合、人物の顔をアップしたシーンにおいては、瞬きしている状態のフレーム画像が連続的に続くことになる。この場合、ユーザの一時停止操作のタイミングによっては、完全に目を閉じている状態や完全に目を開けている状態で一時停止されることになる。しかし、確率的には、それ以外の状態（例えば、目が半開きの状態）で一時停止されることが多くなってしまう。この状態で一時停止されると、人物の不本意な表情のフレーム画像が選択され、モニタに表示されてしまうことになる。そのため、好ましくない結果となる。
【０００５】
なお、上記説明は、一時停止の操作だけでなく、所定の画面から動画の再生を開始させるシークの操作の場合についても同様のことが言える。すなわち、再生開始時のフレーム画像によっては、目が半開きの状態のフレーム画像が再生開始時のフレーム画像として選択されることがある。この状態では、人物の不本意な表情のフレーム画像が、まず選択され、モニタに表示された後、再生が開始されることになる。そのため、好ましくない結果となる。
【０００６】
そこで、本発明の目的は、一時停止の操作やシークの操作の際、フレーム画像の内容に応じてユーザにとって好ましいフレーム画像が選択される動画像再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
第１の発明に係る動画像再生装置は、操作部と、特徴抽出部と、フレーム画像選択部と、を有する。操作部は、一時停止の操作を含む動画像再生用の操作を受け付ける。特徴抽出部は、複数のフレーム画像からなる動画像データの再生中に、操作部が前記一時停止の操作を受け付けた場合、一時停止時と、一時停止前、及び／又は、一時停止後とにおけるフレーム画像から、予め決められた手順に従って画像の特徴をフレーム画像ごとに抽出する。フレーム画像選択部は、特徴抽出部が抽出した特徴に基づいて、最終的な一時停止時のフレーム画像を選択する。
【０００８】
第２の発明に係る動画像再生装置は、操作部と、特徴抽出部と、フレーム画像選択部と、を有する。操作部は、所定の画面から動画の再生を開始させるシークの操作を含む動画像再生用の操作を受け付ける。特徴抽出部は、操作部が前記シークの操作を受け付けた場合、再生開始時と、再生開始前、及び／又は、再生開始後とにおけるフレーム画像から、予め決められた手順に従って画像の特徴を抽出する。フレーム画像選択部は、特徴抽出部が抽出した特徴に基づいて、最終的な再生開始時のフレーム画像を選択する。
【０００９】
第３の発明は、第１の発明又は第２の発明において、特徴抽出部は、フレーム画像の中から顔の領域を検出する顔検出部と、顔の領域から目を抽出し、瞬きの度合いを検出する瞬き検出部と、を備える。フレーム画像選択部は、瞬きの度合いの中から、瞼を閉じた第１状態若しくは瞼が開いた状態から閉じる動作に切り替わる直前の第２状態を判定する瞬き判定部を備える。フレーム画像選択部は、第１状態のフレーム画像若しくは第２状態のフレーム画像を、最終的な一時停止時若しくは再生開始時のフレーム画像として選択する。
【００１０】
第４の発明は、第３の発明において、フレーム画像選択部は、ユーザ入力により第１状態のフレーム画像と第２状態のフレーム画像とを切り替え可能に一時停止時若しくは再生開始時のフレーム画像として選択する。
【発明の効果】
【００１１】
本発明の動画像再生装置によれば、一時停止の操作やシークの操作の際、フレーム画像の内容に応じてユーザにとって好ましいフレーム画像を選択することができる。
【発明を実施するための最良の形態】
【００１２】
（第１実施形態）
以下、図面に基づいて本発明の実施の形態を詳細に説明する。図１は、動画像再生装置の一実施形態であるＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）プレーヤ１の構成を示すブロック図である。図１に示す通りＤＶＤプレーヤ１には、媒体ドライブ部２と、バッファメモリ３と、デコーダ４と、画像メモリ５と、表示インターフェース６と、制御部７と、操作部８と、バス９とが備えられている。このＤＶＤプレーヤ１は、外部のモニタ１００とケーブルを介して接続されている。また、記録媒体であるＤＶＤディスク１０が、媒体ドライブ部２に装填される。
【００１３】
媒体ドライブ部２は、スピンドルモータを駆動するモータ駆動制御部（不図示）を有する。媒体ドライブ部２は、モータ駆動制御部を介してＤＶＤディスク１０を回転させ、光ヘッド部（不図示）により、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格に従って符号化された複数のフレーム画像からなる動画データを読み出す。なお、ＭＰＥＧ規格は一例であって、他の規格であってもよく、特に動画像データの規格に限定されるものではない。
【００１４】
バッファメモリ３は、媒体ドライブ部２が読み出した動画データを一時的に記憶するメモリである。デコーダ４は、バッファメモリ３に一時的に記憶されている符号化されたフレーム画像を順次復号化する。これにより、圧縮されたフレーム画像は、伸長される。画像メモリ５は、復号化されたフレーム画像を一時的に記憶する。
【００１５】
表示インターフェース６は、モニタ１００に動画像が表示されるためのインターフェースを提供する。
【００１６】
制御部７は、ＤＶＤプレーヤ１の制御を行うプロセッサである。制御部７は、例えば、動画再生の場合、媒体ドライブ部２に指示を出し、動画像データを読み出させてバッファメモリ３に一時的に記憶させる。この制御部７は、図２に示すプログラムＡが組み込まれることにより、特徴抽出部７ａと、フレーム画像選択部７ｂとが構築される。
【００１７】
図２は、制御部７で実行されるプログラムＡの模式図である。特徴抽出部７ａは、顔検出部７０と、瞬き検出部７１とを有する。
【００１８】
顔検出部７０は、モニタ１００に表示された画像から顔を検出する。さらに、顔検出部７０は、検出した顔に基づいて顔の器官を構成する特徴点を抽出する。顔検出部７０は、一例として特開２００１−１６５７３号公報などに記載された特徴点抽出処理によって顔の特徴点を抽出する。特徴点としては、例えば、眉、目、顔の輪郭点などが挙げられる。
【００１９】
瞬き検出部７１は、顔検出部７０が抽出した特徴点から、顔の目を抽出し、一例として特開２００７−３１６７６２号公報などに記載された瞬き検出処理によって、瞬きの度合いを検出する。なお、瞬き検出処理としては、例えば、特開２０００−２３５４６８号公報などに記載された瞬き検出処理によって、瞬きの度合いを検出してもよい。
【００２０】
フレーム画像選択部７ｂは、瞬き検出部７１により得られた瞬きの度合いの中から、瞼を閉じた第１状態若しくは瞼が開いた状態から閉じる動作に切り替わる直前の第２状態を判定する瞬き判定部７２を備える。そして、フレーム画像選択部７ｂは、第１状態のフレーム画像若しくは第２状態のフレーム画像を、最終的な一時停止時のフレーム画像として選択する（詳細は後述する）。
【００２１】
操作部８は、動画再生又は停止、一時停止、早送り、巻き戻し、シーク、電源のオンオフ等の操作を受け付ける。操作部８は、例えば、不図示の操作用のリモコンによって、赤外線通信によりユーザ入力を受け付ける。
【００２２】
次に、動画像再生装置の一実施形態であるＤＶＤプレーヤ１の動作の一例を説明する。ここでは、操作部８が、ユーザ入力により動画再生の操作を受け付けると、制御部７は、一例として、６０ｆｐｓのフレームレートで動画像を再生させる。この場合、バッファメモリには、複数の符号化されたフレーム画像が一時的に記憶される。そして、いわゆるＦＩＦＯ（Ｆｉｒｓｔ−ｉｎ Ｆｉｒｓｔ−ｏｕｔ）式にフレーム画像が復号化される。復号化されたフレーム画像は、画像メモリ５に一時的に記憶されていく。そして、フレーム画像が画像メモリ５から読み出されて、表示インターフェース６を介してモニタ１００に表示されていく。この状態で、操作部８が一時停止を受け付けると、以下に示すフローチャートが実行される。なお、画像メモリ５では、一時停止の操作に備えて、現在表示されているフレーム画像の前に表示されたフレーム画像の画像データを予め指定されたフレーム分、記憶するようにしている。
【００２３】
図３は、一時停止操作を受け付けた後に開始される動作の一例を表すフローチャートである。このフローチャートは、図２に示すプログラムＡに基づいており、制御部７は、特徴抽出部７ａ（顔検出部７０と、瞬き検出部７１）、フレーム画像選択部７ｂ（瞬き判定部７２）としても機能する。
【００２４】
ステップＳ１０１：制御部７は、操作部８からの一時操作を受けて、現在、モニタ１００に表示されているフレーム画像を読み出す。
【００２５】
ステップＳ１０２：制御部７の顔検出部７０は、顔検出処理を実行する。
【００２６】
ステップＳ１０３：制御部７は、顔が検出したか否かを判定する。顔が検出された場合（ステップＳ１０３：Ｙｅｓ）、この処理ルーチンは、ステップＳ１０４の処理に移行する。一方、顔が検出されなかった場合（ステップＳ１０３：Ｎｏ）については後述する。
【００２７】
ステップＳ１０４：制御部７の瞬き検出部７１は、顔検出部７０が抽出した特徴点から、目の抽出処理の結果として、顔の上瞼のエッジを検出する。
【００２８】
ステップＳ１０５：瞬き検出部７１は、一例として特開２００７−３１６７６２号公報などに記載された瞬き検出処理によって、瞬きの度合いを検出する。
【００２９】
図４は、瞬き検出処理の一例を示す図である。図４では、図４（ａ）から図４（ｊ）へと時系列に並んだ画像フレームを模式的に表している。ここで、人間の瞬きは、およそ１００〜１５０ｍｓｅｃであるので、６０ｆｐｓの動画だと、６〜１０フレーム分に相当する。したがって、瞬き検出部７１は、必要に応じて一時停止を指示したフレームと、そのフレームの前後数フレームについて瞬きの度合いを検出すれば、目を閉じている第１状態（瞼を閉じている状態）のフレームや、目を完全に開けている第２状態（瞼が開いた状態から閉じる動作に切り替わる直前の状態）のフレームを探し出すことができる。
【００３０】
図４において、図４（ａ）が第２状態のフレーム画像に相当する。そして、図４（ｂ）から図４（ｄ）へと進むにしたがって、瞼が閉じていき、図４（ｅ）で第１状態のフレーム画像となる。さらに、図４（ｆ）から図４（ｉ）へと進むにしたがって、瞼が開いていき、図４（ｊ）で第２状態のフレーム画像となる。
【００３１】
本実施形態では、目の瞬きの度合いを評価値に置き換えて判断する。例えば、第１状態のフレーム画像の評価値を０.５とし、第２状態のフレーム画像の評価値を１とし、それ以外の状態（図４（ｂ）〜図４（ｄ）、図４（ｆ）〜図４（ｉ））の評価値を０とする。ここでは、顔が検出された場合、第２状態のフレーム画像を一時停止時にモニタ１００に表示するフレーム画像とする。
【００３２】
ステップＳ１０６：制御部７の瞬き判定部７２は、まず、一時停止時のフレーム画像に対して、上述した評価値を算出する。
【００３３】
ステップＳ１０７：瞬き判定部７２は、評価値が１の場合には（ステップＳ１０７：Ｙｅｓ）、ステップＳ１０８の処理に移行させる。
【００３４】
ステップＳ１０８：制御部７のフレーム画像選択部７ｂは、第２状態のフレーム画像を、最終的な一時停止時のフレーム画像として選択する。したがって、この場合は、一時停止時のフレーム画像が、第２状態のフレーム画像だったことになる。
【００３５】
ステップＳ１０９：制御部７は、表示インターフェース６を介して、モニタ１００に第２状態のフレーム画像を表示させる。そして、この処理ルーチンは終了する。
【００３６】
なお、ステップＳ１０３において、顔が検出されなかった場合には（ステップＳ１０３：Ｎｏ）、ステップＳ１０８の処理に移行し、現在のフレーム画像を一時停止時のフレーム画像とする。そして、ステップＳ１０９において、制御部７は、表示インターフェース６を介して、モニタ１００に現在のフレーム画像を表示させる。そして、この処理ルーチンは終了する。
【００３７】
また、ステップＳ１０７において、瞬き判定部７２は、評価値が１でない場合には（ステップＳ１０７：Ｎｏ）、ステップＳ１０１の処理に移行させる。
【００３８】
ステップＳ１０１では、制御部７は、一時停止時におけるフレーム画像の１つ前のフレーム画像を読み出して、顔検出処理を行う。例えば、一時停止時におけるフレーム画像が図４において、図４（ｆ）のフレーム画像であったとすると、画像メモリ５に一時記憶されている図４（ｅ）のフレーム画像が読み出される。この場合、ステップＳ１０７の処理に進んだ段階で、評価値が０と判定されるので、再び、ステップＳ１０１の処理に戻ることになる。
【００３９】
このようにして、制御部７は、図４（ｄ）、図４（ｃ）、図４（ｂ）とフレーム画像の瞬き度を判定していき、最終的に図４（ａ）において、評価値が１となる。そこで、制御部７は、表示インターフェース６を介して、モニタ１００に図４（ａ）のフレーム画像を表示させる。
【００４０】
なお、ステップＳ１０１では、一時停止時におけるフレーム画像の前の画像を数フレーム読み出しても、第２状態のフレーム画像が得られない場合には、バッファメモリ３に記憶されているフレーム画像を順次読み出して同様の処理を行う。
【００４１】
したがって、制御部７は、一時停止時におけるフレーム画像と、その前後のフレーム画像を読み出せば、動画のシーンが急に切り替わらない限り、第２状態のフレーム画像を選択して、モニタ１００に表示させることができる。
【００４２】
上述した説明では、第２状態のフレーム画像を一時停止時のフレーム画像としたが、第１状態のフレーム画像を一時停止のフレーム画像としてもよい。さらに、一時停止時のフレーム画像に基づいて、瞬きの度合いを判定し、完全に目を閉じているフレーム画像と完全に目が開いているフレーム画像とについて、より直近である方のフレーム画像を一時停止時のフレーム画像としてもよい。
【００４３】
また、第１状態のフレーム画像と第２状態のフレーム画像とを画像メモリ５に一時記憶させて、ユーザ入力により、第１状態のフレーム画像と第２状態のフレーム画像とを切り替え可能に一時停止時のフレーム画像として選択できるようにしてもよい。これにより、モニタ１００には、ユーザの好みに応じて、第１状態のフレーム画像と第２状態のフレーム画像のいずれかを表示させることができる。
【００４４】
以上、動画像再生装置の一実施形態であるＤＶＤプレーヤ１によれば、一時停止の際、第１状態のフレーム画像若しくは第２状態のフレーム画像がモニタ１００に表示されるため、目が中途半端に開いた状態のフレーム画像が、モニタ１００に表示されることはなくなる。したがって、フレーム画像の内容に応じてユーザにとって好ましいフレーム画像（第１状態のフレーム画像若しくは第２状態のフレーム画像）が選択されることになる。
【００４５】
次に、第１実施形態の変形例について説明する。
【００４６】
第１実施形態では、一時停止の操作を例に挙げて説明したが、シークの操作に適用することも可能である。すなわち、ユーザが、指定した場面（時刻）で再生させるため、シークの操作した場合、再生開始の場面において人間の顔がアップされていると、一時停止の操作と同様にして、目が半開きの状態になっている場合がある。この場合、再生開始の場面のフレーム画像と、その前後のフレーム画像とを用いて、上述した処理と同様にして、第１状態のフレーム画像若しくは第２状態のフレーム画像をモニタ１００に表示させることができる。
【００４７】
また、ユーザ入力により、第１状態のフレーム画像と第２状態のフレーム画像とを切り替え可能にシーク開始時のフレーム画像として選択できるようにしてもよい。これにより、モニタ１００には、ユーザの好みに応じて、第１状態のフレーム画像と第２状態のフレーム画像のいずれかを表示させることができる。
＜実施形態の補足事項＞
（１）本実施形態では、主要被写体の動きとして、特に、人物の顔における瞼の開閉動作に着目した。これは、一例であって、例えば、人物の前を木の葉が横切るシーンにおいて、一時停止した場合、木の葉が人物の顔を隠すようなフレーム画像がモニタ１００に表示される場合がある。このような事例においては、木の葉が人物の顔を隠さない前後のフレームのいずれかのフレームを一時停止時のフレーム画像として選択するような構成にしてもよい。
（２）本実施形態では、一時停止のタイミングによっては、動画のシーンが切り替わるシーンチェンジで一時停止させるようにしてもよい。
（３）本実施形態では、主要被写体が１人の場合について説明したが、被写体が２人以上の場合の対処としては、例えば、優先順位として、主要被写体の１人について、まず、第２状態を選択し、他の被写体については、第１状態若しくは第２状態のいずれかを選択可能かを判定するようにしてもよい。また、評価値を細かく段階分けして、評価値の平均が最大であるフレーム画像を選択するようにしてもよい。また、被写体ごとに第１状態若しくは第２状態のフレーム画像を選択して、一旦画像メモリ５に一時記憶させて、ユーザが選択できるような構成にしてもよい。
（４）本実施形態では、制御部７は、顔検出処理、瞬き検出処理及び瞬き判定処理をモニタ１００に表示された画像に基づいて行ったが、画像メモリ５に一時的に記憶された、伸長処理が施された後の画像データに対して直接行ってもよい。また、制御部７は、フレーム画像をモニタ１００に表示させるとともに顔検出処理、瞬き検出処理及び瞬き判定処理をリアルタイムでパラレルに行って、結果を画像メモリに記憶させてもよい。この場合は、一時停止時の画像フレームや一時停止前の画像フレームについては、画像メモリ５を参照するだけで済み、再生させるフレーム画像の選択までの時間を短縮させることができる。
（５）本実施形態のＤＶＤプレーヤ１は、外部のモニタ１００に動画像を表示することとしたが、モニタ一体型のＤＶＤプレーヤであってもよい。また、再生／録画タイプのＤＶＤプレーヤであってもよい。
（６）本発明の動画再生装置は、ＤＶＤプレーヤ１に限られず、ハードディスク内蔵型のプレーヤであってもよい。
【図面の簡単な説明】
【００４８】
【図１】動画像再生装置の一実施形態であるＤＶＤプレーヤ１の構成を示すブロック図
【図２】制御部７で実行されるプログラムＡの模式図
【図３】一時停止操作を受け付けた後に開始される動作の一例を表すフローチャート
【図４】瞬き検出処理の一例を示す図
【符号の説明】
【００４９】
１・・・ＤＶＤプレーヤ、７ａ・・・特徴抽出部、７０・・・顔検出部、７１・・・瞬き検出部、７ｂ・・・フレーム画像選択部、７２・・・瞬き判定部
【技術分野】
【０００１】
本発明は、複数のフレーム画像からなる動画像データを再生する動画像再生装置に関する。
【背景技術】
【０００２】
動画像再生装置には、通常、再生中の動画を一時停止するための一時停止機能が備えられている（例えば、特許文献１参照）。
【特許文献１】特開平１１−３４１４２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来の一時停止機能では、当然ながら、一時停止の際のフレーム画像が再生表示される。この場合、フレーム画像の内容によっては、ユーザから見て好ましくない画像が再生表示されることがある。
【０００４】
例えば、人物を撮影した動画を再生する場合、人物の顔をアップしたシーンにおいては、瞬きしている状態のフレーム画像が連続的に続くことになる。この場合、ユーザの一時停止操作のタイミングによっては、完全に目を閉じている状態や完全に目を開けている状態で一時停止されることになる。しかし、確率的には、それ以外の状態（例えば、目が半開きの状態）で一時停止されることが多くなってしまう。この状態で一時停止されると、人物の不本意な表情のフレーム画像が選択され、モニタに表示されてしまうことになる。そのため、好ましくない結果となる。
【０００５】
なお、上記説明は、一時停止の操作だけでなく、所定の画面から動画の再生を開始させるシークの操作の場合についても同様のことが言える。すなわち、再生開始時のフレーム画像によっては、目が半開きの状態のフレーム画像が再生開始時のフレーム画像として選択されることがある。この状態では、人物の不本意な表情のフレーム画像が、まず選択され、モニタに表示された後、再生が開始されることになる。そのため、好ましくない結果となる。
【０００６】
そこで、本発明の目的は、一時停止の操作やシークの操作の際、フレーム画像の内容に応じてユーザにとって好ましいフレーム画像が選択される動画像再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
第１の発明に係る動画像再生装置は、操作部と、特徴抽出部と、フレーム画像選択部と、を有する。操作部は、一時停止の操作を含む動画像再生用の操作を受け付ける。特徴抽出部は、複数のフレーム画像からなる動画像データの再生中に、操作部が前記一時停止の操作を受け付けた場合、一時停止時と、一時停止前、及び／又は、一時停止後とにおけるフレーム画像から、予め決められた手順に従って画像の特徴をフレーム画像ごとに抽出する。フレーム画像選択部は、特徴抽出部が抽出した特徴に基づいて、最終的な一時停止時のフレーム画像を選択する。
【０００８】
第２の発明に係る動画像再生装置は、操作部と、特徴抽出部と、フレーム画像選択部と、を有する。操作部は、所定の画面から動画の再生を開始させるシークの操作を含む動画像再生用の操作を受け付ける。特徴抽出部は、操作部が前記シークの操作を受け付けた場合、再生開始時と、再生開始前、及び／又は、再生開始後とにおけるフレーム画像から、予め決められた手順に従って画像の特徴を抽出する。フレーム画像選択部は、特徴抽出部が抽出した特徴に基づいて、最終的な再生開始時のフレーム画像を選択する。
【０００９】
第３の発明は、第１の発明又は第２の発明において、特徴抽出部は、フレーム画像の中から顔の領域を検出する顔検出部と、顔の領域から目を抽出し、瞬きの度合いを検出する瞬き検出部と、を備える。フレーム画像選択部は、瞬きの度合いの中から、瞼を閉じた第１状態若しくは瞼が開いた状態から閉じる動作に切り替わる直前の第２状態を判定する瞬き判定部を備える。フレーム画像選択部は、第１状態のフレーム画像若しくは第２状態のフレーム画像を、最終的な一時停止時若しくは再生開始時のフレーム画像として選択する。
【００１０】
第４の発明は、第３の発明において、フレーム画像選択部は、ユーザ入力により第１状態のフレーム画像と第２状態のフレーム画像とを切り替え可能に一時停止時若しくは再生開始時のフレーム画像として選択する。
【発明の効果】
【００１１】
本発明の動画像再生装置によれば、一時停止の操作やシークの操作の際、フレーム画像の内容に応じてユーザにとって好ましいフレーム画像を選択することができる。
【発明を実施するための最良の形態】
【００１２】
（第１実施形態）
以下、図面に基づいて本発明の実施の形態を詳細に説明する。図１は、動画像再生装置の一実施形態であるＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）プレーヤ１の構成を示すブロック図である。図１に示す通りＤＶＤプレーヤ１には、媒体ドライブ部２と、バッファメモリ３と、デコーダ４と、画像メモリ５と、表示インターフェース６と、制御部７と、操作部８と、バス９とが備えられている。このＤＶＤプレーヤ１は、外部のモニタ１００とケーブルを介して接続されている。また、記録媒体であるＤＶＤディスク１０が、媒体ドライブ部２に装填される。
【００１３】
媒体ドライブ部２は、スピンドルモータを駆動するモータ駆動制御部（不図示）を有する。媒体ドライブ部２は、モータ駆動制御部を介してＤＶＤディスク１０を回転させ、光ヘッド部（不図示）により、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格に従って符号化された複数のフレーム画像からなる動画データを読み出す。なお、ＭＰＥＧ規格は一例であって、他の規格であってもよく、特に動画像データの規格に限定されるものではない。
【００１４】
バッファメモリ３は、媒体ドライブ部２が読み出した動画データを一時的に記憶するメモリである。デコーダ４は、バッファメモリ３に一時的に記憶されている符号化されたフレーム画像を順次復号化する。これにより、圧縮されたフレーム画像は、伸長される。画像メモリ５は、復号化されたフレーム画像を一時的に記憶する。
【００１５】
表示インターフェース６は、モニタ１００に動画像が表示されるためのインターフェースを提供する。
【００１６】
制御部７は、ＤＶＤプレーヤ１の制御を行うプロセッサである。制御部７は、例えば、動画再生の場合、媒体ドライブ部２に指示を出し、動画像データを読み出させてバッファメモリ３に一時的に記憶させる。この制御部７は、図２に示すプログラムＡが組み込まれることにより、特徴抽出部７ａと、フレーム画像選択部７ｂとが構築される。
【００１７】
図２は、制御部７で実行されるプログラムＡの模式図である。特徴抽出部７ａは、顔検出部７０と、瞬き検出部７１とを有する。
【００１８】
顔検出部７０は、モニタ１００に表示された画像から顔を検出する。さらに、顔検出部７０は、検出した顔に基づいて顔の器官を構成する特徴点を抽出する。顔検出部７０は、一例として特開２００１−１６５７３号公報などに記載された特徴点抽出処理によって顔の特徴点を抽出する。特徴点としては、例えば、眉、目、顔の輪郭点などが挙げられる。
【００１９】
瞬き検出部７１は、顔検出部７０が抽出した特徴点から、顔の目を抽出し、一例として特開２００７−３１６７６２号公報などに記載された瞬き検出処理によって、瞬きの度合いを検出する。なお、瞬き検出処理としては、例えば、特開２０００−２３５４６８号公報などに記載された瞬き検出処理によって、瞬きの度合いを検出してもよい。
【００２０】
フレーム画像選択部７ｂは、瞬き検出部７１により得られた瞬きの度合いの中から、瞼を閉じた第１状態若しくは瞼が開いた状態から閉じる動作に切り替わる直前の第２状態を判定する瞬き判定部７２を備える。そして、フレーム画像選択部７ｂは、第１状態のフレーム画像若しくは第２状態のフレーム画像を、最終的な一時停止時のフレーム画像として選択する（詳細は後述する）。
【００２１】
操作部８は、動画再生又は停止、一時停止、早送り、巻き戻し、シーク、電源のオンオフ等の操作を受け付ける。操作部８は、例えば、不図示の操作用のリモコンによって、赤外線通信によりユーザ入力を受け付ける。
【００２２】
次に、動画像再生装置の一実施形態であるＤＶＤプレーヤ１の動作の一例を説明する。ここでは、操作部８が、ユーザ入力により動画再生の操作を受け付けると、制御部７は、一例として、６０ｆｐｓのフレームレートで動画像を再生させる。この場合、バッファメモリには、複数の符号化されたフレーム画像が一時的に記憶される。そして、いわゆるＦＩＦＯ（Ｆｉｒｓｔ−ｉｎ Ｆｉｒｓｔ−ｏｕｔ）式にフレーム画像が復号化される。復号化されたフレーム画像は、画像メモリ５に一時的に記憶されていく。そして、フレーム画像が画像メモリ５から読み出されて、表示インターフェース６を介してモニタ１００に表示されていく。この状態で、操作部８が一時停止を受け付けると、以下に示すフローチャートが実行される。なお、画像メモリ５では、一時停止の操作に備えて、現在表示されているフレーム画像の前に表示されたフレーム画像の画像データを予め指定されたフレーム分、記憶するようにしている。
【００２３】
図３は、一時停止操作を受け付けた後に開始される動作の一例を表すフローチャートである。このフローチャートは、図２に示すプログラムＡに基づいており、制御部７は、特徴抽出部７ａ（顔検出部７０と、瞬き検出部７１）、フレーム画像選択部７ｂ（瞬き判定部７２）としても機能する。
【００２４】
ステップＳ１０１：制御部７は、操作部８からの一時操作を受けて、現在、モニタ１００に表示されているフレーム画像を読み出す。
【００２５】
ステップＳ１０２：制御部７の顔検出部７０は、顔検出処理を実行する。
【００２６】
ステップＳ１０３：制御部７は、顔が検出したか否かを判定する。顔が検出された場合（ステップＳ１０３：Ｙｅｓ）、この処理ルーチンは、ステップＳ１０４の処理に移行する。一方、顔が検出されなかった場合（ステップＳ１０３：Ｎｏ）については後述する。
【００２７】
ステップＳ１０４：制御部７の瞬き検出部７１は、顔検出部７０が抽出した特徴点から、目の抽出処理の結果として、顔の上瞼のエッジを検出する。
【００２８】
ステップＳ１０５：瞬き検出部７１は、一例として特開２００７−３１６７６２号公報などに記載された瞬き検出処理によって、瞬きの度合いを検出する。
【００２９】
図４は、瞬き検出処理の一例を示す図である。図４では、図４（ａ）から図４（ｊ）へと時系列に並んだ画像フレームを模式的に表している。ここで、人間の瞬きは、およそ１００〜１５０ｍｓｅｃであるので、６０ｆｐｓの動画だと、６〜１０フレーム分に相当する。したがって、瞬き検出部７１は、必要に応じて一時停止を指示したフレームと、そのフレームの前後数フレームについて瞬きの度合いを検出すれば、目を閉じている第１状態（瞼を閉じている状態）のフレームや、目を完全に開けている第２状態（瞼が開いた状態から閉じる動作に切り替わる直前の状態）のフレームを探し出すことができる。
【００３０】
図４において、図４（ａ）が第２状態のフレーム画像に相当する。そして、図４（ｂ）から図４（ｄ）へと進むにしたがって、瞼が閉じていき、図４（ｅ）で第１状態のフレーム画像となる。さらに、図４（ｆ）から図４（ｉ）へと進むにしたがって、瞼が開いていき、図４（ｊ）で第２状態のフレーム画像となる。
【００３１】
本実施形態では、目の瞬きの度合いを評価値に置き換えて判断する。例えば、第１状態のフレーム画像の評価値を０.５とし、第２状態のフレーム画像の評価値を１とし、それ以外の状態（図４（ｂ）〜図４（ｄ）、図４（ｆ）〜図４（ｉ））の評価値を０とする。ここでは、顔が検出された場合、第２状態のフレーム画像を一時停止時にモニタ１００に表示するフレーム画像とする。
【００３２】
ステップＳ１０６：制御部７の瞬き判定部７２は、まず、一時停止時のフレーム画像に対して、上述した評価値を算出する。
【００３３】
ステップＳ１０７：瞬き判定部７２は、評価値が１の場合には（ステップＳ１０７：Ｙｅｓ）、ステップＳ１０８の処理に移行させる。
【００３４】
ステップＳ１０８：制御部７のフレーム画像選択部７ｂは、第２状態のフレーム画像を、最終的な一時停止時のフレーム画像として選択する。したがって、この場合は、一時停止時のフレーム画像が、第２状態のフレーム画像だったことになる。
【００３５】
ステップＳ１０９：制御部７は、表示インターフェース６を介して、モニタ１００に第２状態のフレーム画像を表示させる。そして、この処理ルーチンは終了する。
【００３６】
なお、ステップＳ１０３において、顔が検出されなかった場合には（ステップＳ１０３：Ｎｏ）、ステップＳ１０８の処理に移行し、現在のフレーム画像を一時停止時のフレーム画像とする。そして、ステップＳ１０９において、制御部７は、表示インターフェース６を介して、モニタ１００に現在のフレーム画像を表示させる。そして、この処理ルーチンは終了する。
【００３７】
また、ステップＳ１０７において、瞬き判定部７２は、評価値が１でない場合には（ステップＳ１０７：Ｎｏ）、ステップＳ１０１の処理に移行させる。
【００３８】
ステップＳ１０１では、制御部７は、一時停止時におけるフレーム画像の１つ前のフレーム画像を読み出して、顔検出処理を行う。例えば、一時停止時におけるフレーム画像が図４において、図４（ｆ）のフレーム画像であったとすると、画像メモリ５に一時記憶されている図４（ｅ）のフレーム画像が読み出される。この場合、ステップＳ１０７の処理に進んだ段階で、評価値が０と判定されるので、再び、ステップＳ１０１の処理に戻ることになる。
【００３９】
このようにして、制御部７は、図４（ｄ）、図４（ｃ）、図４（ｂ）とフレーム画像の瞬き度を判定していき、最終的に図４（ａ）において、評価値が１となる。そこで、制御部７は、表示インターフェース６を介して、モニタ１００に図４（ａ）のフレーム画像を表示させる。
【００４０】
なお、ステップＳ１０１では、一時停止時におけるフレーム画像の前の画像を数フレーム読み出しても、第２状態のフレーム画像が得られない場合には、バッファメモリ３に記憶されているフレーム画像を順次読み出して同様の処理を行う。
【００４１】
したがって、制御部７は、一時停止時におけるフレーム画像と、その前後のフレーム画像を読み出せば、動画のシーンが急に切り替わらない限り、第２状態のフレーム画像を選択して、モニタ１００に表示させることができる。
【００４２】
上述した説明では、第２状態のフレーム画像を一時停止時のフレーム画像としたが、第１状態のフレーム画像を一時停止のフレーム画像としてもよい。さらに、一時停止時のフレーム画像に基づいて、瞬きの度合いを判定し、完全に目を閉じているフレーム画像と完全に目が開いているフレーム画像とについて、より直近である方のフレーム画像を一時停止時のフレーム画像としてもよい。
【００４３】
また、第１状態のフレーム画像と第２状態のフレーム画像とを画像メモリ５に一時記憶させて、ユーザ入力により、第１状態のフレーム画像と第２状態のフレーム画像とを切り替え可能に一時停止時のフレーム画像として選択できるようにしてもよい。これにより、モニタ１００には、ユーザの好みに応じて、第１状態のフレーム画像と第２状態のフレーム画像のいずれかを表示させることができる。
【００４４】
以上、動画像再生装置の一実施形態であるＤＶＤプレーヤ１によれば、一時停止の際、第１状態のフレーム画像若しくは第２状態のフレーム画像がモニタ１００に表示されるため、目が中途半端に開いた状態のフレーム画像が、モニタ１００に表示されることはなくなる。したがって、フレーム画像の内容に応じてユーザにとって好ましいフレーム画像（第１状態のフレーム画像若しくは第２状態のフレーム画像）が選択されることになる。
【００４５】
次に、第１実施形態の変形例について説明する。
【００４６】
第１実施形態では、一時停止の操作を例に挙げて説明したが、シークの操作に適用することも可能である。すなわち、ユーザが、指定した場面（時刻）で再生させるため、シークの操作した場合、再生開始の場面において人間の顔がアップされていると、一時停止の操作と同様にして、目が半開きの状態になっている場合がある。この場合、再生開始の場面のフレーム画像と、その前後のフレーム画像とを用いて、上述した処理と同様にして、第１状態のフレーム画像若しくは第２状態のフレーム画像をモニタ１００に表示させることができる。
【００４７】
また、ユーザ入力により、第１状態のフレーム画像と第２状態のフレーム画像とを切り替え可能にシーク開始時のフレーム画像として選択できるようにしてもよい。これにより、モニタ１００には、ユーザの好みに応じて、第１状態のフレーム画像と第２状態のフレーム画像のいずれかを表示させることができる。
＜実施形態の補足事項＞
（１）本実施形態では、主要被写体の動きとして、特に、人物の顔における瞼の開閉動作に着目した。これは、一例であって、例えば、人物の前を木の葉が横切るシーンにおいて、一時停止した場合、木の葉が人物の顔を隠すようなフレーム画像がモニタ１００に表示される場合がある。このような事例においては、木の葉が人物の顔を隠さない前後のフレームのいずれかのフレームを一時停止時のフレーム画像として選択するような構成にしてもよい。
（２）本実施形態では、一時停止のタイミングによっては、動画のシーンが切り替わるシーンチェンジで一時停止させるようにしてもよい。
（３）本実施形態では、主要被写体が１人の場合について説明したが、被写体が２人以上の場合の対処としては、例えば、優先順位として、主要被写体の１人について、まず、第２状態を選択し、他の被写体については、第１状態若しくは第２状態のいずれかを選択可能かを判定するようにしてもよい。また、評価値を細かく段階分けして、評価値の平均が最大であるフレーム画像を選択するようにしてもよい。また、被写体ごとに第１状態若しくは第２状態のフレーム画像を選択して、一旦画像メモリ５に一時記憶させて、ユーザが選択できるような構成にしてもよい。
（４）本実施形態では、制御部７は、顔検出処理、瞬き検出処理及び瞬き判定処理をモニタ１００に表示された画像に基づいて行ったが、画像メモリ５に一時的に記憶された、伸長処理が施された後の画像データに対して直接行ってもよい。また、制御部７は、フレーム画像をモニタ１００に表示させるとともに顔検出処理、瞬き検出処理及び瞬き判定処理をリアルタイムでパラレルに行って、結果を画像メモリに記憶させてもよい。この場合は、一時停止時の画像フレームや一時停止前の画像フレームについては、画像メモリ５を参照するだけで済み、再生させるフレーム画像の選択までの時間を短縮させることができる。
（５）本実施形態のＤＶＤプレーヤ１は、外部のモニタ１００に動画像を表示することとしたが、モニタ一体型のＤＶＤプレーヤであってもよい。また、再生／録画タイプのＤＶＤプレーヤであってもよい。
（６）本発明の動画再生装置は、ＤＶＤプレーヤ１に限られず、ハードディスク内蔵型のプレーヤであってもよい。
【図面の簡単な説明】
【００４８】
【図１】動画像再生装置の一実施形態であるＤＶＤプレーヤ１の構成を示すブロック図
【図２】制御部７で実行されるプログラムＡの模式図
【図３】一時停止操作を受け付けた後に開始される動作の一例を表すフローチャート
【図４】瞬き検出処理の一例を示す図
【符号の説明】
【００４９】
１・・・ＤＶＤプレーヤ、７ａ・・・特徴抽出部、７０・・・顔検出部、７１・・・瞬き検出部、７ｂ・・・フレーム画像選択部、７２・・・瞬き判定部
【特許請求の範囲】
【請求項１】
一時停止の操作を含む動画像再生用の操作を受け付ける操作部と、
複数のフレーム画像からなる動画像データの再生中に、前記操作部が前記一時停止の操作を受け付けた場合、一時停止時と、一時停止前、及び／又は、一時停止後とにおけるフレーム画像から、予め決められた手順に従って画像の特徴をフレーム画像ごとに抽出する特徴抽出部と、
前記特徴抽出部が抽出した特徴に基づいて、最終的な一時停止時のフレーム画像を選択するフレーム画像選択部と、
を備えることを特徴とする動画像再生装置。
【請求項２】
所定の画面から動画の再生を開始させるシークの操作を含む動画像再生用の操作を受け付ける操作部と、
前記操作部が前記シークの操作を受け付けた場合、再生開始時と、再生開始前、及び／又は、再生開始後とにおけるフレーム画像から、予め決められた手順に従って画像の特徴を抽出する特徴抽出部と、
前記特徴抽出部が抽出した特徴に基づいて、最終的な再生開始時のフレーム画像を選択するフレーム画像選択部と、
を備えることを特徴とする動画像再生装置。
【請求項３】
請求項１又は２に記載の動画像再生装置において、
前記特徴抽出部は、
前記フレーム画像の中から顔の領域を検出する顔検出部と、
前記顔の領域から目を抽出し、瞬きの度合いを検出する瞬き検出部と、を備え、
前記フレーム画像選択部は、
前記瞬きの度合いの中から、瞼を閉じた第１状態若しくは瞼が開いた状態から閉じる動作に切り替わる直前の第２状態を判定する瞬き判定部を備え、
前記フレーム画像選択部は、前記第１状態のフレーム画像若しくは前記第２状態のフレーム画像を、最終的な一時停止時若しくは再生開始時のフレーム画像として選択することを特徴とする動画像再生装置。
【請求項４】
請求項３に記載の動画像再生装置において、
前記フレーム画像選択部は、ユーザ入力により前記第１状態のフレーム画像と前記第２状態のフレーム画像とを切り替え可能に前記一時停止時若しくは前記再生開始時のフレーム画像として選択することを特徴とする動画像再生装置。
【請求項１】
一時停止の操作を含む動画像再生用の操作を受け付ける操作部と、
複数のフレーム画像からなる動画像データの再生中に、前記操作部が前記一時停止の操作を受け付けた場合、一時停止時と、一時停止前、及び／又は、一時停止後とにおけるフレーム画像から、予め決められた手順に従って画像の特徴をフレーム画像ごとに抽出する特徴抽出部と、
前記特徴抽出部が抽出した特徴に基づいて、最終的な一時停止時のフレーム画像を選択するフレーム画像選択部と、
を備えることを特徴とする動画像再生装置。
【請求項２】
所定の画面から動画の再生を開始させるシークの操作を含む動画像再生用の操作を受け付ける操作部と、
前記操作部が前記シークの操作を受け付けた場合、再生開始時と、再生開始前、及び／又は、再生開始後とにおけるフレーム画像から、予め決められた手順に従って画像の特徴を抽出する特徴抽出部と、
前記特徴抽出部が抽出した特徴に基づいて、最終的な再生開始時のフレーム画像を選択するフレーム画像選択部と、
を備えることを特徴とする動画像再生装置。
【請求項３】
請求項１又は２に記載の動画像再生装置において、
前記特徴抽出部は、
前記フレーム画像の中から顔の領域を検出する顔検出部と、
前記顔の領域から目を抽出し、瞬きの度合いを検出する瞬き検出部と、を備え、
前記フレーム画像選択部は、
前記瞬きの度合いの中から、瞼を閉じた第１状態若しくは瞼が開いた状態から閉じる動作に切り替わる直前の第２状態を判定する瞬き判定部を備え、
前記フレーム画像選択部は、前記第１状態のフレーム画像若しくは前記第２状態のフレーム画像を、最終的な一時停止時若しくは再生開始時のフレーム画像として選択することを特徴とする動画像再生装置。
【請求項４】
請求項３に記載の動画像再生装置において、
前記フレーム画像選択部は、ユーザ入力により前記第１状態のフレーム画像と前記第２状態のフレーム画像とを切り替え可能に前記一時停止時若しくは前記再生開始時のフレーム画像として選択することを特徴とする動画像再生装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１０−６３０６６（Ｐ２０１０−６３０６６Ａ）
【公開日】平成２２年３月１８日（２０１０．３．１８）
【国際特許分類】
【出願番号】特願２００８−２２９５１２（Ｐ２００８−２２９５１２）
【出願日】平成２０年９月８日（２００８．９．８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２２年３月１８日（２０１０．３．１８）
【国際特許分類】
【出願日】平成２０年９月８日（２００８．９．８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]