画像処理装置および画像処理方法
【課題】シーン内における注目部分の全体的な動きを容易に把握可能とする。
【解決手段】注目部分動き算出部１０３は、所定シーン内の各画面の注目部分、例えば人物、物体などの動きを算出する。滞留数算出部１０４は、所定シーン内の各画面の注目部分の動きに基づいて、各画面の滞留数を算出する。シンボル描画部１０５は、各画面の滞留数に基づいて、代表画像作成部１０２で作成された代表画像の周縁部に、注目部分の動きを示すシンボルを描画する。シーン代表画像として、その周縁部に注目部分の動きを示すシンボルが描画されたものを得ることができる。閲覧者、編集者等は、シーン内における注目部分の全体的な動きを容易に把握可能となる。つまり、閲覧者、編集者等は、シーン内における注目部分の動きを総覧的に知覚することが可能となる。
【解決手段】注目部分動き算出部１０３は、所定シーン内の各画面の注目部分、例えば人物、物体などの動きを算出する。滞留数算出部１０４は、所定シーン内の各画面の注目部分の動きに基づいて、各画面の滞留数を算出する。シンボル描画部１０５は、各画面の滞留数に基づいて、代表画像作成部１０２で作成された代表画像の周縁部に、注目部分の動きを示すシンボルを描画する。シーン代表画像として、その周縁部に注目部分の動きを示すシンボルが描画されたものを得ることができる。閲覧者、編集者等は、シーン内における注目部分の全体的な動きを容易に把握可能となる。つまり、閲覧者、編集者等は、シーン内における注目部分の動きを総覧的に知覚することが可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置および画像処理方法に関し、特に、シーン毎の代表画像に注目部分の動き情報を付加する画像処理装置等に関する。
【背景技術】
【０００２】
従来、撮影された、あるいは作成された画像信号を処理して、シーン毎に、所定画面（例えば、最初の画面等）を選択し、その画面の画像を代表画像とすることが行われている（例えば、特許文献１参照）。この場合、閲覧者、編集者等は、シーン内における注目部分、例えば人物、物体などの全体的な動きを把握することができない。
【０００３】
従来、注目部分の動きを表すために、例えば、図３９に示すように、代表画像の人物、物体などの注目部分に、動きベクトルを貼り付けることなども考えられている。しかし、この場合にあっても、閲覧者、編集者等は、シーン内における全体的な動きを把握することができない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０６−３３３０４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した従来作成されているシーン毎の代表画像、さらには、この代表画像に注目部分に動きベクトルを付加したものにあっては、閲覧者、編集者等は、シーン内における注目部分、例えば人物、物体などの全体的な動きを把握することができなかった。つまり、閲覧者、編集者等は、シーン内における注目部分の動きを総覧的に知覚することができなかった。
【０００６】
この発明の目的は、シーン内における注目部分の全体的な動きを容易に把握可能とすることにある。
【課題を解決するための手段】
【０００７】
この発明の概念は、
所定シーンを構成する各画面の画像に基づいて代表画像を作成する代表画像作成部と、
上記所定シーン内の各画面の注目部分の動きに基づいて、上記代表画像作成部で作成された上記代表画像の周縁部に、上記注目部分の動きを示すシンボルを描画するシンボル描画部と
を備える画像処理装置にある。
【０００８】
この発明においては、代表画像作成部により、所定シーンを構成する各画面の画像に基づいて代表画像が作成される。例えば、代表画像は、所定シーンを構成する各画面の画像から、所定の１画面、例えば先頭の１画面の画像が選択されて代表画像とされる。また、例えば、所定シーンを構成する各画面の画像をつなぎ合わせた和集合画像が代表画像として作成される。また、例えば、所定シーンを構成する各画面の画像を重ね合わせた合成画像が代表画像として作成される。
【０００９】
シンボル描画部により、代表画像作成部で作成された代表画像の周縁部に、注目部分の動きを示すシンボルが描画される。例えば、所定シーンを構成する各画面の注目部分の動きは、所定シーンの画像信号と共に外部から与えられるか、あるいは、注目部分動き算出部により、この所定シーンの画像信号を処理して求められる。この処理は、例えば、編集者の手動操作で選択された、あるいは、自動的に選択された注目部分の動きベクトルを求める処理である。
【００１０】
このように、この発明においては、シーン代表画像の周縁部に注目部分の動きを示すシンボルが描画される。そのため、閲覧者、編集者等は、シーン内における注目部分の全体的な動きを容易に把握可能となる。つまり、閲覧者、編集者等は、シーン内における注目部分の動きを総覧的に知覚することが可能となる。
【００１１】
この発明において、例えば、所定シーン内の各画面の注目部分の動きに基づいて、各画面の注目部分の滞留数を算出する滞留数算出部をさらに備え、滞留数算出部は、所定画面の注目部分において、滞留していると判断するとき、この所定画面の注目部分の滞留数を０にすると共に、滞留カウンタを１だけインクリメントし、滞留していないと判断するとき、１つ前の画面の注目部分の滞留数を滞留カウンタの値とし、この所定画面の注目部分の滞留数を１とすると共に、この滞留カウンタの値を１とし、さらに、最終画面の注目部分の滞留数を滞留カウンタの値とし、シンボル描画部は、滞留数算出部で算出された各画面の注目部分の滞留数に基づいて、代表画像作成部で作成された代表画像の周縁部に、注目部分の動きを示すシンボルを描画する、ようにされる。
【００１２】
また、この発明において、例えば、シンボル描画部は、所定画面の注目部分の滞留数が１以上のとき、代表画像の周縁部のこの所定画面の注目部分に対応した位置に、シンボルを描画する、ようにされる。
【００１３】
また、この発明において、例えば、シンボル描画部は、所定画面の注目部分の滞留数が１以上Ｎ（Ｎは１以上の整数）以下であるとき、代表画像の周縁部の該所定画面の注目部分に対応した位置に、シンボルとして通常シンボルを描画し、所定画面の注目部分の滞留数がＮを超えるとき、代表画像の周縁部の該所定画面の注目部分に対応した位置に、シンボルとして滞留シンボルを描画する、ようにされる。
【００１４】
また、この発明において、例えば、シンボル描画部は、シンボルとして注目部分の動きの方向に直交する方向に延びる線分状のシンボルを描画し、所定画面の注目部分の滞留数がＮ以下で描画する通常シンボルの長さを、この所定画面の注目部分の動きの大きさに対応した長さとする、ようにされる。例えば、出力機器における周縁部の表示領域の注目部分の動きの方向に直交する方向の長さをＨとし、注目部分の動きの中で最大の動きをＭvmaxとし、さらに、各画面の注目部分の動きをＭvとするとき、所定画面の注目部分の滞留数が１以上Ｎ以下で描画される通常シンボルの長さｈは、Ｈ＊Ｍv／Ｍvmaxとされる。この場合、各画面で描画される通常シンボルの長さはその画面の注目部分の動きに対応したものとなり、この通常シンボルが示す情報量を増すことができる。
【００１５】
また、この発明において、例えば、シンボル描画部は、描画されるシンボル間の近接を判定し、この判定結果に応じて、所定画面の注目部分の滞留数が１以上Ｎ以下で描画される通常シンボルの描画態様を変化させる、ようにされる。この場合、例えば、シンボル描画部は、注目部分の動きの方向の１画面分の長さをＳとし、注目部分の動きの中で滞留していないと判定された最小の動きをＶminとし、さらに、出力機器における代表画像の表示領域の注目部分の動きの方向の長さをＷとして、この表示領域上で最も近接しているシンボル間の距離ｄを、Ｗ＊Ｖmin／Ｓの式で算出し、この距離ｄに基づいて、シンボル間の近接を判定する、ようにされる。このように、シンボルの近接判定結果に応じて、所定の画面の滞留数がＮ以下で描画されるシンボルの描画態様を変化させることで、出力機器における代表画像の表示サイズが小さい場合であっても、描画シンボルから注目部分の動きの把握が容易となる。
【００１６】
この発明において、例えば、シンボル描画部は、注目部分の動きの方向の、描画されるシンボル間の距離が出力機器の表示領域上で所定値を超えるように、通常シンボルを所定数の画面毎に描画する、ようにされる。この場合、通常シンボルは間引かれて描画されるため、出力機器における代表画像の表示サイズが小さい場合であっても、描画された通常シンボルが混み合い過ぎて注目部分の動きの把握が困難になるということを防止できる。
【００１７】
この発明において、例えば、シンボル描画部は、シンボルとして注目部分の方向に直交する方向に延びる線分状のシンボルを描画し、出力機器における周縁部の表示領域の、注目部分の動き方向に直交する方向の長さをＨとし、注目部分の動きの中で最大の動きをＭvmaxとし、さらに、各画面の注目部分の動きをＭvとするとき、所定の画面の注目部分の滞留数が１以上Ｎ以下で描画する通常シンボルの長さｈを、Ｈ＊Ｍv／Ｍvmaxとし、所定数の画面毎に描画する通常シンボルを濃く描画し、その他の画面で通常シンボルを薄く描画する、ようにされる。
【００１８】
この場合、濃く描画される通常シンボルは間引かれているため、出力機器における代表画像の表示サイズが小さい場合であっても、描画された通常シンボルが混み合い過ぎて注目部分の動きの把握が困難になるということを防止できる。また、この場合、各画面で描画される通常シンボルの長さはその画面の注目部分の動きに対応したものとなり、この通常シンボルが示す情報量を増すことができる。
【００１９】
また、この発明において、例えば、シンボル描画部は、注目部分の動き方向の、描画されるシンボル間の距離が出力機器の表示領域上で所定値より小さいとき、各画面における前の画面との間の注目部分の動き差分に応じて、加速期間に対応して加速シンボルを描画し、等速期間に対応して等速シンボルを描画し、減速期間に対応して減速シンボルを描画する、ようにされる。
【００２０】
この場合、注目部分の動きを示すシンボルとして縮退シンボル（加速シンボル、等速シンボル、減速シンボル）が描画されるものであり、出力機器における代表画像の表示サイズが小さい場合に、描画されるシンボル数を少なくでき、シンボルが混み合い過ぎて注目部分の動きの把握が困難になるということを防止できる。また、この場合、注目部分の加速期間、等速期間、減速期間を容易に把握可能となる。
【００２１】
また、この発明において、例えば、所定シーン内の各画面の前の画面との間の注目部分の動き差分に基づいて、各画面の等速数を算出する等速数算出部をさらに備え、等速数算出部は、所定の画面において、滞留していると判断するとき、この所定の画面の等速数を０にすると共に、等速カウンタを１だけインクリメントし、滞留していないと判断するとき、１つ前の画面の等速数を等速カウンタの値とし、この所定の画面の等速数を１とすると共に、この等速カウンタの値を１とし、シンボル描画部は、所定の画面の等速数が１以上Ｍ（Ｍは１以上の整数）以下であるとき、代表画像の周縁部のこの所定の画面に対応した位置に、加速シンボルまたは減速シンボルを表示し、所定の画面の等速数がＭを超えるとき、代表画像の周縁部の該所定の画面に対応した位置に、等速シンボルを描画する、ようにされる。
【００２２】
例えば、等速数算出部では、所定画面の注目部分の動き差分が閾値の範囲内にあるか否かにより、等速動きをしているか否かが判断される。また、例えば、滞留数算出部では、所定画面の注目部分において、各画面の注目部分の動き差分を累積していく累積手段の累積値が閾値の範囲内にあるか否かにより等速動きをしているか否かが判断され、さらに、等速動きをしていないと判断されるとき累積手段の累積値は０にリセットされる。
【発明の効果】
【００２３】
この発明によれば、シーン代表画像の周縁部に注目部分の動きを示すシンボルが描画されるため、閲覧者、編集者等は、シーン内における注目部分の全体的な動きを容易に把握可能となる。つまり、閲覧者、編集者等は、シーン内における注目部分の動きを総覧的に知覚することが可能となる。
【図面の簡単な説明】
【００２４】
【図１】この発明の第１の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図２】滞留数算出部における処理手順の一例を示すフローチャートである。
【図３】所定シーンを構成するフレーム（画面）の数が４０の場合において、各フレームの注目部分動きＭｖと、滞留数算出処理で求められる各フレーム（各画面）の滞留数および累積値の一例を示す図である。
【図４】シンボル描画部における処理手順の一例を示すフローチャートである。
【図５】所定シーンを構成するフレーム（画面）の数が４０の場合における各シンボルおよび滞留数の描画例を示す図である。
【図６】滞留ブレＡmvが閾値の範囲内にあるか否かにより滞留か否かを判断する場合における、滞留数算出部の処理手順の一例を示すフローチャートである。
【図７】滞留シンボルに滞留の順序を示すシンボル（滞留ＩＤ）が加えられる場合における、シンボル描画部の処理手順の一例を示すフローチャートである。
【図８】注目部分の動き方向が順方向から逆方向に変更される場合における、各シンボル、滞留数および滞留ＩＤの描画例を示す図である。
【図９】注目部分の動き方向が順方向から逆方向に変更される場合における、各シンボル、滞留数および滞留ＩＤの他の描画例を示す図である。
【図１０】注目部分の動きを示すシンボルの線分以外の例を示す図である。
【図１１】シンボル描画部の処理手順の一例を示すフローチャートである。
【図１２】シンボル描画処理による描画例を示す図である。
【図１３】シンボル描画処理による描画例を示す図である。
【図１４】この発明の第２の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図１５】表示領域上で最も近接しているシンボルの距離ｄを算出するための画面の注目部分の動き方向の長さＳ、出力機器における代表画像の表示領域の注目部分の動き方向の長さＷを示すための図である。
【図１６】シンボル描画部の処理手順の一例を示すフローチャートである。
【図１７】シンボル描画部の処理手順の一例を示すフローチャートである。
【図１８】シンボル描画処理による描画例を示す図である。
【図１９】シンボル描画部の処理手順の一例を示すフローチャートである。
【図２０】シンボル描画処理による描画例を示す図である。
【図２１】シンボル描画部の処理手順の一例を示すフローチャートである。
【図２２】シンボル描画処理による描画例を示す図である。
【図２３】この発明の第３の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図２４】等速数算出部における処理手順の一例を示すフローチャートである。
【図２５】所定シーンを構成するフレーム（画面）の数が４０の場合において、各フレームの注目部分動きＭｖと、この各フレームの注目部分動きＭvにより得られた滞留数、累積値、動き差分、等速数の一例を示す図である。
【図２６】シンボル描画部の処理手順の一例を示すフローチャートである。
【図２７】シンボル描画部の処理手順の一例を示すフローチャートである。
【図２８】シンボル描画処理による描画例を示す図である。
【図２９】加速、等速、減速の縮退シンボルの変形例を示す図である。
【図３０】縮退シンボルを用いた描画例を示す図である。
【図３１】縮退シンボルを用いた描画例を示す図である。
【図３２】この発明の第４の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図３３】シンボル描画部の処理手順の一例を示すフローチャートである。
【図３４】この発明の第５の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図３５】水平方向に延びる被写体を、撮像機（カメラ）で、パン手法を用いて撮影する例を示す図である。
【図３６】シンボル描画処理による描画例を示す図である。
【図３７】シンボル描画処理による描画例を示す図である。
【図３８】表示領域上で最も近接しているシンボルの距離ｄを算出するための画面の全画面動き方向の長さＳ、全画面動きの累積値Ｔ、出力機器における代表画像の表示領域の全画面動き方向の長さＷを示すための図である。
【図３９】代表画像の人物、物体などの動きを伴う注目部分に動きベクトルを貼り付けることなどを説明するための図である。
【発明を実施するための形態】
【００２５】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．第５の実施の形態
【００２６】
＜１．第１の実施の形態＞
［画像処理装置の構成例］
図１は、第１の実施の形態としての画像処理装置１００の構成例を示している。この画像処理装置１００は、画像入力部１０１と、代表画像作成部１０２と、注目部分動き算出部１０３と、滞留数算出部１０４と、シンボル描画部１０５と、出力機器インタフェース（Ｉ／Ｆ）１０６を有している。
【００２７】
画像入力部１０１は、処理対象の画像信号を入力する。この処理対象の画像信号は、例えば、撮像機（カメラ）で撮像されて得られたものであり、撮像機（カメラ）から直接供給され、あるいは、所定の記録媒体から読み出されて供給される。また、この画像入力部１０１は、入力された画像信号を処理してシーンチェンジ点を検出し、入力された画像信号をシーン毎に分割して、各シーンの画像信号を、代表画像作成部１０２および注目部分動き算出部１０３に、順次供給する。
【００２８】
代表画像作成部１０２、注目部分動き算出部１０３、滞留数算出部１０４およびシンボル描画部１０５は、各シーンの処理を、順次行う。ここでは、処理対象のシーンを所定シーンとして、各部を説明する。
【００２９】
代表画像作成部１０２は、所定シーンを構成する各画面の画像信号に基づいて、代表画像を作成する。この場合、例えば、所定シーンを構成する各画面の画像から、所定の１画面、例えば先頭の１画面の画像が選択されて代表画像とされる。また、例えば、所定シーンを構成する各画面の画像を重ね合わせた合成画像が代表画像として作成される。
【００３０】
また、例えば、この所定シーンがパンやチルト手法を用いて撮影されたものである場合、例えば、所定シーンを構成する各画面の画像をつなぎ合わせた和集合画像が代表画像として作成される。この和集合画像を作成する手法については、ここでは詳細説明を省略するが、従来周知であり、特開平０７−２９８１３７号公報、特開平０６−３２６９６５号公報などに詳述されている。例えば、代表画像作成部１０２は、所定シーンを構成する各画面の全画面動き（動きベクトル）を算出し、この算出された各画面の全画面動きに基づいて、各画像をつなぎ合わせて、和集合画像を作成する。
【００３１】
注目部分動き検出部１０３は、所定シーンの画像信号を処理し、この所定シーン内の各画面の注目部分の動き（動きベクトル）を算出する。この注目部分の動きの算出手法については、ここでは詳細説明を省略するが、従来周知であり、例えば、特開２００６−０７３４５号公報などに記載されている。例えば、注目部分動き検出部１０３は、各画面における注目部分を追尾する処理を行うことで、各画面の注目部分の動き（動きベクトル）を順次取得する。
【００３２】
ここで、注目部分、例えば人物、物体などである。この注目部分は、例えば、編集者の手動操作で選択されるか、あるいは、従来周知の顔検出技術や人物検出技術などを用いて自動的に選択される。例えば、上述した特開２００６−０７３４５号公報には、手動操作で選択することが記載されている。
【００３３】
滞留数算出部１０４は、注目部分動き検出部１０３で算出された所定シーン内の各画面の注目部分の動きに基づいて、各画面の注目部分の滞留数を算出する。
【００３４】
［滞留数算出処理］
図２のフローチャートは、滞留数算出部１０４における処理手順の一例を示している。滞留数算出部１０４は、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２の処理に移る。このステップＳＴ２において、滞留数算出部１０４は、滞留カウンタＣの値を０とし、累積値（累積動き量）Ｔの値を０に設定する。そして、滞留数算出部１０４は、ステップＳＴ３において、処理フレーム（処理画面）を最初のフレーム（最初の画面）とする。
【００３５】
次に、滞留数算出部１０４は、ステップＳＴ４において、処理フレームが最終フレーム（最終画面）であるか否かを判断する。処理フレームが最終フレームでないとき、滞留数算出部１０４は、ステップＳＴ５の処理に移る。このステップＳＴ５において、滞留数算出部１０４は、累積値Ｔに、現在フレームの注目部分動きＭｖを加算して、現在フレームにおける累積値Ｔを求め、その累積値Ｔの値を現在フレームの累積値として記録する。
【００３６】
次に、滞留数算出部１０４は、ステップＳＴ６において、滞留か否かを判断する。ここで、滞留数算出部１０４は、現在フレームの注目部分動きＭｖが０であるか否かにより、滞留か否かを判断する。すなわち、滞留数算出部１０４は、Ｍｖが０であるときは滞留であると判断し、Ｍｖが０以上であるときは滞留でないと判断する。
【００３７】
滞留数算出部１０４は、滞留であると判断するとき、ステップＳＴ７の処理に移る。このステップＳＴ７において、滞留数算出部１０４は、現在フレームの滞留数を０とし、滞留カウンタＣの値を１だけインクリメントする。一方、滞留数算出部１０４は、滞留でないと判断するとき、ステップＳＴ８の処理に移る。このステップＳＴ８において、滞留数算出部１０４は、１フレーム（１画面）前の滞留数を滞留カウンタＣの値とすると共に、現在フレームの滞留数を１とし、さらに、ステップＳＴ９において、滞留カウンタＣの値を１とする。
【００３８】
滞留数算出部１０４は、ステップＳＴ７の処理の後、およびステップＳＴ９の処理の後に、ステップＳＴ１０の処理に移る。このステップＳＴ１０において、滞留数算出部１０４は、処理フレームを次のフレームとし、その後に、ステップＳＴ４の処理に戻る。
【００３９】
また、ステップＳＴ４で処理フレームが最終フレームであるとき、滞留数算出部１０４は、ステップＳＴ１１の処理に移る。このステップＳＴ１１において、滞留数算出部１０４は、現在フレーム（＝最終フレーム）の滞留数を滞留カウンタＣの値とする。また、滞留数算出部１０４は、このステップＳＴ１１において、累積値Ｔに、現在フレームの注目部分動きＭｖを加算して、現在フレームにおける累積値Ｔを求め、その累積値Ｔの値を、現在フレーム（＝最終フレーム）の累積値として記録する。そして、滞留数算出部１０４は、ステップＳＴ１２において、処理を終了する。
【００４０】
図３は、所定シーンを構成するフレーム（画面）の数が４０の場合において、各フレームの注目部分動きＭｖと、図２のフローチャートの処理で求められる各フレーム（各画面）の滞留数および累積値の一例を示している。この例おいては、フレーム１からフレーム１０までは注目部分動きＭｖが０であるので連続して滞留と判断される。そして、フレーム１１で注目部分動きＭｖが５０であるので滞留でないと判断される。そのため、フレーム１からフレーム９までの滞留数は０とされ、フレーム１０の滞留数は１０とされる。
【００４１】
また、この例においては、フレーム１１からフレーム２５まで注目部分動きＭｖが０でないので連続して滞留でないと判断される。そのため、フレーム１１からフレーム２５までの滞留数は１とされる。さらに、この例においては、フレーム２６からフレーム３９までは注目部分動きＭｖが０であるので連続して滞留と判断される。そのため、フレーム２６からフレーム３９までの滞留数は０とされ、最終フレームであるフレーム４０の滞留数は１５とされる。
【００４２】
シンボル描画部１０５は、滞留数算出部１０４で算出された各画面の滞留数に基づいて、代表画像作成部１０２で作成された代表画像の周縁部に、注目部分の動きを示すシンボルを描画する。また、シンボル描画部１０５は、周縁部に注目部分の動きを示すシンボルが描画された代表画像の画像信号（画像データ）を、出力機器インタフェース（Ｉ／Ｆ）１０６に供給する。
【００４３】
［シンボル描画処理］
図４のフローチャートは、シンボル描画部１０５における処理手順の一例を示している。シンボル描画部１０５は、ステップＳＴ２１において、処理を開始し、その後に、ステップＳＴ２２の処理に移る。このステップＳＴ２２において、シンボル描画部１０５は、注目部分の動き方向を取得する。例えば、動き方向としては、水平方向、垂直方向、斜め方向（水平方向と垂直方向の双方）などがある。この場合、シンボル描画部１０５は、例えば、注目部分動き算出部１０３で算出される各画面の注目部分の動き（動きベクトル）に基づいて、注目部分の動き方向を取得する。
【００４４】
なお、上述していないが、注目部分の動き方向が一方向（水平方向または垂直方向）である場合には、注目部分動き算出部１０３ではその一方向についての動きが求められ、滞留数算出部１０４ではその一方向の動きについての滞留数（図３参照）が求められる。また、注目部分の動き方向が斜め方向である場合には、注目部分動き算出部１０３では水平方向および垂直方向のそれぞれについての動きが求められ、滞留数算出部１０４では水平方向および垂直方向のそれぞれについての滞留数が求められる。
【００４５】
動き方向が水平方向または垂直方向の一方向である場合には、その一方向についてのみ、以下の各ステップのシンボル描画処理が行われる。また、動き方向が斜め方向で水平方向まおよび垂直方向の双方である場合には、それぞれ方向について、以下の各ステップのシンボル描画処理が行われる。
【００４６】
次に、シンボル描画部１０５は、ステップＳＴ２３において、シンボル描画軸を決定する。この場合、シンボル描画部１０５は、ステップＳＴ２２で取得した注目部分の動き方向に対応するようにシンボル描画軸を決定する。例えば、注目部分の動き方向が水平方向であるとき、シンボル描画軸は、水平方向に決定される。そして、シンボル描画部１０５は、ステップＳＴ２４において、処理フレーム（処理画面）を最初のフレーム（最初の画面）とする。
【００４７】
次に、シンボル描画部１０５は、ステップＳＴ２５において、処理フレームが最終フレーム（最終画面）であるか否かを判断する。処理フレームが最終フレームでないとき、シンボル描画部１０５は、ステップＳＴ２６の処理に移る。このステップＳＴ２６において、シンボル描画部１０５は、滞留数が０であるか、１であるか、あるいは２以上であるかを判断する。
【００４８】
滞留数が０であるとき、シンボル描画部１０５は、ステップＳＴ２７において、処理フレームを次のフレームとし、その後に、ステップＳＴ２５の処理に戻る。また、滞留数が１であるとき、シンボル描画部１０５は、ステップＳＴ２８の処理に移る。このステップＳＴ２８において、シンボル描画部１０５は、代表画像の現在フレーム（現在画面）の注目部分に対応した位置に、シンボルとして通常シンボルを描画する。そして、シンボル描画部１０５は、ステップＳＴ２８の処理の後、ステップＳＴ２７で処理フレームを次のフレームとして、ステップＳＴ２５の処理に戻る。
【００４９】
さらに、滞留数が２以上であるとき、シンボル描画部１０５は、ステップＳＴ２９の処理に移る。このステップＳＴ２９において、シンボル描画部１０５は、代表画像の現在フレーム（現在画面）の注目部分に対応した位置に、シンボルとして滞留シンボルを描画する。この滞留シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルとは区別可能とされる。
【００５０】
また、シンボル描画部１０５は、このステップＳＴ２９において、滞留シンボルの描画位置に対応した位置に滞留数をさらに描画する。そして、シンボル描画部１０５は、ステップＳＴ２９の処理の後、ステップＳＴ２７で処理フレームを次のフレームとして、ステップＳＴ２５の処理に戻る。
【００５１】
また、ステップＳＴ２５で処理フレームが最終フレームであるとき、シンボル描画部１０５は、ステップＳＴ３０の処理に移る。このステップＳＴ３０において、シンボル描画部１０５は、代表画像の現在フレーム（＝最終フレーム）の注目部分に対応した位置に、シンボルとして終端シンボルを描画する。この終端シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルおよび滞留シンボルとは区別可能とされる。
【００５２】
また、シンボル描画部１０５は、このステップＳＴ３０において、終端シンボルの描画位置に対応した位置に滞留数をさらに描画する。そして、シンボル描画部１０５は、ステップＳＴ３０の処理の後、ステップＳＴ３１において、処理を終了する。
【００５３】
図５は、描画例を示している。この例では、注目部分としての人物の動きが斜め方向であり、代表画像の上側の周縁部には水平方向の動きを示すシンボルが描画され、代表画像の左側の周縁部には垂直方向の動きを示すシンボルが描画されている。この例は、所定シーンを構成するフレーム（画面）の数が４０の場合において、各方向について、各フレーム（各画面）の滞留数および累積値が図３に示すようであったときの、各シンボルおよび滞留数の描画例を示している。
【００５４】
なお、この描画例では、各シンボルは線分で表されている。この例においては、フレーム１からフレーム９までは滞留数が０であるのでシンボルの描画は行われない。そして、フレーム１０では滞留数が１０であるので、そのフレームの注目部分に対応した位置（そのフレームの右上位置）に滞留シンボルが描画され、さらに、それに対応した位置に滞留数「１０」が描画される。
【００５５】
また、フレーム１１からフレーム２５までは滞留数が１であるので、そのフレームの注目部分に対応した位置に通常シンボルが描画される。また、フレーム２６からフレーム３９までは滞留数が０であるのでシンボルの描画は行われない。そして、終端のフレーム４０では、そのフレームの注目部分に対応した位置に終端シンボルが描画され、さらに、それに対応した位置に滞留数「１５」が描画される。
【００５６】
出力機器インタフェース１０６は、シンボル描画部１０５から供給される画像データ、つまり周縁部に注目部分の動きを示すシンボルが描画された代表画像の画像信号（画像データ）を、画像表示装置、あるいは記録装置等の出力機器に供給する。例えば、画像表示装置においては、周縁部に注目部分の動きを示すシンボルが描画された代表画像の表示が行われる。また、例えば、記録装置においては、画像入力部１０１に入力された画像信号の各シーンに対応付けされて、各シーンのシンボル描画代表画像の画像信号が、記録媒体に記録される。
【００５７】
［画像処理装置の動作例］
図１に示す画像処理部１００の動作例を説明する。画像入力部１０１に、処理対象の画像信号が入力される。この処理対象の画像信号は、例えば、撮像機（カメラ）で撮像されて得られたものであり、撮像機（カメラ）から直接供給され、あるいは、所定の記録媒体から読み出されて供給される。
【００５８】
画像入力部１０１では、入力された画像信号が処理されてシーンチェンジ点が検出され、入力された画像信号がシーン毎に分割される。そして、画像入力部１０１では、各シーンの画像信号を代表画像作成部１０２および注目部分動き検出部１０３に順次供給することが行われる。
【００５９】
代表画像作成部１０２、注目部分動き検出部１０３、滞留数算出部１０４およびシンボル描画部１０５では、各シーンが順次処理対象のシーン（所定シーン）とされて、処理される。すなわち、代表画像作成部１０２では、所定シーンの画像信号が処理され、この所定シーンを構成する各画面（フレーム）の画像に基づいて、代表画像が作成される。例えば、所定シーンを構成する各画面の画像から、所定の１画面、例えば先頭の１画面の画像が選択されて代表画像とされる。また、例えば、所定シーンを構成する各画面の画像を重ね合わせた合成画像が代表画像として作成される。また、例えば、所定シーンを構成する各画面の画像をつなぎ合わせた和集合画像が代表画像として作成される。
【００６０】
また、注目部分動き算出部１０３では、所定シーンの画像信号が処理され、この所定シーン内の各画面の注目部分の動き（動きベクトル）が算出される。この所定シーン内の各画面の注目部分の動きは、滞留数算出部１０４に供給される。滞留数算出部１０４では、所定シーン内の各画面の注目部分の動きに基づいて、各画面の注目部分の滞留数および累積値が算出される（図２参照）。
【００６１】
滞留数算出部１０４で算出された所定シーン内の各画面の注目部分の滞留数および累積値は、シンボル描画部１０５に供給される。また、このシンボル描画部１０５には、代表画像作成部１０２で作成された代表画像の画像信号（画像データ）が供給される。このシンボル描画部１０５では、各画面の注目部分の滞留数に基づいて、代表画像の周縁部に、注目部分の動きを示すシンボルが描画される（図４参照）。
【００６２】
この場合、滞留数が１である画面においては、代表画像のその画面の注目部分に対応した位置に、シンボルとして通常シンボルが描画される。また、滞留数が２以上である画面においては、代表画像のその画面の注目部分に対応した位置に、シンボルとして滞留シンボルが描画されると共に、それに対応して滞留数も描画される。さらに、終端画面においては、その画面の注目部分に対応した位置に、シンボルとして終端シンボルが描画されると共に、それに対応して滞留数も描画される。
【００６３】
シンボル描画部１０５では、シーン毎に、周縁部に注目部分の動きを示すシンボルが描画された代表画像の画像信号（画像データ）が得られ、この画像信号（画像データ）は出力機器インタフェース（Ｉ／Ｆ）１０６に供給される。出力機器インタフェース１０６では、シンボル描画部１０５から供給される画像信号、つまり周縁部に注目部分の動きを示すシンボルが描画された代表画像の画像信号（画像データ）を、画像表示装置、あるいは記録装置等の出力機器に供給することが行われる。
【００６４】
これにより、例えば、画像表示装置においては、周縁部に注目部分の動きを示すシンボルが描画された代表画像の表示が行われる。また、例えば、記録装置においては、画像入力部１０１に入力された画像信号の各シーンに対応付けされて、各シーンのシンボル描画代表画像の画像信号が、記録媒体に記録される。
【００６５】
以上説明したように、図１に示す画像処理装置１００においては、代表画像作成部１０２により、所定シーンの画像信号が処理され、この所定シーンを構成する各画面の画像に基づいて代表画像が作成される。また、注目部分動き算出部１０３により、所定シーンの画像信号が処理され、この所定シーン内の各画面の注目部分の動きが算出される。また、滞留数算出部１０４により、この算出された所定シーン内の各画面の注目部分の動きに基づいて、所定シーン内の各画面の注目部分の滞留数が算出される。
【００６６】
そして、シンボル描画部１０５により、この算出された所定シーン内の各画面の注目部分の滞留数に基づいて、代表画像作成部１０２で作成された代表画像の周縁部に、注目部分の動きを示すシンボル（通常シンボル、滞留シンボル、終端シンボル）が描画される。したがって、閲覧者、編集者等は、シーン内における注目部分の全体的な動きを容易に把握可能となる。つまり、閲覧者、編集者等は、シーン内における注目部分の動きを総覧的に知覚することが可能となる。
【００６７】
なお、図１に示す画像処理装置１００において、シンボル描画部１０５では、滞留数が１である画面で通常シンボルが描画され、滞留数が２以上である画面で滞留シンボルが描画されるようになっている（図４参照）。しかし、一般に、滞留数が１〜Ｎ（Ｎは１以上の整数）である画面で通常シンボルが描画され、滞留数がＮを超える画面で滞留シンボルが描画されるようにしてもよい。そして、この場合、Ｎの値を、ユーザが、図示しないユーザ操作部により任意に設定可能としてもよい。
【００６８】
また、図１に示す画像処理装置１００において、シンボル描画部１０５は、滞留数算出部１０４で算出された各画面の注目部分の滞留数に基づいて、注目部分の動きを示すシンボル（通常シンボル、滞留シンボル、終端シンボル）を描画するようになっている。しかし、例えば、シーン内の各画面の動きを示すために各画面の注目部分に対応した位置に通常シンボルを描画するという構成も考えられる。その場合、シンボル描画部１０５では、注目部分動き算出部１０３で算出された所定シーン内の各画面の注目部分の動きを直接利用して、シンボル描画を行うことができる。
【００６９】
また、図１に示す画像処理装置１００において、シンボル描画部１０５では、滞留シンボルおよび終端シンボルの描画位置に対応して、滞留数も合わせて描画される。しかし、この滞留数の描画は必ずしも必要なものではない。
【００７０】
［滞留数算出処理の他の例］
上述において、滞留数算出部１０４は、注目部分動き算出部１０３で算出された所定シーン内の各画面の注目部分の動きに基づいて、各画面の注目部分の滞留数を算出する構成となっている。しかし、各画面の注目部分の動きの情報をメタデータとして予め備えている場合、滞留数算出部１０４は、その情報を利用して、各画面の滞留数を算出することが可能となる。その場合には、例えば、画像入力部１０１から滞留数算出部１０４に各画面の注目部分の動きの情報が供給され、注目部分動き算出部１０３は不要となる。
【００７１】
また、上述実施の形態において、滞留数算出部１０４では、現在フレームの注目部分動きＭｖが０であるか否かにより滞留か否かを判断している。しかし、三脚を使用しないで撮影された場合、安価な三脚を使用して撮影された場合、あるいはダウンコンバート／アップコンバートされている場合などがある。このような場合、撮影者の意図や、視聴者の感覚としては「滞留している」とみなしてもよいが、注目部分動き動きとしては微妙に０とは異なる値に算出され、結果的に滞留ではないと判断される場合がある。
【００７２】
そこで、注目部分動きＭｖの累積値を滞留ブレＡmvとして定義し、この滞留ブレＡmvが閾値の範囲内にあるか否かにより、滞留か否かを判断することが考えられる。これにより、視聴者の感覚として滞留しているとみなしてもよい画面を、確実に滞留していると判断させることができる。図６のフローチャートは、その場合における、滞留数算出部１０４の処理手順の一例を示している。
【００７３】
滞留数算出部１０４は、ステップＳＴ４１において、処理を開始し、その後に、ステップＳＴ４２の処理に移る。このステップＳＴ４２において、滞留数算出部１０４は、滞留カウンタＣの値を０とし、注目部分動きＭｖの累積値（累積動き量）Ｔの値を０とし、さらに滞留ブレＡmvを０に設定する。そして、滞留数算出部１０４は、ステップＳＴ４３において、処理フレーム（処理画面）を最初のフレーム（最初の画面）とする。
【００７４】
次に、滞留数算出部１０４は、ステップＳＴ４４において、処理フレームが最終フレーム（最終画面）であるか否かを判断する。処理フレームが最終フレームでないとき、滞留数算出部１０４は、ステップＳＴ４５の処理に移る。このステップＳＴ４５において、滞留数算出部１０４は、累積値Ｔに、現在フレームの注目部分動きＭｖを加算して、現在フレームにおける累積値Ｔを求め、その累積値Ｔの値を現在フレームの累積値として記録する。また、滞留数算出部１０４は、このステップＳＴ４５において、滞留ブレＡmvに注目部分動きＭｖを加算して、滞留ブレＡmvを更新する。
【００７５】
次に、滞留数算出部１０４は、ステップＳＴ４６において、滞留か否かを判断する。ここで、滞留数算出部１０４は、滞留ブレＡmvが閾値の範囲内か否かにより、滞留か否かを判断する。すなわち、滞留数算出部１０４は、Ａmvが閾値の範囲内にあるときは滞留であると判断し、Ａmvが閾値の範囲を超えるときは滞留でないと判断する。
【００７６】
滞留数算出部１０４は、滞留であると判断するとき、ステップＳＴ４７の処理に移る。このステップＳＴ４７において、滞留数算出部１０４は、現在フレームの滞留数を０とし、滞留カウンタＣの値を１だけインクリメントする。また、滞留数算出部１０４は、このステップＳＴ４７において、滞留ブレＡmvの最大値および最小値を記録する。この記録情報は、滞留でないと判断される場合の滞留ブレＡmvがどの程度であったかを示す情報（メタデータ）となる。例えば、この情報に基づいて、閾値を適応的に変化させることも考えられる。
【００７７】
一方、滞留数算出部１０４は、滞留でないと判断するとき、ステップＳＴ４８の処理に移る。このステップＳＴ４８において、滞留数算出部１０４は、１フレーム（１画面）前の滞留数を滞留カウンタＣの値とすると共に、現在フレームの滞留数を１とする。そして、滞留数算出部１０４は、ステップＳＴ４９において、滞留カウンタＣの値を１とし、滞留ブレＡmvを０にリセットする。
【００７８】
滞留数算出部１０４は、ステップＳＴ４７の処理の後、およびステップＳＴ４９の処理の後に、ステップＳＴ５０の処理に移る。このステップＳＴ５０において、滞留数算出部１０４は、処理フレームを次のフレームとし、その後に、ステップＳＴ４４の処理に戻る。
【００７９】
また、ステップＳ４４で処理フレームが最終フレームであるとき、滞留数算出部１０４は、ステップＳＴ５１の処理に移る。このステップＳＴ５１において、滞留数算出部１０４は、現在フレーム（＝最終フレーム）の滞留数を滞留カウンタＣの値とする。また、滞留数算出部１０４は、このステップＳＴ５１において、累積値Ｔに現在フレームの注目部分動きＭｖを加算して、現在フレームにおける累積値Ｔを求め、その累積値Ｔを記録する。そして、滞留数算出部１０４は、ステップＳＴ５２において、処理を終了する。
【００８０】
なお、上述では注目部分動きＭｖの累積値である滞留ブレＡmvが閾値の範囲内か否かにより滞留か否かを判断している。さらに、各画面（各フレーム）において、その画面の注目部分動きＭｖが閾値の範囲内か否かにより滞留か否かを判断することも考えられる。その場合においても、滞留であると判断するとき、注目部分動きＭｖの最大値および最小値を記録するようにされる。この記録情報は、滞留でないと判断される場合の注目部分動きＭｖがどの程度であるかを示す注目部分動きＭｖの挙動情報（メタデータ）となる。例えば、この情報に基づいて、閾値を適応的に変化させることも考えられる。
【００８１】
［シンボル描画処理の他の例］
また、上述において、注目部分の動きが単方向の場合を例にとって示した。しかし、注目部分の動きが双方向の場合も考えられる。この場合、注目部分の動き方向が順方向（第１の方向）にある各画面に対応したシンボルの描画位置と、注目部分の動き方向が逆方向（第２の方向）にある各画面に対応したシンボルの描画位置とは、例えば、順方向および逆方向と直交する方向にずれるようにされる。これにより、それぞれの方向への注目部分の動きを示すシンボルが重なることがなく、見やすくできる。また、この場合、終端シンボルだけでは画像の動きがわかりにくいことがあるので、滞留シンボルに、滞留の順序を示すシンボル（滞留ＩＤ）が加えられる。
【００８２】
図７のフローチャートは、その場合におけるシンボル描画部１０５の処理手順の一例を示している。シンボル描画部１０５は、ステップＳＴ６１において、処理を開始し、その後に、ステップＳＴ６２の処理に移る。このステップＳＴ６２において、シンボル描画部１０５は、注目部分の動き方向を取得する。例えば、動き方向としては、水平方向、垂直方向、斜め方向（水平方向と垂直方向の双方）などがある。この場合、シンボル描画部１０５は、例えば、注目部分算出部１０３で算出される各画面の注目部分の動き（動きベクトル）に基づいて、注目部分の動き方向を取得する。
【００８３】
次に、シンボル描画部１０５は、ステップＳＴ６３において、シンボル描画軸を決定する。この場合、シンボル描画部１０５は、ステップＳＴ６２で取得した注目部分の動き方向に対応するようにシンボル描画軸を決定する。そして、シンボル描画部１０５は、ステップＳＴ６４において、処理フレーム（処理画面）を最初のフレーム（最初の画面）とし、さらに、ステップＳＴ６５において、滞留ＩＤを１とする。
【００８４】
次に、シンボル描画部１０５は、ステップＳＴ６６において、処理フレームが最終フレーム（最終画面）であるか否かを判断する。処理フレームが最終フレームでないとき、シンボル描画部１０５は、ステップＳＴ６７において、注目部分の動き方向が順方向から逆方向に変更になったか否かを判断する。方向が変更になっていないとき、シンボル描画部１０５は、直ちに、ステップＳＴ６８の処理に移る。一方、方向が変更になっているとき、シンボル描画部１０５は、ステップＳＴ６９において、描画位置を、上述の順方向および逆方向と直交する方向にシフトした後に、ステップＳＴ６８の処理に移る。
【００８５】
ステップＳＴ６８において、シンボル描画部１０５は、滞留数が０であるか、１であるか、あるいは２以上であるかを判断する。滞留数が０であるとき、シンボル描画部１０５は、ステップＳＴ７０において、処理フレームを次のフレームとし、その後に、ステップＳＴ６６の処理に戻る。また、滞留数が１であるとき、シンボル描画部１０５は、ステップＳＴ７１の処理に移る。このステップＳＴ７１において、シンボル描画部１０５は、代表画像の現在フレーム（処理画面）の注目部分に対応した位置に、シンボルとして通常シンボルを描画する。そして、シンボル描画部１０５は、ステップＳＴ７１の処理の後、ステップＳＴ７０で処理フレームを次のフレームとして、ステップＳＴ６６の処理に戻る。
【００８６】
さらに、滞留数が２以上であるとき、シンボル描画部１０５は、ステップＳＴ７２の処理に移る。このステップＳＴ７２において、シンボル描画部１０５は、代表画像の現在フレーム（処理画面）の注目部分に対応した位置に、シンボルとして滞留シンボルを描画する。この滞留シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルとは区別可能とされる。
【００８７】
また、シンボル描画部１０５は、このステップＳＴ７２において、滞留シンボルの描画位置に対応した位置に滞留数を描画する。さらに、シンボル描画部１０５は、この滞留シンボルの描画位置に対応した位置に、滞留の順序を示すシンボルとしての滞留ＩＤを描画すると共に、滞留ＩＤを１だけインクリメントする。シンボル描画部１０５は、ステップＳＴ７２の処理の後、ステップＳＴ７０で処理フレームを次のフレームとして、ステップＳＴ６６の処理に戻る。
【００８８】
また、ステップＳＴ６６で処理フレームが最終フレームであるとき、シンボル描画部１０５は、ステップＳＴ７３の処理に移る。このステップＳＴ７３において、シンボル描画部１０５は、代表画像の現在フレーム（＝最終フレーム）の注目部分に対応した位置に、シンボルとして終端シンボルを描画する。この終端シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルおよび滞留シンボルとは区別可能とされる。
【００８９】
また、シンボル描画部１０５は、このステップＳＴ７３において、終端シンボルの描画位置に対応した位置に滞留数を描画する。さらに、シンボル描画部１０５は、この終端シンボルの描画位置に対応した位置に、滞留の順序を示すシンボルとしての滞留ＩＤを描画する。そして、シンボル描画部１０５は、ステップＳＴ７３の処理の後、ステップＳＴ７４において、処理を終了する。
【００９０】
図８は、各シンボル、滞留数および滞留ＩＤの描画例を示している。なお、この描画例では、ゴルフクラブのヘッドが注目部分であって、このヘッドの動きを示す各シンボルは線分で表されている。この例においては、滞留ＩＤは、丸数字で表されている。水平方向の動きについて説明する。滞留ＩＤとして丸数字の１が対応して描画されている滞留シンボルの描画位置は最初の滞留位置であり、この位置に１５画面（フレーム）だけ滞留していることが分かる。また、滞留ＩＤとして丸数字の２が対応して描画されている滞留シンボルの描画位置は、２番目の滞留位置であり、この位置に３画面（フレーム）だけ滞留していることが分かる。
【００９１】
そして、その後に、注目部分の動き方向が順方向から逆方向に変更される。そのため、シンボルの描画位置がシフトされている。この例においては、注目部分の動き方向が逆方向に変更された後のシンボルの描画位置は、反対側の辺とされている。滞留ＩＤとして丸数字の３が対応して描画されている終端シンボルの描画位置が最終画面（最終フレーム）の位置であり、この位置に１５画面（フレーム）だけ滞留していることが分かる。
【００９２】
次に、垂直方向の動きについて説明する。滞留ＩＤとして丸数字の１が対応して描画されている滞留シンボルの描画位置は最初の滞留位置であり、この位置に１５画面（フレーム）だけ滞留していることが分かる。また、滞留ＩＤとして丸数字の２が対応して描画されている終端シンボルの描画位置が最終画面（最終フレーム）の位置であり、この位置に１５画面（フレーム）だけ滞留していることが分かる。この垂直方向に関しては、注目部分の動き方向は順方向のままである。
【００９３】
図９（ａ）は、各シンボル、滞留数および滞留ＩＤの他の描画例を示している。この描画例は、基本的には、図８に示す描画例と同様である。この例においては、注目部分の動き方向が逆方向に変更された後のシンボルの描画位置は、同じ辺側の垂直方向にずらした位置とされている。また、図９（ｂ）は、各シンボル、滞留数および滞留ＩＤの他の描画例を示している。この描画例も、基本的には、図８に示す描画例と同様である。この例においても、注目部分の動き方向が逆方向に変更された後のシンボルの描画位置は、同じ辺側の垂直方向にずらした位置とされている。ただし、図９（ａ）とは、順方向のシンボル描画位置と、逆方向のシンボル描画位置とが、置き換えられている。
【００９４】
なお、図８および図９の描画例では、滞留ＩＤが丸数字である場合を示した。しかし、1，2，3などの各種数字の他、Ａ，Ｂ，Ｃ・・・、ア、イ、ウ・・・、イ、ロ、ハ・・・などのように、自明的に順序がわかるようなシンボル、あるいは、▽印のように明示的に進行方向を示すシンボルを用いてもよい。
【００９５】
また、上述では、図５、図８、図９に示すように、注目部分の動きを示すシンボルが線分である例を示した。しかし、線分による表示の他に、数字、図１０（ａ）に示すようなシンボル、図１０（ｂ）に示すようなグラフ的図形、図１０（ｃ）に示すようなグラデーション、あるいは色合いといったものによる表示も考えられる。
【００９６】
［シンボル描画処理の他の例］
また、上述において、シンボル描画部１０５で描画される各通常シンボルは同じ長さの線分で表されている。しかし、この通常シンボルの長さを、各画面の注目部分の動きに応じた長さとすることが考えられる。この場合、例えば、所定の画面で描画される通常シンボルの長さｈは、Ｈ＊Ｍv／Ｍvmaxとされる。ここで、出力機器における周縁部の表示領域の注目部分の動きの方向（注目部分動き方向）に直交する方向の長さをＨとし、注目部分の動きの中で最大の動きをＭvmaxとし、さらに、各画面の注目部分の動きをＭvとしている。
【００９７】
図１１のフローチャートは、その場合におけるシンボル描画部１０５の処理手順の一例を示している。この図１１において、図４と対応するステップには同一の符号を付して示し、その詳細説明は省略する。この図１１のフローチャートにおいては、図４のフローチャートのステップＳＴ２８の代わりに、ステップＳＴ２８Ａが挿入されている。
【００９８】
シンボル描画部１０５は、ステップＳＴ２８Ａにおいて、滞留数が１であるとき、ステップＳＴ２８Ａの処理に移る。このステップＳＴ２８Ａにおいて、シンボル描画部１０５は、代表画像の現在フレーム（現在画面）の注目部分に対応した位置に、シンボルとして通常シンボルを描画する。この場合、シンボル描画部１０５は、描画する通常シンボルの長さｈを、上述したように、Ｈ＊Ｍv／Ｍvmaxとし、現在フレームの注目部分の動きの大きさＭvに対応した長さとする。
【００９９】
シンボル描画部１０５は、このステップＳＴ２８Ａの処理の後、ステップＳＴ２７で処理フレームを次のフレームとして、ステップＳＴ２５の処理に戻る。なお、詳細説明は省略するが、この図１１のフローチャートにおけるその他のステップは、図４のフローチャートの対応する処理と同様である。
【０１００】
図１２（ａ）は、図１１のフローチャートによるシンボル描画処理による描画例を示している。この描画例は、所定シーンを構成するフレーム（画面）の数が４０の場合であって、各フレーム（各画面）の滞留数および累積値が図３に示すようであったときの例である。この描画例では、上述の図５に示す描画例とは異なり、通常シンボルの長さが、注目部分の動きの大きさに対応した長さとなっている。図１２（ｂ）は、図１２（ａ）におけるシンボル部分を拡大して示したものでる。上述したように通常シンボルの長さｈがＨ＊Ｍv／Ｍvmaxとされるので、注目部分の動きの中で最大の動きＭvmaxの画面で描画される通常シンボルの長さｈはＨとなっている。
【０１０１】
また、図１３も、図１１のフローチャートによるシンボル描画処理による描画例を示している。この描画例は、所定シーンを構成するフレーム（画面）の数が４００の場合の例である。この場合、描画される通常シンボルが混み合った状態（塗りつぶされた状態）となっている。しかし、通常シンボルの長さが注目部分の動きの大きさに対応した長さとされているため、画面の細かな動きは分からないが、包絡線により、各画面の注目部分の動きのおおよその傾向を把握可能となる。
【０１０２】
このように、図１１のフローチャートによるシンボル描画処理を行うことで、各画面で描画される通常シンボルの長さはその画面の注目部分の動きに対応したものとなり、この通常シンボルが示す情報量を増すことができる。[TY1]
【０１０３】
［シンボル描画処理の他の例］
また、上述において、シンボル描画部１０５では、滞留数が１（一般には滞留数が１〜Ｎ（Ｎは以上の整数））となる画面の全てで通常シンボルが描画されている。この場合、描画された通常シンボルが混み合って重複を起こす可能性がある。そのため、描画されるシンボル間の近接を判定し、その判定結果に応じて、通常シンボルの描画態様を変化させることが考えられる。
【０１０４】
＜２．第２の実施の形態＞
［画像処理装置の構成例］
図１４は、第２の実施の形態としての画像処理装置１００Ｂの構成例を示している。この画像処理装置１００Ｂは、画像入力部１０１と、代表画像作成部１０２と、注目部分動き算出部１０３と、滞留数算出部１０４と、シンボル描画部１０５Ｂと、出力機器インタフェース（Ｉ／Ｆ）１０６と、間引き数算出部１０８を有している。この図１４において、図１と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
【０１０５】
例えば、表示領域上で最も近接しているシンボル間の距離ｄが算出され、この距離ｄに基づいて、シンボル間の近接が判定される。距離ｄは、画面の注目部分の動き方向の長さＳ、注目部分の動きの中で滞留していないと判定された最小の動きＶminおよび出力機器における代表画像の表示領域の注目部分の動き方向の長さＷを用い、（１）式で算出される。図１５は、長さＳ、累積値Ｔおよび長さＷが、どこに対応しているかを示している。
ｄ＝Ｗ＊Ｖmin／Ｓ ・・・（１）
【０１０６】
シンボル描画部１０５Ｂでは、表示領域上で最も近接しているシンボル間の距離ｄが所定値を超えるように、通常シンボルを所定数の画面毎に描画することが考えられる。この場合、通常シンボルは間引きされて描画される。図１６のフローチャートは、その場合における間引き数ｎを求める間引き数算出部１０８の処理手順の一例を示している。
【０１０７】
間引き数算出部１０８は、ステップＳＴ４１において、処理を開始し、その後に、ステップＳＴ４２の処理に移る。このステップＳＴ４２において、間引き数算出部１０８は、注目部分の動き方向を取得する。例えば、動き方向としては、水平方向、垂直方向、斜め方向（水平方向と垂直方向の双方）などがある。この場合、間引き数算出部１０８は、例えば、注目部分動き算出部１０３で算出される各画面の注目部分の動き（動きベクトル）に基づいて、注目部分の動き方向を取得する。
【０１０８】
次に、間引き数算出部１０８は、ステップＳＴ４３において、シンボル描画軸を決定する。この場合、シンボル描画部１０５は、ステップＳＴ４２で取得した注目部分の動き方向に対応するようにシンボル描画軸を決定する。例えば、注目部分の動き方向が水平方向であるとき、シンボル描画軸は、水平方向に決定される。
【０１０９】
次に、間引き数算出部１０８は、表示枠の大きさＷ、つまり上述した出力機器における代表画像の表示領域の注目部分の動き方向の長さＷを取得する。この長さＷの情報は、例えば、ユーザ操作により与えられるか、あるいは出力機器インタフェース１０６を通じて出力機器から自動的に取得される。
【０１１０】
次に、間引き数算出部１０８は、ステップＳＴ４５において、フレームの合算数ｎを１とする。そして、シンボル描画部１０５は、ステップＳＴ４６において、合算後のフレームの最小動きＶminに対して、上述の（１）式で、距離ｄを算出する。そして、間引き数算出部１０８は、ステップＳＴ４７において、この算出された距離ｄが、描画シンボルの弁別可能な値（例えば２）であるか否かを判別する。距離ｄが描画シンボルの大きさに比べて小さいときは、ユーザにとって描画された描画シンボルが見にくいものであることが想定される。
【０１１１】
距離ｄが描画シンボルの弁別が可能な値であるとき、間引き数算出部１０８は、ステップＳＴ４８のシンボル描画部１０５Ｂの処理に移る。一方、距離ｄが描画シンボルの弁別が可能な値でないとき、間引き数算出部１０８は、ステップＳＴ４９の処理に移る。このステップＳＴ４９において、間引き数算出部１０８は、フレームの合算数ｎを１だけインクリメントする。そして、間引き数算出部１０８は、ステップＳＴ５０において、注目部分の動きをｎフレーム毎に合算して、その後に、ステップＳＴ４６の処理に戻る。
【０１１２】
図１７のフローチャートは、図１６のフローチャートにおけるステップＳＴ４８のシンボル描画処理を示している。シンボル描画部１０５Ｂは、ステップＳＴ５１において、処理を開始し、その後に、ステップＳＴ５２の処理に移る。このステップＳＴ５２において、シンボル描画部１０５Ｂは、処理フレーム（処理画面）を最初のフレーム（最初の画面）とする。つまり、処理フレームのフレーム番号ｋを０とする。また、間引き数ｎを表示する
【０１１３】
次に、シンボル描画部１０５Ｂは、ステップＳＴ５３において、処理フレームが最終フレーム（最終画面）であるか否かを判断する。処理フレームが最終フレームでないとき、シンボル描画部１０５Ｂは、ステップＳＴ５４の処理に移る。このステップＳＴ５４において、シンボル描画部１０５Ｂは、滞留数が０であるか、１であるか、あるいは２以上であるかを判断する。
【０１１４】
滞留数が０であるとき、シンボル描画部１０５Ｂは、シンボルを描画せず、ステップＳＴ５５において、処理フレームを次のフレームとし、その後に、ステップＳＴ５３の処理に戻る。また、滞留数が１であるとき、シンボル描画部１０５Ｂは、ステップＳＴ５６の処理に移る。このステップＳＴ５６において、シンボル描画部１０５Ｂは、現在のフレーム番号ｋがｎの倍数か否かを判別する。
【０１１５】
シンボル描画部１０５Ｂは、フレーム番号ｋがｎの倍数であるとき、ステップＳＴ５７の処理に移る。このステップＳＴ５７において、シンボル描画部１０５Ｂは、代表画像の現在フレーム（現在画面）の注目部分に対応した位置に、シンボルとして通常シンボルを描画する。そして、シンボル描画部１０５Ｂは、ステップＳＴ５７の処理の後、ステップＳＴ５５で処理フレームを次のフレームとして、ステップＳＴ５３の処理に戻る。一方、フレーム番号ｋがｎの倍数でないとき、シンボル描画部１０５Ｂは、シンボルを描画せず、ステップＳＴ５５において、処理フレームを次のフレームとし、その後に、ステップＳＴ５３の処理に戻る。これにより、通常シンボルの描画はｎフレームで１回だけ行われ、間引きが行われる。
【０１１６】
また、ステップＳＴ５４で滞留数が２以上であるとき、シンボル描画部１０５Ｂは、ステップＳＴ５８の処理に移る。このステップＳＴ５８において、シンボル描画部１０５Ｂは、代表画像の現在フレーム（現在画面）の注目部分に対応した位置に、シンボルとして滞留シンボルを描画する。この滞留シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルとは区別可能とされる。
【０１１７】
また、シンボル描画部１０５Ｂは、このステップＳＴ５８において、滞留シンボルの描画位置に対応した位置に滞留数をさらに描画する。そして、シンボル描画部１０５Ｂは、ステップＳＴ５８の処理の後、ステップＳＴ５５で処理フレームを次のフレームとして、ステップＳＴ５３の処理に戻る。
【０１１８】
また、ステップＳＴ５３で処理フレームが最終フレームであるとき、シンボル描画部１０５Ｂは、ステップＳＴ５９の処理に移る。このステップＳＴ５９において、シンボル描画部１０５Ｂは、代表画像の現在フレーム（＝最終フレーム）の注目部分に対応した位置に、シンボルとして終端シンボルを描画する。この終端シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルおよび滞留シンボルとは区別可能とされる。
【０１１９】
また、シンボル描画部１０５Ｂは、このステップＳＴ５９において、終端シンボルの描画位置に対応した位置に滞留数をさらに描画する。そして、シンボル描画部１０５Ｂは、ステップＳＴ５９の処理の後、ステップＳＴ６０において、処理を終了する。
【０１２０】
図１８は、図１６、図１７のフローチャートによるシンボル描画処理による描画例を示している。この描画例は、所定シーンを構成するフレーム（画面）の数が４００、そしてｎ＝１０の場合の例である。このように、図１６、図１７のフローチャートによるシンボル描画処理を行うことで、通常シンボルは間引かれて描画される。そのため、出力機器における代表画像の表示サイズが小さい場合であっても、描画された通常シンボルが混み合い過ぎて注目部分の動きの把握が困難になるということを防止できる。
【０１２１】
なお、図１６のフローチャートの処理では、距離ｄが描画シンボルの弁別が可能な値となるまで、ｎを１から変化させていき、間引きの割合に関係する最終的なｎの値を得るようにしている。しかし、ｎの値の求め方は、これに限定されるものではない。例えば、単純に、ｎの値を、ｄの逆数１／ｄに近い整数値としてもよい。また、例えば、ｎを１から変化させていく代わりに、ｄの逆数１／ｄに近い整数値から増減して、最終的なｎの値を得るようにしてもよい。
【０１２２】
［画像処理装置の動作例］
図１４に示す画像処理部１００Ｂの動作例を説明する。画像入力部１０１に、処理対象の画像信号が入力される。この処理対象の画像信号は、例えば、撮像機（カメラ）で撮像されて得られたものであり、撮像機（カメラ）から直接供給され、あるいは、所定の記録媒体から読み出されて供給される。
【０１２３】
画像入力部１０１では、入力された画像信号が処理されてシーンチェンジ点が検出され、入力された画像信号がシーン毎に分割される。そして、画像入力部１０１では、各シーンの画像信号を代表画像作成部１０２および注目部分動き検出部１０３に順次供給することが行われる。
【０１２４】
代表画像作成部１０２、注目部分動き検出部１０３、滞留数算出部１０４およびシンボル描画部１０５Ｂでは、各シーンが順次処理対象のシーン（所定シーン）とされて、処理される。すなわち、代表画像作成部１０２では、所定シーンの画像信号が処理され、この所定シーンを構成する各画面（フレーム）の画像に基づいて、代表画像が作成される。例えば。所定シーンを構成する各画面の画像から、所定の１画面、例えば先頭の１画面の画像が選択されて代表画像とされる。また、例えば、所定シーンを構成する各画面の画像を重ね合わせた合成画像が代表画像として作成される。また、例えば、所定シーンを構成する各画面の画像をつなぎ合わせた和集合画像が代表画像として作成される。
【０１２５】
また、注目部分動き算出部１０３では、所定シーンの画像信号が処理され、この所定シーン内の各画面の注目部分の動き（動きベクトル）が算出される。この所定シーン内の各画面の注目部分の動きは、滞留数算出部１０４に供給される。滞留数算出部１０４では、所定シーン内の各画面の注目部分の動きに基づいて、各画面の注目部分の滞留数および累積値が算出される（図２参照）。また、間引き数算出部１０８では、表示領域上で最も近接しているシンボル間の距離ｄが算出され、この距離ｄに基づいてシンボル間の近接が判定されて、間引き数が算出される。
【０１２６】
滞留数算出部１０４で算出された所定シーン内の各画面の注目部分の滞留数および累積値は、シンボル描画部１０５Ｂに供給される。また、間引き数産出部１０８で算出された間引き数がシンボル描画部１０５Ｂに供給される。さらに、このシンボル描画部１０５Ｂには、代表画像作成部１０２で作成された代表画像の画像信号（画像データ）が供給される。このシンボル描画部１０５Ｂでは、間引き数の倍数フレーム毎に、各画面の注目部分の滞留数に基づいて、代表画像の周縁部に、注目部分の動きを示すシンボルが描画される（図４参照）。
【０１２７】
シンボル描画部１０５Ｂでは、シーン毎に、周縁部に注目部分の動きを示すシンボルが描画された代表画像の画像信号（画像データ）が得られ、この画像信号（画像データ）は出力機器インタフェース（Ｉ／Ｆ）１０６に供給される。出力機器インタフェース１０６では、シンボル描画部１０５Ｂから供給される画像信号、つまり周縁部に注目部分の動きを示すシンボルが描画された代表画像の画像信号（画像データ）を、画像表示装置、あるいは記録装置等の出力機器に供給することが行われる。
【０１２８】
これにより、例えば、画像表示装置においては、周縁部に注目部分の動きを示すシンボルが描画された代表画像の表示が行われる。また、例えば、記録装置においては、画像入力部１０１に入力された画像信号の各シーンに対応付けされて、各シーンのシンボル描画代表画像の画像信号が、記録媒体に記録される。
【０１２９】
以上説明したように、図１４に示す画像処理装置１００Ｂにおいては、代表画像作成部１０２により、所定シーンの画像信号が処理され、この所定シーンを構成する各画面の画像に基づいて代表画像が作成される。また、注目部分動き算出部１０３により、所定シーンの画像信号が処理され、この所定シーン内の各画面の注目部分の動きが算出される。また、滞留数算出部１０４により、この算出された所定シーン内の各画面の注目部分の動きに基づいて、所定シーン内の各画面の注目部分の滞留数が算出される。
【０１３０】
そして、シンボル描画部１０５Ｂにより、この算出された所定シーン内の各画面の注目部分の滞留数に基づいて、代表画像作成部１０２で作成された代表画像の周縁部に、注目部分の動きを示すシンボル（通常シンボル、滞留シンボル、終端シンボル）が描画される。したがって、閲覧者、編集者等は、シーン内における注目部分の全体的な動きを容易に把握可能となる。つまり、閲覧者、編集者等は、シーン内における注目部分の動きを総覧的に知覚することが可能となる。
【０１３１】
また、図１４に示す画像処理装置１００Ｂにおいては、間引き数算出部１０８では、表示領域上で最も近接しているシンボル間の距離ｄが算出され、この距離ｄに基づいてシンボル間の近接が判定されて、間引き数が算出される。そして、シンボル描画部１０５Ｂでは、間引き数の倍数フレーム毎に、各画面の注目部分の滞留数に基づいて、代表画像の周縁部に、注目部分の動きを示すシンボルが描画される（図４参照）。そのため、出力機器における代表画像の表示サイズが小さい場合であっても、描画された通常シンボルが混み合い過ぎて注目部分の動きの把握が困難になるということを防止できる。
【０１３２】
［シンボル描画処理の他の例］
また、上述の図１７のフローチャートの処理では、シンボル描画部１０５Ｂで描画される各通常シンボルは同じ長さの線分で表されている。しかし、この通常シンボルの長さを、各画面の注目部分の動きに応じた長さとすることが考えられる。この場合、例えば、所定の画面で描画される通常シンボルの長さｈは、Ｈ＊Ｍv／Ｍvmaxとされる。ここで、出力機器における周縁部の表示領域の注目部分の動き方向に直交する方向の長さをＨとし、注目部分の動きの中で最大の動きをＭvmaxとし、さらに、各画面の注目部分の動きをＭvとしている。
【０１３３】
図１９のフローチャートは、その場合におけるシンボル描画部１０５Ｂの処理手順の一例を示している。この図１９において、図１７と対応するステップには同一の符号を付して示し、その詳細説明は省略する。この図１９のフローチャートにおいては、図１７のフローチャートのステップＳＴ５７の代わりに、ステップＳＴ５７Ａが挿入されている。
【０１３４】
シンボル描画部１０５Ｂは、ステップＳＴ５６でフレーム番号ｋがｎの倍数であるとき、ステップＳＴ５７Ａの処理に移る。このステップＳＴ５７Ａにおいて、シンボル描画部１０５Ｂは、代表画像の現在フレーム（現在画面）の注目部分に対応した位置に、シンボルとして通常シンボルを描画する。この場合、シンボル描画部１０５Ｂは、描画する通常シンボルの長さｈを、上述したように、Ｈ＊Ｍv／Ｍvmaxとし、現在フレームの注目部分の動きの大きさＭvに対応した長さとする。
【０１３５】
シンボル描画部１０５Ｂは、このステップＳＴ５７Ａの処理の後、ステップＳＴ５５で処理フレームを次のフレームとして、ステップＳＴ５３の処理に戻る。なお、詳細説明は省略するが、この図１９のフローチャートにおけるその他のステップは、図１７のフローチャートの対応する処理と同様である。
【０１３６】
図２０は、図１９のフローチャートによるシンボル描画処理による描画例を示している。この描画例は、所定シーンを構成するフレーム（画面）の数が４００、そしてｎ＝１０の場合の例である。このように、図１９のフローチャートによるシンボル描画処理を行うことで、通常シンボルは間引かれて描画される。そのため、出力機器における代表画像の表示サイズが小さい場合であっても、描画された通常シンボルが混み合い過ぎて注目部分の動きの把握が困難になるということを防止できる。また、図１９のフローチャートによるシンボル描画処理を行うことで、フレーム番号ｋがｎの倍数毎に描画される通常シンボルの長さはその画面の注目部分の動きに対応したものとなり、この通常シンボルが示す情報量を増すことができる。
【０１３７】
［シンボル描画処理の他の例］
また、上述の図１９のフローチャートの処理では、フレーム番号ｋがｎの倍数の画面では通常シンボルが描画されるが、その他の画面では通常シンボルの描画は行われない。しかし、フレーム番号ｋがｎの倍数の画面では通常シンボルを濃色で濃く描画し、その他の画面では通常シンボルを淡色で薄く描画することも考えられる。
【０１３８】
図２１のフローチャートは、その場合におけるシンボル描画部１０５Ｂの処理手順の一例を示している。この図２１において、図１９と対応するステップには同一の符号を付して示し、その詳細説明は省略する。この図２１のフローチャートにおいては、図１９のフローチャートのステップＳＴ５７Ａの代わりにステップＳＴ５７Ｂが挿入され、さらに、フレーム番号ｋがｎの倍数でないときの処理ステップとして、ステップＳＴ６１が追加されている。
【０１３９】
シンボル描画部１０５Ｂは、ステップＳＴ５６でフレーム番号ｋがｎの倍数であるとき、ステップＳＴ５７Ｂの処理に移る。このステップＳＴ５７Ｂにおいて、シンボル描画部１０５Ｂは、代表画像の現在フレーム（現在画面）の注目部分に対応した位置に、シンボルとして通常シンボルを、濃色で濃く描画する。この場合、シンボル描画部１０５Ｂは、描画する通常シンボルの長さｈを、上述したように、Ｈ＊Ｍv／Ｍvmaxとし、現在フレームの注目部分の動きの大きさＭvに対応した長さとする。シンボル描画部１０５Ｂは、このステップＳＴ５７Ｂの処理の後、ステップＳＴ５５で処理フレームを次のフレームとして、ステップＳＴ５３の処理に戻る。
【０１４０】
また、シンボル描画部１０５Ｂは、ステップＳＴ５６でフレーム番号ｋがｎの倍数でないとき、ステップＳＴ６１の処理に移る。このステップＳＴ６１において、シンボル描画部１０５Ｂは、代表画像の現在フレーム（現在画面）の注目部分に対応した位置に、シンボルとして通常シンボルを、淡色で薄く描画する。この場合、シンボル描画部１０５Ｂは、描画する通常シンボルの長さｈを、上述したように、Ｈ＊Ｍv／Ｍvmaxとし、現在フレームの注目部分の動きの大きさＭvに対応した長さとする。シンボル描画部１０５Ｂは、このステップＳＴ６１の処理の後、ステップＳＴ５５で処理フレームを次のフレームとして、ステップＳＴ５３の処理に戻る。なお、詳細説明は省略するが、この図２１のフローチャートにおけるその他のステップは、図１９のフローチャートの対応する処理と同様である。
【０１４１】
図２２は、図２１のフローチャートによるシンボル描画処理による描画例を示している。この描画例は、所定シーンを構成するフレーム（画面）の数が４００、そしてｎ＝１０の場合の例である。このように、図２１のフローチャートによるシンボル描画処理では、濃く描画される通常シンボルは間引かれている。そのため、出力機器における代表画像の表示サイズが小さい場合であっても、描画された通常シンボルが混み合い過ぎて注目部分の動きの把握が困難になるということを防止できる。また、この場合、各画面で描画される通常シンボルの長さはその画面の注目部分の動きに対応したものとなり、この通常シンボルが示す情報量を増すことができる[TY2]。
【０１４２】
＜３．第３の実施の形態＞
［画像処理装置の構成例］
図２３は、第３の実施の形態としての画像処理装置１００Ａの構成例を示している。この画像処理装置１００Ａは、画像入力部１０１と、代表画像作成部１０２と、注目部分動き算出部１０３と、滞留数算出部１０４と、シンボル描画部１０５Ａと、出力機器インタフェース（Ｉ／Ｆ）１０６と、等速数算出部１０７を有している。この図２３において、図１と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
【０１４３】
画像入力部１０１は、処理対象の画像信号を入力する。この処理対象の画像信号は、例えば、撮像機（カメラ）で撮像されて得られたものであり、撮像機（カメラ）から直接供給され、あるいは、所定の記録媒体から読み出されて供給される。また、この画像入力部１０１は、入力された画像信号を処理してシーンチェンジ点を検出し、入力された画像信号をシーン毎に分割して、各シーンの画像信号を、代表画像作成部１０２および注目部分動き算出部１０３に、順次供給する。
【０１４４】
代表画像作成部１０２、注目部分動き算出部１０３、滞留数算出部１０４、等速数算出部１０７およびシンボル描画部１０５Ａは、各シーンの処理を、順次行う。ここでは、処理対象のシーンを所定シーンとして、各部を説明する。代表画像作成部１０２は、所定シーンの画像信号を処理し、所定シーンを構成する各画面の画像信号に基づいて、代表画像を作成する。注目部分動き算出部１０３は、所定シーンの画像信号を処理し、この所定シーン内の各画面の注目部分の動き（動きベクトル）を算出する。滞留数算出部１０４は、注目部分動き算出部１０３で算出された所定シーン内の各画面の注目部分の動きに基づいて、各画面の注目部分の滞留数を算出する（図２、図７参照）
【０１４５】
等速数算出部１０７は、注目部分動き算出部１０３で算出された所定シーン内の各画面の注目部分の動きに基づいて、各画面の注目部分の等速数を算出する。
【０１４６】
［等速数算出処理］
図２４のフローチャートは、等速数算出部１０７における処理手順の一例を示している。等速数算出部１０７は、ステップＳＴ７１において、処理を開始し、その後に、ステップＳＴ７２の処理に移る。このステップＳＴ７２において、等速数算出部１０７は、等速カウンタＣの値を０とし、動き差分小計ＡＤの値を０に設定する。そして、等速数算出部１０７は、ステップＳＴ７３において、処理フレーム（処理画面）を最初のフレーム（最初の画面）とする。
【０１４７】
次に、等速数算出部１０７は、ステップＳＴ７４において、処理フレームが最終フレーム（最終画面）であるか否かを判断する。処理フレームが最終フレームでないとき、等速数算出部１０７は、ステップＳＴ７５の処理に移る。このステップＳＴ７５において、等速数算出部１０７は、現在フレームの注目部分の動きから前のフレームの注目部分の動きを引いて、現在フレームの動き差分ＡＤを算出する。また、等速数算出部１０７は、動き差分小計ＡＤに、現在フレームの注目部分の動き差分Ｄを加算して、現在フレームにおける動き差分小計ＡＤを求める。
【０１４８】
次に、等速数算出部１０７は、ステップＳＴ７６において、等速か否かを判断する。ここで、等速数算出部１０７は、動き差分小計ＡＤが閾値の範囲内にあるか否か否かにより、等速か否かを判断する。すなわち、等速数算出部１０７は、ＡＤが閾値の範囲内にあるときは等速であると判断し、ＡＤが閾値の範囲を超えるときは等速でないと判断する。
【０１４９】
等速数算出部１０７は、等速であると判断するとき、ステップＳＴ７７の処理に移る。このステップＳＴ７７において、等速数算出部１０７は、現在フレームの等速数を０とし、等速カウンタＣの値を１だけインクリメントする。また、等速数算出部１０７は、このステップＳＴ７７において、動き差分の小計ＡＤの最大値および最小値を記録する。この記録情報は、等速でないと判断される場合の動き差分の小計ＡＤがどの程度であったかを示す情報（メタデータ）となる。例えば、この情報に基づいて、閾値を適応的に変化させることも考えられる。
【０１５０】
ステップＳＴ７６で等速でないと判断するとき、等速数算出部１０７は、ステップＳＴ７８の処理に移る。このステップＳＴ７８において、等速数算出部１０７は、１フレーム（１画面）前の等速数を等速カウンタＣの値とすると共に、現在フレームの等速数を１とし、さらに、現在フレームの注目部分の動き差分Ｄを記録する。そして、等速数算出部１０７は、ステップＳＴ７９において、等速カウンタＣの値を１とすると共に、動き差分の小計ＡＤを０にリセットする。
【０１５１】
等速数算出部１０７は、ステップＳＴ７７の処理の後、およびステップＳＴ７９の処理の後に、ステップＳＴ８０の処理に移る。このステップＳＴ８０において、等速数算出部１０７は、処理フレームを次のフレームとし、その後に、ステップＳＴ７４の処理に戻る。
【０１５２】
また、ステップＳＴ７４で処理フレームが最終フレームであるとき、等速数算出部１０７は、ステップＳＴ８１の処理に移る。このステップＳＴ８１において、等速数算出部１０７は、現在フレーム（＝最終フレーム）の等速数を等速カウンタＣの値とする。また、等速数算出部１０７は、このステップＳＴ８１において、現在フレームの注目部分の動き差分Ｄを算出して、記録する。そして、等速数算出部１０７は、ステップＳＴ８２において、処理を終了する。
【０１５３】
図２５は、所定シーンを構成するフレーム（画面）の数が４０の場合において、各フレームの注目部分の動きＭｖと、この各フレームの注目部分の動きＭvにより得られた滞留数、累積値、動き差分、等速数の一例を示している。滞留数、累積値は、上述の図２、図７のフローチャートで示す滞留数算出処理で得られたものである。また、動き差分および等速数は、上述の図２４のフローチャートで示す等速数算出処理で得られたものである。この例においては、フレーム１からフレーム１０までは動き差分Ｄが０であるので連続して等速と判断される。そして、フレーム１１で注目部分の動きＭｖが５０であって動き差分Ｄが５０となるので等速でないと判断される。そのため、フレーム１からフレーム９までの等速数は０とされ、フレーム１０の等速数は１０とされる。
【０１５４】
また、この例においては、フレーム１１からフレーム１７までは動き差分Ｄが０であるので連続して等速と判断される。そして、フレーム１８で動き差分Ｄが５０となるので等速でないと判断される。そのため、フレーム１１からフレーム１６までの等速数は０とされ、フレーム１７の等速数は７とされる。また、この例においては、フレーム１８からフレーム２０まで動き差分Ｄが５０となるので連続して等速でないと判断される。そのため、フレーム１８からフレーム２０の等速数は１とされる。
【０１５５】
また、この例においては、フレーム２１とフレーム２２の動き差分Ｄが０であるので連続して等速と判断される。そして、フレーム２３で動き差分Ｄが−５０となるので等速でないと判断される。そのため、フレーム２１の等速数は０とされ、フレーム２２の等速数は２とされる。また、この例においては、フレーム２３からフレーム２５まで動き差分Ｄが−５０となるので連続して等速でないと判断される。そのため、フレーム２３からフレーム２５の等速数は１とされる。また、この例においては、フレーム２６からフレーム３９までは動き差分Ｄが０であるので連続して等速と判断される。そのため、フレーム２７からフレーム３９までの等速数は０とされ、フレーム４０の等速数は１５とされる。
【０１５６】
なお、図２４のフローチャートに示す等速数算出処理では、ステップＳＴ７６における等速の判断を、動き差分小計ＡＤが閾値内にあるか否かで行っている。しかし、所定のフレームにおける等速の判断を、そのフレームにおける動き差分Ｄが閾値の範囲内にあるか否かで判断するようにしてもよい。
【０１５７】
シンボル描画部１０５Ａは、代表画像作成部１０２で作成された代表画像の周縁部に、注目部分の動きを示すシンボルを描画する。この場合、シンボル描画部１０５Ａは、滞留数算出部１０４で算出された各画面の滞留数および等速数算出部１０７で算出された各画面の動き差分Ｄおよび等速数に基づいて描画処理を行う。また、シンボル描画部１０５Ａは、周縁部に注目部分の動きを示すシンボルが描画された代表画像の画像信号（画像データ）を、出力機器インタフェース（Ｉ／Ｆ）１０６に供給する。
【０１５８】
［シンボル描画処理］
図２６のフローチャートは、シンボル描画部１０５Ａにおける処理手順の一例を示している。シンボル描画部１０５Ａは、ステップＳＴ９１において、処理を開始し、その後に、ステップＳＴ９２の処理に移る。このステップＳＴ９２において、シンボル描画部１０５Ａは、注目部分の動き方向を取得する。例えば、動き方向としては、水平方向、垂直方向、斜め方向（水平方向と垂直方向の双方）などがある。この場合、シンボル描画部１０５Ａは、例えば、注目部分動き算出部１０３で算出される各画面の注目部分の動き（動きベクトル）に基づいて、注目部分の動き方向を取得する。
【０１５９】
次に、シンボル描画部１０５Ａは、ステップＳＴ９３において、シンボル描画軸を決定する。この場合、シンボル描画部１０５Ａは、ステップＳＴ９２で取得した注目部分の動き方向に対応するようにシンボル描画軸を決定する。例えば、注目部分の動き方向が水平方向であるとき、シンボル描画軸は、水平方向に決定される。そして、シンボル描画部１０５Ａは、ステップＳＴ９４において、表示枠の大きさＷ、つまり上述した出力機器における代表画像の表示領域の注目部分の動き方向の長さＷを取得する。この長さＷの情報は、例えば、ユーザ操作により与えられるか、あるいは出力機器インタフェース１０６を通じて出力機器から自動的に取得される。
【０１６０】
次に、シンボル描画部１０５Ａは、ステップＳＴ９５において、フレームの最小動きＶminに対して、上述の（１）式で、距離ｄを算出する。そして、ステップＳＴ９６で、この算出された距離ｄは描画シンボルの弁別可能な値（例えば２）であるか否かを判別する。距離ｄが描画シンボルの大きさに比べて小さいときは、ユーザにとって描画された描画シンボルが見にくいものであることが想定される。
【０１６１】
距離ｄが描画シンボルの弁別が可能な値であるとき、シンボル描画部１０５Ａは、ステップＳＴ９７のシンボル描画の処理に移る。このステップＳＴ９７におけるシンボル描画の処理は、詳細説明は省略するが、上述の図４、図７、図１１のフローチャートで示すシンボル描画処理などと同様である。
【０１６２】
また、ステップＳＴ９６で距離ｄが描画シンボルの弁別が可能な値でないとき、シンボル描画部１０５Ａは、ステップＳＴ９８の縮退シンボル描画の処理に移る。図２７のフローチャートは、図２６のフローチャートにおけるステップＳＴ９８の縮退シンボル描画の処理を示している。
【０１６３】
シンボル描画部１０５Ａは、ステップＳＴ１０１において、処理を開始し、その後に、ステップＳＴ１０２の処理に移る。このステップＳＴ１０２において、シンボル描画部１０５Ａは、処理フレーム（処理画面）を最初のフレーム（最初の画面）とする。
【０１６４】
次に、シンボル描画部１０５Ａは、ステップＳＴ１０３において、処理フレームが最終フレーム（最終画面）であるか否かを判断する。処理フレームが最終フレームでないとき、シンボル描画部１０５Ａは、ステップＳＴ１０４の処理に移る。このステップＳＴ１０４において、シンボル描画部１０５Ａは、滞留数が０であるか、１であるか、あるいは２以上であるかを判断する。
【０１６５】
滞留数が０であるとき、シンボル描画部１０５Ａは、シンボルを描画せずに、ステップＳＴ１０５において、処理フレームを次のフレームとし、その後に、ステップＳＴ１０３の処理に戻る。また、滞留数が１であるとき、シンボル描画部１０５Ａは、ステップＳＴ１０６の処理に移る。このステップＳＴ１０６において、シンボル描画部１０５Ａは、現在フレームの等速数が０であるか、１であるか、あるいは２以上であるかを判別する。
【０１６６】
シンボル描画部１０５Ａは、等速数が０であるとき、シンボルを描画せずに、ステップＳＴ１０５において、処理フレームを次のフレームとし、その後に、ステップＳＴ１０３の処理に戻る。また、シンボル処理部１０５Ａは、等速数が１であるとき、ステップＳＴ１０７の処理に移る。このステップＳＴ１０７において、シンボル描画部１０５Ａは、動き差分が正か負かを判断する。
【０１６７】
動き差分が正であるとき、シンボル描画部１０５Ａは、ステップＳＴ１０８の処理に移る。このステップＳＴ１０８において、シンボル描画部１０５Ａは、代表画像の現在フレーム（現在画面）の注目部分に対応した位置に、シンボルとして注目部分の動きが加速されていることを示す加速シンボルを描画する。一方、動き差分が負であるとき、シンボル描画部１０５Ａは、ステップＳＴ１０９の処理に移る。このステップＳＴ１０９において、シンボル描画部１０５Ａは、代表画像の現在フレーム（現在画面）の注目部分に対応した位置に、シンボルとして注目部分の動きが減速されていることを示す減速シンボルを描画する。そして、シンボル描画部１０５Ａは、ステップＳＴ１０８またはステップＳＴ１０９の処理の後、ステップＳＴ１０５において、処理フレームを次のフレームとし、その後に、ステップＳＴ１０３の処理に戻る。
【０１６８】
また、ステップＳＴ１０６で等速数が２以上であるとき、シンボル描画部１０５Ａは、代表画像の現在フレーム（現在画面）の注目部分に対応した位置に、シンボルとして注目部分の動きが等速であることを示す等速シンボルを描画する。そして、シンボル描画部１０５Ａは、ステップＳＴ１１０の処理の後、ステップＳＴ１０５において、処理フレームを次のフレームとし、その後に、ステップＳＴ１０３の処理に戻る。
【０１６９】
また、ステップＳＴ１０４で滞留数が２以上であるとき、シンボル描画部１０５Ａは、ステップＳＴ１１１の処理に移る。このステップＳＴ１１１において、シンボル描画部１０５Ａは、代表画像の現在フレーム（現在画面）の注目部分に対応した位置に、シンボルとして滞留シンボルを描画する。この滞留シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルとは区別可能とされる。また、シンボル描画部１０５Ａは、このステップＳＴ１１１において、滞留シンボルの描画位置に対応した位置に滞留数をさらに描画する。そして、シンボル描画部１０５Ａは、ステップＳＴ１１１の処理の後、ステップＳＴ１０５で処理フレームを次のフレームとして、ステップＳＴ１０３の処理に戻る。
【０１７０】
また、ステップＳＴ１０３で処理フレームが最終フレームであるとき、シンボル描画部１０５Ａは、ステップＳＴ１１２の処理に移る。このステップＳＴ１１２において、シンボル描画部１０５Ａは、代表画像の現在フレーム（＝最終フレーム）の注目部分に対応した位置に、シンボルとして終端シンボルを描画する。この終端シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルおよび滞留シンボルとは区別可能とされる。また、シンボル描画部１０５Ａは、このステップＳＴ１１２において、終端シンボルの描画位置に対応した位置に滞留数をさらに描画する。そして、シンボル描画部１０５Ａは、ステップＳＴ１１２の処理の後、ステップＳＴ１１３において、処理を終了する。
【０１７１】
図２８は、所定シーンを構成するフレーム（画面）の数が４０の場合において、各フレーム（各画面）の滞留数、動き差分、等速数などが図２５に示すようであったときの、各シンボルおよび滞留数の描画例を示している。なお、図２８の描画例においては、等速、加速、減速のフレーム継続数も表示しているが、この表示はなくともよい。
【０１７２】
出力機器インタフェース１０６は、シンボル描画部１０５Ａから供給される画像データ、つまり周縁部に注目部分の動きを示すシンボルが描画された代表画像の画像信号（画像データ）を、画像表示装置、あるいは記録装置等の出力機器に供給する。例えば、画像表示装置においては、周縁部に注目部分の動きを示すシンボルが描画された代表画像の表示が行われる。また、例えば、記録装置においては、画像入力部１０１に入力された画像信号の各シーンに対応付けされて、各シーンのシンボル描画代表画像の画像信号が、記録媒体に記録される。
【０１７３】
［画像処理装置の動作例］
図２３に示す画像処理部１００Ａの動作例を説明する。画像入力部１０１に、処理対象の画像信号が入力される。この処理対象の画像信号は、例えば、撮像機（カメラ）で撮像されて得られたものであり、撮像機（カメラ）から直接供給され、あるいは、所定の記録媒体から読み出されて供給される。
【０１７４】
画像入力部１０１では、入力された画像信号が処理されてシーンチェンジ点が検出され、入力された画像信号がシーン毎に分割される。そして、画像入力部１０１では、各シーンの画像信号を代表画像作成部１０２および注目部分動き検出部１０３に順次供給することが行われる。
【０１７５】
代表画像作成部１０２、注目部分動き算出部１０３、滞留数算出部１０４、等速数算出部１０７およびシンボル描画部１０５Ａでは、各シーンが順次処理対象のシーン（所定シーン）とされて、処理される。すなわち、代表画像作成部１０２では、所定シーンの画像信号が処理され、この所定シーンを構成する各画面（フレーム）の画像に基づいて、代表画像が作成される。例えば。所定シーンを構成する各画面の画像から、所定の１画面、例えば先頭の１画面の画像が選択されて代表画像とされる。また、例えば、所定シーンを構成する各画面の画像を重ね合わせた合成画像が代表画像として作成される。また、例えば、所定シーンを構成する各画面の画像をつなぎ合わせた和集合画像が代表画像として作成される。
【０１７６】
また、注目部分動き算出部１０３では、所定シーンの画像信号が処理され、この所定シーン内の各画面の注目部分の動き（動きベクトル）が算出される。このように算出された所定シーン内の各画面の注目部分の動きは、滞留数算出部１０４に供給される。滞留数算出部１０４では、各画面の注目部分の動きに基づいて、各画面の滞留数および累積値が算出される（図２、図７参照）。さらに、等速数算出部１０７では、所定シーン内の各画面の注目部分の動きに基づいて、所定シーン内の各画面の等速数および動き差分が算出される（図２４参照）。
【０１７７】
滞留数算出部１０４で算出された所定シーン内の各画面の滞留数および累積値は、シンボル描画部１０５Ａに供給される。また、等速数算出部１０７で算出された所定シーン内の各画面の等速数および動き差分は、シンボル描画部１０５Ａに供給される。また、このシンボル描画部１０５Ａには、代表画像作成部１０２で作成された代表画像の画像信号（画像データ）が供給される。このシンボル描画部１０５Ａでは、所定シーン内の各画面の滞留数、等速数、動き差分などに基づいて、代表画像の周縁部に、注目部分の動きを示すシンボルが描画される（図２６、図２７参照）。
【０１７８】
この場合、表示領域上で最も近接しているシンボル間の距離ｄが算出される。そして、この距離ｄが描画シンボルの弁別可能な値であるときは、滞留数が１である画面において、代表画像のその画面の注目部分に対応した位置に、シンボルとして通常シンボルが描画される（図４、図７、図１１参照）。また、距離ｄが描画シンボルの弁別可能な値でないとき、滞留数が１で、かつ等速数が１以上である画面において、代表画像のその画面の注目部分に対応した位置に、縮退シンボルとして、加速シンボル、等速シンボル、減速シンボルが描画される（図２７参照）。
【０１７９】
また、滞留数が２以上である画面においては、代表画像のその画面の注目部分に対応した位置に、シンボルとして滞留シンボルが描画されると共に、それに対応して滞留数も描画される。さらに、終端画面においては、その画面に対応した位置に、シンボルとして終端シンボルが描画されると共に、それに対応して滞留数も描画される。
【０１８０】
シンボル描画部１０５Ａでは、シーン毎に、周縁部に注目部分の動きを示すシンボルが描画された代表画像の画像信号（画像データ）が得られ、この画像信号（画像データ）は出力機器インタフェース（Ｉ／Ｆ）１０６に供給される。出力機器インタフェース１０６では、シンボル描画部１０５Ａから供給される画像信号、つまり周縁部に注目部分の動きを示すシンボルが描画された代表画像の画像信号（画像データ）を、画像表示装置、あるいは記録装置等の出力機器に供給することが行われる。
【０１８１】
これにより、例えば、画像表示装置においては、周縁部に注目部分の動きを示すシンボルが描画された代表画像の表示が行われる。また、例えば、記録装置においては、画像入力部１０１に入力された画像信号の各シーンに対応付けされて、各シーンのシンボル描画代表画像の画像信号が、記録媒体に記録される。
【０１８２】
以上説明したように、図２３に示す画像処理装置１００Ａにおいては、代表画像作成部１０２により、所定シーンの画像信号が処理され、この所定シーンを構成する各画面の画像に基づいて代表画像が作成される。また、注目部分動き算出部１０３により、所定シーンの画像信号が処理され、この所定シーン内の各画面の注目部分の動きが算出される。また、滞留数算出部１０４により、この算出された所定シーン内の各画面の注目部分の動きに基づいて、所定シーン内の各画面の注目部分の滞留数および動き累積値が算出される。さらに、等速数算出部１０７により、算出された所定シーン内の各画面の注目部分の動きに基づいて、所定シーン内の各画面の等速数および動き差分が算出される。
【０１８３】
シンボル描画部１０５Ａにより、この算出された所定シーン内の各画面の滞留数、動き差分、等速数などに基づいて、代表画像作成部１０２で作成された代表画像の周縁部に、注目部分の動きを示すシンボル（通常シンボル、滞留シンボル、終端シンボル）が描画される。したがって、閲覧者、編集者等は、シーン内における注目部分の全体的な動きを容易に把握可能となる。つまり、閲覧者、編集者等は、シーン内における注目部分の動きを総覧的に知覚することが可能となる。
【０１８４】
また、図２３に示す画像処理装置１００Ａにおいては、表示領域上で最も近接しているシンボル間の距離ｄが描画シンボル（通常シンボル）の弁別が可能な値でないときは、縮退シンボルとしての加速、等速、減速などシンボルが描画される。そのため、出力機器における代表画像の表示サイズが小さい場合に、描画されるシンボル数を少なくでき、シンボルが混み合い過ぎて注目部分の面動きの把握が困難になるということを防止できる。また、この場合、注目部分の動きの加速期間、等速期間、減速期間を容易に把握可能となる。
【０１８５】
なお、図２８に示す描画例における加速、等速、減速の縮退シンボルは一例であって、これに限定されるものではない。例えば、図２９に示すように、加速、等速、減速の縮退シンボルとして、図形、記号、矢印太さ、矢印向き、矢印の色、言語的シンボル（漢字[加|等|減]、英語[acc|eq|br]など）、矢印の色違い重畳など、が考えられる。また、図示は省略するが、出力機器の形態によっては、点滅や動きのあるアイコンによる表示手法なども適用可能である
【０１８６】
図３０（ａ）〜（ｆ）は、種々の縮退シンボルを用いた描画例を示している。この際、矢印の向きについては、基準線に対して上向き、下向き、という形でもよい。また、上述したように画面動きの大きさに対応した長さの通常シンボルを描画する場合と同様のアルゴリズムを用いて、その包絡線に沿った矢印（図３０（ｄ）参照）とすることで、各画面の動きの大まかな分布も表すことができる。また、図３１（ａ）〜（ｃ）に示すように、多角形や、長方形の色、グラデーション等を用いての表示なども考えられる。
【０１８７】
また、図２３に示す画像処理装置１００Ａにおける上述の縮退シンボルの描画処理では、撮像機（カメラ）の等速運動時にはシンボル数が劇的に減る。しかし、ここでは加速シンボルや減速シンボルが込み合った形で描画される可能性がある。シンボルの形状を工夫することによって、可読性を担保することも可能であるが、以下の方法によって、さらに加速シンボルや減速時シンボルの数を縮退することも可能である。
【０１８８】
１つは、等速数で１が連続していることを検知しておき、連続しているうちの最後の１のタイミングでのみ加速シンボルや減速シンボルを描画する手法である。他の１つは、動き差分の、さらに前フレームとの差分を計算する。これを、動き加速差分と呼ぶ。この動き加速差分に基づいて、図２４のフローチャートの処理と同様の処理によって、加速等速数を算出し、この加速等速数を上述の等速数と同様に用いて（図２７参照）、加速、減速のシンボルを描画するようにしてもよい。
【０１８９】
また、図２３に示す画像処理装置１００Ａにおいて、シンボル描画部１０５Ａでは、等速数が１である画面で加速または減速シンボルが描画され、等速数が２以上である画面で等速シンボルが描画されるようになっている（図２７参照）。しかし、一般に、等速数が１〜Ｍ（Ｍは１以上の整数）である画面で加速または減速シンボルが描画され、等速数がＭを超える画面で等速シンボルが描画されるようにしてもよい。そして、この場合、Ｍの値を、ユーザが、図示しないユーザ操作部により任意に設定可能としてもよい。
【０１９０】
＜４．第４の実施の形態＞
上述の図２３に示す画像処理装置１００Ａにおけるシンボル描画処理では、表示領域上で最も近接しているシンボル間の距離ｄが描画シンボルの弁別が可能な値でないときは、縮退シンボル描画の処理を行うようになっている（図２６のステップＳＴ９８）。しかし、この距離ｄが描画シンボルの弁別が可能な値でないとき、ユーザの選択設定に応じて、縮退シンボル描画か、あるいは間引き描画のいずれかの処理が行われるようにすることもできる。
【０１９１】
［画像処理装置の構成例］
図３２は、第４の実施の形態としての画像処理装置１００Ｃの構成例を示している。画像処理装置１００Ｃは、画像入力部１０１と、代表画像作成部１０２と、注目部分動き算出部１０３と、滞留数算出部１０４と、シンボル描画部１０５Ｃと、出力機器インタフェース（Ｉ／Ｆ）１０６と、等速数算出部１０７と、間引き数算出部１０８を有している。この図３２において、図１、図１４、図２３と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
【０１９２】
図３３のフローチャートは、その場合におけるシンボル描画部１０５Ｃの処理手順の一例を示している。この図３３において、図２６と対応するステップには同一の符号を付し、その詳細説明は省略する。シンボル描画部１０５Ｃは、ステップＳＴ９４で表示枠の大きさＷを取得した後、ステップＳＴ１２１において、フレームの合算数ｎを１として、その後に、ステップＳＴ９５の処理に移る。
【０１９３】
そして、シンボル描画部１０５Ｃは、ステップＳＴ９５において、フレームの最小動きＶminに対して、上述の（１）式で、距離ｄを算出する。そして、ステップＳＴ９６で、この算出された距離ｄは描画シンボルの弁別が可能な値（例えば２）であるか否かを判別する。距離ｄが描画シンボルの大きさに比べて小さいときは、ユーザにとって描画された描画シンボルが見にくいものであることが想定される。
【０１９４】
また、ステップＳＴ９６で距離ｄが描画シンボルの弁別が可能な値でないとき、シンボル描画部１０５Ｃは、ステップＳＴ１２２において、ユーザの選択設定が、縮退シンボル描画であるか間引き描画のいずれであるかを判別する。縮退シンボル描画に設定されているとき、シンボル描画部１０５Ｃは、ステップＳＴ９８の縮退シンボル描画の処理に移る。
【０１９５】
一方、間引き描画に設定されているとき、シンボル描画部１０５Ｃは、ステップＳＴ１２３の処理に移る。このステップＳＴ１２３において、シンボル描画部１０５Ｃは、フレームの合算数ｎを１だけインクリメントする。そして、シンボル描画部１０５Ｃは、ステップＳＴ１２４において、注目部分動きをｎフレーム毎に合算して、その後に、ステップＳＴ９５の処理に戻る。
【０１９６】
また、シンボル描画部１０５Ｃは、ステップＳＴ９６において、距離ｄが描画シンボルの弁別が可能な値であるとき、ステップＳＴ１２５のシンボル描画の処理に移る。このシンボル描画の処理は、図１６のフローチャートのステップＳＴ４８の処理に対応する（図１７参照）。
【０１９７】
＜５．第５の実施の形態＞
［画像処理装置の構成例］
図３４は、第５の実施の形態としての画像処理装置１００Ｄの構成例を示している。この画像処理装置１００Ｄは、画像入力部１０１と、代表画像作成部１０２Ｄと、注目部分動き算出部１０３と、滞留数算出部１０４と、シンボル描画部１０５Ｄと、出力機器インタフェース（Ｉ／Ｆ）１０６を有している。また、この画像処理装置１００Ｄは、全画面動き算出部１１３と、滞留数算出部１１４を有している。この図３４において、図１と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
【０１９８】
従来、全体が撮像機（カメラ）の１画面分に収まらない被写体を、パンあるいはチルトなどの手法を用いて、複数フレームで撮影することが行われている。図３５は、水平方向に延びる被写体を、撮像機（カメラ）で、パン手法を用いて撮影する例を示している。
【０１９９】
また、従来、撮影された、あるいは作成された画像信号を処理して、シーン毎に、所定画面（例えば、最初の画面等）を選択し、その画面の画像を代表画像とすることが行われている。この場合、例えば上述したようにパン手法を用いて撮影された撮像機（カメラ）の１画面分に収まらない被写体に関して、閲覧者、編集者等は、その全体像を把握することができない。
【０２００】
そこで、シーン毎に、上述した和集合画像を代表画像（サムネイル）として作成することが考えられている。このように作成される代表画像にあっては、撮像機（カメラ）の１画面分に収まらない、例えば上述したようにパン手法を用いて撮影された被写体に関して、閲覧者、編集者等は、その全体像を把握することが可能となる。しかし、この代表画像にあっても、どのような速度でパンされているか等の情報を得ることはできない。これでは、画像の閲覧者、編集者等が、そのシーンに、「何が映っているか」だけではなく、「何がどのような表現で映っているか」を総覧的に見る際に問題となる。
【０２０１】
図３４に示す画像処理装置１００Ｄは、シーン内における注目部分の全体的な動きを容易に把握可能とする他に、和集合画像からなるシーン代表画像において、シーン内の全体像を把握できるだけでなく、シーン内の各画面の動きも把握可能とするものである。
【０２０２】
代表画像作成部１０２Ｄは、所定シーンの画像信号を処理し、この所定シーンを構成する各画面（フレーム）の画像をつなぎ合わせた和集合画像を作成し、その和集合画像を、所定シーンの代表画像とする。この和集合画像を作成する手法については、ここでは詳細説明を省略するが、従来周知であり、特開平０７−２９８１３７号公報、特開平０６−３２６９６５号公報などに詳述されている。例えば、代表画像作成部１０２Ｄは、所定シーンを構成する各画面の全画面動き（動きベクトル）を算出し、この算出された各画面の全画面動きに基づいて、各画像をつなぎ合わせて、和集合画像を作成する。
【０２０３】
全画面動き算出部１１３は、所定シーンの画像信号を処理し、この所定シーン内の各画面の全画面動き（動きベクトル）を算出する。この全画面動きの算出手法については、ここでは詳細説明を省略するが、従来周知であり、例えば、特開２００１−０８６３８７号公報、特開２００７−１０４５１６号公報、特開２００４−８８４７４号公報などに詳述されている。例えば、全画面動き算出部１１３は、上述した代表画像作成部１０２Ｄにおける全画面動き（動きベクトル）の算出処理と同様の処理で、所定シーンを構成する各画面の全画面動き（動きベクトル）を算出する。
【０２０４】
滞留数算出部１１４は、全画面動き検出部１１３で算出された所定シーン内の各画面の全画面動きに基づいて、各画面の滞留数を算出する。詳細説明は省略するが、この滞留数算出部１１４は、滞留数算出部１０４と同様にして、各フレームの全画面動きＭｖに基づいて、各フレーム（各画面）の滞留数および累積値を算出する。すなわち、滞留数算出部１０４では各フレームの注目部分動きＭｖが使用されるのに対して、滞留数算出部１１４では各フレームの全画面動きＭｖが使用される点で異なる。
【０２０５】
シンボル描画部１０５Ｄは、滞留数算出部１０４で算出された各画面の滞留数に基づいて、代表画像作成部１０２Ｄで作成された代表画像（和集合画像）の周縁部に、注目部分の動きを示すシンボルを描画する。また、シンボル描画部１０５Ｄは、滞留数算出部１１４で算出された各画面の滞留数に基づいて、代表画像作成部１０２Ｄで作成された代表画像（和集合画像）の周縁部に、全画面動きを示すシンボルを描画する。
【０２０６】
詳細説明は省略するが、この全画面動きを示すシンボルの描画処理は、注目部分の動きを示すシンボルの描画処理と同様に行われる。なお、あるフレーム（画面）において、注目部分の動きを示すシンボルは代表画像（和集合画像）のそのフレームの注目部分に対応した位置に描画されるが、全画面動きを示すシンボルは代表画像（和集合画像）のそのフレームに対応した位置に描画される。
【０２０７】
また、シンボル描画部１０５Ｄは、周縁部に注目部分動きおよび全画面動きを示すシンボルがそれぞれ描画された代表画像の画像信号（画像データ）を、出力機器インタフェース（Ｉ／Ｆ）１０６に供給する。図３４に示す画像処理装置１００Ｄのその他は、詳細説明は省略するが、図１に示す画像処理装置１００と同様に構成される。
【０２０８】
［画像処理装置の動作例］
図３４に示す画像処理部１００Ｄの動作例を説明する。画像入力部１０１に、処理対象の画像信号が入力される。この処理対象の画像信号は、例えば、撮像機（カメラ）で撮像されて得られたものであり、撮像機（カメラ）から直接供給され、あるいは、所定の記録媒体から読み出されて供給される。
【０２０９】
画像入力部１０１では、入力された画像信号が処理されてシーンチェンジ点が検出され、入力された画像信号がシーン毎に分割される。そして、画像入力部１０１では、各シーンの画像信号を代表画像作成部１０２Ｄ、注目部分動き検出部１０３および全画面動き算出部１１３に順次供給することが行われる。
【０２１０】
代表画像作成部１０２、注目部分動き検出部１０３、滞留数算出部１０４、全画面動き算出部１１３、滞留数算出部１１４およびシンボル描画部１０５Ｄでは、各シーンが順次処理対象のシーン（所定シーン）とされて、処理される。代表画像作成部１０２Ｄでは、各シーンが順次処理対象のシーン（所定シーン）とされて、処理される。すなわち、代表画像作成部１０２では、所定シーンの画像信号が処理され、この所定シーンを構成する各画面（フレーム）の画像をつなぎ合わせた和集合画像が作成され、その和集合画像が所定シーンの代表画像とされる。
【０２１１】
注目部分動き算出部１０３では、所定シーンの画像信号が処理され、この所定シーン内の各画面の注目部分の動き（動きベクトル）が算出される。この所定シーン内の各画面の注目部分の動きは、滞留数算出部１０４に供給される。滞留数算出部１０４では、所定シーン内の各画面の注目部分の動きに基づいて、各画面の注目部分の滞留数および累積値が算出される（図２参照）。
【０２１２】
全画面動き算出部１１３では、所定シーンの画像信号が処理され、この所定シーン内の各画面の全画面動き（動きベクトル）が算出される。このように算出された所定シーン内の各画面の全画面動きは、滞留数算出部１１４に供給される。滞留数算出部１１４では、所定シーン内の各画面の全画面動きに基づいて、所定シーン内の各画面の滞留数および累積値が算出される。
【０２１３】
滞留数算出部１０４で算出された所定シーン内の各画面の滞留数および累積値は、シンボル描画部１０５に供給される。また、滞留数算出部１１４で算出された所定シーン内の各画面の滞留数および累積値は、シンボル描画部１０５Ｄに供給される。さらに、このシンボル描画部１０５Ｄには、代表画像作成部１０２Ｄで作成された代表画像の画像信号（画像データ）が供給される。
【０２１４】
シンボル描画部１０５Ｄでは、各画面の注目部分の滞留数に基づいて、代表画像の周縁部に、注目部分の動きを示すシンボルが描画される（図４参照）。また、シンボル描画部１０５Ｄでは、各画面の全画面の滞留数に基づいて、代表画像の周縁部に、全画面動きを示すシンボルが描画される。
【０２１５】
これにより、シンボル描画部１０５Ｄでは、シーン毎に、周縁部に注目部分の動きおよび全画面動きをそれぞれ示すシンボルが描画された代表画像（和集合画像）の画像信号（画像データ）が得られる。この画像信号（画像データ）は、出力機器インタフェース（Ｉ／Ｆ）１０６に供給される。そして、出力機器インタフェース１０６では、この画像信号（画像データ）を画像表示装置、あるいは記録装置等の出力機器に供給することが行われる。
【０２１６】
図３６は、注目部分の動き方向および全画面動きの方向が水平方向の描画例を示している。代表画像（和集合画像）の周縁に、注目部分の動きを示すシンボル（シンボル群）１２０Ａおよび全画面動きを示すシンボル（シンボル群）１２０Ｂが描画されている。
【０２１７】
上述したように、図３４に示す画像処理装置１００Ｄにおいては、シーン内における注目部分の全体的な動きを容易に把握可能となると共に、和集合画像からなるシーン代表画像において、シーン内の全体像を把握できるだけでなく、シーン内の各画面の動きも把握可能となる。
【０２１８】
なお、全画面動きを示すシンボルの描画態様に関しても、上述した注目部分の動きを示すシンボルの描画態様と同様に種々の態様を取ることができることは勿論である（図８、図９、図１０、図１２、図１３、図１８、図２０、図２２、図２８など参照）。図３７は、代表画像（和集合画像）の周縁に、注目部分の動きを示すシンボル（シンボル群）１２０Ａおよび全画面動きを示すシンボル（シンボル群）１２０Ｂが描画されている他の描画例を示している。
【０２１９】
この描画例では、濃く描画される通常シンボルは間引かれている。そのため、出力機器における代表画像の表示サイズが小さい場合であっても、描画された通常シンボルが混み合い過ぎて動きの把握が困難になるということを防止できる。また、この場合、各画面で描画される通常シンボルの長さはその画面の注目部分動き、全画面動きに対応したものとなり、この通常シンボルが示す情報量を増すことができる[TY3]。
【０２２０】
なお、上述したように、所定シーンを構成する各画面（フレーム）の画像をつなぎ合わせた和集合画像を代表画像とする場合、表示領域上で最も近接しているシンボル間の距離ｄは、上述した（１）式の代わりに、以下の（２）式で算出される。すなわち、距離ｄは、画面の全画面動き方向の長さＳ、全画面動きの累積値Ｔ、全画面動きの中で滞留していないと判定された最小の動きＶminおよび出力機器における代表画像の表示領域の全画面動き方向の長さＷを用い、（２）式で算出される。図３８は、長さＳ、累積値Ｔおよび長さＷが、どこに対応しているかを示している。
ｄ＝Ｗ＊Ｖmin／（Ｓ＋Ｔ） ・・・（２）
【産業上の利用可能性】
【０２２１】
この発明は、シーン毎の画像信号から、各シーンの代表画像（サムネイル）を作成する画像処理装置に適用できる。
【符号の説明】
【０２２２】
１００，１００Ａ〜１００Ｄ・・・画像処理装置
１０１・・・画像入力部
１０２，１０２Ｄ・・・代表画像作成部
１０３・・・注目部分動き算出部
１０４・・・滞留数算出部
１０５，１０５Ａ〜１０５Ｄ・・・シンボル描画部
１０６・・・出力機器インタフェース
１０７・・・等速数算出部
１０８・・・間引き数算出部
１１３・・・全画面動き算出部
１１４・・・滞留数算出部
１２０Ａ，１２０Ｂ・・・シンボル（シンボル群）
【技術分野】
【０００１】
この発明は、画像処理装置および画像処理方法に関し、特に、シーン毎の代表画像に注目部分の動き情報を付加する画像処理装置等に関する。
【背景技術】
【０００２】
従来、撮影された、あるいは作成された画像信号を処理して、シーン毎に、所定画面（例えば、最初の画面等）を選択し、その画面の画像を代表画像とすることが行われている（例えば、特許文献１参照）。この場合、閲覧者、編集者等は、シーン内における注目部分、例えば人物、物体などの全体的な動きを把握することができない。
【０００３】
従来、注目部分の動きを表すために、例えば、図３９に示すように、代表画像の人物、物体などの注目部分に、動きベクトルを貼り付けることなども考えられている。しかし、この場合にあっても、閲覧者、編集者等は、シーン内における全体的な動きを把握することができない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０６−３３３０４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した従来作成されているシーン毎の代表画像、さらには、この代表画像に注目部分に動きベクトルを付加したものにあっては、閲覧者、編集者等は、シーン内における注目部分、例えば人物、物体などの全体的な動きを把握することができなかった。つまり、閲覧者、編集者等は、シーン内における注目部分の動きを総覧的に知覚することができなかった。
【０００６】
この発明の目的は、シーン内における注目部分の全体的な動きを容易に把握可能とすることにある。
【課題を解決するための手段】
【０００７】
この発明の概念は、
所定シーンを構成する各画面の画像に基づいて代表画像を作成する代表画像作成部と、
上記所定シーン内の各画面の注目部分の動きに基づいて、上記代表画像作成部で作成された上記代表画像の周縁部に、上記注目部分の動きを示すシンボルを描画するシンボル描画部と
を備える画像処理装置にある。
【０００８】
この発明においては、代表画像作成部により、所定シーンを構成する各画面の画像に基づいて代表画像が作成される。例えば、代表画像は、所定シーンを構成する各画面の画像から、所定の１画面、例えば先頭の１画面の画像が選択されて代表画像とされる。また、例えば、所定シーンを構成する各画面の画像をつなぎ合わせた和集合画像が代表画像として作成される。また、例えば、所定シーンを構成する各画面の画像を重ね合わせた合成画像が代表画像として作成される。
【０００９】
シンボル描画部により、代表画像作成部で作成された代表画像の周縁部に、注目部分の動きを示すシンボルが描画される。例えば、所定シーンを構成する各画面の注目部分の動きは、所定シーンの画像信号と共に外部から与えられるか、あるいは、注目部分動き算出部により、この所定シーンの画像信号を処理して求められる。この処理は、例えば、編集者の手動操作で選択された、あるいは、自動的に選択された注目部分の動きベクトルを求める処理である。
【００１０】
このように、この発明においては、シーン代表画像の周縁部に注目部分の動きを示すシンボルが描画される。そのため、閲覧者、編集者等は、シーン内における注目部分の全体的な動きを容易に把握可能となる。つまり、閲覧者、編集者等は、シーン内における注目部分の動きを総覧的に知覚することが可能となる。
【００１１】
この発明において、例えば、所定シーン内の各画面の注目部分の動きに基づいて、各画面の注目部分の滞留数を算出する滞留数算出部をさらに備え、滞留数算出部は、所定画面の注目部分において、滞留していると判断するとき、この所定画面の注目部分の滞留数を０にすると共に、滞留カウンタを１だけインクリメントし、滞留していないと判断するとき、１つ前の画面の注目部分の滞留数を滞留カウンタの値とし、この所定画面の注目部分の滞留数を１とすると共に、この滞留カウンタの値を１とし、さらに、最終画面の注目部分の滞留数を滞留カウンタの値とし、シンボル描画部は、滞留数算出部で算出された各画面の注目部分の滞留数に基づいて、代表画像作成部で作成された代表画像の周縁部に、注目部分の動きを示すシンボルを描画する、ようにされる。
【００１２】
また、この発明において、例えば、シンボル描画部は、所定画面の注目部分の滞留数が１以上のとき、代表画像の周縁部のこの所定画面の注目部分に対応した位置に、シンボルを描画する、ようにされる。
【００１３】
また、この発明において、例えば、シンボル描画部は、所定画面の注目部分の滞留数が１以上Ｎ（Ｎは１以上の整数）以下であるとき、代表画像の周縁部の該所定画面の注目部分に対応した位置に、シンボルとして通常シンボルを描画し、所定画面の注目部分の滞留数がＮを超えるとき、代表画像の周縁部の該所定画面の注目部分に対応した位置に、シンボルとして滞留シンボルを描画する、ようにされる。
【００１４】
また、この発明において、例えば、シンボル描画部は、シンボルとして注目部分の動きの方向に直交する方向に延びる線分状のシンボルを描画し、所定画面の注目部分の滞留数がＮ以下で描画する通常シンボルの長さを、この所定画面の注目部分の動きの大きさに対応した長さとする、ようにされる。例えば、出力機器における周縁部の表示領域の注目部分の動きの方向に直交する方向の長さをＨとし、注目部分の動きの中で最大の動きをＭvmaxとし、さらに、各画面の注目部分の動きをＭvとするとき、所定画面の注目部分の滞留数が１以上Ｎ以下で描画される通常シンボルの長さｈは、Ｈ＊Ｍv／Ｍvmaxとされる。この場合、各画面で描画される通常シンボルの長さはその画面の注目部分の動きに対応したものとなり、この通常シンボルが示す情報量を増すことができる。
【００１５】
また、この発明において、例えば、シンボル描画部は、描画されるシンボル間の近接を判定し、この判定結果に応じて、所定画面の注目部分の滞留数が１以上Ｎ以下で描画される通常シンボルの描画態様を変化させる、ようにされる。この場合、例えば、シンボル描画部は、注目部分の動きの方向の１画面分の長さをＳとし、注目部分の動きの中で滞留していないと判定された最小の動きをＶminとし、さらに、出力機器における代表画像の表示領域の注目部分の動きの方向の長さをＷとして、この表示領域上で最も近接しているシンボル間の距離ｄを、Ｗ＊Ｖmin／Ｓの式で算出し、この距離ｄに基づいて、シンボル間の近接を判定する、ようにされる。このように、シンボルの近接判定結果に応じて、所定の画面の滞留数がＮ以下で描画されるシンボルの描画態様を変化させることで、出力機器における代表画像の表示サイズが小さい場合であっても、描画シンボルから注目部分の動きの把握が容易となる。
【００１６】
この発明において、例えば、シンボル描画部は、注目部分の動きの方向の、描画されるシンボル間の距離が出力機器の表示領域上で所定値を超えるように、通常シンボルを所定数の画面毎に描画する、ようにされる。この場合、通常シンボルは間引かれて描画されるため、出力機器における代表画像の表示サイズが小さい場合であっても、描画された通常シンボルが混み合い過ぎて注目部分の動きの把握が困難になるということを防止できる。
【００１７】
この発明において、例えば、シンボル描画部は、シンボルとして注目部分の方向に直交する方向に延びる線分状のシンボルを描画し、出力機器における周縁部の表示領域の、注目部分の動き方向に直交する方向の長さをＨとし、注目部分の動きの中で最大の動きをＭvmaxとし、さらに、各画面の注目部分の動きをＭvとするとき、所定の画面の注目部分の滞留数が１以上Ｎ以下で描画する通常シンボルの長さｈを、Ｈ＊Ｍv／Ｍvmaxとし、所定数の画面毎に描画する通常シンボルを濃く描画し、その他の画面で通常シンボルを薄く描画する、ようにされる。
【００１８】
この場合、濃く描画される通常シンボルは間引かれているため、出力機器における代表画像の表示サイズが小さい場合であっても、描画された通常シンボルが混み合い過ぎて注目部分の動きの把握が困難になるということを防止できる。また、この場合、各画面で描画される通常シンボルの長さはその画面の注目部分の動きに対応したものとなり、この通常シンボルが示す情報量を増すことができる。
【００１９】
また、この発明において、例えば、シンボル描画部は、注目部分の動き方向の、描画されるシンボル間の距離が出力機器の表示領域上で所定値より小さいとき、各画面における前の画面との間の注目部分の動き差分に応じて、加速期間に対応して加速シンボルを描画し、等速期間に対応して等速シンボルを描画し、減速期間に対応して減速シンボルを描画する、ようにされる。
【００２０】
この場合、注目部分の動きを示すシンボルとして縮退シンボル（加速シンボル、等速シンボル、減速シンボル）が描画されるものであり、出力機器における代表画像の表示サイズが小さい場合に、描画されるシンボル数を少なくでき、シンボルが混み合い過ぎて注目部分の動きの把握が困難になるということを防止できる。また、この場合、注目部分の加速期間、等速期間、減速期間を容易に把握可能となる。
【００２１】
また、この発明において、例えば、所定シーン内の各画面の前の画面との間の注目部分の動き差分に基づいて、各画面の等速数を算出する等速数算出部をさらに備え、等速数算出部は、所定の画面において、滞留していると判断するとき、この所定の画面の等速数を０にすると共に、等速カウンタを１だけインクリメントし、滞留していないと判断するとき、１つ前の画面の等速数を等速カウンタの値とし、この所定の画面の等速数を１とすると共に、この等速カウンタの値を１とし、シンボル描画部は、所定の画面の等速数が１以上Ｍ（Ｍは１以上の整数）以下であるとき、代表画像の周縁部のこの所定の画面に対応した位置に、加速シンボルまたは減速シンボルを表示し、所定の画面の等速数がＭを超えるとき、代表画像の周縁部の該所定の画面に対応した位置に、等速シンボルを描画する、ようにされる。
【００２２】
例えば、等速数算出部では、所定画面の注目部分の動き差分が閾値の範囲内にあるか否かにより、等速動きをしているか否かが判断される。また、例えば、滞留数算出部では、所定画面の注目部分において、各画面の注目部分の動き差分を累積していく累積手段の累積値が閾値の範囲内にあるか否かにより等速動きをしているか否かが判断され、さらに、等速動きをしていないと判断されるとき累積手段の累積値は０にリセットされる。
【発明の効果】
【００２３】
この発明によれば、シーン代表画像の周縁部に注目部分の動きを示すシンボルが描画されるため、閲覧者、編集者等は、シーン内における注目部分の全体的な動きを容易に把握可能となる。つまり、閲覧者、編集者等は、シーン内における注目部分の動きを総覧的に知覚することが可能となる。
【図面の簡単な説明】
【００２４】
【図１】この発明の第１の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図２】滞留数算出部における処理手順の一例を示すフローチャートである。
【図３】所定シーンを構成するフレーム（画面）の数が４０の場合において、各フレームの注目部分動きＭｖと、滞留数算出処理で求められる各フレーム（各画面）の滞留数および累積値の一例を示す図である。
【図４】シンボル描画部における処理手順の一例を示すフローチャートである。
【図５】所定シーンを構成するフレーム（画面）の数が４０の場合における各シンボルおよび滞留数の描画例を示す図である。
【図６】滞留ブレＡmvが閾値の範囲内にあるか否かにより滞留か否かを判断する場合における、滞留数算出部の処理手順の一例を示すフローチャートである。
【図７】滞留シンボルに滞留の順序を示すシンボル（滞留ＩＤ）が加えられる場合における、シンボル描画部の処理手順の一例を示すフローチャートである。
【図８】注目部分の動き方向が順方向から逆方向に変更される場合における、各シンボル、滞留数および滞留ＩＤの描画例を示す図である。
【図９】注目部分の動き方向が順方向から逆方向に変更される場合における、各シンボル、滞留数および滞留ＩＤの他の描画例を示す図である。
【図１０】注目部分の動きを示すシンボルの線分以外の例を示す図である。
【図１１】シンボル描画部の処理手順の一例を示すフローチャートである。
【図１２】シンボル描画処理による描画例を示す図である。
【図１３】シンボル描画処理による描画例を示す図である。
【図１４】この発明の第２の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図１５】表示領域上で最も近接しているシンボルの距離ｄを算出するための画面の注目部分の動き方向の長さＳ、出力機器における代表画像の表示領域の注目部分の動き方向の長さＷを示すための図である。
【図１６】シンボル描画部の処理手順の一例を示すフローチャートである。
【図１７】シンボル描画部の処理手順の一例を示すフローチャートである。
【図１８】シンボル描画処理による描画例を示す図である。
【図１９】シンボル描画部の処理手順の一例を示すフローチャートである。
【図２０】シンボル描画処理による描画例を示す図である。
【図２１】シンボル描画部の処理手順の一例を示すフローチャートである。
【図２２】シンボル描画処理による描画例を示す図である。
【図２３】この発明の第３の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図２４】等速数算出部における処理手順の一例を示すフローチャートである。
【図２５】所定シーンを構成するフレーム（画面）の数が４０の場合において、各フレームの注目部分動きＭｖと、この各フレームの注目部分動きＭvにより得られた滞留数、累積値、動き差分、等速数の一例を示す図である。
【図２６】シンボル描画部の処理手順の一例を示すフローチャートである。
【図２７】シンボル描画部の処理手順の一例を示すフローチャートである。
【図２８】シンボル描画処理による描画例を示す図である。
【図２９】加速、等速、減速の縮退シンボルの変形例を示す図である。
【図３０】縮退シンボルを用いた描画例を示す図である。
【図３１】縮退シンボルを用いた描画例を示す図である。
【図３２】この発明の第４の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図３３】シンボル描画部の処理手順の一例を示すフローチャートである。
【図３４】この発明の第５の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図３５】水平方向に延びる被写体を、撮像機（カメラ）で、パン手法を用いて撮影する例を示す図である。
【図３６】シンボル描画処理による描画例を示す図である。
【図３７】シンボル描画処理による描画例を示す図である。
【図３８】表示領域上で最も近接しているシンボルの距離ｄを算出するための画面の全画面動き方向の長さＳ、全画面動きの累積値Ｔ、出力機器における代表画像の表示領域の全画面動き方向の長さＷを示すための図である。
【図３９】代表画像の人物、物体などの動きを伴う注目部分に動きベクトルを貼り付けることなどを説明するための図である。
【発明を実施するための形態】
【００２５】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．第５の実施の形態
【００２６】
＜１．第１の実施の形態＞
［画像処理装置の構成例］
図１は、第１の実施の形態としての画像処理装置１００の構成例を示している。この画像処理装置１００は、画像入力部１０１と、代表画像作成部１０２と、注目部分動き算出部１０３と、滞留数算出部１０４と、シンボル描画部１０５と、出力機器インタフェース（Ｉ／Ｆ）１０６を有している。
【００２７】
画像入力部１０１は、処理対象の画像信号を入力する。この処理対象の画像信号は、例えば、撮像機（カメラ）で撮像されて得られたものであり、撮像機（カメラ）から直接供給され、あるいは、所定の記録媒体から読み出されて供給される。また、この画像入力部１０１は、入力された画像信号を処理してシーンチェンジ点を検出し、入力された画像信号をシーン毎に分割して、各シーンの画像信号を、代表画像作成部１０２および注目部分動き算出部１０３に、順次供給する。
【００２８】
代表画像作成部１０２、注目部分動き算出部１０３、滞留数算出部１０４およびシンボル描画部１０５は、各シーンの処理を、順次行う。ここでは、処理対象のシーンを所定シーンとして、各部を説明する。
【００２９】
代表画像作成部１０２は、所定シーンを構成する各画面の画像信号に基づいて、代表画像を作成する。この場合、例えば、所定シーンを構成する各画面の画像から、所定の１画面、例えば先頭の１画面の画像が選択されて代表画像とされる。また、例えば、所定シーンを構成する各画面の画像を重ね合わせた合成画像が代表画像として作成される。
【００３０】
また、例えば、この所定シーンがパンやチルト手法を用いて撮影されたものである場合、例えば、所定シーンを構成する各画面の画像をつなぎ合わせた和集合画像が代表画像として作成される。この和集合画像を作成する手法については、ここでは詳細説明を省略するが、従来周知であり、特開平０７−２９８１３７号公報、特開平０６−３２６９６５号公報などに詳述されている。例えば、代表画像作成部１０２は、所定シーンを構成する各画面の全画面動き（動きベクトル）を算出し、この算出された各画面の全画面動きに基づいて、各画像をつなぎ合わせて、和集合画像を作成する。
【００３１】
注目部分動き検出部１０３は、所定シーンの画像信号を処理し、この所定シーン内の各画面の注目部分の動き（動きベクトル）を算出する。この注目部分の動きの算出手法については、ここでは詳細説明を省略するが、従来周知であり、例えば、特開２００６−０７３４５号公報などに記載されている。例えば、注目部分動き検出部１０３は、各画面における注目部分を追尾する処理を行うことで、各画面の注目部分の動き（動きベクトル）を順次取得する。
【００３２】
ここで、注目部分、例えば人物、物体などである。この注目部分は、例えば、編集者の手動操作で選択されるか、あるいは、従来周知の顔検出技術や人物検出技術などを用いて自動的に選択される。例えば、上述した特開２００６−０７３４５号公報には、手動操作で選択することが記載されている。
【００３３】
滞留数算出部１０４は、注目部分動き検出部１０３で算出された所定シーン内の各画面の注目部分の動きに基づいて、各画面の注目部分の滞留数を算出する。
【００３４】
［滞留数算出処理］
図２のフローチャートは、滞留数算出部１０４における処理手順の一例を示している。滞留数算出部１０４は、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２の処理に移る。このステップＳＴ２において、滞留数算出部１０４は、滞留カウンタＣの値を０とし、累積値（累積動き量）Ｔの値を０に設定する。そして、滞留数算出部１０４は、ステップＳＴ３において、処理フレーム（処理画面）を最初のフレーム（最初の画面）とする。
【００３５】
次に、滞留数算出部１０４は、ステップＳＴ４において、処理フレームが最終フレーム（最終画面）であるか否かを判断する。処理フレームが最終フレームでないとき、滞留数算出部１０４は、ステップＳＴ５の処理に移る。このステップＳＴ５において、滞留数算出部１０４は、累積値Ｔに、現在フレームの注目部分動きＭｖを加算して、現在フレームにおける累積値Ｔを求め、その累積値Ｔの値を現在フレームの累積値として記録する。
【００３６】
次に、滞留数算出部１０４は、ステップＳＴ６において、滞留か否かを判断する。ここで、滞留数算出部１０４は、現在フレームの注目部分動きＭｖが０であるか否かにより、滞留か否かを判断する。すなわち、滞留数算出部１０４は、Ｍｖが０であるときは滞留であると判断し、Ｍｖが０以上であるときは滞留でないと判断する。
【００３７】
滞留数算出部１０４は、滞留であると判断するとき、ステップＳＴ７の処理に移る。このステップＳＴ７において、滞留数算出部１０４は、現在フレームの滞留数を０とし、滞留カウンタＣの値を１だけインクリメントする。一方、滞留数算出部１０４は、滞留でないと判断するとき、ステップＳＴ８の処理に移る。このステップＳＴ８において、滞留数算出部１０４は、１フレーム（１画面）前の滞留数を滞留カウンタＣの値とすると共に、現在フレームの滞留数を１とし、さらに、ステップＳＴ９において、滞留カウンタＣの値を１とする。
【００３８】
滞留数算出部１０４は、ステップＳＴ７の処理の後、およびステップＳＴ９の処理の後に、ステップＳＴ１０の処理に移る。このステップＳＴ１０において、滞留数算出部１０４は、処理フレームを次のフレームとし、その後に、ステップＳＴ４の処理に戻る。
【００３９】
また、ステップＳＴ４で処理フレームが最終フレームであるとき、滞留数算出部１０４は、ステップＳＴ１１の処理に移る。このステップＳＴ１１において、滞留数算出部１０４は、現在フレーム（＝最終フレーム）の滞留数を滞留カウンタＣの値とする。また、滞留数算出部１０４は、このステップＳＴ１１において、累積値Ｔに、現在フレームの注目部分動きＭｖを加算して、現在フレームにおける累積値Ｔを求め、その累積値Ｔの値を、現在フレーム（＝最終フレーム）の累積値として記録する。そして、滞留数算出部１０４は、ステップＳＴ１２において、処理を終了する。
【００４０】
図３は、所定シーンを構成するフレーム（画面）の数が４０の場合において、各フレームの注目部分動きＭｖと、図２のフローチャートの処理で求められる各フレーム（各画面）の滞留数および累積値の一例を示している。この例おいては、フレーム１からフレーム１０までは注目部分動きＭｖが０であるので連続して滞留と判断される。そして、フレーム１１で注目部分動きＭｖが５０であるので滞留でないと判断される。そのため、フレーム１からフレーム９までの滞留数は０とされ、フレーム１０の滞留数は１０とされる。
【００４１】
また、この例においては、フレーム１１からフレーム２５まで注目部分動きＭｖが０でないので連続して滞留でないと判断される。そのため、フレーム１１からフレーム２５までの滞留数は１とされる。さらに、この例においては、フレーム２６からフレーム３９までは注目部分動きＭｖが０であるので連続して滞留と判断される。そのため、フレーム２６からフレーム３９までの滞留数は０とされ、最終フレームであるフレーム４０の滞留数は１５とされる。
【００４２】
シンボル描画部１０５は、滞留数算出部１０４で算出された各画面の滞留数に基づいて、代表画像作成部１０２で作成された代表画像の周縁部に、注目部分の動きを示すシンボルを描画する。また、シンボル描画部１０５は、周縁部に注目部分の動きを示すシンボルが描画された代表画像の画像信号（画像データ）を、出力機器インタフェース（Ｉ／Ｆ）１０６に供給する。
【００４３】
［シンボル描画処理］
図４のフローチャートは、シンボル描画部１０５における処理手順の一例を示している。シンボル描画部１０５は、ステップＳＴ２１において、処理を開始し、その後に、ステップＳＴ２２の処理に移る。このステップＳＴ２２において、シンボル描画部１０５は、注目部分の動き方向を取得する。例えば、動き方向としては、水平方向、垂直方向、斜め方向（水平方向と垂直方向の双方）などがある。この場合、シンボル描画部１０５は、例えば、注目部分動き算出部１０３で算出される各画面の注目部分の動き（動きベクトル）に基づいて、注目部分の動き方向を取得する。
【００４４】
なお、上述していないが、注目部分の動き方向が一方向（水平方向または垂直方向）である場合には、注目部分動き算出部１０３ではその一方向についての動きが求められ、滞留数算出部１０４ではその一方向の動きについての滞留数（図３参照）が求められる。また、注目部分の動き方向が斜め方向である場合には、注目部分動き算出部１０３では水平方向および垂直方向のそれぞれについての動きが求められ、滞留数算出部１０４では水平方向および垂直方向のそれぞれについての滞留数が求められる。
【００４５】
動き方向が水平方向または垂直方向の一方向である場合には、その一方向についてのみ、以下の各ステップのシンボル描画処理が行われる。また、動き方向が斜め方向で水平方向まおよび垂直方向の双方である場合には、それぞれ方向について、以下の各ステップのシンボル描画処理が行われる。
【００４６】
次に、シンボル描画部１０５は、ステップＳＴ２３において、シンボル描画軸を決定する。この場合、シンボル描画部１０５は、ステップＳＴ２２で取得した注目部分の動き方向に対応するようにシンボル描画軸を決定する。例えば、注目部分の動き方向が水平方向であるとき、シンボル描画軸は、水平方向に決定される。そして、シンボル描画部１０５は、ステップＳＴ２４において、処理フレーム（処理画面）を最初のフレーム（最初の画面）とする。
【００４７】
次に、シンボル描画部１０５は、ステップＳＴ２５において、処理フレームが最終フレーム（最終画面）であるか否かを判断する。処理フレームが最終フレームでないとき、シンボル描画部１０５は、ステップＳＴ２６の処理に移る。このステップＳＴ２６において、シンボル描画部１０５は、滞留数が０であるか、１であるか、あるいは２以上であるかを判断する。
【００４８】
滞留数が０であるとき、シンボル描画部１０５は、ステップＳＴ２７において、処理フレームを次のフレームとし、その後に、ステップＳＴ２５の処理に戻る。また、滞留数が１であるとき、シンボル描画部１０５は、ステップＳＴ２８の処理に移る。このステップＳＴ２８において、シンボル描画部１０５は、代表画像の現在フレーム（現在画面）の注目部分に対応した位置に、シンボルとして通常シンボルを描画する。そして、シンボル描画部１０５は、ステップＳＴ２８の処理の後、ステップＳＴ２７で処理フレームを次のフレームとして、ステップＳＴ２５の処理に戻る。
【００４９】
さらに、滞留数が２以上であるとき、シンボル描画部１０５は、ステップＳＴ２９の処理に移る。このステップＳＴ２９において、シンボル描画部１０５は、代表画像の現在フレーム（現在画面）の注目部分に対応した位置に、シンボルとして滞留シンボルを描画する。この滞留シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルとは区別可能とされる。
【００５０】
また、シンボル描画部１０５は、このステップＳＴ２９において、滞留シンボルの描画位置に対応した位置に滞留数をさらに描画する。そして、シンボル描画部１０５は、ステップＳＴ２９の処理の後、ステップＳＴ２７で処理フレームを次のフレームとして、ステップＳＴ２５の処理に戻る。
【００５１】
また、ステップＳＴ２５で処理フレームが最終フレームであるとき、シンボル描画部１０５は、ステップＳＴ３０の処理に移る。このステップＳＴ３０において、シンボル描画部１０５は、代表画像の現在フレーム（＝最終フレーム）の注目部分に対応した位置に、シンボルとして終端シンボルを描画する。この終端シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルおよび滞留シンボルとは区別可能とされる。
【００５２】
また、シンボル描画部１０５は、このステップＳＴ３０において、終端シンボルの描画位置に対応した位置に滞留数をさらに描画する。そして、シンボル描画部１０５は、ステップＳＴ３０の処理の後、ステップＳＴ３１において、処理を終了する。
【００５３】
図５は、描画例を示している。この例では、注目部分としての人物の動きが斜め方向であり、代表画像の上側の周縁部には水平方向の動きを示すシンボルが描画され、代表画像の左側の周縁部には垂直方向の動きを示すシンボルが描画されている。この例は、所定シーンを構成するフレーム（画面）の数が４０の場合において、各方向について、各フレーム（各画面）の滞留数および累積値が図３に示すようであったときの、各シンボルおよび滞留数の描画例を示している。
【００５４】
なお、この描画例では、各シンボルは線分で表されている。この例においては、フレーム１からフレーム９までは滞留数が０であるのでシンボルの描画は行われない。そして、フレーム１０では滞留数が１０であるので、そのフレームの注目部分に対応した位置（そのフレームの右上位置）に滞留シンボルが描画され、さらに、それに対応した位置に滞留数「１０」が描画される。
【００５５】
また、フレーム１１からフレーム２５までは滞留数が１であるので、そのフレームの注目部分に対応した位置に通常シンボルが描画される。また、フレーム２６からフレーム３９までは滞留数が０であるのでシンボルの描画は行われない。そして、終端のフレーム４０では、そのフレームの注目部分に対応した位置に終端シンボルが描画され、さらに、それに対応した位置に滞留数「１５」が描画される。
【００５６】
出力機器インタフェース１０６は、シンボル描画部１０５から供給される画像データ、つまり周縁部に注目部分の動きを示すシンボルが描画された代表画像の画像信号（画像データ）を、画像表示装置、あるいは記録装置等の出力機器に供給する。例えば、画像表示装置においては、周縁部に注目部分の動きを示すシンボルが描画された代表画像の表示が行われる。また、例えば、記録装置においては、画像入力部１０１に入力された画像信号の各シーンに対応付けされて、各シーンのシンボル描画代表画像の画像信号が、記録媒体に記録される。
【００５７】
［画像処理装置の動作例］
図１に示す画像処理部１００の動作例を説明する。画像入力部１０１に、処理対象の画像信号が入力される。この処理対象の画像信号は、例えば、撮像機（カメラ）で撮像されて得られたものであり、撮像機（カメラ）から直接供給され、あるいは、所定の記録媒体から読み出されて供給される。
【００５８】
画像入力部１０１では、入力された画像信号が処理されてシーンチェンジ点が検出され、入力された画像信号がシーン毎に分割される。そして、画像入力部１０１では、各シーンの画像信号を代表画像作成部１０２および注目部分動き検出部１０３に順次供給することが行われる。
【００５９】
代表画像作成部１０２、注目部分動き検出部１０３、滞留数算出部１０４およびシンボル描画部１０５では、各シーンが順次処理対象のシーン（所定シーン）とされて、処理される。すなわち、代表画像作成部１０２では、所定シーンの画像信号が処理され、この所定シーンを構成する各画面（フレーム）の画像に基づいて、代表画像が作成される。例えば、所定シーンを構成する各画面の画像から、所定の１画面、例えば先頭の１画面の画像が選択されて代表画像とされる。また、例えば、所定シーンを構成する各画面の画像を重ね合わせた合成画像が代表画像として作成される。また、例えば、所定シーンを構成する各画面の画像をつなぎ合わせた和集合画像が代表画像として作成される。
【００６０】
また、注目部分動き算出部１０３では、所定シーンの画像信号が処理され、この所定シーン内の各画面の注目部分の動き（動きベクトル）が算出される。この所定シーン内の各画面の注目部分の動きは、滞留数算出部１０４に供給される。滞留数算出部１０４では、所定シーン内の各画面の注目部分の動きに基づいて、各画面の注目部分の滞留数および累積値が算出される（図２参照）。
【００６１】
滞留数算出部１０４で算出された所定シーン内の各画面の注目部分の滞留数および累積値は、シンボル描画部１０５に供給される。また、このシンボル描画部１０５には、代表画像作成部１０２で作成された代表画像の画像信号（画像データ）が供給される。このシンボル描画部１０５では、各画面の注目部分の滞留数に基づいて、代表画像の周縁部に、注目部分の動きを示すシンボルが描画される（図４参照）。
【００６２】
この場合、滞留数が１である画面においては、代表画像のその画面の注目部分に対応した位置に、シンボルとして通常シンボルが描画される。また、滞留数が２以上である画面においては、代表画像のその画面の注目部分に対応した位置に、シンボルとして滞留シンボルが描画されると共に、それに対応して滞留数も描画される。さらに、終端画面においては、その画面の注目部分に対応した位置に、シンボルとして終端シンボルが描画されると共に、それに対応して滞留数も描画される。
【００６３】
シンボル描画部１０５では、シーン毎に、周縁部に注目部分の動きを示すシンボルが描画された代表画像の画像信号（画像データ）が得られ、この画像信号（画像データ）は出力機器インタフェース（Ｉ／Ｆ）１０６に供給される。出力機器インタフェース１０６では、シンボル描画部１０５から供給される画像信号、つまり周縁部に注目部分の動きを示すシンボルが描画された代表画像の画像信号（画像データ）を、画像表示装置、あるいは記録装置等の出力機器に供給することが行われる。
【００６４】
これにより、例えば、画像表示装置においては、周縁部に注目部分の動きを示すシンボルが描画された代表画像の表示が行われる。また、例えば、記録装置においては、画像入力部１０１に入力された画像信号の各シーンに対応付けされて、各シーンのシンボル描画代表画像の画像信号が、記録媒体に記録される。
【００６５】
以上説明したように、図１に示す画像処理装置１００においては、代表画像作成部１０２により、所定シーンの画像信号が処理され、この所定シーンを構成する各画面の画像に基づいて代表画像が作成される。また、注目部分動き算出部１０３により、所定シーンの画像信号が処理され、この所定シーン内の各画面の注目部分の動きが算出される。また、滞留数算出部１０４により、この算出された所定シーン内の各画面の注目部分の動きに基づいて、所定シーン内の各画面の注目部分の滞留数が算出される。
【００６６】
そして、シンボル描画部１０５により、この算出された所定シーン内の各画面の注目部分の滞留数に基づいて、代表画像作成部１０２で作成された代表画像の周縁部に、注目部分の動きを示すシンボル（通常シンボル、滞留シンボル、終端シンボル）が描画される。したがって、閲覧者、編集者等は、シーン内における注目部分の全体的な動きを容易に把握可能となる。つまり、閲覧者、編集者等は、シーン内における注目部分の動きを総覧的に知覚することが可能となる。
【００６７】
なお、図１に示す画像処理装置１００において、シンボル描画部１０５では、滞留数が１である画面で通常シンボルが描画され、滞留数が２以上である画面で滞留シンボルが描画されるようになっている（図４参照）。しかし、一般に、滞留数が１〜Ｎ（Ｎは１以上の整数）である画面で通常シンボルが描画され、滞留数がＮを超える画面で滞留シンボルが描画されるようにしてもよい。そして、この場合、Ｎの値を、ユーザが、図示しないユーザ操作部により任意に設定可能としてもよい。
【００６８】
また、図１に示す画像処理装置１００において、シンボル描画部１０５は、滞留数算出部１０４で算出された各画面の注目部分の滞留数に基づいて、注目部分の動きを示すシンボル（通常シンボル、滞留シンボル、終端シンボル）を描画するようになっている。しかし、例えば、シーン内の各画面の動きを示すために各画面の注目部分に対応した位置に通常シンボルを描画するという構成も考えられる。その場合、シンボル描画部１０５では、注目部分動き算出部１０３で算出された所定シーン内の各画面の注目部分の動きを直接利用して、シンボル描画を行うことができる。
【００６９】
また、図１に示す画像処理装置１００において、シンボル描画部１０５では、滞留シンボルおよび終端シンボルの描画位置に対応して、滞留数も合わせて描画される。しかし、この滞留数の描画は必ずしも必要なものではない。
【００７０】
［滞留数算出処理の他の例］
上述において、滞留数算出部１０４は、注目部分動き算出部１０３で算出された所定シーン内の各画面の注目部分の動きに基づいて、各画面の注目部分の滞留数を算出する構成となっている。しかし、各画面の注目部分の動きの情報をメタデータとして予め備えている場合、滞留数算出部１０４は、その情報を利用して、各画面の滞留数を算出することが可能となる。その場合には、例えば、画像入力部１０１から滞留数算出部１０４に各画面の注目部分の動きの情報が供給され、注目部分動き算出部１０３は不要となる。
【００７１】
また、上述実施の形態において、滞留数算出部１０４では、現在フレームの注目部分動きＭｖが０であるか否かにより滞留か否かを判断している。しかし、三脚を使用しないで撮影された場合、安価な三脚を使用して撮影された場合、あるいはダウンコンバート／アップコンバートされている場合などがある。このような場合、撮影者の意図や、視聴者の感覚としては「滞留している」とみなしてもよいが、注目部分動き動きとしては微妙に０とは異なる値に算出され、結果的に滞留ではないと判断される場合がある。
【００７２】
そこで、注目部分動きＭｖの累積値を滞留ブレＡmvとして定義し、この滞留ブレＡmvが閾値の範囲内にあるか否かにより、滞留か否かを判断することが考えられる。これにより、視聴者の感覚として滞留しているとみなしてもよい画面を、確実に滞留していると判断させることができる。図６のフローチャートは、その場合における、滞留数算出部１０４の処理手順の一例を示している。
【００７３】
滞留数算出部１０４は、ステップＳＴ４１において、処理を開始し、その後に、ステップＳＴ４２の処理に移る。このステップＳＴ４２において、滞留数算出部１０４は、滞留カウンタＣの値を０とし、注目部分動きＭｖの累積値（累積動き量）Ｔの値を０とし、さらに滞留ブレＡmvを０に設定する。そして、滞留数算出部１０４は、ステップＳＴ４３において、処理フレーム（処理画面）を最初のフレーム（最初の画面）とする。
【００７４】
次に、滞留数算出部１０４は、ステップＳＴ４４において、処理フレームが最終フレーム（最終画面）であるか否かを判断する。処理フレームが最終フレームでないとき、滞留数算出部１０４は、ステップＳＴ４５の処理に移る。このステップＳＴ４５において、滞留数算出部１０４は、累積値Ｔに、現在フレームの注目部分動きＭｖを加算して、現在フレームにおける累積値Ｔを求め、その累積値Ｔの値を現在フレームの累積値として記録する。また、滞留数算出部１０４は、このステップＳＴ４５において、滞留ブレＡmvに注目部分動きＭｖを加算して、滞留ブレＡmvを更新する。
【００７５】
次に、滞留数算出部１０４は、ステップＳＴ４６において、滞留か否かを判断する。ここで、滞留数算出部１０４は、滞留ブレＡmvが閾値の範囲内か否かにより、滞留か否かを判断する。すなわち、滞留数算出部１０４は、Ａmvが閾値の範囲内にあるときは滞留であると判断し、Ａmvが閾値の範囲を超えるときは滞留でないと判断する。
【００７６】
滞留数算出部１０４は、滞留であると判断するとき、ステップＳＴ４７の処理に移る。このステップＳＴ４７において、滞留数算出部１０４は、現在フレームの滞留数を０とし、滞留カウンタＣの値を１だけインクリメントする。また、滞留数算出部１０４は、このステップＳＴ４７において、滞留ブレＡmvの最大値および最小値を記録する。この記録情報は、滞留でないと判断される場合の滞留ブレＡmvがどの程度であったかを示す情報（メタデータ）となる。例えば、この情報に基づいて、閾値を適応的に変化させることも考えられる。
【００７７】
一方、滞留数算出部１０４は、滞留でないと判断するとき、ステップＳＴ４８の処理に移る。このステップＳＴ４８において、滞留数算出部１０４は、１フレーム（１画面）前の滞留数を滞留カウンタＣの値とすると共に、現在フレームの滞留数を１とする。そして、滞留数算出部１０４は、ステップＳＴ４９において、滞留カウンタＣの値を１とし、滞留ブレＡmvを０にリセットする。
【００７８】
滞留数算出部１０４は、ステップＳＴ４７の処理の後、およびステップＳＴ４９の処理の後に、ステップＳＴ５０の処理に移る。このステップＳＴ５０において、滞留数算出部１０４は、処理フレームを次のフレームとし、その後に、ステップＳＴ４４の処理に戻る。
【００７９】
また、ステップＳ４４で処理フレームが最終フレームであるとき、滞留数算出部１０４は、ステップＳＴ５１の処理に移る。このステップＳＴ５１において、滞留数算出部１０４は、現在フレーム（＝最終フレーム）の滞留数を滞留カウンタＣの値とする。また、滞留数算出部１０４は、このステップＳＴ５１において、累積値Ｔに現在フレームの注目部分動きＭｖを加算して、現在フレームにおける累積値Ｔを求め、その累積値Ｔを記録する。そして、滞留数算出部１０４は、ステップＳＴ５２において、処理を終了する。
【００８０】
なお、上述では注目部分動きＭｖの累積値である滞留ブレＡmvが閾値の範囲内か否かにより滞留か否かを判断している。さらに、各画面（各フレーム）において、その画面の注目部分動きＭｖが閾値の範囲内か否かにより滞留か否かを判断することも考えられる。その場合においても、滞留であると判断するとき、注目部分動きＭｖの最大値および最小値を記録するようにされる。この記録情報は、滞留でないと判断される場合の注目部分動きＭｖがどの程度であるかを示す注目部分動きＭｖの挙動情報（メタデータ）となる。例えば、この情報に基づいて、閾値を適応的に変化させることも考えられる。
【００８１】
［シンボル描画処理の他の例］
また、上述において、注目部分の動きが単方向の場合を例にとって示した。しかし、注目部分の動きが双方向の場合も考えられる。この場合、注目部分の動き方向が順方向（第１の方向）にある各画面に対応したシンボルの描画位置と、注目部分の動き方向が逆方向（第２の方向）にある各画面に対応したシンボルの描画位置とは、例えば、順方向および逆方向と直交する方向にずれるようにされる。これにより、それぞれの方向への注目部分の動きを示すシンボルが重なることがなく、見やすくできる。また、この場合、終端シンボルだけでは画像の動きがわかりにくいことがあるので、滞留シンボルに、滞留の順序を示すシンボル（滞留ＩＤ）が加えられる。
【００８２】
図７のフローチャートは、その場合におけるシンボル描画部１０５の処理手順の一例を示している。シンボル描画部１０５は、ステップＳＴ６１において、処理を開始し、その後に、ステップＳＴ６２の処理に移る。このステップＳＴ６２において、シンボル描画部１０５は、注目部分の動き方向を取得する。例えば、動き方向としては、水平方向、垂直方向、斜め方向（水平方向と垂直方向の双方）などがある。この場合、シンボル描画部１０５は、例えば、注目部分算出部１０３で算出される各画面の注目部分の動き（動きベクトル）に基づいて、注目部分の動き方向を取得する。
【００８３】
次に、シンボル描画部１０５は、ステップＳＴ６３において、シンボル描画軸を決定する。この場合、シンボル描画部１０５は、ステップＳＴ６２で取得した注目部分の動き方向に対応するようにシンボル描画軸を決定する。そして、シンボル描画部１０５は、ステップＳＴ６４において、処理フレーム（処理画面）を最初のフレーム（最初の画面）とし、さらに、ステップＳＴ６５において、滞留ＩＤを１とする。
【００８４】
次に、シンボル描画部１０５は、ステップＳＴ６６において、処理フレームが最終フレーム（最終画面）であるか否かを判断する。処理フレームが最終フレームでないとき、シンボル描画部１０５は、ステップＳＴ６７において、注目部分の動き方向が順方向から逆方向に変更になったか否かを判断する。方向が変更になっていないとき、シンボル描画部１０５は、直ちに、ステップＳＴ６８の処理に移る。一方、方向が変更になっているとき、シンボル描画部１０５は、ステップＳＴ６９において、描画位置を、上述の順方向および逆方向と直交する方向にシフトした後に、ステップＳＴ６８の処理に移る。
【００８５】
ステップＳＴ６８において、シンボル描画部１０５は、滞留数が０であるか、１であるか、あるいは２以上であるかを判断する。滞留数が０であるとき、シンボル描画部１０５は、ステップＳＴ７０において、処理フレームを次のフレームとし、その後に、ステップＳＴ６６の処理に戻る。また、滞留数が１であるとき、シンボル描画部１０５は、ステップＳＴ７１の処理に移る。このステップＳＴ７１において、シンボル描画部１０５は、代表画像の現在フレーム（処理画面）の注目部分に対応した位置に、シンボルとして通常シンボルを描画する。そして、シンボル描画部１０５は、ステップＳＴ７１の処理の後、ステップＳＴ７０で処理フレームを次のフレームとして、ステップＳＴ６６の処理に戻る。
【００８６】
さらに、滞留数が２以上であるとき、シンボル描画部１０５は、ステップＳＴ７２の処理に移る。このステップＳＴ７２において、シンボル描画部１０５は、代表画像の現在フレーム（処理画面）の注目部分に対応した位置に、シンボルとして滞留シンボルを描画する。この滞留シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルとは区別可能とされる。
【００８７】
また、シンボル描画部１０５は、このステップＳＴ７２において、滞留シンボルの描画位置に対応した位置に滞留数を描画する。さらに、シンボル描画部１０５は、この滞留シンボルの描画位置に対応した位置に、滞留の順序を示すシンボルとしての滞留ＩＤを描画すると共に、滞留ＩＤを１だけインクリメントする。シンボル描画部１０５は、ステップＳＴ７２の処理の後、ステップＳＴ７０で処理フレームを次のフレームとして、ステップＳＴ６６の処理に戻る。
【００８８】
また、ステップＳＴ６６で処理フレームが最終フレームであるとき、シンボル描画部１０５は、ステップＳＴ７３の処理に移る。このステップＳＴ７３において、シンボル描画部１０５は、代表画像の現在フレーム（＝最終フレーム）の注目部分に対応した位置に、シンボルとして終端シンボルを描画する。この終端シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルおよび滞留シンボルとは区別可能とされる。
【００８９】
また、シンボル描画部１０５は、このステップＳＴ７３において、終端シンボルの描画位置に対応した位置に滞留数を描画する。さらに、シンボル描画部１０５は、この終端シンボルの描画位置に対応した位置に、滞留の順序を示すシンボルとしての滞留ＩＤを描画する。そして、シンボル描画部１０５は、ステップＳＴ７３の処理の後、ステップＳＴ７４において、処理を終了する。
【００９０】
図８は、各シンボル、滞留数および滞留ＩＤの描画例を示している。なお、この描画例では、ゴルフクラブのヘッドが注目部分であって、このヘッドの動きを示す各シンボルは線分で表されている。この例においては、滞留ＩＤは、丸数字で表されている。水平方向の動きについて説明する。滞留ＩＤとして丸数字の１が対応して描画されている滞留シンボルの描画位置は最初の滞留位置であり、この位置に１５画面（フレーム）だけ滞留していることが分かる。また、滞留ＩＤとして丸数字の２が対応して描画されている滞留シンボルの描画位置は、２番目の滞留位置であり、この位置に３画面（フレーム）だけ滞留していることが分かる。
【００９１】
そして、その後に、注目部分の動き方向が順方向から逆方向に変更される。そのため、シンボルの描画位置がシフトされている。この例においては、注目部分の動き方向が逆方向に変更された後のシンボルの描画位置は、反対側の辺とされている。滞留ＩＤとして丸数字の３が対応して描画されている終端シンボルの描画位置が最終画面（最終フレーム）の位置であり、この位置に１５画面（フレーム）だけ滞留していることが分かる。
【００９２】
次に、垂直方向の動きについて説明する。滞留ＩＤとして丸数字の１が対応して描画されている滞留シンボルの描画位置は最初の滞留位置であり、この位置に１５画面（フレーム）だけ滞留していることが分かる。また、滞留ＩＤとして丸数字の２が対応して描画されている終端シンボルの描画位置が最終画面（最終フレーム）の位置であり、この位置に１５画面（フレーム）だけ滞留していることが分かる。この垂直方向に関しては、注目部分の動き方向は順方向のままである。
【００９３】
図９（ａ）は、各シンボル、滞留数および滞留ＩＤの他の描画例を示している。この描画例は、基本的には、図８に示す描画例と同様である。この例においては、注目部分の動き方向が逆方向に変更された後のシンボルの描画位置は、同じ辺側の垂直方向にずらした位置とされている。また、図９（ｂ）は、各シンボル、滞留数および滞留ＩＤの他の描画例を示している。この描画例も、基本的には、図８に示す描画例と同様である。この例においても、注目部分の動き方向が逆方向に変更された後のシンボルの描画位置は、同じ辺側の垂直方向にずらした位置とされている。ただし、図９（ａ）とは、順方向のシンボル描画位置と、逆方向のシンボル描画位置とが、置き換えられている。
【００９４】
なお、図８および図９の描画例では、滞留ＩＤが丸数字である場合を示した。しかし、1，2，3などの各種数字の他、Ａ，Ｂ，Ｃ・・・、ア、イ、ウ・・・、イ、ロ、ハ・・・などのように、自明的に順序がわかるようなシンボル、あるいは、▽印のように明示的に進行方向を示すシンボルを用いてもよい。
【００９５】
また、上述では、図５、図８、図９に示すように、注目部分の動きを示すシンボルが線分である例を示した。しかし、線分による表示の他に、数字、図１０（ａ）に示すようなシンボル、図１０（ｂ）に示すようなグラフ的図形、図１０（ｃ）に示すようなグラデーション、あるいは色合いといったものによる表示も考えられる。
【００９６】
［シンボル描画処理の他の例］
また、上述において、シンボル描画部１０５で描画される各通常シンボルは同じ長さの線分で表されている。しかし、この通常シンボルの長さを、各画面の注目部分の動きに応じた長さとすることが考えられる。この場合、例えば、所定の画面で描画される通常シンボルの長さｈは、Ｈ＊Ｍv／Ｍvmaxとされる。ここで、出力機器における周縁部の表示領域の注目部分の動きの方向（注目部分動き方向）に直交する方向の長さをＨとし、注目部分の動きの中で最大の動きをＭvmaxとし、さらに、各画面の注目部分の動きをＭvとしている。
【００９７】
図１１のフローチャートは、その場合におけるシンボル描画部１０５の処理手順の一例を示している。この図１１において、図４と対応するステップには同一の符号を付して示し、その詳細説明は省略する。この図１１のフローチャートにおいては、図４のフローチャートのステップＳＴ２８の代わりに、ステップＳＴ２８Ａが挿入されている。
【００９８】
シンボル描画部１０５は、ステップＳＴ２８Ａにおいて、滞留数が１であるとき、ステップＳＴ２８Ａの処理に移る。このステップＳＴ２８Ａにおいて、シンボル描画部１０５は、代表画像の現在フレーム（現在画面）の注目部分に対応した位置に、シンボルとして通常シンボルを描画する。この場合、シンボル描画部１０５は、描画する通常シンボルの長さｈを、上述したように、Ｈ＊Ｍv／Ｍvmaxとし、現在フレームの注目部分の動きの大きさＭvに対応した長さとする。
【００９９】
シンボル描画部１０５は、このステップＳＴ２８Ａの処理の後、ステップＳＴ２７で処理フレームを次のフレームとして、ステップＳＴ２５の処理に戻る。なお、詳細説明は省略するが、この図１１のフローチャートにおけるその他のステップは、図４のフローチャートの対応する処理と同様である。
【０１００】
図１２（ａ）は、図１１のフローチャートによるシンボル描画処理による描画例を示している。この描画例は、所定シーンを構成するフレーム（画面）の数が４０の場合であって、各フレーム（各画面）の滞留数および累積値が図３に示すようであったときの例である。この描画例では、上述の図５に示す描画例とは異なり、通常シンボルの長さが、注目部分の動きの大きさに対応した長さとなっている。図１２（ｂ）は、図１２（ａ）におけるシンボル部分を拡大して示したものでる。上述したように通常シンボルの長さｈがＨ＊Ｍv／Ｍvmaxとされるので、注目部分の動きの中で最大の動きＭvmaxの画面で描画される通常シンボルの長さｈはＨとなっている。
【０１０１】
また、図１３も、図１１のフローチャートによるシンボル描画処理による描画例を示している。この描画例は、所定シーンを構成するフレーム（画面）の数が４００の場合の例である。この場合、描画される通常シンボルが混み合った状態（塗りつぶされた状態）となっている。しかし、通常シンボルの長さが注目部分の動きの大きさに対応した長さとされているため、画面の細かな動きは分からないが、包絡線により、各画面の注目部分の動きのおおよその傾向を把握可能となる。
【０１０２】
このように、図１１のフローチャートによるシンボル描画処理を行うことで、各画面で描画される通常シンボルの長さはその画面の注目部分の動きに対応したものとなり、この通常シンボルが示す情報量を増すことができる。[TY1]
【０１０３】
［シンボル描画処理の他の例］
また、上述において、シンボル描画部１０５では、滞留数が１（一般には滞留数が１〜Ｎ（Ｎは以上の整数））となる画面の全てで通常シンボルが描画されている。この場合、描画された通常シンボルが混み合って重複を起こす可能性がある。そのため、描画されるシンボル間の近接を判定し、その判定結果に応じて、通常シンボルの描画態様を変化させることが考えられる。
【０１０４】
＜２．第２の実施の形態＞
［画像処理装置の構成例］
図１４は、第２の実施の形態としての画像処理装置１００Ｂの構成例を示している。この画像処理装置１００Ｂは、画像入力部１０１と、代表画像作成部１０２と、注目部分動き算出部１０３と、滞留数算出部１０４と、シンボル描画部１０５Ｂと、出力機器インタフェース（Ｉ／Ｆ）１０６と、間引き数算出部１０８を有している。この図１４において、図１と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
【０１０５】
例えば、表示領域上で最も近接しているシンボル間の距離ｄが算出され、この距離ｄに基づいて、シンボル間の近接が判定される。距離ｄは、画面の注目部分の動き方向の長さＳ、注目部分の動きの中で滞留していないと判定された最小の動きＶminおよび出力機器における代表画像の表示領域の注目部分の動き方向の長さＷを用い、（１）式で算出される。図１５は、長さＳ、累積値Ｔおよび長さＷが、どこに対応しているかを示している。
ｄ＝Ｗ＊Ｖmin／Ｓ ・・・（１）
【０１０６】
シンボル描画部１０５Ｂでは、表示領域上で最も近接しているシンボル間の距離ｄが所定値を超えるように、通常シンボルを所定数の画面毎に描画することが考えられる。この場合、通常シンボルは間引きされて描画される。図１６のフローチャートは、その場合における間引き数ｎを求める間引き数算出部１０８の処理手順の一例を示している。
【０１０７】
間引き数算出部１０８は、ステップＳＴ４１において、処理を開始し、その後に、ステップＳＴ４２の処理に移る。このステップＳＴ４２において、間引き数算出部１０８は、注目部分の動き方向を取得する。例えば、動き方向としては、水平方向、垂直方向、斜め方向（水平方向と垂直方向の双方）などがある。この場合、間引き数算出部１０８は、例えば、注目部分動き算出部１０３で算出される各画面の注目部分の動き（動きベクトル）に基づいて、注目部分の動き方向を取得する。
【０１０８】
次に、間引き数算出部１０８は、ステップＳＴ４３において、シンボル描画軸を決定する。この場合、シンボル描画部１０５は、ステップＳＴ４２で取得した注目部分の動き方向に対応するようにシンボル描画軸を決定する。例えば、注目部分の動き方向が水平方向であるとき、シンボル描画軸は、水平方向に決定される。
【０１０９】
次に、間引き数算出部１０８は、表示枠の大きさＷ、つまり上述した出力機器における代表画像の表示領域の注目部分の動き方向の長さＷを取得する。この長さＷの情報は、例えば、ユーザ操作により与えられるか、あるいは出力機器インタフェース１０６を通じて出力機器から自動的に取得される。
【０１１０】
次に、間引き数算出部１０８は、ステップＳＴ４５において、フレームの合算数ｎを１とする。そして、シンボル描画部１０５は、ステップＳＴ４６において、合算後のフレームの最小動きＶminに対して、上述の（１）式で、距離ｄを算出する。そして、間引き数算出部１０８は、ステップＳＴ４７において、この算出された距離ｄが、描画シンボルの弁別可能な値（例えば２）であるか否かを判別する。距離ｄが描画シンボルの大きさに比べて小さいときは、ユーザにとって描画された描画シンボルが見にくいものであることが想定される。
【０１１１】
距離ｄが描画シンボルの弁別が可能な値であるとき、間引き数算出部１０８は、ステップＳＴ４８のシンボル描画部１０５Ｂの処理に移る。一方、距離ｄが描画シンボルの弁別が可能な値でないとき、間引き数算出部１０８は、ステップＳＴ４９の処理に移る。このステップＳＴ４９において、間引き数算出部１０８は、フレームの合算数ｎを１だけインクリメントする。そして、間引き数算出部１０８は、ステップＳＴ５０において、注目部分の動きをｎフレーム毎に合算して、その後に、ステップＳＴ４６の処理に戻る。
【０１１２】
図１７のフローチャートは、図１６のフローチャートにおけるステップＳＴ４８のシンボル描画処理を示している。シンボル描画部１０５Ｂは、ステップＳＴ５１において、処理を開始し、その後に、ステップＳＴ５２の処理に移る。このステップＳＴ５２において、シンボル描画部１０５Ｂは、処理フレーム（処理画面）を最初のフレーム（最初の画面）とする。つまり、処理フレームのフレーム番号ｋを０とする。また、間引き数ｎを表示する
【０１１３】
次に、シンボル描画部１０５Ｂは、ステップＳＴ５３において、処理フレームが最終フレーム（最終画面）であるか否かを判断する。処理フレームが最終フレームでないとき、シンボル描画部１０５Ｂは、ステップＳＴ５４の処理に移る。このステップＳＴ５４において、シンボル描画部１０５Ｂは、滞留数が０であるか、１であるか、あるいは２以上であるかを判断する。
【０１１４】
滞留数が０であるとき、シンボル描画部１０５Ｂは、シンボルを描画せず、ステップＳＴ５５において、処理フレームを次のフレームとし、その後に、ステップＳＴ５３の処理に戻る。また、滞留数が１であるとき、シンボル描画部１０５Ｂは、ステップＳＴ５６の処理に移る。このステップＳＴ５６において、シンボル描画部１０５Ｂは、現在のフレーム番号ｋがｎの倍数か否かを判別する。
【０１１５】
シンボル描画部１０５Ｂは、フレーム番号ｋがｎの倍数であるとき、ステップＳＴ５７の処理に移る。このステップＳＴ５７において、シンボル描画部１０５Ｂは、代表画像の現在フレーム（現在画面）の注目部分に対応した位置に、シンボルとして通常シンボルを描画する。そして、シンボル描画部１０５Ｂは、ステップＳＴ５７の処理の後、ステップＳＴ５５で処理フレームを次のフレームとして、ステップＳＴ５３の処理に戻る。一方、フレーム番号ｋがｎの倍数でないとき、シンボル描画部１０５Ｂは、シンボルを描画せず、ステップＳＴ５５において、処理フレームを次のフレームとし、その後に、ステップＳＴ５３の処理に戻る。これにより、通常シンボルの描画はｎフレームで１回だけ行われ、間引きが行われる。
【０１１６】
また、ステップＳＴ５４で滞留数が２以上であるとき、シンボル描画部１０５Ｂは、ステップＳＴ５８の処理に移る。このステップＳＴ５８において、シンボル描画部１０５Ｂは、代表画像の現在フレーム（現在画面）の注目部分に対応した位置に、シンボルとして滞留シンボルを描画する。この滞留シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルとは区別可能とされる。
【０１１７】
また、シンボル描画部１０５Ｂは、このステップＳＴ５８において、滞留シンボルの描画位置に対応した位置に滞留数をさらに描画する。そして、シンボル描画部１０５Ｂは、ステップＳＴ５８の処理の後、ステップＳＴ５５で処理フレームを次のフレームとして、ステップＳＴ５３の処理に戻る。
【０１１８】
また、ステップＳＴ５３で処理フレームが最終フレームであるとき、シンボル描画部１０５Ｂは、ステップＳＴ５９の処理に移る。このステップＳＴ５９において、シンボル描画部１０５Ｂは、代表画像の現在フレーム（＝最終フレーム）の注目部分に対応した位置に、シンボルとして終端シンボルを描画する。この終端シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルおよび滞留シンボルとは区別可能とされる。
【０１１９】
また、シンボル描画部１０５Ｂは、このステップＳＴ５９において、終端シンボルの描画位置に対応した位置に滞留数をさらに描画する。そして、シンボル描画部１０５Ｂは、ステップＳＴ５９の処理の後、ステップＳＴ６０において、処理を終了する。
【０１２０】
図１８は、図１６、図１７のフローチャートによるシンボル描画処理による描画例を示している。この描画例は、所定シーンを構成するフレーム（画面）の数が４００、そしてｎ＝１０の場合の例である。このように、図１６、図１７のフローチャートによるシンボル描画処理を行うことで、通常シンボルは間引かれて描画される。そのため、出力機器における代表画像の表示サイズが小さい場合であっても、描画された通常シンボルが混み合い過ぎて注目部分の動きの把握が困難になるということを防止できる。
【０１２１】
なお、図１６のフローチャートの処理では、距離ｄが描画シンボルの弁別が可能な値となるまで、ｎを１から変化させていき、間引きの割合に関係する最終的なｎの値を得るようにしている。しかし、ｎの値の求め方は、これに限定されるものではない。例えば、単純に、ｎの値を、ｄの逆数１／ｄに近い整数値としてもよい。また、例えば、ｎを１から変化させていく代わりに、ｄの逆数１／ｄに近い整数値から増減して、最終的なｎの値を得るようにしてもよい。
【０１２２】
［画像処理装置の動作例］
図１４に示す画像処理部１００Ｂの動作例を説明する。画像入力部１０１に、処理対象の画像信号が入力される。この処理対象の画像信号は、例えば、撮像機（カメラ）で撮像されて得られたものであり、撮像機（カメラ）から直接供給され、あるいは、所定の記録媒体から読み出されて供給される。
【０１２３】
画像入力部１０１では、入力された画像信号が処理されてシーンチェンジ点が検出され、入力された画像信号がシーン毎に分割される。そして、画像入力部１０１では、各シーンの画像信号を代表画像作成部１０２および注目部分動き検出部１０３に順次供給することが行われる。
【０１２４】
代表画像作成部１０２、注目部分動き検出部１０３、滞留数算出部１０４およびシンボル描画部１０５Ｂでは、各シーンが順次処理対象のシーン（所定シーン）とされて、処理される。すなわち、代表画像作成部１０２では、所定シーンの画像信号が処理され、この所定シーンを構成する各画面（フレーム）の画像に基づいて、代表画像が作成される。例えば。所定シーンを構成する各画面の画像から、所定の１画面、例えば先頭の１画面の画像が選択されて代表画像とされる。また、例えば、所定シーンを構成する各画面の画像を重ね合わせた合成画像が代表画像として作成される。また、例えば、所定シーンを構成する各画面の画像をつなぎ合わせた和集合画像が代表画像として作成される。
【０１２５】
また、注目部分動き算出部１０３では、所定シーンの画像信号が処理され、この所定シーン内の各画面の注目部分の動き（動きベクトル）が算出される。この所定シーン内の各画面の注目部分の動きは、滞留数算出部１０４に供給される。滞留数算出部１０４では、所定シーン内の各画面の注目部分の動きに基づいて、各画面の注目部分の滞留数および累積値が算出される（図２参照）。また、間引き数算出部１０８では、表示領域上で最も近接しているシンボル間の距離ｄが算出され、この距離ｄに基づいてシンボル間の近接が判定されて、間引き数が算出される。
【０１２６】
滞留数算出部１０４で算出された所定シーン内の各画面の注目部分の滞留数および累積値は、シンボル描画部１０５Ｂに供給される。また、間引き数産出部１０８で算出された間引き数がシンボル描画部１０５Ｂに供給される。さらに、このシンボル描画部１０５Ｂには、代表画像作成部１０２で作成された代表画像の画像信号（画像データ）が供給される。このシンボル描画部１０５Ｂでは、間引き数の倍数フレーム毎に、各画面の注目部分の滞留数に基づいて、代表画像の周縁部に、注目部分の動きを示すシンボルが描画される（図４参照）。
【０１２７】
シンボル描画部１０５Ｂでは、シーン毎に、周縁部に注目部分の動きを示すシンボルが描画された代表画像の画像信号（画像データ）が得られ、この画像信号（画像データ）は出力機器インタフェース（Ｉ／Ｆ）１０６に供給される。出力機器インタフェース１０６では、シンボル描画部１０５Ｂから供給される画像信号、つまり周縁部に注目部分の動きを示すシンボルが描画された代表画像の画像信号（画像データ）を、画像表示装置、あるいは記録装置等の出力機器に供給することが行われる。
【０１２８】
これにより、例えば、画像表示装置においては、周縁部に注目部分の動きを示すシンボルが描画された代表画像の表示が行われる。また、例えば、記録装置においては、画像入力部１０１に入力された画像信号の各シーンに対応付けされて、各シーンのシンボル描画代表画像の画像信号が、記録媒体に記録される。
【０１２９】
以上説明したように、図１４に示す画像処理装置１００Ｂにおいては、代表画像作成部１０２により、所定シーンの画像信号が処理され、この所定シーンを構成する各画面の画像に基づいて代表画像が作成される。また、注目部分動き算出部１０３により、所定シーンの画像信号が処理され、この所定シーン内の各画面の注目部分の動きが算出される。また、滞留数算出部１０４により、この算出された所定シーン内の各画面の注目部分の動きに基づいて、所定シーン内の各画面の注目部分の滞留数が算出される。
【０１３０】
そして、シンボル描画部１０５Ｂにより、この算出された所定シーン内の各画面の注目部分の滞留数に基づいて、代表画像作成部１０２で作成された代表画像の周縁部に、注目部分の動きを示すシンボル（通常シンボル、滞留シンボル、終端シンボル）が描画される。したがって、閲覧者、編集者等は、シーン内における注目部分の全体的な動きを容易に把握可能となる。つまり、閲覧者、編集者等は、シーン内における注目部分の動きを総覧的に知覚することが可能となる。
【０１３１】
また、図１４に示す画像処理装置１００Ｂにおいては、間引き数算出部１０８では、表示領域上で最も近接しているシンボル間の距離ｄが算出され、この距離ｄに基づいてシンボル間の近接が判定されて、間引き数が算出される。そして、シンボル描画部１０５Ｂでは、間引き数の倍数フレーム毎に、各画面の注目部分の滞留数に基づいて、代表画像の周縁部に、注目部分の動きを示すシンボルが描画される（図４参照）。そのため、出力機器における代表画像の表示サイズが小さい場合であっても、描画された通常シンボルが混み合い過ぎて注目部分の動きの把握が困難になるということを防止できる。
【０１３２】
［シンボル描画処理の他の例］
また、上述の図１７のフローチャートの処理では、シンボル描画部１０５Ｂで描画される各通常シンボルは同じ長さの線分で表されている。しかし、この通常シンボルの長さを、各画面の注目部分の動きに応じた長さとすることが考えられる。この場合、例えば、所定の画面で描画される通常シンボルの長さｈは、Ｈ＊Ｍv／Ｍvmaxとされる。ここで、出力機器における周縁部の表示領域の注目部分の動き方向に直交する方向の長さをＨとし、注目部分の動きの中で最大の動きをＭvmaxとし、さらに、各画面の注目部分の動きをＭvとしている。
【０１３３】
図１９のフローチャートは、その場合におけるシンボル描画部１０５Ｂの処理手順の一例を示している。この図１９において、図１７と対応するステップには同一の符号を付して示し、その詳細説明は省略する。この図１９のフローチャートにおいては、図１７のフローチャートのステップＳＴ５７の代わりに、ステップＳＴ５７Ａが挿入されている。
【０１３４】
シンボル描画部１０５Ｂは、ステップＳＴ５６でフレーム番号ｋがｎの倍数であるとき、ステップＳＴ５７Ａの処理に移る。このステップＳＴ５７Ａにおいて、シンボル描画部１０５Ｂは、代表画像の現在フレーム（現在画面）の注目部分に対応した位置に、シンボルとして通常シンボルを描画する。この場合、シンボル描画部１０５Ｂは、描画する通常シンボルの長さｈを、上述したように、Ｈ＊Ｍv／Ｍvmaxとし、現在フレームの注目部分の動きの大きさＭvに対応した長さとする。
【０１３５】
シンボル描画部１０５Ｂは、このステップＳＴ５７Ａの処理の後、ステップＳＴ５５で処理フレームを次のフレームとして、ステップＳＴ５３の処理に戻る。なお、詳細説明は省略するが、この図１９のフローチャートにおけるその他のステップは、図１７のフローチャートの対応する処理と同様である。
【０１３６】
図２０は、図１９のフローチャートによるシンボル描画処理による描画例を示している。この描画例は、所定シーンを構成するフレーム（画面）の数が４００、そしてｎ＝１０の場合の例である。このように、図１９のフローチャートによるシンボル描画処理を行うことで、通常シンボルは間引かれて描画される。そのため、出力機器における代表画像の表示サイズが小さい場合であっても、描画された通常シンボルが混み合い過ぎて注目部分の動きの把握が困難になるということを防止できる。また、図１９のフローチャートによるシンボル描画処理を行うことで、フレーム番号ｋがｎの倍数毎に描画される通常シンボルの長さはその画面の注目部分の動きに対応したものとなり、この通常シンボルが示す情報量を増すことができる。
【０１３７】
［シンボル描画処理の他の例］
また、上述の図１９のフローチャートの処理では、フレーム番号ｋがｎの倍数の画面では通常シンボルが描画されるが、その他の画面では通常シンボルの描画は行われない。しかし、フレーム番号ｋがｎの倍数の画面では通常シンボルを濃色で濃く描画し、その他の画面では通常シンボルを淡色で薄く描画することも考えられる。
【０１３８】
図２１のフローチャートは、その場合におけるシンボル描画部１０５Ｂの処理手順の一例を示している。この図２１において、図１９と対応するステップには同一の符号を付して示し、その詳細説明は省略する。この図２１のフローチャートにおいては、図１９のフローチャートのステップＳＴ５７Ａの代わりにステップＳＴ５７Ｂが挿入され、さらに、フレーム番号ｋがｎの倍数でないときの処理ステップとして、ステップＳＴ６１が追加されている。
【０１３９】
シンボル描画部１０５Ｂは、ステップＳＴ５６でフレーム番号ｋがｎの倍数であるとき、ステップＳＴ５７Ｂの処理に移る。このステップＳＴ５７Ｂにおいて、シンボル描画部１０５Ｂは、代表画像の現在フレーム（現在画面）の注目部分に対応した位置に、シンボルとして通常シンボルを、濃色で濃く描画する。この場合、シンボル描画部１０５Ｂは、描画する通常シンボルの長さｈを、上述したように、Ｈ＊Ｍv／Ｍvmaxとし、現在フレームの注目部分の動きの大きさＭvに対応した長さとする。シンボル描画部１０５Ｂは、このステップＳＴ５７Ｂの処理の後、ステップＳＴ５５で処理フレームを次のフレームとして、ステップＳＴ５３の処理に戻る。
【０１４０】
また、シンボル描画部１０５Ｂは、ステップＳＴ５６でフレーム番号ｋがｎの倍数でないとき、ステップＳＴ６１の処理に移る。このステップＳＴ６１において、シンボル描画部１０５Ｂは、代表画像の現在フレーム（現在画面）の注目部分に対応した位置に、シンボルとして通常シンボルを、淡色で薄く描画する。この場合、シンボル描画部１０５Ｂは、描画する通常シンボルの長さｈを、上述したように、Ｈ＊Ｍv／Ｍvmaxとし、現在フレームの注目部分の動きの大きさＭvに対応した長さとする。シンボル描画部１０５Ｂは、このステップＳＴ６１の処理の後、ステップＳＴ５５で処理フレームを次のフレームとして、ステップＳＴ５３の処理に戻る。なお、詳細説明は省略するが、この図２１のフローチャートにおけるその他のステップは、図１９のフローチャートの対応する処理と同様である。
【０１４１】
図２２は、図２１のフローチャートによるシンボル描画処理による描画例を示している。この描画例は、所定シーンを構成するフレーム（画面）の数が４００、そしてｎ＝１０の場合の例である。このように、図２１のフローチャートによるシンボル描画処理では、濃く描画される通常シンボルは間引かれている。そのため、出力機器における代表画像の表示サイズが小さい場合であっても、描画された通常シンボルが混み合い過ぎて注目部分の動きの把握が困難になるということを防止できる。また、この場合、各画面で描画される通常シンボルの長さはその画面の注目部分の動きに対応したものとなり、この通常シンボルが示す情報量を増すことができる[TY2]。
【０１４２】
＜３．第３の実施の形態＞
［画像処理装置の構成例］
図２３は、第３の実施の形態としての画像処理装置１００Ａの構成例を示している。この画像処理装置１００Ａは、画像入力部１０１と、代表画像作成部１０２と、注目部分動き算出部１０３と、滞留数算出部１０４と、シンボル描画部１０５Ａと、出力機器インタフェース（Ｉ／Ｆ）１０６と、等速数算出部１０７を有している。この図２３において、図１と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
【０１４３】
画像入力部１０１は、処理対象の画像信号を入力する。この処理対象の画像信号は、例えば、撮像機（カメラ）で撮像されて得られたものであり、撮像機（カメラ）から直接供給され、あるいは、所定の記録媒体から読み出されて供給される。また、この画像入力部１０１は、入力された画像信号を処理してシーンチェンジ点を検出し、入力された画像信号をシーン毎に分割して、各シーンの画像信号を、代表画像作成部１０２および注目部分動き算出部１０３に、順次供給する。
【０１４４】
代表画像作成部１０２、注目部分動き算出部１０３、滞留数算出部１０４、等速数算出部１０７およびシンボル描画部１０５Ａは、各シーンの処理を、順次行う。ここでは、処理対象のシーンを所定シーンとして、各部を説明する。代表画像作成部１０２は、所定シーンの画像信号を処理し、所定シーンを構成する各画面の画像信号に基づいて、代表画像を作成する。注目部分動き算出部１０３は、所定シーンの画像信号を処理し、この所定シーン内の各画面の注目部分の動き（動きベクトル）を算出する。滞留数算出部１０４は、注目部分動き算出部１０３で算出された所定シーン内の各画面の注目部分の動きに基づいて、各画面の注目部分の滞留数を算出する（図２、図７参照）
【０１４５】
等速数算出部１０７は、注目部分動き算出部１０３で算出された所定シーン内の各画面の注目部分の動きに基づいて、各画面の注目部分の等速数を算出する。
【０１４６】
［等速数算出処理］
図２４のフローチャートは、等速数算出部１０７における処理手順の一例を示している。等速数算出部１０７は、ステップＳＴ７１において、処理を開始し、その後に、ステップＳＴ７２の処理に移る。このステップＳＴ７２において、等速数算出部１０７は、等速カウンタＣの値を０とし、動き差分小計ＡＤの値を０に設定する。そして、等速数算出部１０７は、ステップＳＴ７３において、処理フレーム（処理画面）を最初のフレーム（最初の画面）とする。
【０１４７】
次に、等速数算出部１０７は、ステップＳＴ７４において、処理フレームが最終フレーム（最終画面）であるか否かを判断する。処理フレームが最終フレームでないとき、等速数算出部１０７は、ステップＳＴ７５の処理に移る。このステップＳＴ７５において、等速数算出部１０７は、現在フレームの注目部分の動きから前のフレームの注目部分の動きを引いて、現在フレームの動き差分ＡＤを算出する。また、等速数算出部１０７は、動き差分小計ＡＤに、現在フレームの注目部分の動き差分Ｄを加算して、現在フレームにおける動き差分小計ＡＤを求める。
【０１４８】
次に、等速数算出部１０７は、ステップＳＴ７６において、等速か否かを判断する。ここで、等速数算出部１０７は、動き差分小計ＡＤが閾値の範囲内にあるか否か否かにより、等速か否かを判断する。すなわち、等速数算出部１０７は、ＡＤが閾値の範囲内にあるときは等速であると判断し、ＡＤが閾値の範囲を超えるときは等速でないと判断する。
【０１４９】
等速数算出部１０７は、等速であると判断するとき、ステップＳＴ７７の処理に移る。このステップＳＴ７７において、等速数算出部１０７は、現在フレームの等速数を０とし、等速カウンタＣの値を１だけインクリメントする。また、等速数算出部１０７は、このステップＳＴ７７において、動き差分の小計ＡＤの最大値および最小値を記録する。この記録情報は、等速でないと判断される場合の動き差分の小計ＡＤがどの程度であったかを示す情報（メタデータ）となる。例えば、この情報に基づいて、閾値を適応的に変化させることも考えられる。
【０１５０】
ステップＳＴ７６で等速でないと判断するとき、等速数算出部１０７は、ステップＳＴ７８の処理に移る。このステップＳＴ７８において、等速数算出部１０７は、１フレーム（１画面）前の等速数を等速カウンタＣの値とすると共に、現在フレームの等速数を１とし、さらに、現在フレームの注目部分の動き差分Ｄを記録する。そして、等速数算出部１０７は、ステップＳＴ７９において、等速カウンタＣの値を１とすると共に、動き差分の小計ＡＤを０にリセットする。
【０１５１】
等速数算出部１０７は、ステップＳＴ７７の処理の後、およびステップＳＴ７９の処理の後に、ステップＳＴ８０の処理に移る。このステップＳＴ８０において、等速数算出部１０７は、処理フレームを次のフレームとし、その後に、ステップＳＴ７４の処理に戻る。
【０１５２】
また、ステップＳＴ７４で処理フレームが最終フレームであるとき、等速数算出部１０７は、ステップＳＴ８１の処理に移る。このステップＳＴ８１において、等速数算出部１０７は、現在フレーム（＝最終フレーム）の等速数を等速カウンタＣの値とする。また、等速数算出部１０７は、このステップＳＴ８１において、現在フレームの注目部分の動き差分Ｄを算出して、記録する。そして、等速数算出部１０７は、ステップＳＴ８２において、処理を終了する。
【０１５３】
図２５は、所定シーンを構成するフレーム（画面）の数が４０の場合において、各フレームの注目部分の動きＭｖと、この各フレームの注目部分の動きＭvにより得られた滞留数、累積値、動き差分、等速数の一例を示している。滞留数、累積値は、上述の図２、図７のフローチャートで示す滞留数算出処理で得られたものである。また、動き差分および等速数は、上述の図２４のフローチャートで示す等速数算出処理で得られたものである。この例においては、フレーム１からフレーム１０までは動き差分Ｄが０であるので連続して等速と判断される。そして、フレーム１１で注目部分の動きＭｖが５０であって動き差分Ｄが５０となるので等速でないと判断される。そのため、フレーム１からフレーム９までの等速数は０とされ、フレーム１０の等速数は１０とされる。
【０１５４】
また、この例においては、フレーム１１からフレーム１７までは動き差分Ｄが０であるので連続して等速と判断される。そして、フレーム１８で動き差分Ｄが５０となるので等速でないと判断される。そのため、フレーム１１からフレーム１６までの等速数は０とされ、フレーム１７の等速数は７とされる。また、この例においては、フレーム１８からフレーム２０まで動き差分Ｄが５０となるので連続して等速でないと判断される。そのため、フレーム１８からフレーム２０の等速数は１とされる。
【０１５５】
また、この例においては、フレーム２１とフレーム２２の動き差分Ｄが０であるので連続して等速と判断される。そして、フレーム２３で動き差分Ｄが−５０となるので等速でないと判断される。そのため、フレーム２１の等速数は０とされ、フレーム２２の等速数は２とされる。また、この例においては、フレーム２３からフレーム２５まで動き差分Ｄが−５０となるので連続して等速でないと判断される。そのため、フレーム２３からフレーム２５の等速数は１とされる。また、この例においては、フレーム２６からフレーム３９までは動き差分Ｄが０であるので連続して等速と判断される。そのため、フレーム２７からフレーム３９までの等速数は０とされ、フレーム４０の等速数は１５とされる。
【０１５６】
なお、図２４のフローチャートに示す等速数算出処理では、ステップＳＴ７６における等速の判断を、動き差分小計ＡＤが閾値内にあるか否かで行っている。しかし、所定のフレームにおける等速の判断を、そのフレームにおける動き差分Ｄが閾値の範囲内にあるか否かで判断するようにしてもよい。
【０１５７】
シンボル描画部１０５Ａは、代表画像作成部１０２で作成された代表画像の周縁部に、注目部分の動きを示すシンボルを描画する。この場合、シンボル描画部１０５Ａは、滞留数算出部１０４で算出された各画面の滞留数および等速数算出部１０７で算出された各画面の動き差分Ｄおよび等速数に基づいて描画処理を行う。また、シンボル描画部１０５Ａは、周縁部に注目部分の動きを示すシンボルが描画された代表画像の画像信号（画像データ）を、出力機器インタフェース（Ｉ／Ｆ）１０６に供給する。
【０１５８】
［シンボル描画処理］
図２６のフローチャートは、シンボル描画部１０５Ａにおける処理手順の一例を示している。シンボル描画部１０５Ａは、ステップＳＴ９１において、処理を開始し、その後に、ステップＳＴ９２の処理に移る。このステップＳＴ９２において、シンボル描画部１０５Ａは、注目部分の動き方向を取得する。例えば、動き方向としては、水平方向、垂直方向、斜め方向（水平方向と垂直方向の双方）などがある。この場合、シンボル描画部１０５Ａは、例えば、注目部分動き算出部１０３で算出される各画面の注目部分の動き（動きベクトル）に基づいて、注目部分の動き方向を取得する。
【０１５９】
次に、シンボル描画部１０５Ａは、ステップＳＴ９３において、シンボル描画軸を決定する。この場合、シンボル描画部１０５Ａは、ステップＳＴ９２で取得した注目部分の動き方向に対応するようにシンボル描画軸を決定する。例えば、注目部分の動き方向が水平方向であるとき、シンボル描画軸は、水平方向に決定される。そして、シンボル描画部１０５Ａは、ステップＳＴ９４において、表示枠の大きさＷ、つまり上述した出力機器における代表画像の表示領域の注目部分の動き方向の長さＷを取得する。この長さＷの情報は、例えば、ユーザ操作により与えられるか、あるいは出力機器インタフェース１０６を通じて出力機器から自動的に取得される。
【０１６０】
次に、シンボル描画部１０５Ａは、ステップＳＴ９５において、フレームの最小動きＶminに対して、上述の（１）式で、距離ｄを算出する。そして、ステップＳＴ９６で、この算出された距離ｄは描画シンボルの弁別可能な値（例えば２）であるか否かを判別する。距離ｄが描画シンボルの大きさに比べて小さいときは、ユーザにとって描画された描画シンボルが見にくいものであることが想定される。
【０１６１】
距離ｄが描画シンボルの弁別が可能な値であるとき、シンボル描画部１０５Ａは、ステップＳＴ９７のシンボル描画の処理に移る。このステップＳＴ９７におけるシンボル描画の処理は、詳細説明は省略するが、上述の図４、図７、図１１のフローチャートで示すシンボル描画処理などと同様である。
【０１６２】
また、ステップＳＴ９６で距離ｄが描画シンボルの弁別が可能な値でないとき、シンボル描画部１０５Ａは、ステップＳＴ９８の縮退シンボル描画の処理に移る。図２７のフローチャートは、図２６のフローチャートにおけるステップＳＴ９８の縮退シンボル描画の処理を示している。
【０１６３】
シンボル描画部１０５Ａは、ステップＳＴ１０１において、処理を開始し、その後に、ステップＳＴ１０２の処理に移る。このステップＳＴ１０２において、シンボル描画部１０５Ａは、処理フレーム（処理画面）を最初のフレーム（最初の画面）とする。
【０１６４】
次に、シンボル描画部１０５Ａは、ステップＳＴ１０３において、処理フレームが最終フレーム（最終画面）であるか否かを判断する。処理フレームが最終フレームでないとき、シンボル描画部１０５Ａは、ステップＳＴ１０４の処理に移る。このステップＳＴ１０４において、シンボル描画部１０５Ａは、滞留数が０であるか、１であるか、あるいは２以上であるかを判断する。
【０１６５】
滞留数が０であるとき、シンボル描画部１０５Ａは、シンボルを描画せずに、ステップＳＴ１０５において、処理フレームを次のフレームとし、その後に、ステップＳＴ１０３の処理に戻る。また、滞留数が１であるとき、シンボル描画部１０５Ａは、ステップＳＴ１０６の処理に移る。このステップＳＴ１０６において、シンボル描画部１０５Ａは、現在フレームの等速数が０であるか、１であるか、あるいは２以上であるかを判別する。
【０１６６】
シンボル描画部１０５Ａは、等速数が０であるとき、シンボルを描画せずに、ステップＳＴ１０５において、処理フレームを次のフレームとし、その後に、ステップＳＴ１０３の処理に戻る。また、シンボル処理部１０５Ａは、等速数が１であるとき、ステップＳＴ１０７の処理に移る。このステップＳＴ１０７において、シンボル描画部１０５Ａは、動き差分が正か負かを判断する。
【０１６７】
動き差分が正であるとき、シンボル描画部１０５Ａは、ステップＳＴ１０８の処理に移る。このステップＳＴ１０８において、シンボル描画部１０５Ａは、代表画像の現在フレーム（現在画面）の注目部分に対応した位置に、シンボルとして注目部分の動きが加速されていることを示す加速シンボルを描画する。一方、動き差分が負であるとき、シンボル描画部１０５Ａは、ステップＳＴ１０９の処理に移る。このステップＳＴ１０９において、シンボル描画部１０５Ａは、代表画像の現在フレーム（現在画面）の注目部分に対応した位置に、シンボルとして注目部分の動きが減速されていることを示す減速シンボルを描画する。そして、シンボル描画部１０５Ａは、ステップＳＴ１０８またはステップＳＴ１０９の処理の後、ステップＳＴ１０５において、処理フレームを次のフレームとし、その後に、ステップＳＴ１０３の処理に戻る。
【０１６８】
また、ステップＳＴ１０６で等速数が２以上であるとき、シンボル描画部１０５Ａは、代表画像の現在フレーム（現在画面）の注目部分に対応した位置に、シンボルとして注目部分の動きが等速であることを示す等速シンボルを描画する。そして、シンボル描画部１０５Ａは、ステップＳＴ１１０の処理の後、ステップＳＴ１０５において、処理フレームを次のフレームとし、その後に、ステップＳＴ１０３の処理に戻る。
【０１６９】
また、ステップＳＴ１０４で滞留数が２以上であるとき、シンボル描画部１０５Ａは、ステップＳＴ１１１の処理に移る。このステップＳＴ１１１において、シンボル描画部１０５Ａは、代表画像の現在フレーム（現在画面）の注目部分に対応した位置に、シンボルとして滞留シンボルを描画する。この滞留シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルとは区別可能とされる。また、シンボル描画部１０５Ａは、このステップＳＴ１１１において、滞留シンボルの描画位置に対応した位置に滞留数をさらに描画する。そして、シンボル描画部１０５Ａは、ステップＳＴ１１１の処理の後、ステップＳＴ１０５で処理フレームを次のフレームとして、ステップＳＴ１０３の処理に戻る。
【０１７０】
また、ステップＳＴ１０３で処理フレームが最終フレームであるとき、シンボル描画部１０５Ａは、ステップＳＴ１１２の処理に移る。このステップＳＴ１１２において、シンボル描画部１０５Ａは、代表画像の現在フレーム（＝最終フレーム）の注目部分に対応した位置に、シンボルとして終端シンボルを描画する。この終端シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルおよび滞留シンボルとは区別可能とされる。また、シンボル描画部１０５Ａは、このステップＳＴ１１２において、終端シンボルの描画位置に対応した位置に滞留数をさらに描画する。そして、シンボル描画部１０５Ａは、ステップＳＴ１１２の処理の後、ステップＳＴ１１３において、処理を終了する。
【０１７１】
図２８は、所定シーンを構成するフレーム（画面）の数が４０の場合において、各フレーム（各画面）の滞留数、動き差分、等速数などが図２５に示すようであったときの、各シンボルおよび滞留数の描画例を示している。なお、図２８の描画例においては、等速、加速、減速のフレーム継続数も表示しているが、この表示はなくともよい。
【０１７２】
出力機器インタフェース１０６は、シンボル描画部１０５Ａから供給される画像データ、つまり周縁部に注目部分の動きを示すシンボルが描画された代表画像の画像信号（画像データ）を、画像表示装置、あるいは記録装置等の出力機器に供給する。例えば、画像表示装置においては、周縁部に注目部分の動きを示すシンボルが描画された代表画像の表示が行われる。また、例えば、記録装置においては、画像入力部１０１に入力された画像信号の各シーンに対応付けされて、各シーンのシンボル描画代表画像の画像信号が、記録媒体に記録される。
【０１７３】
［画像処理装置の動作例］
図２３に示す画像処理部１００Ａの動作例を説明する。画像入力部１０１に、処理対象の画像信号が入力される。この処理対象の画像信号は、例えば、撮像機（カメラ）で撮像されて得られたものであり、撮像機（カメラ）から直接供給され、あるいは、所定の記録媒体から読み出されて供給される。
【０１７４】
画像入力部１０１では、入力された画像信号が処理されてシーンチェンジ点が検出され、入力された画像信号がシーン毎に分割される。そして、画像入力部１０１では、各シーンの画像信号を代表画像作成部１０２および注目部分動き検出部１０３に順次供給することが行われる。
【０１７５】
代表画像作成部１０２、注目部分動き算出部１０３、滞留数算出部１０４、等速数算出部１０７およびシンボル描画部１０５Ａでは、各シーンが順次処理対象のシーン（所定シーン）とされて、処理される。すなわち、代表画像作成部１０２では、所定シーンの画像信号が処理され、この所定シーンを構成する各画面（フレーム）の画像に基づいて、代表画像が作成される。例えば。所定シーンを構成する各画面の画像から、所定の１画面、例えば先頭の１画面の画像が選択されて代表画像とされる。また、例えば、所定シーンを構成する各画面の画像を重ね合わせた合成画像が代表画像として作成される。また、例えば、所定シーンを構成する各画面の画像をつなぎ合わせた和集合画像が代表画像として作成される。
【０１７６】
また、注目部分動き算出部１０３では、所定シーンの画像信号が処理され、この所定シーン内の各画面の注目部分の動き（動きベクトル）が算出される。このように算出された所定シーン内の各画面の注目部分の動きは、滞留数算出部１０４に供給される。滞留数算出部１０４では、各画面の注目部分の動きに基づいて、各画面の滞留数および累積値が算出される（図２、図７参照）。さらに、等速数算出部１０７では、所定シーン内の各画面の注目部分の動きに基づいて、所定シーン内の各画面の等速数および動き差分が算出される（図２４参照）。
【０１７７】
滞留数算出部１０４で算出された所定シーン内の各画面の滞留数および累積値は、シンボル描画部１０５Ａに供給される。また、等速数算出部１０７で算出された所定シーン内の各画面の等速数および動き差分は、シンボル描画部１０５Ａに供給される。また、このシンボル描画部１０５Ａには、代表画像作成部１０２で作成された代表画像の画像信号（画像データ）が供給される。このシンボル描画部１０５Ａでは、所定シーン内の各画面の滞留数、等速数、動き差分などに基づいて、代表画像の周縁部に、注目部分の動きを示すシンボルが描画される（図２６、図２７参照）。
【０１７８】
この場合、表示領域上で最も近接しているシンボル間の距離ｄが算出される。そして、この距離ｄが描画シンボルの弁別可能な値であるときは、滞留数が１である画面において、代表画像のその画面の注目部分に対応した位置に、シンボルとして通常シンボルが描画される（図４、図７、図１１参照）。また、距離ｄが描画シンボルの弁別可能な値でないとき、滞留数が１で、かつ等速数が１以上である画面において、代表画像のその画面の注目部分に対応した位置に、縮退シンボルとして、加速シンボル、等速シンボル、減速シンボルが描画される（図２７参照）。
【０１７９】
また、滞留数が２以上である画面においては、代表画像のその画面の注目部分に対応した位置に、シンボルとして滞留シンボルが描画されると共に、それに対応して滞留数も描画される。さらに、終端画面においては、その画面に対応した位置に、シンボルとして終端シンボルが描画されると共に、それに対応して滞留数も描画される。
【０１８０】
シンボル描画部１０５Ａでは、シーン毎に、周縁部に注目部分の動きを示すシンボルが描画された代表画像の画像信号（画像データ）が得られ、この画像信号（画像データ）は出力機器インタフェース（Ｉ／Ｆ）１０６に供給される。出力機器インタフェース１０６では、シンボル描画部１０５Ａから供給される画像信号、つまり周縁部に注目部分の動きを示すシンボルが描画された代表画像の画像信号（画像データ）を、画像表示装置、あるいは記録装置等の出力機器に供給することが行われる。
【０１８１】
これにより、例えば、画像表示装置においては、周縁部に注目部分の動きを示すシンボルが描画された代表画像の表示が行われる。また、例えば、記録装置においては、画像入力部１０１に入力された画像信号の各シーンに対応付けされて、各シーンのシンボル描画代表画像の画像信号が、記録媒体に記録される。
【０１８２】
以上説明したように、図２３に示す画像処理装置１００Ａにおいては、代表画像作成部１０２により、所定シーンの画像信号が処理され、この所定シーンを構成する各画面の画像に基づいて代表画像が作成される。また、注目部分動き算出部１０３により、所定シーンの画像信号が処理され、この所定シーン内の各画面の注目部分の動きが算出される。また、滞留数算出部１０４により、この算出された所定シーン内の各画面の注目部分の動きに基づいて、所定シーン内の各画面の注目部分の滞留数および動き累積値が算出される。さらに、等速数算出部１０７により、算出された所定シーン内の各画面の注目部分の動きに基づいて、所定シーン内の各画面の等速数および動き差分が算出される。
【０１８３】
シンボル描画部１０５Ａにより、この算出された所定シーン内の各画面の滞留数、動き差分、等速数などに基づいて、代表画像作成部１０２で作成された代表画像の周縁部に、注目部分の動きを示すシンボル（通常シンボル、滞留シンボル、終端シンボル）が描画される。したがって、閲覧者、編集者等は、シーン内における注目部分の全体的な動きを容易に把握可能となる。つまり、閲覧者、編集者等は、シーン内における注目部分の動きを総覧的に知覚することが可能となる。
【０１８４】
また、図２３に示す画像処理装置１００Ａにおいては、表示領域上で最も近接しているシンボル間の距離ｄが描画シンボル（通常シンボル）の弁別が可能な値でないときは、縮退シンボルとしての加速、等速、減速などシンボルが描画される。そのため、出力機器における代表画像の表示サイズが小さい場合に、描画されるシンボル数を少なくでき、シンボルが混み合い過ぎて注目部分の面動きの把握が困難になるということを防止できる。また、この場合、注目部分の動きの加速期間、等速期間、減速期間を容易に把握可能となる。
【０１８５】
なお、図２８に示す描画例における加速、等速、減速の縮退シンボルは一例であって、これに限定されるものではない。例えば、図２９に示すように、加速、等速、減速の縮退シンボルとして、図形、記号、矢印太さ、矢印向き、矢印の色、言語的シンボル（漢字[加|等|減]、英語[acc|eq|br]など）、矢印の色違い重畳など、が考えられる。また、図示は省略するが、出力機器の形態によっては、点滅や動きのあるアイコンによる表示手法なども適用可能である
【０１８６】
図３０（ａ）〜（ｆ）は、種々の縮退シンボルを用いた描画例を示している。この際、矢印の向きについては、基準線に対して上向き、下向き、という形でもよい。また、上述したように画面動きの大きさに対応した長さの通常シンボルを描画する場合と同様のアルゴリズムを用いて、その包絡線に沿った矢印（図３０（ｄ）参照）とすることで、各画面の動きの大まかな分布も表すことができる。また、図３１（ａ）〜（ｃ）に示すように、多角形や、長方形の色、グラデーション等を用いての表示なども考えられる。
【０１８７】
また、図２３に示す画像処理装置１００Ａにおける上述の縮退シンボルの描画処理では、撮像機（カメラ）の等速運動時にはシンボル数が劇的に減る。しかし、ここでは加速シンボルや減速シンボルが込み合った形で描画される可能性がある。シンボルの形状を工夫することによって、可読性を担保することも可能であるが、以下の方法によって、さらに加速シンボルや減速時シンボルの数を縮退することも可能である。
【０１８８】
１つは、等速数で１が連続していることを検知しておき、連続しているうちの最後の１のタイミングでのみ加速シンボルや減速シンボルを描画する手法である。他の１つは、動き差分の、さらに前フレームとの差分を計算する。これを、動き加速差分と呼ぶ。この動き加速差分に基づいて、図２４のフローチャートの処理と同様の処理によって、加速等速数を算出し、この加速等速数を上述の等速数と同様に用いて（図２７参照）、加速、減速のシンボルを描画するようにしてもよい。
【０１８９】
また、図２３に示す画像処理装置１００Ａにおいて、シンボル描画部１０５Ａでは、等速数が１である画面で加速または減速シンボルが描画され、等速数が２以上である画面で等速シンボルが描画されるようになっている（図２７参照）。しかし、一般に、等速数が１〜Ｍ（Ｍは１以上の整数）である画面で加速または減速シンボルが描画され、等速数がＭを超える画面で等速シンボルが描画されるようにしてもよい。そして、この場合、Ｍの値を、ユーザが、図示しないユーザ操作部により任意に設定可能としてもよい。
【０１９０】
＜４．第４の実施の形態＞
上述の図２３に示す画像処理装置１００Ａにおけるシンボル描画処理では、表示領域上で最も近接しているシンボル間の距離ｄが描画シンボルの弁別が可能な値でないときは、縮退シンボル描画の処理を行うようになっている（図２６のステップＳＴ９８）。しかし、この距離ｄが描画シンボルの弁別が可能な値でないとき、ユーザの選択設定に応じて、縮退シンボル描画か、あるいは間引き描画のいずれかの処理が行われるようにすることもできる。
【０１９１】
［画像処理装置の構成例］
図３２は、第４の実施の形態としての画像処理装置１００Ｃの構成例を示している。画像処理装置１００Ｃは、画像入力部１０１と、代表画像作成部１０２と、注目部分動き算出部１０３と、滞留数算出部１０４と、シンボル描画部１０５Ｃと、出力機器インタフェース（Ｉ／Ｆ）１０６と、等速数算出部１０７と、間引き数算出部１０８を有している。この図３２において、図１、図１４、図２３と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
【０１９２】
図３３のフローチャートは、その場合におけるシンボル描画部１０５Ｃの処理手順の一例を示している。この図３３において、図２６と対応するステップには同一の符号を付し、その詳細説明は省略する。シンボル描画部１０５Ｃは、ステップＳＴ９４で表示枠の大きさＷを取得した後、ステップＳＴ１２１において、フレームの合算数ｎを１として、その後に、ステップＳＴ９５の処理に移る。
【０１９３】
そして、シンボル描画部１０５Ｃは、ステップＳＴ９５において、フレームの最小動きＶminに対して、上述の（１）式で、距離ｄを算出する。そして、ステップＳＴ９６で、この算出された距離ｄは描画シンボルの弁別が可能な値（例えば２）であるか否かを判別する。距離ｄが描画シンボルの大きさに比べて小さいときは、ユーザにとって描画された描画シンボルが見にくいものであることが想定される。
【０１９４】
また、ステップＳＴ９６で距離ｄが描画シンボルの弁別が可能な値でないとき、シンボル描画部１０５Ｃは、ステップＳＴ１２２において、ユーザの選択設定が、縮退シンボル描画であるか間引き描画のいずれであるかを判別する。縮退シンボル描画に設定されているとき、シンボル描画部１０５Ｃは、ステップＳＴ９８の縮退シンボル描画の処理に移る。
【０１９５】
一方、間引き描画に設定されているとき、シンボル描画部１０５Ｃは、ステップＳＴ１２３の処理に移る。このステップＳＴ１２３において、シンボル描画部１０５Ｃは、フレームの合算数ｎを１だけインクリメントする。そして、シンボル描画部１０５Ｃは、ステップＳＴ１２４において、注目部分動きをｎフレーム毎に合算して、その後に、ステップＳＴ９５の処理に戻る。
【０１９６】
また、シンボル描画部１０５Ｃは、ステップＳＴ９６において、距離ｄが描画シンボルの弁別が可能な値であるとき、ステップＳＴ１２５のシンボル描画の処理に移る。このシンボル描画の処理は、図１６のフローチャートのステップＳＴ４８の処理に対応する（図１７参照）。
【０１９７】
＜５．第５の実施の形態＞
［画像処理装置の構成例］
図３４は、第５の実施の形態としての画像処理装置１００Ｄの構成例を示している。この画像処理装置１００Ｄは、画像入力部１０１と、代表画像作成部１０２Ｄと、注目部分動き算出部１０３と、滞留数算出部１０４と、シンボル描画部１０５Ｄと、出力機器インタフェース（Ｉ／Ｆ）１０６を有している。また、この画像処理装置１００Ｄは、全画面動き算出部１１３と、滞留数算出部１１４を有している。この図３４において、図１と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
【０１９８】
従来、全体が撮像機（カメラ）の１画面分に収まらない被写体を、パンあるいはチルトなどの手法を用いて、複数フレームで撮影することが行われている。図３５は、水平方向に延びる被写体を、撮像機（カメラ）で、パン手法を用いて撮影する例を示している。
【０１９９】
また、従来、撮影された、あるいは作成された画像信号を処理して、シーン毎に、所定画面（例えば、最初の画面等）を選択し、その画面の画像を代表画像とすることが行われている。この場合、例えば上述したようにパン手法を用いて撮影された撮像機（カメラ）の１画面分に収まらない被写体に関して、閲覧者、編集者等は、その全体像を把握することができない。
【０２００】
そこで、シーン毎に、上述した和集合画像を代表画像（サムネイル）として作成することが考えられている。このように作成される代表画像にあっては、撮像機（カメラ）の１画面分に収まらない、例えば上述したようにパン手法を用いて撮影された被写体に関して、閲覧者、編集者等は、その全体像を把握することが可能となる。しかし、この代表画像にあっても、どのような速度でパンされているか等の情報を得ることはできない。これでは、画像の閲覧者、編集者等が、そのシーンに、「何が映っているか」だけではなく、「何がどのような表現で映っているか」を総覧的に見る際に問題となる。
【０２０１】
図３４に示す画像処理装置１００Ｄは、シーン内における注目部分の全体的な動きを容易に把握可能とする他に、和集合画像からなるシーン代表画像において、シーン内の全体像を把握できるだけでなく、シーン内の各画面の動きも把握可能とするものである。
【０２０２】
代表画像作成部１０２Ｄは、所定シーンの画像信号を処理し、この所定シーンを構成する各画面（フレーム）の画像をつなぎ合わせた和集合画像を作成し、その和集合画像を、所定シーンの代表画像とする。この和集合画像を作成する手法については、ここでは詳細説明を省略するが、従来周知であり、特開平０７−２９８１３７号公報、特開平０６−３２６９６５号公報などに詳述されている。例えば、代表画像作成部１０２Ｄは、所定シーンを構成する各画面の全画面動き（動きベクトル）を算出し、この算出された各画面の全画面動きに基づいて、各画像をつなぎ合わせて、和集合画像を作成する。
【０２０３】
全画面動き算出部１１３は、所定シーンの画像信号を処理し、この所定シーン内の各画面の全画面動き（動きベクトル）を算出する。この全画面動きの算出手法については、ここでは詳細説明を省略するが、従来周知であり、例えば、特開２００１−０８６３８７号公報、特開２００７−１０４５１６号公報、特開２００４−８８４７４号公報などに詳述されている。例えば、全画面動き算出部１１３は、上述した代表画像作成部１０２Ｄにおける全画面動き（動きベクトル）の算出処理と同様の処理で、所定シーンを構成する各画面の全画面動き（動きベクトル）を算出する。
【０２０４】
滞留数算出部１１４は、全画面動き検出部１１３で算出された所定シーン内の各画面の全画面動きに基づいて、各画面の滞留数を算出する。詳細説明は省略するが、この滞留数算出部１１４は、滞留数算出部１０４と同様にして、各フレームの全画面動きＭｖに基づいて、各フレーム（各画面）の滞留数および累積値を算出する。すなわち、滞留数算出部１０４では各フレームの注目部分動きＭｖが使用されるのに対して、滞留数算出部１１４では各フレームの全画面動きＭｖが使用される点で異なる。
【０２０５】
シンボル描画部１０５Ｄは、滞留数算出部１０４で算出された各画面の滞留数に基づいて、代表画像作成部１０２Ｄで作成された代表画像（和集合画像）の周縁部に、注目部分の動きを示すシンボルを描画する。また、シンボル描画部１０５Ｄは、滞留数算出部１１４で算出された各画面の滞留数に基づいて、代表画像作成部１０２Ｄで作成された代表画像（和集合画像）の周縁部に、全画面動きを示すシンボルを描画する。
【０２０６】
詳細説明は省略するが、この全画面動きを示すシンボルの描画処理は、注目部分の動きを示すシンボルの描画処理と同様に行われる。なお、あるフレーム（画面）において、注目部分の動きを示すシンボルは代表画像（和集合画像）のそのフレームの注目部分に対応した位置に描画されるが、全画面動きを示すシンボルは代表画像（和集合画像）のそのフレームに対応した位置に描画される。
【０２０７】
また、シンボル描画部１０５Ｄは、周縁部に注目部分動きおよび全画面動きを示すシンボルがそれぞれ描画された代表画像の画像信号（画像データ）を、出力機器インタフェース（Ｉ／Ｆ）１０６に供給する。図３４に示す画像処理装置１００Ｄのその他は、詳細説明は省略するが、図１に示す画像処理装置１００と同様に構成される。
【０２０８】
［画像処理装置の動作例］
図３４に示す画像処理部１００Ｄの動作例を説明する。画像入力部１０１に、処理対象の画像信号が入力される。この処理対象の画像信号は、例えば、撮像機（カメラ）で撮像されて得られたものであり、撮像機（カメラ）から直接供給され、あるいは、所定の記録媒体から読み出されて供給される。
【０２０９】
画像入力部１０１では、入力された画像信号が処理されてシーンチェンジ点が検出され、入力された画像信号がシーン毎に分割される。そして、画像入力部１０１では、各シーンの画像信号を代表画像作成部１０２Ｄ、注目部分動き検出部１０３および全画面動き算出部１１３に順次供給することが行われる。
【０２１０】
代表画像作成部１０２、注目部分動き検出部１０３、滞留数算出部１０４、全画面動き算出部１１３、滞留数算出部１１４およびシンボル描画部１０５Ｄでは、各シーンが順次処理対象のシーン（所定シーン）とされて、処理される。代表画像作成部１０２Ｄでは、各シーンが順次処理対象のシーン（所定シーン）とされて、処理される。すなわち、代表画像作成部１０２では、所定シーンの画像信号が処理され、この所定シーンを構成する各画面（フレーム）の画像をつなぎ合わせた和集合画像が作成され、その和集合画像が所定シーンの代表画像とされる。
【０２１１】
注目部分動き算出部１０３では、所定シーンの画像信号が処理され、この所定シーン内の各画面の注目部分の動き（動きベクトル）が算出される。この所定シーン内の各画面の注目部分の動きは、滞留数算出部１０４に供給される。滞留数算出部１０４では、所定シーン内の各画面の注目部分の動きに基づいて、各画面の注目部分の滞留数および累積値が算出される（図２参照）。
【０２１２】
全画面動き算出部１１３では、所定シーンの画像信号が処理され、この所定シーン内の各画面の全画面動き（動きベクトル）が算出される。このように算出された所定シーン内の各画面の全画面動きは、滞留数算出部１１４に供給される。滞留数算出部１１４では、所定シーン内の各画面の全画面動きに基づいて、所定シーン内の各画面の滞留数および累積値が算出される。
【０２１３】
滞留数算出部１０４で算出された所定シーン内の各画面の滞留数および累積値は、シンボル描画部１０５に供給される。また、滞留数算出部１１４で算出された所定シーン内の各画面の滞留数および累積値は、シンボル描画部１０５Ｄに供給される。さらに、このシンボル描画部１０５Ｄには、代表画像作成部１０２Ｄで作成された代表画像の画像信号（画像データ）が供給される。
【０２１４】
シンボル描画部１０５Ｄでは、各画面の注目部分の滞留数に基づいて、代表画像の周縁部に、注目部分の動きを示すシンボルが描画される（図４参照）。また、シンボル描画部１０５Ｄでは、各画面の全画面の滞留数に基づいて、代表画像の周縁部に、全画面動きを示すシンボルが描画される。
【０２１５】
これにより、シンボル描画部１０５Ｄでは、シーン毎に、周縁部に注目部分の動きおよび全画面動きをそれぞれ示すシンボルが描画された代表画像（和集合画像）の画像信号（画像データ）が得られる。この画像信号（画像データ）は、出力機器インタフェース（Ｉ／Ｆ）１０６に供給される。そして、出力機器インタフェース１０６では、この画像信号（画像データ）を画像表示装置、あるいは記録装置等の出力機器に供給することが行われる。
【０２１６】
図３６は、注目部分の動き方向および全画面動きの方向が水平方向の描画例を示している。代表画像（和集合画像）の周縁に、注目部分の動きを示すシンボル（シンボル群）１２０Ａおよび全画面動きを示すシンボル（シンボル群）１２０Ｂが描画されている。
【０２１７】
上述したように、図３４に示す画像処理装置１００Ｄにおいては、シーン内における注目部分の全体的な動きを容易に把握可能となると共に、和集合画像からなるシーン代表画像において、シーン内の全体像を把握できるだけでなく、シーン内の各画面の動きも把握可能となる。
【０２１８】
なお、全画面動きを示すシンボルの描画態様に関しても、上述した注目部分の動きを示すシンボルの描画態様と同様に種々の態様を取ることができることは勿論である（図８、図９、図１０、図１２、図１３、図１８、図２０、図２２、図２８など参照）。図３７は、代表画像（和集合画像）の周縁に、注目部分の動きを示すシンボル（シンボル群）１２０Ａおよび全画面動きを示すシンボル（シンボル群）１２０Ｂが描画されている他の描画例を示している。
【０２１９】
この描画例では、濃く描画される通常シンボルは間引かれている。そのため、出力機器における代表画像の表示サイズが小さい場合であっても、描画された通常シンボルが混み合い過ぎて動きの把握が困難になるということを防止できる。また、この場合、各画面で描画される通常シンボルの長さはその画面の注目部分動き、全画面動きに対応したものとなり、この通常シンボルが示す情報量を増すことができる[TY3]。
【０２２０】
なお、上述したように、所定シーンを構成する各画面（フレーム）の画像をつなぎ合わせた和集合画像を代表画像とする場合、表示領域上で最も近接しているシンボル間の距離ｄは、上述した（１）式の代わりに、以下の（２）式で算出される。すなわち、距離ｄは、画面の全画面動き方向の長さＳ、全画面動きの累積値Ｔ、全画面動きの中で滞留していないと判定された最小の動きＶminおよび出力機器における代表画像の表示領域の全画面動き方向の長さＷを用い、（２）式で算出される。図３８は、長さＳ、累積値Ｔおよび長さＷが、どこに対応しているかを示している。
ｄ＝Ｗ＊Ｖmin／（Ｓ＋Ｔ） ・・・（２）
【産業上の利用可能性】
【０２２１】
この発明は、シーン毎の画像信号から、各シーンの代表画像（サムネイル）を作成する画像処理装置に適用できる。
【符号の説明】
【０２２２】
１００，１００Ａ〜１００Ｄ・・・画像処理装置
１０１・・・画像入力部
１０２，１０２Ｄ・・・代表画像作成部
１０３・・・注目部分動き算出部
１０４・・・滞留数算出部
１０５，１０５Ａ〜１０５Ｄ・・・シンボル描画部
１０６・・・出力機器インタフェース
１０７・・・等速数算出部
１０８・・・間引き数算出部
１１３・・・全画面動き算出部
１１４・・・滞留数算出部
１２０Ａ，１２０Ｂ・・・シンボル（シンボル群）
【特許請求の範囲】
【請求項１】
所定シーンを構成する各画面の画像に基づいて代表画像を作成する代表画像作成部と、
上記所定シーン内の各画面の注目部分の動きに基づいて、上記代表画像作成部で作成された上記代表画像の周縁部に、上記注目部分の動きを示すシンボルを描画するシンボル描画部と
を備える画像処理装置。
【請求項２】
上記所定シーン内の各画面の注目部分の動きに基づいて、各画面の注目部分の滞留数を算出する滞留数算出部をさらに備え、
上記滞留数算出部は、
所定画面の注目部分において、滞留していると判断するとき、該所定画面の注目部分の滞留数を０にすると共に、滞留カウンタを１だけインクリメントし、滞留していないと判断するとき、１つ前の画面の注目部分の滞留数を上記滞留カウンタの値とし、該所定画面の注目部分の滞留数を１とすると共に、該滞留カウンタの値を１とし、さらに、最終画面の注目部分の滞留数を上記滞留カウンタの値とし、
上記シンボル描画部は、
上記滞留数算出部で算出された各画面の注目部分の滞留数に基づいて、上記代表画像作成部で作成された上記代表画像の周縁部に、上記注目部分の動きを示すシンボルを描画する
請求項１に記載の画像処理装置。
【請求項３】
上記シンボル描画部は、所定画面の注目部分の滞留数が１以上のとき、上記代表画像の周縁部の該所定画面の注目部分に対応した位置に、上記シンボルを描画する
請求項２に記載の画像処理装置。
【請求項４】
上記シンボル描画部は、
上記所定画面の注目部分の滞留数が１以上Ｎ（Ｎは１以上の整数）以下であるとき、上記代表画像の周縁部の該所定画面の注目部分に対応した位置に、上記シンボルとして通常シンボルを描画し、
上記所定画面の注目部分の滞留数が上記Ｎを超えるとき、上記代表画像の周縁部の該所定画面の注目部分に対応した位置に、上記シンボルとして滞留シンボルを描画する
請求項３に記載の画像処理装置。
【請求項５】
上記シンボル描画部は、
上記シンボルとして上記注目部分の動きの方向に直交する方向に延びる線分状のシンボルを描画し、
上記所定画面の注目部分の滞留数がＮ以下で描画する上記通常シンボルの長さを、該所定画面の注目部分の動きの大きさに対応した長さとする
請求項４に記載の画像処理装置。
【請求項６】
上記シンボル描画部は、
出力機器における上記周縁部の表示領域の上記注目部分の動きの方向に直交する方向の長さをＨとし、上記注目部分の動きの中で最大の動きをＭvmaxとし、さらに、各画面の注目部分の動きをＭvとするとき、上記所定画面の注目部分の滞留数が１以上Ｎ以下で描画する上記通常シンボルの長さｈを、Ｈ＊Ｍv／Ｍvmaxとする
請求項５に記載の画像処理装置。
【請求項７】
上記シンボル描画部は、
上記描画されるシンボル間の近接を判定し、該判定結果に応じて、上記所定画面の注目部分の滞留数が１以上Ｎ以下で描画される上記通常シンボルの描画態様を変化させる
請求項４に記載の画像処理装置。
【請求項８】
上記シンボル描画部は、
上記注目部分の動きの方向の上記描画されるシンボル間の距離が出力機器の表示領域上で所定値を超えるように、上記通常シンボルを所定数の画面毎に描画する
請求項７に記載の画像処理装置。
【請求項９】
上記シンボル描画部は、
上記シンボルとして上記注目部分の動きの方向に直交する方向に延びる線分状のシンボルを描画し、
上記出力機器における上記周縁部の表示領域の、上記注目部分の動きの方向に直交する方向の長さをＨとし、上記注目部分の動きの中で最大の動きをＭvmaxとし、さらに、各画面の注目部分の動きをＭvとするとき、上記所定画面の注目部分の滞留数が１以上Ｎ以下で描画する上記通常シンボルの長さｈを、Ｈ＊Ｍv／Ｍvmaxとし、
上記所定数の画面毎に描画する上記通常シンボルを濃く描画し、その他の画面で上記通常シンボルを薄く描画する
請求項８に記載の画像処理装置。
【請求項１０】
上記シンボル描画部は、
上記注目部分の動きの方向の、上記描画されるシンボル間の距離が上記出力機器の表示領域上で所定値より小さいとき、各画面における前の画面との間の注目部分の動き差分に応じて、加速期間に対応して加速シンボルを描画し、等速期間に対応して等速シンボルを描画し、減速期間に対応して減速シンボルを描画する
請求項７に記載の画像処理装置。
【請求項１１】
上記所定シーン内の各画面の前の画面との間の注目部分の動き差分に基づいて、各画面の等速数を算出する等速数算出部をさらに備え、
上記等速数算出部は、
所定画面の注目部分において、滞留していると判断するとき、該所定画面の注目部分の等速数を０にすると共に、等速カウンタを１だけインクリメントし、滞留していないと判断するとき、１つ前の画面の注目部分の等速数を上記等速カウンタの値とし、該所定画面の注目部分の等速数を１とすると共に、該等速カウンタの値を１とし、
上記シンボル描画部は、
上記所定画面の注目部分の等速数が１以上Ｍ（Ｍは１以上の整数）以下であるとき、上記代表画像の周縁部の該所定画面の注目部分に対応した位置に、上記加速シンボルまたは上記減速シンボルを表示し、
上記所定画面の注目部分の等速数が上記Ｍを超えるとき、上記代表画像の周縁部の該所定画面の注目部分に対応した位置に、上記等速シンボルを描画する
請求項１０に記載の画像処理装置。
【請求項１２】
上記等速数算出部は、
各画面の上記注目部分の動き差分を累積していく累積手段を有し、
上記所定画面の注目部分において、累積手段の累積値が閾値の範囲内にあるか否かにより、等速動きをしているか否かを判断し、さらに、等速動きをしていないと判断するとき上記累積手段の累積値を０にリセットする
請求項１１に記載の画像処理装置。
【請求項１３】
上記等速数算出部は、
上記所定画面の注目部分において、該所定画面の注目部分の動き差分が閾値の範囲内にあるか否かにより、等速動きをしているか否かを判断する
請求項１１に記載の画像処理装置。
【請求項１４】
上記シンボル描画部は、
上記注目部分の動きの方向の１画面分の長さをＳとし、上記注目部分の動きの中で滞留していないと判定された最小の動きをＶminとし、さらに、出力機器における上記代表画像の表示領域の上記注目部分の動きの方向の長さをＷとして、該表示領域上で最も近接しているシンボル間の距離ｄを、Ｗ＊Ｖmin／Ｓの式で算出し、該距離ｄに基づいて、上記シンボル間の近接を判定する
請求項７に記載の画像処理装置。
【請求項１５】
上記所定シーンの画像信号を処理し、該所定シーン内の各画面の注目部分の動きを算出する注目部分動き算出部をさらに備え、
上記シンボル描画部は、上記注目部分動き算出部で算出された上記所定シーン内の各画面の注目部分の動きに基づいて、上記代表画像作成部で作成された上記代表画像の周縁部に、上記注目部分の動きを示すシンボルを描画する
請求項１に記載の画像処理装置。
【請求項１６】
所定シーンを構成する各画面の画像に基づいて代表画像を作成する代表画像作成ステップと、
上記所定シーン内の各画面の注目部分の動きに基づいて、上記代表画像作成ステップで作成された上記代表画像の周縁部に、上記注目部分の動きを示すシンボルを描画するシンボル描画ステップと
を有する画像処理方法。
【請求項１７】
所定シーンを構成する各画面の画像をつなぎ合わせた和集合画像を代表画像として作成する代表画像作成部と、
上記所定シーン内の各画面の全画面動きに基づいて、上記代表画像作成部で作成された上記代表画像の周縁部に、全画面動きを示すシンボルを描画すると共に、上記所定シーン内の各画面の注目部分の動きに基づいて、上記代表画像作成部で作成された上記代表画像の周縁部に、上記注目部分の動きを示すシンボルを描画するシンボル描画部と
を備える画像処理装置。
【請求項１】
所定シーンを構成する各画面の画像に基づいて代表画像を作成する代表画像作成部と、
上記所定シーン内の各画面の注目部分の動きに基づいて、上記代表画像作成部で作成された上記代表画像の周縁部に、上記注目部分の動きを示すシンボルを描画するシンボル描画部と
を備える画像処理装置。
【請求項２】
上記所定シーン内の各画面の注目部分の動きに基づいて、各画面の注目部分の滞留数を算出する滞留数算出部をさらに備え、
上記滞留数算出部は、
所定画面の注目部分において、滞留していると判断するとき、該所定画面の注目部分の滞留数を０にすると共に、滞留カウンタを１だけインクリメントし、滞留していないと判断するとき、１つ前の画面の注目部分の滞留数を上記滞留カウンタの値とし、該所定画面の注目部分の滞留数を１とすると共に、該滞留カウンタの値を１とし、さらに、最終画面の注目部分の滞留数を上記滞留カウンタの値とし、
上記シンボル描画部は、
上記滞留数算出部で算出された各画面の注目部分の滞留数に基づいて、上記代表画像作成部で作成された上記代表画像の周縁部に、上記注目部分の動きを示すシンボルを描画する
請求項１に記載の画像処理装置。
【請求項３】
上記シンボル描画部は、所定画面の注目部分の滞留数が１以上のとき、上記代表画像の周縁部の該所定画面の注目部分に対応した位置に、上記シンボルを描画する
請求項２に記載の画像処理装置。
【請求項４】
上記シンボル描画部は、
上記所定画面の注目部分の滞留数が１以上Ｎ（Ｎは１以上の整数）以下であるとき、上記代表画像の周縁部の該所定画面の注目部分に対応した位置に、上記シンボルとして通常シンボルを描画し、
上記所定画面の注目部分の滞留数が上記Ｎを超えるとき、上記代表画像の周縁部の該所定画面の注目部分に対応した位置に、上記シンボルとして滞留シンボルを描画する
請求項３に記載の画像処理装置。
【請求項５】
上記シンボル描画部は、
上記シンボルとして上記注目部分の動きの方向に直交する方向に延びる線分状のシンボルを描画し、
上記所定画面の注目部分の滞留数がＮ以下で描画する上記通常シンボルの長さを、該所定画面の注目部分の動きの大きさに対応した長さとする
請求項４に記載の画像処理装置。
【請求項６】
上記シンボル描画部は、
出力機器における上記周縁部の表示領域の上記注目部分の動きの方向に直交する方向の長さをＨとし、上記注目部分の動きの中で最大の動きをＭvmaxとし、さらに、各画面の注目部分の動きをＭvとするとき、上記所定画面の注目部分の滞留数が１以上Ｎ以下で描画する上記通常シンボルの長さｈを、Ｈ＊Ｍv／Ｍvmaxとする
請求項５に記載の画像処理装置。
【請求項７】
上記シンボル描画部は、
上記描画されるシンボル間の近接を判定し、該判定結果に応じて、上記所定画面の注目部分の滞留数が１以上Ｎ以下で描画される上記通常シンボルの描画態様を変化させる
請求項４に記載の画像処理装置。
【請求項８】
上記シンボル描画部は、
上記注目部分の動きの方向の上記描画されるシンボル間の距離が出力機器の表示領域上で所定値を超えるように、上記通常シンボルを所定数の画面毎に描画する
請求項７に記載の画像処理装置。
【請求項９】
上記シンボル描画部は、
上記シンボルとして上記注目部分の動きの方向に直交する方向に延びる線分状のシンボルを描画し、
上記出力機器における上記周縁部の表示領域の、上記注目部分の動きの方向に直交する方向の長さをＨとし、上記注目部分の動きの中で最大の動きをＭvmaxとし、さらに、各画面の注目部分の動きをＭvとするとき、上記所定画面の注目部分の滞留数が１以上Ｎ以下で描画する上記通常シンボルの長さｈを、Ｈ＊Ｍv／Ｍvmaxとし、
上記所定数の画面毎に描画する上記通常シンボルを濃く描画し、その他の画面で上記通常シンボルを薄く描画する
請求項８に記載の画像処理装置。
【請求項１０】
上記シンボル描画部は、
上記注目部分の動きの方向の、上記描画されるシンボル間の距離が上記出力機器の表示領域上で所定値より小さいとき、各画面における前の画面との間の注目部分の動き差分に応じて、加速期間に対応して加速シンボルを描画し、等速期間に対応して等速シンボルを描画し、減速期間に対応して減速シンボルを描画する
請求項７に記載の画像処理装置。
【請求項１１】
上記所定シーン内の各画面の前の画面との間の注目部分の動き差分に基づいて、各画面の等速数を算出する等速数算出部をさらに備え、
上記等速数算出部は、
所定画面の注目部分において、滞留していると判断するとき、該所定画面の注目部分の等速数を０にすると共に、等速カウンタを１だけインクリメントし、滞留していないと判断するとき、１つ前の画面の注目部分の等速数を上記等速カウンタの値とし、該所定画面の注目部分の等速数を１とすると共に、該等速カウンタの値を１とし、
上記シンボル描画部は、
上記所定画面の注目部分の等速数が１以上Ｍ（Ｍは１以上の整数）以下であるとき、上記代表画像の周縁部の該所定画面の注目部分に対応した位置に、上記加速シンボルまたは上記減速シンボルを表示し、
上記所定画面の注目部分の等速数が上記Ｍを超えるとき、上記代表画像の周縁部の該所定画面の注目部分に対応した位置に、上記等速シンボルを描画する
請求項１０に記載の画像処理装置。
【請求項１２】
上記等速数算出部は、
各画面の上記注目部分の動き差分を累積していく累積手段を有し、
上記所定画面の注目部分において、累積手段の累積値が閾値の範囲内にあるか否かにより、等速動きをしているか否かを判断し、さらに、等速動きをしていないと判断するとき上記累積手段の累積値を０にリセットする
請求項１１に記載の画像処理装置。
【請求項１３】
上記等速数算出部は、
上記所定画面の注目部分において、該所定画面の注目部分の動き差分が閾値の範囲内にあるか否かにより、等速動きをしているか否かを判断する
請求項１１に記載の画像処理装置。
【請求項１４】
上記シンボル描画部は、
上記注目部分の動きの方向の１画面分の長さをＳとし、上記注目部分の動きの中で滞留していないと判定された最小の動きをＶminとし、さらに、出力機器における上記代表画像の表示領域の上記注目部分の動きの方向の長さをＷとして、該表示領域上で最も近接しているシンボル間の距離ｄを、Ｗ＊Ｖmin／Ｓの式で算出し、該距離ｄに基づいて、上記シンボル間の近接を判定する
請求項７に記載の画像処理装置。
【請求項１５】
上記所定シーンの画像信号を処理し、該所定シーン内の各画面の注目部分の動きを算出する注目部分動き算出部をさらに備え、
上記シンボル描画部は、上記注目部分動き算出部で算出された上記所定シーン内の各画面の注目部分の動きに基づいて、上記代表画像作成部で作成された上記代表画像の周縁部に、上記注目部分の動きを示すシンボルを描画する
請求項１に記載の画像処理装置。
【請求項１６】
所定シーンを構成する各画面の画像に基づいて代表画像を作成する代表画像作成ステップと、
上記所定シーン内の各画面の注目部分の動きに基づいて、上記代表画像作成ステップで作成された上記代表画像の周縁部に、上記注目部分の動きを示すシンボルを描画するシンボル描画ステップと
を有する画像処理方法。
【請求項１７】
所定シーンを構成する各画面の画像をつなぎ合わせた和集合画像を代表画像として作成する代表画像作成部と、
上記所定シーン内の各画面の全画面動きに基づいて、上記代表画像作成部で作成された上記代表画像の周縁部に、全画面動きを示すシンボルを描画すると共に、上記所定シーン内の各画面の注目部分の動きに基づいて、上記代表画像作成部で作成された上記代表画像の周縁部に、上記注目部分の動きを示すシンボルを描画するシンボル描画部と
を備える画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１１】
【図１２】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図３２】
【図３３】
【図３４】
【図３５】
【図３８】
【図３９】
【図８】
【図９】
【図１０】
【図１３】
【図２２】
【図２８】
【図２９】
【図３０】
【図３１】
【図３６】
【図３７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１１】
【図１２】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図３２】
【図３３】
【図３４】
【図３５】
【図３８】
【図３９】
【図８】
【図９】
【図１０】
【図１３】
【図２２】
【図２８】
【図２９】
【図３０】
【図３１】
【図３６】
【図３７】
【公開番号】特開２０１２−１２４７３９（Ｐ２０１２−１２４７３９Ａ）
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願番号】特願２０１０−２７４３８７（Ｐ２０１０−２７４３８７）
【出願日】平成２２年１２月９日（２０１０．１２．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願日】平成２２年１２月９日（２０１０．１２．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]