画像検出方法
【課題】登場人物検出の検出区間の修正には、一度開始点または終了点を表す検出矢印を消してから再び新しい場所に検出矢印を設定する操作が必要で、検出矢印の消忘れ・つけ忘れなどの操作ミスを起し易く、またそれらのミスを発見し難い欠点があった。またオブジェクト枠の修正においても、１つのオブジェクト枠を修正すると、それ以降のフレーム内にあるオブジェクト枠も同時に修正され、意図していないオブジェクト枠が修正される欠点があった。
【解決手段】検出区間の修正を検出矢印のドラッグによって実現した。また検出区間をフィルムイメージ上であらかじめ指定してから、追加ボタンをクリックすることによって、検出区間の追加を実現した。同様に、検出区間をフィルムイメージ上であらかじめ指定してから、削除ボタンをクリックすることによって、検出区間の削除を実現した。またオブジェクト枠の修正は、フィルムイメージ上で指定した範囲だけしか変更されるないようにした。
【解決手段】検出区間の修正を検出矢印のドラッグによって実現した。また検出区間をフィルムイメージ上であらかじめ指定してから、追加ボタンをクリックすることによって、検出区間の追加を実現した。同様に、検出区間をフィルムイメージ上であらかじめ指定してから、削除ボタンをクリックすることによって、検出区間の削除を実現した。またオブジェクト枠の修正は、フィルムイメージ上で指定した範囲だけしか変更されるないようにした。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、動画像編集装置に関わり、特に、ディスプレイ画面上における操作によって編集を行なう場合に使用する画像検出方法に関するものである。
【０００２】
【従来の技術】近年、コンピュータの高速化、高機能化に相俟って、ソフトウエアの多様化、高機能化が急速に進展している。これらコンピュータ、ソフトウエアを使用することで、動画像編集装置の高機能化が進められている。
【０００３】特に近年は、ビデオテープレコーダによって、テープカウンタを頼りに、早送り、巻き戻しを繰り返すような映像編集方法ではなく、ランダムアクセスが可能な情報記憶装置（例えば、取扱いや保存が容易で廉価なハードディスク）を有する動画像編集装置を使用して、映像情報の編集を行なっている。このような動画像編集装置に、さらに、高機能化、多様化しているコンピュータ、ソフトウエアを採用することで、ますます動画像編集装置の高機能化が進められている。ここで、映像情報とは音声を含む映像に関するすべての情報のことである。
【０００４】図３はテレビジョン放送番組やビデオ番組を制作する動画像編集装置の一構成例を示すブロック図である。3010はCPU（Central Processing Unit：中央演算処理装置）、3020はメモリ、3030はカット変化点検出部、3040は画像再生装置、3050はビデオインターフェース、3060は情報記憶装置、3070はフレームバッファ、3080はモニタ、3090は入力装置、3100はバス、3110は画像信号出力端子である。この動画像編集装置は、ソフトウエア（プログラム）の制御により動画像編集装置を構成する各装置の制御および編集を行なうCPU3010と、CPU3010の制御情報や、動画像、シーン画像、カット画像および編集状況を表す階層構造（ツリー構造）の情報など、編集に関する情報を表示するモニタ3080と、モニタ3080の画面上に表示されている情報を選択してCPU3010へのコマンドの入力を行なうマウスやキーボード等の入力装置3090と、モニタ3080に表示するための画像情報を記憶するフレームバッファメモリ3070と、編集に使用する動画像の画像信号を記録媒体から再生しビデオインタフェース3050へ出力する画像再生装置（例えば、VTR：ビデオテープレコーダ）3040と、画像再生装置3040から入力される動画像の画像信号を動画像編集装置で扱うフォーマットの画像情報に変換し情報記憶装置（例えば、ハードディスク等の磁気記憶装置）3060とカット変化点検出部3030とメモリ3020とへ出力し、かつ動画像編集装置で扱うフォーマットで編集され情報記憶装置3060から出力される動画像の画像情報を画像信号に変換し画像信号出力端子3110から出力するビデオインタフェース3050と、動画像を構成するフレーム画像の隣接するフレーム画像を比較してフレーム画像間の差の画像情報が所定量を越えて変化している場合には隣接するフレーム画像は異なるカット画像に属すると判定し分割するカット変化点検出部3030と、CPU3010の制御ソフトウエアを記憶するとともに、動画像編集装置で使用されるさまざまな制御情報（一連の動画像のフレーム番号、検出したカット変化点のフレーム番号、モニタ3080の画面に表示される画像サイズを縮小した表示用画像（M-アイコン：Moving Icon）、M-アイコンファイル名、カット画像に順次シリアルに付与されているカット画像番号、複数のカット画像の順序を表すシーケンス番号等）などを一時記憶するメモリ3020と、画像再生装置3040から再生されビデオインタフェース3050で所要フォーマットに変換された編集に使用する動画像の画像情報を記憶するとともに、メモリ3020で一時記憶した動画像編集装置で使用される編集情報や制御情報、例えばM-アイコンなどを記憶するランダムアクセス可能な、例えばハードディスクを使用した情報記憶装置3060と、動画像編集装置内の各装置間のディジタル情報伝送に使用されるバス3100と、動画像の画像情報を出力する画像信号出力端子3110を備えている。
【０００５】なお、バス3100には、動画像編集装置を構成する前記各装置のCPU3010、メモリ3020、カット変化点検出部3030、ビデオインタフェース3050、情報記憶装置3060、フレームバッファメモリ3070、モニタ3080、入力装置3090が接続されており、CPU3010はこれら装置と各種信号を送受し合い、これら装置はCPU3010からのアクセス信号により制御される。また、CPU3010への指示は、マウスあるいはキーボードなどの入力装置3090から入力される。
【０００６】上述のように構成され、所要のソフトウエアをメモリ3020に備えている動画像編集装置を使用することにより、編集する動画像の画像情報をメモリ3020さらに情報記憶装置3060に記憶し管理することができる。またさらに動画像編集装置は、モニタ3080の画面上に、メモリ3020および情報記憶装置3060に記憶している動画像のカット画像やシーン画像を縮小したM-アイコンとして表示し、カット画像やシーン画像を単位としたツリー構造を形成することにより動画像の編集作業を行なうことができる。
【０００７】ここでカット画像、シーン画像、M-アイコン等の説明をする。カット画像は、テレビジョンカメラによる１回の撮像開始から終了までの間に撮像されたフレーム画像の集合である。また、「シーン画像」は、所定の撮像対象を撮像した複数のカット画像を集合したものであり、情報記憶装置3060などに記憶される動画像を構成する画像データは、複数のシーン画像の集合である。複数のシーン画像は、さらに特定の撮像テーマのもとにまとめることにより、編集された特定の撮像テーマの動画像（番組）とすることができる。
【０００８】このように特定の撮像テーマのもとに編集される動画像は、画像素材である複数のカット画像の中から、特定の撮像テーマに合せて選択したいくつかのカット画像と、この選択したいくつかのカット画像をまとめたシーン画像と、このシーン画像を特定の撮像テーマのもとにまとめた撮像テーマ（あるいは題名）を有する動画像というように、階層構造（ツリー構造）の画像データとして整理することができる。また、このツリー構造には、一連の動画像のフレーム番号、検出したカット変化点の画像のフレーム番号、カット画像に順次シリアルに付与されているカット画像番号、シーン画像を構成する複数のカット画像の順序を表すシーケンス番号のデータが整理配置されており、上述の制御情報はこれらの階層構造情報を含んでいる。M-アイコンとは、１回の撮像開始から終了までのフレーム画像の集合（カット画像）と１対１に対応するGUI（Graphical User Interface：グラフィックスを使用したユーザインタフェース）部品である。このM-アイコンは、画像のサイズを所要の比率で縮小した表示用画像であり、複数のフレーム画像からなる動画像全体または一部、あるいはシーン画像を高速で表示して見る場合（高速表示用）や、あるいはカット画像の代表画像として表示される。
【０００９】モニタ3080の表示画面は、動画像編集に使用するカット画像、シーン画像および編集状態を表すツリー構造などの編集情報を表示するGUI画面である。編集者は、入力装置（例えば、マウス）3090を使用して、この編集情報を表示するモニタ3080の画面の編集情報を選択することで動画像編集装置に指示を与えることができる。
【００１０】このように前述の動画像編集装置は、編集する動画像をツリー構造として記憶し管理することで番組を作成することができ、カット画像やシーン画像を単位とした編集作業ができるようになっている。
【００１１】図４は、上述した動画像編集装置のモニタ3080の画面に表示される編集用ウィンドウの一例を示す図である。1000は編集用ウィンドウ、1010は編集エリア、1020は素材エリア、1030，1031，1032，1033，‥‥‥，103K，103M，103N，‥‥‥は素材エリア1020に表示されている画像素材のM-アイコン（ただし、K，M，Nは自然数で、K＝N-2、M=N-1）、1040は編集された動画像の編集内容を表すM-アイコンで構成するツリー構造、1050は編集作業に使用する各種制御機能を選択する編集機能ボタン群、1051は登場人物検出ボタン、1052はツリー構造作成ボタン、1053はIDX情報ボタン、1070は編集エリア1010の表示画面を横方向にスライドさせるスライダ、1080は編集エリア1010の表示画面を縦方向にスライドさせるスライダ、1090は素材エリア1020の表示画面を縦方向にスライドさせるスライダ、1210は編集エリア1010に登録されたカット画像を表すM-アイコン、1220は１つまたは複数のカット画像で構成したシーン画像を表すM-アイコン、1230は１つ以上のシーン画像で構成したM-アイコン、1240はテーマに合せ編集された動画像（番組）を表すM-アイコン、810はマウス等のポインティングデバイスによってGUI操作を行う時にGUI画面上に表示されるマウスポインタである。なお、M-アイコンの表面には、対応する縮小表示用画像が表示されているが、煩雑なので、本明細書では特に必要にない限り省略する。
【００１２】図４において、編集エリア1010の中のM-アイコンで構成されるツリー構造1040は、編集のために選択したカット画像を表すM-アイコン1210が１個または複数個集合して、その階層の上部にシーン画像を表すM-アイコン1220を構成し、さらに、このシーン画像を表すM-アイコン1220が１個または複数個集合して、その階層の上部に特定のシーン画像の集合を表すM-アイコン1230を構成し、最後に特定のシーン画像の集合を表すM-アイコン1230が複数個集合してテーマに合せ編集された番組を表すM-アイコン1240を構成している。
【００１３】ツリー構造1040の階層数は任意であり、さらに上部に階層が構成することができることはもちろんである。編集エリア1010の画面の大きさに限りがあるため、図４ではツリー構造1040の全体が表示されていない。この表示されていない部分を表示させるためには、入力装置3090（図３）によって、スライダ1070、あるいはスライダ1080を操作して、所要の横方向、あるいは縦方向に表示を移動させることによってツリー構造1040の全体を見る。
【００１４】また素材エリア1020には、図３のカット変化点検出部3030によって検出された異なるカット画像から作成されたM-アイコンが、編集に使用する画像素材M-アイコン1030，1031，1032，1033，‥‥‥，103K，103M，103N，‥‥‥として一時的に置かれ、一覧できるように表示されている。編集作業を進め、画像の呼出しを行ないM-アイコン1030，1031，1032，1033，‥‥‥，103K，103M，103N，‥‥‥が作成され表示された段階では、M-アイコン1030，1031，1032，1033，‥‥‥，103K，103M，103N，‥‥‥は、素材エリア1020に時系列順に左から右、上から下に向かって表示される。
【００１５】この素材エリア1020の中のM-アイコン1030，1031，1032，1033，‥‥‥，103K，103M，103N，‥‥‥についても、編集エリア1010と同様に、M-アイコンの数が多くて画面に一度に表示されていない場合は、入力装置3090によってスライダ1090を操作し、縦方向に表示を移動させることによってすべてのM-アイコンを見る。
【００１６】編集を行うためには、この素材エリア1020の中から編集に必要なM-アイコンを選択し、次に機能ボタン群1050中のツリー構造作成ボタン1052を押す。これによって、選択されたM-アイコン1030は編集エリア1010へ移動、あるいはコピーされる。このように、ツリー構造1040を構成して編集を進める。なお、図４では編集がある程度進んでおり、すでに編集エリア1010にツリー構造1040ができており、さらに、素材エリア1020のM-アイコン1030，1031，1032，1033，‥‥‥，103K，103M，103N，‥‥‥の中から所望のM-アイコンを選択して、図４から編集を継続する状態である。また、素材エリア1020と編集エリア1010の中に表示されるM-アイコンは、図面上では１枚のカードとして描かれているが、これは省略図であって、実際のモニタ3080の表示画面上では、M-アイコンのそれぞれは、M-アイコンがそれぞれ持つフレーム画像の枚数の重なった形状で表示される。
【００１７】以上のようにして動画像の編集を進めるが、実際に番組作成に必要な画像素材は、図３の情報記憶装置3060に記憶された画像情報（カット画像、あるいは１つの動画像のファイルとして読出された一連の動画像）のすべてであることは少ない。即ち、素材エリア1020に表示されている複数のM-アイコン1030，1031，1032，1033，‥‥‥，103K，103M，103N，‥‥‥のすべてが必要となることはなく、編集目的、あるいは撮像テーマにより選択した一部のM-アイコンに関連付けられた画像素材だけが番組に使用される。また、画像素材には通常複数のシーンが含まれているので、情報記憶装置3060から読出した画像素材あるいは画像情報に含まれる多くのM-アイコン1030，1031，1032，1033，‥‥‥，103K，103M，103N，‥‥‥の中から編集に必要なM-アイコンを探すことになる。
【００１８】上述の従来の動画像編集方法による動画像編集装置の動作や、M-アイコンを使用して、ツリー構造を作成しながら動画像の編集を行なう方法は、例えば特開平１０−５１７３３号公報に開示されている。また、カット画像の変化点を検出する手段としては、例えば、動画像の照度、音量、色調などを解析して、これらの変化の著しい部分をカット画像の変化点として検出する技術が、特開平２−１８４１８１号公報に開示されている。
【００１９】ところで、上述のように動画像編集を行うためには、素材エリア1020に表示されている複数のM-アイコン1030，1031，1032，1033，‥‥‥，103K，103M，103N，‥‥‥の中から、編集に必要なM-アイコンを探すことが必要である。この必要なM-アイコンを探すサポートをする機能が登場人物検出機能である。この登場人物検出機能は、画像素材または複数のカットやシーンの中から特定の人物を検出する機能を持っている。この特定の人物を仮に“X”とする。
【００２０】この登場人物検出機能は、素材または複数のカットまたはシーン、つまり被検出区間の中にいる人物“X”が持つ特徴を組合わせてオペレータが選択し、その色の組合わせに合致したフレームとその画素領域を、画像認識技術を用いて見つけ出すものである。
【００２１】オペレータは、選択した一連のM-アイコン（即ち、登場人物が存在すると思われる被検出区間）の中で、検出しようとする人物（例えば人物“X”）について、その特徴（例えば、髪の色，肌の色，服の色）の組合せを指定する。これによって、動画像編集装置は指定した色の組合せに合致した映像領域を画像処理により検出し、合致した映像領域とそのフレームの情報をGUI画面に表示する。
【００２２】この登場人物検出機能の操作手順を図４と図１３、図１２とを用いて説明する。
【００２３】図４は従来のノンリニア編集装置におけるモニタ3080（図３）に表示された編集用ウインドウの一例を示す図で、既に説明した。
【００２４】図４において、オペレータは人物（例えば、人物“X”）を検出するため、被検出対象となるカットまたはシーンに対応するM-アイコンを編集エリア1010または素材エリア1020の中から選択する。選択するにはマウスポインタ810をM-アイコンの上に移動させマウスをクリックする。このときM-アイコンに太い枠が表示され、M-アイコンが選択された状態になる。このようにマウスポインタ810でM-アイコンを選択状態にすることをアタッチという。
【００２５】例えば、素材エリア1020内にあるM-アイコン1031〜1033をアタッチし、続いて編集機能ボタン群1050の中の登場人物検出ボタン1051をクリックする。その結果、モニタ3080には図１３に示したウィンドウが表示される。このウィンドウ上で人物“X”の検出処理を行う。図１３は人物検出を行う時に検出したい人物の特徴を定めて人物検出を行うを説明するための図である。300はIDパネル、301はOKボタン、302はキャンセルボタン、303はスライダーつまみ、304はスライドカーソル、305は拡大表示画像、306は拡大表示エリア、307はオブジェクトボタン、308は色指定枠、309はサーチボタン、311は静止画ビュースライダー、321〜330はフレーム画像、809はフィルムイメージ、810はマウスポインタである。
【００２６】図１３において、フィルムイメージ809には、アタッチしたM-アイコン1031〜1033内に含まれるフレーム画像321〜330が表示される。フレーム画像321〜330は時間軸に沿って順番に並べられており、画面の左右の表示されていない部分は静止画ビュースライダー311のスライダつまみ303を左右にスクロール処理することによって、表示するフレーム画像をスライドさせて見ることができる。このスクロール処理は、例えばマウスポインタ810をスライダつまみ303に移動させ、マウスでドラッグする、または、スライドカーソル304の矢印部をアタッチすることによって操作可能である。またIDパネル300の左下部の拡大表示エリア306内には拡大フレーム画像305が表示される。この拡大フレーム画像305はフィルムイメージ809にあるフレーム画像321〜330のうち、一番左端にあるフレーム画像321を拡大表示したものである。人物“X”を検出処理するために、この拡大表示画像305を用いて人物“X”として検出する特徴を定める。この一番左端に表示されているフレーム画像321と拡大表示画像305とは連動しているため、オペレータはフィルムイメージ809中のフレーム画像をスクロールすることによって、人物“X”の検出処理に用いるための拡大表示画像305として拡大表示エリア306に表示させることができる。オペレータはフィルムイメージ809中のフレーム画像をスクロールして拡大表示画像305を見ながら、人物“X”の検出処理に関して最適と考えるフレーム画像を選択する。次にこの拡大表示画像305から人物“X”が持っている特徴的な色の組合せを指定する。フレーム画像321〜330のうち、フレーム画像321は簡単な画像の表示をしているが、他のフレーム画像322〜330については画像の表示を省略している。
【００２７】特徴的な色の組合せを指定する方法は、オブジェクトボタン307をクリックしてから、特徴的な色を指定するための範囲を定める色指定枠308を拡大表示画像305の中から指定して行う。色指定枠308の指定は、パーソナルコンピュータ等の描画において四角の枠を作成する方法と同様であり、もちろん、指定した後、色指定枠308の移動及び大きさの変更も可能である。色指定枠308に囲まれた部分の色が人物“X”（フレーム画像中で人物“X”が占めている画素領域）が持つ特徴的な色となる。図１３の例では人物“X”が着ている服の色を指定しているが、その他、例えば、髪の色、肌の色、服の色等を指定する。この色の組合せのデータが検出処理に用いられる。上述のような登場人物検出機能は、例えば、特開平６−２２３１７９号公報に開示されている。
【００２８】色の指定が終了した後、サーチボタン309をクリックするとM-アイコン1031〜1033に対して検出処理を行う。検出処理を行った後、IDパネル300上には人物“X”に対する検出結果が表示される。その表示は図１２１２（後述）に示すようになる。検出結果を保持する時はOKボタン301をクリックしてIDパネルを閉じ、検出結果を保持しない時はキャンセルボタン302をクリックしてIDパネルを閉じる。
【００２９】この登場人物検出機能によって２つの結果が得られる。一つは人物“X”が画像素材またはカットの中のどこからどこまでに存在するのかを示す検出区間の情報であり、もう一つは検出区間内のフレーム画像のどの位置（例えば、左側、中央部右側、上部、左下側等）に人物“X”が存在しているのかを示すポジション情報である。しかし、現状の登場人物検出の機能は、認識の精度の問題から、誤検出や見逃しが発生し易い。したがって、IDパネルを見てオペレータがマウスを使って手動で確認や修正を行う必要がある。
【００３０】図１５は図４において、M-アイコン1031，1032，1033を選択し、前述のとおり登場人物検出を行った結果の編集ウインドウの例である。ここで、図４と同じものには同じ符号が付せられており、その他に、12，13，14はIDXアイコンである。
【００３１】即ち、登場人物検出を行った後、図１３に示したIDパネル300のOKボタン301をクリックすると、検出結果を保持したままIDパネル300が閉じ、編集ウインドウ1000の素材エリア1020の下部にIDXアイコン12が表示される。また、別のM-アイコンを選択して登場人物検出を行う都度、さらにIDXアイコン13，14，‥‥‥と表示が増えていく。人物検出結果の確認や修正に関する従来のGUI操作の例を図１２によって説明する。図１２は、人物検出結果の確認や修正を行う場合のIDパネルの表示例である。80はIDパネル、800，801，802，802′，803は検出矢印、804，805，806，807，808はオブジェクト枠、809′はフィルムイメージ、811，812は検出区間、813，814，823，824はフィルムイメージ809′の中に画面左から時間軸に沿って順番に並んでいるフレーム画像、815はビギンボタン、816はエンドボタン、817，818，820，821，822は人物“X”がそれぞれのフレーム画像において占有している画素領域、301はOKボタン、302はキャンセルボタンである。図１２のIDパネル80において、フィルムイメージ809′の上側に表示されている検出矢印800〜803は検出区間の始りと終りを示す矢印である。検出矢印800と検出矢印802は検出された先頭であり、ビギン点と呼ぶ。また、検出矢印801と検出矢印803は検出された終点であり、エンド点と呼ぶ。ビギン点の検出矢印800とエンド点の検出検出矢印801に挟まれた区間が検出区間812であり、ビギン点の検出矢印802とエンド点の検出検出矢印803に挟まれた区間が検出区間811である。検出区間811と検出区間812のそれぞれに属するフレーム画像に表示されているオブジェクト枠804〜808は人物“X”がフレーム画像のどの位置に存在しているかを示すポジションを示し、登場人物検出が行われた結果として表示される。検出区間およびオブジェクト枠の修正は以下のように行う。最初に検出区間の修正について述べる。図１２において、検出矢印802のビギン点を1フレーム左のフレーム813に移動して、検出区間811の延長を行う場合について説明する。マウスポインタ810はマウス（図示しない）によって表示画面上を移動することができるGUI部品で、マウスの他、一般的なポインティングデバイスによっても操作できる。まず、マウスポインタ810をビギンボタン815に移動してマウスをクリックする。そして次に、フレーム813にマウスポインタ810を移動してマウスをクリックする。すると新規のビギン点を表す検出矢印802′が表示される。その後元のビギン点である検出矢印802をクリックすることにより、元のビギン点を表す検出矢印802が消える。この結果、検出区間811が左へ１フレーム延長される。同様に、エンド点の修正もエンドボタン816をクリックし、エンド点にしたいフレームをクリックした後もとエンド点の検出矢印をクリックしてエンド点の変更を行う。しかしこの方法では、操作が煩雑であり、直接的に検出区間を変更するわけではない。また、本来の検出区間が、ビギン点とエンド点によって定められるものが、検出区間とは独立してビギン点とエンド点を変更できるため、例えば、エンド点である検出矢印801をフレーム807に移動した場合のように、別の検出区間の範囲内にビギン点やエンド点が入込んで、誤った検出区間になる可能性があり、さらには、ビギン点である検出矢印800が検出矢印801より右側にきたり、エンド点である検出矢印803が検出矢印802より左側にくるような、ビギン点とエンド点の逆転も考えられる。即ち、このように検出区間とビギン点やエンド点が関連していないため、誤った検出区間がつくられても、正誤の判断が難しかった。
【００３２】次にオブジェクト枠の修正について述べる。この修正もマウスポインタ810を使用して行う。図１２１２において、フレーム画像814のオブジェクト枠806を修正する場合を例にとる。図１２において、フレーム画像824のオブジェクト枠805が人物“X”を示す画素領域818の大きさと位置がほぼ一致しているのに比べ、フレーム画像814のオブジェクト枠806は人物“X”の画素領域820よりもやや大きめで中央よりの位置に表示されている。この場合、オペレータがこのフレーム画像814を見た時、オブジェクト枠806の位置にまどわされ、人物“X”の画素領域がフレームの中央部にいると誤認してしまうので、オブジェクト枠806を人物“X”の画素領域820に合せるためオブジェクト枠806の大きさや位置を修正する必要がある。オブジェクト枠804，805，806，807，808の大きさや位置の修正は、現在のオブジェクト枠を削除して新規に設定する方法の他、例えば、Microsoft社のOS（OperatingSystem）の１つであるWindows95における画面操作やオブジェクト操作等、周知の方法で実行できる。
【００３３】なお、オブジェクト枠806を人物“X”の画素領域820に合せて修正する操作を行った場合には、オブジェクト枠806以降にあるすべてのオブジェクト枠についての人物“X”の画素領域（例えば、オブジェクト枠807，808における人物“X”の画素領域821及び822）もまたオブジェクト枠806と同じ大きさと位置とに修正される。
【００３４】人物検出を行った後、IDパネル300のOKボタン301をクリックすると、検出結果を保持したままIDパネル300が閉じ、またキャンセルボタン302をアタッチすると、検出結果をキャンセルしてIDパネル300が閉じる。
【００３５】人物検出または人物検出の修正を終えた後、IDパネル300またはIDパネル80のOKボタン301をアタッチすると、IDパネル300またはIDパネル80が閉じ、IDXアイコン12が素材エリア1020の下側部分に作成される。そして、このIDXアイコン12のデータ構造の中に人物“X”に対する検出処理の結果に関する情報が格納されている。また、このようなIDXアイコンは、人物検出するために編集ウインドウ1000内で同時にアタッチしたM-アイコンのすべてに対して一つ作成される。即ち、毎回違うM-アイコンをアタッチして人物検出処理をすると、新しいIDXアイコン13，14，‥‥‥が次々と作成される。
【００３６】IDXアイコン12をマウスでダブルクリックするか、または選択してIDX情報ボタン1053をアタッチすると、図６に示すような、IDX情報を示すIDXウインドウがポップアップ表示される。図６はIDXウインドウの表示例を示す図で，人物“A”、“B”、“C”それぞれについての検出結果が表示されている。これは上述した同一のM-アイコン群1031〜1033について、別々の人物について検出処理をした結果である。600はIDXパネル、603は検出処理区間表示エリア、604，605，606は検出処理区間、611はターゲット表示欄、614は検出区間、616は非検出区間、631，632，633はターゲットイメージ、634，635，636は人名、637，638，639は検出区間グラフ、650は検出結果表示欄、640は検出結果表示欄650の表示を横方向にスライドさせるスライダ、641は検出結果表示欄650の表示を縦方向にスライドさせるスライダ、810はマウスポインタ、241はクローズボタンである。
【００３７】図６において、IDXパネル600上の検出処理区間表示エリア603は横方向を時系列沿って表示されている。またさらに、検出処理区間表示エリア603は今検出処理区間604〜606に分かれている。この検出処理区間604〜606はオペレータがアタッチしたM-アイコン1031〜1033のカットの長さ（＝フレーム数）に応じて区切られている。即ち、M-アイコン1031のフレーム数と検出処理区間604のフレーム数は対応しており、M-アイコン1032と検出処理区間605のフレーム数、M-アイコン1033と検出処理区間606のフレーム数もまた対応している。また、ターゲット表示欄611には、検出した人物のターゲットイメージ631，632，633とその人名634，635，636とが縦方向に表示される。例えば、人物“A”を検出した場合にはターゲットイメージ631と人名634とがターゲット表示欄611に表示され、かつその右横の検出結果表示欄650に検出区間グラフ637が表示される。さらに人物“B”を検出した場合には、人物“A”の下側のターゲット表示欄611にターゲットイメージ632と人名635が表示され、かつその右横の検出結果表示欄650に検出区間グラフ638が表示される。同様に、人物“C”を検出したときにはターゲットイメージ633と人名636がターゲット表示欄611の下側に表示され、かつその右横の検出結果表示欄650に検出区間グラフ639が表示される。これらのターゲットイメージ631，632，633は、人物“A”，“B”，“C”をそれぞれ検出するために特徴的な色を取得するために使用した拡大表示画像のフレーム画像（例えば、図１３のフレーム画像304）である。ターゲットイメージ631〜633の下の人名634〜636にはそれぞれの検出対象名が表示される。検出区間グラフ637，638，639の表示欄は有限であるので、検出領域が広く一度に全ての検出領域が表示できない場合がある。その場合は、スライダ640を操作して、表示を横方向にスクロールさせる。また、検出した人物の数が多い場合にも一度に検出した人物の全てを表示できない（図６の例では一度に表示できる数は３人）。この場合には、スライダ641を操作して表示を縦方向にスクロールさせる。以上述べたように、検出区間グラフ637〜639の領域には、カット即ちM-アイコン1031〜1033に対して実行された人物“A”，“B”，“C”の検出結果が示されている。
【００３８】次に、検出結果を、検出区間グラフ637を例にして説明する。検出区間614は、M-アイコン1031〜1033について、検出処理区間604，605，606の間で人物“A”が検出された区間を示しており、非検出区間616は検出されなかった区間を示している。例えば、検出処理区間604はM-アイコン1031に関連付けられたフレーム画像の集合について時間的に並べたものであり、検出処理区間605はM-アイコン1032に関連付けられたフレーム画像の集合について時間的に並べたものであり、検出処理区間606はM-アイコン1033に関連付けられたフレーム画像の集合について時間的に並べたものである。また、１つのフレーム画像についてそれぞれ所定の幅を持たせて表示しており、図６では検出区間614と非検出区間616とを互いに異なる斜線パターンで区別して表示している。また、検出・非検出の表示は区別がつけばどんな表示でもよく、例えば検出区間614はオレンジ色で表示し、検出されなかった非検出区間616は灰色で表示することでも、片方を点滅させてもよい。
【００３９】この検出区間614及び非検出区間616は、図１５１５のM-アイコン1031〜1033の側面にも表示される（図示しない）。図１７(a)，(b)，(c)は、図１５のM-アイコン1031〜1033の側面に、人物検出の結果が表示されていることを示す図である。図６と同様に、検出処理区間604はM-アイコン1031の領域、検出処理区間605はM-アイコン1032の領域、検出処理区間606はM-アイコン1033の領域をそれぞれ示す。M-アイコンの側面の幅はそのM-アイコン自身のフレーム数（１つのフレーム画像についてそれぞれ一定の厚みを持たせて表示）を示しているので、検出区間614としてそのフレームの数に相当する分だけM-アイコン1031〜1033の側面を斜線で表示する。また、非検出区間616としてそのフレームの数に相当する分だけM-アイコン1031〜1033の側面に白色で表示する。この表示は、検出結果として常に表示する設定でもよいが、通常はターゲットイメージ630をオペレータがアタッチした場合に行うとしてもよく、また、どちらか一方を表示してもよい。なお、図１７(a)，(b)，(c)に示したM-アイコン1031〜1033は、それぞれに関連付けられた画像を縮小した表示用画像が実際には表示されているが、図１７では省略している。
【００４０】また検出区間614のうち、例えば検出処理区間605にある検出区間614をアタッチすると、検出区間グラフ637のその検出処理区間605に属する領域の表示の模様や色が、例えば紫色に変化し、そこから検出処理区間605を意味するM-アイコン1032（図１５）に向けて、紫色のスポットライトが照射されるような表示がなされる。この機能によって、どの検出区間がどのM-アイコンに属しているのか見つけ易くなる。なお、図６のIDXウインドウ600を閉じる場合は、クローズボタン241をクリックする。
【００４１】
【発明が解決しようとする課題】前述の従来技術には、登場人物等の特定の画像を検出後に、その特定の画像の検出区間の修正をするためには、新たにビギン点を作る操作と元のビギン点を消す操作、または、新たにエンド点を作る操作と元のエンド点を消す操作とが必要で、操作が煩雑で間違いやすい欠点があった。
【００４２】さらに、検出区間の修正の際に検出矢印の片方が消えるため、別の検出区間と交差したり、また検出矢印の消し忘れ・付け忘れなどの操作ミスも誘発しやすく、また間違いが発見し難い欠点があった。
【００４３】さらにまた、検出区間が長く、フィルムイメージに一度に表示できない場合には、スライダーカーソルを走査して目的のフレームまでスクロールすることが必要であった。この場合には、スクロール前に表示されていたフレームが見えなくなるために、検出矢印の片方が見えず、間違いが起き易い欠点があった。
【００４４】またオブジェクト枠を修正する場合に、オペレータが１フレーム内にあるオブジェクト枠を修正すると、それ以降のフレーム内にある同一のオブジェクト枠も同じ位置・大きさに修正されるため、オペレータが意図していないオブジェクト枠も自動的に修正されてしまい、１つのオブジェクト枠を修正した場合には、それ以降のフレーム内のオブジェクト枠にも注意が必要な欠点があった。
【００４５】本発明の目的は上記のような欠点を除去し、操作が簡単で、間違いが発生し難く、また間違いが発生しても間違いを見つけ易い修正方法を提供することにある。
【００４６】
【課題を解決するための手段】上記の問題を解決するため、本発明の画像検出方法は、検出矢印と検出区間とを連動させ、検出矢印を移動することによって検出矢印の位置および検出区間を変更できるようにした。また検出区間を新たに追加する場合は、追加したい区間をフィルムイメージ上であらかじめ指定してから、追加ボタンをクリックして行うことができるようにした。また同様に、検出区間を削除する場合も、削除したい検出区間をフィルムイメージ上であらかじめ指定してから、削除ボタンをクリックして行うことができるようにした。さらにまた、表示されているフィルムイメージの端に検出矢印を移動させてさらにフィルムイメージの表示されていない区間に移動したい場合は、自動的にフレーム画像がスクロールするようにした。
【００４７】本発明の画像検出方法はさらに、オブジェクト枠を修正する場合には、フィルムイメージ上で選択した部分だけ、オブジェクト枠の変更を行うようにした。また同時に、指定区間以外のオブジェクト枠については1フレームごと個別に修正ができるようにした。
【００４８】以上によって、本発明は上記の欠点を除去し、操作が簡単で、間違いが発生し難く、また間違いが発生しても見つけ易い画像検出方法を実現した。
【００４９】
【発明の実施の形態】以下に本発明の検出区間およびオブジェクト枠の修正方法について説明する。初めに検出矢印のドラッグによる検出区間の修正（検出区間の延長、縮小、結合）について図１を用いて述べる。図１は検出区間を修正する場合の処理の一実施例を示すフローチャートである。
【００５０】まず区間を縮小する場合を、図２の検出区間211を例にとって説明する。図２は本発明の検出結果の確認や修正を行う時のIDパネルの一実施例を示す図である。2000はIDパネル、200，201，202，203は検出矢印、204，205，206，207，208はオブジェクト枠、209はフィルムイメージ、211，212は検出区間、213，214，215，216，217，218，219，220，221，222はフィルムイメージ209の中に画面左から時間軸に沿って順番に並んでいるフレーム画像、223はスキップボタン、224は表示ボックス、231はADDボタン、232はCLRボタン、305′はフィルムイメージ209の一番左端に位置するフレーム画像213の拡大表示画像、306は拡大表示画像305′を表示する場所である拡大表示エリア、301はOKボタン、302はキャンセルボタン、313はオブジェクト枠調整ボタンである。フィルムイメージ209の上側に表示されている検出矢印200〜203は検出区間の始りと終りを示す矢印である。検出矢印200と検出矢印202は検出された先頭であり、ビギン点と呼ぶ。また、検出矢印201と検出矢印203は検出された終点であり、エンド点と呼ぶ。ビギン点の検出矢印200とエンド点の検出検出矢印201に挟まれた区間が検出区間212であり、ビギン点の検出矢印202とエンド点の検出検出矢印203に挟まれた区間が検出区間211である。検出区間211と検出区間212のそれぞれに属するフレーム画像に表示されているオブジェクト枠204〜208は人物“X”がフレーム画像のどの位置に存在しているかを示すポジションを示し、登場人物検出が行われた結果として表示される。図１の処理を開始すると、ステップ100では、修正したい検出区間211の検出矢印202（ビギン点）の位置にマウスポインタ810を移動してクリックする。次にステップ101では、マウスポインタ810をドラッグして検出矢印202を左右の目的の位置にドラッグする。次にステップ102では、ステップ101でドラッグしているマウスポインタ810がフィルムイメージ209の右端または左端に達したか否かをチェックし、マウスポインタ810がフィルムイメージ209の右端または左端に達したときはステップ103に進み、達しない時はステップ104に進む。
【００５１】そしてステップ103では、フィルムイメージ209をスクロール処理する。例えば、ドラッグ中のマウスポインタ810がフィルムイメージ209の右端に達した時は、フィルムイメージ209のさらに右側にあるフレーム画像を左にスライドしてフィルムイメージ209に表示する。また同様に、ドラッグ中のマウスポインタ810がフィルムイメージ209の左端に達した時は、フィルムイメージ209のさらに左側にあるフレーム画像を右にスライドしてフィルムイメージ209に表示し、ステップ104に進む。一度にスクロールする数は、予め設定されたフレーム数（例えば、1フレーム単位もしくはそれ以上の単位）で行うことができる。このスクロールするフレームの単位を変更する方法としては、例えばスキップボタン223に示す上下の矢印をアタッチしてその左横の表示ボックス224に表示しているスキップフレームの数を増減する（例えば、上方向矢印がフレーム数の増加、下方向矢印がフレーム数の減少）方法や、表示ボックス224に直接フレーム数をキーボードから入力する方法、または、コンフィグレーション・ファイルにフレーム数を記述し、アプリケーション起動時にメモリ上にその数値を書込む方法等がある。コンフィグレーション・ファイルとは、予めオペレータが、アプリケーションの様々な設定条件（例えば、ファイルの出力先のディレクトリ設定）を指定するファイルのことである。
【００５２】次にステップ104では、ドラッグしたマウスポインタ810が検出区間の対となっている検出矢印203（エンド点）がある場所まで達したか否かを判定し、達した時にはステップ106に進み、達していない時にはステップ105に進む。次にステップ105では、検出矢印202をマウスポインタ810の動きに合せて移動してステップ106に進む。次にステップ106では、マウスポインタ810のドラッグが終了したか否かを判定する。まだドラッグされていればステップ102に戻り繰返し移動処理がなされ、ドラッグされていなければステップ107に進む。そして、ステップ107では、検出矢印202が停止した位置によって次の■〜■（ステップ181〜185）に分岐する。
【００５３】■ステップ181：ビギン点（検出矢印202）が検出区間211のエンド点（検出矢印203）に重なる場合、検出区間211を削除する。すなわち、検出矢印202（ビギン点）、検出矢印203（エンド点）およびその区間内にあるオブジェクト枠206〜208のデータをデータ構造から削除する。これにより、検出矢印202，203とその区間内にあるオブジェクト枠206〜208との表示がなくなる。
■ステップ182：ビギン点（検出矢印202）が検出区間211内にある場合、検出区間211の区間を縮小する。例えば検出矢印202を2フレーム右へドラッグしたとすると、検出矢印202のデータは2フレーム分右にシフトされ、オブジェクト枠206、207のデータはデータ構造から削除される。これにより検出矢印202ビギン点はフレーム221の右側に表示され、オブジェクト枠206、207は表示されなくなる。
■ステップ183：ビギン点（検出矢印202）が検出区間211、212の間にある場合、検出区間211を延長する。例えば検出矢印202を1フレーム左へドラッグしたとすると、検出矢印202のデータは1フレーム分左にシフトされ、新たにオブジェクト枠のデータがデータ構造に追加される。この追加されたオブジェクト枠はオブジェクト枠206と同一のサイズ・位置とする。これにより検出矢印202はフレーム画像217の右側に表示され、オブジェクト枠206と同じサイズ・位置のオブジェクト枠がフレーム218内に表示される。
■ステップ184：ビギン点（検出矢印202）が検出区間212内（検出矢印200、201に重なる場合も含む）にある場合、２つの検出区間211と212を結合する。すなわち、検出矢印202と201（エンド点）のデータをデータ構造から削除し、検出区間211と212の間に入るオブジェクト枠のデータが3つ新たにデータ構造に追加される。この追加されたオブジェクト枠はオブジェクト枠206と205の位置を線形補間したものである。
■ステップ185：ビギン点（検出矢印202）が検出区間212より左にある場合、検出区間211とそれより左側の複数の検出区間（212を含む）を結合・延長する。検出矢印とオブジェクト枠については結合と延長の場合を組合わせた形になる。ここでオブジェクト枠の線形補間修正について図１４を用いて説明する。図１４は、図２の検出区間211と212とが結合した結果の一実施例を示したIDパネルである。図２と同一のものには同一の番号を付している。その他、2001はIDパネル、200′はビギン点の検出矢印、203′はエンド点の検出矢印、209′はフィルムイメージ、211′は検出区間、251〜253はオブジェクト枠である。図１４は、図２において検出区間211のビギン点（検出矢印202）が検出区間の修正によって左に移動し、検出区間212のエンド点（検出矢印201）と重なって、検出矢印201と202とが削除され、検出区間211と212が結合して検出区間211′となった状態である。新たに検出区間に加わったフレーム画像216〜218のオブジェクト枠は、その左側のフレーム画像215のオブジェクト枠205とその右側のフレーム画像219のオブジェクト枠206の各頂点を破線（但し、図１４の破線は説明のために表記したもので実際には表示されない）で結び等間隔で分割した位置から算出される。これら線形補間したオブジェクト枠251〜253が表示される。即ち、フレーム画像216〜218にはそれぞれ、オブジェクト枠205からオブジェクト枠206へと均等に変化するような位置と大きさのオブジェクト枠251〜253が割当てられる。オブジェクト枠の修正は、オブジェクト枠調整ボタン313をクリックしてIDパネルをオブジェクト枠修正モードに切換えて行うが詳細は後述する。オブジェクト枠の修正後、OKボタン301をクリックすると、修正結果を保持したままIDパネル2001が閉じ、またキャンセルボタン302をクリックすると、修正結果をキャンセルしてIDパネル2001が閉じる。なお、オブジェクト枠調整ボタン313をクリックしてID2001パネルをオブジェクト枠修正モードに切換えた後、再度オブジェクト枠調整ボタン313をクリックするとIDパネル2001は元の表示モードに戻る。
【００５４】次に検出区間の追加について図５と図７を用いて説明する。図７は検出区間を追加する場合の処理の一実施例を示すフローチャートである。また、図５は検出区間の追加の一例を説明するためIDパネルを示す図である。図２と同じ機能のものには同じ番号を付した。その他、2002はIDパネル、401〜410はフレーム画像、411，412，413はオブジェクト枠、417と418は検出区間、414は検出区間417のエンド点を表す検出矢印、415は検出区間418のビギン点を表す検出矢印、419~422はマウスポインタ810によって選択されたフレーム画像404〜407のフレーム枠（太枠）である。図５において、図７の処理を開始すると、まずステップ110では、オペレータが検出区間を追加したい初めのフレーム画像404にマウスポインタ810を移動して、マウスをクリックする。次にステップ111では、オペレータがフレーム画像404に検出区間を追加したいフレーム画像405〜407の方向にマウスポインタ810をドラッグする。ステップ112では、このときマウスポインタ810がフィルムイメージ416の端に達したか否かを判断し、達した時はステップ103に進み、達していない時はステップ114に進む。ステップ103では、フィルムイメージ415をスクロール処理するが、図１と同様なので説明を省略する。ステップ103の処理後はステップ114に進む。次にステップ114では、ステップ111においてマウスポインタ810が通過したフレーム画像には、オペレータが指定したことを示す装飾表示を行う。装飾の表示例としては、例えば、フレームを太い枠で囲む方法、フレームの画像に特定の色を付ける方法、枠を点滅させる等、あるいはそれらの組合せ等、種々の表示方法が考えられる。図５の場合には、マウスポインタ810がフレーム画像404〜407の範囲上を通過した時、図５の太枠419〜422のように、太い線で囲んだ表示となる。なお、装飾表示は検出区間の追加や削除等、そのフレーム画像の状態の変化によって表示を区別できるものにすることもできる。次のステップ115では、ドラッグが終ったか否かを判定する。ドラッグがまだ終っていなければステップ111に戻り処理を繰返し、ドラッグが終っていれば、ステップ116に進む。ステップ116では、ADDボタン231がクリックされたか、キャンセルボタン302がクリックされたかを判定する。ADDボタン231がクリックされていなければ、ステップ116で待機を続け、ADDボタン231がクリックされた時にはステップ117に進み、キャンセルボタン302がクリックされた時には、ステップ110からステップ115までの処理を解除して、図７の処理を終了する。
【００５５】次にステップ117では、ステップ116までの処理を終って、ADDボタン231によって最終的に検出区間の追加を指示されたフレーム画像404〜407に、既に検出区間があるか否かを判定する。検出区間がない時には、ステップ118に進み、検出区間があるときにはステップ119に進む。
【００５６】ステップ118では、新規の検出区間がフレーム404〜407に追加される。即ち、新規の検出矢印のデータ（フレーム画像404がビギン点、フレーム画像407がエンド点となる）と、その新規検出区間内のオブジェクト枠のデータがデータ構造に追加される。なおオブジェクト枠のサイズは、フレーム画像と同じ大きさにする。これにより、フレーム画像404がビギン点でフレーム画像407がエンド点となる新規の検出区間が作成された。これらのオブジェクト枠については別途修正をすることになる。
【００５７】ステップ119では、フレーム画像419〜422に検出区間がある場合について２通りに分岐する。即ち、追加指示した区間内に既にある一つの検出区間の一部分が含まれている場合にはステップ120に進み、追加を指示した区間に検出区間が複数含まれる場合にはステップ121に進む。ステップ120では、検出区間が延長された形となる。この時、検出矢印とオブジェクト枠の処理については、図１と図2で述べた検出矢印のドラッグによる延長の場合と同様である。またステップ121では、複数の検出区間が結合・延長される形となる。この時の検出矢印とオブジェクト枠についても、図１と図2で述べた検出矢印のドラッグによる結合・延長の場合と同様である。OKボタン301をクリックすると、修正結果を保持したままIDパネル2002が閉じ、またキャンセルボタン302をクリックすると、修正結果をキャンセルしてIDパネル2002が閉じる。
【００５８】次に検出区間の削除について、図８と図９を用いて説明する。図８は検出区間を削除する場合の処理の一実施例を示すフローチャートである。また、図９は本発明の検出区間の削除を行う時のIDパネルの一実施例を示す図である。図２と同じ機能のものには同じ番号を付した。その他、2003はIDパネル、430はフィルムイメージ、435〜444はフィルムイメージ430の中に画面左から時間軸に沿って順番に並んでいるフレーム画像、445，446，447は検出区間、431は検出区間445のエンド点を表す検出矢印、432は検出区間446のビギン点を表す検出矢印、433は検出区間446のエンド点を表す検出矢印、434は検出区間447のビギン点を表す検出矢印、448と449はそれぞれフレーム画像435と436のオブジェクト枠、450，451，452はそれぞれフレーム画像439，440，441のオブジェクト枠である。図９において、図８の処理を開始すると、ステップ110から115によって、オペレータは検出区間を削除したい検出区間446を含むようにフレームイメージ430のフレーム画像439〜441にマウスポインタ810を移動してドラッグする。以降、検出区間を削除したいフレーム画像を選択する処理については、図７で説明したことと同様の内容である。ステップ115では、ドラッグが終ったか否かを判定する。ドラッグがまだ終っていなければステップ111に戻り処理を繰返し、ドラッグが終っていれば、ステップ131に進む。ステップ131では、CLRボタン232がクリックされたか、キャンセルボタン302がクリックされたかを判定する。CLRボタン232がクリックされていなければ、ステップ131で待機を続け、CLRボタン232がクリックされた時にはステップ132に進み、キャンセルボタン302がクリックされた時には、ステップ110からステップ115までの処理を解除して、図８の処理を終了する。
【００５９】次にステップ132では、ステップ131までの処理を終って、CLRボタン232によって最終的に検出区間の削除を指示されたフレーム画像439〜441のすべてに検出区間が含まれているか否かを判定する。すべてに検出区間が含まれていない（または、一部しか含んでいない）時には、ステップ133に進み、すべてに検出区間が含まれているとき（この場合一つであるが複数でもよい）にはステップ135に進む。
【００６０】ステップ135では、検出区間446の表示を削除する。即ち、検出矢印432（ビギン点）、433（エンド点）およびその区間内にあるオブジェクト枠450，451，452のデータをデータ構造から削除する。これにより、検出矢印432，433およびその区間内にあるオブジェクト枠450，451，452が表示されなくなる。
【００６１】ステップ133では、フレーム画像439〜441に検出区間がある場合について２通りに分岐する。即ち、削除を指示した区間内に既にある一つの検出区間の一部分が含まれている場合にはステップ134に進み、削除を指示した区間に検出区間が全く含まれていない場合にはステップ131の処理に戻る。ステップ134では検出区間を縮小する。例えば選択されたフレーム内にフレーム439が含まれる場合、縮小された結果は検出矢印432を右へ1フレームドラッグした形と同じになる。すなわち、検出矢印432のデータは1フレーム分加算され、オブジェクト枠450のデータはデータ構造から削除される。これにより検出矢印432はフレーム画像440の右側に表示され、オブジェクト枠450は表示されなくなる。OKボタン301をクリックすると、修正結果を保持したままIDパネル2003が閉じ、またキャンセルボタン302をクリックすると、修正結果をキャンセルしてIDパネル2003が閉じる。
【００６２】最後にオブジェクト枠の修正について述べる。オブジェクト枠の修正は補間修正と個別修正とに分けられる。補間修正は複数のオブジェクト枠を一度に修正したい時に用い、個別修正は一つ一つのオブジェクト枠を修正するときに用いる。
【００６３】まず図１０、図１１、図１６を用いて、複数のオブジェクト枠を一度に補間修正する場合の実施例を説明する。図１０は複数のオブジェクト枠を一度に補間修正する場合の処理の一実施例を示すフローチャートである。また、図１１と図１６は複数のオブジェクト枠を一度に補間修正する場合のIDパネルの一実施例を説明するためを示す図である。図２と同一のものには同一の番号を付している。その他、2004，2004′はIDパネル、475，475′はフィルムイメージ、473はビギン点を表す検出矢印、474はエンド点を表す検出矢印、453〜462はフレーム画像、463〜470，464′〜467′はオブジェクト枠、471は検出区間、472は選択したフレーム区間である。図１１において、図１０の処理を開始すると、ステップ150では、オペレータはマウスポインタ810で、フレーム画像454〜459を選択する（フレーム区間472）。次にステップ151ではオブジェクト枠調整ボタン313がクリックされた場合に次のステップ152に進む。そして次にステップ152では、オブジェクト枠の表示を修正モードに変化させる。即ち、図１１に示すように選択されたオブジェクト枠463〜470には８つの四角い点が付加される。これがオブジェクト枠の修正モードでの表示である。次にステップ153では、ステップ150において選択されたオブジェクト枠が１つか複数かを判定することにより、オブジェクト枠の修正を一括して行うか否かを判定する。即ち、複数のオブジェクト枠が選択されていたときには一括して行うためにステップ154に進み、１つだけオブジェクト枠が選択されていたときには１つだけ修正するためにステップ155に進む。ステップ154では、例として、オブジェクト枠463，468の位置や大きさが修正をあまり必要としないのに対して、オブジェクト枠466の位置や大きさがフレーム画像457に登場する人物“X”の画素領域と一番かけ離れている場合を考える。この場合には、オブジェクト枠466を変形する。オブジェクト枠466をマウスポインタ810をドラッグして変形させる。オブジェクト枠466の変形を終えると（ドラッグをやめると）、選択したフレーム区間472の中のオブジェクト枠463〜468が、オブジェクト枠463とオブジェクト枠466及び、オブジェクト枠466とオブジェクト枠468とを基点として図１４で説明したものと同様に補間修正される。その結果修正されたオブジェクト枠の一実施例が図１６に表示されたオブジェクト枠464′，465′，466′，467′である。但し、図１６の破線は説明のために表記したもので実際には表示されないなおオブジェクト枠を１つだけ選択した場合には、ステップ156において、選択したオブジェクト枠だけが修正することができる。ステップ154またはステップ155が終了するとステップ156に進むが、ステップ156ではオブジェクト枠修正ボタン313が再びクリックされたか否かを判定し、クリックされていなければステップ153に戻り修正処理を継続し、クリックされていればステップ157に進む。ステップ157では、オブジェクト枠が元の表示モードに変化して修正モードが解除される。OKボタン301をクリックすると、修正結果を保持したままIDパネル2004′が閉じ、またキャンセルボタン302をアタッチすると、修正結果をキャンセルしてIDパネル2004′が閉じる。
【００６４】上述の実施例では、画像検出方法を説明する一例として、登場する人物を検出する例をあげた。しかし、特徴的な色の組合せを指定することにより、人物以外を対象とした画像を検出することができることは自明であり、また、上記で説明した以外の検出方法であっても、本発明の適用が可能であることは言うまでもない。
【００６５】
【発明の効果】以上のように本発明によれば、検出矢印のドラッグまたはフィルムイメージのアタッチによるフィルムイメージのスクロール処理が可能であるため、スクロールバーを操作せずに長いフィルムイメージの修正を一度に行うことができる。
【００６６】本発明の第二の効果としては、検出矢印が常に対になって表示されるため、検出区間の修正の作業が分かり易くなるという効果がある。
【００６７】第三の効果としては、オブジェクト枠の補間修正によって指定したオブジェクト枠のみが規則正しく修正することができる。
【図面の簡単な説明】
【図１】 本発明の検出区間を修正する処理の一実施例を示すフローチャート。
【図２】 本発明のIDパネルの一実施例を示す図。
【図３】 動画像編集装置の一構成例を示すブロック図。
【図４】 編集用ウィンドウの一表示例を示す図。
【図５】 本発明のIDパネルの一実施例を示す図。
【図６】 従来のIDXウインドウの表示例を示す図。
【図７】 本発明の検出区間を追加する処理の一実施例を示すフローチャート。
【図８】 本発明の検出区間を削除する処理の一実施例を示すフローチャート。
【図９】 本発明のIDパネルの一実施例を示す図。
【図１０】 本発明の補間修正する処理の一実施例を示すフローチャート。
【図１１】 本発明の補間修正する場合のIDパネルの一実施例を示す図。動画像編集装置の人物検出結果を示すパネルの表示例を示す図。
【図１２】 従来の人物検出結果の確認や修正を行うIDパネルの表示例を示す図。
【図１３】 従来の人物検出を説明するIDパネルを示す図。
【図１４】 本発明の一実施例を示したIDパネルを示す図。
【図１５】 人物検出後に表示される編集用ウインドウの一例を示す図。
【図１６】 本発明の補間修正する場合のIDパネルの一実施例を示す図。
【図１７】 M-アイコンの側面に人物検出の結果が表示されていることを示す図。
【符号の説明】
12，13，14：IDXアイコン、 80：IDパネル、 200，200′，201，202，203，203′：検出矢印、 204，205，206，207，208：オブジェクト枠、 209，209′：フィルムイメージ、 211，211′，212：検出区間、 213，214，215，216，217，218，219，220，221，222：フレーム画像、 223：スキップボタン、 224：表示ボックス、 231：ADDボタン、 232：CLRボタン、 233：拡大表示画像、 241：クローズボタン、 251〜253：オブジェクト枠、 300：IDパネル、301：OKボタン、 302：キャンセルボタン、 303：スライダーつまみ、 304：スライドカーソル、 305，305′：拡大表示画像、 306：拡大表示エリア、 307：オブジェクトボタン、 308：色指定枠、 309：サーチボタン、 311：静止画ビュースライダー、 313：オブジェクト枠調整ボタン、 321〜330：フレーム画像、 401〜410：フレーム画像、 411，412，413：オブジェクト枠、 414，415：検出矢印、 416：フィルムイメージ、 417，418：検出区間、 419~422：フレーム枠（太枠）、 430：フィルムイメージ、 431，432，433，434：検出矢印、 435〜444：フレーム画像、 445，446，447：検出区間、 448，449，450，451，452：オブジェクト枠、 453〜462：フレーム画像、 463〜470，464′〜467′：オブジェクト枠、 471：検出区間、 472：フレーム区間、 473，474：検出矢印、 475，475′：フィルムイメージ、 600：IDXパネル、 603：検出処理区間表示エリア、 604，605，606：検出処理区間、 611：ターゲット表示欄、 614：検出区間、 616：非検出区間、 631，632，633：ターゲットイメージ、 634，635，636：人名、 637，638，639：検出区間グラフ、640，641：スライダ、 650：検出結果表示欄、 800，801，802，802′，803：検出矢印、 804，805，806，807，808：オブジェクト枠、 809，809′：フィルムイメージ、 810：マウスポインタ、 811，812：検出区間、 813，814，823，824：フレーム画像、 815：ビギンボタン、 816：エンドボタン、 817，818，820，821，822：画素領域、 1000：編集用ウィンドウ、 1010：編集エリア、 1020：素材エリア、 1030，1031，1032，1033，‥‥‥，103K，103M，103N，‥‥‥： M-アイコン、 1040：ツリー構造、 1050：編集機能ボタン群、1051：登場人物検出ボタン、 1052：ツリー構造作成ボタン、 1053：IDX情報ボタン、 1070， 1080，1090：スライダ、 1210：カット画像を表すM-アイコン、 1220：シーン画像を表すM-アイコン、 1230：１つ以上のシーン画像で構成したM-アイコン、 1240：動画像（番組）を表すM-アイコン、 2000，2001，2002，2003，2004，2004′：IDパネル、 3010：CPU、 3020：メモリ、 3030：カット変化点検出部、 3040：画像再生装置、 3050：ビデオインターフェース、 3060：情報記憶装置、 3070：フレームバッファ、 3080：モニタ、3090：入力装置、 3100：バス、 3110：画像信号出力端子、
【０００１】
【発明の属する技術分野】本発明は、動画像編集装置に関わり、特に、ディスプレイ画面上における操作によって編集を行なう場合に使用する画像検出方法に関するものである。
【０００２】
【従来の技術】近年、コンピュータの高速化、高機能化に相俟って、ソフトウエアの多様化、高機能化が急速に進展している。これらコンピュータ、ソフトウエアを使用することで、動画像編集装置の高機能化が進められている。
【０００３】特に近年は、ビデオテープレコーダによって、テープカウンタを頼りに、早送り、巻き戻しを繰り返すような映像編集方法ではなく、ランダムアクセスが可能な情報記憶装置（例えば、取扱いや保存が容易で廉価なハードディスク）を有する動画像編集装置を使用して、映像情報の編集を行なっている。このような動画像編集装置に、さらに、高機能化、多様化しているコンピュータ、ソフトウエアを採用することで、ますます動画像編集装置の高機能化が進められている。ここで、映像情報とは音声を含む映像に関するすべての情報のことである。
【０００４】図３はテレビジョン放送番組やビデオ番組を制作する動画像編集装置の一構成例を示すブロック図である。3010はCPU（Central Processing Unit：中央演算処理装置）、3020はメモリ、3030はカット変化点検出部、3040は画像再生装置、3050はビデオインターフェース、3060は情報記憶装置、3070はフレームバッファ、3080はモニタ、3090は入力装置、3100はバス、3110は画像信号出力端子である。この動画像編集装置は、ソフトウエア（プログラム）の制御により動画像編集装置を構成する各装置の制御および編集を行なうCPU3010と、CPU3010の制御情報や、動画像、シーン画像、カット画像および編集状況を表す階層構造（ツリー構造）の情報など、編集に関する情報を表示するモニタ3080と、モニタ3080の画面上に表示されている情報を選択してCPU3010へのコマンドの入力を行なうマウスやキーボード等の入力装置3090と、モニタ3080に表示するための画像情報を記憶するフレームバッファメモリ3070と、編集に使用する動画像の画像信号を記録媒体から再生しビデオインタフェース3050へ出力する画像再生装置（例えば、VTR：ビデオテープレコーダ）3040と、画像再生装置3040から入力される動画像の画像信号を動画像編集装置で扱うフォーマットの画像情報に変換し情報記憶装置（例えば、ハードディスク等の磁気記憶装置）3060とカット変化点検出部3030とメモリ3020とへ出力し、かつ動画像編集装置で扱うフォーマットで編集され情報記憶装置3060から出力される動画像の画像情報を画像信号に変換し画像信号出力端子3110から出力するビデオインタフェース3050と、動画像を構成するフレーム画像の隣接するフレーム画像を比較してフレーム画像間の差の画像情報が所定量を越えて変化している場合には隣接するフレーム画像は異なるカット画像に属すると判定し分割するカット変化点検出部3030と、CPU3010の制御ソフトウエアを記憶するとともに、動画像編集装置で使用されるさまざまな制御情報（一連の動画像のフレーム番号、検出したカット変化点のフレーム番号、モニタ3080の画面に表示される画像サイズを縮小した表示用画像（M-アイコン：Moving Icon）、M-アイコンファイル名、カット画像に順次シリアルに付与されているカット画像番号、複数のカット画像の順序を表すシーケンス番号等）などを一時記憶するメモリ3020と、画像再生装置3040から再生されビデオインタフェース3050で所要フォーマットに変換された編集に使用する動画像の画像情報を記憶するとともに、メモリ3020で一時記憶した動画像編集装置で使用される編集情報や制御情報、例えばM-アイコンなどを記憶するランダムアクセス可能な、例えばハードディスクを使用した情報記憶装置3060と、動画像編集装置内の各装置間のディジタル情報伝送に使用されるバス3100と、動画像の画像情報を出力する画像信号出力端子3110を備えている。
【０００５】なお、バス3100には、動画像編集装置を構成する前記各装置のCPU3010、メモリ3020、カット変化点検出部3030、ビデオインタフェース3050、情報記憶装置3060、フレームバッファメモリ3070、モニタ3080、入力装置3090が接続されており、CPU3010はこれら装置と各種信号を送受し合い、これら装置はCPU3010からのアクセス信号により制御される。また、CPU3010への指示は、マウスあるいはキーボードなどの入力装置3090から入力される。
【０００６】上述のように構成され、所要のソフトウエアをメモリ3020に備えている動画像編集装置を使用することにより、編集する動画像の画像情報をメモリ3020さらに情報記憶装置3060に記憶し管理することができる。またさらに動画像編集装置は、モニタ3080の画面上に、メモリ3020および情報記憶装置3060に記憶している動画像のカット画像やシーン画像を縮小したM-アイコンとして表示し、カット画像やシーン画像を単位としたツリー構造を形成することにより動画像の編集作業を行なうことができる。
【０００７】ここでカット画像、シーン画像、M-アイコン等の説明をする。カット画像は、テレビジョンカメラによる１回の撮像開始から終了までの間に撮像されたフレーム画像の集合である。また、「シーン画像」は、所定の撮像対象を撮像した複数のカット画像を集合したものであり、情報記憶装置3060などに記憶される動画像を構成する画像データは、複数のシーン画像の集合である。複数のシーン画像は、さらに特定の撮像テーマのもとにまとめることにより、編集された特定の撮像テーマの動画像（番組）とすることができる。
【０００８】このように特定の撮像テーマのもとに編集される動画像は、画像素材である複数のカット画像の中から、特定の撮像テーマに合せて選択したいくつかのカット画像と、この選択したいくつかのカット画像をまとめたシーン画像と、このシーン画像を特定の撮像テーマのもとにまとめた撮像テーマ（あるいは題名）を有する動画像というように、階層構造（ツリー構造）の画像データとして整理することができる。また、このツリー構造には、一連の動画像のフレーム番号、検出したカット変化点の画像のフレーム番号、カット画像に順次シリアルに付与されているカット画像番号、シーン画像を構成する複数のカット画像の順序を表すシーケンス番号のデータが整理配置されており、上述の制御情報はこれらの階層構造情報を含んでいる。M-アイコンとは、１回の撮像開始から終了までのフレーム画像の集合（カット画像）と１対１に対応するGUI（Graphical User Interface：グラフィックスを使用したユーザインタフェース）部品である。このM-アイコンは、画像のサイズを所要の比率で縮小した表示用画像であり、複数のフレーム画像からなる動画像全体または一部、あるいはシーン画像を高速で表示して見る場合（高速表示用）や、あるいはカット画像の代表画像として表示される。
【０００９】モニタ3080の表示画面は、動画像編集に使用するカット画像、シーン画像および編集状態を表すツリー構造などの編集情報を表示するGUI画面である。編集者は、入力装置（例えば、マウス）3090を使用して、この編集情報を表示するモニタ3080の画面の編集情報を選択することで動画像編集装置に指示を与えることができる。
【００１０】このように前述の動画像編集装置は、編集する動画像をツリー構造として記憶し管理することで番組を作成することができ、カット画像やシーン画像を単位とした編集作業ができるようになっている。
【００１１】図４は、上述した動画像編集装置のモニタ3080の画面に表示される編集用ウィンドウの一例を示す図である。1000は編集用ウィンドウ、1010は編集エリア、1020は素材エリア、1030，1031，1032，1033，‥‥‥，103K，103M，103N，‥‥‥は素材エリア1020に表示されている画像素材のM-アイコン（ただし、K，M，Nは自然数で、K＝N-2、M=N-1）、1040は編集された動画像の編集内容を表すM-アイコンで構成するツリー構造、1050は編集作業に使用する各種制御機能を選択する編集機能ボタン群、1051は登場人物検出ボタン、1052はツリー構造作成ボタン、1053はIDX情報ボタン、1070は編集エリア1010の表示画面を横方向にスライドさせるスライダ、1080は編集エリア1010の表示画面を縦方向にスライドさせるスライダ、1090は素材エリア1020の表示画面を縦方向にスライドさせるスライダ、1210は編集エリア1010に登録されたカット画像を表すM-アイコン、1220は１つまたは複数のカット画像で構成したシーン画像を表すM-アイコン、1230は１つ以上のシーン画像で構成したM-アイコン、1240はテーマに合せ編集された動画像（番組）を表すM-アイコン、810はマウス等のポインティングデバイスによってGUI操作を行う時にGUI画面上に表示されるマウスポインタである。なお、M-アイコンの表面には、対応する縮小表示用画像が表示されているが、煩雑なので、本明細書では特に必要にない限り省略する。
【００１２】図４において、編集エリア1010の中のM-アイコンで構成されるツリー構造1040は、編集のために選択したカット画像を表すM-アイコン1210が１個または複数個集合して、その階層の上部にシーン画像を表すM-アイコン1220を構成し、さらに、このシーン画像を表すM-アイコン1220が１個または複数個集合して、その階層の上部に特定のシーン画像の集合を表すM-アイコン1230を構成し、最後に特定のシーン画像の集合を表すM-アイコン1230が複数個集合してテーマに合せ編集された番組を表すM-アイコン1240を構成している。
【００１３】ツリー構造1040の階層数は任意であり、さらに上部に階層が構成することができることはもちろんである。編集エリア1010の画面の大きさに限りがあるため、図４ではツリー構造1040の全体が表示されていない。この表示されていない部分を表示させるためには、入力装置3090（図３）によって、スライダ1070、あるいはスライダ1080を操作して、所要の横方向、あるいは縦方向に表示を移動させることによってツリー構造1040の全体を見る。
【００１４】また素材エリア1020には、図３のカット変化点検出部3030によって検出された異なるカット画像から作成されたM-アイコンが、編集に使用する画像素材M-アイコン1030，1031，1032，1033，‥‥‥，103K，103M，103N，‥‥‥として一時的に置かれ、一覧できるように表示されている。編集作業を進め、画像の呼出しを行ないM-アイコン1030，1031，1032，1033，‥‥‥，103K，103M，103N，‥‥‥が作成され表示された段階では、M-アイコン1030，1031，1032，1033，‥‥‥，103K，103M，103N，‥‥‥は、素材エリア1020に時系列順に左から右、上から下に向かって表示される。
【００１５】この素材エリア1020の中のM-アイコン1030，1031，1032，1033，‥‥‥，103K，103M，103N，‥‥‥についても、編集エリア1010と同様に、M-アイコンの数が多くて画面に一度に表示されていない場合は、入力装置3090によってスライダ1090を操作し、縦方向に表示を移動させることによってすべてのM-アイコンを見る。
【００１６】編集を行うためには、この素材エリア1020の中から編集に必要なM-アイコンを選択し、次に機能ボタン群1050中のツリー構造作成ボタン1052を押す。これによって、選択されたM-アイコン1030は編集エリア1010へ移動、あるいはコピーされる。このように、ツリー構造1040を構成して編集を進める。なお、図４では編集がある程度進んでおり、すでに編集エリア1010にツリー構造1040ができており、さらに、素材エリア1020のM-アイコン1030，1031，1032，1033，‥‥‥，103K，103M，103N，‥‥‥の中から所望のM-アイコンを選択して、図４から編集を継続する状態である。また、素材エリア1020と編集エリア1010の中に表示されるM-アイコンは、図面上では１枚のカードとして描かれているが、これは省略図であって、実際のモニタ3080の表示画面上では、M-アイコンのそれぞれは、M-アイコンがそれぞれ持つフレーム画像の枚数の重なった形状で表示される。
【００１７】以上のようにして動画像の編集を進めるが、実際に番組作成に必要な画像素材は、図３の情報記憶装置3060に記憶された画像情報（カット画像、あるいは１つの動画像のファイルとして読出された一連の動画像）のすべてであることは少ない。即ち、素材エリア1020に表示されている複数のM-アイコン1030，1031，1032，1033，‥‥‥，103K，103M，103N，‥‥‥のすべてが必要となることはなく、編集目的、あるいは撮像テーマにより選択した一部のM-アイコンに関連付けられた画像素材だけが番組に使用される。また、画像素材には通常複数のシーンが含まれているので、情報記憶装置3060から読出した画像素材あるいは画像情報に含まれる多くのM-アイコン1030，1031，1032，1033，‥‥‥，103K，103M，103N，‥‥‥の中から編集に必要なM-アイコンを探すことになる。
【００１８】上述の従来の動画像編集方法による動画像編集装置の動作や、M-アイコンを使用して、ツリー構造を作成しながら動画像の編集を行なう方法は、例えば特開平１０−５１７３３号公報に開示されている。また、カット画像の変化点を検出する手段としては、例えば、動画像の照度、音量、色調などを解析して、これらの変化の著しい部分をカット画像の変化点として検出する技術が、特開平２−１８４１８１号公報に開示されている。
【００１９】ところで、上述のように動画像編集を行うためには、素材エリア1020に表示されている複数のM-アイコン1030，1031，1032，1033，‥‥‥，103K，103M，103N，‥‥‥の中から、編集に必要なM-アイコンを探すことが必要である。この必要なM-アイコンを探すサポートをする機能が登場人物検出機能である。この登場人物検出機能は、画像素材または複数のカットやシーンの中から特定の人物を検出する機能を持っている。この特定の人物を仮に“X”とする。
【００２０】この登場人物検出機能は、素材または複数のカットまたはシーン、つまり被検出区間の中にいる人物“X”が持つ特徴を組合わせてオペレータが選択し、その色の組合わせに合致したフレームとその画素領域を、画像認識技術を用いて見つけ出すものである。
【００２１】オペレータは、選択した一連のM-アイコン（即ち、登場人物が存在すると思われる被検出区間）の中で、検出しようとする人物（例えば人物“X”）について、その特徴（例えば、髪の色，肌の色，服の色）の組合せを指定する。これによって、動画像編集装置は指定した色の組合せに合致した映像領域を画像処理により検出し、合致した映像領域とそのフレームの情報をGUI画面に表示する。
【００２２】この登場人物検出機能の操作手順を図４と図１３、図１２とを用いて説明する。
【００２３】図４は従来のノンリニア編集装置におけるモニタ3080（図３）に表示された編集用ウインドウの一例を示す図で、既に説明した。
【００２４】図４において、オペレータは人物（例えば、人物“X”）を検出するため、被検出対象となるカットまたはシーンに対応するM-アイコンを編集エリア1010または素材エリア1020の中から選択する。選択するにはマウスポインタ810をM-アイコンの上に移動させマウスをクリックする。このときM-アイコンに太い枠が表示され、M-アイコンが選択された状態になる。このようにマウスポインタ810でM-アイコンを選択状態にすることをアタッチという。
【００２５】例えば、素材エリア1020内にあるM-アイコン1031〜1033をアタッチし、続いて編集機能ボタン群1050の中の登場人物検出ボタン1051をクリックする。その結果、モニタ3080には図１３に示したウィンドウが表示される。このウィンドウ上で人物“X”の検出処理を行う。図１３は人物検出を行う時に検出したい人物の特徴を定めて人物検出を行うを説明するための図である。300はIDパネル、301はOKボタン、302はキャンセルボタン、303はスライダーつまみ、304はスライドカーソル、305は拡大表示画像、306は拡大表示エリア、307はオブジェクトボタン、308は色指定枠、309はサーチボタン、311は静止画ビュースライダー、321〜330はフレーム画像、809はフィルムイメージ、810はマウスポインタである。
【００２６】図１３において、フィルムイメージ809には、アタッチしたM-アイコン1031〜1033内に含まれるフレーム画像321〜330が表示される。フレーム画像321〜330は時間軸に沿って順番に並べられており、画面の左右の表示されていない部分は静止画ビュースライダー311のスライダつまみ303を左右にスクロール処理することによって、表示するフレーム画像をスライドさせて見ることができる。このスクロール処理は、例えばマウスポインタ810をスライダつまみ303に移動させ、マウスでドラッグする、または、スライドカーソル304の矢印部をアタッチすることによって操作可能である。またIDパネル300の左下部の拡大表示エリア306内には拡大フレーム画像305が表示される。この拡大フレーム画像305はフィルムイメージ809にあるフレーム画像321〜330のうち、一番左端にあるフレーム画像321を拡大表示したものである。人物“X”を検出処理するために、この拡大表示画像305を用いて人物“X”として検出する特徴を定める。この一番左端に表示されているフレーム画像321と拡大表示画像305とは連動しているため、オペレータはフィルムイメージ809中のフレーム画像をスクロールすることによって、人物“X”の検出処理に用いるための拡大表示画像305として拡大表示エリア306に表示させることができる。オペレータはフィルムイメージ809中のフレーム画像をスクロールして拡大表示画像305を見ながら、人物“X”の検出処理に関して最適と考えるフレーム画像を選択する。次にこの拡大表示画像305から人物“X”が持っている特徴的な色の組合せを指定する。フレーム画像321〜330のうち、フレーム画像321は簡単な画像の表示をしているが、他のフレーム画像322〜330については画像の表示を省略している。
【００２７】特徴的な色の組合せを指定する方法は、オブジェクトボタン307をクリックしてから、特徴的な色を指定するための範囲を定める色指定枠308を拡大表示画像305の中から指定して行う。色指定枠308の指定は、パーソナルコンピュータ等の描画において四角の枠を作成する方法と同様であり、もちろん、指定した後、色指定枠308の移動及び大きさの変更も可能である。色指定枠308に囲まれた部分の色が人物“X”（フレーム画像中で人物“X”が占めている画素領域）が持つ特徴的な色となる。図１３の例では人物“X”が着ている服の色を指定しているが、その他、例えば、髪の色、肌の色、服の色等を指定する。この色の組合せのデータが検出処理に用いられる。上述のような登場人物検出機能は、例えば、特開平６−２２３１７９号公報に開示されている。
【００２８】色の指定が終了した後、サーチボタン309をクリックするとM-アイコン1031〜1033に対して検出処理を行う。検出処理を行った後、IDパネル300上には人物“X”に対する検出結果が表示される。その表示は図１２１２（後述）に示すようになる。検出結果を保持する時はOKボタン301をクリックしてIDパネルを閉じ、検出結果を保持しない時はキャンセルボタン302をクリックしてIDパネルを閉じる。
【００２９】この登場人物検出機能によって２つの結果が得られる。一つは人物“X”が画像素材またはカットの中のどこからどこまでに存在するのかを示す検出区間の情報であり、もう一つは検出区間内のフレーム画像のどの位置（例えば、左側、中央部右側、上部、左下側等）に人物“X”が存在しているのかを示すポジション情報である。しかし、現状の登場人物検出の機能は、認識の精度の問題から、誤検出や見逃しが発生し易い。したがって、IDパネルを見てオペレータがマウスを使って手動で確認や修正を行う必要がある。
【００３０】図１５は図４において、M-アイコン1031，1032，1033を選択し、前述のとおり登場人物検出を行った結果の編集ウインドウの例である。ここで、図４と同じものには同じ符号が付せられており、その他に、12，13，14はIDXアイコンである。
【００３１】即ち、登場人物検出を行った後、図１３に示したIDパネル300のOKボタン301をクリックすると、検出結果を保持したままIDパネル300が閉じ、編集ウインドウ1000の素材エリア1020の下部にIDXアイコン12が表示される。また、別のM-アイコンを選択して登場人物検出を行う都度、さらにIDXアイコン13，14，‥‥‥と表示が増えていく。人物検出結果の確認や修正に関する従来のGUI操作の例を図１２によって説明する。図１２は、人物検出結果の確認や修正を行う場合のIDパネルの表示例である。80はIDパネル、800，801，802，802′，803は検出矢印、804，805，806，807，808はオブジェクト枠、809′はフィルムイメージ、811，812は検出区間、813，814，823，824はフィルムイメージ809′の中に画面左から時間軸に沿って順番に並んでいるフレーム画像、815はビギンボタン、816はエンドボタン、817，818，820，821，822は人物“X”がそれぞれのフレーム画像において占有している画素領域、301はOKボタン、302はキャンセルボタンである。図１２のIDパネル80において、フィルムイメージ809′の上側に表示されている検出矢印800〜803は検出区間の始りと終りを示す矢印である。検出矢印800と検出矢印802は検出された先頭であり、ビギン点と呼ぶ。また、検出矢印801と検出矢印803は検出された終点であり、エンド点と呼ぶ。ビギン点の検出矢印800とエンド点の検出検出矢印801に挟まれた区間が検出区間812であり、ビギン点の検出矢印802とエンド点の検出検出矢印803に挟まれた区間が検出区間811である。検出区間811と検出区間812のそれぞれに属するフレーム画像に表示されているオブジェクト枠804〜808は人物“X”がフレーム画像のどの位置に存在しているかを示すポジションを示し、登場人物検出が行われた結果として表示される。検出区間およびオブジェクト枠の修正は以下のように行う。最初に検出区間の修正について述べる。図１２において、検出矢印802のビギン点を1フレーム左のフレーム813に移動して、検出区間811の延長を行う場合について説明する。マウスポインタ810はマウス（図示しない）によって表示画面上を移動することができるGUI部品で、マウスの他、一般的なポインティングデバイスによっても操作できる。まず、マウスポインタ810をビギンボタン815に移動してマウスをクリックする。そして次に、フレーム813にマウスポインタ810を移動してマウスをクリックする。すると新規のビギン点を表す検出矢印802′が表示される。その後元のビギン点である検出矢印802をクリックすることにより、元のビギン点を表す検出矢印802が消える。この結果、検出区間811が左へ１フレーム延長される。同様に、エンド点の修正もエンドボタン816をクリックし、エンド点にしたいフレームをクリックした後もとエンド点の検出矢印をクリックしてエンド点の変更を行う。しかしこの方法では、操作が煩雑であり、直接的に検出区間を変更するわけではない。また、本来の検出区間が、ビギン点とエンド点によって定められるものが、検出区間とは独立してビギン点とエンド点を変更できるため、例えば、エンド点である検出矢印801をフレーム807に移動した場合のように、別の検出区間の範囲内にビギン点やエンド点が入込んで、誤った検出区間になる可能性があり、さらには、ビギン点である検出矢印800が検出矢印801より右側にきたり、エンド点である検出矢印803が検出矢印802より左側にくるような、ビギン点とエンド点の逆転も考えられる。即ち、このように検出区間とビギン点やエンド点が関連していないため、誤った検出区間がつくられても、正誤の判断が難しかった。
【００３２】次にオブジェクト枠の修正について述べる。この修正もマウスポインタ810を使用して行う。図１２１２において、フレーム画像814のオブジェクト枠806を修正する場合を例にとる。図１２において、フレーム画像824のオブジェクト枠805が人物“X”を示す画素領域818の大きさと位置がほぼ一致しているのに比べ、フレーム画像814のオブジェクト枠806は人物“X”の画素領域820よりもやや大きめで中央よりの位置に表示されている。この場合、オペレータがこのフレーム画像814を見た時、オブジェクト枠806の位置にまどわされ、人物“X”の画素領域がフレームの中央部にいると誤認してしまうので、オブジェクト枠806を人物“X”の画素領域820に合せるためオブジェクト枠806の大きさや位置を修正する必要がある。オブジェクト枠804，805，806，807，808の大きさや位置の修正は、現在のオブジェクト枠を削除して新規に設定する方法の他、例えば、Microsoft社のOS（OperatingSystem）の１つであるWindows95における画面操作やオブジェクト操作等、周知の方法で実行できる。
【００３３】なお、オブジェクト枠806を人物“X”の画素領域820に合せて修正する操作を行った場合には、オブジェクト枠806以降にあるすべてのオブジェクト枠についての人物“X”の画素領域（例えば、オブジェクト枠807，808における人物“X”の画素領域821及び822）もまたオブジェクト枠806と同じ大きさと位置とに修正される。
【００３４】人物検出を行った後、IDパネル300のOKボタン301をクリックすると、検出結果を保持したままIDパネル300が閉じ、またキャンセルボタン302をアタッチすると、検出結果をキャンセルしてIDパネル300が閉じる。
【００３５】人物検出または人物検出の修正を終えた後、IDパネル300またはIDパネル80のOKボタン301をアタッチすると、IDパネル300またはIDパネル80が閉じ、IDXアイコン12が素材エリア1020の下側部分に作成される。そして、このIDXアイコン12のデータ構造の中に人物“X”に対する検出処理の結果に関する情報が格納されている。また、このようなIDXアイコンは、人物検出するために編集ウインドウ1000内で同時にアタッチしたM-アイコンのすべてに対して一つ作成される。即ち、毎回違うM-アイコンをアタッチして人物検出処理をすると、新しいIDXアイコン13，14，‥‥‥が次々と作成される。
【００３６】IDXアイコン12をマウスでダブルクリックするか、または選択してIDX情報ボタン1053をアタッチすると、図６に示すような、IDX情報を示すIDXウインドウがポップアップ表示される。図６はIDXウインドウの表示例を示す図で，人物“A”、“B”、“C”それぞれについての検出結果が表示されている。これは上述した同一のM-アイコン群1031〜1033について、別々の人物について検出処理をした結果である。600はIDXパネル、603は検出処理区間表示エリア、604，605，606は検出処理区間、611はターゲット表示欄、614は検出区間、616は非検出区間、631，632，633はターゲットイメージ、634，635，636は人名、637，638，639は検出区間グラフ、650は検出結果表示欄、640は検出結果表示欄650の表示を横方向にスライドさせるスライダ、641は検出結果表示欄650の表示を縦方向にスライドさせるスライダ、810はマウスポインタ、241はクローズボタンである。
【００３７】図６において、IDXパネル600上の検出処理区間表示エリア603は横方向を時系列沿って表示されている。またさらに、検出処理区間表示エリア603は今検出処理区間604〜606に分かれている。この検出処理区間604〜606はオペレータがアタッチしたM-アイコン1031〜1033のカットの長さ（＝フレーム数）に応じて区切られている。即ち、M-アイコン1031のフレーム数と検出処理区間604のフレーム数は対応しており、M-アイコン1032と検出処理区間605のフレーム数、M-アイコン1033と検出処理区間606のフレーム数もまた対応している。また、ターゲット表示欄611には、検出した人物のターゲットイメージ631，632，633とその人名634，635，636とが縦方向に表示される。例えば、人物“A”を検出した場合にはターゲットイメージ631と人名634とがターゲット表示欄611に表示され、かつその右横の検出結果表示欄650に検出区間グラフ637が表示される。さらに人物“B”を検出した場合には、人物“A”の下側のターゲット表示欄611にターゲットイメージ632と人名635が表示され、かつその右横の検出結果表示欄650に検出区間グラフ638が表示される。同様に、人物“C”を検出したときにはターゲットイメージ633と人名636がターゲット表示欄611の下側に表示され、かつその右横の検出結果表示欄650に検出区間グラフ639が表示される。これらのターゲットイメージ631，632，633は、人物“A”，“B”，“C”をそれぞれ検出するために特徴的な色を取得するために使用した拡大表示画像のフレーム画像（例えば、図１３のフレーム画像304）である。ターゲットイメージ631〜633の下の人名634〜636にはそれぞれの検出対象名が表示される。検出区間グラフ637，638，639の表示欄は有限であるので、検出領域が広く一度に全ての検出領域が表示できない場合がある。その場合は、スライダ640を操作して、表示を横方向にスクロールさせる。また、検出した人物の数が多い場合にも一度に検出した人物の全てを表示できない（図６の例では一度に表示できる数は３人）。この場合には、スライダ641を操作して表示を縦方向にスクロールさせる。以上述べたように、検出区間グラフ637〜639の領域には、カット即ちM-アイコン1031〜1033に対して実行された人物“A”，“B”，“C”の検出結果が示されている。
【００３８】次に、検出結果を、検出区間グラフ637を例にして説明する。検出区間614は、M-アイコン1031〜1033について、検出処理区間604，605，606の間で人物“A”が検出された区間を示しており、非検出区間616は検出されなかった区間を示している。例えば、検出処理区間604はM-アイコン1031に関連付けられたフレーム画像の集合について時間的に並べたものであり、検出処理区間605はM-アイコン1032に関連付けられたフレーム画像の集合について時間的に並べたものであり、検出処理区間606はM-アイコン1033に関連付けられたフレーム画像の集合について時間的に並べたものである。また、１つのフレーム画像についてそれぞれ所定の幅を持たせて表示しており、図６では検出区間614と非検出区間616とを互いに異なる斜線パターンで区別して表示している。また、検出・非検出の表示は区別がつけばどんな表示でもよく、例えば検出区間614はオレンジ色で表示し、検出されなかった非検出区間616は灰色で表示することでも、片方を点滅させてもよい。
【００３９】この検出区間614及び非検出区間616は、図１５１５のM-アイコン1031〜1033の側面にも表示される（図示しない）。図１７(a)，(b)，(c)は、図１５のM-アイコン1031〜1033の側面に、人物検出の結果が表示されていることを示す図である。図６と同様に、検出処理区間604はM-アイコン1031の領域、検出処理区間605はM-アイコン1032の領域、検出処理区間606はM-アイコン1033の領域をそれぞれ示す。M-アイコンの側面の幅はそのM-アイコン自身のフレーム数（１つのフレーム画像についてそれぞれ一定の厚みを持たせて表示）を示しているので、検出区間614としてそのフレームの数に相当する分だけM-アイコン1031〜1033の側面を斜線で表示する。また、非検出区間616としてそのフレームの数に相当する分だけM-アイコン1031〜1033の側面に白色で表示する。この表示は、検出結果として常に表示する設定でもよいが、通常はターゲットイメージ630をオペレータがアタッチした場合に行うとしてもよく、また、どちらか一方を表示してもよい。なお、図１７(a)，(b)，(c)に示したM-アイコン1031〜1033は、それぞれに関連付けられた画像を縮小した表示用画像が実際には表示されているが、図１７では省略している。
【００４０】また検出区間614のうち、例えば検出処理区間605にある検出区間614をアタッチすると、検出区間グラフ637のその検出処理区間605に属する領域の表示の模様や色が、例えば紫色に変化し、そこから検出処理区間605を意味するM-アイコン1032（図１５）に向けて、紫色のスポットライトが照射されるような表示がなされる。この機能によって、どの検出区間がどのM-アイコンに属しているのか見つけ易くなる。なお、図６のIDXウインドウ600を閉じる場合は、クローズボタン241をクリックする。
【００４１】
【発明が解決しようとする課題】前述の従来技術には、登場人物等の特定の画像を検出後に、その特定の画像の検出区間の修正をするためには、新たにビギン点を作る操作と元のビギン点を消す操作、または、新たにエンド点を作る操作と元のエンド点を消す操作とが必要で、操作が煩雑で間違いやすい欠点があった。
【００４２】さらに、検出区間の修正の際に検出矢印の片方が消えるため、別の検出区間と交差したり、また検出矢印の消し忘れ・付け忘れなどの操作ミスも誘発しやすく、また間違いが発見し難い欠点があった。
【００４３】さらにまた、検出区間が長く、フィルムイメージに一度に表示できない場合には、スライダーカーソルを走査して目的のフレームまでスクロールすることが必要であった。この場合には、スクロール前に表示されていたフレームが見えなくなるために、検出矢印の片方が見えず、間違いが起き易い欠点があった。
【００４４】またオブジェクト枠を修正する場合に、オペレータが１フレーム内にあるオブジェクト枠を修正すると、それ以降のフレーム内にある同一のオブジェクト枠も同じ位置・大きさに修正されるため、オペレータが意図していないオブジェクト枠も自動的に修正されてしまい、１つのオブジェクト枠を修正した場合には、それ以降のフレーム内のオブジェクト枠にも注意が必要な欠点があった。
【００４５】本発明の目的は上記のような欠点を除去し、操作が簡単で、間違いが発生し難く、また間違いが発生しても間違いを見つけ易い修正方法を提供することにある。
【００４６】
【課題を解決するための手段】上記の問題を解決するため、本発明の画像検出方法は、検出矢印と検出区間とを連動させ、検出矢印を移動することによって検出矢印の位置および検出区間を変更できるようにした。また検出区間を新たに追加する場合は、追加したい区間をフィルムイメージ上であらかじめ指定してから、追加ボタンをクリックして行うことができるようにした。また同様に、検出区間を削除する場合も、削除したい検出区間をフィルムイメージ上であらかじめ指定してから、削除ボタンをクリックして行うことができるようにした。さらにまた、表示されているフィルムイメージの端に検出矢印を移動させてさらにフィルムイメージの表示されていない区間に移動したい場合は、自動的にフレーム画像がスクロールするようにした。
【００４７】本発明の画像検出方法はさらに、オブジェクト枠を修正する場合には、フィルムイメージ上で選択した部分だけ、オブジェクト枠の変更を行うようにした。また同時に、指定区間以外のオブジェクト枠については1フレームごと個別に修正ができるようにした。
【００４８】以上によって、本発明は上記の欠点を除去し、操作が簡単で、間違いが発生し難く、また間違いが発生しても見つけ易い画像検出方法を実現した。
【００４９】
【発明の実施の形態】以下に本発明の検出区間およびオブジェクト枠の修正方法について説明する。初めに検出矢印のドラッグによる検出区間の修正（検出区間の延長、縮小、結合）について図１を用いて述べる。図１は検出区間を修正する場合の処理の一実施例を示すフローチャートである。
【００５０】まず区間を縮小する場合を、図２の検出区間211を例にとって説明する。図２は本発明の検出結果の確認や修正を行う時のIDパネルの一実施例を示す図である。2000はIDパネル、200，201，202，203は検出矢印、204，205，206，207，208はオブジェクト枠、209はフィルムイメージ、211，212は検出区間、213，214，215，216，217，218，219，220，221，222はフィルムイメージ209の中に画面左から時間軸に沿って順番に並んでいるフレーム画像、223はスキップボタン、224は表示ボックス、231はADDボタン、232はCLRボタン、305′はフィルムイメージ209の一番左端に位置するフレーム画像213の拡大表示画像、306は拡大表示画像305′を表示する場所である拡大表示エリア、301はOKボタン、302はキャンセルボタン、313はオブジェクト枠調整ボタンである。フィルムイメージ209の上側に表示されている検出矢印200〜203は検出区間の始りと終りを示す矢印である。検出矢印200と検出矢印202は検出された先頭であり、ビギン点と呼ぶ。また、検出矢印201と検出矢印203は検出された終点であり、エンド点と呼ぶ。ビギン点の検出矢印200とエンド点の検出検出矢印201に挟まれた区間が検出区間212であり、ビギン点の検出矢印202とエンド点の検出検出矢印203に挟まれた区間が検出区間211である。検出区間211と検出区間212のそれぞれに属するフレーム画像に表示されているオブジェクト枠204〜208は人物“X”がフレーム画像のどの位置に存在しているかを示すポジションを示し、登場人物検出が行われた結果として表示される。図１の処理を開始すると、ステップ100では、修正したい検出区間211の検出矢印202（ビギン点）の位置にマウスポインタ810を移動してクリックする。次にステップ101では、マウスポインタ810をドラッグして検出矢印202を左右の目的の位置にドラッグする。次にステップ102では、ステップ101でドラッグしているマウスポインタ810がフィルムイメージ209の右端または左端に達したか否かをチェックし、マウスポインタ810がフィルムイメージ209の右端または左端に達したときはステップ103に進み、達しない時はステップ104に進む。
【００５１】そしてステップ103では、フィルムイメージ209をスクロール処理する。例えば、ドラッグ中のマウスポインタ810がフィルムイメージ209の右端に達した時は、フィルムイメージ209のさらに右側にあるフレーム画像を左にスライドしてフィルムイメージ209に表示する。また同様に、ドラッグ中のマウスポインタ810がフィルムイメージ209の左端に達した時は、フィルムイメージ209のさらに左側にあるフレーム画像を右にスライドしてフィルムイメージ209に表示し、ステップ104に進む。一度にスクロールする数は、予め設定されたフレーム数（例えば、1フレーム単位もしくはそれ以上の単位）で行うことができる。このスクロールするフレームの単位を変更する方法としては、例えばスキップボタン223に示す上下の矢印をアタッチしてその左横の表示ボックス224に表示しているスキップフレームの数を増減する（例えば、上方向矢印がフレーム数の増加、下方向矢印がフレーム数の減少）方法や、表示ボックス224に直接フレーム数をキーボードから入力する方法、または、コンフィグレーション・ファイルにフレーム数を記述し、アプリケーション起動時にメモリ上にその数値を書込む方法等がある。コンフィグレーション・ファイルとは、予めオペレータが、アプリケーションの様々な設定条件（例えば、ファイルの出力先のディレクトリ設定）を指定するファイルのことである。
【００５２】次にステップ104では、ドラッグしたマウスポインタ810が検出区間の対となっている検出矢印203（エンド点）がある場所まで達したか否かを判定し、達した時にはステップ106に進み、達していない時にはステップ105に進む。次にステップ105では、検出矢印202をマウスポインタ810の動きに合せて移動してステップ106に進む。次にステップ106では、マウスポインタ810のドラッグが終了したか否かを判定する。まだドラッグされていればステップ102に戻り繰返し移動処理がなされ、ドラッグされていなければステップ107に進む。そして、ステップ107では、検出矢印202が停止した位置によって次の
【００５３】
【００５４】次に検出区間の追加について図５と図７を用いて説明する。図７は検出区間を追加する場合の処理の一実施例を示すフローチャートである。また、図５は検出区間の追加の一例を説明するためIDパネルを示す図である。図２と同じ機能のものには同じ番号を付した。その他、2002はIDパネル、401〜410はフレーム画像、411，412，413はオブジェクト枠、417と418は検出区間、414は検出区間417のエンド点を表す検出矢印、415は検出区間418のビギン点を表す検出矢印、419~422はマウスポインタ810によって選択されたフレーム画像404〜407のフレーム枠（太枠）である。図５において、図７の処理を開始すると、まずステップ110では、オペレータが検出区間を追加したい初めのフレーム画像404にマウスポインタ810を移動して、マウスをクリックする。次にステップ111では、オペレータがフレーム画像404に検出区間を追加したいフレーム画像405〜407の方向にマウスポインタ810をドラッグする。ステップ112では、このときマウスポインタ810がフィルムイメージ416の端に達したか否かを判断し、達した時はステップ103に進み、達していない時はステップ114に進む。ステップ103では、フィルムイメージ415をスクロール処理するが、図１と同様なので説明を省略する。ステップ103の処理後はステップ114に進む。次にステップ114では、ステップ111においてマウスポインタ810が通過したフレーム画像には、オペレータが指定したことを示す装飾表示を行う。装飾の表示例としては、例えば、フレームを太い枠で囲む方法、フレームの画像に特定の色を付ける方法、枠を点滅させる等、あるいはそれらの組合せ等、種々の表示方法が考えられる。図５の場合には、マウスポインタ810がフレーム画像404〜407の範囲上を通過した時、図５の太枠419〜422のように、太い線で囲んだ表示となる。なお、装飾表示は検出区間の追加や削除等、そのフレーム画像の状態の変化によって表示を区別できるものにすることもできる。次のステップ115では、ドラッグが終ったか否かを判定する。ドラッグがまだ終っていなければステップ111に戻り処理を繰返し、ドラッグが終っていれば、ステップ116に進む。ステップ116では、ADDボタン231がクリックされたか、キャンセルボタン302がクリックされたかを判定する。ADDボタン231がクリックされていなければ、ステップ116で待機を続け、ADDボタン231がクリックされた時にはステップ117に進み、キャンセルボタン302がクリックされた時には、ステップ110からステップ115までの処理を解除して、図７の処理を終了する。
【００５５】次にステップ117では、ステップ116までの処理を終って、ADDボタン231によって最終的に検出区間の追加を指示されたフレーム画像404〜407に、既に検出区間があるか否かを判定する。検出区間がない時には、ステップ118に進み、検出区間があるときにはステップ119に進む。
【００５６】ステップ118では、新規の検出区間がフレーム404〜407に追加される。即ち、新規の検出矢印のデータ（フレーム画像404がビギン点、フレーム画像407がエンド点となる）と、その新規検出区間内のオブジェクト枠のデータがデータ構造に追加される。なおオブジェクト枠のサイズは、フレーム画像と同じ大きさにする。これにより、フレーム画像404がビギン点でフレーム画像407がエンド点となる新規の検出区間が作成された。これらのオブジェクト枠については別途修正をすることになる。
【００５７】ステップ119では、フレーム画像419〜422に検出区間がある場合について２通りに分岐する。即ち、追加指示した区間内に既にある一つの検出区間の一部分が含まれている場合にはステップ120に進み、追加を指示した区間に検出区間が複数含まれる場合にはステップ121に進む。ステップ120では、検出区間が延長された形となる。この時、検出矢印とオブジェクト枠の処理については、図１と図2で述べた検出矢印のドラッグによる延長の場合と同様である。またステップ121では、複数の検出区間が結合・延長される形となる。この時の検出矢印とオブジェクト枠についても、図１と図2で述べた検出矢印のドラッグによる結合・延長の場合と同様である。OKボタン301をクリックすると、修正結果を保持したままIDパネル2002が閉じ、またキャンセルボタン302をクリックすると、修正結果をキャンセルしてIDパネル2002が閉じる。
【００５８】次に検出区間の削除について、図８と図９を用いて説明する。図８は検出区間を削除する場合の処理の一実施例を示すフローチャートである。また、図９は本発明の検出区間の削除を行う時のIDパネルの一実施例を示す図である。図２と同じ機能のものには同じ番号を付した。その他、2003はIDパネル、430はフィルムイメージ、435〜444はフィルムイメージ430の中に画面左から時間軸に沿って順番に並んでいるフレーム画像、445，446，447は検出区間、431は検出区間445のエンド点を表す検出矢印、432は検出区間446のビギン点を表す検出矢印、433は検出区間446のエンド点を表す検出矢印、434は検出区間447のビギン点を表す検出矢印、448と449はそれぞれフレーム画像435と436のオブジェクト枠、450，451，452はそれぞれフレーム画像439，440，441のオブジェクト枠である。図９において、図８の処理を開始すると、ステップ110から115によって、オペレータは検出区間を削除したい検出区間446を含むようにフレームイメージ430のフレーム画像439〜441にマウスポインタ810を移動してドラッグする。以降、検出区間を削除したいフレーム画像を選択する処理については、図７で説明したことと同様の内容である。ステップ115では、ドラッグが終ったか否かを判定する。ドラッグがまだ終っていなければステップ111に戻り処理を繰返し、ドラッグが終っていれば、ステップ131に進む。ステップ131では、CLRボタン232がクリックされたか、キャンセルボタン302がクリックされたかを判定する。CLRボタン232がクリックされていなければ、ステップ131で待機を続け、CLRボタン232がクリックされた時にはステップ132に進み、キャンセルボタン302がクリックされた時には、ステップ110からステップ115までの処理を解除して、図８の処理を終了する。
【００５９】次にステップ132では、ステップ131までの処理を終って、CLRボタン232によって最終的に検出区間の削除を指示されたフレーム画像439〜441のすべてに検出区間が含まれているか否かを判定する。すべてに検出区間が含まれていない（または、一部しか含んでいない）時には、ステップ133に進み、すべてに検出区間が含まれているとき（この場合一つであるが複数でもよい）にはステップ135に進む。
【００６０】ステップ135では、検出区間446の表示を削除する。即ち、検出矢印432（ビギン点）、433（エンド点）およびその区間内にあるオブジェクト枠450，451，452のデータをデータ構造から削除する。これにより、検出矢印432，433およびその区間内にあるオブジェクト枠450，451，452が表示されなくなる。
【００６１】ステップ133では、フレーム画像439〜441に検出区間がある場合について２通りに分岐する。即ち、削除を指示した区間内に既にある一つの検出区間の一部分が含まれている場合にはステップ134に進み、削除を指示した区間に検出区間が全く含まれていない場合にはステップ131の処理に戻る。ステップ134では検出区間を縮小する。例えば選択されたフレーム内にフレーム439が含まれる場合、縮小された結果は検出矢印432を右へ1フレームドラッグした形と同じになる。すなわち、検出矢印432のデータは1フレーム分加算され、オブジェクト枠450のデータはデータ構造から削除される。これにより検出矢印432はフレーム画像440の右側に表示され、オブジェクト枠450は表示されなくなる。OKボタン301をクリックすると、修正結果を保持したままIDパネル2003が閉じ、またキャンセルボタン302をクリックすると、修正結果をキャンセルしてIDパネル2003が閉じる。
【００６２】最後にオブジェクト枠の修正について述べる。オブジェクト枠の修正は補間修正と個別修正とに分けられる。補間修正は複数のオブジェクト枠を一度に修正したい時に用い、個別修正は一つ一つのオブジェクト枠を修正するときに用いる。
【００６３】まず図１０、図１１、図１６を用いて、複数のオブジェクト枠を一度に補間修正する場合の実施例を説明する。図１０は複数のオブジェクト枠を一度に補間修正する場合の処理の一実施例を示すフローチャートである。また、図１１と図１６は複数のオブジェクト枠を一度に補間修正する場合のIDパネルの一実施例を説明するためを示す図である。図２と同一のものには同一の番号を付している。その他、2004，2004′はIDパネル、475，475′はフィルムイメージ、473はビギン点を表す検出矢印、474はエンド点を表す検出矢印、453〜462はフレーム画像、463〜470，464′〜467′はオブジェクト枠、471は検出区間、472は選択したフレーム区間である。図１１において、図１０の処理を開始すると、ステップ150では、オペレータはマウスポインタ810で、フレーム画像454〜459を選択する（フレーム区間472）。次にステップ151ではオブジェクト枠調整ボタン313がクリックされた場合に次のステップ152に進む。そして次にステップ152では、オブジェクト枠の表示を修正モードに変化させる。即ち、図１１に示すように選択されたオブジェクト枠463〜470には８つの四角い点が付加される。これがオブジェクト枠の修正モードでの表示である。次にステップ153では、ステップ150において選択されたオブジェクト枠が１つか複数かを判定することにより、オブジェクト枠の修正を一括して行うか否かを判定する。即ち、複数のオブジェクト枠が選択されていたときには一括して行うためにステップ154に進み、１つだけオブジェクト枠が選択されていたときには１つだけ修正するためにステップ155に進む。ステップ154では、例として、オブジェクト枠463，468の位置や大きさが修正をあまり必要としないのに対して、オブジェクト枠466の位置や大きさがフレーム画像457に登場する人物“X”の画素領域と一番かけ離れている場合を考える。この場合には、オブジェクト枠466を変形する。オブジェクト枠466をマウスポインタ810をドラッグして変形させる。オブジェクト枠466の変形を終えると（ドラッグをやめると）、選択したフレーム区間472の中のオブジェクト枠463〜468が、オブジェクト枠463とオブジェクト枠466及び、オブジェクト枠466とオブジェクト枠468とを基点として図１４で説明したものと同様に補間修正される。その結果修正されたオブジェクト枠の一実施例が図１６に表示されたオブジェクト枠464′，465′，466′，467′である。但し、図１６の破線は説明のために表記したもので実際には表示されないなおオブジェクト枠を１つだけ選択した場合には、ステップ156において、選択したオブジェクト枠だけが修正することができる。ステップ154またはステップ155が終了するとステップ156に進むが、ステップ156ではオブジェクト枠修正ボタン313が再びクリックされたか否かを判定し、クリックされていなければステップ153に戻り修正処理を継続し、クリックされていればステップ157に進む。ステップ157では、オブジェクト枠が元の表示モードに変化して修正モードが解除される。OKボタン301をクリックすると、修正結果を保持したままIDパネル2004′が閉じ、またキャンセルボタン302をアタッチすると、修正結果をキャンセルしてIDパネル2004′が閉じる。
【００６４】上述の実施例では、画像検出方法を説明する一例として、登場する人物を検出する例をあげた。しかし、特徴的な色の組合せを指定することにより、人物以外を対象とした画像を検出することができることは自明であり、また、上記で説明した以外の検出方法であっても、本発明の適用が可能であることは言うまでもない。
【００６５】
【発明の効果】以上のように本発明によれば、検出矢印のドラッグまたはフィルムイメージのアタッチによるフィルムイメージのスクロール処理が可能であるため、スクロールバーを操作せずに長いフィルムイメージの修正を一度に行うことができる。
【００６６】本発明の第二の効果としては、検出矢印が常に対になって表示されるため、検出区間の修正の作業が分かり易くなるという効果がある。
【００６７】第三の効果としては、オブジェクト枠の補間修正によって指定したオブジェクト枠のみが規則正しく修正することができる。
【図面の簡単な説明】
【図１】 本発明の検出区間を修正する処理の一実施例を示すフローチャート。
【図２】 本発明のIDパネルの一実施例を示す図。
【図３】 動画像編集装置の一構成例を示すブロック図。
【図４】 編集用ウィンドウの一表示例を示す図。
【図５】 本発明のIDパネルの一実施例を示す図。
【図６】 従来のIDXウインドウの表示例を示す図。
【図７】 本発明の検出区間を追加する処理の一実施例を示すフローチャート。
【図８】 本発明の検出区間を削除する処理の一実施例を示すフローチャート。
【図９】 本発明のIDパネルの一実施例を示す図。
【図１０】 本発明の補間修正する処理の一実施例を示すフローチャート。
【図１１】 本発明の補間修正する場合のIDパネルの一実施例を示す図。動画像編集装置の人物検出結果を示すパネルの表示例を示す図。
【図１２】 従来の人物検出結果の確認や修正を行うIDパネルの表示例を示す図。
【図１３】 従来の人物検出を説明するIDパネルを示す図。
【図１４】 本発明の一実施例を示したIDパネルを示す図。
【図１５】 人物検出後に表示される編集用ウインドウの一例を示す図。
【図１６】 本発明の補間修正する場合のIDパネルの一実施例を示す図。
【図１７】 M-アイコンの側面に人物検出の結果が表示されていることを示す図。
【符号の説明】
12，13，14：IDXアイコン、 80：IDパネル、 200，200′，201，202，203，203′：検出矢印、 204，205，206，207，208：オブジェクト枠、 209，209′：フィルムイメージ、 211，211′，212：検出区間、 213，214，215，216，217，218，219，220，221，222：フレーム画像、 223：スキップボタン、 224：表示ボックス、 231：ADDボタン、 232：CLRボタン、 233：拡大表示画像、 241：クローズボタン、 251〜253：オブジェクト枠、 300：IDパネル、301：OKボタン、 302：キャンセルボタン、 303：スライダーつまみ、 304：スライドカーソル、 305，305′：拡大表示画像、 306：拡大表示エリア、 307：オブジェクトボタン、 308：色指定枠、 309：サーチボタン、 311：静止画ビュースライダー、 313：オブジェクト枠調整ボタン、 321〜330：フレーム画像、 401〜410：フレーム画像、 411，412，413：オブジェクト枠、 414，415：検出矢印、 416：フィルムイメージ、 417，418：検出区間、 419~422：フレーム枠（太枠）、 430：フィルムイメージ、 431，432，433，434：検出矢印、 435〜444：フレーム画像、 445，446，447：検出区間、 448，449，450，451，452：オブジェクト枠、 453〜462：フレーム画像、 463〜470，464′〜467′：オブジェクト枠、 471：検出区間、 472：フレーム区間、 473，474：検出矢印、 475，475′：フィルムイメージ、 600：IDXパネル、 603：検出処理区間表示エリア、 604，605，606：検出処理区間、 611：ターゲット表示欄、 614：検出区間、 616：非検出区間、 631，632，633：ターゲットイメージ、 634，635，636：人名、 637，638，639：検出区間グラフ、640，641：スライダ、 650：検出結果表示欄、 800，801，802，802′，803：検出矢印、 804，805，806，807，808：オブジェクト枠、 809，809′：フィルムイメージ、 810：マウスポインタ、 811，812：検出区間、 813，814，823，824：フレーム画像、 815：ビギンボタン、 816：エンドボタン、 817，818，820，821，822：画素領域、 1000：編集用ウィンドウ、 1010：編集エリア、 1020：素材エリア、 1030，1031，1032，1033，‥‥‥，103K，103M，103N，‥‥‥： M-アイコン、 1040：ツリー構造、 1050：編集機能ボタン群、1051：登場人物検出ボタン、 1052：ツリー構造作成ボタン、 1053：IDX情報ボタン、 1070， 1080，1090：スライダ、 1210：カット画像を表すM-アイコン、 1220：シーン画像を表すM-アイコン、 1230：１つ以上のシーン画像で構成したM-アイコン、 1240：動画像（番組）を表すM-アイコン、 2000，2001，2002，2003，2004，2004′：IDパネル、 3010：CPU、 3020：メモリ、 3030：カット変化点検出部、 3040：画像再生装置、 3050：ビデオインターフェース、 3060：情報記憶装置、 3070：フレームバッファ、 3080：モニタ、3090：入力装置、 3100：バス、 3110：画像信号出力端子、
【特許請求の範囲】
【請求項１】 動画像を構成する複数のフレーム画像の中から、特定の画像が登場する検出フレーム画像情報と該特定の画像が登場する該検出フレーム画像中に占めている検出位置情報とを抽出し、該検出フレーム画像情報と該検出位置情報とを、時間的に連続的に、所定のフレーム数を並べて表示し、前記検出フレーム画像情報と前記検出位置情報の少なくとも１つを、GUI（Graphical User Interface）操作によって修正することを特徴とした画像検出方法。
【請求項２】 請求項１記載の画像検出方法において、前記特定の画像が前記動画像に登場する人物であることを特徴とする画像検出方法。
【請求項３】 請求項１または請求項２記載の画像検出方法において、前記GUI操作によって修正する前記検出フレーム画像情報は、前記特定の画像の開始を表す開始点と終了を表す終了点との少なくとも１つを移動することによって実行させたことを特徴とする画像検出方法。
【請求項４】 請求項１または請求項２記載の画像検出方法において、前記GUI操作によって修正する前記検出位置情報は、前記検出フレーム中に表示された前記検出位置時情報を表すオブジェクト枠の大きさや位置を変更させることによって実行させたことを特徴とする画像検出方法。
【請求項５】 請求項３記載の画像検出方法において、前記開始点または前記終了点を前記GUI操作によって移動中に、前記開始点または前記終了点が所定の場所に達した時には、前記時間的に連続的に並べて表示されたフレーム画像が、予め設定した所定のスキップ量に応じて、自動的にスクロールすることを特徴とする画像検出方法。
【請求項６】 請求項３記載の画像検出方法において、前記開始点または前記終了点を前記GUI操作によって移動中に、新たに修正する検出フレーム画像を装飾表示したことを特徴とする画像検出方法。
【請求項７】 請求項１または請求項２記載の画像検出方法において、指定した２つのフレーム画像の間に位置するフレーム画像の前記検出位置情報の修正は、該指定した２つのフレーム画像の前記検出位置情報から補間したことを特徴とする画像検出方法。
【請求項１】 動画像を構成する複数のフレーム画像の中から、特定の画像が登場する検出フレーム画像情報と該特定の画像が登場する該検出フレーム画像中に占めている検出位置情報とを抽出し、該検出フレーム画像情報と該検出位置情報とを、時間的に連続的に、所定のフレーム数を並べて表示し、前記検出フレーム画像情報と前記検出位置情報の少なくとも１つを、GUI（Graphical User Interface）操作によって修正することを特徴とした画像検出方法。
【請求項２】 請求項１記載の画像検出方法において、前記特定の画像が前記動画像に登場する人物であることを特徴とする画像検出方法。
【請求項３】 請求項１または請求項２記載の画像検出方法において、前記GUI操作によって修正する前記検出フレーム画像情報は、前記特定の画像の開始を表す開始点と終了を表す終了点との少なくとも１つを移動することによって実行させたことを特徴とする画像検出方法。
【請求項４】 請求項１または請求項２記載の画像検出方法において、前記GUI操作によって修正する前記検出位置情報は、前記検出フレーム中に表示された前記検出位置時情報を表すオブジェクト枠の大きさや位置を変更させることによって実行させたことを特徴とする画像検出方法。
【請求項５】 請求項３記載の画像検出方法において、前記開始点または前記終了点を前記GUI操作によって移動中に、前記開始点または前記終了点が所定の場所に達した時には、前記時間的に連続的に並べて表示されたフレーム画像が、予め設定した所定のスキップ量に応じて、自動的にスクロールすることを特徴とする画像検出方法。
【請求項６】 請求項３記載の画像検出方法において、前記開始点または前記終了点を前記GUI操作によって移動中に、新たに修正する検出フレーム画像を装飾表示したことを特徴とする画像検出方法。
【請求項７】 請求項１または請求項２記載の画像検出方法において、指定した２つのフレーム画像の間に位置するフレーム画像の前記検出位置情報の修正は、該指定した２つのフレーム画像の前記検出位置情報から補間したことを特徴とする画像検出方法。
【図１】
【図２】
【図３】
【図１７】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１５】
【図１２】
【図１３】
【図１４】
【図１６】
【図２】
【図３】
【図１７】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１５】
【図１２】
【図１３】
【図１４】
【図１６】
【公開番号】特開２０００−２５３３０９（Ｐ２０００−２５３３０９Ａ）
【公開日】平成１２年９月１４日（２０００．９．１４）
【国際特許分類】
【出願番号】特願平１１−５２３８３
【出願日】平成１１年３月１日（１９９９．３．１）
【出願人】（０００００５４２９）日立電子株式会社 (11)
【Ｆターム（参考）】
【公開日】平成１２年９月１４日（２０００．９．１４）
【国際特許分類】
【出願日】平成１１年３月１日（１９９９．３．１）
【出願人】（０００００５４２９）日立電子株式会社 (11)
【Ｆターム（参考）】
[ Back to top ]