画像検索装置及びその方法
【課題】 動画中に含まれる複数のフレームの中から、所望の文字列を含むフレームを特定するのは容易ではなかった。
【解決手段】 検索対象の文字が入力されると（Ｓ１）、複数のフレームを含む動画データの中から、その入力された文字が存在するフレームを検索し（Ｓ３）、その検索されたフレームにおいて、その文字の位置が等しいフレームが予め定められた量連続している場合（Ｓ７）に、当該文字を含むフレームを静止画データとして切り出す（Ｓ８）。
【解決手段】 検索対象の文字が入力されると（Ｓ１）、複数のフレームを含む動画データの中から、その入力された文字が存在するフレームを検索し（Ｓ３）、その検索されたフレームにおいて、その文字の位置が等しいフレームが予め定められた量連続している場合（Ｓ７）に、当該文字を含むフレームを静止画データとして切り出す（Ｓ８）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画データに含まれる複数のフレームのうち、いずれかのフレームを静止画データとして切り出す画像検索装置及びその方法に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラ及びデジタルカムコーダ、またはデジタルテレビ放送の普及、さらにはインターネット通信の高速化により、動画コンテンツを扱うことが容易になっている。動画コンテンツには、デジタルカメラで録画した日常風景やテレビの情報番組など、様々な種類が存在する。
【０００３】
そして、動画中の一部の画像を静止画として切り出して利用するための技術が考えられている。特許文献１には、デジタルカメラで撮影した動画データの中から静止画に適するフレームを自動的に選択することが記載されている。
【０００４】
具体的には、動画中の連続する各フレームをそれぞれ比較して、類似する画像か否かを判定する。そしてこの判定の結果、類似するフレームが所定数以上連続している場合に、静止画に適するフレームであると判定して、選択したフレームを印刷する。
【特許文献１】特開２００５−２３６４８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら上記従来技術では、テレビの情報番組や料理番組のようにイメージよりも文字情報が重要な意味を持ち、ユーザがその文字情報が表示されているフレームを静止画として切り出すことが不可能であった。
【０００６】
即ち、例えば料理番組の場合には、料理のレシピが画面の端に一定時間連続して表示されているが、それ以外の領域では出演者が料理を行うなど画面の内容・レイアウトなどが動的に変化している。
【０００７】
このような場合、上記従来技術を用いると、画面全体が一定時間変化しない訳ではないので、静止画に適するフレームであるとは判定されない。即ち、ユーザは料理番組で表示されるレシピや情報番組で紹介される各種文字情報が表示されたフレームを動画中から切り出して利用したい場合には、動画をはや送りするなどして自ら探さなければならず、面倒であった。
【０００８】
本発明の目的は、上記従来技術の問題点を解決することにある。
【０００９】
本願発明の特徴は、指定した文字を含む動画データのフレームを容易に切り出すことができる技術を提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するために本発明の一態様に係る画像検索装置は以下のような構成を備える。即ち、
検索対象の文字を入力する文字入力手段と、
複数のフレームを含む動画データの中から前記文字入力手段で入力された文字が存在するフレームを検索する検索手段と、
前記検索手段で検索されたフレームにおいて、前記文字の位置が等しいフレームが予め定められた量連続している場合に、当該文字を含むフレームを静止画データとして切り出す画像切り出し手段と、
を有することを特徴とする。
【００１１】
上記目的を達成するために本発明の一態様に係る画像検索方法は以下のような工程を備える。即ち、
検索対象の文字を入力する文字入力工程と、
複数のフレームを含む動画データの中から前記文字入力工程で入力された文字が存在するフレームを検索する検索工程と、
前記検索工程で検索されたフレームにおいて、前記文字の位置が等しいフレームが予め定められた量連続している場合に、当該文字を含むフレームを静止画データとして切り出す画像切り出し工程と、
を有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、ユーザが所望する文字を含むフレームを、動画データの中から自動的に切り出すことができるため、ユーザの利便性を向上させることができる。
【発明を実施するための最良の形態】
【００１３】
以下、添付図面を参照して本発明の好適な実施の形態を詳しく説明する。尚、以下の実施の形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１４】
［実施の形態１］
図１は、本発明の実施の形態に係る画像処理装置のハードウェア構成を示すブロック図である。以下に説明する本実施の形態では、この画像処理装置は、画像検索して処理する画像検索装置としても機能している。
【００１５】
１００は、この実施の形態に係る画像処理装置を示し、この装置は例えばパーソナルコンピュータ（ＰＣ）でもよい。ＣＰＵ１０１は、ＲＡＭ１０２にロードされたプログラムを実行して、後述する各種処理を実行する。ＲＡＭ１０２は、ＣＰＵ１０１の制御の下に実行されるでプログラムを記憶したり、またプログラムの実行時に各種データを記憶するワークエリアを提供している。ＨＤＤ１０３はハードディスク等の大容量記憶装置で、ＯＳや各種アプリケーションプログラムがインストールされており、実行時にそのプログラムがＲＡＭ１０２にロードされてＣＰＵ１０１により実行される。又このＨＤＤ１０３は、動画や静止画などの画像データをも記憶している。通信インターフェース１０４は、ＵＳＢ等の有線通信のインターフェース或はBluetooth等の無線インターフェースを有している。ＵＩ（ユーザインターフェース）１０５は表示部や操作部を有し、ユーザへのメッセージの表示やユーザよりのコマンドの入力などを行っている。
【００１６】
図２は、本実施の形態に係る画像処理装置で実行されるソフトウェアモジュールの構成を説明するブロック図である。
【００１７】
２０１は動画データである。ＵＩ制御部２０２は、図３に示すＵＩ（ユーザインターフェース）をＵＩ１０５に表示し、これによりユーザが検索する文字や、検索する動画データを入力できるように制御している。文字検知部２０３は、ＵＩ制御部２０２から入力された文字が、このＵＩ制御部２０２で選択された動画データ２０１のフレームに含まれるか否かを文字認識機能により検知する。位置計算部２０４は、文字検知部２０３で検知された文字列が、画面上のどの位置に表示されているかを検知する。フレーム比較部２０５は、現在のフレームと１つ前のフレームとを比較し、文字検知部２０３で検知された文字列が、これらフレームの同じ位置に存在しているか否かを判別する。前フレーム情報記憶部２０６は、フレーム比較部２０５による比較の結果、直前のフレームに該当文字列が存在していると判定されると、その文字列の位置情報を保持する。カウンタ２０７は、その検知された文字列が、何フレームに亘って同じ位置に存在しているかをカウントしている。画像切り出し部２０８は、カウンタ２０７による計数値が所定値に達した時に、動画データ２０１から、そのフレーム画像を静止画データとして切り出す。
【００１８】
図３は、本実施の形態に係る画像処理装置におけるユーザインターフェース（ＵＩ）の一例を示す図である。
【００１９】
図において、３０１は、検索対象の動画ファイルを選択するためのウインドウである。このウインドウ３０１には、例えばＨＤＤ１０３に記憶されている動画ファイルが一覧表示される。３０２は、検索対象の文字列を入力する入力欄である。こうしてウインドウ３０１で選択された動画ファイルに含まれる、この欄３０２に入力された文字列を含むフレームが検索される。尚、検索する文字欄３０２に入力される文字（文字列）は、単数或は複数の文字のいずれでも良いが、以下の説明では、複数の文字からなる文字列として説明する。
【００２０】
図４は、本実施の形態１に係る画像処理装置において動画ファイルからフレームを切り出す処理を説明するフローチャートである。尚、この処理を実行するプログラムは実行時にはＲＡＭ１０２に記憶されており、ＣＰＵ１０１の制御の下に実行される。
【００２１】
まずステップＳ１で、図３に示すＵＩ１０５を使用して、ユーザにより検索対象の動画ファイル及び検索する文字列が入力されるとステップＳ２に進む。ステップＳ２では、フレーム中で見つけた文字列が存在している位置情報を記憶するＲＡＭ１０２の記録エリア及びカウンタ２０７を「０」に初期化する。次にステップＳ３に進み、その選択された動画ファイルの先頭フレームに、ステップＳ１で指定された文字列が存在しているか否かを判定する。存在していると判定するとステップＳ４に進み、その検索した文字列が位置している文字位置情報をＲＡＭ１０２の記憶エリアに記憶する。次にステップＳ５に進み、その検出した文字列の位置が、直前に検出したフレームにおける位置情報と一致しているか否かを判定する。ここで先頭フレームの場合は、直前のフレームにおける位置情報が記憶されていないため判定は否となってステップＳ９に進む。ステップＳ９では、ステップＳ４で検知した文字位置情報を記憶し、カウンタ２０７を「０」に初期化してステップＳ１０に進む。そしてステップＳ１０で、最終フレームの処理が終了したかを調べ、最終フレームであれば処理を終了するが、最終フレームでないときはステップＳ１１に進み、次のフレームを取り出してステップＳ３に進む。
【００２２】
一方、ステップＳ５で直前のフレームと同じ位置に同じ文字列が検出されるとステップＳ６に進み、カウンタ２０７のカウント値を＋１する。次にステップＳ７に進み、そのカウンタ２０７のカウント値が所定値以上になったかどうかをみる。所定値以上であればステップＳ８に進み、そのフレームを切り出してステップＳ１０に進む。こうして切り出されたフレーム画像は、ＲＡＭ１０２に記憶される。そして、例えば後の印刷処理等で使用される。
【００２３】
尚、本実施の形態１では、フレーム画像の切り出しに成功した場合に次にフレームを検索するようにしたが、その時点で処理を終了しても良い。また、指定された文字列を含むフレームが複数存在している場合は、それら複数のフレームを全て記憶して、或は印刷しても良い。また或は、指定された文字列を含む複数フレームをＵＩ１０５に表示し、それら検索された複数フレーム内のいずれを印刷するかをユーザに選択させるようにしても良い。
【００２４】
以上説明したように本実施の形態１によれば、指定した文字列が予め定められた数以上のフレームにわたって連続して同じ位置に出現する場合に、そのフレームを切り出すことができる。
【００２５】
［実施の形態２］
前述の実施の形態１では、画面上の同一場所に連続して同一の文字列が現れるフレーム数（時間）が所定数（所定時間）以上になると、そのフレームを切り出していた。しかし、このフレーム数（或は時間）をユーザが任意に設定できるようにしても良い。
【００２６】
図５は、本発明の実施の形態２に係る画像処理装置のＵＩ１０５の一例を示す図で、前述の図２と共通する部分は同じ記号で示し、それらの説明を省略する。
【００２７】
この実施の形態２では、切り出し対象となるフレームを決定する時間を指定する時間指定欄５０１が含まれている。尚、この時間は、フレーム数にも換算できる。
【００２８】
図６は、本実施の形態２に係る画像処理装置において、動画ファイルからフレームを切り出す処理を説明するフローチャートである。尚、この処理を実行するプログラムは実行時にはＲＡＭ１０２に記憶されており、ＣＰＵ１０１の制御の下に実行される。またこの図６のフローチャートにおいて、ステップＳ２２〜Ｓ２６、Ｓ２８〜Ｓ３１は、図４のステップＳ２〜Ｓ６，Ｓ８〜Ｓ１１と同じであるため、その説明を省略する。
【００２９】
ここではまずステップＳ２１で、文字列を検索する対象となる動画ファイルを選択し、また検索する文字列を入力するとともに、図５の入力欄５０１を利用して、ユーザが対象文字列を検索する時間を入力する。そしてステップＳ２７では、カウンタ２０７による計数値が、ステップＳ２１で指定された時間以上になったかどうかを判断する。そしてユーザにより指定された時間以上になるとステップＳ２８に進み、そのフレームを切り出してＲＡＭ１０２に格納する。
【００３０】
以上説明したように本実施の形態２によれば、指定した文字列が連続してフレームの同じ位置に連続して出現する時間を指定して、対象となるフレームを切り出すことができる。
【００３１】
［実施の形態３］
前述の実施の形態１，２では、フレームの全体を文字列の検索対象としたが、例えばある情報番組では、店舗情報が必ず画面の右下１／４に表示されるという傾向がある。この傾向を利用して、フレームの内、文字列の有無を検出する領域を限定することにより、文字認識処理に要する時間を短縮することができる。
【００３２】
図７は、本発明の実施の形態３に係る画像処理装置のＵＩ１０５の一例を示す図で、前述の図２と共通する部分は同じ記号で示し、それらの説明を省略する。
【００３３】
このＵＩ１０５では、前述の実施の形態１の構成に加えて、画像切り出し対象エリアを指定するエリア７０１を設けている。図７の例では、フレームを４分割し、その４分割された画面の右下半分が指定されている。
【００３４】
図８は、本実施の形態３に係る画像処理装置において動画ファイルからフレームを切り出す処理を説明するフローチャートである。尚、この処理を実行するプログラムは実行時にはＲＡＭ１０２に記憶されており、ＣＰＵ１０１の制御の下に実行される。またこの図８のフローチャートにおいて、ステップＳ４１〜Ｓ４２、Ｓ４４〜Ｓ５１は、図４のステップＳ１〜Ｓ２，Ｓ４〜Ｓ１１と同じであるため、その説明を省略する。
【００３５】
この実施の形態３では、ステップＳ４３で、図７の画面のエリア指定欄７０１で指定された領域に、ステップＳ４１で入力された検索対象の文字列が存在するか判別している。こうして、その指定されたエリアに、その指定された文字列が存在しているとステップＳ４４に進み、その文字列の位置を検知してステップＳ４５で同じ位置かどうかを調べる。その他の処理は前述の実施の形態１の場合と同じである。
【００３６】
以上説明したように本実施の形態３によれば、前述の実施の形態１，２の効果に加えて、文字列が含まれているかどうかの判別処理に要する時間を短縮できるという効果がある。
【００３７】
［実施の形態４］
前述の実施の形態１〜３では、一定時間、或はユーザにより指定された時間連続して同じ位置に同じ文字列が出願するフレームを切り出し対象としたが、この時間内に表示される動画の任意のフレームを取り出すようにすることも可能である。
【００３８】
ここでは例えば、先頭フレームを切り出すか、或はその時間内の連続するフレームを均等に分割し、その中からユーザに印刷したいフレームを選択させるようにしても良い。
【００３９】
図９は、本発明の実施の形態４に係る画像処理装置のＵＩ１０５の一例を示す図である。
【００４０】
ここでは、切り出し対象とするフレームを指定するウインドウ９０１を表示する機能を追加する。
【００４１】
図９の例では、切り出し候補となるフレームを指定する枠９０２ａ，９０２ｂ〜９０２ｅが表示されている。ここで各枠は、連続する各フレームに１つずつ対応したものでも良く、或は上述のように、その時間内の連続するフレームを均等に分割した各ブロックの代表フレーム（例えば、各ブロックの先頭フレーム）に対応しても良い。
【００４２】
図１０は、本実施の形態４に係る画像処理装置において動画ファイルからフレームを切り出す処理を説明するフローチャートである。尚、この処理を実行するプログラムは実行時にはＲＡＭ１０２に記憶されており、ＣＰＵ１０１の制御の下に実行される。またこの図１０のフローチャートにおいて、ステップＳ６１〜Ｓ６７，Ｓ６９〜Ｓ７１は、図４のステップＳ１〜Ｓ７，Ｓ９〜Ｓ１１と同じであるため、その説明を省略する。
【００４３】
ここではステップＳ６７で、カウント値が、設定されている値よりも大きくなるとステップＳ７２に進み、その時間内の複数フレームの内、切り出したいフレームを選択するための画面（図９）を表示する。次にステップＳ７３で、その表示された画面において、ユーザが所望の枠を選択するとステップＳ７４に進み、その選択された枠に対応するフレームを切り出し対象として表示すると共に、ＲＡＭ１０２に記憶する。
【００４４】
以上説明したように本実施の形態４によれば、前述の実施の形態１，２の効果に加えて、該当する連続フレームが存在する場合、それら連続する複数のフレームの中からユーザが表示或は印刷したいフレームを選択できるという効果がある。
【００４５】
尚、上述の実施の形態２〜実施の形態４はそれぞれ単独で実施しても良く、或は適宜各実施の形態を組み合わせて（例えば、実施の形態２と３とを組み合わせる等）実施してもよい。
【００４６】
［実施の形態５］
前述の実施の形態１〜４では、画像処理装置は、ＰＣ等の情報処理装置である場合で説明した。この実施の形態５では、画像形成装置を印刷装置に適応することも可能である。この場合は、切り出したフレームは印刷対象のフレームとなる。
【００４７】
図１１は、本発明の実施の形態５に係る画像処理装置の一例である印刷装置のハードウェア構成を示すブロック図である。
【００４８】
１１００は、この実施の形態に係る印刷装置を示す。ＣＰＵ１１０１は、ＲＯＭ１１０７に記憶されたプログラムを実行して、後述する各種処理を実行する。ＲＡＭ１１０２は、ＣＰＵ１１０１による制御動作時に各種データを記憶するワークエリアを提供している。ＨＤＤ１１０３はハードディスク等の大容量記憶装置で、外部装置から受信した印刷データ等を記憶するのに用いられる。通信インターフェース１１０４は、ＵＳＢ等の有線通信のインターフェース或はBluetooth等の無線インターフェースを有している。ＵＩ（ユーザインターフェース）１１０５は表示部や操作部を有し、ユーザへのメッセージの表示やユーザよりのコマンドの入力などを行っている。１１０６は、例えば電子写真方式或はインクジェット方式などのプリンタエンジンである。
【００４９】
図１２は、本実施の形態５に係る印刷装置１１００で実行されるソフトウェアモジュールの構成を説明するブロック図である。尚、この図１２において、前述の図２と共通する部分は同じ記号で示し、それらの説明を省略する。
【００５０】
ここで図２と異なるのは、画像切り出し部２０８により切り出したフレームをプリンタエンジン１１０６に出力して印刷する点にある。
【００５１】
図１３は、本実施の形態５に係る画像処理装置において動画ファイルからフレームを切り出す処理を説明するフローチャートである。尚、この処理を実行するプログラムは実行時にはＲＡＭ１１０２に記憶されており、ＣＰＵ１１０１の制御の下に実行される。またこの図１３のフローチャートにおいて、ステップＳ１〜Ｓ９１は、図４のステップＳ１〜Ｓ１１と同じであるため、その説明を省略する。
【００５２】
このフローチャートでは、ステップＳ８８で、印刷対象のフレームを切り出し、次にステップＳ９２で、その切り出したフレームをプリンタエンジン１１０６に出力して印刷している。
【００５３】
以上説明したように本実施の形態５によれば、前述の実施の形態１と同様に、指定した文字列が連続して同じ位置に連続して出現する場合に、そのフレームを取り出して印刷させることができる。
【００５４】
［実施の形態６］
前述の実施の形態５では、動画データ２０１が印刷装置１１００内に記憶されていたが、通常の印刷動作と同様に、印刷装置とＰＣ（情報処理装置）とを接続し、そのＰＣから動画ファイルと検索文字列を指示するようにしても良い。
【００５５】
図１４は、本発明の実施の形態６に係る印刷システムのハードウェア構成を示すブロック図である。尚、印刷装置１１００の構成は前述の図１１と同様であるため、その説明を省略する。
【００５６】
１４００は、この実施の形態６に係るパーソナルコンピュータ（ＰＣ）を示す。ＣＰＵ１４０１は、ＲＡＭ１４０２にロードされたプログラムを実行して、後述する各種処理を実行する。ＲＡＭ１４０２は、ＣＰＵ１４０１の制御の下に実行されるでプログラムを記憶したり、またプログラムの実行時に各種データを記憶するワークエリアを提供している。ＨＤＤ１４０３はハードディスク等の大容量記憶装置で、ＯＳや各種アプリケーションプログラムがインストールされており、実行時にそのプログラムがＲＡＭ１４０２にロードされてＣＰＵ１４０１により実行される。又このＨＤＤ１４０３は、動画や静止画などの画像データも記憶している。通信インターフェース１４０４は、ＵＳＢ等の有線通信のインターフェース或はBluetooth等の無線インターフェースを有している。ＵＩ（ユーザインターフェース）１４０５は表示部や操作部を有し、ユーザへのメッセージの表示やユーザよりのコマンドの入力などを行っている。
【００５７】
図１５は、本発明の実施の形態６に係るソフトウェアモジュールの構成を示すブロック図である。
【００５８】
ＰＣ１４００において、１５０１は動画データである。１５０２は図１６に示すＵＩ１４０５を表示し、ユーザに検索する文字列や、検索対象の動画ファイルを選択させるＵＩ制御部である。データ送信部１５０３は、ＵＩ制御部１５０２の制御の下で入力された検索する文字列や動画データを、通信Ｉ／Ｆ１４０４を通じて印刷装置１１００に送信する。
【００５９】
ここで印刷装置１１００におけるソフトウェアモジュールの構成は、ＰＣ１４００からのデータを受信するデータ受信部１５５１を有する以外は、前述の図１５と同じである。データ受信部１５５１は、ＰＣ１４００から送信される動画ファイルと文字列とを通信Ｉ／Ｆ１１０４を通じて受信する。こうして受信した動画ファイルは、動画データ２０１として、印刷装置１１００のＨＤＤ１１０３或はＲＡＭ１１０２に記憶される。また検索対象の文字列は文字検知部２０３に送られる。
【００６０】
図１６は、本実施の形態６に係る画像処理装置におけるユーザインターフェース（ＵＩ）の一例を示す図である。
【００６１】
図において、１６０１は、検索対象の動画ファイルを選択するためのウインドウである。このウインドウ１６０１には、例えばＨＤＤ１４０３に記憶されている動画ファイルが一覧表示される。１６０２は、検索対象の文字列を入力する入力欄である。こうしてウインドウ１６０１で選択された動画ファイルにおける、この欄１６０２に入力された文字列を含むフレームが検索される。
【００６２】
図１７は、本発明の実施の形態６に係るＰＣ１４００の処理を示すフローチャートである。この処理を実行するプログラムは、実行時にＲＡＭ１４０２に記憶されており、ＣＰＵ１４０１の制御の下に実行される。
【００６３】
まずステップＳ１０１で、図１６に示すようなＵＩ画面をＵＩ１４０５に表示する。次にステップＳ１０２に進み、図１６に示す画面を使用して入力される動画ファイルの指定情報及び文字列を入力する。次にステップＳ１０３に進み、ステップＳ１０２で指示された動画ファイルを取得し、同じくステップＳ１０２で入力された検索対象文字列と共に、印刷装置１１００に送信する。
【００６４】
図１８は、本実施の形態６に係る印刷装置１１００において動画ファイルからフレームを切り出す処理を説明するフローチャートである。尚、この処理を実行するプログラムは実行時にはＲＡＭ１１０２に記憶されており、ＣＰＵ１１０１の制御の下に実行される。またこの図１８のフローチャートにおいて、ステップＳ１１２〜Ｓ１２１は、図４のステップＳ２〜Ｓ１１と同じであるため、その説明を省略する。
【００６５】
まずステップＳ１１１で、検索対象の文字列と動画ファイルとをＰＣ１４００から受信する。次にステップＳ１３１で、ＰＣ１４００から受信した動画ファイルをＲＡＭ１１０２或はＨＤＤ１１０３に動画データ２０１として保存する。そしてステップＳ１１２以降の処理（図２のステップＳ２〜Ｓ１１の処理と同じ）を実行して、その指示された動画ファイルの中から、その指定された検索対象の文字列を含むフレームを取り出すことができる。
【００６６】
上述の実施の形態５，６はそれぞれ単独で実施されても良く、或は適宜組み合わせて実行されても良い。更にこの実施の形態５，６の構成に、前述の実施の形態２〜４のいずれかに係る構成を追加しても良い。
【００６７】
（他の実施形態）
以上、本発明の実施形態について詳述したが、本発明は、複数の機器から構成されるシステムに適用しても良いし、また一つの機器からなる装置に適用しても良い。
【００６８】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを読み出して実行することによっても達成され得る。その場合、プログラムの機能を有していれば、形態は、プログラムである必要はない。
【００６９】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明のクレームでは、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００７０】
プログラムを供給するための記録媒体としては、様々なものが使用できる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。
【００７１】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページからハードディスク等の記録媒体にダウンロードすることによっても供給できる。その場合、ダウンロードされるのは、本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明のクレームに含まれるものである。
【００７２】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布する形態としても良い。その場合、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムが実行可能な形式でコンピュータにインストールされるようにする。
【００７３】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される形態以外の形態でも実現可能である。例えば、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００７４】
更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれるようにしてもよい。この場合、その後で、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００７５】
【図１】本発明の実施の形態に係る画像処理装置のハードウェア構成を示すブロック図である。
【図２】本実施の形態に係る画像処理装置で実行されるソフトウェアモジュールの構成を説明するブロック図である。
【図３】本実施の形態に係る画像処理装置におけるユーザインターフェース（ＵＩ）の一例を示す図である。
【図４】本実施の形態１に係る画像処理装置において動画ファイルからフレームを切り出す処理を説明するフローチャートである。
【図５】本発明の実施の形態２に係る画像処理装置のＵＩの一例を示す図である。
【図６】本実施の形態２に係る画像処理装置において動画ファイルからフレームを切り出す処理を説明するフローチャートである。
【図７】本発明の実施の形態３に係る画像処理装置のＵＩの一例を示す図である。
【図８】本実施の形態３に係る画像処理装置において動画ファイルからフレームを切り出す処理を説明するフローチャートである。
【図９】本発明の実施の形態４に係る画像処理装置のＵＩの一例を示す図である。
【図１０】本実施の形態４に係る画像処理装置において動画ファイルからフレームを切り出す処理を説明するフローチャートである。
【図１１】本発明の実施の形態５に係る画像処理装置の一例である印刷装置のハードウェア構成を示すブロック図である。
【図１２】本実施の形態５に係る印刷装置で実行されるソフトウェアモジュールの構成を説明するブロック図である。
【図１３】本実施の形態５に係る画像処理装置において動画ファイルからフレームを切り出す処理を説明するフローチャートである。
【図１４】本発明の実施の形態６に係る印刷システムのハードウェア構成を示すブロック図である。
【図１５】本発明の実施の形態６に係るソフトウェアモジュールの構成を示すブロック図である。
【図１６】本実施の形態６に係る画像処理装置におけるユーザインターフェース（ＵＩ）の一例を示す図である。
【図１７】本発明の実施の形態６に係るＰＣによる処理を示すフローチャートである。
【図１８】本実施の形態６に係る印刷装置においてＰＣから動画ファイルと検索文字列を受信してフレームを切り出す処理を説明するフローチャートである。
【技術分野】
【０００１】
本発明は、動画データに含まれる複数のフレームのうち、いずれかのフレームを静止画データとして切り出す画像検索装置及びその方法に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラ及びデジタルカムコーダ、またはデジタルテレビ放送の普及、さらにはインターネット通信の高速化により、動画コンテンツを扱うことが容易になっている。動画コンテンツには、デジタルカメラで録画した日常風景やテレビの情報番組など、様々な種類が存在する。
【０００３】
そして、動画中の一部の画像を静止画として切り出して利用するための技術が考えられている。特許文献１には、デジタルカメラで撮影した動画データの中から静止画に適するフレームを自動的に選択することが記載されている。
【０００４】
具体的には、動画中の連続する各フレームをそれぞれ比較して、類似する画像か否かを判定する。そしてこの判定の結果、類似するフレームが所定数以上連続している場合に、静止画に適するフレームであると判定して、選択したフレームを印刷する。
【特許文献１】特開２００５−２３６４８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら上記従来技術では、テレビの情報番組や料理番組のようにイメージよりも文字情報が重要な意味を持ち、ユーザがその文字情報が表示されているフレームを静止画として切り出すことが不可能であった。
【０００６】
即ち、例えば料理番組の場合には、料理のレシピが画面の端に一定時間連続して表示されているが、それ以外の領域では出演者が料理を行うなど画面の内容・レイアウトなどが動的に変化している。
【０００７】
このような場合、上記従来技術を用いると、画面全体が一定時間変化しない訳ではないので、静止画に適するフレームであるとは判定されない。即ち、ユーザは料理番組で表示されるレシピや情報番組で紹介される各種文字情報が表示されたフレームを動画中から切り出して利用したい場合には、動画をはや送りするなどして自ら探さなければならず、面倒であった。
【０００８】
本発明の目的は、上記従来技術の問題点を解決することにある。
【０００９】
本願発明の特徴は、指定した文字を含む動画データのフレームを容易に切り出すことができる技術を提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するために本発明の一態様に係る画像検索装置は以下のような構成を備える。即ち、
検索対象の文字を入力する文字入力手段と、
複数のフレームを含む動画データの中から前記文字入力手段で入力された文字が存在するフレームを検索する検索手段と、
前記検索手段で検索されたフレームにおいて、前記文字の位置が等しいフレームが予め定められた量連続している場合に、当該文字を含むフレームを静止画データとして切り出す画像切り出し手段と、
を有することを特徴とする。
【００１１】
上記目的を達成するために本発明の一態様に係る画像検索方法は以下のような工程を備える。即ち、
検索対象の文字を入力する文字入力工程と、
複数のフレームを含む動画データの中から前記文字入力工程で入力された文字が存在するフレームを検索する検索工程と、
前記検索工程で検索されたフレームにおいて、前記文字の位置が等しいフレームが予め定められた量連続している場合に、当該文字を含むフレームを静止画データとして切り出す画像切り出し工程と、
を有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、ユーザが所望する文字を含むフレームを、動画データの中から自動的に切り出すことができるため、ユーザの利便性を向上させることができる。
【発明を実施するための最良の形態】
【００１３】
以下、添付図面を参照して本発明の好適な実施の形態を詳しく説明する。尚、以下の実施の形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１４】
［実施の形態１］
図１は、本発明の実施の形態に係る画像処理装置のハードウェア構成を示すブロック図である。以下に説明する本実施の形態では、この画像処理装置は、画像検索して処理する画像検索装置としても機能している。
【００１５】
１００は、この実施の形態に係る画像処理装置を示し、この装置は例えばパーソナルコンピュータ（ＰＣ）でもよい。ＣＰＵ１０１は、ＲＡＭ１０２にロードされたプログラムを実行して、後述する各種処理を実行する。ＲＡＭ１０２は、ＣＰＵ１０１の制御の下に実行されるでプログラムを記憶したり、またプログラムの実行時に各種データを記憶するワークエリアを提供している。ＨＤＤ１０３はハードディスク等の大容量記憶装置で、ＯＳや各種アプリケーションプログラムがインストールされており、実行時にそのプログラムがＲＡＭ１０２にロードされてＣＰＵ１０１により実行される。又このＨＤＤ１０３は、動画や静止画などの画像データをも記憶している。通信インターフェース１０４は、ＵＳＢ等の有線通信のインターフェース或はBluetooth等の無線インターフェースを有している。ＵＩ（ユーザインターフェース）１０５は表示部や操作部を有し、ユーザへのメッセージの表示やユーザよりのコマンドの入力などを行っている。
【００１６】
図２は、本実施の形態に係る画像処理装置で実行されるソフトウェアモジュールの構成を説明するブロック図である。
【００１７】
２０１は動画データである。ＵＩ制御部２０２は、図３に示すＵＩ（ユーザインターフェース）をＵＩ１０５に表示し、これによりユーザが検索する文字や、検索する動画データを入力できるように制御している。文字検知部２０３は、ＵＩ制御部２０２から入力された文字が、このＵＩ制御部２０２で選択された動画データ２０１のフレームに含まれるか否かを文字認識機能により検知する。位置計算部２０４は、文字検知部２０３で検知された文字列が、画面上のどの位置に表示されているかを検知する。フレーム比較部２０５は、現在のフレームと１つ前のフレームとを比較し、文字検知部２０３で検知された文字列が、これらフレームの同じ位置に存在しているか否かを判別する。前フレーム情報記憶部２０６は、フレーム比較部２０５による比較の結果、直前のフレームに該当文字列が存在していると判定されると、その文字列の位置情報を保持する。カウンタ２０７は、その検知された文字列が、何フレームに亘って同じ位置に存在しているかをカウントしている。画像切り出し部２０８は、カウンタ２０７による計数値が所定値に達した時に、動画データ２０１から、そのフレーム画像を静止画データとして切り出す。
【００１８】
図３は、本実施の形態に係る画像処理装置におけるユーザインターフェース（ＵＩ）の一例を示す図である。
【００１９】
図において、３０１は、検索対象の動画ファイルを選択するためのウインドウである。このウインドウ３０１には、例えばＨＤＤ１０３に記憶されている動画ファイルが一覧表示される。３０２は、検索対象の文字列を入力する入力欄である。こうしてウインドウ３０１で選択された動画ファイルに含まれる、この欄３０２に入力された文字列を含むフレームが検索される。尚、検索する文字欄３０２に入力される文字（文字列）は、単数或は複数の文字のいずれでも良いが、以下の説明では、複数の文字からなる文字列として説明する。
【００２０】
図４は、本実施の形態１に係る画像処理装置において動画ファイルからフレームを切り出す処理を説明するフローチャートである。尚、この処理を実行するプログラムは実行時にはＲＡＭ１０２に記憶されており、ＣＰＵ１０１の制御の下に実行される。
【００２１】
まずステップＳ１で、図３に示すＵＩ１０５を使用して、ユーザにより検索対象の動画ファイル及び検索する文字列が入力されるとステップＳ２に進む。ステップＳ２では、フレーム中で見つけた文字列が存在している位置情報を記憶するＲＡＭ１０２の記録エリア及びカウンタ２０７を「０」に初期化する。次にステップＳ３に進み、その選択された動画ファイルの先頭フレームに、ステップＳ１で指定された文字列が存在しているか否かを判定する。存在していると判定するとステップＳ４に進み、その検索した文字列が位置している文字位置情報をＲＡＭ１０２の記憶エリアに記憶する。次にステップＳ５に進み、その検出した文字列の位置が、直前に検出したフレームにおける位置情報と一致しているか否かを判定する。ここで先頭フレームの場合は、直前のフレームにおける位置情報が記憶されていないため判定は否となってステップＳ９に進む。ステップＳ９では、ステップＳ４で検知した文字位置情報を記憶し、カウンタ２０７を「０」に初期化してステップＳ１０に進む。そしてステップＳ１０で、最終フレームの処理が終了したかを調べ、最終フレームであれば処理を終了するが、最終フレームでないときはステップＳ１１に進み、次のフレームを取り出してステップＳ３に進む。
【００２２】
一方、ステップＳ５で直前のフレームと同じ位置に同じ文字列が検出されるとステップＳ６に進み、カウンタ２０７のカウント値を＋１する。次にステップＳ７に進み、そのカウンタ２０７のカウント値が所定値以上になったかどうかをみる。所定値以上であればステップＳ８に進み、そのフレームを切り出してステップＳ１０に進む。こうして切り出されたフレーム画像は、ＲＡＭ１０２に記憶される。そして、例えば後の印刷処理等で使用される。
【００２３】
尚、本実施の形態１では、フレーム画像の切り出しに成功した場合に次にフレームを検索するようにしたが、その時点で処理を終了しても良い。また、指定された文字列を含むフレームが複数存在している場合は、それら複数のフレームを全て記憶して、或は印刷しても良い。また或は、指定された文字列を含む複数フレームをＵＩ１０５に表示し、それら検索された複数フレーム内のいずれを印刷するかをユーザに選択させるようにしても良い。
【００２４】
以上説明したように本実施の形態１によれば、指定した文字列が予め定められた数以上のフレームにわたって連続して同じ位置に出現する場合に、そのフレームを切り出すことができる。
【００２５】
［実施の形態２］
前述の実施の形態１では、画面上の同一場所に連続して同一の文字列が現れるフレーム数（時間）が所定数（所定時間）以上になると、そのフレームを切り出していた。しかし、このフレーム数（或は時間）をユーザが任意に設定できるようにしても良い。
【００２６】
図５は、本発明の実施の形態２に係る画像処理装置のＵＩ１０５の一例を示す図で、前述の図２と共通する部分は同じ記号で示し、それらの説明を省略する。
【００２７】
この実施の形態２では、切り出し対象となるフレームを決定する時間を指定する時間指定欄５０１が含まれている。尚、この時間は、フレーム数にも換算できる。
【００２８】
図６は、本実施の形態２に係る画像処理装置において、動画ファイルからフレームを切り出す処理を説明するフローチャートである。尚、この処理を実行するプログラムは実行時にはＲＡＭ１０２に記憶されており、ＣＰＵ１０１の制御の下に実行される。またこの図６のフローチャートにおいて、ステップＳ２２〜Ｓ２６、Ｓ２８〜Ｓ３１は、図４のステップＳ２〜Ｓ６，Ｓ８〜Ｓ１１と同じであるため、その説明を省略する。
【００２９】
ここではまずステップＳ２１で、文字列を検索する対象となる動画ファイルを選択し、また検索する文字列を入力するとともに、図５の入力欄５０１を利用して、ユーザが対象文字列を検索する時間を入力する。そしてステップＳ２７では、カウンタ２０７による計数値が、ステップＳ２１で指定された時間以上になったかどうかを判断する。そしてユーザにより指定された時間以上になるとステップＳ２８に進み、そのフレームを切り出してＲＡＭ１０２に格納する。
【００３０】
以上説明したように本実施の形態２によれば、指定した文字列が連続してフレームの同じ位置に連続して出現する時間を指定して、対象となるフレームを切り出すことができる。
【００３１】
［実施の形態３］
前述の実施の形態１，２では、フレームの全体を文字列の検索対象としたが、例えばある情報番組では、店舗情報が必ず画面の右下１／４に表示されるという傾向がある。この傾向を利用して、フレームの内、文字列の有無を検出する領域を限定することにより、文字認識処理に要する時間を短縮することができる。
【００３２】
図７は、本発明の実施の形態３に係る画像処理装置のＵＩ１０５の一例を示す図で、前述の図２と共通する部分は同じ記号で示し、それらの説明を省略する。
【００３３】
このＵＩ１０５では、前述の実施の形態１の構成に加えて、画像切り出し対象エリアを指定するエリア７０１を設けている。図７の例では、フレームを４分割し、その４分割された画面の右下半分が指定されている。
【００３４】
図８は、本実施の形態３に係る画像処理装置において動画ファイルからフレームを切り出す処理を説明するフローチャートである。尚、この処理を実行するプログラムは実行時にはＲＡＭ１０２に記憶されており、ＣＰＵ１０１の制御の下に実行される。またこの図８のフローチャートにおいて、ステップＳ４１〜Ｓ４２、Ｓ４４〜Ｓ５１は、図４のステップＳ１〜Ｓ２，Ｓ４〜Ｓ１１と同じであるため、その説明を省略する。
【００３５】
この実施の形態３では、ステップＳ４３で、図７の画面のエリア指定欄７０１で指定された領域に、ステップＳ４１で入力された検索対象の文字列が存在するか判別している。こうして、その指定されたエリアに、その指定された文字列が存在しているとステップＳ４４に進み、その文字列の位置を検知してステップＳ４５で同じ位置かどうかを調べる。その他の処理は前述の実施の形態１の場合と同じである。
【００３６】
以上説明したように本実施の形態３によれば、前述の実施の形態１，２の効果に加えて、文字列が含まれているかどうかの判別処理に要する時間を短縮できるという効果がある。
【００３７】
［実施の形態４］
前述の実施の形態１〜３では、一定時間、或はユーザにより指定された時間連続して同じ位置に同じ文字列が出願するフレームを切り出し対象としたが、この時間内に表示される動画の任意のフレームを取り出すようにすることも可能である。
【００３８】
ここでは例えば、先頭フレームを切り出すか、或はその時間内の連続するフレームを均等に分割し、その中からユーザに印刷したいフレームを選択させるようにしても良い。
【００３９】
図９は、本発明の実施の形態４に係る画像処理装置のＵＩ１０５の一例を示す図である。
【００４０】
ここでは、切り出し対象とするフレームを指定するウインドウ９０１を表示する機能を追加する。
【００４１】
図９の例では、切り出し候補となるフレームを指定する枠９０２ａ，９０２ｂ〜９０２ｅが表示されている。ここで各枠は、連続する各フレームに１つずつ対応したものでも良く、或は上述のように、その時間内の連続するフレームを均等に分割した各ブロックの代表フレーム（例えば、各ブロックの先頭フレーム）に対応しても良い。
【００４２】
図１０は、本実施の形態４に係る画像処理装置において動画ファイルからフレームを切り出す処理を説明するフローチャートである。尚、この処理を実行するプログラムは実行時にはＲＡＭ１０２に記憶されており、ＣＰＵ１０１の制御の下に実行される。またこの図１０のフローチャートにおいて、ステップＳ６１〜Ｓ６７，Ｓ６９〜Ｓ７１は、図４のステップＳ１〜Ｓ７，Ｓ９〜Ｓ１１と同じであるため、その説明を省略する。
【００４３】
ここではステップＳ６７で、カウント値が、設定されている値よりも大きくなるとステップＳ７２に進み、その時間内の複数フレームの内、切り出したいフレームを選択するための画面（図９）を表示する。次にステップＳ７３で、その表示された画面において、ユーザが所望の枠を選択するとステップＳ７４に進み、その選択された枠に対応するフレームを切り出し対象として表示すると共に、ＲＡＭ１０２に記憶する。
【００４４】
以上説明したように本実施の形態４によれば、前述の実施の形態１，２の効果に加えて、該当する連続フレームが存在する場合、それら連続する複数のフレームの中からユーザが表示或は印刷したいフレームを選択できるという効果がある。
【００４５】
尚、上述の実施の形態２〜実施の形態４はそれぞれ単独で実施しても良く、或は適宜各実施の形態を組み合わせて（例えば、実施の形態２と３とを組み合わせる等）実施してもよい。
【００４６】
［実施の形態５］
前述の実施の形態１〜４では、画像処理装置は、ＰＣ等の情報処理装置である場合で説明した。この実施の形態５では、画像形成装置を印刷装置に適応することも可能である。この場合は、切り出したフレームは印刷対象のフレームとなる。
【００４７】
図１１は、本発明の実施の形態５に係る画像処理装置の一例である印刷装置のハードウェア構成を示すブロック図である。
【００４８】
１１００は、この実施の形態に係る印刷装置を示す。ＣＰＵ１１０１は、ＲＯＭ１１０７に記憶されたプログラムを実行して、後述する各種処理を実行する。ＲＡＭ１１０２は、ＣＰＵ１１０１による制御動作時に各種データを記憶するワークエリアを提供している。ＨＤＤ１１０３はハードディスク等の大容量記憶装置で、外部装置から受信した印刷データ等を記憶するのに用いられる。通信インターフェース１１０４は、ＵＳＢ等の有線通信のインターフェース或はBluetooth等の無線インターフェースを有している。ＵＩ（ユーザインターフェース）１１０５は表示部や操作部を有し、ユーザへのメッセージの表示やユーザよりのコマンドの入力などを行っている。１１０６は、例えば電子写真方式或はインクジェット方式などのプリンタエンジンである。
【００４９】
図１２は、本実施の形態５に係る印刷装置１１００で実行されるソフトウェアモジュールの構成を説明するブロック図である。尚、この図１２において、前述の図２と共通する部分は同じ記号で示し、それらの説明を省略する。
【００５０】
ここで図２と異なるのは、画像切り出し部２０８により切り出したフレームをプリンタエンジン１１０６に出力して印刷する点にある。
【００５１】
図１３は、本実施の形態５に係る画像処理装置において動画ファイルからフレームを切り出す処理を説明するフローチャートである。尚、この処理を実行するプログラムは実行時にはＲＡＭ１１０２に記憶されており、ＣＰＵ１１０１の制御の下に実行される。またこの図１３のフローチャートにおいて、ステップＳ１〜Ｓ９１は、図４のステップＳ１〜Ｓ１１と同じであるため、その説明を省略する。
【００５２】
このフローチャートでは、ステップＳ８８で、印刷対象のフレームを切り出し、次にステップＳ９２で、その切り出したフレームをプリンタエンジン１１０６に出力して印刷している。
【００５３】
以上説明したように本実施の形態５によれば、前述の実施の形態１と同様に、指定した文字列が連続して同じ位置に連続して出現する場合に、そのフレームを取り出して印刷させることができる。
【００５４】
［実施の形態６］
前述の実施の形態５では、動画データ２０１が印刷装置１１００内に記憶されていたが、通常の印刷動作と同様に、印刷装置とＰＣ（情報処理装置）とを接続し、そのＰＣから動画ファイルと検索文字列を指示するようにしても良い。
【００５５】
図１４は、本発明の実施の形態６に係る印刷システムのハードウェア構成を示すブロック図である。尚、印刷装置１１００の構成は前述の図１１と同様であるため、その説明を省略する。
【００５６】
１４００は、この実施の形態６に係るパーソナルコンピュータ（ＰＣ）を示す。ＣＰＵ１４０１は、ＲＡＭ１４０２にロードされたプログラムを実行して、後述する各種処理を実行する。ＲＡＭ１４０２は、ＣＰＵ１４０１の制御の下に実行されるでプログラムを記憶したり、またプログラムの実行時に各種データを記憶するワークエリアを提供している。ＨＤＤ１４０３はハードディスク等の大容量記憶装置で、ＯＳや各種アプリケーションプログラムがインストールされており、実行時にそのプログラムがＲＡＭ１４０２にロードされてＣＰＵ１４０１により実行される。又このＨＤＤ１４０３は、動画や静止画などの画像データも記憶している。通信インターフェース１４０４は、ＵＳＢ等の有線通信のインターフェース或はBluetooth等の無線インターフェースを有している。ＵＩ（ユーザインターフェース）１４０５は表示部や操作部を有し、ユーザへのメッセージの表示やユーザよりのコマンドの入力などを行っている。
【００５７】
図１５は、本発明の実施の形態６に係るソフトウェアモジュールの構成を示すブロック図である。
【００５８】
ＰＣ１４００において、１５０１は動画データである。１５０２は図１６に示すＵＩ１４０５を表示し、ユーザに検索する文字列や、検索対象の動画ファイルを選択させるＵＩ制御部である。データ送信部１５０３は、ＵＩ制御部１５０２の制御の下で入力された検索する文字列や動画データを、通信Ｉ／Ｆ１４０４を通じて印刷装置１１００に送信する。
【００５９】
ここで印刷装置１１００におけるソフトウェアモジュールの構成は、ＰＣ１４００からのデータを受信するデータ受信部１５５１を有する以外は、前述の図１５と同じである。データ受信部１５５１は、ＰＣ１４００から送信される動画ファイルと文字列とを通信Ｉ／Ｆ１１０４を通じて受信する。こうして受信した動画ファイルは、動画データ２０１として、印刷装置１１００のＨＤＤ１１０３或はＲＡＭ１１０２に記憶される。また検索対象の文字列は文字検知部２０３に送られる。
【００６０】
図１６は、本実施の形態６に係る画像処理装置におけるユーザインターフェース（ＵＩ）の一例を示す図である。
【００６１】
図において、１６０１は、検索対象の動画ファイルを選択するためのウインドウである。このウインドウ１６０１には、例えばＨＤＤ１４０３に記憶されている動画ファイルが一覧表示される。１６０２は、検索対象の文字列を入力する入力欄である。こうしてウインドウ１６０１で選択された動画ファイルにおける、この欄１６０２に入力された文字列を含むフレームが検索される。
【００６２】
図１７は、本発明の実施の形態６に係るＰＣ１４００の処理を示すフローチャートである。この処理を実行するプログラムは、実行時にＲＡＭ１４０２に記憶されており、ＣＰＵ１４０１の制御の下に実行される。
【００６３】
まずステップＳ１０１で、図１６に示すようなＵＩ画面をＵＩ１４０５に表示する。次にステップＳ１０２に進み、図１６に示す画面を使用して入力される動画ファイルの指定情報及び文字列を入力する。次にステップＳ１０３に進み、ステップＳ１０２で指示された動画ファイルを取得し、同じくステップＳ１０２で入力された検索対象文字列と共に、印刷装置１１００に送信する。
【００６４】
図１８は、本実施の形態６に係る印刷装置１１００において動画ファイルからフレームを切り出す処理を説明するフローチャートである。尚、この処理を実行するプログラムは実行時にはＲＡＭ１１０２に記憶されており、ＣＰＵ１１０１の制御の下に実行される。またこの図１８のフローチャートにおいて、ステップＳ１１２〜Ｓ１２１は、図４のステップＳ２〜Ｓ１１と同じであるため、その説明を省略する。
【００６５】
まずステップＳ１１１で、検索対象の文字列と動画ファイルとをＰＣ１４００から受信する。次にステップＳ１３１で、ＰＣ１４００から受信した動画ファイルをＲＡＭ１１０２或はＨＤＤ１１０３に動画データ２０１として保存する。そしてステップＳ１１２以降の処理（図２のステップＳ２〜Ｓ１１の処理と同じ）を実行して、その指示された動画ファイルの中から、その指定された検索対象の文字列を含むフレームを取り出すことができる。
【００６６】
上述の実施の形態５，６はそれぞれ単独で実施されても良く、或は適宜組み合わせて実行されても良い。更にこの実施の形態５，６の構成に、前述の実施の形態２〜４のいずれかに係る構成を追加しても良い。
【００６７】
（他の実施形態）
以上、本発明の実施形態について詳述したが、本発明は、複数の機器から構成されるシステムに適用しても良いし、また一つの機器からなる装置に適用しても良い。
【００６８】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを読み出して実行することによっても達成され得る。その場合、プログラムの機能を有していれば、形態は、プログラムである必要はない。
【００６９】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明のクレームでは、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００７０】
プログラムを供給するための記録媒体としては、様々なものが使用できる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。
【００７１】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページからハードディスク等の記録媒体にダウンロードすることによっても供給できる。その場合、ダウンロードされるのは、本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明のクレームに含まれるものである。
【００７２】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布する形態としても良い。その場合、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムが実行可能な形式でコンピュータにインストールされるようにする。
【００７３】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される形態以外の形態でも実現可能である。例えば、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００７４】
更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれるようにしてもよい。この場合、その後で、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００７５】
【図１】本発明の実施の形態に係る画像処理装置のハードウェア構成を示すブロック図である。
【図２】本実施の形態に係る画像処理装置で実行されるソフトウェアモジュールの構成を説明するブロック図である。
【図３】本実施の形態に係る画像処理装置におけるユーザインターフェース（ＵＩ）の一例を示す図である。
【図４】本実施の形態１に係る画像処理装置において動画ファイルからフレームを切り出す処理を説明するフローチャートである。
【図５】本発明の実施の形態２に係る画像処理装置のＵＩの一例を示す図である。
【図６】本実施の形態２に係る画像処理装置において動画ファイルからフレームを切り出す処理を説明するフローチャートである。
【図７】本発明の実施の形態３に係る画像処理装置のＵＩの一例を示す図である。
【図８】本実施の形態３に係る画像処理装置において動画ファイルからフレームを切り出す処理を説明するフローチャートである。
【図９】本発明の実施の形態４に係る画像処理装置のＵＩの一例を示す図である。
【図１０】本実施の形態４に係る画像処理装置において動画ファイルからフレームを切り出す処理を説明するフローチャートである。
【図１１】本発明の実施の形態５に係る画像処理装置の一例である印刷装置のハードウェア構成を示すブロック図である。
【図１２】本実施の形態５に係る印刷装置で実行されるソフトウェアモジュールの構成を説明するブロック図である。
【図１３】本実施の形態５に係る画像処理装置において動画ファイルからフレームを切り出す処理を説明するフローチャートである。
【図１４】本発明の実施の形態６に係る印刷システムのハードウェア構成を示すブロック図である。
【図１５】本発明の実施の形態６に係るソフトウェアモジュールの構成を示すブロック図である。
【図１６】本実施の形態６に係る画像処理装置におけるユーザインターフェース（ＵＩ）の一例を示す図である。
【図１７】本発明の実施の形態６に係るＰＣによる処理を示すフローチャートである。
【図１８】本実施の形態６に係る印刷装置においてＰＣから動画ファイルと検索文字列を受信してフレームを切り出す処理を説明するフローチャートである。
【特許請求の範囲】
【請求項１】
検索対象の文字列を入力する文字列入力手段と、
複数のフレームを含む動画データの中から前記文字入力手段で入力された文字列が存在するフレームを検索する検索手段と、
前記検索手段で検索されたフレームにおいて、前記文字列の位置が等しいフレームが予め定められた量連続している場合に、当該文字列を含むフレームを静止画データとして切り出す画像切り出し手段と、
を有することを特徴とする画像検索装置。
【請求項２】
検索対象の動画データを指定する動画データ指定手段を更に有することを特徴とする請求項１に記載の画像検索装置。
【請求項３】
前記予め定められた量は、フレーム数であることを特徴とする請求項１又は２に記載の画像検索装置。
【請求項４】
前記動画データ中の各フレームにおける検索対象エリアを指定するエリア指定手段を更に備え、前記検索手段は、前記複数のフレームの中から、エリア指定手段により指定されたエリア内に前記文字列が存在するフレームを検索することを特徴とする請求項１乃至３のいずれか１項に記載の画像検索装置。
【請求項５】
前記検索手段により検索され、前記文字列の位置が等しい連続する複数フレームの中から前記画像切り出し手段により切り出すための切り出し対象となるフレームを選択する選択手段を更に有し、前記画像切り出し手段は、前記連続する複数フレームの中から前記選択手段により選択されたフレームを切り出すことを特徴とする請求項１乃至４のいずれか１項に記載の画像検索装置。
【請求項６】
前記画像切り出し手段により切り出されたフレームの画像を印刷する印刷手段を更に有することを特徴とする請求項１乃至５のいずれか１項に記載の画像検索装置。
【請求項７】
検索対象の文字列を入力する文字列入力工程と、
複数のフレームを含む動画データの中から前記文字列入力工程で入力された文字列が存在するフレームを検索する検索工程と、
前記検索工程で検索されたフレームにおいて、前記文字列の位置が等しいフレームが予め定められた量連続している場合に、当該文字列を含むフレームを静止画データとして切り出す画像切り出し工程と、
を有することを特徴とする画像検索方法。
【請求項８】
検索対象の動画データを指定する動画データ指定工程を更に有することを特徴とする請求項７に記載の画像検索方法。
【請求項９】
前記予め定められた量は、フレーム数であることを特徴とする請求項７又は８に記載の画像検索方法。
【請求項１０】
前記動画データ中の各フレームにおける検索対象エリアを指定するエリア指定工程を更に備え、前記検索工程は、前記複数のフレームの中から、前記エリア指定工程で指定されたエリア内に前記文字列が存在するフレームを検索することを特徴とする請求項７乃至９のいずれか１項に記載の画像検索方法。
【請求項１１】
前記検索工程で検索され、前記文字列の位置が等しい連続する複数フレームの中から前記画像切り出し工程で切り出すための切り出し対象となるフレームを選択する選択工程を更に有し、前記画像切り出し工程は、前記連続する複数フレームの中から前記選択工程により選択されたフレームを切り出すことを特徴とする請求項７乃至１０のいずれか１項に記載の画像検索方法。
【請求項１２】
前記画像切り出し工程で切り出されたフレームの画像を印刷する印刷工程を更に有することを特徴とする請求項７乃至１１のいずれか１項に記載の画像検索方法。
【請求項１】
検索対象の文字列を入力する文字列入力手段と、
複数のフレームを含む動画データの中から前記文字入力手段で入力された文字列が存在するフレームを検索する検索手段と、
前記検索手段で検索されたフレームにおいて、前記文字列の位置が等しいフレームが予め定められた量連続している場合に、当該文字列を含むフレームを静止画データとして切り出す画像切り出し手段と、
を有することを特徴とする画像検索装置。
【請求項２】
検索対象の動画データを指定する動画データ指定手段を更に有することを特徴とする請求項１に記載の画像検索装置。
【請求項３】
前記予め定められた量は、フレーム数であることを特徴とする請求項１又は２に記載の画像検索装置。
【請求項４】
前記動画データ中の各フレームにおける検索対象エリアを指定するエリア指定手段を更に備え、前記検索手段は、前記複数のフレームの中から、エリア指定手段により指定されたエリア内に前記文字列が存在するフレームを検索することを特徴とする請求項１乃至３のいずれか１項に記載の画像検索装置。
【請求項５】
前記検索手段により検索され、前記文字列の位置が等しい連続する複数フレームの中から前記画像切り出し手段により切り出すための切り出し対象となるフレームを選択する選択手段を更に有し、前記画像切り出し手段は、前記連続する複数フレームの中から前記選択手段により選択されたフレームを切り出すことを特徴とする請求項１乃至４のいずれか１項に記載の画像検索装置。
【請求項６】
前記画像切り出し手段により切り出されたフレームの画像を印刷する印刷手段を更に有することを特徴とする請求項１乃至５のいずれか１項に記載の画像検索装置。
【請求項７】
検索対象の文字列を入力する文字列入力工程と、
複数のフレームを含む動画データの中から前記文字列入力工程で入力された文字列が存在するフレームを検索する検索工程と、
前記検索工程で検索されたフレームにおいて、前記文字列の位置が等しいフレームが予め定められた量連続している場合に、当該文字列を含むフレームを静止画データとして切り出す画像切り出し工程と、
を有することを特徴とする画像検索方法。
【請求項８】
検索対象の動画データを指定する動画データ指定工程を更に有することを特徴とする請求項７に記載の画像検索方法。
【請求項９】
前記予め定められた量は、フレーム数であることを特徴とする請求項７又は８に記載の画像検索方法。
【請求項１０】
前記動画データ中の各フレームにおける検索対象エリアを指定するエリア指定工程を更に備え、前記検索工程は、前記複数のフレームの中から、前記エリア指定工程で指定されたエリア内に前記文字列が存在するフレームを検索することを特徴とする請求項７乃至９のいずれか１項に記載の画像検索方法。
【請求項１１】
前記検索工程で検索され、前記文字列の位置が等しい連続する複数フレームの中から前記画像切り出し工程で切り出すための切り出し対象となるフレームを選択する選択工程を更に有し、前記画像切り出し工程は、前記連続する複数フレームの中から前記選択工程により選択されたフレームを切り出すことを特徴とする請求項７乃至１０のいずれか１項に記載の画像検索方法。
【請求項１２】
前記画像切り出し工程で切り出されたフレームの画像を印刷する印刷工程を更に有することを特徴とする請求項７乃至１１のいずれか１項に記載の画像検索方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００８−１３００５０（Ｐ２００８−１３００５０Ａ）
【公開日】平成２０年６月５日（２００８．６．５）
【国際特許分類】
【出願番号】特願２００６−３１７７６８（Ｐ２００６−３１７７６８）
【出願日】平成１８年１１月２４日（２００６．１１．２４）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２０年６月５日（２００８．６．５）
【国際特許分類】
【出願日】平成１８年１１月２４日（２００６．１１．２４）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]