説明

画像処理システム、画像処理装置、画像処理方法および画像処理プログラム

【課題】 構造化文書に含まれる動画像が失われることなく画像を形成すること。
【解決手段】 MFPは、画像形成時において、PCからプリントデータと動画像を受信し、動画像を第2動画像識別情報と関連付けて記憶し、プリントデータに含まれる静止画像に、記憶された動画像の第2動画像識別情報と、プリントデータに含まれる位置情報とを埋め込み、静止画像を用紙に形成する。さらに、MFP100は、画像読取時において、用紙に形成された静止画像を読み取り(S71)、読み取られた静止画像から第2動画像識別情報と位置情報とを抽出し(S73、S75)、抽出された第2動画像識別情報で特定される動画像を取得し(S74)、静止画像の位置情報で特定される位置に動画像が表示されるように静止画像に動画像を関連付けた構造化文書を生成する(S89)。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、画像処理システム、画像処理装置、画像処理方法および画像処理プログラムに関し、特に、構造化文書を処理する画像処理システム、画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【0002】
近年、動画像を埋め込むことが可能な構造化文書が知られている。構造化文書は、HTML(HyperText Markup Language)またはXML(Extensible Markup Language)等のマークアップ言語で記述されたものや、PDF(Portable Document Format)で記述されたものがある。この構造化文書は、動画像を含むために、ディスプレイに表示することができるが、用紙などの記録媒体に画像として形成することができない。特開2007−80154号公報には、構造化文書に含まれる動画又はアニメーションの1フレームを静止画に変換して描画可能な構造化文書描画装置において、静止画に変換可能な少なくとも1つのフレーム位置又はフレーム範囲を構造化文書中に記述し、そのフレーム位置又はフレーム範囲の中から任意のフレームを選択して静止画に変換し、描画することを特徴とする構造化文書描画装置が記載されている。
【0003】
しかしながら、構造化文書が描画された用紙は、動画像に含まれる複数のフレームのうちの1つのフレームのみが描画されるので、動画像の他のフレームが失われてしまうといった問題がある。
【0004】
一方、特開2007−83663号公報には、記憶媒体が搭載された画像形成媒体に画像を形成する画像形成装置であって、前記記憶媒体に動画データを書き込む動画データ書込み手段と、前記動画データから所定の静止画像を切り出す静止画像切出し手段と、前記静止画像切出し手段により切り出した静止画像を前記画像形成媒体上に形成する画像生成手段とを具備することを特徴とする画像形成装置が記載されている。
【0005】
しかしながら、動画像を用紙に搭載された記録媒体に記憶するため、動画像が失われることはないが、記録媒体が搭載された特殊な用紙を使用しなければならず、コストが高くなってしまうといった問題がある。
【特許文献1】特開2007−80154号公報
【特許文献2】特開2007−83663号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
この発明は上述した問題点を解決するためになされたもので、この発明の目的の1つは、構造化文書に含まれる動画像が失われることなく構造化文書の画像を形成することが可能な画像処理システムを提供することである。
【0007】
この発明の他の目的は、構造化文書に含まれる動画像が失われることなく構造化文書の画像を形成することが可能な画像処理装置を提供することである。
【0008】
この発明のさらに他の目的は、構造化文書に含まれる動画像が失われることなく構造化文書の画像を形成することが可能な画像処理方法を提供することである。
【0009】
この発明のさらに他の目的は、構造化文書に含まれる動画像が失われることなく構造化文書の画像を形成することが可能な画像処理プログラムを提供することである。
【課題を解決するための手段】
【0010】
上述した目的を達成するためにこの発明のある局面によれば、画像処理システムは、画像処理装置と、該画像処理装置を制御する制御装置とを含む画像処理システムであって、制御装置は、動画像を含む構造化文書を取得する構造化文書取得手段と、取得された構造化文書を表示した表示画像中の動画像が表示される位置に、動画像に含まれる複数のフレームのうちから選ばれた1つのフレームを配置した静止画像と、フレームが静止画像中に配置された位置を示す位置情報と、動画像を識別するための動画像識別情報とを含むプリントデータを生成するプリントデータ生成手段と、生成されたプリントデータと動画像とを画像処理装置に送信する送信手段と、を備え、画像処理装置は、画像形成時において、制御装置からプリントデータと動画像を受信する受信手段と、受信された動画像をプリントデータに含まれる動画像識別情報と関連付けて記憶する記憶手段と、受信されたプリントデータに含まれる静止画像に、記憶された動画像の動画像識別情報と、受信されたプリントデータに含まれる位置情報とを埋め込む埋込手段と、静止画像を記録媒体に形成する画像形成手段と、を備え、画像読取時において、記録媒体に形成された静止画像を読み取る読取手段と、読み取られた静止画像から動画像識別情報と位置情報とを抽出する抽出手段と、抽出された動画像識別情報で特定される動画像を取得する動画像取得手段と、読み取られた静止画像の抽出された位置情報で特定される位置に取得された動画像が表示されるように静止画像に動画像を関連付けた構造化文書を生成する再構成手段と、を備える。
【0011】
この局面に従えば、画像処理装置が画像形成時において、制御装置からプリントデータと動画像が受信され、受信された動画像がプリントデータに含まれる動画像識別情報と関連付けて記憶され、受信されたプリントデータに含まれる静止画像に、記憶された動画像の動画像識別情報と、受信されたプリントデータに含まれる位置情報とが埋め込まれ、静止画像が記録媒体に形成される。さらに、画像読取時において、記録媒体に形成された静止画像が読み取られ、読み取られた静止画像から動画像識別情報と位置情報とが抽出され、抽出された動画像識別情報で特定される動画像が取得され、読み取られた静止画像の抽出された位置情報で特定される位置に取得された動画像が表示されるように静止画像に動画像を関連付けた構造化文書が生成される。このため、構造化文書に含まれる動画像が失われることなく構造化文書の画像を形成することが可能な画像処理システムを提供することができる。
【0012】
好ましくは、制御装置は、動画像のうちから1つのフレームを選択する指示を受け付ける選択指示受付手段をさらに備え、プリントデータ生成手段は、取得された構造化文書を表示した表示画像中の動画像が表示される位置に、動画像に含まれる複数のフレームのうち受け付けられた指示で選択されるフレームを配置した静止画像を含むプリントデータを生成する、好ましくは、プリントデータ生成手段は、取得された構造化文書において動画像の再生を開始する開始フレームが設定されている場合、動画像に含まれる複数のフレームのうち開始フレームを配置した静止画像を含むプリントデータを生成する。
【0013】
好ましくは、プリントデータ生成手段は、静止画像に配置されたフレームを特定するフレーム識別情報をさらに含むプリントデータを生成し、埋込手段は、受信されたプリントデータに含まれる静止画像に、受信されたプリントデータに含まれるフレーム識別情報をさらに埋め込み、抽出手段は、読み取られた静止画像からフレーム識別情報をさらに抽出し、再構成手段は、生成された構造化文書が表示される際に、動画像が抽出されたフレーム識別情報で特定されるフレームから再生されるように開始フレームを設定する設定手段を含む。
【0014】
好ましくは、再構成手段は、動画像を表示するための表示設定を受け付ける表示設定受付手段と、生成された構造化文書が表示される際に、動画像が受け付けられた表示設定により特定されるフレームから再生されるように開始フレームを設定する設定手段と、を含む。
【0015】
好ましくは、再構成手段は、動画像を表示するための表示設定を受け付ける表示設定受付手段と、受け付けられた表示設定に従って動画像が再生されるように動画像を変更する変更手段と、を含む。
【0016】
この発明の他の局面によれば、画像処理装置は、動画像を含む構造化文書を取得する構造化文書取得手段と、取得された構造化文書に含まれる動画像を該動画像を識別するための動画像識別情報を付与して記憶する記憶手段と、取得された構造化文書を表示した表示画像中の動画像が表示される位置に、動画像に含まれる複数のフレームのうちから選ばれた1つのフレームを配置した静止画像を生成する静止画像生成手段と、生成された静止画像に、動画像識別情報と、フレームが静止画像中に配置された位置を示す位置情報とを埋め込む埋込手段と、静止画像を記録媒体に形成する画像形成手段と、記録媒体に形成された静止画像を読み取る読取手段と、読み取られた静止画像から動画像識別情報と位置情報とを抽出する抽出手段と、抽出された動画像識別情報で特定される動画像を取得する動画像取得手段と、読み取られた静止画像の抽出された位置情報で特定される位置に取得された動画像が表示されるように静止画像に動画像を関連付けた構造化文書を生成する再構成手段と、を備える。
【0017】
この局面に従えば、構造化文書に含まれる動画像が失われることなく構造化文書の画像を形成することが可能な画像処理装置を提供することができる。
【0018】
好ましくは、動画像のうちから1つのフレームを選択する指示を受け付ける選択指示受付手段をさらに備え、静止画像生成手段は、取得された構造化文書を表示した表示画像中の動画像が表示される位置に、動画像に含まれる複数のフレームのうち受け付けられた指示で選択されるフレームを配置した静止画像を生成する。
【0019】
好ましくは、静止画像生成手段は、取得された構造化文書において動画像の再生を開始する開始フレームが設定されている場合、動画像に含まれる複数のフレームのうち開始フレームを配置した静止画像を生成する。
【0020】
好ましくは、埋込手段は、生成された静止画像に、該静止画像に配置されたフレームを特定するフレーム識別情報をさらに埋め込み、抽出手段は、読み取られた静止画像からフレーム識別情報をさらに抽出し、再構成手段は、生成された構造化文書が表示される際に、動画像が抽出されたフレーム識別情報で特定されるフレームから再生されるように開始フレームを設定する設定手段を含む。
【0021】
好ましくは、再構成手段は、動画像を表示するための表示設定を受け付ける表示設定受付手段と、生成された構造化文書が表示される際に、動画像が受け付けられた表示設定により特定されるフレームから再生されるように開始フレームを設定する設定手段とを含む。
【0022】
好ましくは、再構成手段は、動画像を表示するための表示設定を受け付ける表示設定受付手段と、受け付けられた表示設定に従って動画像が再生されるように動画像を変更する変更手段と、を含む請求項7に記載の画像処理装置。
【0023】
この発明のさらに他の局面によれば、画像処理方法は、動画像を含む構造化文書を取得するステップと、取得された構造化文書に含まれる動画像を記憶するステップと、取得された構造化文書を表示した表示画像中の動画像が表示される位置に、動画像に含まれる複数のフレームのうちから選ばれた1つのフレームを配置した静止画像を生成するステップと、生成された静止画像に、動画像識別情報と、フレームが静止画像中に配置された位置を示す位置情報とを埋め込むステップと、静止画像を記録媒体に形成するステップと、記録媒体に形成された静止画像を読み取るステップと、読み取られた静止画像から動画像識別情報と位置情報とを抽出するステップと、抽出された動画像識別情報で特定される動画像を取得するステップと、読み取られた静止画像の抽出された位置情報で特定される位置に取得された動画像が表示されるように静止画像に動画像を関連付けた構造化文書を生成するステップと、を含む。
【0024】
この局面に従えば、構造化文書に含まれる動画像が失われることなく構造化文書の画像を形成することが可能な画像処理方法を提供することができる。
【0025】
この発明のさらに他の局面によれば、画像処理プログラムは、動画像を含む構造化文書を取得するステップと、取得された構造化文書に含まれる動画像を記憶するステップと、取得された構造化文書を表示した表示画像中の動画像が表示される位置に、動画像に含まれる複数のフレームのうちから選ばれた1つのフレームを配置した静止画像を生成するステップと、生成された静止画像に、動画像識別情報と、フレームが静止画像中に配置された位置を示す位置情報とを埋め込むステップと、静止画像を記録媒体に形成するステップと、記録媒体に形成された静止画像を読み取るステップと、読み取られた静止画像から動画像識別情報と位置情報とを抽出するステップと、抽出された動画像識別情報で特定される動画像を取得するステップと、読み取られた静止画像の抽出された位置情報で特定される位置に取得された動画像が表示されるように前期静止画像に動画像を関連付けた構造化文書を生成するステップと、をコンピュータに実行させる。
【0026】
この局面に従えば、構造化文書に含まれる動画像が失われることなく構造化文書の画像を形成することが可能な画像処理プログラムを提供することができる。
【発明を実施するための最良の形態】
【0027】
以下、本発明の実施の形態について図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
【0028】
図1は、本発明の実施の形態の1つにおける画像処理システムの全体概要を示す図である。図1を参照して、画像処理システム1は、それぞれがネットワーク2に接続され、画像処理装置として機能するMFP(Multi Function Peripheral)100,101,102と、MFP100,101,102を制御する制御装置として機能するパーソナルコンピュータ(以下「PC」という)200とを含む。
【0029】
ネットワーク2は、ローカルエリアネットワーク(LAN)であり、インターネットにゲートウェイを介して接続されている。ネットワーク2の接続形態は有線または無線を問わない。またネットワーク2は、LANに限らず、公衆交換電話網(Public Switched Telephone Networks)を用いたネットワーク、ワイドエリアネットワーク(WAN)、インターネットであってもよい。
【0030】
PC200は、一般的なコンピュータであり、PC200には、MFP100,101,102を制御するためのドライバプログラムと、Webサーバに記憶されたWebページをダウンロードするためのブラウジングプログラムとがインストールされている。このため、PC200は、プリントデータをMFP100,101,102のいずれかに送信し、そのプリントデータの画像を形成させることができる。また、PC200は、インターネットに接続されたWebサーバからHTMLまたはXML等のマークアップ言語で記述されたWebページ、またはPDFのフォーマットのデータをダウンロードし、表示またはプリント等の処理をすることができる。マークアップ言語で記述されたWebページ、またはPDFのフォーマットのデータは、構造化文書である。また、PC200が処理可能な構造化文書は、マークアップ言語で記述されたWebページ、PDF(Portable Document Format)に限らず、例えば、XPS(XML Paper Specification)等のフォーマットのデータを含む。
【0031】
MFP100,101,102各々は、原稿を読取るためのスキャナ装置、画像データに基づいて紙などの記録媒体に画像を形成するための画像形成装置およびファクシミリ装置を含み、画像読取機能、複写機能、ファクシミリ送受信機能を備えている。また、MFP100,101,102は、構成及び機能が同じなので以下の説明では特に言及しない限りMFP100を例に説明する。
【0032】
図2は、MFPの外観を示す斜視図である。図3は、MFPのハードウェア構成の一例を示すブロック図である。図2および図3を参照して、MFP100は、メイン回路110と、原稿を読み取るための原稿読取部130と、原稿を原稿読取部130に搬送するための自動原稿搬送装置120と、原稿読取部130が原稿を読み取って出力する静止画像を用紙等に形成するための画像形成部140と、画像形成部140に用紙を供給するための給紙部150と、ユーザインターフェースとしての操作パネル160と、を含む。メイン回路110は、CPU111と、通信インターフェース(I/F)部112と、ROM113と、RAM114と、EEPROM(Electronically Erasable and Programmable ROM)115と、大容量記憶装置としてのハードディスクドライブ(HDD)116と、ファクシミリ部117と、フラッシュメモリ118Aが装着されるカードインターフェース(I/F)118とを含む。CPU111は、自動原稿搬送装置120、原稿読取部130、画像形成部140、給紙部150および操作パネル160と接続され、MFP100の全体を制御する。
【0033】
ROM113は、CPU111が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。RAM114は、CPU111がプログラムを実行する際の作業領域として用いられる。また、RAM114は、原稿読取部130から連続的に送られてくる静止画像を一時的に記憶する。
【0034】
操作パネル160は、MFP100の上面に設けられ、表示部160Aと操作部160Bとを含む。表示部160Aは、液晶表示装置(LCD)、有機ELD(Electroluminescence Display)等の表示装置であり、ユーザに対する指示メニューや取得した画像データに関する情報等を表示する。操作部160Bは、複数のキーを備え、キーに対応するユーザの操作による各種の指示、文字、数字などのデータの入力を受付ける。操作部160Bは、表示部160A上に設けられたタッチパネルをさらに含む。
【0035】
通信I/F部112は、MFP100をネットワーク2に接続するためのインターフェースである。CPU111は、通信I/F部112を介してMFP101,102またはPC200との間で通信し、データを送受信する。また、通信I/F部112は、ネットワーク2を介してインターネットに接続されたコンピュータと通信が可能である。
【0036】
ファクシミリ部117は、公衆交換電話網(PSTN)に接続され、PSTNにファクシミリデータを送信する、またはPSTNからファクシミリデータを受信する。ファクシミリ部117は、受信したファクシミリデータを、HDD116に記憶する、または画像形成部140に出力する。画像形成部140は、ファクシミリ部117により受信されたファクシミリデータを用紙に印刷する。また、ファクシミリ部117は、HDD116に記憶されたデータをファクシミリデータに変換して、PSTNに接続されたファクシミリ装置に送信する。
【0037】
カードI/F118は、フラッシュメモリ118Aが装着される。CPU111は、カードI/F118を介してフラッシュメモリ118Aにアクセス可能である。CPU111は、カードI/F118に装着されたフラッシュメモリ118Aに記録されたプログラムをRAM114にロードして実行する。なお、CPU111が実行するプログラムは、フラッシュメモリ118Aに記録されたプログラムに限られず、HDD116に記憶されたプログラムをRAM114にロードして実行するようにしてもよい。この場合、ネットワーク2に接続された他のコンピュータが、MFP100のHDD116に記憶されたプログラムを書換える、または、新たなプログラムを追加して書き込むようにしてもよい。さらに、MFP100が、ネットワーク2に接続された他のコンピュータからプログラムをダウンロードして、そのプログラムをHDD116に記憶するようにしてもよい。ここでいうプログラムは、CPU111が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【0038】
図4は、PCのハードウェア構成の一例を示すブロック図である。図4を参照して、PC200は、PC200の全体を制御するためのCPU201と、CPU201が実行するプログラム等を記憶するためのROM202と、CPU201の作業領域として用いられるRAM203と、PC200をネットワーク2に接続するためのネットワークI/F204と、大容量記憶装置としてのHDD205と、表示部206と、ユーザの操作の入力を受付ける操作部207とを含む。
【0039】
図5は、PCが備えるCPUが有する機能の一例を示す機能ブロック図である。図5を参照して、PC200が備えるCPU201は、構造化文書を取得する構造化文書取得部211と、構造化文書に基づいてプリントデータを生成するプリントデータ生成部215と、プリントデータをMFP100,101,102のいずれかに送信するプリントデータ送信部217と、構造化文書から動画像を抽出する動画像抽出部219と、動画像をMFP100,101,102のいずれかに送信する動画像送信部221と、動画像のうちから1つのフレームを選択する指示を受け付ける選択指示受付部213と、を含む。
【0040】
構造化文書取得部211は、ユーザが操作部207に入力するプリント操作に従って、構造化文書を特定し、特定された構造化文書を取得する。例えば、HDD205に記憶された構造化文書をプリントする操作が受付られた場合、HDD205に記憶された構造化文書を読み出すことにより、取得する。また、ブラウジングプログラムが実行されている場合に、WebサーバからダウンロードされたWebページをプリントする操作が受け付けられた場合、ダウンロードされてRAM203に一時記憶されているWebページを取得する。構造化文書取得部211は、取得された構造化文書をプリントデータ生成部215および動画像抽出部219に出力する。
【0041】
動画像抽出部219は、構造化文書取得部211から入力される構造化文書が、動画像を含む場合、構造化文書から動画像を抽出する。また、動画像抽出部219は、構造化文書取得部211から入力される構造化文書が動画像をリンクしている場合、リンクされている動画像を、取得する。構造化文書が動画像をリンクしている場合、構造化文書は、動画像が記憶されているネットワーク上の位置を示す位置情報、例えば、ファイル名またはURL(Uniform Resource Locator)を含む。動画像抽出部219は、構造化文書に含まれる位置情報に記憶されている動画像を取得する。たとえば、位置情報が、インターネットに接続されているサーバに記憶されている動画像のURLを示す場合、ネットワークI/F204を介してサーバからそのURLで特定される動画像をダウンロードする。動画像抽出部219は、構造化文書から抽出された動画像、または、構造化文書に含まれる位置情報に基づいて取得された動画像に、その動画像を識別するための動画像識別情報を付与する。そして、動画像と動画像識別情報との組を、動画像送信部221に出力する。動画像識別情報は、PC200内で識別可能情報であればよく、例えば、ファイル名である。さらに、動画像抽出部219は、動画像識別情報と、その動画像が構造化文書を表示した表示画像中で表示される位置を示す位置情報との組を、プリントデータ生成部215に出力する。位置情報は、構造化文書を表示した表示画像中の矩形の領域を特定する情報であり、例えば、矩形の2つの対角の座標とすればよい。
【0042】
動画像抽出部219は、構造化文書が、複数の動画像を含む場合、複数の動画像をそれぞれ抽出し、複数の動画像それぞれについて、動画像と動画像識別情報との組を、動画像送信部221に出力し、動画像識別情報と位置情報との組をプリントデータ生成部215に出力する。
【0043】
プリントデータ生成部215は、構造化文書取得部211から入力される構造化文書に従ってプリントデータを生成し、生成されたプリントデータをプリントデータ送信部217に出力する。具体的には、プリントデータ生成部215は、動画像抽出部219から動画像識別情報と位置情報との組が入力される。プリントデータ生成部215は、まず、構造化文書を表示した表示画像中であって、動画像抽出部219から入力される組に含まれる位置情報で特定される位置に、動画像抽出部219から入力される組に含まれる動画像識別情報で特定される動画像に含まれる複数のフレームのうちから選択された1つのフレームを配置した静止画像を生成する。したがって、動画像抽出部219から入力される動画像識別情報と位置情報との組に含まれる位置情報は、静止画像中でフレームが配置される位置を示す。
【0044】
プリントデータ生成部215は、動画像抽出部219から動画像識別情報と位置情報との組が複数入力される場合、組ごとに構造化文書を表示した表示画像中の位置情報で特定される位置に、動画像識別情報で特定される動画像に含まれる複数のフレームのうちから選択された1つのフレームを配置した静止画像を生成する。
【0045】
プリントデータ生成部215は、動画像に含まれる複数のフレームのうちからいずれのフレームを選択するかは、構造化文書が、動画像の再生を開始する開始フレームを特定するためのフレーム識別情報を含む場合、該フレーム識別情報で特定されるフレームを選択する。フレーム識別情報は、動画像に含まれる複数のフレームそれぞれを識別するための情報である。また、後述する選択指示受付部213からユーザにより選択されたフレームのフレーム識別情報が入力される場合には、構造化文書にフレーム識別情報が含まれているか否かにかかわらず、選択指示受付部213から入力されるフレーム識別情報で特定されるフレームを選択する。構造化文書にフレーム識別情報が含まれておらず、かつ、選択指示受付部213からフレーム識別情報が入力されない場合、プリントデータ生成部215は、動画像に含まれる複数のフレームのうち最初の第1番目のフレームを選択する。プリントデータ生成部215は、動画像抽出部219から動画像識別情報と位置情報との組が複数入力される場合、複数の組にそれぞれ含まれる複数の動画ごとに、フレームを選択する。
【0046】
さらに、プリントデータ生成部215は、生成された静止画像と、動画像抽出部219から入力される動画像識別情報と位置情報との組を含むプリントデータを生成する。動画像抽出部219から複数の組が入力される場合、複数の組それぞれに含まれる位置情報および動画像識別情報を含むプリントデータを生成する。また、ここでのプリントデータは、PDL(Page Description Language)等のMFP100,101,102のいずれかにおいて解釈可能なプリントするためのビットマップイメージを作成するための言語で記述される。
【0047】
また、プリントデータ生成部215は、構造化文書にフレーム識別情報が含まれている場合、または、選択指示受付部213からフレーム識別情報が入力される場合は、そのフレーム識別情報をさらに含むプリントデータを生成する。フレーム情報は、動画像抽出部219から組と関連付けて入力されるので、動画像抽出部219から複数の組が入力される場合、複数の組それぞれに含まれる位置情報および動画像識別情報と、その組に関連付けられたフレーム情報とが関連付けられたプリントデータを生成する。
【0048】
選択指示受付部213は、ユーザが操作部207に、動画像に含まれる複数のフレームのうちから1つを選択する操作を入力すると、動画像に含まれる複数のフレームのうちからユーザにより選択された1つのフレームのフレーム識別情報をプリントデータ生成部215に出力する。例えば、動画像を表示部206に表示し、ユーザが再生を停止する操作を選択する操作として受け付ける。再生を停止する操作を受け付ける時点に表示されているフレームのフレーム識別情報をプリントデータ生成部215に出力する。
【0049】
プリントデータ送信部217は、ユーザが操作部207で、MFP100,101,102のいずれかを指定する操作を入力すると、MFP100,101,102のうちから指定されたものに、プリントデータを送信する。ユーザがMFP100,101,102のいずれかを指定する操作および構造化文書を指定する操作は、構造化文書をプリントさせる操作の一部である。
【0050】
動画像送信部221は、MFP100,101,102のうちプリントデータを送信したものに、動画像抽出部219から入力される動画像を送信する。送信される動画像は、それに付された動画像識別情報、ここではファイル名がともに送信される。このため、MFP100,101,102のうちプリントデータおよび動画像を受信する装置は、受信されたプリントデータに含まれる動画像識別情報から、受信される動画像を特定することができる。特に、構造化文書が複数の動画像を含む場合、複数の動画像がMFP100,101,102のうちプリントデータを送信したものに送信されるが、MFP100,101,102のうちプリントデータを受信する装置は、プリントデータに含まれる複数の動画像識別情報から複数の動画像をそれぞれ特定することができる。
【0051】
図6は、MFPが備えるCPUが有する機能の一例を示す機能ブロック図である。図6を参照して、MFP100が備えるCPU111は、PC200からプリントデータを受信するプリントデータ受信部51と、PC200から動画像を受信する動画像受信部57と、受信された動画像を記憶する動画像記憶部59と、プリントデータに含まれる静止画像に動画像識別情報と位置情報とを埋め込む埋込部53と、静止画像を用紙に形成する画像形成制御部55と、原稿読取部130が原稿を読み取って出力する静止画像を取得する読取画像取得部61と、静止画像からそれに埋め込まれた情報を抽出する抽出部63と、抽出された情報に基づいて動画像を取得する動画像取得部65と、静止画像と動画像とから構造化文書を構成する再構成部67と、を含む。
【0052】
上述したようにPC200は、動画像を含む構造化文書をMFP100でプリントする指示が入力されると、プリントデータと動画像をMFP100に送信する。プリントデータ受信部51は、通信I/F部112がPC200から送信されてくるプリントデータを受信すると、そのプリントデータを取得し、取得されたプリントデータを埋込部53に出力する。このプリントデータは、上述したように、構造化文書を表示する表示画像に、動画像に含まれる複数のフレームのうちから選択された1つのフレームを、動画像が表示される位置に配置した静止画像と、静止画像中でフレームが配置される位置を示す位置情報と、動画像識別情報と、を含む。また、プリントデータは、静止画像に配置されるフレームを識別するためのフレーム識別情報を含む場合がある。
【0053】
動画像受信部57は、通信I/F部112がPC200から送信されてくる動画像と動画像識別情報とを受信すると、その動画像および動画像識別情報を取得し、取得された動画像および動画像識別情報を動画像記憶部59に出力する。なお、動画像受信部57が、プリントデータに含まれる動画像識別情報に基づいて、PC200から動画像をダウンロードするようにしてもよい。
【0054】
動画像記憶部59は、動画像受信部57から入力される動画像をそれとともに入力される動画像識別情報と関連付けてHDD116に記憶する。この時点で、動画像識別情報は、MFP100において別のデータと区別可能な情報である。動画像記憶部59は、記憶された動画像を識別するための動画像識別情報(例えば、ファイル名)を埋込部53に出力する。
【0055】
動画像記憶部59が埋込部53に出力する動画像識別情報は、プリントデータに含まれる動画像識別情報と同じである。このため、プリントデータに複数の動画像識別情報が含まれる場合があり、この場合には複数の動画像と動画像識別情報とがPC200から受信されるが、受信される複数の動画像それぞれは、それとともに受信される動画像識別情報によって、プリントデータに含まれる複数の動画像識別情報のいずれかに特定される。このため、HDD116に記憶される複数の動画像それぞれは、プリントデータに含まれる動画像識別情報により特定される。
【0056】
なお、ここでは、動画像をMFP100のHDD116に記憶するようにしたが、別のMFP101,102に記憶するようにしてもよいし、ネットワーク2に接続されたファイルサーバに記憶するようにしてもよい。この場合、動画像識別情報は、それが記憶される装置を識別するための装置識別情報、例えば、ネットワーク2におけるアドレス情報を含む。
【0057】
埋込部53は、プリントデータ受信部51から入力されるプリントデータのうちから静止画像と、動画像識別情報と、位置情報とを抽出する。また、プリントデータがフレーム識別情報を含む場合にはフレーム識別情報をさらに抽出する。そして、静止画像に、位置情報と、動画像識別情報と、を地紋情報として埋め込む。なお、プリントデータが複数の動画像識別情報と位置情報との組を含む場合、動画像識別情報と位置情報とを関連付けて埋め込む。
【0058】
また、プリントデータからフレーム識別情報が抽出される場合には、そのフレーム識別情報をさらに静止画像に埋め込む。なお、静止画像に、情報を埋め込む技術は、地紋の画像として埋め込むものに限定されず、電子透かし技術を用いても良いし、バーコードを追加してもよい。埋込部53は、位置情報、動画像識別情報、それがプリントデータに含まれる場合にはフレーム識別情報が埋め込まれた静止画像を画像形成制御部55に出力する。画像形成制御部55は、画像形成部140を制御して、埋込部53から入力される静止画像を用紙に形成させる。
【0059】
読取画像取得部61は、原稿読取部130が原稿を読み取って出力する静止画像を取得し、取得された静止画像を抽出部63および再構成部67に出力する。原稿読取部130が、画像形成部140により上記静止画像が形成された原稿を読み取る場合、原稿読取部130から取得される静止画像は、少なくとも位置情報と動画像識別情報とが埋め込まれている。また、静止画像は、フレーム識別情報が埋め込まれている場合がある。
【0060】
抽出部63は、入力される静止画像から、それに位置情報および動画像識別情報が埋め込まれているか否かを判断し、埋め込まれていればそれらを静止画像から抽出し、抽出された動画像識別情報を動画像取得部65に出力し、抽出された動画像識別情報と位置情報との組を再構成部67に出力する。また、抽出部63は、静止画像にフレーム識別情報が埋め込まれている場合、それを静止画像から抽出し、抽出されたフレーム識別情報を再構成部67に出力する。抽出部63は、静止画像から複数の動画像識別情報が抽出される場合、複数の動画像識別情報それぞれについて、動画像識別情報と、その動画像識別情報と関連付けられた位置情報と、それが抽出される場合にはフレーム識別情報との組を再構成部67に出力する。
【0061】
動画像取得部65は、抽出部63から入力される動画像識別情報で特定される動画像を、HDD116から読出し、読み出された動画像と動画像識別情報との組を再構成部67に出力する。
【0062】
再構成部67は、読取画像取得部61から入力される静止画像、動画像取得部65から入力される動画像と動画像識別情報との組、および抽出部63から入力される動画像識別情報、位置情報およびフレーム識別情報との組に基づいて構造化文書を生成する。具体的には、静止画像の位置情報で特定される位置に、動画像識別情報で特定される動画像が表示されるように設定した構造化文書を生成する。位置情報で特定される位置に動画像を含む構造化文書を生成してもよいし、動画像をリンクする構造化文書を生成するようにしてもよい。また、再構成部67は、抽出部63からフレーム識別情報が入力される場合には、そのフレーム識別情報をさらに用いて構造化文書を生成する。具体的には、生成された構造化文書が表示される際に、動画像がフレーム識別情報で特定されるフレームから再生されるように構造化文書を設定する。
【0063】
また、再構成部67は、構造化文書を表示するための表示設定を受け付ける表示設定受付部73と、表示設定にしたがって動画像を変更する変更部75と、表示設定に従って構造化文書を設定する設定部71と、を含む。表示設定受付部73は、表示設定画面を表示部160Aに表示し、ユーザが操作部160Bに入力する表示設定を受け付ける。表示設定画面は、動画像の表示サイズを設定する領域と、動画像の画質を設定する領域と、動画像の再生を開始する開始フレームを設定する領域とを含む。表示設定受付部73は、動画像の表示サイズが設定されると、その表示サイズの解像度に動画像を変更する指示を、変更部75に出力する。表示設定受付部73は、動画像の画質が設定されると、その画質に動画像を変更する指示を、変更部75に出力する。画質は、例えば、動画像の色数、階調を含む。変更部75は、表示設定受付部73から変更指示が入力されると、変更指示にしたがって、動画像取得部65から入力される動画像の解像度または画質を変更する。
【0064】
表示設定受付部73は、開始フレームが設定されると、開始フレームのフレーム識別情報を設定部71に出力する。設定部71は、動画像が再生される開始フレームを設定する。設定部71は、抽出部63からフレーム識別情報が入力される場合には、そのフレーム識別情報で特定されるフレームを開始フレームに設定する。また、設定部71は、表示設定受付部73からフレーム識別情報が入力される場合、抽出部63からフレーム識別情報が入力されるか否かにかかわらず、表示設定受付部73からフレーム識別情報で特定されるフレームを開始フレームに設定する。さらに、設定部71は、表示設定受付部73からフレーム識別情報が入力されず、かつ、抽出部63からフレーム識別情報が入力されない場合、動画像の最初の第1番目のフレームを開始フレームに設定する。
【0065】
図7は、プリント指示処理の流れの一例を示すフローチャートである。プリント指示処理は、PC200が備えるCPU201が、ドライバプログラムを実行することにより、CPU201により実行される処理である。ドライバプログラムは、画像処理プログラムの一部である。図7を参照して、CPU201は、プリントの対象となるデータの指定を受け付けたか否かを判断する(ステップS01)。プリントの対象となるプリントデータの指定を受け付けるまで待機状態となり(ステップS01でNO)、プリントの対象となるデータの指定を受け付けると処理をステップS02に進める。すなわち、プリント指示処理は、プリントの対象となるデータが指定されることを条件に実行される処理である。ブラウジングプログラムが実行され、Webページが表示されている状態で、プリントを指示する操作が入力されると、表示されているWebページがプリントの対象となるデータとして指定される。また、ユーザがHDD205に記憶されているデータをアプリケーションプログラムで表示している状態、プリントを指示する操作が入力されると、表示されているデータがプリントの対象となるデータとして指定される。またはHDD205に記憶されているデータを指定してプリントを指示する操作が入力されると、指定されたデータがプリントの対象となるデータとして指定される。
【0066】
ステップS02においては、プリントの対象となるデータが構造化文書か否かを判断する。構造化文書ならば処理をステップS03に進め、そうでなければ処理をステップS14に進める。ステップS03においては、プリントの対象となるデータが、動画像を含むか否かを判断する。データが動画像を含む構造化文書の場合、または、データが動画像をリンクする構造化文書の場合、データが動画像を含むと判断する。プリントの対象となるデータが動画像を含むならば処理をステップS04に進めるが、そうでなければ処理をステップS14に進める。
【0067】
ステップS04においては、動画像を抽出する。構造化文書が動画像を含んでいればその動画像を構造化文書から抽出し、構造化文書が動画像をリンクしていれば、リンクされている動画像を取得する。この段階で、抽出された動画像にそれを識別するための動画像識別情報を付与する。
【0068】
ステップS05においては、抽出された動画像が再生される際に開始するフレームを指示する操作を受け付けたか否かを判断する。例えば、動画像を表示部206に表示し、ユーザが再生を停止する操作を入力すると、そのときに表示されているフレームを指示する操作として受け付ける。フレームを指示する操作を受け付けたならば処理をステップS06に進めるが、そうでなければ処理をステップS07に進める。ステップS06においては、指示されたフレームを開始フレームとして選択し(ステップS06)、処理をステップS10に進める。プリントを指示するユーザが、動画像を開始するフレームを変更することができる。このため、プリントを指示するユーザが再構成される構造化文書を変更することができる。
【0069】
ステップS07においては、構造化文書がフレーム識別情報を含むか否かを判断する。構造化文書に動画像の再生を開始する開始フレームのフレーム識別情報が含まれているか否かを判断する。そのようなフレーム識別情報が含まれていれば、処理をステップS08に進めるが、そうでなければ処理をステップS09に進める。ステップS08においては、構造化文書に含まれるフレーム識別情報で特定されるフレームを選択し、処理をステップS10に進める。再構成された構造化文書に開始フレームが定義されている場合には、その開始フレームをそのまま次に画像形成される静止画像に引き継ぐことができる。ステップS09においては、動画像の最初の第1番目のフレームを選択し、処理をステップS10に進める。
【0070】
ステップS10においては、ステップS06、ステップS08またはステップS09において選択されたフレームを表示画像の動画像が表示される位置に配置した静止画像を生成する。
【0071】
そして、プリントデータを生成する(ステップS11)。生成されるプリントデータは、ここではPJL(Printer Job Language)またはPDL(Page Description Language)で記述され、静止画像と、フレームが配置されている静止画像中の位置を示す位置情報と、ステップS04において抽出された動画像を識別するための動画像識別情報とを含む。プリントデータに動画像識別情報を含めるのは、構造化文書が複数の動画像を含む場合、静止画像中で複数の動画像がそれぞれ対応する位置を特定するためである。従って、構造化文書が1つの動画像しか含まない場合は、プリントデータに動画像識別情報を含めないようにしてもよい。
【0072】
ステップS12においては、生成されたプリントデータを、MFP100,101,102のうち、ユーザが操作部160Bにおいて指定したものに送信し、処理を終了する。ここでは、MFP100が指定された場合を例に説明する。表示部206に、MFP100,101,102をそれぞれ識別するための装置識別情報を表示し、装置識別情報のいずれかの指定を受け付ける。ステップS13においては、ステップS04において抽出された動画像を、プリントデータが送信されたMFP100に送信する。これにより、MFP100にプリントデータと動画像とが送信される。
【0073】
一方、ステップS14においては、ステップS01において指定されたデータをプリントするためのプリントデータを生成する。そして、次のステップS15において、プリントデータをMFP100,101,102のうち、ユーザが操作部160Bにおいて指定したものに送信し、処理を終了する。
【0074】
図8は、プリント処理の流れの一例を示すフローチャートである。プリント処理は、MFP100,101、102それぞれが備えるCPU111が、プリントプログラムを実行することにより、CPU111により実行される処理である。プリントプログラムは、画像処理プログラムの一部である。ここでは、MFP100がプリント処理を実行する場合を例に説明する。図8を参照して、MFP100が備えるCPU111は、PC200からプリントデータを受信するまで待機状態となり(ステップS51でNO)、プリントデータを受信すると(ステップS51でYES)、処理をステップS52に進める。すなわち、プリント処理は、MFP100がプリントデータを受信することを条件に実行される処理である。
【0075】
ステップS52においては、受信されたプリントデータから動画像識別情報が抽出されたか否かを判断する。動画像識別情報が抽出されたならば処理をステップS53に進めるが、そうでなければ、処理をステップS61に進める。
【0076】
ステップS53においては、プリントデータを受信したPC200から動画像を受信するまで待機状態となり(ステップS53でNO)、動画像を受信すると(ステップS53でYES)、処理をステップS54に進める。なお、ステップS52において、複数の動画像識別情報が抽出される場合には、複数の動画像識別情報にそれぞれ対応する複数の動画像のすべてを受信するまで待機状態となり、複数の動画像のすべてを受信すると処理をステップS54に進める。ステップS54においては、受信された動画像をHDD116に記憶する。動画像をHDD116に記憶する際に、動画像に動画像識別情報を付与して記憶する。PC200から複数の動画像が受信される場合に、HDD116に記憶される複数の動画像を区別するためである。
【0077】
そして、ステップS51において受信されたプリントデータから位置情報を抽出し(ステップS55)、静止画像を抽出する(ステップS56)。さらに、ステップS51において受信されたプリントデータからフレーム識別情報が抽出されたか否かを判断する(ステップS57)。フレーム識別情報が抽出されたならば処理をステップS58に進めるが、そうでなければ処理をステップS59に進める。
【0078】
ステップS58においては、ステップS56において抽出された静止画像に、ステップS55において抽出された位置情報と、ステップS54において記憶された動画像の動画像識別情報と、ステップS57において抽出されたフレーム識別情報とを、地紋画像として埋め込み、処理をステップS60に進める。なお、ステップS52において、複数の動画像識別情報が抽出される場合には、位置情報と、動画像識別情報と、フレーム識別情報とを関連付けて埋め込む。一方、ステップS59においては、ステップS56において抽出された静止画像に、ステップS55において抽出された位置情報と、ステップS54において記憶された動画像の動画像識別情報とを、地紋画像として埋め込み、処理をステップS60に進める。この際、位置情報と動画像識別情報とを関連付けて埋め込む。
【0079】
ステップS60においては、静止画像をプリントする。具体的には、静止画像を画像形成部140に出力し、静止画像を用紙に形成させる。これにより、位置情報と、第2動画像識別情報と、を少なくとも含む地紋画像が合成された静止画像が用紙に形成される。
【0080】
一方、ステップS61においては、ステップS51において受信されたプリントデータをプリントし、処理を終了する。
【0081】
図9は、再構成処理の流れの一例を示すフローチャートである。再構成処理は、MFP100,101,102それぞれが備えるCPU111が再構成プログラムを実行することにより、CPU111により実行される処理である。再構成プログラムは、画像処理プログラムの一部である。ここでは、MFP100が再構成処理を実行する場合を例に説明する。
【0082】
図9を参照して、MFP100が備えるCPU111は、原稿を読み取る(ステップS71)。ユーザが、自動原稿搬送装置120に原稿をセットし、スタートボタンを押下すれば、原稿読取部130が原稿に形成された画像を読み取る。ここでは、原稿読取部130が読み取る原稿は、図8において説明したプリント処理において静止画像が形成された用紙である。原稿読取部130は、原稿を読み取ると、その原稿に形成された静止画像の電子データを出力するので、電子データとしての静止画像が取得される。
【0083】
次のステップS72においては、原稿を読み取って得られる静止画像に情報が埋め込まれているか否かを判断する。静止画像に情報が埋め込まれていれば処理をステップS73に進めるが、そうでなければ処理をステップS91に進める。ステップS91においては、静止画像をHDD116に記憶し、処理を終了する。
【0084】
ステップS73においては、静止画像に埋め込まれている動画像識別情報を抽出する。そして、動画像識別情報で特定される動画像を、HDD116から読み出す(ステップS74)。図8に示したプリント処理において、ステップS54において動画像に動画像識別情報を付してHDD116に記憶したので、HDD116には、静止画像から抽出された動画像識別情報で特定される動画像が記憶されている。なお、プリント処理が別のMFP101,102で実行された場合、例えばMFP101において実行された場合は、動画像がプリント処理の実行されたMFP101に記憶されている。この場合には、動画像識別情報に装置を識別するための装置識別情報を含めるようにし、動画像が記憶されている装置、MFP101から動画像を取得するようにすればよい。なお、MFP101に記憶される動画像は、MFP100からアクセス可能なように、MFP101が備えるHDDにおいてアクセス制限のない位置に記憶される。
【0085】
次のステップS75においては、静止画像に埋め込まれている位置情報を抽出する。そして、ステップS76においては、静止画像のフレーム部分を動画像に戻す指示を受け付けたか否かを判断する。ユーザが操作部160Bにフレーム部分を動画像に戻す指示を入力下か否かで判断する。フレーム部分を動画像に戻す指示を受け付けたならば処理をステップS77に進めるが、そうでなければ処理をステップS91に進め、静止画像をHDD116に記憶して処理を終了する。
【0086】
ステップS77においては、構造化文書を再構成するための設定を開始する。表示設定画面を表示部160Aに表示し、ユーザが操作部160Bに入力する表示設定を受け付けたならば処理をステップS79に進めるが、そうでなければ処理をステップS87に進める。ステップS79においては、受け付けられた表示設定がサイズを変更する設定か否かを判断する。サイズを変更する設定ならば、処理をステップS80に進め、そうでなければステップS80をスキップして処理をステップS81に進める。ステップS80においては、ステップS74において読み出された動画像の解像度を、変更されたサイズで表示するための解像度に変更し、処理をステップS81に進める。
【0087】
ステップS81においては、受け付けられた表示設定が画質を変更する設定か否かを判断する。画質を変更する設定ならば、処理をステップS82に進め、そうでなければステップS82をスキップして処理をステップS83に進める。ステップS82においては、ステップS74において読み出された動画像、またはステップS80において解像度が変更された場合には、解像度が変更された後の動画像の画質を設定に従って変更し、処理をステップS83に進める。
【0088】
ステップS83においては、受け付けられた表示設定が開始フレームの設定か否かを判断する。開始フレームの設定ならば、処理をステップS84に進め、そうでなければ処理をステップS85に進める。開始フレームの設定は、開始フレームを特定するためのフレーム識別情報を含む。例えば、動画像を表示部160Aに表示し、ユーザが再生を停止する指示を入力すれば開始フレームの設定を受け付ける。そして、ユーザが再生を停止する指示を入力した時点で表示されているフレームを開始フレームに設定し、処理をステップS87に進める。具体的には、生成される構造化文書が表示されて、動画像が再生される際に、開始フレームから再生が開始されるように設定する。なお、動画像に含まれる複数のフレームのうち開始フレームより前のフレームを削除してもよい。静止画像が形成された用紙を読み取る指示をしたユーザが、動画像の開始フレームを決定することができる。このため、静止画像が形成された用紙を読み取る指示をしたユーザの意向を尊重することができる。
【0089】
ステップS85においては、静止画像に埋め込まれたフレーム識別情報を抽出したか否かを判断する。フレーム識別情報を抽出したならば処理をステップS86に進めるが、そうでなければステップS86をスキップして処理をステップS87に進める。ステップS86においては、静止画像から抽出されたフレーム識別情報のフレームを開始フレームに設定し、処理をステップS87に進める。読み取られた用紙に静止画像を形成する指示をしたユーザが、動画像の開始フレームを決定することができる。このため、静止画像の形成を指示したユーザの意向を尊重することができる。
【0090】
ステップS87においては、設定が完了したか否かを判断する。ユーザが設定を終了する指示を操作部160Bに入力すれば、設定が完了したと判断する。設定が完了したならば処理をステップS88に進め、そうでなければ処理をステップS78に戻す。
【0091】
ステップS88においては、動画像をステップS75において抽出された位置情報で特定される静止画像中の位置に表示されるように設定する。ステップS80において解像度が変更されている場合には、動画画像が位置情報で特定される領域の任意の領域に表示されるように設定する。ステップS73において複数の動画像識別情報が抽出された場合、複数の動画像識別情報で特定される複数の動画像それぞれが、それに対応する位置情報で特定される位置に表示されるように設定する。
【0092】
ステップS89においては、ステップS71において得られた静止画像と、ステップS88において設定された内容とに従って構造化文書を生成する。そして、次のステップS90において、生成された構造化文書をHDD116に記憶し、処理を終了する。
【0093】
上述した実施の形態における画像処理システムは、制御装置として機能するPC200が動画像を含む構造化文書を取得し、構造化文書を表示した表示画像中の動画像が表示される位置に、動画像に含まれる複数のフレームのうちから選ばれた1つのフレームを配置した静止画像と、フレームが静止画像中に配置された位置を示す位置情報と、動画像を識別するための動画像識別情報とを含むプリントデータを生成し、プリントデータと動画像とを画像処理装置として機能するMFP100に送信する。一方、画像処理装置として機能するMFP100は、画像形成時において、PC200からプリントデータと動画像を受信し、動画像をそれとともに受信される動画像識別情報と関連付けて記憶し、プリントデータに含まれる静止画像に、記憶された動画像の動画像識別情報と、プリントデータに含まれる位置情報とを埋め込み、静止画像を用紙に形成する。さらに、MFP100は、画像読取時において、用紙に形成された静止画像を読み取り、読み取られた静止画像から動画像識別情報と位置情報とを抽出し、抽出された動画像識別情報で特定される動画像を取得し、静止画像の位置情報で特定される位置に動画像が表示されるように静止画像に動画像を関連付けた構造化文書を生成する。
【0094】
このように、MFP100が、画像読取時において、用紙に形成された静止画像を読み取り、静止画像から動画像識別情報と位置情報とを抽出し、抽出された動画像識別情報で特定される動画像を取得し、読み取られた静止画像の抽出された位置情報に取得された動画像が表示されるように静止画像に動画像を関連付けた構造化文書を生成する。このため、動画像を含む構造化文書を画像形成した場合であっても、画像が形成された用紙を読み取ると、画像形成時に記憶した動画像を特定することができる。このため、動画像を失うことなく構造化文書の画像を形成することができる。
【0095】
<変形例>
上述した実施の形態においては、PC200において構造化文書をMFP100でプリントする例を説明したが、変形例におけるMFP100は、構造化文書をHDD116に記憶しており、MFP100においてHDD116に記憶された構造化文書をプリントするようにしたものである。以下、上述した画像処理システムと異なる点を主に説明する。
【0096】
図10は、変形例におけるMFP100が備えるCPU111が有する機能の一例を示す機能ブロック図である。図10を参照して、図6に示した機能ブロック図と異なる点は、プリントデータ受信部51、動画像受信部57が削除され、新たに、構造化文書取得部81、選択指示受付部83、静止画像生成部85および動画像抽出部87を有する点、および動画像記憶部59および埋込部53を変更して動画像記憶部59Aおよび埋込部53Aとして点である。その他の機能は、図6に示したのと同じなのでここでは説明を繰り返さない。
【0097】
構造化文書取得部81は、ユーザが操作部160Bに入力するプリント操作に従って、構造化文書を特定し、特定された構造化文書を取得する。具体的には、HDD116に記憶された構造化文書をプリントする操作が受付られた場合、HDD116に記憶された構造化文書を読み出すことにより、取得する。また、ブラウジングプログラムが実行されている場合に、WebサーバからダウンロードされたWebページをプリントする操作が受け付けられた場合、ダウンロードされてRAM114に一時記憶されたWebページを取得する。構造化文書取得部81は、取得された構造化文書を静止画像生成部85および動画像抽出部87に出力する。
【0098】
動画像抽出部87は、構造化文書取得部81から入力される構造化文書が、動画像を含む場合、構造化文書から動画像を抽出する。また、動画像抽出部87は、構造化文書取得部81から入力される構造化文書が動画像をリンクしている場合、リンクされている動画像を取得する。構造化文書が動画像をリンクしている場合、構造化文書は、動画像が記憶されている位置を示す情報、例えば、URLを含む。動画像抽出部87は、構造化文書に含まれる位置を示す情報に記憶されている動画像を取得する。たとえば、位置情報が、PC200のHDD205に記憶されている動画像のURLを示す場合、PC200からそのURLで特定される動画像をダウンロードする。動画像抽出部87は、構造化文書から抽出された動画像、または、構造化文書に含まれる位置を示す情報に基づいて取得された動画像に、その動画像を識別するための動画像識別情報(例えば、ファイル名)を付与し、動画像と、動画像識別情報との組を、動画像記憶部59Aに出力し、動画像識別情報とその動画像が構造化文書を表示した表示画像中で表示される位置を示す位置情報との組を、埋込部53Aに出力する。動画像識別情報は、MFP100において別のデータと区別可能な情報である。
【0099】
動画像記憶部59Aは、動画像抽出部87から入力される動画像をそれとともに入力される動画像識別情報と関連付けてHDD116に記憶する。
【0100】
なお、ここでは、動画像をMFP100のHDD116に記憶するようにしたが、別のMFP101,102に記憶するようにしてもよいし、ネットワーク2に接続されたファイルサーバに記憶するようにしてもよい。この場合、動画像識別情報は、それが記憶される装置を識別するための装置識別情報、例えば、ネットワーク2におけるアドレス情報を含む。
【0101】
静止画像生成部85は、構造化文書取得部81から入力される構造化文書に従って静止画像を生成し、生成された静止画像を埋込部53Aに出力する。具体的には、まず、構造化文書を表示した表示画像中の動画像が表示される位置に、動画像に含まれる複数のフレームのうちから選択された1つのフレームを配置した静止画像を生成する。構造化文書が、動画像の再生を開始する開始フレームを特定するためのフレーム識別情報を含む場合、該フレーム識別情報で特定されるフレームを選択する。また、後述する選択指示受付部83からユーザにより選択されたフレームのフレーム識別情報が入力される場合には、構造化文書にフレーム識別情報が含まれているか否かにかかわらず、選択指示受付部83から入力されるフレーム識別情報で特定されるフレームを選択する。構造化文書にフレーム識別情報が含まれておらず、かつ、選択指示受付部83からフレーム識別情報が入力されない場合、静止画像生成部85は、動画像に含まれる複数のフレームのうち最初の第1番目のフレームを選択する。
【0102】
選択指示受付部83は、ユーザが操作部160Bに、動画像に含まれる複数のフレームのうちから1つを選択する操作を入力すると、動画像に含まれる複数のフレームのうちからユーザにより選択された1つのフレームのフレーム識別情報を静止画像生成部85に出力する。例えば、動画像を表示部160Aに表示し、ユーザが再生を停止する操作を選択する操作として受け付ける。再生を停止する操作を受け付ける時点に表示されているフレームのフレーム識別情報を静止画像生成部85に出力する。
【0103】
埋込部53Aは、構造化文書取得部81から構造化文書が入力され、静止画像生成部85から静止画像が入力され、動画像抽出部87から動画像識別情報と位置情報との組が入力される。埋込部53Aは、構造化文書が開始フレームを特定するためのフレーム識別情報を含む場合にはフレーム識別情報を抽出する。そして、静止画像生成部85から入力される静止画像に、動画像抽出部87から入力される位置情報と動画像識別情報との組を地紋情報として埋め込む。埋込部53Aは、動画像抽出部87から複数の動画像識別情報と位置情報との組が入力される場合、複数の組を埋め込む。また、構造化文書からフレーム識別情報が抽出される場合には、そのフレーム識別情報をさらに静止画像に埋め込む。埋込部53Aは、動画像識別情報と位置情報との組、それが構造化文書から抽出される場合にはフレーム識別情報を埋め込んだ静止画像を画像形成制御部55に出力する。
【0104】
図11は、変形例におけるプリント処理の流れの一例を示すフローチャートである。変形例におけるプリント処理は、変形例におけるMFP100が備えるCPU111が、画像処理プログラムを実行することにより、CPU111により実行される処理である。図11を参照して、CPU111は、プリントの対象となるデータの指定を受け付けたか否かを判断する(ステップS101)。プリントの対象となるプリントデータの指定を受け付けるまで待機状態となり(ステップS101でNO)、プリントの対象となるデータの指定を受け付けると処理をステップS102に進める。すなわち、変形例におけるプリント処理は、プリントの対象となるデータが指定されることを条件に実行される処理である。ブラウジングプログラムが実行され、Webページが表示されている状態で、プリントを指示する操作が入力されると、表示されているWebページがプリントの対象となるデータとして指定される。また、HDD116に記憶されているデータを指定してプリントを指示する操作が入力されると、指定されたデータがプリントの対象となるデータとして指定される。
【0105】
ステップS102においては、プリントの対象となるデータが構造化文書か否かを判断する。構造化文書ならば処理をステップS103に進め、そうでなければ処理をステップS117に進める。ステップS103においては、プリントの対象となるデータが、動画像を含むか否かを判断する。データが動画像を含む構造化文書の場合、または、データが動画像をリンクする構造化文書の場合、データが動画像を含むと判断する。プリントの対象となるデータが動画像を含むならば処理をステップS104に進めるが、そうでなければ処理をステップS117に進める。
【0106】
ステップS104においては、動画像を抽出する。構造化文書が動画像を含んでいればその動画像を構造化文書から抽出し、構造化文書が動画像をリンクしていれば、リンクされている動画像を取得する。
【0107】
ステップS105においては、抽出された動画像に動画像識別情報を付与する。次のステップS106においては、構造化文書から抽出された動画像に付与された動画像識別情報と関連付けてHDD116に記憶する。構造化文書が複数の動画像を含む場合に、複数の動画像を区別して記憶するためである。
【0108】
そして、ステップS107においては、抽出された動画像が再生される際に開始するフレームを指示する操作を受け付けたか否かを判断する。例えば、動画像を表示部160Aに表示し、ユーザが再生を停止する操作を入力すると、その操作をそのとき表示されているフレームを指示する操作として受け付ける。フレームを指示する操作を受け付けたならば処理をステップS108に進めるが、そうでなければ処理をステップS109に進める。ステップS108においては、指示されたフレームを開始フレームとして選択し、処理をステップS112に進める。
【0109】
一方、ステップS109においては、構造化文書がフレーム識別情報を含むか否かを判断する。構造化文書に動画像の再生を開始する開始フレームのフレーム識別情報が含まれているか否かを判断する。そのようなフレーム識別情報が含まれていれば、処理をステップS110に進めるが、そうでなければ処理をステップS111に進める。ステップS110においては、構造化文書に含まれるフレーム識別情報で特定されるフレームを選択し、処理をステップS112に進める。ステップS111においては、動画像の最初の第1番目のフレームを選択し、処理をステップS112に進める。
【0110】
ステップS112においては、ステップS108、ステップS109またはステップS111において選択されたフレームを表示画像の動画像が表示される位置に配置した静止画像を生成する。
【0111】
ステップS113においては、ステップS108、ステップS109またはステップS111において選択されたフレームが第1番目のフレームか否かを判断する。開始フレームとして選択されたフレームが第1番目のフレームならば処理をステップS115に進め、そうでなければ処理をステップS114に進める。
【0112】
ステップS114においては、ステップS112において生成された静止画像に、静止画像中で動画像が表示される位置情報と、ステップS105において動画像に付された動画像識別情報と、ステップS108またはステップS110において選択されたフレームのフレーム識別情報とを、地紋画像として埋め込み、処理をステップS116に進める。一方、ステップS115においては、ステップS112において生成された静止画像に、静止画像中で動画像が表示される位置情報と、ステップS105において動画像に付された動画像識別情報とを、地紋画像として埋め込み、処理をステップS116に進める。
【0113】
ステップS116においては、静止画像をプリントする。具体的には、静止画像を画像形成部140に出力し、静止画像を用紙に形成させる。これにより、位置情報と、動画像識別情報と、を少なくとも含む地紋画像が合成された静止画像が用紙に形成される。
【0114】
一方、ステップS117においては、ステップS101において指定されたデータをプリントし、処理を終了する。
【0115】
上述した変形例におけるMFPは、動画像を含む構造化文書を取得し、構造化文書に含まれる動画像に該動画像を識別するための動画像識別情報を付与して記憶し、構造化文書を表示した表示画像中の動画像が表示される位置に、動画像に含まれる複数のフレームのうちから選ばれた1つのフレームを配置した静止画像を生成し、静止画像に、動画像識別情報と、フレームが静止画像中に配置された位置を示す位置情報とを埋め込み、静止画像を用紙に形成する。そして、用紙に形成された静止画像を読み取ると、静止画像から動画像識別情報と位置情報とを抽出し、動画像識別情報で特定される動画像を取得し、静止画像の位置情報で特定される位置に取得された動画像が表示されるように静止画像に動画像を関連付けた構造化文書を生成する。
【0116】
このため、動画像を含む構造化文書を画像形成した場合であっても、画像が形成された用紙を読み取ると、画像形成時に記憶した動画像を特定することができる。このため、動画像を失うことなく構造化文書の画像を形成することができる。
【0117】
上述した実施の形態においては、静止画像に含まれる動画像識別情報が装置識別情報を含む場合、該装置識別情報が自装置の装置識別情報と異なる場合には、静止画像から抽出された動画像が自装置のHDD116に記憶されていない。この場合には、MFP101,102のうち装置識別情報で特定されるものから動画像をダウンロードするようにしてもよいし、その装置に静止画像を送信し、その装置に構造化文書を再構成させ、構造化文書を受信するようにしてもよい。
【0118】
また、画像処理装置の一例としてのMFP100,101,102について説明したが、図7〜図9、または、図11に示した処理を実行するための画像処理方法およびその画像処理方法をコンピュータに実行させるための画像処理プログラムとして発明を捉えることができるのは、言うまでもない。
【0119】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【0120】
<付記>
(1) 前記変更手段は、前記動画像の解像度を変更する、請求項6に記載の画像処理システム。
(2) 前記変更手段は、前記動画像の画質を変更する、請求項6に記載の画像処理システム。
【図面の簡単な説明】
【0121】
【図1】本発明の実施の形態の1つにおける画像処理システムの全体概要を示す図である。
【図2】MFPの外観を示す斜視図である。
【図3】MFPのハードウェア構成の一例を示すブロック図である。
【図4】PCのハードウェア構成の一例を示すブロック図である。
【図5】PCが備えるCPUが有する機能の一例を示す機能ブロック図である。
【図6】MFPが備えるCPUが有する機能の一例を示す機能ブロック図である。
【図7】プリント指示処理の流れの一例を示すフローチャートである。
【図8】プリント処理の流れの一例を示すフローチャートである。
【図9】再構成処理の流れの一例を示すフローチャートである。
【図10】変形例におけるMFP100が備えるCPU111が有する機能の一例を示す機能ブロック図である。
【図11】変形例におけるプリント処理の流れの一例を示すフローチャートである。
【符号の説明】
【0122】
1 画像処理システム、2 ネットワーク、51 プリントデータ受信部、53,53A 埋込部、55 画像形成制御部、57 動画像受信部、59,59A 動画像記憶部、61 読取画像取得部、63 抽出部、65 動画像取得部、67 再構成部、71 設定部、73 表示設定受付部、75 変更部、81 構造化文書取得部、83 選択指示受付部、85 静止画像生成部、87 動画像抽出部、110 メイン回路、111 CPU、112 通信I/F部、117 ファクシミリ部、118 カードI/F、118A フラッシュメモリ、120 自動原稿搬送装置、130 原稿読取部、140 画像形成部、150 給紙部、160 操作パネル、160A 表示部、160B 操作部、200 PC、201 CPU、206 表示部、207 操作部、211 構造化文書取得部、213 選択指示受付部、215 プリントデータ生成部、217 プリントデータ送信部、219 動画像抽出部、221 動画像送信部。

【特許請求の範囲】
【請求項1】
画像処理装置と、該画像処理装置を制御する制御装置とを含む画像処理システムであって、
前記制御装置は、
動画像を含む構造化文書を取得する構造化文書取得手段と、
前記取得された構造化文書を表示した表示画像中の前記動画像が表示される位置に、前記動画像に含まれる複数のフレームのうちから選ばれた1つのフレームを配置した静止画像と、前記フレームが前記静止画像中に配置された位置を示す位置情報と、前記動画像を識別するための動画像識別情報とを含むプリントデータを生成するプリントデータ生成手段と、
前記生成されたプリントデータと前記動画像とを前記画像処理装置に送信する送信手段と、を備え、
前記画像処理装置は、画像形成時において、
前記制御装置から前記プリントデータと前記動画像を受信する受信手段と、
前記受信された動画像を前記プリントデータに含まれる前記動画像識別情報と関連付けて記憶する記憶手段と、
前記受信されたプリントデータに含まれる静止画像に、前記記憶された動画像の動画像識別情報と、前記受信されたプリントデータに含まれる前記位置情報とを埋め込む埋込手段と、
前記静止画像を記録媒体に形成する画像形成手段と、を備え、
画像読取時において、
前記記録媒体に形成された前記静止画像を読み取る読取手段と、
前記読み取られた静止画像から前記動画像識別情報と前記位置情報とを抽出する抽出手段と、
前記抽出された動画像識別情報で特定される動画像を取得する動画像取得手段と、
前記読み取られた静止画像の前記抽出された位置情報で特定される位置に前記取得された動画像が表示されるように前記静止画像に前記動画像を関連付けた構造化文書を生成する再構成手段と、を備える画像処置システム。
【請求項2】
前記制御装置は、前記動画像のうちから1つのフレームを選択する指示を受け付ける選択指示受付手段をさらに備え、
前記プリントデータ生成手段は、前記取得された構造化文書を表示した表示画像中の前記動画像が表示される位置に、前記動画像に含まれる複数のフレームのうち前記受け付けられた指示で選択されるフレームを配置した静止画像を含むプリントデータを生成する、請求項1に記載の画像処理システム。
【請求項3】
前記プリントデータ生成手段は、前記取得された構造化文書において前記動画像の再生を開始する開始フレームが設定されている場合、前記動画像に含まれる複数のフレームのうち前記開始フレームを配置した静止画像を含むプリントデータを生成する、請求項1に記載の画像処理システム。
【請求項4】
前記プリントデータ生成手段は、前記静止画像に配置されたフレームを特定するフレーム識別情報をさらに含むプリントデータを生成し、
前記埋込手段は、前記受信されたプリントデータに含まれる静止画像に、前記受信されたプリントデータに含まれる前記フレーム識別情報をさらに埋め込み、
前記抽出手段は、前記読み取られた静止画像から前記フレーム識別情報をさらに抽出し、
前記再構成手段は、前記生成された構造化文書が表示される際に、前記動画像が前記抽出されたフレーム識別情報で特定されるフレームから再生されるように開始フレームを設定する設定手段を含む、請求項1に記載の画像処理システム。
【請求項5】
前記再構成手段は、前記動画像を表示するための表示設定を受け付ける表示設定受付手段と、
前記生成された構造化文書が表示される際に、前記動画像が前記受け付けられた表示設定により特定されるフレームから再生されるように開始フレームを設定する設定手段と、を含む請求項1に記載の画像処理システム。
【請求項6】
前記再構成手段は、前記動画像を表示するための表示設定を受け付ける表示設定受付手段と、
前記受け付けられた表示設定に従って前記動画像が再生されるように前記動画像を変更する変更手段と、を含む請求項1に記載の画像処理システム。
【請求項7】
動画像を含む構造化文書を取得する構造化文書取得手段と、
前記取得された構造化文書に含まれる前記動画像を該動画像を識別するための動画像識別情報を付与して記憶する記憶手段と、
前記取得された構造化文書を表示した表示画像中の前記動画像が表示される位置に、前記動画像に含まれる複数のフレームのうちから選ばれた1つのフレームを配置した静止画像を生成する静止画像生成手段と、
前記生成された静止画像に、前記動画像識別情報と、前記フレームが前記静止画像中に配置された位置を示す位置情報とを埋め込む埋込手段と、
前記静止画像を記録媒体に形成する画像形成手段と、
前記記録媒体に形成された前記静止画像を読み取る読取手段と、
前記読み取られた静止画像から前記動画像識別情報と前記位置情報とを抽出する抽出手段と、
前記抽出された動画像識別情報で特定される動画像を取得する動画像取得手段と、
前記読み取られた静止画像の前記抽出された位置情報で特定される位置に前記取得された動画像が表示されるように前記静止画像に前記動画像を関連付けた構造化文書を生成する再構成手段と、を備えた画像処理装置。
【請求項8】
前記動画像のうちから1つのフレームを選択する指示を受け付ける選択指示受付手段をさらに備え、
前記静止画像生成手段は、前記取得された構造化文書を表示した表示画像中の前記動画像が表示される位置に、前記動画像に含まれる複数のフレームのうち前記受け付けられた指示で選択されるフレームを配置した静止画像を生成する、請求項7に記載の画像処理装置。
【請求項9】
前記静止画像生成手段は、前記取得された構造化文書において前記動画像の再生を開始する開始フレームが設定されている場合、前記動画像に含まれる複数のフレームのうち前記開始フレームを配置した静止画像を生成する、請求項7に記載の画像処理装置。
【請求項10】
前記埋込手段は、前記生成された静止画像に、該静止画像に配置されたフレームを特定するフレーム識別情報をさらに埋め込み、
前記抽出手段は、前記読み取られた静止画像から前記フレーム識別情報をさらに抽出し、
前記再構成手段は、前記生成された構造化文書が表示される際に、前記動画像が前記抽出されたフレーム識別情報で特定されるフレームから再生されるように開始フレームを設定する設定手段を含む、請求項7に記載の画像処理装置。
【請求項11】
前記再構成手段は、前記動画像を表示するための表示設定を受け付ける表示設定受付手段と、
前記生成された構造化文書が表示される際に、前記動画像が前記受け付けられた表示設定により特定されるフレームから再生されるように開始フレームを設定する設定手段とを含む、請求項7に記載の画像処理装置。
【請求項12】
前記再構成手段は、前記動画像を表示するための表示設定を受け付ける表示設定受付手段と、
前記受け付けられた表示設定に従って前記動画像が再生されるように前記動画像を変更する変更手段と、を含む請求項7に記載の画像処理装置。
【請求項13】
動画像を含む構造化文書を取得するステップと、
前記取得された構造化文書に含まれる前記動画像を記憶するステップと、
前記取得された構造化文書を表示した表示画像中の前記動画像が表示される位置に、前記動画像に含まれる複数のフレームのうちから選ばれた1つのフレームを配置した静止画像を生成するステップと、
前記生成された静止画像に、前記動画像識別情報と、前記フレームが前記静止画像中に配置された位置を示す位置情報とを埋め込むステップと、
前記静止画像を記録媒体に形成するステップと、
前記記録媒体に形成された前記静止画像を読み取るステップと、
前記読み取られた静止画像から前記動画像識別情報と前記位置情報とを抽出するステップと、
前記抽出された動画像識別情報で特定される動画像を取得するステップと、
前記読み取られた静止画像の前記抽出された位置情報で特定される位置に前記取得された動画像が表示されるように前記静止画像に前記動画像を関連付けた構造化文書を生成するステップと、を含む画像処理方法。
【請求項14】
動画像を含む構造化文書を取得するステップと、
前記取得された構造化文書に含まれる前記動画像を記憶するステップと、
前記取得された構造化文書を表示した表示画像中の前記動画像が表示される位置に、前記動画像に含まれる複数のフレームのうちから選ばれた1つのフレームを配置した静止画像を生成するステップと、
前記生成された静止画像に、前記動画像識別情報と、前記フレームが前記静止画像中に配置された位置を示す位置情報とを埋め込むステップと、
前記静止画像を記録媒体に形成するステップと、
前記記録媒体に形成された前記静止画像を読み取るステップと、
前記読み取られた静止画像から前記動画像識別情報と前記位置情報とを抽出するステップと、
前記抽出された動画像識別情報で特定される動画像を取得するステップと、
前記読み取られた静止画像の前記抽出された位置情報で特定される位置に前記取得された動画像が表示されるように前期静止画像に前記動画像を関連付けた構造化文書を生成するステップと、をコンピュータに実行させる画像処理プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2010−86297(P2010−86297A)
【公開日】平成22年4月15日(2010.4.15)
【国際特許分類】
【出願番号】特願2008−254932(P2008−254932)
【出願日】平成20年9月30日(2008.9.30)
【特許番号】特許第4420125号(P4420125)
【特許公報発行日】平成22年2月24日(2010.2.24)
【出願人】(303000372)コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Fターム(参考)】