画像処理装置、及び画像処理プログラム
【課題】ユーザによって描画された画像領域を表す領域情報を受け付け、受け付けた領域情報に基づいて画像データを抽出して所望の画像を簡易に抽出することができる画像処理装置、及び画像処理プログラムを提供する。
【解決手段】画像データを処理する画像処理装置であって、画像を表す画像データを記憶する画像データ記憶手段と、前記画像データ記憶手段に記憶されている前記画像データに基づく画像を表示させる表示制御手段と、前記表示制御手段が表示させている前記画像データに基づく画像のユーザによって描画された領域を表す情報を受け付けるための領域情報受付手段と、前記領域情報受付手段で受け付けた領域情報に基づいて、前記画像データ記憶手段に記憶されている前記画像データを抽出する画像データ抽出手段と、を有する。
【解決手段】画像データを処理する画像処理装置であって、画像を表す画像データを記憶する画像データ記憶手段と、前記画像データ記憶手段に記憶されている前記画像データに基づく画像を表示させる表示制御手段と、前記表示制御手段が表示させている前記画像データに基づく画像のユーザによって描画された領域を表す情報を受け付けるための領域情報受付手段と、前記領域情報受付手段で受け付けた領域情報に基づいて、前記画像データ記憶手段に記憶されている前記画像データを抽出する画像データ抽出手段と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを処理する画像処理装置に関する。
【背景技術】
【０００２】
近年、企業や教育機関、行政機関等では、会議や講演等において、文字や数字、図形が描かれたホワイトボード等の描画対象物の画像を保存して利用する技術が知られている。たとえば、スキャナ装置及び印刷装置を備え、ホワイトボードの画像を走査して印刷するホワイトボード装置や、ホワイトボードに描かれた画像をビデオカメラ等の撮影装置で撮影して取得し、会議や講演の終了後に、ホワイトボードに描かれた画像を再生する技術が知られている。
【０００３】
このような描画画像を取得する技術として、特許文献１には、あらかじめ所定数に分割されたセルがクリックされると、そのセルに書き込まれたセッションの時点から記録済みの画像と音声が再生されることが開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された発明では、あらかじめ所定数に分割されたセルから選択するため、書き込まれた時点から再生させたい画像が複数のセルにまたがっている場合や、１つのセルに書き込まれた時点から再生させたい画像以外の画像が含まれている場合に、希望の場面から再生できないという不具合があった。
【０００５】
すなわち、特許文献１に記載された発明では、例えば書き込まれた時点から再生させたい画像が複数のセルにまたがっている場合には、複数のセルのうちその画像が最初に書き込まれたセルを選択しなければ所望の画像を抽出することができず、最初に書込みがあったセルを選択するまで、何度もその動作を繰り返さなければならないという問題があった。
【課題を解決するための手段】
【０００６】
請求項１に係る発明は、画像データを処理する画像処理装置であって、画像を表す画像データを記憶する画像データ記憶手段と、前記画像データ記憶手段に記憶されている前記画像データに基づく画像を表示させる表示制御手段と、前記表示制御手段が表示させている前記画像データに基づく画像の領域を表す情報を受け付けるための領域情報受付手段と、前記領域情報受付手段で受け付けた領域情報に基づいて、前記画像データ記憶手段に記憶されている前記画像データを抽出する画像データ抽出手段と、を有することを特徴とする。
【発明の効果】
【０００７】
以上説明したように、本発明によれば、画像のユーザによって描画された領域を表す領域情報を受け付け、受け付けた領域情報に基づいて画像データを抽出するので、所望の画像を簡易に抽出することができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る画像処理システムの概略図である。
【図２】本発明の一実施形態に係る画像処理装置のハードウェア構成図である。
【図３】本発明の一実施形態に係る画像処理装置の機能ブロック図である。
【図４】画像内の領域を説明するための概念図である。
【図５】表示装置に表示させるユーザインタフェースとなる画面の例である。
【図６】画像データ管理テーブルを示す概念図である。
【図７】本実施形態に係る画像処理装置の処理の概要を示した図である。
【図８】画像フレームを生成する処理を示した処理フロー図である。
【図９】無人フレームを抽出する処理を示した処理フロー図である。
【図１０】本実施形態に係る画像処理システム１の処理によって、抽出される画像フレームを示す概念図である。
【図１１】無人フレームをグループ化する処理を示した処理フロー図である。
【図１２】キーフレームを抽出する処理を示した処理フロー図である。
【図１３】本実施形態に係る画像処理システム１の処理によって、抽出される画像フレームを示す概念図である。
【図１４】第二抽出対象画像フレームを決定する処理を示した処理フロー図である。
【図１５】動画像を再生させる処理を示した処理フロー図である
【発明を実施するための形態】
【０００９】
＜＜実施形態の全体構成＞＞
以下、図１乃至図１５を用いて、本発明の一実施形態について説明する。図１は、本発明の一実施形態に係る画像処理システムの概略図であり、まずは図１を用いて、本実施形態の概略を説明する。
【００１０】
図１に示す画像処理システム１は画像処理装置１０、描画対象物２００、撮影装置３０によって構築されている。画像処理装置１０は、後述する撮影装置３０とＵＳＢケーブル等により接続され、撮影装置３０が撮影した画像を記録し、それらの画像を検索により抽出し、再生するものである。描画対象物２００は、ユーザが文字や図形等の描画画像２０１を描画するホワイトボードや黒板、紙等の物品である。ここで、描画対象物２００のうちユーザが描画する領域を描画領域２０２、その描画領域２０２の周辺部を周辺領域２０３とする。撮影装置３０は、描画画像２０１を含む描画領域２０２、周辺領域２０３とそれらの前面にある対象物を撮影して撮影画像を生成するカメラ等の装置である。
＜＜実施形態のハードウェア構成＞＞
次に、本実施形態のハードウェア構成を説明する。
【００１１】
図２は、本発明の一実施形態に係る画像処理装置１０のハードウェア構成図である。画像処理装置１０は、画像処理装置１０全体の動作を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、画像処理装置用プログラムを記憶したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、各種データを記憶するＨＤ(Ｈａｒｄ Ｄｉｓｋ)１０４、ＣＰＵ１０１の制御にしたがってＨＤ１０４に対する各種データの読み出し又は書込みを制御するＨＤＤ(Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ)１０５、フラッシュメモリ等の記録メディア１０６に対するデータの読み出し又は書込み（記憶）を制御するメディアドライブ１０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するためのディスプレイＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１０８、通信ネットワークを利用してデータ伝送をするためのネットワークＩ／Ｆ１０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード１１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス１１２、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ(Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)１１３に対するデータの読み出し又は書込みを制御するＣＤ−ＲＯＭドライブ１１４、外部の装置と情報を送受信する外部装置Ｉ／Ｆ１１５、音声データに基づいて音声を出力するためのスピーカーＩ／Ｆ１１６、及び、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。
【００１２】
なお、上記画像処理装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア１０６やＣＤ−ＲＯＭ１１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
【００１３】
＜＜実施形態の機能構成＞＞
次に、図３乃至図６を用いて本実施形態の機能構成について説明する。図３は、本実施形態の画像処理装置１０の機能ブロック図である。図４は、画像内の領域を説明するための概念図である。図５は、表示装置に表示させるユーザインタフェースとなる画面の例である。図６は、画像データ管理テーブルを示す概念図である。
【００１４】
図３に示されるように、本実施形態の画像処理装置１０は、送受信部１１、操作入力受付部１２、画像生成部１３、無人フレーム抽出部１４、代表フレーム抽出部１５、キーフレーム抽出部１６、書込判定部１７、表示制御部１８ａ、音声出力制御部１８ｂ、及び記憶・読出処理部１９を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＲＯＭ１０２に記憶されているプログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能又は手段である。また、画像処理装置１０は、図２に示されているＨＤＤ１０５によって構築される記憶部１０００を有している。
【００１５】
（画像処理装置の各機能部）
次に、画像処理装置１０の各部を詳細に説明する。画像処理装置１０の送受信部１１は、ネットワークＩ／Ｆ１０９によって実現され、通信ネットワークを介して他の端末、装置又はシステムと各種データ（情報）の送受信を行う。
【００１６】
操作入力受付部１２は、図２に示されているキーボード１１１またはマウス１１２によって、ユーザから入力された情報を受け付けるものである。ユーザから入力された情報には、ユーザによって選択された画像ＩＤ、ユーザによって描画された領域を表す領域情報等がある。操作入力受付部１２は、後述する表示制御部１８ａが表示装置１８０に表示した画像のうちユーザによって選択された一以上の画像ＩＤ、ユーザによって描画された領域を表す領域情報等を受け付けるものであり、描画領域受付部１２ａ、領域情報抽出部１２ｂから構成される。図４は、マウス１１２によって指定されている画像内の領域を表す概念図である。描画領域受付部１２ａは、図４に示されるように、表示装置１８０上で、ユーザがマウス１１２等を操作することによって描画した領域を表す情報を受け付けるものである。マウス１１２による操作のほかに、キーボード１１１で画像内の座標を入力することによって、領域が描画されるものであってもよい。領域情報抽出部１２ｂは、描画領域受付部１２ａで検出された領域を表す領域情報を検出するものである。ここで、領域とは図４（１）に示されたような矩形であってもよいし、図４（２）乃至図４（４）に示されたように、楕円、多角形、曲線によって形成された形等の任意の形であってよい。また、図４（５）に示されたような分断された領域でもよいし、図４（６）に示されたような２つの閉曲線の間の領域でもよい。
【００１７】
なお、操作入力受付部１２は、領域情報受付手段の一例である。
【００１８】
画像生成部１３は、撮影装置３０によって撮影され、送受信部１１によって受信された動画像データから静止画像データを生成するものである。画像生成部１３は、画像取得部１３ａ、画像補正部１３ｂを有している。画像取得部１３ａは動画像データから所定の間隔おきに静止画像データを取得する。画像補正部１３ｂは、画像取得部１３ａによって取得された静止画像データを台形補正等によって補正するものである。
【００１９】
無人フレーム抽出部１４は、画像生成部１３によって生成された画像フレームのうち、描画対象物２００を除くものが撮影されていない画像フレームを、無人フレームとして抽出するものである。描画対象物２００を除くものとは、たとえば、描画対象物２００に描画画像２０１を書き込む人物である。無人フレーム抽出部１４は、輝度取得部１４ａ、差分判定部１４ｂ、無人判定部１４ｃによって構成される。輝度取得部１４ａは、画像生成部１３が生成した画像フレームの各画素の輝度を取得する。差分判定部１４ｂは、輝度取得部１４ａが連続する２枚の画像フレームについてそれぞれ取得した輝度の差分が閾値を超えているか否かを判定する。無人判定部１４ｃは、差分判定部１４ｂで輝度が閾値を超えているとされた画素の数が所定数以上であるか否かを判定し、所定数以下である場合には、そのフレームを無人フレームとする。
【００２０】
また、無人フレーム抽出部１４は画像フレーム全体に対してこの処理を施す第一の無人フレーム抽出処理と、操作入力受付部１２によって受け付けられた描画領域に対してのみこの処理を施す第二の無人フレーム抽出処理を実施する。以降、第一の無人フレーム抽出処理によって抽出された無人フレームを第一の無人フレーム、第二の無人フレーム抽出処理によって抽出された無人フレームを第二の無人フレームという。
【００２１】
代表フレーム抽出部１５は、無人フレーム抽出部１４で抽出された無人フレームのうち、同じ描画画像２０１を含む無人フレームをグループ化し、そのグループに属する無人フレームのうち一の無人フレームを、代表フレームとして抽出するものである。代表フレーム抽出部１５は、同一判定部１５ａ、グループＩＤ決定部１５ｂによって構成される。同一判定部１５ａは、無人フレーム抽出部１４で抽出された無人フレームの画像が、直前に撮影された無人フレームの画像と同一であるか否かを判定する。ここで、直前に撮影された無人フレームとは、時間情報が表す時間が直前の時間である無人フレームとする。グループＩＤ決定部１５ｂは、同一判定部１５ａでの決定に基づいて、無人フレームをグループ化する。
【００２２】
また、代表フレーム抽出部１５は画像フレーム全体に対してこの処理を施す第一の無人フレーム抽出処理と、操作入力受付部１２によって受け付けられた描画領域に対してのみこの処理を施す第二の代表フレーム抽出処理を実施する。以降、第一の代表フレーム抽出処理によって抽出された代表フレームを第一の代表フレーム、第二の代表フレーム抽出処理によって抽出された代表フレームを第二の代表フレームという。
【００２３】
キーフレーム抽出部１６は、代表フレーム抽出部１５で抽出された代表フレームのうち、撮影された時間に対して描画量が極大となるフレームを、キーフレームとして抽出するものであり、描画量算出部１６ａ、描画量判定部１６ｂによって構成される。描画量算出部１６ａは、代表フレーム抽出部１５で抽出された代表フレームの描画量を算出する。描画量判定部１６ｂは、描画量算出部１６ａで算出された描画量が、直前に撮影された代表フレームの描画量、及び直後に撮影された代表フレームの描画量より多いか否かを判定する。
【００２４】
書込判定部１７は、操作入力受付部１２が受け付けた、画像フレームを識別する情報、及び領域情報に基づいて、領域内に描画画像２０１が描かれていない画像フレームを抽出する。書込判定部１７は輝度判定部１７ａ、高輝度画素数判定部１７ｂによって構成される。輝度判定部１７ａは、領域内の各画素の輝度が所定の範囲内であるか否かを判定する。高輝度画素数判定部１７ｂは、輝度判定部１７ａで輝度が所定の範囲内であると判定された画素の数が、閾値より大きいか否かを判定する。
【００２５】
なお、無人フレーム抽出部１４、代表フレーム抽出部１５、キーフレーム抽出部１６、及び書込判定部１７は画像データ抽出手段の一例である。
【００２６】
表示制御部１８ａは、図２に示されているディスプレイＩ／Ｆ１０８によって実現され、表示装置１８０に対して画像を表示させるための制御を行う。図５は、表示制御部１８ａが、表示装置１８０に表示させるユーザインタフェースとなる画面の例を示すものである。表示装置１８０は、図５に示すように、動画像再生部２１１、描画領域受付部２１２、キーフレーム表示部２１３、検索結果表示部２１４で構成される。動画像再生部２１１には、後述する動画像データ生成部２０が生成した動画像が、表示制御部１８によって表示される。また、動画像再生部２１１の一時停止ボタン２１１ａ、停止ボタン２１１ｂ、再生ボタン２１１ｃ、再生箇所指示バー２１１ｄに対して、ユーザがマウス１１２で行った操作を操作入力受付部１２が受け付けることで、表示制御部１８ａが動画像の再生を制御することができる。描画領域受付部２１２は、ユーザがマウス１１２によって描画した領域を表す情報受け付けるものである。キーフレーム表示部２１３は、キーフレーム抽出部１６が抽出したキーフレームが表示制御部１８ａによって表示される領域である。検索結果表示部２１４は、後述する再生開始候補画像フレームが表示制御部１８ａによって表示される領域である。なお、表示制御部１８ａは表示制御手段の一例である。
【００２７】
音声出力制御部１８ｂは、図２に示されているスピーカーＩ／Ｆ１１６によって実現され、図示しないスピーカーに音声を出力させるための制御を行う。
【００２８】
また、記憶・読出処理部１９は、図２に示すＨＤＤ１０５として実現されている記憶部１０００に各種データを記憶したり、記憶部１０００に記憶された各種データを読み出したりする。
【００２９】
また、動画像データ生成部２０は、画像生成部１３によって生成された静止画像データと、それに対応する時間情報をもとに構成される静止画像データ群から動画像データを生成するものである。
【００３０】
記憶部１０００には、静止画像データ、静止画像データが表す各画像が撮影された時間情報、送受信部１１によって受信された動画像データ、及び、動画像生成部２０によって生成された動画像データが記憶されている。また、記憶部１０００には、画像データ管理テーブルによって構成されている画像データ管理ＤＢ１００１が構築されている。また、記憶部は画像データ記憶手段の一例である。
【００３１】
（画像データ管理テーブル）
記憶部１０００には、図６に示されているような画像データ管理テーブルによって構成されている画像データ管理ＤＢ１００１が構築されている。この画像データ管理テーブルでは、静止画像を識別する情報である画像ＩＤごとに、画像の名称を表す画像名、動画像が撮影された会議を識別する会議ＩＤ、静止画像に基づいて生成された動画像を識別する動画像ＩＤ、画像が撮影された撮影時間、第一の無人フレームであるか否かを表す第一の無人フレームフラグ、一以上の同じ無人フレームをグループ化したグループを識別するグループＩＤ、同一のグループに属する第一の無人フレームを代表する代表フレームであるか否かを表す第一の代表フレームフラグ、代表フレーム抽出部１５で抽出された代表フレームのうち、撮影された時間に対して描画量が極大となるフレームであることを表すキーフレームフラグ、第二の無人フレームであるか否かを表す第二の無人フレームフラグ、同一のグループに属する第二の無人フレームを代表する代表フレームであるか否表す第二の代表フレームが関連付けられて管理される。
【００３２】
例えば、図６に示されている画像データ管理テーブルにおいて、画像ＩＤ「８」の画像は、画像名「ｆｒａｍｅ００００８．ｊｐｇ」、会議ＩＤ「１」、動画像ＩＤ「１」、撮影時間「００：０７」、第一の無人フレームフラグ「ｆａｌｓｅ」、グループＩＤ「２−１」、第一の代表フレームフラグ「ｆａｌｓｅ」、キーフレームフラグ「ｆａｌｓｅ」、第二の無人フレームフラグ「ｔｒｕｅ」、第二の代表フレームフラグ「ｔｒｕｅ」であることを表している。
＜＜実施形態の処理・動作＞＞
以上が、本実施形態に係る画像処理システム１の構成及び機能（又は手段）の説明であり、続いて、図７乃至図１５を用いて、本実施形態に係る画像処理システム１における処理方法を説明する。なお、図７は、本実施形態に係る画像処理装置の処理の概要を示した図である。図８は、画像フレームを生成する処理を示した処理フロー図である。図９は、無人フレームを抽出する処理を示した処理フロー図である。図１０は、本実施形態に係る画像処理システム１の処理によって、抽出される画像フレームを示す概念図である。図１１は、無人フレームをグループ化する処理を示した処理フロー図である。図１２は、キーフレームを抽出する処理を示した処理フロー図である。図１３は、本実施形態に係る画像処理システム１の処理によって、抽出される画像フレームを示す概念図である。図１４は、第二抽出対象画像フレームを決定する処理を示した処理フロー図である。図１５は、動画像を再生させる処理を示した処理フロー図である。
【００３３】
図７を用いて、本実施形態に係る画像処理システム１の処理の概要を説明する。撮影装置３０としてのビデオカメラが描画対象物２００としてのホワイトボードの前面にある光景を動画像として撮影する。撮影された動画像を表す動画像データは、撮影された時間を表す時間情報とともに画像データ群としてＵＳＢケーブル等を介して、画像処理装置１０に送信される。
【００３４】
画像処理装置１０の送受信部１１はビデオカメラから送信された動画像データを受信し、記憶・読出処理部１９が記憶部１０００に記憶する（ステップＳ１）。
【００３５】
次に、画像生成部１３が、撮影装置３０によって撮影され、送受信部１１によって受信された動画像データから画像フレームを生成する（ステップＳ２）。具体的には、図８に示されるように、画像取得部１３ａが動画像データから所定の間隔おきに静止画像データである画像フレームとそれらに関連付けられた時間情報を取得する（ステップＳ２１）。そして、画像補正部１３ｂが、ステップＳ１で記憶部１０００に記憶された全ての画像フレームを台形補正する（ステップＳ２２）。ステップＳ２２で、画像が台形補正されると、記憶・読出処理部１９は画像フレームと、それらの画像フレームにかかる画像が撮影された時間を表す時間情報を画像データ管理ＤＢ１００１に記憶する（ステップＳ２３）。
【００３６】
続いて、無人フレーム抽出部１４及び記憶・読出処理部１９が、ホワイトボード上に描かれた描画画像２０１以外の撮影対象物が含まれる画像フレームを除去する第一の無人フレーム抽出処理を実施する（ステップＳ３）。
【００３７】
第一の無人フレーム抽出処理の詳細を、図９を用いて説明する。ステップＳ２で取得した画像フレームが表す画像の画素ごとの輝度を、輝度取得部１４ａが取得する（ステップＳ３１）。輝度が取得されると、差分判定部１４ｂは各画像の各画素の輝度と、それぞれの画像が撮影された時間の直前に撮影された画像の同じ位置にある画素の輝度との差分を算出し、その差分が閾値を超えているか否か判定する（ステップＳ３２）。続いて、無人判定部１４ｃが、それぞれの画像に対して算出された輝度の差分が閾値を超えている画素を輝度変化画素としてその数を算出し（ステップＳ３３）、輝度変化画素の数が所定の値を超えているか判定する（ステップＳ３４）。
【００３８】
ステップＳ３４で、輝度変化画素の数が所定の値を超えていると判定された場合、画像フレームは第一の無人フレームでないとされ、記憶・読出処理部１９が、その画像に対応している第一の無人フレームフラグの値を「ｆａｌｓｅ」とする（ステップＳ３５）。ステップＳ３４で輝度変化画素の数が所定の値以下である場合、画像フレームは無人フレームであるとされ、記憶・読出処理部１９は、その画像に対応している第一の無人フレームフラグの値を「ｔｒｕｅ」とする（ステップＳ３６）。無人フレーム抽出部１４及び記憶・読出処理部１９は、ステップＳ３１からステップＳ３６までの処理を、もっとも早い時間に撮影された画像フレームを除く、全ての画像フレームに対して実施する。
【００３９】
これにより、図１０（１）に示されるＦ１乃至Ｆ１９の画像フレームから、人物等が撮影されている画像フレームＦ２、Ｆ５、及び、Ｆ８乃至Ｆ１７を除いた画像フレームが第一の無人フレームとして、図１０（２）に示されるように抽出されることになる。なお、図１０（１）では画像フレームＦ９乃至画像フレームＦ１６までを省略しているが、これらの画像フレームには人物等が撮影されている、すなわち第一の無人フレームではないものとする。
【００４０】
次に、代表フレーム抽出部１５及び記憶・読出処理部１９が、ステップＳ３で抽出された第一の無人フレームにおいて、同一の描画画像２０１を有する画像フレーム群を形成し、代表フレームを抽出する第一の代表フレーム抽出処理を実施する（ステップＳ４）。
【００４１】
まず、第一の無人フレームをグループ化する処理の詳細を、図１１を用いて説明する。画像データ管理ＤＢ１００１に記憶されている第一の無人フレームが、その画像が撮影された時間の直前に撮影された第一の無人フレームフラグと同一であるかを、同一判定部１５ａが判定する（ステップＳ４１）。ここで、画像が同一であるかを判定する方法としてはテンプレートマッチング等の技術が用いられる。ステップＳ４１で、第一の無人フレームが直前に撮影された第一の無人フレームと同一であると判定された場合には、グループＩＤ決定部１５ｂは直前の第一の無人フレームフラグに付与されているグループＩＤと同一のグループＩＤである「１」として決定し、記憶・読出処理部１９が画像管理テーブルの対象の画像フレームに関連付けて記憶する（ステップＳ４２）。ステップＳ４１で、第一の無人フレームが直前に撮影された第一の無人フレームと同一でないと判定された場合には、グループＩＤ決定部１５ｂは、判定対象の第一の無人フレームに対応するグループＩＤを「２」として決定し、この値を記憶・読出処理部１９が画像管理テーブルに記憶する（ステップＳ４３）。
【００４２】
ステップＳ４１からステップＳ４３までの処理を、もっとも早い時間に撮影された第一の無人フレームを除く、全ての第一の無人フレームに対して実施する。これにより、図１０（３）に示すように、第一の無人フレームである画像フレームのうち、画像フレームＦ１のグループＩＤは「１」、画像フレームＦ３及びＦ４のグループＩＤは「２」、画像フレームＦ６及びＦ７のグループＩＤは「３」、画像フレームＦ１８及びＦ１９のグループＩＤは「４」となる。
【００４３】
このようにして、全ての第一の無人フレームに対してグループ化の処理を終えると、記憶・読出処理部１９は、同一のグループＩＤを有する画像フレームのうち、もっとも撮影時間が早い画像フレームを第一の代表フレームとして、対応する第一の代表フレームフラグを「ｔｒｕｅ」とする。記憶・読出処理部１９は、第一の代表フレームフラグを「ｔｒｕｅ」とした画像フレーム以外の第一の代表フレームフラグを「ｆａｌｓｅ」とする。これにより、図１０（４）に示すように、画像フレームＦ３、Ｆ６、及びＦ１８が第一の代表フレームとして抽出される。
【００４４】
次に、キーフレーム抽出部１６が、ステップＳ４で代表フレームとして抽出された画像フレームからキーフレームを抽出する処理を実施する（ステップＳ５）。
【００４５】
キーフレーム抽出処理の詳細を、図１２を用いて説明する。まず、描画量算出部１６ａが、代表フレームの描画量を算出する（ステップＳ５１）。ここで、描画量の算出は輝度が閾値を超えている画素の数をカウントすることによって行われる。そして、描画量判定部１６ｂが、その第一の代表フレームが撮影された直前に撮影された第一の代表フレームの描画量より大きいか否かを判定する（ステップＳ５２）。ステップＳ５２で、第一の代表フレームの描画量が直前に撮影された第一の代表フレームの描画量より大きい場合には、描画量判定部１６ｂは、その第一の代表フレームが、直後に撮影された第一の代表フレームの描画量より大きいか否かを判定する（ステップＳ５３）。第一の代表フレームの描画量が直後に撮影された代表フレームの描画量より大きい場合には、その第一の代表フレームがキーフレームとされ、記憶・読出処理部１９が、画像データ管理テーブルの対応するキーフレームフラグ「ｔｒｕｅ」を記憶する（ステップＳ５４）。
【００４６】
一方、ステップＳ５２で、画像フレームの描画量が直前に撮影された画像フレームの描画量以下である場合には、記憶・読出処理部１９は、画像データ管理テーブルの対応するキーフレームフラグ「ｆａｌｓｅ」を記憶する（ステップＳ５５）。ステップＳ５３で、画像フレームの描画量が直前に撮影された画像フレームの描画量以下である場合には、記憶・読出処理部１９は、画像データ管理テーブルの対応するキーフレームフラグ「ｆａｌｓｅ」とする（ステップＳ５５）。ステップＳ５１からステップＳ５５までの処理を、もっとも早い時間に撮影された第一の代表フレームと、もっとも遅い時間に撮影された第一の代表フレームを除く、全ての第一の代表フレームに対して実施する。これにより、図１０（５）に示すように、画像フレームＦ３及びＦ１８がキーフレームとして抽出される。
【００４７】
そして、表示制御部１８ａが抽出されたキーフレームを表示装置１８０のキーフレーム表示部２１３に表示する（ステップＳ５６）。
【００４８】
続いて、ユーザによって描画された領域内における人物の有無、描画物の有無等から、再生し始めの画像の候補となる再生開始候補画像フレームを抽出する。まず、後述の第二の無人フレーム抽出処理及び第二の代表フレーム抽出処理の対象となる第二抽出対象画像フレームを決定する（ステップＳ６）。
【００４９】
ステップＳ６の処理の詳細を、図５、図１０（６）、図１３、及び図１４を用いて説明する。まず、図５（１）に示されるキーフレーム表示部２１３に表示されたキーフレームのうちいずれかひとつをユーザがマウス等を用いて選択する。図５に示す例では、キーフレーム表示部２１３に表示されている４つのキーフレームのうち「あかさ」という描画があるキーフレームを選択する。すると、図５（２）に示されるように、表示制御部１８ａが選択されたキーフレームを描画領域受付部２１２に表示する。そして、ユーザは描画領域受付部２１２表示されたキーフレーム内の領域を、マウス等を用いて描画する。
【００５０】
次に、図１４に示されるように、操作入力受付部１２が、ユーザによって指定されたキーフレームの画像ＩＤと、キーフレーム内のユーザによって描画された領域を表す領域情報を受け付ける（ステップＳ６１）。
【００５１】
続いて、画像処理装置１は、キーフレームの直前に撮影され、かつ、ユーザによって描画された領域内に描画物がない代表フレームを検索する。検索された代表フレームより後に撮影され、キーフレームより前に撮影されている有人フレーム（無人フレームでない画像フレーム）の描画状態を詳細に知ることにより、ユーザが着目している描画物が描かれるまでの過程を知ることができるようにするためである。
【００５２】
なお、描画物の有無は、輝度が所定の閾値より大きい画素の割合に基づいて判定される。具体的には、輝度が閾値より大きいと判定された画素の数の、領域内全画素の数に対する割合が所定の値より大きい場合には描画物が無いと判定される。また、輝度が閾値より大きいと判定された画素の数の、領域内全画素の数に対する割合が所定の値より小さい場合には描画物がある、として判定される。
【００５３】
また、画像処理装置１がキーフレームの直前に撮影され、かつ、ユーザによって描画された領域内に描画物がない代表フレームを検索する処理を図１０（６）を用いて説明する。図１０（６）は前述の第一の代表フレーム抽出処理で抽出された代表フレームが撮影された順に示されているものである。また、図１０（６）に示されている文字「あかさ」が描画されているキーフレームＦ１８の画像ＩＤ「１８」がステップＳ６１で受け付けられているものとする。また、図１０（６）に示されている文字「さ」を囲む領域（図１０（６）中の点線で囲まれる領域）がユーザによって描画された領域を表す領域情報としてステップＳ６１で受け付けられているものとする。
【００５４】
画像処理装置１がキーフレームの直前に撮影され、かつ、ユーザによって描画された領域内に描画物がない代表フレームを検索する処理として、まず、受け付けられた画像ＩＤに対応するキーフレームより前に撮影された第一の代表フレームのうち、最も後に撮影されている第一の代表フレームに対して、輝度判定部１７ａが、操作入力受付部１２で受け付けられた領域内の各画素の輝度が所定の値より大きいか否かを判定する（ステップＳ６２）。すなわち、図１０（６）に示される例では、キーフレームとしてＦ１８が選択されているので、Ｆ１８のキーフレームより前に撮影された第一の代表フレームＦ３、Ｆ６のうち、最も後に撮影されている第一の代表フレームであるＦ６に対して領域内の各画素の輝度が所定の値より大きいか否かを判定している（ステップＳ６２の具体例）。
【００５５】
領域内の全ての画素に対してステップＳ６２の処理が行われると、高輝度画素数判定部１７ｂは、輝度が閾値より大きいと判定された画素の数の、領域内全画素の数に対する割合が所定の値より大きいか否かを判定する（ステップＳ６３）。すなわち、図１０（６）に示される例では、第一の代表フレームであるＦ６に対して点線で囲む領域内の各画素の輝度が所定の値より大きいか否かを判定している（ステップＳ６３の具体例）。
【００５６】
ステップＳ６３で、輝度が閾値より大きい画素の数の割合が所定の値より大きいと判定された場合には、書込判定部１７はその代表フレームより後に撮影され、かつステップＳ６１で受け付けられた画像ＩＤに対応するキーフレームより前に撮影された画像フレームを、図１０（１）に示される全ての画像フレームの中から、第二の無人フレーム抽出処理及び第二の代表フレーム抽出処理の対象である第二抽出対象画像フレームとして決定する（ステップＳ６４）。
【００５７】
すなわち、図１０（６）に示される例ではＦ６の領域内に描画物がないため、輝度が閾値より大きいと判定された画素の数の割合が所定の値より大きいと判定される。そして、この代表フレームＦ６より後に撮影され、かつステップＳ６１で受け付けられた画像ＩＤに対応するキーフレームであるＦ１８より前に撮影された有人フレームであるＦ８からＦ１７までの全ての画像フレームが第二抽出対象画像フレームとして決定されることになる（ステップＳ６４の具体例）。
【００５８】
ステップＳ６３で、輝度が閾値より大きい画素の数の割合が所定の値より小さいと判定された場合には、その前に撮影された第一の代表フレームに対してステップＳ６２からステップＳ６３の処理を繰り返す。図１０（６）に示される例で、輝度が閾値より大きいと判定された画素の数の割合が所定の値より小さい場合、すなわち、Ｆ６の領域内に描画物がある場合には、Ｆ６の前に撮影された第一の代表フレームであるＦ３に対してステップＳ６２からステップＳ６３の処理を行うことになる。
【００５９】
続いて第二の無人フレーム抽出処理及び第二の代表フレーム抽出処理について、図１３を用いて説明する。なお、図１３に示される例は図１０に示される画像フレームのうち第二抽出対象画像フレームである画像フレームＦ８乃至画像フレームＦ１７を示したものである。
【００６０】
無人フレーム抽出部１４及び記憶・読出処理部１９が、描画領域受付部１２ａによって受け付けられた領域内に、描画画像２０１以外の撮影対象物（人物等）が含まれる画像フレームを除去する第二の無人フレーム抽出処理を実施する（ステップＳ７）。この処理がステップＳ３で説明した第一の無人フレーム抽出処理と異なる点は、画像全体に対して処理を行うのではなく、画像内の描画領域受付部１２ａによって受け付けられた領域に対して処理を行う点、全ての画像フレームに対してではなく、ステップＳ６４で決定された第二抽出対象画像フレームに対してのみ処理を行う点である。
【００６１】
この２点を除いて第二の無人フレーム抽出処理は、第一の無人フレーム抽出処理と同様であるのでその説明を省略する。この第二の無人フレーム抽出処理により、図１３（１）に示されるＦ８乃至Ｆ１７の画像フレームから、描画された領域内に人物等が撮影されている画像フレームＦ９、Ｆ１２、Ｆ１５、Ｆ１６を除いた画像フレームが、図１３（２）に示されるように第二の無人フレームとして抽出されることになる。そして、記憶・読出処理部１９が画像データ管理テーブルに記憶されているそれぞれの画像フレームを表す画像ＩＤに対応する第二の無人フレームフラグを「Ｔｒｕｅ」とする。
【００６２】
このように描画された領域に対してのみ処理を行うことによって、第一の無人フレーム抽出処理によっては無人フレームとされなかった画像フレームにおいても、第二の無人フレーム処理では描画領域２０２内に人物がいても描画領域内に人物等が含まれていなければ、その画像フレームは無人フレームとされる。これによって、第一の代表フレーム処理および第二のキーフレーム抽出処理においては抽出されなかった画像フレームの中から描画領域内の描画物が描かれる過程を示す画像フレームを抽出することが可能となる。
【００６３】
続いて、代表フレーム抽出部１５及び記憶・読出処理部１９が、ステップＳ７で抽出した第二の無人フレームにおいて、描画領域受付部１２ａによって受け付けられた領域内に同一の描画画像２０１を有する画像フレーム群を形成し、代表フレームを抽出する第二の代表フレーム抽出処理を実施する（ステップＳ８）。この処理で第一の代表フレーム抽出処理と異なる点は、画像全体に対して処理を行うのではなく画像内の描画領域受付部１２ａによって受け付けられた領域に対して処理を行う点、全ての無人フレームに対してではなく、ステップＳ７で第二の無人フレーム抽出処理によって抽出された第二の無人フレームに対して、すなわち第二の無人フレームフラグが「Ｔｒｕｅ」である画像フレームに対してのみ処理を行う点である。
【００６４】
上記２点を除いて、第二の代表フレーム抽出処理は第一の代表フレーム抽出処理と同様であるのでその説明を省略する。第二の代表フレーム抽出処理を行うことによって、図１３（３）に示されるように、画像フレームＦ８、Ｆ１０、Ｆ１３、及びＦ１７が第二の代表フレームとして抽出され、これらの第二の代表フレームが再生開始候補画像フレームとされる。そして、記憶・読出処理部１９が画像データ管理ＤＢ１００１の画像データ管理テーブルに記憶されているそれぞれの画像フレームを表す画像ＩＤに対応する第二の代表フレームフラグを「Ｔｒｕｅ」とする。
【００６５】
なお、再生開始候補画像フレームとは、後述する動画像を再生する処理において再生を始める画像の候補となる画像をいい、この再生開始候補画像フレームからユーザによって選択されたものを再生開始画像フレームという。
【００６６】
このようにステップＳ８で受け付けられた領域に対してのみ第二の代表フレーム抽出処理を行うことによって、領域外の描画の変化によらず、また、領域外の人物等の動きによらず、ユーザが着目している領域の描画に基づいて再生開始候補画像フレームを抽出することができる。
【００６７】
続いて、動画像生成部２０及び表示制御部１８ａが動画像データを再生するための処理を実施する（ステップＳ９）。ステップＳ９の処理の詳細について図５および図１５を用いて説明する。ステップＳ８で再生開始候補画像フレームとして第二の代表フレームが抽出されると、図５（３）に示されるように表示制御部１８ａが表示装置１８０の画面の検索結果表示部２１４に第二の代表フレームを表示する（ステップＳ９１）。具体的には、記憶・読出処理部１９が画像データ管理テーブル１００１の第二の代表フレームフラグ「Ｔｒｕｅ」に対応する画像データを読出し、表示制御部１８ａが読み出された画像データを検索結果表示部２１４に表示する。
【００６８】
そして、表示された第二の代表フレームの中からいずれかひとつをユーザがマウス等により選択することによって、操作入力受付部１２が選択された第二の代表フレームを再生開始画像フレームとして、その画像ＩＤを受け付ける（ステップＳ９２）。
【００６９】
そして、表示制御部１８ａが、送受信部１１によって受信され記憶部１０００に記憶されている動画像データに基づく動画像を、図５（３）に示される表示装置１８０の動画像再生部２１１にステップＳ９２で受け付けた画像ＩＤの画像フレームである再生開始画像フレームから再生させる（ステップＳ９３）。なお、ステップＳ８で抽出された第二の代表フレームがひとつである場合、ステップＳ９２の処理が省略され、表示制御部１８ａはステップＳ８で抽出された第二の代表フレームを再生開始画像フレームとして動画像を再生してもよい。
【００７０】
＜＜実施形態の主な効果＞＞
以上説明したように本実施形態によれば、ユーザによって描画された画像の領域を表す領域情報を受け付け、受け付けた領域情報に基づいて静止画像データを抽出するので、その領域内に描画画像２０１が描画され始める時点での画像を簡易に抽出することができる。すなわち、ユーザによって描画画像２０１が含まれる画像内の領域が選択されることで、簡易にその描画画像２０１が描画され始めた時点での画像を抽出することができ、固定のセルを選択して描画し始めた時点での画像を抽出するために何度も操作をし直さなければならないという煩わしさがなくなる。
【００７１】
また、ユーザが領域を描画してから、その領域に書込みがない画像を抽出するので、あらかじめ領域に対して書込みが始まる時点での画像を記憶しておかなくてもよく、そのため記憶容量を軽減できる。
【００７２】
＜＜実施形態の補足＞＞
上述の実施形態では、代表フレームを抽出する処理において、同一のグループＩＤを有する画像フレームのうち、もっとも撮影時間が早い画像フレームの代表フレームフラグを「ｔｒｕｅ」とし、それ以外の画像フレームの代表フレームフラグを「ｆａｌｓｅ」としたが、同一のグループＩＤを有する画像フレームのうち、任意の１つの画像フレームの代表フレームフラグを「ｔｒｕｅ」とし、それ以外の画像フレームの代表フレームフラグを「ｆａｌｓｅ」としてもよい。
【００７３】
また、上述の実施形態を、黒板等の黒い描画対象物２００に白いペンやチョーク等で描画画像２０１を形成する場合にも適用できる。このとき、描画された領域に描画され始める直前から、動画像が再生されるための処理で、高輝度画素数判定部１７ｂは、輝度が閾値より小さいと判定された画素の数の割合が所定の値より小さい場合には、その前に撮影された画像フレームに対してステップＳ６１からステップＳ６３の処理を繰り返す。
【００７４】
また、第一の無人フレーム抽出処理において、輝度取得部１４ａは、画像フレームが表す画像の周辺領域２０３内の、画素ごとの輝度を取得してもよい。周辺領域２０３の前面に描画する人が存在する場合が多いため、このように周辺領域２０３の輝度を測定するだけで、人物等のいる画像フレームであるか否かを判定するには十分であり、このようにすることで、周辺領域２０３の画素の輝度を測定するより、処理量が減少し、ＣＰＵの負荷の低減を図ることができる。
【００７５】
また、時間情報は、動画像が撮影され始めてからの時間を表す情報としたが、画像フレームが表す画像が動画像として撮影された順を表す情報としてもよい。たとえば、最も早い時間に撮影された画像の時刻情報を１、次に撮影された画像の時刻情報を２、というように、カウントアップされた値を各画像の時刻情報としてもよい。
【００７６】
また、表示制御部１８ａが、送受信部１１によって受信され記憶部１０００に記憶されている動画像データに基づく動画像を再生させているが、動画像データ生成部２０が、ステップＳ１で記憶されている画像フレームと時間情報に基づいて動画像データを生成し、その動画像データに基づく動画像を再生させるとしてもよい。この場合、記憶部１０００は送受信部１１によって受信された動画像データを記憶する必要がなく、記憶容量を削減することができる。なお、この動画像データを生成する処理はＦＦｍｐｅｇ（登録商標）等の画像加工ソフトウェアによって実現される。また、送受信部１１によって受信され記憶部１０００に記憶されている動画像データに基づく動画像を再生させる場合には、動画像データを生成する処理を行う必要がないため画像処理装置１０の負荷が軽減され、また、送受信部１１によって受信され記憶部１０００に記憶されている動画像データに基づく動画像を再生させる場合には、途切れることのないスムーズな動画像が再生されることになる。
【００７７】
また、動画像データ生成部２０が、動画像データを生成するとき、時刻情報に基づいて静止画像データに音声データを合成してもよい。このようにして動画像データが生成される場合、表示制御部１８ａが動画像データによって表される動画像を表示させるときに、音声出力制御部１８ｂが、対応する音声データを出力させる。このようにすることによって、描画対象物２００に描画される過程での音声を聞くことができ、会議の内容をよりよく把握することが可能となる．
【符号の説明】
【００７８】
１０ 画像処理装置
１１ 送受信部
１２ 操作入力受付部
１３ 画像生成部
１３ａ 画像取得部
１３ｂ 画像補正部
１４ 無人フレーム抽出部
１４ａ 輝度取得部
１４ｂ 差分判定部
１４ｃ 無人判定部
１５ 代表フレーム抽出部
１５ａ 同一判定部
１５ｂ グループＩＤ決定部
１６ キーフレーム抽出部
１６ａ 描画量算出部
１６ｂ 描画量判定部
１７ 書込み判定部
１７ａ 輝度判定部
１７ｂ 高輝度画素数判定部
１８ａ 表示制御部
１８ｂ 音声出力制御部
１９ 記憶・読出処理部
２０ 動画像生成部
１０００ 記憶部
１００１ 画像データ管理ＤＢ
２００ 描画対象物
２０１ 描画画像
２０２ 描画領域
２０３ 周辺領域
２１１ 動画像再生部
２１２ 描画領域受付部
２１３ キーフレーム表示部
２１４ 検索結果表示部
３０ 撮影装置
【先行技術文献】
【特許文献】
【００７９】
【特許文献１】特開２００４−０８０７５０公報
【技術分野】
【０００１】
本発明は、画像データを処理する画像処理装置に関する。
【背景技術】
【０００２】
近年、企業や教育機関、行政機関等では、会議や講演等において、文字や数字、図形が描かれたホワイトボード等の描画対象物の画像を保存して利用する技術が知られている。たとえば、スキャナ装置及び印刷装置を備え、ホワイトボードの画像を走査して印刷するホワイトボード装置や、ホワイトボードに描かれた画像をビデオカメラ等の撮影装置で撮影して取得し、会議や講演の終了後に、ホワイトボードに描かれた画像を再生する技術が知られている。
【０００３】
このような描画画像を取得する技術として、特許文献１には、あらかじめ所定数に分割されたセルがクリックされると、そのセルに書き込まれたセッションの時点から記録済みの画像と音声が再生されることが開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された発明では、あらかじめ所定数に分割されたセルから選択するため、書き込まれた時点から再生させたい画像が複数のセルにまたがっている場合や、１つのセルに書き込まれた時点から再生させたい画像以外の画像が含まれている場合に、希望の場面から再生できないという不具合があった。
【０００５】
すなわち、特許文献１に記載された発明では、例えば書き込まれた時点から再生させたい画像が複数のセルにまたがっている場合には、複数のセルのうちその画像が最初に書き込まれたセルを選択しなければ所望の画像を抽出することができず、最初に書込みがあったセルを選択するまで、何度もその動作を繰り返さなければならないという問題があった。
【課題を解決するための手段】
【０００６】
請求項１に係る発明は、画像データを処理する画像処理装置であって、画像を表す画像データを記憶する画像データ記憶手段と、前記画像データ記憶手段に記憶されている前記画像データに基づく画像を表示させる表示制御手段と、前記表示制御手段が表示させている前記画像データに基づく画像の領域を表す情報を受け付けるための領域情報受付手段と、前記領域情報受付手段で受け付けた領域情報に基づいて、前記画像データ記憶手段に記憶されている前記画像データを抽出する画像データ抽出手段と、を有することを特徴とする。
【発明の効果】
【０００７】
以上説明したように、本発明によれば、画像のユーザによって描画された領域を表す領域情報を受け付け、受け付けた領域情報に基づいて画像データを抽出するので、所望の画像を簡易に抽出することができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る画像処理システムの概略図である。
【図２】本発明の一実施形態に係る画像処理装置のハードウェア構成図である。
【図３】本発明の一実施形態に係る画像処理装置の機能ブロック図である。
【図４】画像内の領域を説明するための概念図である。
【図５】表示装置に表示させるユーザインタフェースとなる画面の例である。
【図６】画像データ管理テーブルを示す概念図である。
【図７】本実施形態に係る画像処理装置の処理の概要を示した図である。
【図８】画像フレームを生成する処理を示した処理フロー図である。
【図９】無人フレームを抽出する処理を示した処理フロー図である。
【図１０】本実施形態に係る画像処理システム１の処理によって、抽出される画像フレームを示す概念図である。
【図１１】無人フレームをグループ化する処理を示した処理フロー図である。
【図１２】キーフレームを抽出する処理を示した処理フロー図である。
【図１３】本実施形態に係る画像処理システム１の処理によって、抽出される画像フレームを示す概念図である。
【図１４】第二抽出対象画像フレームを決定する処理を示した処理フロー図である。
【図１５】動画像を再生させる処理を示した処理フロー図である
【発明を実施するための形態】
【０００９】
＜＜実施形態の全体構成＞＞
以下、図１乃至図１５を用いて、本発明の一実施形態について説明する。図１は、本発明の一実施形態に係る画像処理システムの概略図であり、まずは図１を用いて、本実施形態の概略を説明する。
【００１０】
図１に示す画像処理システム１は画像処理装置１０、描画対象物２００、撮影装置３０によって構築されている。画像処理装置１０は、後述する撮影装置３０とＵＳＢケーブル等により接続され、撮影装置３０が撮影した画像を記録し、それらの画像を検索により抽出し、再生するものである。描画対象物２００は、ユーザが文字や図形等の描画画像２０１を描画するホワイトボードや黒板、紙等の物品である。ここで、描画対象物２００のうちユーザが描画する領域を描画領域２０２、その描画領域２０２の周辺部を周辺領域２０３とする。撮影装置３０は、描画画像２０１を含む描画領域２０２、周辺領域２０３とそれらの前面にある対象物を撮影して撮影画像を生成するカメラ等の装置である。
＜＜実施形態のハードウェア構成＞＞
次に、本実施形態のハードウェア構成を説明する。
【００１１】
図２は、本発明の一実施形態に係る画像処理装置１０のハードウェア構成図である。画像処理装置１０は、画像処理装置１０全体の動作を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、画像処理装置用プログラムを記憶したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、各種データを記憶するＨＤ(Ｈａｒｄ Ｄｉｓｋ)１０４、ＣＰＵ１０１の制御にしたがってＨＤ１０４に対する各種データの読み出し又は書込みを制御するＨＤＤ(Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ)１０５、フラッシュメモリ等の記録メディア１０６に対するデータの読み出し又は書込み（記憶）を制御するメディアドライブ１０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するためのディスプレイＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１０８、通信ネットワークを利用してデータ伝送をするためのネットワークＩ／Ｆ１０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード１１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス１１２、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ(Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)１１３に対するデータの読み出し又は書込みを制御するＣＤ−ＲＯＭドライブ１１４、外部の装置と情報を送受信する外部装置Ｉ／Ｆ１１５、音声データに基づいて音声を出力するためのスピーカーＩ／Ｆ１１６、及び、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。
【００１２】
なお、上記画像処理装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア１０６やＣＤ−ＲＯＭ１１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
【００１３】
＜＜実施形態の機能構成＞＞
次に、図３乃至図６を用いて本実施形態の機能構成について説明する。図３は、本実施形態の画像処理装置１０の機能ブロック図である。図４は、画像内の領域を説明するための概念図である。図５は、表示装置に表示させるユーザインタフェースとなる画面の例である。図６は、画像データ管理テーブルを示す概念図である。
【００１４】
図３に示されるように、本実施形態の画像処理装置１０は、送受信部１１、操作入力受付部１２、画像生成部１３、無人フレーム抽出部１４、代表フレーム抽出部１５、キーフレーム抽出部１６、書込判定部１７、表示制御部１８ａ、音声出力制御部１８ｂ、及び記憶・読出処理部１９を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＲＯＭ１０２に記憶されているプログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能又は手段である。また、画像処理装置１０は、図２に示されているＨＤＤ１０５によって構築される記憶部１０００を有している。
【００１５】
（画像処理装置の各機能部）
次に、画像処理装置１０の各部を詳細に説明する。画像処理装置１０の送受信部１１は、ネットワークＩ／Ｆ１０９によって実現され、通信ネットワークを介して他の端末、装置又はシステムと各種データ（情報）の送受信を行う。
【００１６】
操作入力受付部１２は、図２に示されているキーボード１１１またはマウス１１２によって、ユーザから入力された情報を受け付けるものである。ユーザから入力された情報には、ユーザによって選択された画像ＩＤ、ユーザによって描画された領域を表す領域情報等がある。操作入力受付部１２は、後述する表示制御部１８ａが表示装置１８０に表示した画像のうちユーザによって選択された一以上の画像ＩＤ、ユーザによって描画された領域を表す領域情報等を受け付けるものであり、描画領域受付部１２ａ、領域情報抽出部１２ｂから構成される。図４は、マウス１１２によって指定されている画像内の領域を表す概念図である。描画領域受付部１２ａは、図４に示されるように、表示装置１８０上で、ユーザがマウス１１２等を操作することによって描画した領域を表す情報を受け付けるものである。マウス１１２による操作のほかに、キーボード１１１で画像内の座標を入力することによって、領域が描画されるものであってもよい。領域情報抽出部１２ｂは、描画領域受付部１２ａで検出された領域を表す領域情報を検出するものである。ここで、領域とは図４（１）に示されたような矩形であってもよいし、図４（２）乃至図４（４）に示されたように、楕円、多角形、曲線によって形成された形等の任意の形であってよい。また、図４（５）に示されたような分断された領域でもよいし、図４（６）に示されたような２つの閉曲線の間の領域でもよい。
【００１７】
なお、操作入力受付部１２は、領域情報受付手段の一例である。
【００１８】
画像生成部１３は、撮影装置３０によって撮影され、送受信部１１によって受信された動画像データから静止画像データを生成するものである。画像生成部１３は、画像取得部１３ａ、画像補正部１３ｂを有している。画像取得部１３ａは動画像データから所定の間隔おきに静止画像データを取得する。画像補正部１３ｂは、画像取得部１３ａによって取得された静止画像データを台形補正等によって補正するものである。
【００１９】
無人フレーム抽出部１４は、画像生成部１３によって生成された画像フレームのうち、描画対象物２００を除くものが撮影されていない画像フレームを、無人フレームとして抽出するものである。描画対象物２００を除くものとは、たとえば、描画対象物２００に描画画像２０１を書き込む人物である。無人フレーム抽出部１４は、輝度取得部１４ａ、差分判定部１４ｂ、無人判定部１４ｃによって構成される。輝度取得部１４ａは、画像生成部１３が生成した画像フレームの各画素の輝度を取得する。差分判定部１４ｂは、輝度取得部１４ａが連続する２枚の画像フレームについてそれぞれ取得した輝度の差分が閾値を超えているか否かを判定する。無人判定部１４ｃは、差分判定部１４ｂで輝度が閾値を超えているとされた画素の数が所定数以上であるか否かを判定し、所定数以下である場合には、そのフレームを無人フレームとする。
【００２０】
また、無人フレーム抽出部１４は画像フレーム全体に対してこの処理を施す第一の無人フレーム抽出処理と、操作入力受付部１２によって受け付けられた描画領域に対してのみこの処理を施す第二の無人フレーム抽出処理を実施する。以降、第一の無人フレーム抽出処理によって抽出された無人フレームを第一の無人フレーム、第二の無人フレーム抽出処理によって抽出された無人フレームを第二の無人フレームという。
【００２１】
代表フレーム抽出部１５は、無人フレーム抽出部１４で抽出された無人フレームのうち、同じ描画画像２０１を含む無人フレームをグループ化し、そのグループに属する無人フレームのうち一の無人フレームを、代表フレームとして抽出するものである。代表フレーム抽出部１５は、同一判定部１５ａ、グループＩＤ決定部１５ｂによって構成される。同一判定部１５ａは、無人フレーム抽出部１４で抽出された無人フレームの画像が、直前に撮影された無人フレームの画像と同一であるか否かを判定する。ここで、直前に撮影された無人フレームとは、時間情報が表す時間が直前の時間である無人フレームとする。グループＩＤ決定部１５ｂは、同一判定部１５ａでの決定に基づいて、無人フレームをグループ化する。
【００２２】
また、代表フレーム抽出部１５は画像フレーム全体に対してこの処理を施す第一の無人フレーム抽出処理と、操作入力受付部１２によって受け付けられた描画領域に対してのみこの処理を施す第二の代表フレーム抽出処理を実施する。以降、第一の代表フレーム抽出処理によって抽出された代表フレームを第一の代表フレーム、第二の代表フレーム抽出処理によって抽出された代表フレームを第二の代表フレームという。
【００２３】
キーフレーム抽出部１６は、代表フレーム抽出部１５で抽出された代表フレームのうち、撮影された時間に対して描画量が極大となるフレームを、キーフレームとして抽出するものであり、描画量算出部１６ａ、描画量判定部１６ｂによって構成される。描画量算出部１６ａは、代表フレーム抽出部１５で抽出された代表フレームの描画量を算出する。描画量判定部１６ｂは、描画量算出部１６ａで算出された描画量が、直前に撮影された代表フレームの描画量、及び直後に撮影された代表フレームの描画量より多いか否かを判定する。
【００２４】
書込判定部１７は、操作入力受付部１２が受け付けた、画像フレームを識別する情報、及び領域情報に基づいて、領域内に描画画像２０１が描かれていない画像フレームを抽出する。書込判定部１７は輝度判定部１７ａ、高輝度画素数判定部１７ｂによって構成される。輝度判定部１７ａは、領域内の各画素の輝度が所定の範囲内であるか否かを判定する。高輝度画素数判定部１７ｂは、輝度判定部１７ａで輝度が所定の範囲内であると判定された画素の数が、閾値より大きいか否かを判定する。
【００２５】
なお、無人フレーム抽出部１４、代表フレーム抽出部１５、キーフレーム抽出部１６、及び書込判定部１７は画像データ抽出手段の一例である。
【００２６】
表示制御部１８ａは、図２に示されているディスプレイＩ／Ｆ１０８によって実現され、表示装置１８０に対して画像を表示させるための制御を行う。図５は、表示制御部１８ａが、表示装置１８０に表示させるユーザインタフェースとなる画面の例を示すものである。表示装置１８０は、図５に示すように、動画像再生部２１１、描画領域受付部２１２、キーフレーム表示部２１３、検索結果表示部２１４で構成される。動画像再生部２１１には、後述する動画像データ生成部２０が生成した動画像が、表示制御部１８によって表示される。また、動画像再生部２１１の一時停止ボタン２１１ａ、停止ボタン２１１ｂ、再生ボタン２１１ｃ、再生箇所指示バー２１１ｄに対して、ユーザがマウス１１２で行った操作を操作入力受付部１２が受け付けることで、表示制御部１８ａが動画像の再生を制御することができる。描画領域受付部２１２は、ユーザがマウス１１２によって描画した領域を表す情報受け付けるものである。キーフレーム表示部２１３は、キーフレーム抽出部１６が抽出したキーフレームが表示制御部１８ａによって表示される領域である。検索結果表示部２１４は、後述する再生開始候補画像フレームが表示制御部１８ａによって表示される領域である。なお、表示制御部１８ａは表示制御手段の一例である。
【００２７】
音声出力制御部１８ｂは、図２に示されているスピーカーＩ／Ｆ１１６によって実現され、図示しないスピーカーに音声を出力させるための制御を行う。
【００２８】
また、記憶・読出処理部１９は、図２に示すＨＤＤ１０５として実現されている記憶部１０００に各種データを記憶したり、記憶部１０００に記憶された各種データを読み出したりする。
【００２９】
また、動画像データ生成部２０は、画像生成部１３によって生成された静止画像データと、それに対応する時間情報をもとに構成される静止画像データ群から動画像データを生成するものである。
【００３０】
記憶部１０００には、静止画像データ、静止画像データが表す各画像が撮影された時間情報、送受信部１１によって受信された動画像データ、及び、動画像生成部２０によって生成された動画像データが記憶されている。また、記憶部１０００には、画像データ管理テーブルによって構成されている画像データ管理ＤＢ１００１が構築されている。また、記憶部は画像データ記憶手段の一例である。
【００３１】
（画像データ管理テーブル）
記憶部１０００には、図６に示されているような画像データ管理テーブルによって構成されている画像データ管理ＤＢ１００１が構築されている。この画像データ管理テーブルでは、静止画像を識別する情報である画像ＩＤごとに、画像の名称を表す画像名、動画像が撮影された会議を識別する会議ＩＤ、静止画像に基づいて生成された動画像を識別する動画像ＩＤ、画像が撮影された撮影時間、第一の無人フレームであるか否かを表す第一の無人フレームフラグ、一以上の同じ無人フレームをグループ化したグループを識別するグループＩＤ、同一のグループに属する第一の無人フレームを代表する代表フレームであるか否かを表す第一の代表フレームフラグ、代表フレーム抽出部１５で抽出された代表フレームのうち、撮影された時間に対して描画量が極大となるフレームであることを表すキーフレームフラグ、第二の無人フレームであるか否かを表す第二の無人フレームフラグ、同一のグループに属する第二の無人フレームを代表する代表フレームであるか否表す第二の代表フレームが関連付けられて管理される。
【００３２】
例えば、図６に示されている画像データ管理テーブルにおいて、画像ＩＤ「８」の画像は、画像名「ｆｒａｍｅ００００８．ｊｐｇ」、会議ＩＤ「１」、動画像ＩＤ「１」、撮影時間「００：０７」、第一の無人フレームフラグ「ｆａｌｓｅ」、グループＩＤ「２−１」、第一の代表フレームフラグ「ｆａｌｓｅ」、キーフレームフラグ「ｆａｌｓｅ」、第二の無人フレームフラグ「ｔｒｕｅ」、第二の代表フレームフラグ「ｔｒｕｅ」であることを表している。
＜＜実施形態の処理・動作＞＞
以上が、本実施形態に係る画像処理システム１の構成及び機能（又は手段）の説明であり、続いて、図７乃至図１５を用いて、本実施形態に係る画像処理システム１における処理方法を説明する。なお、図７は、本実施形態に係る画像処理装置の処理の概要を示した図である。図８は、画像フレームを生成する処理を示した処理フロー図である。図９は、無人フレームを抽出する処理を示した処理フロー図である。図１０は、本実施形態に係る画像処理システム１の処理によって、抽出される画像フレームを示す概念図である。図１１は、無人フレームをグループ化する処理を示した処理フロー図である。図１２は、キーフレームを抽出する処理を示した処理フロー図である。図１３は、本実施形態に係る画像処理システム１の処理によって、抽出される画像フレームを示す概念図である。図１４は、第二抽出対象画像フレームを決定する処理を示した処理フロー図である。図１５は、動画像を再生させる処理を示した処理フロー図である。
【００３３】
図７を用いて、本実施形態に係る画像処理システム１の処理の概要を説明する。撮影装置３０としてのビデオカメラが描画対象物２００としてのホワイトボードの前面にある光景を動画像として撮影する。撮影された動画像を表す動画像データは、撮影された時間を表す時間情報とともに画像データ群としてＵＳＢケーブル等を介して、画像処理装置１０に送信される。
【００３４】
画像処理装置１０の送受信部１１はビデオカメラから送信された動画像データを受信し、記憶・読出処理部１９が記憶部１０００に記憶する（ステップＳ１）。
【００３５】
次に、画像生成部１３が、撮影装置３０によって撮影され、送受信部１１によって受信された動画像データから画像フレームを生成する（ステップＳ２）。具体的には、図８に示されるように、画像取得部１３ａが動画像データから所定の間隔おきに静止画像データである画像フレームとそれらに関連付けられた時間情報を取得する（ステップＳ２１）。そして、画像補正部１３ｂが、ステップＳ１で記憶部１０００に記憶された全ての画像フレームを台形補正する（ステップＳ２２）。ステップＳ２２で、画像が台形補正されると、記憶・読出処理部１９は画像フレームと、それらの画像フレームにかかる画像が撮影された時間を表す時間情報を画像データ管理ＤＢ１００１に記憶する（ステップＳ２３）。
【００３６】
続いて、無人フレーム抽出部１４及び記憶・読出処理部１９が、ホワイトボード上に描かれた描画画像２０１以外の撮影対象物が含まれる画像フレームを除去する第一の無人フレーム抽出処理を実施する（ステップＳ３）。
【００３７】
第一の無人フレーム抽出処理の詳細を、図９を用いて説明する。ステップＳ２で取得した画像フレームが表す画像の画素ごとの輝度を、輝度取得部１４ａが取得する（ステップＳ３１）。輝度が取得されると、差分判定部１４ｂは各画像の各画素の輝度と、それぞれの画像が撮影された時間の直前に撮影された画像の同じ位置にある画素の輝度との差分を算出し、その差分が閾値を超えているか否か判定する（ステップＳ３２）。続いて、無人判定部１４ｃが、それぞれの画像に対して算出された輝度の差分が閾値を超えている画素を輝度変化画素としてその数を算出し（ステップＳ３３）、輝度変化画素の数が所定の値を超えているか判定する（ステップＳ３４）。
【００３８】
ステップＳ３４で、輝度変化画素の数が所定の値を超えていると判定された場合、画像フレームは第一の無人フレームでないとされ、記憶・読出処理部１９が、その画像に対応している第一の無人フレームフラグの値を「ｆａｌｓｅ」とする（ステップＳ３５）。ステップＳ３４で輝度変化画素の数が所定の値以下である場合、画像フレームは無人フレームであるとされ、記憶・読出処理部１９は、その画像に対応している第一の無人フレームフラグの値を「ｔｒｕｅ」とする（ステップＳ３６）。無人フレーム抽出部１４及び記憶・読出処理部１９は、ステップＳ３１からステップＳ３６までの処理を、もっとも早い時間に撮影された画像フレームを除く、全ての画像フレームに対して実施する。
【００３９】
これにより、図１０（１）に示されるＦ１乃至Ｆ１９の画像フレームから、人物等が撮影されている画像フレームＦ２、Ｆ５、及び、Ｆ８乃至Ｆ１７を除いた画像フレームが第一の無人フレームとして、図１０（２）に示されるように抽出されることになる。なお、図１０（１）では画像フレームＦ９乃至画像フレームＦ１６までを省略しているが、これらの画像フレームには人物等が撮影されている、すなわち第一の無人フレームではないものとする。
【００４０】
次に、代表フレーム抽出部１５及び記憶・読出処理部１９が、ステップＳ３で抽出された第一の無人フレームにおいて、同一の描画画像２０１を有する画像フレーム群を形成し、代表フレームを抽出する第一の代表フレーム抽出処理を実施する（ステップＳ４）。
【００４１】
まず、第一の無人フレームをグループ化する処理の詳細を、図１１を用いて説明する。画像データ管理ＤＢ１００１に記憶されている第一の無人フレームが、その画像が撮影された時間の直前に撮影された第一の無人フレームフラグと同一であるかを、同一判定部１５ａが判定する（ステップＳ４１）。ここで、画像が同一であるかを判定する方法としてはテンプレートマッチング等の技術が用いられる。ステップＳ４１で、第一の無人フレームが直前に撮影された第一の無人フレームと同一であると判定された場合には、グループＩＤ決定部１５ｂは直前の第一の無人フレームフラグに付与されているグループＩＤと同一のグループＩＤである「１」として決定し、記憶・読出処理部１９が画像管理テーブルの対象の画像フレームに関連付けて記憶する（ステップＳ４２）。ステップＳ４１で、第一の無人フレームが直前に撮影された第一の無人フレームと同一でないと判定された場合には、グループＩＤ決定部１５ｂは、判定対象の第一の無人フレームに対応するグループＩＤを「２」として決定し、この値を記憶・読出処理部１９が画像管理テーブルに記憶する（ステップＳ４３）。
【００４２】
ステップＳ４１からステップＳ４３までの処理を、もっとも早い時間に撮影された第一の無人フレームを除く、全ての第一の無人フレームに対して実施する。これにより、図１０（３）に示すように、第一の無人フレームである画像フレームのうち、画像フレームＦ１のグループＩＤは「１」、画像フレームＦ３及びＦ４のグループＩＤは「２」、画像フレームＦ６及びＦ７のグループＩＤは「３」、画像フレームＦ１８及びＦ１９のグループＩＤは「４」となる。
【００４３】
このようにして、全ての第一の無人フレームに対してグループ化の処理を終えると、記憶・読出処理部１９は、同一のグループＩＤを有する画像フレームのうち、もっとも撮影時間が早い画像フレームを第一の代表フレームとして、対応する第一の代表フレームフラグを「ｔｒｕｅ」とする。記憶・読出処理部１９は、第一の代表フレームフラグを「ｔｒｕｅ」とした画像フレーム以外の第一の代表フレームフラグを「ｆａｌｓｅ」とする。これにより、図１０（４）に示すように、画像フレームＦ３、Ｆ６、及びＦ１８が第一の代表フレームとして抽出される。
【００４４】
次に、キーフレーム抽出部１６が、ステップＳ４で代表フレームとして抽出された画像フレームからキーフレームを抽出する処理を実施する（ステップＳ５）。
【００４５】
キーフレーム抽出処理の詳細を、図１２を用いて説明する。まず、描画量算出部１６ａが、代表フレームの描画量を算出する（ステップＳ５１）。ここで、描画量の算出は輝度が閾値を超えている画素の数をカウントすることによって行われる。そして、描画量判定部１６ｂが、その第一の代表フレームが撮影された直前に撮影された第一の代表フレームの描画量より大きいか否かを判定する（ステップＳ５２）。ステップＳ５２で、第一の代表フレームの描画量が直前に撮影された第一の代表フレームの描画量より大きい場合には、描画量判定部１６ｂは、その第一の代表フレームが、直後に撮影された第一の代表フレームの描画量より大きいか否かを判定する（ステップＳ５３）。第一の代表フレームの描画量が直後に撮影された代表フレームの描画量より大きい場合には、その第一の代表フレームがキーフレームとされ、記憶・読出処理部１９が、画像データ管理テーブルの対応するキーフレームフラグ「ｔｒｕｅ」を記憶する（ステップＳ５４）。
【００４６】
一方、ステップＳ５２で、画像フレームの描画量が直前に撮影された画像フレームの描画量以下である場合には、記憶・読出処理部１９は、画像データ管理テーブルの対応するキーフレームフラグ「ｆａｌｓｅ」を記憶する（ステップＳ５５）。ステップＳ５３で、画像フレームの描画量が直前に撮影された画像フレームの描画量以下である場合には、記憶・読出処理部１９は、画像データ管理テーブルの対応するキーフレームフラグ「ｆａｌｓｅ」とする（ステップＳ５５）。ステップＳ５１からステップＳ５５までの処理を、もっとも早い時間に撮影された第一の代表フレームと、もっとも遅い時間に撮影された第一の代表フレームを除く、全ての第一の代表フレームに対して実施する。これにより、図１０（５）に示すように、画像フレームＦ３及びＦ１８がキーフレームとして抽出される。
【００４７】
そして、表示制御部１８ａが抽出されたキーフレームを表示装置１８０のキーフレーム表示部２１３に表示する（ステップＳ５６）。
【００４８】
続いて、ユーザによって描画された領域内における人物の有無、描画物の有無等から、再生し始めの画像の候補となる再生開始候補画像フレームを抽出する。まず、後述の第二の無人フレーム抽出処理及び第二の代表フレーム抽出処理の対象となる第二抽出対象画像フレームを決定する（ステップＳ６）。
【００４９】
ステップＳ６の処理の詳細を、図５、図１０（６）、図１３、及び図１４を用いて説明する。まず、図５（１）に示されるキーフレーム表示部２１３に表示されたキーフレームのうちいずれかひとつをユーザがマウス等を用いて選択する。図５に示す例では、キーフレーム表示部２１３に表示されている４つのキーフレームのうち「あかさ」という描画があるキーフレームを選択する。すると、図５（２）に示されるように、表示制御部１８ａが選択されたキーフレームを描画領域受付部２１２に表示する。そして、ユーザは描画領域受付部２１２表示されたキーフレーム内の領域を、マウス等を用いて描画する。
【００５０】
次に、図１４に示されるように、操作入力受付部１２が、ユーザによって指定されたキーフレームの画像ＩＤと、キーフレーム内のユーザによって描画された領域を表す領域情報を受け付ける（ステップＳ６１）。
【００５１】
続いて、画像処理装置１は、キーフレームの直前に撮影され、かつ、ユーザによって描画された領域内に描画物がない代表フレームを検索する。検索された代表フレームより後に撮影され、キーフレームより前に撮影されている有人フレーム（無人フレームでない画像フレーム）の描画状態を詳細に知ることにより、ユーザが着目している描画物が描かれるまでの過程を知ることができるようにするためである。
【００５２】
なお、描画物の有無は、輝度が所定の閾値より大きい画素の割合に基づいて判定される。具体的には、輝度が閾値より大きいと判定された画素の数の、領域内全画素の数に対する割合が所定の値より大きい場合には描画物が無いと判定される。また、輝度が閾値より大きいと判定された画素の数の、領域内全画素の数に対する割合が所定の値より小さい場合には描画物がある、として判定される。
【００５３】
また、画像処理装置１がキーフレームの直前に撮影され、かつ、ユーザによって描画された領域内に描画物がない代表フレームを検索する処理を図１０（６）を用いて説明する。図１０（６）は前述の第一の代表フレーム抽出処理で抽出された代表フレームが撮影された順に示されているものである。また、図１０（６）に示されている文字「あかさ」が描画されているキーフレームＦ１８の画像ＩＤ「１８」がステップＳ６１で受け付けられているものとする。また、図１０（６）に示されている文字「さ」を囲む領域（図１０（６）中の点線で囲まれる領域）がユーザによって描画された領域を表す領域情報としてステップＳ６１で受け付けられているものとする。
【００５４】
画像処理装置１がキーフレームの直前に撮影され、かつ、ユーザによって描画された領域内に描画物がない代表フレームを検索する処理として、まず、受け付けられた画像ＩＤに対応するキーフレームより前に撮影された第一の代表フレームのうち、最も後に撮影されている第一の代表フレームに対して、輝度判定部１７ａが、操作入力受付部１２で受け付けられた領域内の各画素の輝度が所定の値より大きいか否かを判定する（ステップＳ６２）。すなわち、図１０（６）に示される例では、キーフレームとしてＦ１８が選択されているので、Ｆ１８のキーフレームより前に撮影された第一の代表フレームＦ３、Ｆ６のうち、最も後に撮影されている第一の代表フレームであるＦ６に対して領域内の各画素の輝度が所定の値より大きいか否かを判定している（ステップＳ６２の具体例）。
【００５５】
領域内の全ての画素に対してステップＳ６２の処理が行われると、高輝度画素数判定部１７ｂは、輝度が閾値より大きいと判定された画素の数の、領域内全画素の数に対する割合が所定の値より大きいか否かを判定する（ステップＳ６３）。すなわち、図１０（６）に示される例では、第一の代表フレームであるＦ６に対して点線で囲む領域内の各画素の輝度が所定の値より大きいか否かを判定している（ステップＳ６３の具体例）。
【００５６】
ステップＳ６３で、輝度が閾値より大きい画素の数の割合が所定の値より大きいと判定された場合には、書込判定部１７はその代表フレームより後に撮影され、かつステップＳ６１で受け付けられた画像ＩＤに対応するキーフレームより前に撮影された画像フレームを、図１０（１）に示される全ての画像フレームの中から、第二の無人フレーム抽出処理及び第二の代表フレーム抽出処理の対象である第二抽出対象画像フレームとして決定する（ステップＳ６４）。
【００５７】
すなわち、図１０（６）に示される例ではＦ６の領域内に描画物がないため、輝度が閾値より大きいと判定された画素の数の割合が所定の値より大きいと判定される。そして、この代表フレームＦ６より後に撮影され、かつステップＳ６１で受け付けられた画像ＩＤに対応するキーフレームであるＦ１８より前に撮影された有人フレームであるＦ８からＦ１７までの全ての画像フレームが第二抽出対象画像フレームとして決定されることになる（ステップＳ６４の具体例）。
【００５８】
ステップＳ６３で、輝度が閾値より大きい画素の数の割合が所定の値より小さいと判定された場合には、その前に撮影された第一の代表フレームに対してステップＳ６２からステップＳ６３の処理を繰り返す。図１０（６）に示される例で、輝度が閾値より大きいと判定された画素の数の割合が所定の値より小さい場合、すなわち、Ｆ６の領域内に描画物がある場合には、Ｆ６の前に撮影された第一の代表フレームであるＦ３に対してステップＳ６２からステップＳ６３の処理を行うことになる。
【００５９】
続いて第二の無人フレーム抽出処理及び第二の代表フレーム抽出処理について、図１３を用いて説明する。なお、図１３に示される例は図１０に示される画像フレームのうち第二抽出対象画像フレームである画像フレームＦ８乃至画像フレームＦ１７を示したものである。
【００６０】
無人フレーム抽出部１４及び記憶・読出処理部１９が、描画領域受付部１２ａによって受け付けられた領域内に、描画画像２０１以外の撮影対象物（人物等）が含まれる画像フレームを除去する第二の無人フレーム抽出処理を実施する（ステップＳ７）。この処理がステップＳ３で説明した第一の無人フレーム抽出処理と異なる点は、画像全体に対して処理を行うのではなく、画像内の描画領域受付部１２ａによって受け付けられた領域に対して処理を行う点、全ての画像フレームに対してではなく、ステップＳ６４で決定された第二抽出対象画像フレームに対してのみ処理を行う点である。
【００６１】
この２点を除いて第二の無人フレーム抽出処理は、第一の無人フレーム抽出処理と同様であるのでその説明を省略する。この第二の無人フレーム抽出処理により、図１３（１）に示されるＦ８乃至Ｆ１７の画像フレームから、描画された領域内に人物等が撮影されている画像フレームＦ９、Ｆ１２、Ｆ１５、Ｆ１６を除いた画像フレームが、図１３（２）に示されるように第二の無人フレームとして抽出されることになる。そして、記憶・読出処理部１９が画像データ管理テーブルに記憶されているそれぞれの画像フレームを表す画像ＩＤに対応する第二の無人フレームフラグを「Ｔｒｕｅ」とする。
【００６２】
このように描画された領域に対してのみ処理を行うことによって、第一の無人フレーム抽出処理によっては無人フレームとされなかった画像フレームにおいても、第二の無人フレーム処理では描画領域２０２内に人物がいても描画領域内に人物等が含まれていなければ、その画像フレームは無人フレームとされる。これによって、第一の代表フレーム処理および第二のキーフレーム抽出処理においては抽出されなかった画像フレームの中から描画領域内の描画物が描かれる過程を示す画像フレームを抽出することが可能となる。
【００６３】
続いて、代表フレーム抽出部１５及び記憶・読出処理部１９が、ステップＳ７で抽出した第二の無人フレームにおいて、描画領域受付部１２ａによって受け付けられた領域内に同一の描画画像２０１を有する画像フレーム群を形成し、代表フレームを抽出する第二の代表フレーム抽出処理を実施する（ステップＳ８）。この処理で第一の代表フレーム抽出処理と異なる点は、画像全体に対して処理を行うのではなく画像内の描画領域受付部１２ａによって受け付けられた領域に対して処理を行う点、全ての無人フレームに対してではなく、ステップＳ７で第二の無人フレーム抽出処理によって抽出された第二の無人フレームに対して、すなわち第二の無人フレームフラグが「Ｔｒｕｅ」である画像フレームに対してのみ処理を行う点である。
【００６４】
上記２点を除いて、第二の代表フレーム抽出処理は第一の代表フレーム抽出処理と同様であるのでその説明を省略する。第二の代表フレーム抽出処理を行うことによって、図１３（３）に示されるように、画像フレームＦ８、Ｆ１０、Ｆ１３、及びＦ１７が第二の代表フレームとして抽出され、これらの第二の代表フレームが再生開始候補画像フレームとされる。そして、記憶・読出処理部１９が画像データ管理ＤＢ１００１の画像データ管理テーブルに記憶されているそれぞれの画像フレームを表す画像ＩＤに対応する第二の代表フレームフラグを「Ｔｒｕｅ」とする。
【００６５】
なお、再生開始候補画像フレームとは、後述する動画像を再生する処理において再生を始める画像の候補となる画像をいい、この再生開始候補画像フレームからユーザによって選択されたものを再生開始画像フレームという。
【００６６】
このようにステップＳ８で受け付けられた領域に対してのみ第二の代表フレーム抽出処理を行うことによって、領域外の描画の変化によらず、また、領域外の人物等の動きによらず、ユーザが着目している領域の描画に基づいて再生開始候補画像フレームを抽出することができる。
【００６７】
続いて、動画像生成部２０及び表示制御部１８ａが動画像データを再生するための処理を実施する（ステップＳ９）。ステップＳ９の処理の詳細について図５および図１５を用いて説明する。ステップＳ８で再生開始候補画像フレームとして第二の代表フレームが抽出されると、図５（３）に示されるように表示制御部１８ａが表示装置１８０の画面の検索結果表示部２１４に第二の代表フレームを表示する（ステップＳ９１）。具体的には、記憶・読出処理部１９が画像データ管理テーブル１００１の第二の代表フレームフラグ「Ｔｒｕｅ」に対応する画像データを読出し、表示制御部１８ａが読み出された画像データを検索結果表示部２１４に表示する。
【００６８】
そして、表示された第二の代表フレームの中からいずれかひとつをユーザがマウス等により選択することによって、操作入力受付部１２が選択された第二の代表フレームを再生開始画像フレームとして、その画像ＩＤを受け付ける（ステップＳ９２）。
【００６９】
そして、表示制御部１８ａが、送受信部１１によって受信され記憶部１０００に記憶されている動画像データに基づく動画像を、図５（３）に示される表示装置１８０の動画像再生部２１１にステップＳ９２で受け付けた画像ＩＤの画像フレームである再生開始画像フレームから再生させる（ステップＳ９３）。なお、ステップＳ８で抽出された第二の代表フレームがひとつである場合、ステップＳ９２の処理が省略され、表示制御部１８ａはステップＳ８で抽出された第二の代表フレームを再生開始画像フレームとして動画像を再生してもよい。
【００７０】
＜＜実施形態の主な効果＞＞
以上説明したように本実施形態によれば、ユーザによって描画された画像の領域を表す領域情報を受け付け、受け付けた領域情報に基づいて静止画像データを抽出するので、その領域内に描画画像２０１が描画され始める時点での画像を簡易に抽出することができる。すなわち、ユーザによって描画画像２０１が含まれる画像内の領域が選択されることで、簡易にその描画画像２０１が描画され始めた時点での画像を抽出することができ、固定のセルを選択して描画し始めた時点での画像を抽出するために何度も操作をし直さなければならないという煩わしさがなくなる。
【００７１】
また、ユーザが領域を描画してから、その領域に書込みがない画像を抽出するので、あらかじめ領域に対して書込みが始まる時点での画像を記憶しておかなくてもよく、そのため記憶容量を軽減できる。
【００７２】
＜＜実施形態の補足＞＞
上述の実施形態では、代表フレームを抽出する処理において、同一のグループＩＤを有する画像フレームのうち、もっとも撮影時間が早い画像フレームの代表フレームフラグを「ｔｒｕｅ」とし、それ以外の画像フレームの代表フレームフラグを「ｆａｌｓｅ」としたが、同一のグループＩＤを有する画像フレームのうち、任意の１つの画像フレームの代表フレームフラグを「ｔｒｕｅ」とし、それ以外の画像フレームの代表フレームフラグを「ｆａｌｓｅ」としてもよい。
【００７３】
また、上述の実施形態を、黒板等の黒い描画対象物２００に白いペンやチョーク等で描画画像２０１を形成する場合にも適用できる。このとき、描画された領域に描画され始める直前から、動画像が再生されるための処理で、高輝度画素数判定部１７ｂは、輝度が閾値より小さいと判定された画素の数の割合が所定の値より小さい場合には、その前に撮影された画像フレームに対してステップＳ６１からステップＳ６３の処理を繰り返す。
【００７４】
また、第一の無人フレーム抽出処理において、輝度取得部１４ａは、画像フレームが表す画像の周辺領域２０３内の、画素ごとの輝度を取得してもよい。周辺領域２０３の前面に描画する人が存在する場合が多いため、このように周辺領域２０３の輝度を測定するだけで、人物等のいる画像フレームであるか否かを判定するには十分であり、このようにすることで、周辺領域２０３の画素の輝度を測定するより、処理量が減少し、ＣＰＵの負荷の低減を図ることができる。
【００７５】
また、時間情報は、動画像が撮影され始めてからの時間を表す情報としたが、画像フレームが表す画像が動画像として撮影された順を表す情報としてもよい。たとえば、最も早い時間に撮影された画像の時刻情報を１、次に撮影された画像の時刻情報を２、というように、カウントアップされた値を各画像の時刻情報としてもよい。
【００７６】
また、表示制御部１８ａが、送受信部１１によって受信され記憶部１０００に記憶されている動画像データに基づく動画像を再生させているが、動画像データ生成部２０が、ステップＳ１で記憶されている画像フレームと時間情報に基づいて動画像データを生成し、その動画像データに基づく動画像を再生させるとしてもよい。この場合、記憶部１０００は送受信部１１によって受信された動画像データを記憶する必要がなく、記憶容量を削減することができる。なお、この動画像データを生成する処理はＦＦｍｐｅｇ（登録商標）等の画像加工ソフトウェアによって実現される。また、送受信部１１によって受信され記憶部１０００に記憶されている動画像データに基づく動画像を再生させる場合には、動画像データを生成する処理を行う必要がないため画像処理装置１０の負荷が軽減され、また、送受信部１１によって受信され記憶部１０００に記憶されている動画像データに基づく動画像を再生させる場合には、途切れることのないスムーズな動画像が再生されることになる。
【００７７】
また、動画像データ生成部２０が、動画像データを生成するとき、時刻情報に基づいて静止画像データに音声データを合成してもよい。このようにして動画像データが生成される場合、表示制御部１８ａが動画像データによって表される動画像を表示させるときに、音声出力制御部１８ｂが、対応する音声データを出力させる。このようにすることによって、描画対象物２００に描画される過程での音声を聞くことができ、会議の内容をよりよく把握することが可能となる．
【符号の説明】
【００７８】
１０ 画像処理装置
１１ 送受信部
１２ 操作入力受付部
１３ 画像生成部
１３ａ 画像取得部
１３ｂ 画像補正部
１４ 無人フレーム抽出部
１４ａ 輝度取得部
１４ｂ 差分判定部
１４ｃ 無人判定部
１５ 代表フレーム抽出部
１５ａ 同一判定部
１５ｂ グループＩＤ決定部
１６ キーフレーム抽出部
１６ａ 描画量算出部
１６ｂ 描画量判定部
１７ 書込み判定部
１７ａ 輝度判定部
１７ｂ 高輝度画素数判定部
１８ａ 表示制御部
１８ｂ 音声出力制御部
１９ 記憶・読出処理部
２０ 動画像生成部
１０００ 記憶部
１００１ 画像データ管理ＤＢ
２００ 描画対象物
２０１ 描画画像
２０２ 描画領域
２０３ 周辺領域
２１１ 動画像再生部
２１２ 描画領域受付部
２１３ キーフレーム表示部
２１４ 検索結果表示部
３０ 撮影装置
【先行技術文献】
【特許文献】
【００７９】
【特許文献１】特開２００４−０８０７５０公報
【特許請求の範囲】
【請求項１】
画像データを処理する画像処理装置であって、
画像を表す画像データを記憶する画像データ記憶手段と、
前記画像データ記憶手段に記憶されている前記画像データに基づく画像を表示させる表示制御手段と、
前記表示制御手段が表示させている前記画像データに基づく画像のユーザによって描画された領域を表す領域情報を受け付ける領域情報受付手段と、
前記領域情報受付手段で受け付けた前記領域情報に基づいて、前記画像データ記憶手段に記憶されている前記画像データを抽出する画像データ抽出手段と、を有することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記画像データ抽出手段は、前記領域受付手段で受け付けた領域内で、輝度が所定の範囲の画素の数が所定の閾値より大きい画像データを前記画像データ記憶手段に記憶されている前記画像データから抽出することを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置であって、
前記画像の描画量が、前記画像の直前に撮影された画像の描画量より大きく、前記画像の直後に撮影された画像の描画量より大きい場合に、前記画像を表す画像データをキーフレームとして抽出するキーフレーム抽出手段を有し、
前記領域受付手段は、前記キーフレーム抽出手段によってキーフレームとして抽出された前記画像の領域を受け付けることを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記画像データ記憶手段は、前記画像データが表す画像が撮影された時間を表す時間情報を前記画像データに対応付けて記憶し、
前記キーフレーム抽出手段によってキーフレームとして抽出された画像データに基づいて、前記画像データ抽出手段は、キーフレームとして抽出された画像データが表す画像が撮影された時間より前に撮影された前記画像データを抽出することを特徴とする画像処理装置。
【請求項５】
画像データを処理する画像処理装置が実行する画像プログラムであって、
前記画像処理装置は、
画像を表す画像データを記憶する画像データ記憶手段を有し、
前記画像処理装置が、
前記画像データ記憶手段に記憶されている前記画像データに基づく画像を表示させる表示制御工程と、
前記表示制御工程が表示させている前記画像データに基づく画像のユーザによって描画された領域を表す領域情報を受け付ける領域情報受付工程と、
前記領域情報受付工程で受け付けた前記領域情報に基づいて、前記画像データ記憶手段に記憶されている前記画像データを抽出する画像データ抽出工程と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１】
画像データを処理する画像処理装置であって、
画像を表す画像データを記憶する画像データ記憶手段と、
前記画像データ記憶手段に記憶されている前記画像データに基づく画像を表示させる表示制御手段と、
前記表示制御手段が表示させている前記画像データに基づく画像のユーザによって描画された領域を表す領域情報を受け付ける領域情報受付手段と、
前記領域情報受付手段で受け付けた前記領域情報に基づいて、前記画像データ記憶手段に記憶されている前記画像データを抽出する画像データ抽出手段と、を有することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記画像データ抽出手段は、前記領域受付手段で受け付けた領域内で、輝度が所定の範囲の画素の数が所定の閾値より大きい画像データを前記画像データ記憶手段に記憶されている前記画像データから抽出することを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置であって、
前記画像の描画量が、前記画像の直前に撮影された画像の描画量より大きく、前記画像の直後に撮影された画像の描画量より大きい場合に、前記画像を表す画像データをキーフレームとして抽出するキーフレーム抽出手段を有し、
前記領域受付手段は、前記キーフレーム抽出手段によってキーフレームとして抽出された前記画像の領域を受け付けることを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記画像データ記憶手段は、前記画像データが表す画像が撮影された時間を表す時間情報を前記画像データに対応付けて記憶し、
前記キーフレーム抽出手段によってキーフレームとして抽出された画像データに基づいて、前記画像データ抽出手段は、キーフレームとして抽出された画像データが表す画像が撮影された時間より前に撮影された前記画像データを抽出することを特徴とする画像処理装置。
【請求項５】
画像データを処理する画像処理装置が実行する画像プログラムであって、
前記画像処理装置は、
画像を表す画像データを記憶する画像データ記憶手段を有し、
前記画像処理装置が、
前記画像データ記憶手段に記憶されている前記画像データに基づく画像を表示させる表示制御工程と、
前記表示制御工程が表示させている前記画像データに基づく画像のユーザによって描画された領域を表す領域情報を受け付ける領域情報受付工程と、
前記領域情報受付工程で受け付けた前記領域情報に基づいて、前記画像データ記憶手段に記憶されている前記画像データを抽出する画像データ抽出工程と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−７４０２４（Ｐ２０１２−７４０２４Ａ）
【公開日】平成２４年４月１２日（２０１２．４．１２）
【国際特許分類】
【出願番号】特願２０１１−１９０６１３（Ｐ２０１１−１９０６１３）
【出願日】平成２３年９月１日（２０１１．９．１）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２４年４月１２日（２０１２．４．１２）
【国際特許分類】
【出願日】平成２３年９月１日（２０１１．９．１）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]