画像処理装置、画像処理方法、プログラムおよび記録媒体
【課題】動画像からセキュリティ属性情報の検出を効率的に行う。
【解決手段】媒体検出部１０４は動画像から紙媒体を検出し、地紋検出部１０５は媒体に埋め込まれた地紋による情報コードを検出する。線画像検出部１０６は、情報コードが検出された媒体内から線画像を検出し、画像保存処理部１０７は情報コードと共に登録部１０８に保存する。マッチング部１０９は、登録部１０８に保存された画像に一致するものが、媒体内に存在するか否かを検出し、領域塗り潰し部１１０は、情報コードまたは媒体内に画像が検出されたとき、媒体内を判読できないように塗り潰す。
【解決手段】媒体検出部１０４は動画像から紙媒体を検出し、地紋検出部１０５は媒体に埋め込まれた地紋による情報コードを検出する。線画像検出部１０６は、情報コードが検出された媒体内から線画像を検出し、画像保存処理部１０７は情報コードと共に登録部１０８に保存する。マッチング部１０９は、登録部１０８に保存された画像に一致するものが、媒体内に存在するか否かを検出し、領域塗り潰し部１１０は、情報コードまたは媒体内に画像が検出されたとき、媒体内を判読できないように塗り潰す。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像から所定の情報を検出する画像処理装置、画像処理方法、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
紙媒体に地紋などでセキュリティ属性情報を埋め込み、スキャン時にその情報を検出し、セキュリティ属性のレベルに応じてコピー、送信などを不可にする技術がある（例えば、特許文献１を参照）。
【０００３】
動画像に対しても同様にセキュリティ対策がなされているが、例えばＴＶ会議などで、セキュリティレベルの高い原稿がたまたまカメラに写って、そのまま相手先に送信されると、情報漏洩などの問題を起こす。そこで、動画像中から紙媒体に付加されたセキュリティ属性情報を検出して、その媒体部分を塗り潰すなどの対応が考えられる。動画像からセキュリティ属性情報を検出する場合、その情報が一旦、検出できれば、動き補償情報を利用して媒体を追跡することにより、いつも情報の検出を行う必要がなく、容易に塗り潰せる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、その媒体が一旦、画面外にはずれれば、セキュリティ属性情報を最初から検出しなければならない。一般に、紙媒体へのセキュリティ属性情報の埋め込みは、地紋やバーコードなどを利用しているので画像の歪みが大きいこと、解像度が低いことなどから、動画像からのセキュリティ属性情報の検出が非常に難しく、また媒体が画面から外れる毎にセキュリティ属性情報を検出すると検出処理の効率が悪い。
【０００５】
本発明は上記した課題に鑑みてなされたもので、
本発明の目的は、動画像からセキュリティ属性情報の検出を効率的に行う画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
【課題を解決するための手段】
【０００６】
本発明は、第１のタイミングにおいて、動画像から所定の媒体画像を検出し、前記媒体画像から所定の情報に対応した第１の特徴を検出し、前記第１の特徴が検出されたとき、前記媒体画像から第２の特徴を検出し、前記媒体画像に対して前記第１の特徴に応じた処理を施す制御手段と、前記媒体画像毎に前記第１の特徴と第２の特徴を保存する保存手段を備え、第２のタイミングにおいて、前記制御手段は、前記動画像から所定の媒体画像を検出し、前記媒体画像から前記第１の特徴が検出されないとき、前記保存手段を参照し、前記保存手段に保存されている第２の特徴が前記媒体画像から検出されたとき、前記保存手段に保存されている前記第２の特徴に対応する第１の特徴を取得し、前記取得した前記第１の特徴に応じた処理を前記媒体画像に対して施すことを最も主要な特徴とする。
【発明の効果】
【０００７】
本発明によれば、動画像から第１、第２の特徴を検出して保存し、第２の特徴の検出に応じて第１の特徴が検出されたと推定できるので、所定の情報に対応した第１の特徴の検出性能が向上する。
【図面の簡単な説明】
【０００８】
【図１】本発明のシステム構成例と、実施例１のＴＶ会議装置（画像処理装置）機能構成を示す。
【図２】媒体検出部の処理フローチャートを示す。
【図３】画像処理装置が実行する、第２の特徴の保存処理のフローチャートを示す。
【図４】地紋による情報コードの埋め込み方法を示す。
【図５】情報コードと登録部の構成例を示す。
【図６】地紋文書の例を示す。
【図７】画像処理装置が実行する、情報コードの取得処理のフローチャートを示す。
【図８】本発明の実施例２のＴＶ会議装置（画像処理装置）の機能構成を示す。
【図９】本発明の実施例３の処理フローチャートを示す。
【図１０】本発明の実施例４に係る、第２の特徴の保存処理のフローチャートを示す。
【図１１】本発明の実施例５の構成例を示す。
【発明を実施するための形態】
【０００９】
以下、発明の実施の形態について図面により詳細に説明する。
【実施例１】
【００１０】
図１（ａ）は、本発明のシステム構成例を示す。図１（ａ）は、例えばＴＶ会議システムに本発明を適用した場合の構成例を示し、ＴＶ会議装置（画像処理装置）１００ａ〜１００ｃがネットワークに接続され、ＴＶ会議装置間で相互に会議が行われる。
図１（ｂ）は、本発明の実施例１のＴＶ会議装置（画像処理装置）１００の機能構成を示す。図１（ｂ）において、１０１はカメラなどの撮像装置、１０２は動き予測部、１０３は動き補償部、１０４は媒体検出部、１０５は地紋検出部、１０６は線画像検出部、１０７は画像保存処理部、１０８は登録部、１０９はマッチング部、１１０は領域塗り潰し部である。
【００１１】
カメラ１０１は、撮像した動画像を電子信号に変換する。動き予測部１０２は、動画像の各フレームから各画像ブロックの動きベクトルを予想し、動き補償部１０３はその補正を行って、正確な動きベクトルを出力する。媒体検出部１０４は、動画像の所定のフレームから紙媒体を検出する。地紋検出部１０５は、媒体内に地紋による、所定の情報に対応した所定のドット配置（第１の特徴）が存在するか否かを検出する。この地紋はセキュリティ上の機密文書に付けられるもので、複写やＦＡＸ送信などが制限されているものとする。線画像検出部１０７は、地紋が検出された媒体内から、所定の太さ及び長さ以上の線画像（第２の特徴）を検出し、画像保存処理部１０７は、検出された媒体毎に第１の特徴と第２の特徴を登録部１０８に保存する。マッチング部１０９は、登録部１０８に保存された第２の特徴に一致する画像が、媒体内に存在するか否かを検出する。領域塗り潰し部１１０は、地紋検出またはマッチングにより、第１または第２の特徴が検出されたとき、その媒体内を判読できないように塗り潰す。また、動きベクトル情報を使って、その媒体部分を追尾して、全フレームの媒体部を塗り潰し続ける。
【００１２】
上記した動き予測部１０２、動き補償部１０３、領域塗り潰し部１０９は、全フレームに対して処理するが、媒体検出部１０４、地紋検出部１０５、線画像検出部１０６、画像保存処理部１０７、マッチング部１０９は、所定のフレームのみに対して処理してもよい。
【００１３】
なお、上記した地紋を、透かしやバーコードなどの他のマーキングに置き換えることが可能であり、また、線画像の検出は、線画に限定されず、図形の検出に置き換えることも可能である。
【００１４】
図２（ａ）は、媒体検出部の処理フローチャートを示す。紙媒体の検出は物体認識技術を用いて行う。物体認識の中でも特定の物体、例えば、顔認識はデジタルカメラ等に採用されている技術である。一般に、特定物体の認識は、検出しようとする物体に相応しい特徴を定めて、特徴量を教師データにより学習する。そして、検査画像から特徴量を計算し、その量が所定の閾値を超えたか否かでその物体の存在を判定する。
【００１５】
紙媒体検出の特徴としては、例えば、周辺画像とのエッジが明確で、それが四角形の閉空間を作る特徴を有し、また、紙媒体には、通常、文字が記載されているのでテキスチャが存在し、これらを特徴量として検出し、予め定めた閾値を超えていれば紙媒体、超えなければ紙媒体ではないと判断する。
【００１６】
まず、対象画像よりエッジを検出する（ステップ２０１）。エッジを検出した後、エッジによる閉空間を探索する（ステップ２０２）。閉空間がなければ（ステップ２０３）、紙媒体ではないと判断する（ステップ２０９）。閉空間がある場合は、その全てについて以下の判定処理を行う。
【００１７】
次に、閉区間の四角形らしさを計算する（ステップ２０４）。例えば、約９０度の角度をもった頂点の数をカウントし、図２（ｂ）に示すような配点を行う。判定は、例えば、四角形らしさが３以上であれば四角形と判定する（ステップ２０５）。
【００１８】
次いで、テキスチャらしさを計算する（ステップ２０６）。テキスチャらしさは、例えば、矩形領域の平均明度の差分値を計算し周波数解析を行う。判定は、周波数解析結果から、規則的な並びをもっていれば、文書画像であると判断する（ステップ２０７）。最終判定は、文書画像であればそれは紙媒体であると判定する（ステップ２０８）。
【００１９】
図３は、画像処理装置が実行する、第２の特徴の保存処理のフローチャートを示す。地紋検出部１０５は地紋から情報コードを検出する（ステップ３０１）。地紋が検出されると（ステップ３０２でＹｅｓ）、その情報コードを一旦保存し（ステップ３０３）、線画像検出部１０６は、線画像を検出する（ステップ３０４）。線画像とは、ここでは所定以上の太さ及びラン長の画像である。線画像が検出されると（ステップ３０５）、画像保存処理部１０７は、その線画像を情報コードと共に登録部１０８に保存する（ステップ３０６）。第１のタイミングで、上記したように処理することで、第２のタイミングで、その線画を検出した場合に、線画と共に保存されている情報コードが検出されたと判断できる。
【００２０】
第２の特徴は、所定以上の太さとラン長の線画像としているので、地紋画像などのドット配置（第１の特徴）に比べて、低解像度と画像歪に対する耐性が高く、検出の可能性が高まる。また、線画を検出したか否かの判断において、その閾値をユーザーが設定可能にすることで、用途に応じて検出性能を向上させることができる。例えば、図６（ｂ）に示すような顧客リストが、同様のフォーマットで複数存在するような場合を考える。ユーザーが閾値を低くすることで、例えば、顧客リストのタイトル部の一部のみでも、第２の特徴として保存登録できるようにしておく。そうすると、一旦、顧客リストが登録されることにより、同じリストでなくても同様のフォーマットをもっているものは格段に検出しやすくなる。
【００２１】
なお、一般的に画像特徴の検出容易性と誤検出の可能性はトレードオフの関係にある。例えば、１本の太い直線が画像特徴である場合、その検出が容易であることから、関係のない他の媒体を検出する可能性も高まる。そこで、ユーザーが、利用シーンなどに応じて第２の特徴として採用する基準値、例えば複雑さを設定することで、効率的な利用が可能となる。
【００２２】
また、第２の特徴として、所定の太さの黒線が連続した図形を用いてもよい。その図形を保存（採用）するか否かの判断は、連続した黒線の曲がり量に従って行い、ユーザーがその基準値を設定する。一般に、曲がり量が多い図形は複雑な形状であり、複雑な図形ほど他の媒体にも存在する確率が減少する。そこで、第２の特徴として採用するか否かを曲がり量に従って判断し、その基準値をユーザーが設定することで、検出容易性と誤検知可能性のトレードオフをコントロールできる。また、会議の書類に対して、同じような図形や罫線の原稿が多く、それらが異なる属性である場合は、ユーザーは基準値を上げて、簡易な図形を第２の特徴として採用しないようにし、逆に、それらが同じ属性であれば、基準値を下げて容易に第２の特徴として採用することで、スムーズな検出が可能となる。
【００２３】
すなわち、複雑な画像ほど、同じものが存在する確率が低く、従って誤検出しないので、複雑さを測る指標として、所定の太さと長さを持ったランの曲がり回数をカウントすることで、その数が閾値を越えたか否かにより第２の特徴として保存する判断を行い、その閾値をユーザーが設定可能にすることで、利用シーンに応じた効率的な利用が可能となる。
【００２４】
地紋による情報コードの埋め込み方法の一例を説明する。縦の２ドットで挟まれた、２ドットを情報コードに応じて回転することにより、情報コードを埋め込む。図４（ａ）の点線で囲まれたドット４０１は、検出のためのトラッキング用とし、それ以外のドット４０２を情報コードに応じて、図４（ｂ）に示すように９０度回転した地紋画像４０３、４５度回転した地紋画像４０４、４０５を生成する。そして、スキャン時に、ドットペアの回転方向をパターンマッチングなどにより読み取って、埋め込まれた元の情報コードが復号化される。
【００２５】
図５（ａ）は、情報コードのフォーマット例を示す。情報コード５００は、ヘッダー５０１、セキュリティレベル５０２、文書の作成者５０３、作成日時５０４、電子文書の保存場所（ネットワークを介してアクセス可能な場所、例えばファイルサーバ）５０５などを含んでいる。セキュリティレベル５０２は、地紋が付けられた文書のセキュリティレベルであり、このレベルが高ければ文書の複写や送信を禁止する。
【００２６】
図５（ｂ）は、第２の特徴を保存する登録部１０８の構成例を示す。登録部１０８は、情報コードのセキュリティレベル５０２、セキュリティレベルに応じた制御内容５０６、情報コード５００、第２の特徴５０７、カウンタ５０８を含んでいる。
【００２７】
セキュリティレベル５０２に応じた制御内容５０６が予め決められ、例えば、セキュリティレベル５０２が「１１」のとき、制御内容５０６は、「媒体を塗り潰す」処理を実行し、セキュリティレベル５０２が「００」のとき、制御内容５０６は、「保存場所から文書情報を取り出して、媒体上の画像を鮮明化する」処理を実行する。図３で説明したように、地紋から情報コードを検出し、第２の特徴を検出すると、情報コードと第２の特徴を保存する。カウンタ５０８は、第２の特徴を検出してからの時間を計測する。なお、単に、塗り潰し処理のみを行うのであれば、特に情報コードを記録しなくてもない。
【００２８】
図６（ａ）は、地紋文書の第１の例を示す。地紋を検出し情報コード５００ａを取り出して、例えば、セキュリティレベル１１が付されていると判断され、地紋文書の画像６０１から、所定の太さと長さを持った線画像として第２の特徴である丸秘マーク５０７ａを検出し、図５（ｂ）に示す登録部１０８に第２の特徴として丸秘マーク５０７ａを登録する。
【００２９】
図６（ｂ）は、地紋文書の第２の例を示す。地紋を検出し情報コード５００ｂを取り出して、例えば、セキュリティレベル１１が付されていると判断され、地紋文書の画像６０２から、所定の太さと長さを持った線画像として第２の特徴である大きな文字列「顧客リスト」と罫線部５０７ｂを検出し、図５（ｂ）に示す登録部１０８に第２の特徴として「顧客リスト」と罫線部５０７ｂを登録する。
【００３０】
図６（ｃ）は、地紋文書の第３の例を示す。地紋を検出し情報コード５００ｃを取り出して、例えば、セキュリティレベル００が付されていると判断され、地紋文書の画像６０３から、所定の太さと長さを持った線画像として第２の特徴であるイラストの太陽５０７ｃを検出し、図５（ｂ）に示す登録部１０８に第２の特徴として太陽５０７ｃを登録する。図５（ｂ）に示す登録部１０８の例では、セキュリティレベル００に対して、保存場所から文書情報を取り出して、媒体上の画像６０３を鮮明化する。
【００３１】
図７は、画像処理装置が実行する、情報コードの取得処理のフローチャートを示す。所定のフレームもしくは全フレームの媒体画像から、地紋検出部１０５は第１の特徴である地紋を検出し、情報コードを取り出す（ステップ７０１、７０２）。取り出しに成功すると（ステップ７０２でＹｅｓ）、領域塗り潰し部１１０は、その情報コードに応じた処理を行う（ステップ７０７）。また、取り出しに失敗した場合は（ステップ７０２でＮｏ）、画像保存処理部１０７は第２の特徴が登録部１０８に保存されているかを確認し（ステップ７０３）、保存されていれば（ステップ７０３でＹｅｓ）、マッチング部１０９は、登録部１０８の画像５０７と媒体画像をマッチングする（ステップ７０４）。マッチした場合は（ステップ７０５でＹｅｓ）、その登録部１０８のマッチした画像５０７に対応する情報コード５００を登録部１０８から取り出して（ステップ７０６）、領域塗り潰し部１１０は、その情報コード５００のセキュリティレベル５０２に応じた処理を行う（ステップ７０７）。
【００３２】
上記したように、ＴＶ会議装置（画像処理装置）１００ａは、媒体画像から第１の特徴である地紋を検出し、情報コードを取り出し、その情報コードに応じた処理を行う（図７）とともに、第２の特徴を検出して、情報コードと第２の特徴を保存する（図３）。情報コードのセキュリティレベルが「１１」であるとき、領域塗り潰し部１１０は、媒体画像内を判読できないように塗り潰した後、図示しない圧縮部により動画像を圧縮処理し、ネットワークを介して他のＴＶ会議装置１００ｂ、１００ｃへ送信する。他のＴＶ会議装置１００ｂ、１００ｃは、受信した動画像を伸長処理してＴＶ画面上に表示するが、セキュリティレベルが高い文書画像は塗り潰されて表示され、情報の漏えいが抑止される。
【００３３】
このように実施例１では、第１のタイミングで、動画像から所定の情報に対応した第１の特徴を検出し、次いで第２の特徴を検出し、第１、第２の特徴を保存し、第２のタイミングで、第１の特徴が検出できず、第２の特徴が検出できた場合に、第１の特徴が検出されたと推定できるので、第１の特徴の検出性能が向上する。第２の特徴の検出は、第１の特徴の検出よりも低解像度で検出可能であり、また、第１の特徴の検出よりも画像歪みに対する耐性が高いので、動画像中からの検出に好適であり、検出性能が向上する。
【実施例２】
【００３４】
図８は、本発明の実施例２のＴＶ会議装置（画像処理装置）１００の機能構成を示す。実施例２では、保存場所から文書情報を取り出して、媒体上の画像を鮮明化する。
【００３５】
カメラ１０１〜マッチング部１０９は、図１に示すものと同様である。図８では、領域塗り潰し部１１０を原稿鮮鋭化部１１２に置き換え、コンテンツ取得部１１１を追加している。コンテンツ取得部１１１は、ネットワーク（例えば社内ＬＡＮ）１１３を介してファイルサーバ１１４に接続されている。また、ファイルサーバ１１４には原稿画像が保存されている。
【００３６】
カメラ１０１は、撮像した動画像を電子信号に変換し、動き予測部１０２は、動画像の各フレームから各画像ブロックの動きベクトルを予想し、動き補償部１０３はその補正を行い、正確な動きベクトルを出力する。媒体検出部１０４は、動画像の所定のフレームから紙媒体を検出する。地紋検出部１０５は、媒体内に地紋による、所定の情報に対応した所定のドット配置（第１の特徴）が存在するか否かを検出する。この地紋の検出によりコンテンツ取得部１１１に対して、原稿の鮮鋭化処理を指示する。線画像検出部１０６は、地紋が検出された媒体内から、所定の太さ及び長さ以上の線画像（第２の特徴）を検出し、画像保存処理部１０７は検出された媒体毎に第１の特徴と第２の特徴を登録部１０８に登録する。マッチング部１０９は、登録部１０８に保存された第２の特徴に一致する画像が、媒体内に存在するか否かを検出する。
【００３７】
コンテンツ取得部１１１は、地紋検出またはマッチングにより、第１または第２の特徴が検出された場合に、その情報コード５００から原稿の保存先５０５を取り出して、ネットワーク１１３を介してその保存先（ファイルサーバ１１４）から原稿内容を取得する。そして、原稿鮮鋭化部１１２は、その取得した原稿内容を使って、動画上の原稿を、より内容が分かるように鮮鋭化処理する。また、動きベクトル情報を使って、その媒体部分を追尾して、全フレームの媒体部を鮮鋭化し続ける。鮮鋭化処理された動画像は圧縮処理されて、ネットワークを介して他のＴＶ会議装置１００ｂ、１００ｃへ送信される。
【実施例３】
【００３８】
図９は、実施例３の処理フローチャートを示す。実施例３は、第２の特徴を削除する実施例であり、画像保存処理部１０７（図１）により実行される。
【００３９】
図９（ａ）において、登録部１０８に第２の特徴（例えば５０７ａ）が保存されていたとき（ステップ８０１）、カウンタ５０８（ａａａ）を確認する。カウンタ５０８が所定の値より大きければ（ステップ８０２でＹＥＳ）、その第２の特徴が所定時間以上、出現しなかったので（画面上に出現しない時間が所定時間を超えたので）削除する（ステップ８０７）。
【００４０】
所定の値より小さければ（ステップ８０２でＮｏ）、マッチング部１０９は、登録部１０８に保存されている第２の特徴の画像（５０７ａ）と媒体画像をマッチングし（ステップ８０３）、媒体画像から第２の特徴を検出したとき（ステップ８０４でＹｅｓ）、カウンタ５０８（ａａａ）をゼロクリアし（ステップ８０５）、検出できなければ（ステップ８０４でＮｏ）、カウンタ５０８（ａａａ）をインクリメントする（ステップ８０６）。なお、カウンタは、第２の特徴を保存する際に、ゼロクリアして一緒に保存しておく。また、上記した例の他に、ＴＶ会議などでは別のセッションになった場合などに第２の特徴を削除するようにしてもよい。
【００４１】
図９（ｂ）は、ステップ８０７の詳細な処理フローチャートである。カウンタを初期化し（ステップ９０１）、次に、カメラから画像をフレーム単位で取得する（ステップ９０２）。その画像に対して第２の特徴を削除する処理を行う（ステップ９０３）。第２の特徴が検出されると、カウンタはゼロクリアされ、検出されなければインクリメントされる。すなわち、カウンタ値は、第２の特徴が最後に検出されたフレームから現在のフレームまでのフレーム数を表している。カメラのフレームレートを、例えば、３０フレーム／秒とすると、第２の特徴が検出されてから、カウンタ値×（１／３０）秒経過したことになる。従って、カウンタを参照することで、第２の特徴が検出されてからの時間が分かる。
【００４２】
このように実施例３では、第２の特徴の検出が容易である反面、誤検出の危険性が高まるので、上記した条件に従って第２の特徴を削除することにより過検出を防止し、精度の高い検出が可能となる。
【実施例４】
【００４３】
実施例４は、本発明をバーコード文書に適用した実施例である。図６（ｄ）は、バーコード文書６０４の例を示す。文書６０４の右上のバーコード５００ｄには、図５（ａ）に示す情報コード５００が埋め込まれている。このようなバーコード文書を処理するには、図１の地紋検出部をバーコード検出部に置き換えて構成すればよい。
【００４４】
図１０は、実施例４に係る、第２の特徴の保存処理のフローチャートを示す。バーコード検出部がバーコードを検出すると（ステップ１００２）、その情報コード５００ｄと第２の特徴としてバーコード画像５０７ｄを登録部１０８に保存する（ステップ１００３）。第２の特徴のバーコード画像は、マッチングにより検出するので、画像が解像度不足や歪みが原因でバーコードの検出復号ができなくても検出できる可能性が高い。
【００４５】
バーコードは、白／黒のモジュールを検出して、その並びの関係をコードに復号することで情報を検出するが、モジュールの消失や歪みなどがあると復号に失敗する。実施例４では、第２の特徴としてバーコード画像を用いて、検出されたか否かを、その画像の類似度を用いて判断し、その類似度の閾値をユーザーが設定可能とすることにより、検出容易性と誤検出可能性のトレードオフをコントロールできる。
【実施例５】
【００４６】
図１１は、本発明をソフトウエアで実施する場合の画像処理装置のハードウエア構成例を示す。コンピュータ１は、プログラム読取装置１ａ、全体を制御するＣＰＵ１ｂ、ＣＰＵ１ｂのワークエリア等として使用されるＲＡＭ１ｃ、ＣＰＵ１ｂの制御プログラム等が記憶されているＲＯＭ１ｄ、ハードディスク１ｅ、ネットワーク上の機器と通信を行うＮＩＣ１ｆ、マウス１ｇ、キーボード１ｈ、画像データを表示し、ユーザーが画面に直接触れることで情報の入力が可能なディスプレイ２、カラープリンタ等の画像形成装置３、カメラなどの撮像装置４とを備えている。本画像処理装置は、例えばワークステーションやパーソナルコンピュータ等で実現することができる。
【００４７】
このような構成の場合、図１に示す動き予測部、動き補償部、媒体検出部、地紋検出部、線画像検出部、画像保存処理部、マッチング部、領域塗り潰し部の機能はＣＰＵ１ｂに持たせることができ、登録部、処理対象の画像データなどを記憶する際には、ＲＡＭ１ｃ、ＲＯＭ１ｄ、ＤＩＳＫ１ｅなどの記憶装置を利用することができる。なお、ＣＰＵ１ｂで行われる処理機能は、例えばソフトウエアパッケージ、具体的には、ＣＤ−ＲＯＭや磁気ディスク等の情報記録媒体の形で提供することができ、このため図１１に示す例では、情報記録媒体がセットされると、これを駆動する媒体駆動装置（図示せず）が設けられている。
【００４８】
以上により、本発明における画像処理方法は、ディスプレイ等を備えた汎用の計算機システムにＣＤ−ＲＯＭ等の情報記録媒体に記録されたプログラムを読み込ませて、この汎用計算機システムの中央演算装置に画像処理を実行させる装置構成においても実施することが可能である。この場合、本発明の画像処理を実行するためのプログラム、すなわちハードウエアシステムで用いられるプログラムは、記録媒体に記録された状態で提供される。プログラムなどが記録される情報記録媒体としては、ＣＤ−ＲＯＭに限定されず、例えばＲＯＭ、ＲＡＭ、フラッシュメモリ、光磁気ディスクを用いても良い。記録媒体に記録されたプログラムは、ハードウエアシステムに組み込まれている記憶装置、例えばハードディスク１ｅにインストールされることにより、このプログラムを実行して、画像処理機能を実現することができる。また、本発明の画像処理方法等を実現するためのプログラムは、記録媒体の形で提供されるのみならず、例えば、ネットワークを介した通信によってサーバから提供されるものでも良い。
【符号の説明】
【００４９】
１０１ カメラ
１０２ 動き予測部
１０３ 動き補償部
１０４ 媒体検出部
１０５ 地紋検出部
１０６ 線画像検出部
１０７ 画像保存処理部
１０８ 登録部
１０９ マッチング部
１１０ 領域塗り潰し部
１１１ コンテンツ取得部
１１２ 原稿鮮鋭化部
１１３ ネットワーク
１１４ ファイルサーバ
【先行技術文献】
【特許文献】
【００５０】
【特許文献１】特開２００８−２３６０７６号公報
【技術分野】
【０００１】
本発明は、動画像から所定の情報を検出する画像処理装置、画像処理方法、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
紙媒体に地紋などでセキュリティ属性情報を埋め込み、スキャン時にその情報を検出し、セキュリティ属性のレベルに応じてコピー、送信などを不可にする技術がある（例えば、特許文献１を参照）。
【０００３】
動画像に対しても同様にセキュリティ対策がなされているが、例えばＴＶ会議などで、セキュリティレベルの高い原稿がたまたまカメラに写って、そのまま相手先に送信されると、情報漏洩などの問題を起こす。そこで、動画像中から紙媒体に付加されたセキュリティ属性情報を検出して、その媒体部分を塗り潰すなどの対応が考えられる。動画像からセキュリティ属性情報を検出する場合、その情報が一旦、検出できれば、動き補償情報を利用して媒体を追跡することにより、いつも情報の検出を行う必要がなく、容易に塗り潰せる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、その媒体が一旦、画面外にはずれれば、セキュリティ属性情報を最初から検出しなければならない。一般に、紙媒体へのセキュリティ属性情報の埋め込みは、地紋やバーコードなどを利用しているので画像の歪みが大きいこと、解像度が低いことなどから、動画像からのセキュリティ属性情報の検出が非常に難しく、また媒体が画面から外れる毎にセキュリティ属性情報を検出すると検出処理の効率が悪い。
【０００５】
本発明は上記した課題に鑑みてなされたもので、
本発明の目的は、動画像からセキュリティ属性情報の検出を効率的に行う画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
【課題を解決するための手段】
【０００６】
本発明は、第１のタイミングにおいて、動画像から所定の媒体画像を検出し、前記媒体画像から所定の情報に対応した第１の特徴を検出し、前記第１の特徴が検出されたとき、前記媒体画像から第２の特徴を検出し、前記媒体画像に対して前記第１の特徴に応じた処理を施す制御手段と、前記媒体画像毎に前記第１の特徴と第２の特徴を保存する保存手段を備え、第２のタイミングにおいて、前記制御手段は、前記動画像から所定の媒体画像を検出し、前記媒体画像から前記第１の特徴が検出されないとき、前記保存手段を参照し、前記保存手段に保存されている第２の特徴が前記媒体画像から検出されたとき、前記保存手段に保存されている前記第２の特徴に対応する第１の特徴を取得し、前記取得した前記第１の特徴に応じた処理を前記媒体画像に対して施すことを最も主要な特徴とする。
【発明の効果】
【０００７】
本発明によれば、動画像から第１、第２の特徴を検出して保存し、第２の特徴の検出に応じて第１の特徴が検出されたと推定できるので、所定の情報に対応した第１の特徴の検出性能が向上する。
【図面の簡単な説明】
【０００８】
【図１】本発明のシステム構成例と、実施例１のＴＶ会議装置（画像処理装置）機能構成を示す。
【図２】媒体検出部の処理フローチャートを示す。
【図３】画像処理装置が実行する、第２の特徴の保存処理のフローチャートを示す。
【図４】地紋による情報コードの埋め込み方法を示す。
【図５】情報コードと登録部の構成例を示す。
【図６】地紋文書の例を示す。
【図７】画像処理装置が実行する、情報コードの取得処理のフローチャートを示す。
【図８】本発明の実施例２のＴＶ会議装置（画像処理装置）の機能構成を示す。
【図９】本発明の実施例３の処理フローチャートを示す。
【図１０】本発明の実施例４に係る、第２の特徴の保存処理のフローチャートを示す。
【図１１】本発明の実施例５の構成例を示す。
【発明を実施するための形態】
【０００９】
以下、発明の実施の形態について図面により詳細に説明する。
【実施例１】
【００１０】
図１（ａ）は、本発明のシステム構成例を示す。図１（ａ）は、例えばＴＶ会議システムに本発明を適用した場合の構成例を示し、ＴＶ会議装置（画像処理装置）１００ａ〜１００ｃがネットワークに接続され、ＴＶ会議装置間で相互に会議が行われる。
図１（ｂ）は、本発明の実施例１のＴＶ会議装置（画像処理装置）１００の機能構成を示す。図１（ｂ）において、１０１はカメラなどの撮像装置、１０２は動き予測部、１０３は動き補償部、１０４は媒体検出部、１０５は地紋検出部、１０６は線画像検出部、１０７は画像保存処理部、１０８は登録部、１０９はマッチング部、１１０は領域塗り潰し部である。
【００１１】
カメラ１０１は、撮像した動画像を電子信号に変換する。動き予測部１０２は、動画像の各フレームから各画像ブロックの動きベクトルを予想し、動き補償部１０３はその補正を行って、正確な動きベクトルを出力する。媒体検出部１０４は、動画像の所定のフレームから紙媒体を検出する。地紋検出部１０５は、媒体内に地紋による、所定の情報に対応した所定のドット配置（第１の特徴）が存在するか否かを検出する。この地紋はセキュリティ上の機密文書に付けられるもので、複写やＦＡＸ送信などが制限されているものとする。線画像検出部１０７は、地紋が検出された媒体内から、所定の太さ及び長さ以上の線画像（第２の特徴）を検出し、画像保存処理部１０７は、検出された媒体毎に第１の特徴と第２の特徴を登録部１０８に保存する。マッチング部１０９は、登録部１０８に保存された第２の特徴に一致する画像が、媒体内に存在するか否かを検出する。領域塗り潰し部１１０は、地紋検出またはマッチングにより、第１または第２の特徴が検出されたとき、その媒体内を判読できないように塗り潰す。また、動きベクトル情報を使って、その媒体部分を追尾して、全フレームの媒体部を塗り潰し続ける。
【００１２】
上記した動き予測部１０２、動き補償部１０３、領域塗り潰し部１０９は、全フレームに対して処理するが、媒体検出部１０４、地紋検出部１０５、線画像検出部１０６、画像保存処理部１０７、マッチング部１０９は、所定のフレームのみに対して処理してもよい。
【００１３】
なお、上記した地紋を、透かしやバーコードなどの他のマーキングに置き換えることが可能であり、また、線画像の検出は、線画に限定されず、図形の検出に置き換えることも可能である。
【００１４】
図２（ａ）は、媒体検出部の処理フローチャートを示す。紙媒体の検出は物体認識技術を用いて行う。物体認識の中でも特定の物体、例えば、顔認識はデジタルカメラ等に採用されている技術である。一般に、特定物体の認識は、検出しようとする物体に相応しい特徴を定めて、特徴量を教師データにより学習する。そして、検査画像から特徴量を計算し、その量が所定の閾値を超えたか否かでその物体の存在を判定する。
【００１５】
紙媒体検出の特徴としては、例えば、周辺画像とのエッジが明確で、それが四角形の閉空間を作る特徴を有し、また、紙媒体には、通常、文字が記載されているのでテキスチャが存在し、これらを特徴量として検出し、予め定めた閾値を超えていれば紙媒体、超えなければ紙媒体ではないと判断する。
【００１６】
まず、対象画像よりエッジを検出する（ステップ２０１）。エッジを検出した後、エッジによる閉空間を探索する（ステップ２０２）。閉空間がなければ（ステップ２０３）、紙媒体ではないと判断する（ステップ２０９）。閉空間がある場合は、その全てについて以下の判定処理を行う。
【００１７】
次に、閉区間の四角形らしさを計算する（ステップ２０４）。例えば、約９０度の角度をもった頂点の数をカウントし、図２（ｂ）に示すような配点を行う。判定は、例えば、四角形らしさが３以上であれば四角形と判定する（ステップ２０５）。
【００１８】
次いで、テキスチャらしさを計算する（ステップ２０６）。テキスチャらしさは、例えば、矩形領域の平均明度の差分値を計算し周波数解析を行う。判定は、周波数解析結果から、規則的な並びをもっていれば、文書画像であると判断する（ステップ２０７）。最終判定は、文書画像であればそれは紙媒体であると判定する（ステップ２０８）。
【００１９】
図３は、画像処理装置が実行する、第２の特徴の保存処理のフローチャートを示す。地紋検出部１０５は地紋から情報コードを検出する（ステップ３０１）。地紋が検出されると（ステップ３０２でＹｅｓ）、その情報コードを一旦保存し（ステップ３０３）、線画像検出部１０６は、線画像を検出する（ステップ３０４）。線画像とは、ここでは所定以上の太さ及びラン長の画像である。線画像が検出されると（ステップ３０５）、画像保存処理部１０７は、その線画像を情報コードと共に登録部１０８に保存する（ステップ３０６）。第１のタイミングで、上記したように処理することで、第２のタイミングで、その線画を検出した場合に、線画と共に保存されている情報コードが検出されたと判断できる。
【００２０】
第２の特徴は、所定以上の太さとラン長の線画像としているので、地紋画像などのドット配置（第１の特徴）に比べて、低解像度と画像歪に対する耐性が高く、検出の可能性が高まる。また、線画を検出したか否かの判断において、その閾値をユーザーが設定可能にすることで、用途に応じて検出性能を向上させることができる。例えば、図６（ｂ）に示すような顧客リストが、同様のフォーマットで複数存在するような場合を考える。ユーザーが閾値を低くすることで、例えば、顧客リストのタイトル部の一部のみでも、第２の特徴として保存登録できるようにしておく。そうすると、一旦、顧客リストが登録されることにより、同じリストでなくても同様のフォーマットをもっているものは格段に検出しやすくなる。
【００２１】
なお、一般的に画像特徴の検出容易性と誤検出の可能性はトレードオフの関係にある。例えば、１本の太い直線が画像特徴である場合、その検出が容易であることから、関係のない他の媒体を検出する可能性も高まる。そこで、ユーザーが、利用シーンなどに応じて第２の特徴として採用する基準値、例えば複雑さを設定することで、効率的な利用が可能となる。
【００２２】
また、第２の特徴として、所定の太さの黒線が連続した図形を用いてもよい。その図形を保存（採用）するか否かの判断は、連続した黒線の曲がり量に従って行い、ユーザーがその基準値を設定する。一般に、曲がり量が多い図形は複雑な形状であり、複雑な図形ほど他の媒体にも存在する確率が減少する。そこで、第２の特徴として採用するか否かを曲がり量に従って判断し、その基準値をユーザーが設定することで、検出容易性と誤検知可能性のトレードオフをコントロールできる。また、会議の書類に対して、同じような図形や罫線の原稿が多く、それらが異なる属性である場合は、ユーザーは基準値を上げて、簡易な図形を第２の特徴として採用しないようにし、逆に、それらが同じ属性であれば、基準値を下げて容易に第２の特徴として採用することで、スムーズな検出が可能となる。
【００２３】
すなわち、複雑な画像ほど、同じものが存在する確率が低く、従って誤検出しないので、複雑さを測る指標として、所定の太さと長さを持ったランの曲がり回数をカウントすることで、その数が閾値を越えたか否かにより第２の特徴として保存する判断を行い、その閾値をユーザーが設定可能にすることで、利用シーンに応じた効率的な利用が可能となる。
【００２４】
地紋による情報コードの埋め込み方法の一例を説明する。縦の２ドットで挟まれた、２ドットを情報コードに応じて回転することにより、情報コードを埋め込む。図４（ａ）の点線で囲まれたドット４０１は、検出のためのトラッキング用とし、それ以外のドット４０２を情報コードに応じて、図４（ｂ）に示すように９０度回転した地紋画像４０３、４５度回転した地紋画像４０４、４０５を生成する。そして、スキャン時に、ドットペアの回転方向をパターンマッチングなどにより読み取って、埋め込まれた元の情報コードが復号化される。
【００２５】
図５（ａ）は、情報コードのフォーマット例を示す。情報コード５００は、ヘッダー５０１、セキュリティレベル５０２、文書の作成者５０３、作成日時５０４、電子文書の保存場所（ネットワークを介してアクセス可能な場所、例えばファイルサーバ）５０５などを含んでいる。セキュリティレベル５０２は、地紋が付けられた文書のセキュリティレベルであり、このレベルが高ければ文書の複写や送信を禁止する。
【００２６】
図５（ｂ）は、第２の特徴を保存する登録部１０８の構成例を示す。登録部１０８は、情報コードのセキュリティレベル５０２、セキュリティレベルに応じた制御内容５０６、情報コード５００、第２の特徴５０７、カウンタ５０８を含んでいる。
【００２７】
セキュリティレベル５０２に応じた制御内容５０６が予め決められ、例えば、セキュリティレベル５０２が「１１」のとき、制御内容５０６は、「媒体を塗り潰す」処理を実行し、セキュリティレベル５０２が「００」のとき、制御内容５０６は、「保存場所から文書情報を取り出して、媒体上の画像を鮮明化する」処理を実行する。図３で説明したように、地紋から情報コードを検出し、第２の特徴を検出すると、情報コードと第２の特徴を保存する。カウンタ５０８は、第２の特徴を検出してからの時間を計測する。なお、単に、塗り潰し処理のみを行うのであれば、特に情報コードを記録しなくてもない。
【００２８】
図６（ａ）は、地紋文書の第１の例を示す。地紋を検出し情報コード５００ａを取り出して、例えば、セキュリティレベル１１が付されていると判断され、地紋文書の画像６０１から、所定の太さと長さを持った線画像として第２の特徴である丸秘マーク５０７ａを検出し、図５（ｂ）に示す登録部１０８に第２の特徴として丸秘マーク５０７ａを登録する。
【００２９】
図６（ｂ）は、地紋文書の第２の例を示す。地紋を検出し情報コード５００ｂを取り出して、例えば、セキュリティレベル１１が付されていると判断され、地紋文書の画像６０２から、所定の太さと長さを持った線画像として第２の特徴である大きな文字列「顧客リスト」と罫線部５０７ｂを検出し、図５（ｂ）に示す登録部１０８に第２の特徴として「顧客リスト」と罫線部５０７ｂを登録する。
【００３０】
図６（ｃ）は、地紋文書の第３の例を示す。地紋を検出し情報コード５００ｃを取り出して、例えば、セキュリティレベル００が付されていると判断され、地紋文書の画像６０３から、所定の太さと長さを持った線画像として第２の特徴であるイラストの太陽５０７ｃを検出し、図５（ｂ）に示す登録部１０８に第２の特徴として太陽５０７ｃを登録する。図５（ｂ）に示す登録部１０８の例では、セキュリティレベル００に対して、保存場所から文書情報を取り出して、媒体上の画像６０３を鮮明化する。
【００３１】
図７は、画像処理装置が実行する、情報コードの取得処理のフローチャートを示す。所定のフレームもしくは全フレームの媒体画像から、地紋検出部１０５は第１の特徴である地紋を検出し、情報コードを取り出す（ステップ７０１、７０２）。取り出しに成功すると（ステップ７０２でＹｅｓ）、領域塗り潰し部１１０は、その情報コードに応じた処理を行う（ステップ７０７）。また、取り出しに失敗した場合は（ステップ７０２でＮｏ）、画像保存処理部１０７は第２の特徴が登録部１０８に保存されているかを確認し（ステップ７０３）、保存されていれば（ステップ７０３でＹｅｓ）、マッチング部１０９は、登録部１０８の画像５０７と媒体画像をマッチングする（ステップ７０４）。マッチした場合は（ステップ７０５でＹｅｓ）、その登録部１０８のマッチした画像５０７に対応する情報コード５００を登録部１０８から取り出して（ステップ７０６）、領域塗り潰し部１１０は、その情報コード５００のセキュリティレベル５０２に応じた処理を行う（ステップ７０７）。
【００３２】
上記したように、ＴＶ会議装置（画像処理装置）１００ａは、媒体画像から第１の特徴である地紋を検出し、情報コードを取り出し、その情報コードに応じた処理を行う（図７）とともに、第２の特徴を検出して、情報コードと第２の特徴を保存する（図３）。情報コードのセキュリティレベルが「１１」であるとき、領域塗り潰し部１１０は、媒体画像内を判読できないように塗り潰した後、図示しない圧縮部により動画像を圧縮処理し、ネットワークを介して他のＴＶ会議装置１００ｂ、１００ｃへ送信する。他のＴＶ会議装置１００ｂ、１００ｃは、受信した動画像を伸長処理してＴＶ画面上に表示するが、セキュリティレベルが高い文書画像は塗り潰されて表示され、情報の漏えいが抑止される。
【００３３】
このように実施例１では、第１のタイミングで、動画像から所定の情報に対応した第１の特徴を検出し、次いで第２の特徴を検出し、第１、第２の特徴を保存し、第２のタイミングで、第１の特徴が検出できず、第２の特徴が検出できた場合に、第１の特徴が検出されたと推定できるので、第１の特徴の検出性能が向上する。第２の特徴の検出は、第１の特徴の検出よりも低解像度で検出可能であり、また、第１の特徴の検出よりも画像歪みに対する耐性が高いので、動画像中からの検出に好適であり、検出性能が向上する。
【実施例２】
【００３４】
図８は、本発明の実施例２のＴＶ会議装置（画像処理装置）１００の機能構成を示す。実施例２では、保存場所から文書情報を取り出して、媒体上の画像を鮮明化する。
【００３５】
カメラ１０１〜マッチング部１０９は、図１に示すものと同様である。図８では、領域塗り潰し部１１０を原稿鮮鋭化部１１２に置き換え、コンテンツ取得部１１１を追加している。コンテンツ取得部１１１は、ネットワーク（例えば社内ＬＡＮ）１１３を介してファイルサーバ１１４に接続されている。また、ファイルサーバ１１４には原稿画像が保存されている。
【００３６】
カメラ１０１は、撮像した動画像を電子信号に変換し、動き予測部１０２は、動画像の各フレームから各画像ブロックの動きベクトルを予想し、動き補償部１０３はその補正を行い、正確な動きベクトルを出力する。媒体検出部１０４は、動画像の所定のフレームから紙媒体を検出する。地紋検出部１０５は、媒体内に地紋による、所定の情報に対応した所定のドット配置（第１の特徴）が存在するか否かを検出する。この地紋の検出によりコンテンツ取得部１１１に対して、原稿の鮮鋭化処理を指示する。線画像検出部１０６は、地紋が検出された媒体内から、所定の太さ及び長さ以上の線画像（第２の特徴）を検出し、画像保存処理部１０７は検出された媒体毎に第１の特徴と第２の特徴を登録部１０８に登録する。マッチング部１０９は、登録部１０８に保存された第２の特徴に一致する画像が、媒体内に存在するか否かを検出する。
【００３７】
コンテンツ取得部１１１は、地紋検出またはマッチングにより、第１または第２の特徴が検出された場合に、その情報コード５００から原稿の保存先５０５を取り出して、ネットワーク１１３を介してその保存先（ファイルサーバ１１４）から原稿内容を取得する。そして、原稿鮮鋭化部１１２は、その取得した原稿内容を使って、動画上の原稿を、より内容が分かるように鮮鋭化処理する。また、動きベクトル情報を使って、その媒体部分を追尾して、全フレームの媒体部を鮮鋭化し続ける。鮮鋭化処理された動画像は圧縮処理されて、ネットワークを介して他のＴＶ会議装置１００ｂ、１００ｃへ送信される。
【実施例３】
【００３８】
図９は、実施例３の処理フローチャートを示す。実施例３は、第２の特徴を削除する実施例であり、画像保存処理部１０７（図１）により実行される。
【００３９】
図９（ａ）において、登録部１０８に第２の特徴（例えば５０７ａ）が保存されていたとき（ステップ８０１）、カウンタ５０８（ａａａ）を確認する。カウンタ５０８が所定の値より大きければ（ステップ８０２でＹＥＳ）、その第２の特徴が所定時間以上、出現しなかったので（画面上に出現しない時間が所定時間を超えたので）削除する（ステップ８０７）。
【００４０】
所定の値より小さければ（ステップ８０２でＮｏ）、マッチング部１０９は、登録部１０８に保存されている第２の特徴の画像（５０７ａ）と媒体画像をマッチングし（ステップ８０３）、媒体画像から第２の特徴を検出したとき（ステップ８０４でＹｅｓ）、カウンタ５０８（ａａａ）をゼロクリアし（ステップ８０５）、検出できなければ（ステップ８０４でＮｏ）、カウンタ５０８（ａａａ）をインクリメントする（ステップ８０６）。なお、カウンタは、第２の特徴を保存する際に、ゼロクリアして一緒に保存しておく。また、上記した例の他に、ＴＶ会議などでは別のセッションになった場合などに第２の特徴を削除するようにしてもよい。
【００４１】
図９（ｂ）は、ステップ８０７の詳細な処理フローチャートである。カウンタを初期化し（ステップ９０１）、次に、カメラから画像をフレーム単位で取得する（ステップ９０２）。その画像に対して第２の特徴を削除する処理を行う（ステップ９０３）。第２の特徴が検出されると、カウンタはゼロクリアされ、検出されなければインクリメントされる。すなわち、カウンタ値は、第２の特徴が最後に検出されたフレームから現在のフレームまでのフレーム数を表している。カメラのフレームレートを、例えば、３０フレーム／秒とすると、第２の特徴が検出されてから、カウンタ値×（１／３０）秒経過したことになる。従って、カウンタを参照することで、第２の特徴が検出されてからの時間が分かる。
【００４２】
このように実施例３では、第２の特徴の検出が容易である反面、誤検出の危険性が高まるので、上記した条件に従って第２の特徴を削除することにより過検出を防止し、精度の高い検出が可能となる。
【実施例４】
【００４３】
実施例４は、本発明をバーコード文書に適用した実施例である。図６（ｄ）は、バーコード文書６０４の例を示す。文書６０４の右上のバーコード５００ｄには、図５（ａ）に示す情報コード５００が埋め込まれている。このようなバーコード文書を処理するには、図１の地紋検出部をバーコード検出部に置き換えて構成すればよい。
【００４４】
図１０は、実施例４に係る、第２の特徴の保存処理のフローチャートを示す。バーコード検出部がバーコードを検出すると（ステップ１００２）、その情報コード５００ｄと第２の特徴としてバーコード画像５０７ｄを登録部１０８に保存する（ステップ１００３）。第２の特徴のバーコード画像は、マッチングにより検出するので、画像が解像度不足や歪みが原因でバーコードの検出復号ができなくても検出できる可能性が高い。
【００４５】
バーコードは、白／黒のモジュールを検出して、その並びの関係をコードに復号することで情報を検出するが、モジュールの消失や歪みなどがあると復号に失敗する。実施例４では、第２の特徴としてバーコード画像を用いて、検出されたか否かを、その画像の類似度を用いて判断し、その類似度の閾値をユーザーが設定可能とすることにより、検出容易性と誤検出可能性のトレードオフをコントロールできる。
【実施例５】
【００４６】
図１１は、本発明をソフトウエアで実施する場合の画像処理装置のハードウエア構成例を示す。コンピュータ１は、プログラム読取装置１ａ、全体を制御するＣＰＵ１ｂ、ＣＰＵ１ｂのワークエリア等として使用されるＲＡＭ１ｃ、ＣＰＵ１ｂの制御プログラム等が記憶されているＲＯＭ１ｄ、ハードディスク１ｅ、ネットワーク上の機器と通信を行うＮＩＣ１ｆ、マウス１ｇ、キーボード１ｈ、画像データを表示し、ユーザーが画面に直接触れることで情報の入力が可能なディスプレイ２、カラープリンタ等の画像形成装置３、カメラなどの撮像装置４とを備えている。本画像処理装置は、例えばワークステーションやパーソナルコンピュータ等で実現することができる。
【００４７】
このような構成の場合、図１に示す動き予測部、動き補償部、媒体検出部、地紋検出部、線画像検出部、画像保存処理部、マッチング部、領域塗り潰し部の機能はＣＰＵ１ｂに持たせることができ、登録部、処理対象の画像データなどを記憶する際には、ＲＡＭ１ｃ、ＲＯＭ１ｄ、ＤＩＳＫ１ｅなどの記憶装置を利用することができる。なお、ＣＰＵ１ｂで行われる処理機能は、例えばソフトウエアパッケージ、具体的には、ＣＤ−ＲＯＭや磁気ディスク等の情報記録媒体の形で提供することができ、このため図１１に示す例では、情報記録媒体がセットされると、これを駆動する媒体駆動装置（図示せず）が設けられている。
【００４８】
以上により、本発明における画像処理方法は、ディスプレイ等を備えた汎用の計算機システムにＣＤ−ＲＯＭ等の情報記録媒体に記録されたプログラムを読み込ませて、この汎用計算機システムの中央演算装置に画像処理を実行させる装置構成においても実施することが可能である。この場合、本発明の画像処理を実行するためのプログラム、すなわちハードウエアシステムで用いられるプログラムは、記録媒体に記録された状態で提供される。プログラムなどが記録される情報記録媒体としては、ＣＤ−ＲＯＭに限定されず、例えばＲＯＭ、ＲＡＭ、フラッシュメモリ、光磁気ディスクを用いても良い。記録媒体に記録されたプログラムは、ハードウエアシステムに組み込まれている記憶装置、例えばハードディスク１ｅにインストールされることにより、このプログラムを実行して、画像処理機能を実現することができる。また、本発明の画像処理方法等を実現するためのプログラムは、記録媒体の形で提供されるのみならず、例えば、ネットワークを介した通信によってサーバから提供されるものでも良い。
【符号の説明】
【００４９】
１０１ カメラ
１０２ 動き予測部
１０３ 動き補償部
１０４ 媒体検出部
１０５ 地紋検出部
１０６ 線画像検出部
１０７ 画像保存処理部
１０８ 登録部
１０９ マッチング部
１１０ 領域塗り潰し部
１１１ コンテンツ取得部
１１２ 原稿鮮鋭化部
１１３ ネットワーク
１１４ ファイルサーバ
【先行技術文献】
【特許文献】
【００５０】
【特許文献１】特開２００８−２３６０７６号公報
【特許請求の範囲】
【請求項１】
第１のタイミングにおいて、動画像から所定の媒体画像を検出し、前記媒体画像から所定の情報に対応した第１の特徴を検出し、前記第１の特徴が検出されたとき、前記媒体画像から第２の特徴を検出し、前記媒体画像に対して前記第１の特徴に応じた処理を施す制御手段と、前記媒体画像毎に前記第１の特徴と第２の特徴を保存する保存手段を備え、
第２のタイミングにおいて、前記制御手段は、前記動画像から所定の媒体画像を検出し、前記媒体画像から前記第１の特徴が検出されないとき、前記保存手段を参照し、前記保存手段に保存されている第２の特徴が前記媒体画像から検出されたとき、前記保存手段に保存されている前記第２の特徴に対応する第１の特徴を取得し、前記取得した前記第１の特徴に応じた処理を前記媒体画像に対して施すことを特徴とする画像処理装置。
【請求項２】
前記第２の特徴は、前記第１の特徴に比べて低解像度、画像歪に対する耐性が高いことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第１の特徴は、前記媒体画像に埋め込まれた地紋、透かし、バーコードを含み、前記第２の特徴は、所定の線画像、所定の図形、バーコード画像を含むことを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記制御手段は、前記保存手段に保存されている第２の特徴を、所定の条件を満たすとき削除することを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記所定の条件は、前記第２の特徴が前記動画像に出現しない時間が所定の時間を超えた場合であることを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記制御手段は、前記第１の特徴に応じた処理として、前記媒体画像を塗り潰す処理または前記媒体画像を鮮明化する処理を実行することを特徴とする請求項１記載の画像処理装置。
【請求項７】
第１のタイミングにおいて、動画像から所定の媒体画像を検出し、前記媒体画像から所定の情報に対応した第１の特徴を検出し、前記第１の特徴が検出されたとき、前記媒体画像から第２の特徴を検出し、前記媒体画像に対して前記第１の特徴に応じた処理を施す制御工程と、前記媒体画像毎に前記第１の特徴と第２の特徴を保存する保存工程を備え、
第２のタイミングにおいて、前記制御工程は、前記動画像から所定の媒体画像を検出し、前記媒体画像から前記第１の特徴が検出されないとき、前記保存工程を参照し、前記保存工程に保存されている第２の特徴が前記媒体画像から検出されたとき、前記保存工程に保存されている前記第２の特徴に対応する第１の特徴を取得し、前記取得した前記第１の特徴に応じた処理を前記媒体画像に対して施すことを特徴とする画像処理方法。
【請求項８】
請求項７記載の画像処理方法をコンピュータに実現させるためのプログラム。
【請求項９】
請求項７記載の画像処理方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
第１のタイミングにおいて、動画像から所定の媒体画像を検出し、前記媒体画像から所定の情報に対応した第１の特徴を検出し、前記第１の特徴が検出されたとき、前記媒体画像から第２の特徴を検出し、前記媒体画像に対して前記第１の特徴に応じた処理を施す制御手段と、前記媒体画像毎に前記第１の特徴と第２の特徴を保存する保存手段を備え、
第２のタイミングにおいて、前記制御手段は、前記動画像から所定の媒体画像を検出し、前記媒体画像から前記第１の特徴が検出されないとき、前記保存手段を参照し、前記保存手段に保存されている第２の特徴が前記媒体画像から検出されたとき、前記保存手段に保存されている前記第２の特徴に対応する第１の特徴を取得し、前記取得した前記第１の特徴に応じた処理を前記媒体画像に対して施すことを特徴とする画像処理装置。
【請求項２】
前記第２の特徴は、前記第１の特徴に比べて低解像度、画像歪に対する耐性が高いことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第１の特徴は、前記媒体画像に埋め込まれた地紋、透かし、バーコードを含み、前記第２の特徴は、所定の線画像、所定の図形、バーコード画像を含むことを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記制御手段は、前記保存手段に保存されている第２の特徴を、所定の条件を満たすとき削除することを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記所定の条件は、前記第２の特徴が前記動画像に出現しない時間が所定の時間を超えた場合であることを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記制御手段は、前記第１の特徴に応じた処理として、前記媒体画像を塗り潰す処理または前記媒体画像を鮮明化する処理を実行することを特徴とする請求項１記載の画像処理装置。
【請求項７】
第１のタイミングにおいて、動画像から所定の媒体画像を検出し、前記媒体画像から所定の情報に対応した第１の特徴を検出し、前記第１の特徴が検出されたとき、前記媒体画像から第２の特徴を検出し、前記媒体画像に対して前記第１の特徴に応じた処理を施す制御工程と、前記媒体画像毎に前記第１の特徴と第２の特徴を保存する保存工程を備え、
第２のタイミングにおいて、前記制御工程は、前記動画像から所定の媒体画像を検出し、前記媒体画像から前記第１の特徴が検出されないとき、前記保存工程を参照し、前記保存工程に保存されている第２の特徴が前記媒体画像から検出されたとき、前記保存工程に保存されている前記第２の特徴に対応する第１の特徴を取得し、前記取得した前記第１の特徴に応じた処理を前記媒体画像に対して施すことを特徴とする画像処理方法。
【請求項８】
請求項７記載の画像処理方法をコンピュータに実現させるためのプログラム。
【請求項９】
請求項７記載の画像処理方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−１１４３９４（Ｐ２０１３−１１４３９４Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２５９１１１（Ｐ２０１１−２５９１１１）
【出願日】平成２３年１１月２８日（２０１１．１１．２８）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月２８日（２０１１．１１．２８）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]