秘匿情報をフィルタリングする情報処理装置、方法およびプログラム
【課題】音声および画像に含まれた秘匿情報をフィルタリングすることができと共に、その秘匿情報の判定精度を向上させることができる情報処理装置、方法およびプログラムを提供すること。
【解決手段】本発明は、画像フレームから文字列を抽出し、音声データを文字列に変換し、これらの文字列に秘匿情報が含まれるか否か判定して、秘匿情報を含む画像フレームおよび／または音声データをマスクして視聴不能にする情報処理装置を提供する。また、本発明の情報処理装置は、秘匿情報を判別するための判別情報として、秘匿情報を共起する可能性のある文字列と、文字列の秘匿情報の共起率とが関連付けて登録されたデータベースをユーザの指示に基づいて更新する。
【解決手段】本発明は、画像フレームから文字列を抽出し、音声データを文字列に変換し、これらの文字列に秘匿情報が含まれるか否か判定して、秘匿情報を含む画像フレームおよび／または音声データをマスクして視聴不能にする情報処理装置を提供する。また、本発明の情報処理装置は、秘匿情報を判別するための判別情報として、秘匿情報を共起する可能性のある文字列と、文字列の秘匿情報の共起率とが関連付けて登録されたデータベースをユーザの指示に基づいて更新する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、秘匿情報をフィルタリングする情報処理装置に関し、より詳細には、画像および音声に含まれる秘匿情報をフィルタリングする情報処理装置、方法およびプログラムに関する。
【背景技術】
【０００２】
近年、第３世代携帯電話やスマートフォン等の携帯型情報処理装置の利用者数は、増加の一途を辿っている。Ａｐｐｌｅ社のｉＰｈｏｎｅ（登録商標）やｉＰｏｄ（登録商標）、ｉＰａｄ（登録商標）等に代表される携帯型情報処理装置の多くは、動画再生が可能であり、その可搬性により様々なシーンで動画を閲覧することが可能になっている。
【０００３】
このような多機能の携帯型情報処理装置の普及に伴い、昨今では、多くのユーザが電車や飲食店等の人混みで様々な動画を閲覧している。再生される動画の中には、映画やビデオクリップの他、ネットバンキングやネットショッピング等の電子商取引やＷｅｂＣａｓｔ、ｅミーティング等によって提供される守秘義務を伴う機密情報や個人情報等の秘匿情報を含むものもあり、このような動画を人混みで閲覧すると秘匿情報が漏洩してしまう虞があった。
【０００４】
この点につき、特許文献１は、モニタの表示画像から不都合な表示情報を抽出し、当該表示情報に応じて表示画像に対する評価値を決定し、当該評価値に基づいて表示画像を制御して機密情報の漏洩を防止するセキュリティシステムを開示する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２９９１２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に示すセキュリティシステムでは、表示画像に含まれる文字や画像のみを使用してフィルタリングすべき機密情報の有無を判断するため、例えば、再生すべき動画の音声に機密情報が含まれている場合、当該セキュリティシステムは、音声に含まれた機密情報の有無を判断することができず、機密情報の漏洩を防止することができない。
【０００７】
また、特許文献１に示すセキュリティシステムでは、表示画像に対する機密情報の判断結果をフィードバックする構成を備えていないため、機密情報の判定が不適切であった場合でも、その判定結果をセキュリティシステムにフィードバックすることができず、機密情報の判定精度を向上させることができない。
【０００８】
本発明は上記の課題を解決するものであり、画像および音声に含まれた秘匿情報をフィルタリングすることができると共に、その秘匿情報の判定精度を向上させることができる情報処理装置、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
すなわち、本発明によれば、画像フレームから文字列を抽出し、音声データを文字列に変換し、これらの文字列に秘匿情報が含まれるか否か判定して、秘匿情報を含む画像フレームおよび／または音声データをマスクして視聴不能にする情報処理装置が提供される。これにより、本発明は、画像および音声に含まれた秘匿情報をフィルタリングすることができる。
【００１０】
また、本発明の情報処理装置は、秘匿情報を判別するための判別情報として、秘匿情報を共起する可能性のある文字列と、文字列の秘匿情報の共起率とが関連付けて登録されたデータベースをユーザの指示に基づいて更新する。これにより、本発明は、秘匿情報の判定精度を向上させることができる。
【００１１】
本発明によれば、画像および音声に含まれた秘匿情報をフィルタリングすることができると共に、その秘匿情報の判定精度を向上させることができる方法およびプログラムを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態の情報処理装置の機能構成を示す図。
【図２】本実施形態の情報処理装置が実行する処理を示すフローチャート。
【図３】本実施形態の情報処理装置が実行する秘匿情報判定処理を示すフローチャート。
【図４】本実施形態の情報処理装置が実行する秘匿判定情報更新処理の一実施形態を示すフローチャート。
【図５】本実施形態の情報処理装置が実行する秘匿判定情報更新処理の別の実施形態を示すフローチャート。
【図６】本実施形態の情報処理装置が実行する秘匿情報識別情報の修正処理を示すフローチャート。
【図７】本実施形態の情報処理装置が、動画データのストリーミング再生終了後に秘匿情報を更新する処理を示すフローチャート。
【図８】本実施形態の情報処理装置が、ストリーミング再生が終了後に実行する秘匿判定情報更新処理を示すフローチャート。
【図９】本実施形態の秘匿判定情報データベースに登録される秘匿判定情報データテーブルを示す図。
【発明を実施するための形態】
【００１３】
以下、本発明について実施形態をもって説明するが、本発明は、後述する実施形態に限定されるものではない。
【００１４】
図１は、本実施形態の情報処理装置１１０の機能構成１００を示す図である。情報処理装置１１０は、動画の再生が可能な情報処理装置であり、動画提供サーバ（図示せず）がストリーミング配信やダウンロード等によって提供する動画データを再生することができる。本実施形態では、情報処理装置として、Ａｐｐｌｅ社のｉＰｈｏｎｅ（登録商標）やＳｕｍｓｕｎｇ社のＧＡＬＡＸＹ Ｓ（商標）、シャープ社のＩＳ０３等のスマートフォンや、Ａｐｐｌｅ社のｉＰｏｄ（登録商標）やｉＰａｄ（登録商標）、シャープ社のＧＡＬＡＰＡＧＯＳ（商標）等の携帯型情報処理装置を採用することができる。
【００１５】
情報処理装置１１０は、Ｗｉｎｄｏｗｓ（登録商標）７、Ｗｉｎｄｏｗｓ Ｖｉｓｔａ（登録商標）、Ｗｉｎｄｏｗｓ ＸＰ（登録商標）、Ｗｉｎｄｏｗｓ Ｍｏｂｉｌｅ（登録商標）等のＷｉｎｄｏｗｓ（登録商標）シリーズ、Ｍａｃ ＯＳ（登録商標）、ｉＰｈｏｎｅ（登録商標）やｉＰａｄ（登録商標）用のｉＯＳシリーズ、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）、Ｇｏｏｇｌｅ Ｃｈｒｏｍｅ Ｏｓ、Ａｎｄｒｏｉｄ（登録商標）、ＴＲＯＮ（登録商標）、ｉＴＲＯＮなどのＯＳの管理下で、アセンブラ、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＰＥＲＬ、ＰＨＰ、ＲＵＢＹ、ＰＹＴＨＯＮなどのプログラム言語で記述された本発明のプログラムを実行する。
【００１６】
また、情報処理装置１１０は、本発明のプログラムを実行するための実行空間を提供するＲＡＭ、プログラムやデータなどを持続的に保持するためのハードディスク装置（ＨＤＤ）などを含んでおり、本発明のプログラムを実行することにより、後述する本実施形態の各機能を情報処理装置１１０上に実現する。本実施形態の各機能部は、上述したプログラミング言語などで記述された装置実行可能なプログラムにより実現できる。本発明のプログラムは、ＨＤＤ、ＣＤ−ＲＯＭ、ＭＯ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他の装置が可読な形式でネットワークを介して伝送することができる。
【００１７】
図１に示す情報処理装置１１０は、通信部１１２と、制御部１１４と、バッファ処理部１１６と、フィルタリング処理部１１８と、再生部１２８と、更新部１３０と、表示部１３２と、バッファメモリ１３４と、秘匿判定情報データベース１３６とを含む。
【００１８】
通信部１１２は、情報処理装置１１０と動画提供サーバとの間で通信するデータを処理する。通信部１１２は、動画提供サーバから動画データを受領すると、その旨を制御部１１４に通知する。
【００１９】
制御部１１４は、情報処理装置１１０の全体制御を行う。制御部１１４は、バッファ処理部１１６、フィルタリング処理部１１８、再生部１２８、更新部１３０および表示部１３２を適宜呼び出して、これらの機能部が実行可能な種々の処理を実行させる。
【００２０】
バッファ処理部１１６は、動画提供サーバが提供した動画データをバッファメモリ１３４に保存する。バッファ処理部１１６は、動画データを受信すると、画像フレームおよび音声データのメタデータとして、動画データを構成する画像フレームおよび音声データを固有に識別可能な情報（以下、「画像フレーム識別情報」および「音声データ識別情報」とする。）を画像フレームおよび音声データに付加してバッファメモリ１３４に保存する。
【００２１】
本実施形態では、動画データを取得した日時を示すタイムスタンプと、画像フレームまたは音声データのファイル拡張子との結合を、画像フレーム識別情報または音声データ識別情報として使用することができる。バッファ処理部１１６は、情報処理装置１１０が有するハードウェアタイマまたはソフトウェアタイマ等のタイマが提供する時刻情報を使用して、画像フレーム識別情報または音声データ識別情報を生成することができる。
【００２２】
また、本実施形態では、バッファメモリ１３４に保存される１の音声データの長さは、１の画像フレームの再生時間と同一であり、対になる画像フレームおよび音声データの識別情報には同一のタイムスタンプが含まれる。さらに、本実施形態で使用するタイムスタンプは、隣接する画像フレームを固有に識別可能な時刻情報、すなわち、例えば、２０１０年１０月１２日１１時１５分６.２３４秒等のようにミリ秒単位やマイクロ秒単位で時刻情報を表すことができる。
【００２３】
フィルタリング処理部１１８は、バッファメモリ１３４にバッファリングされた画像フレームおよび音声データをフィルタリングし、個人情報や機密情報等の秘匿情報を有する画像フレームや音声データに対してマスク処理を施す。フィルタリング処理部１１８は、文字情報抽出部１２０と、音声データ変換部１２２と、秘匿情報判定部１２４と、マスク処理部１２６とを含んで構成される。
【００２４】
文字情報抽出部１２０は、画像フレームから文字情報を抽出する。文字情報抽出部１２０は、バッファメモリ１３４にバッファリングされた画像フレームをＦＩＦＯ形式で順次取得し、画像フレームに含まれる文字画像と、種々の文字が登録されたテンプレートとを照合して、テキストデータである文字情報を抽出する。本実施形態では、文字情報として、例えば、ＪＩＳコードやシフトＪＩＳコード、ＵＮＩＣＯＤＥ等の文字コードが使用される。
【００２５】
本実施形態では、文字情報抽出部１２０は、抽出した文字情報を他の機能部が参照可能な情報処理装置１１０の記憶装置に保存する。他の機能部は、当該記憶装置から当該文字情報を取得することができる。
【００２６】
音声データ変換部１２２は、音声データに含まれる音声言語を文字情報に変換する。音声データ変換部１２２は、バッファメモリ１３４にバッファリングされた音声データをＦＩＦＯ形式で順次取得し、当該音声データに含まれる音声言語をテキストデータである文字情報に変換する。
【００２７】
音声データ変換部１２２は、例えば、特開２０１０−０７２０９８号公報に開示する音声認識技術等を用いて、音声データを文字情報に変換することができる。すなわち、音声データ変換部１２２は、認識対象の文字列の周波数特性を示す音響特徴が規定された統計的モデルである音響モデルと、日本語の文章の制約を表す確率モデルである言語モデルまたは認識対象の単語が登録された辞書データとを使用して、音声データを構成する音声信号が示す単語またはフレーズを認識し、文字情報に変換することができる。
【００２８】
本実施形態では、音声データ変換部１２２は、所定の長さの音声データを構成する音声信号から文字情報を抽出することが好適である。また、音声データ変換部１２２が１回の変換処理で扱う音声データの長さは、任意とすることができる。
【００２９】
本実施形態では、音声データ変換部１２２は、生成した文字情報を他の機能部が参照可能な情報処理装置１１０の記憶装置に保存する。他の機能部は、当該記憶装置から当該文字情報を取得することができる。
【００３０】
秘匿情報判定部１２４は、画像フレームおよび／または音声データに秘匿情報が含まれるか否か判断する。秘匿情報判定部１２４は、文字情報抽出部１２０および音声データ変換部１２２が生成した文字情報が構成する文字列に秘匿情報が共起するか否か判定することにより、画像フレームおよび／または音声データに秘匿情報が含まれるか否か判定する。
【００３１】
より詳細には、秘匿情報判定部１２４は、秘匿判定情報データベース１３６を参照し、文字情報抽出部１２０および音声データ変換部１２２が生成した文字情報が構成する文字列と、秘匿判定情報データベース１３６に登録されている文字列（以下、「登録文字列」とする。）とが合致するか否か判定する。そして、文字情報抽出部１２０および音声データ変換部１２２が生成した文字情報が構成する文字列と登録文字列とが合致する場合、秘匿情報判定部１２４は、当該登録文字列に関連付けられた秘匿情報共起率を使用して、当該文字情報に秘匿情報が付随するか否か判定する。
【００３２】
秘匿情報判定部１２４は、秘匿情報が付随すると判定した場合、秘匿情報が存在することを示す識別情報（以下、「秘匿情報識別情報」とする。）を、当該文字情報を含む画像フレームの画像フレーム識別情報または音声データの音声データ識別情報に付加する。
【００３３】
本実施形態では、画像フレーム識別情報または音声データ識別情報に秘匿情報識別情報を付加することによって秘匿情報の有無を管理する。他の実施形態では、秘匿情報が現れた画像フレームの画像フレーム識別情報または音声データの音声データ識別情報に秘匿情報の出現を示す識別情報を付加すると共に、秘匿情報が存在しなくなった画像フレームの画像フレーム識別情報または音声データの音声データ識別情報に秘匿情報の消失を示す識別情報を付加することにより、秘匿情報の有無を管理してもよい。さらに他の実施形態では、画像フレーム識別情報または音声データ識別情報と、秘匿情報が存在することを示す識別情報または秘匿情報が存在しないことを示す識別情報とを関連付けてデータベースに登録することにより、秘匿情報の有無を管理してもよい。
【００３４】
マスク処理部１２６は、秘匿情報を含む動画データに対してマスク処理を施して秘匿情報を視聴不能にする。マスク処理部１２６は、画像フレームに対するマスク処理として、秘匿情報を含む画像フレームにスクランブル処理を施し、秘匿情報を視聴不能にすることができる。また、マスク処理部１２６は、秘匿情報を含む画像フレームを他の画像フレーム（例えば、黒色や白色等で構成される画像フレームや秘匿情報が含まない所定の代替フレーム等）に置換することにより、秘匿情報を視認不能にしてもよい。
【００３５】
マスク処理部１２６は、音声データに対するマスク処理として、秘匿情報を含む音声データを他の音声データ、例えば、無音の音声データや特定の周波数音で構成される音声データ等に変換し、秘匿情報を聴認不能にすることができる。
【００３６】
再生部１２８は、動画データを再生する。再生部１２８は、再生すべき画像フレームおよび音声データが保存される情報処理装置１１０内の記憶装置のメモリ領域（以下、「再生データ保存領域」とする。）から画像フレームおよび音声データを順次取得して再生する。本実施形態では、再生部１２８は、秘匿情報を含まないためにマスク処理が施されなかった画像フレームおよび音声データ、マスク処理が施された画像フレームおよび音声データを再生する。他の実施形態では、音声データに秘匿情報が含まれる場合に、再生すべき音声データの再生音量を聴認不能な程度に低下させて再生してもよい。さらに他の実施形態では、再生部１２８は、ユーザ指示により、バッファメモリ１３４に格納された動画データをマスク処理が施されていない状態で再生することもできる。
【００３７】
更新部１３０は、秘匿判定情報データベース１３６に登録された秘匿情報を判定するための情報（以下、「秘匿判定情報」とする。）を更新する。更新部１３０は、秘匿判定情報として秘匿判定情報データベース１３６に登録された秘匿情報を共起する可能性のある登録文字列と、これに関連付けて登録された秘匿情報共起率とを更新する。本実施形態では、更新部１３０は、ユーザが指定した登録文字列に関連付けられた秘匿情報共起率を所定値分増減させて更新することができる。なお、秘匿判定情報データベース１３６については、そのデータ内容とともに、図９を参照して詳細に説明する。
【００３８】
表示部１３２は、情報処理装置１１０の表示装置に種々の画面を表示させる。表示部１３２は、秘匿判定情報データベース１３６を登録する画面、秘匿判定情報データベース１３６の更新や訂正を指示可能なボタン等を含む画面、秘匿判定情報データベース１３６を更新または訂正した旨を通知する画面等を表示することができる。本実施形態の表示画面を構成するデータは、本実施形態のプログラムの実行時に情報処理装置のＲＡＭに展開され、表示部１３２は、当該構成データを使用して通知画面を表示させることができる。
【００３９】
本実施形態では、情報処理装置１１０はタッチパネル式の表示装置を備えており、当該表示装置に対するユーザの接触や接触位置を検知して、秘匿判定情報データベースの登録指示や更新指示がされたことを判断することができる。他の実施形態では、情報処理装置１１０は、上記ボタンの機能を割り当てられたキーボート等の入力手段を備えており、当該入力手段が押下されたことを検知して、秘匿判定情報データベースの登録指示や更新指示がされたことを判断することができる。
【００４０】
図２は、本実施形態の情報処理装置が実行する処理を示すフローチャートである。以下、図２を参照して、情報処理装置１１０が実行する処理について説明する。
【００４１】
図２の処理は、ステップＳ２００で動画提供サーバから動画データを受信したことにより開始する。ステップＳ２０１では、制御部１１４がバッファ処理部１１６を呼び出し、バッファ処理部１１６は、動画提供サーバから受信した動画データに識別情報を付加してバッファメモリ１３４にバッファリングする。本実施形態では、情報処理装置１１０は、動画データのバッファリングと、後述するステップＳ２０２〜Ｓ２１１の処理とを並行して実行することができる。
【００４２】
ステップＳ２０１で動画データのバッファリングが開始すると、ステップ２０２で制御部１１４が文字情報抽出部１２０を呼び出し、文字情報抽出部１２０が、動画を構成する画像フレームから文字情報を抽出する。ステップＳ２０３では、制御部１１４は音声データ変換部１２２を呼び出し、音声データ変換部１２２が、動画を構成する音声データから文字情報を生成する。
【００４３】
ステップＳ２０２およびステップＳ２０３の処理が終了すると、ステップＳ２０４では、制御部１１４が秘匿情報判定部１２４を呼び出し、秘匿情報判定部１２４は、動画データの秘匿情報の有無を判定する秘匿情報判定処理を実行する。なお、秘匿情報判定処理については、図３を参照して詳細に説明する。
【００４４】
ステップＳ２０５では、制御部１１４は、ステップＳ２０４で実行した秘匿情報判定処理の結果から画像フレームおよび音声データに秘匿情報が存在するか否か判断する。秘匿情報が存在すると判断した場合には（ｙｅｓ）、処理をステップＳ２０６に分岐させる。ステップＳ２０６では、制御部１１４がマスク処理部１２６を呼び出し、秘匿情報を含む画像フレームおよび／または音声データにマスク処理を施させる。そして、制御部１１４は、マスクされた画像フレームおよび／または音声データを再生データ保存領域に保存する。一方、秘匿情報が存在しないと判断した場合には（ｎｏ）、処理をステップＳ２０７に分岐させ、ステップＳ２０７では、制御部１１４は、マスク処理を実行させることなく、画像フレームおよび音声データを再生データ保存領域に保存する。
【００４５】
ステップＳ２０８では、制御部１１４は再生部１２８を呼び出し、再生部１２８は、再生データ保存領域に保存されている画像フレームおよび音声データを再生する。ステップＳ２０９では、制御部１１４が秘匿判定情報の更新指示を受信したか否か判断する。
【００４６】
本実施形態では、制御部１１４は、ユーザが秘匿判定情報の更新ボタンを押下したことによって発行された割り込み指示である秘匿判定情報の更新指示をＲＡＭ等の記憶装置に保存することができる。制御部１１４は、当該記憶装置を参照して秘匿判定情報の更新指示を受信したか否か判断することができる。
【００４７】
ステップＳ２０９の判定で秘匿判定情報の更新指示を受信したと判断した場合には（ｙｅｓ）、処理をステップＳ２１０に分岐させる。ステップＳ２１０では、制御部１１４が更新部１３０を呼び出して、図４を参照して説明する秘匿判定情報更新処理を更新部１３０に実行させる。一方、秘匿判定情報の更新指示を受信していないと判断した場合には（ｎｏ）、処理をステップＳ２１１に分岐させる。
【００４８】
ステップＳ２１１では、制御部１１４は、バッファメモリ１３４を参照して、再生すべき動画データが存在するか否か判断する。再生すべき動画データが存在する場合には（ｙｅｓ）、処理をステップＳ２０２およびＳ２０３に戻し、上述した処理を反復させる。一方、再生すべき動画が存在しないと判断した場合には（ｎｏ）、処理をステップＳ２１２に分岐させる。
【００４９】
ステップＳ２１２では、制御部１１４は、ステップＳ２１０で秘匿判定情報更新処理が実行されたか否か判断する。本実施形態では、制御部１１４は、ステップＳ２１０で更新部１３０を呼び出した場合に、当該更新処理を実行したことを示すフラグ情報等を記憶装置に保持し、当該フラグ情報を使用して更新処理が実行されたか否か判断することができる。
【００５０】
ステップＳ２１２の判定で、更新処理が実行されたと判断した場合には（ｙｅｓ）、処理をステップＳ２１３に分岐させる。ステップＳ２１３では、制御部１１４は、図６を参照して説明する秘匿情報識別情報の修正処理を実行し、ステップＳ２１４で処理が終了する。一方、ステップＳ２１２の判定で、更新処理が実行されていないと判断した場合には（ｎｏ）、処理をステップＳ２１４に分岐させて終了させる。
【００５１】
図３は、本実施形態の情報処理装置が実行する秘匿情報判定処理を示すフローチャートである。以下、図３を参照して秘匿情報判定処理について説明する。
【００５２】
図３の処理は、図２に示すステップＳ２０４の処理で制御部１１４が秘匿情報判定部１２４を呼び出すことにより、ステップＳ３００から開始する。ステップＳ３０１では、秘匿情報判定部１２４は、秘匿判定情報データベース１３６を参照し、図２に示すステップＳ２０２およびステップＳ２０３の処理で生成した文字情報によって構成される文字列と、秘匿判定情報データベース１３６の登録文字列とを照合する。
【００５３】
ステップＳ３０２では、秘匿情報判定部１２４は、これらの文字列がマッチするか否か判断し、これらの文字列がマッチする場合には（ｙｅｓ）、処理をステップＳ３０３に分岐させる。一方、マッチしない場合には（ｎｏ）、処理をステップＳ３０６に分岐させて終了させる。
【００５４】
ステップＳ３０３では、秘匿情報判定部１２４は、秘匿判定情報データベース１３６を参照し、ステップＳ３０２でマッチすると判断した登録文字列に関連付けられた秘匿情報共起率を取得する。ステップＳ３０４では、秘匿情報判定部１２４は、ステップＳ３０３で取得した秘匿情報共起率が所定の閾値よりも大きいか否か判断し、秘匿情報共起率が所定の閾値以下であると判断した場合、すなわち、当該文字列に秘匿情報が付随する可能性が低いと判断した場合には（ｎｏ）、処理をステップＳ３０６に分岐させて終了させる。
【００５５】
一方、秘匿情報共起率が所定の閾値よりも大きいと判断した場合、すなわち、当該文字列に秘匿情報が付随すると判断した場合には（ｙｅｓ）、処理をステップＳ３０５に分岐させる。ステップＳ３０５では、秘匿情報判定部１２４は、バッファメモリ１３４にバッファリングされている当該文字列を構成する文字情報を含む画像フレームおよび／または音声データの識別情報に秘匿情報識別情報を付加し、ステップＳ３０６で処理が終了する。
【００５６】
本実施形態では、秘匿情報判定部１２４は、画像フレーム識別情報および音声データ識別情報にそれぞれ秘匿情報識別情報を付加することができる。秘匿情報判定部１２４は、ステップＳ３０２で登録文字列とマッチすると判断した文字列を構成する文字情報が画像フレームから抽出されたことを示す情報および／または当該文字情報が音声データから生成されたことを示す情報を、情報処理装置１１０のＲＡＭやＨＤＤ等の記憶装置に保持する。そして、秘匿情報判定部１２４は、当該情報を参照して、秘匿情報が画像フレーム、音声データ、並びに画像フレームおよび音声データ双方に含まれるか否か判断することができる。
【００５７】
図４は、本実施形態の情報処理装置が実行する秘匿判定情報更新処理の一実施形態を示すフローチャートである。以下、図４を参照して秘匿判定情報更新処理の一実施形態について説明する。
【００５８】
図４の処理は、図２に示すステップＳ２１０の処理で制御部１１４が更新部１３０を呼び出すことにより、ステップＳ４００から開始する。ステップＳ４０１では、更新部１３０は、再生データ保存領域に格納されている再生された画像フレームまたは音声フレームにマスク処理が施されているか否か判断する。
【００５９】
本実施形態では、マスク処理部１２６は、画像フレームおよび音声データのメタデータとして画像フレーム識別情報および音声データ識別情報に付加された秘匿情報識別情報を使用して、画像フレームまたは音声フレームにマスク処理が施されているか否か判断することができる。
【００６０】
ステップＳ４０１の判定で画像フレームまたは音声フレームにマスク処理が施されていると判断した場合（ｙｅｓ）、処理をステップＳ４０２に分岐させる。一方、画像フレームまたは音声フレームにマスク処理が施されていないと判断した場合（ｎｏ）、処理をステップＳ４０６に分岐させて終了させる。
【００６１】
ステップＳ４０２では、更新部１３０は、再生データ保存領域に格納されているマスク処理が施された画像フレームおよび音声データに対応する、マスク処理が施されていない画像フレームおよび音声データをバッファメモリ１３４から取得し、再生データ保存領域に保存する。本実施形態では、更新部１３０は、画像フレーム識別情報および音声データ識別情報を使用して、マスク処理が施された画像フレームおよび音声データに対応する、マスク処理が施されていない画像フレームおよび音声データを識別することができる。
【００６２】
ステップＳ４０３では、再生部１２８が、再生データ保存領域に保存されたマスク処理が施されていない画像フレームおよび音声データを再生する。ステップＳ４０４では、更新部１３０は、バッファメモリ１３４に保存されているステップＳ４０２で取得した画像フレームおよび／または音声データの画像フレーム識別情報および／または音声データ識別情報から秘匿情報識別情報を削除する。ステップＳ４０５では、更新部１３０は、秘匿判定情報データベース１３６を参照し、図３に示す秘匿情報の判断処理でマッチすると判断した文字列に関連付けて、所定の秘匿情報共起率を登録し、ステップＳ４０６で処理が終了する。本実施形態では、当該修正後の秘匿情報共起率は、マスク処理を実行しない値とする。
【００６３】
図４に示す実施形態では、ストリーミング配信処理における動画データの再生中にマスク処理の不備、すなわち、画像フレームおよび音声データに対して誤ってマスク処理が施された場合に、ユーザの秘匿判定情報の更新指示をトリガとした秘匿判定情報更新処理によって動画データの再生が中断され、マスク処理が施されていない画像フレームおよび音声データが再生される。このため、本実施形態では、ユーザが、マスク処理が誤って施された画像フレームおよび音声データをリアルタイムで訂正し、視聴することができる。
【００６４】
また、本実施形態では、秘匿判定情報更新処理によって秘匿情報共起率が適正値に修正される。このため、動画データの再生を再開した後、修正された秘匿情報共起率を使用して秘匿情報判定処理を実行することができ、再生すべき画像フレームや音声データに対するマスク処理の精度を向上させることができる。
【００６５】
図５は、本実施形態の情報処理装置が実行する秘匿判定情報更新処理の別の実施形態を示すフローチャートである。以下、図５を参照して秘匿判定情報更新処理の別の実施形態について説明する。なお、図５に示すステップＳ５００〜ステップＳ５０５の処理は、図４に示すステップＳ４００〜ステップＳ４０５と同様であるため、以下、説明を省略する。
【００６６】
ステップＳ５０１の判定で、再生すべき画像フレームまたは音声フレームにマスク処理が施されていないと判断した場合には（ｎｏ）、処理をステップＳ５０６に分岐させる。ステップＳ５０６では、更新部１３０は表示部１３２を呼び出し、表示部１３２は、図２に示す処理で文字情報抽出部１２０および音声データ変換部１２２が抽出または生成した文字情報が構成する文字列を選択可能な画面を、情報処理装置１１０の表示装置に表示する。
【００６７】
ステップＳ５０７では、表示部１３２は、表示装置に表示された文字列がユーザによって選択されたか否かを判断する。文字列が選択されていない場合には（ｎｏ）、ステップＳ５０７の処理を反復させる。一方、文字列が選択されたと判断した場合には（ｙｅｓ）、処理をステップＳ５０８に分岐させる。ステップＳ５０８では、更新部１３０は、選択された文字列が、画像フレームにのみ含まれる文字列、音声データにのみ含まれる文字列、または画像フレームおよび音声データの双方に含まれる文字列であるか判断する。
【００６８】
本実施形態では、表示部１３２が文字列を表示装置に表示するときに、当該文字列が画像フレームに含まれる文字列であることを示す識別情報および／または音声データに含まれる文字列であることを示す識別情報を記憶装置に保持しておく。表示部１３２は、記憶装置に保持された当該識別情報を使用して、ユーザが選択した文字列が画像フレームにのみ含まれる文字列であるか、音声データにのみ含まれる文字列であるか、または画像フレームおよび音声データの双方に含まれる文字列であるかを判断することができる。
【００６９】
ステップＳ５０８の判定で、ユーザの選択した文字列が画像フレームにのみ含まれる文字列であると判断した場合、処理をステップＳ５０９に分岐させる。ステップＳ５０９では、更新部１３０は、当該文字列を含む画像フレームの画像フレーム識別情報に秘匿情報識別情報を付加する。
【００７０】
ステップＳ５０８の判定で、ユーザの選択した文字列が音声データにのみ含まれる文字列であると判断した場合、処理をステップＳ５１０に分岐させる。ステップＳ５１０では、更新部１３０は、当該文字列を含む音声データの音声データ識別情報に秘匿情報識別情報を付加する。
【００７１】
ステップＳ５０８の判定で、ユーザの選択した文字列が画像フレームおよび音声データの双方に含まれる文字列であると判断した場合、処理をステップＳ５１１に分岐させる。ステップＳ５１１では、更新部１３０は、当該文字列を含む画像フレームの画像フレーム識別情報および音声データの音声データ識別情報に秘匿情報識別情報を付加する。
【００７２】
ステップＳ５１２では、更新部１３０は、秘匿判定情報データベース１３６を参照し、ユーザの選択した文字列が登録されているか否か判断する。当該文字列が登録されていると判断した場合には（ｙｅｓ）、処理をステップＳ５１３に分岐させる。ステップＳ５１３では、更新部１３０は、所定の秘匿情報共起率を当該文字列と関連付けて秘匿判定情報データベース１３６に登録し、ステップＳ５１５で処理が終了する。
【００７３】
一方、当該文字列が秘匿判定情報データベース１３６に登録されていないと判断した場合には（ｎｏ）、処理をステップＳ５１４に分岐させる。ステップＳ５１４では、更新部１３０は、所定の秘匿情報共起率と当該文字列とを関連付けて秘匿判定情報データベース１３６に登録し、ステップＳ５１５で処理が終了する。本実施形態では、所定の秘匿情報共起率は、画像フレームや音声データに対してマスク処理が実行される値とする。
【００７４】
図５に示す実施形態では、ストリーミング配信処理における動画データの再生中にマスク処理の不備、すなわち、画像フレームおよび音声データに対して誤ってマスク処理が施された場合に、ユーザの秘匿判定情報の更新指示をトリガとした秘匿判定情報更新処理によって動画データの再生が中断され、マスク処理が施されていない画像フレームおよび音声データが再生される。このため、本実施形態では、ユーザが、マスク処理が誤って施された画像フレームおよび音声データをリアルタイムで訂正し、視聴することができる。
【００７５】
また、本実施形態では、秘匿判定情報更新処理によって秘匿情報共起率が適正値に修正される。このため、動画データの再生を再開した後、修正された秘匿情報共起率を使用して秘匿情報判定処理を実行することができ、再生すべき画像フレームや音声データに対するマスク処理の精度を向上させることができる。
【００７６】
さらに、本実施形態では、秘匿情報を含む画像フレームや音声データに対してマスク処理が施されていない場合に、ユーザによる秘匿判定情報の更新指示により、当該画像フレームや音声データに含まれる秘匿情報を選択可能な画面が表示され、ユーザがマスクすべき秘匿情報を選択することができる。このため、再生される後続の動画データに対する秘匿情報の判定精度を向上させることができ、秘匿情報に対するマスク処理の適正化を一層図ることができる。
【００７７】
図６は、本実施形態の情報処理装置が実行する秘匿情報識別情報の修正処理を示すフローチャートである。以下、図６を参照して、動画データのストリーミングにおいて再生された画像フレームおよび音声データに対し、事後的に秘匿情報識別情報を修正する秘匿情報識別情報の修正処理について説明する。
【００７８】
図６の処理は、図２に示すステップＳ２１３で呼び出されることによってステップＳ６００から開始する。ステップＳ６０１では、制御部１１４が文字情報抽出部１２０を呼び出し、文字情報抽出部１２０は、バッファメモリ１３４から画像フレームをＦＩＦＯ形式で取得して文字情報を抽出する。ステップＳ６０２では、制御部１１４が音声データ変換部１２２を呼び出し、音声データ変換部１２２は、バッファメモリ１３４から音声データをＦＩＦＯ形式で取得して文字情報を生成する。ステップＳ６０３では、制御部１１４が秘匿情報判定部１２４を呼び出し、秘匿情報判定部１２４は、ステップＳ６０１およびＳ６０２で抽出または生成した文字情報が構成する文字列と、秘匿判定情報データベース１３６の登録文字列とを照合する。
【００７９】
ステップＳ６０４では、秘匿情報判定部１２４は、当該文字列がマッチするか否か判断し、マッチしない場合には（ｎｏ）、処理をステップＳ６１４に分岐させる。一方、これらの文字列がマッチする場合には（ｙｅｓ）、処理をステップＳ６０５に分岐させる。
【００８０】
ステップＳ６０５では、秘匿情報判定部１２４は、秘匿判定情報データベース１３６を参照し、ステップＳ６０４でマッチすると判断した登録文字列に関連付けられた秘匿情報共起率を取得する。ステップＳ６０６では、秘匿情報判定部１２４は、ステップＳ６０５で取得した秘匿情報共起率が所定の閾値よりも大きいか否か判断する。秘匿情報共起率が所定の閾値以下であると判断した場合、すなわち、当該文字列に秘匿情報が付随する可能性が低いと判断した場合には（ｎｏ）、処理をステップＳ６０７に分岐させる。
【００８１】
ステップＳ６０７では、秘匿情報判定部１２４は、秘匿情報が付随する可能性が低いと判断した文字列が含まれる画像フレームの画像フレーム識別情報または音声データの音声データ識別情報の少なくとも一方に秘匿情報識別情報が付加されているか否か判断する。秘匿情報識別情報が付加されていない場合には（ｎｏ）、処理をステップＳ６１４に分岐させる。一方、秘匿情報識別情報が付加されている場合には（ｙｅｓ）、処理をステップＳ６０８に分岐させる。ステップＳ６０８では、秘匿情報判定部１２４は、秘匿情報識別情報が付加された画像フレーム識別情報および／または音声データ識別情報から秘匿情報識別情報を削除する。
【００８２】
一方、ステップＳ６０６の判定で秘匿情報共起率が所定の閾値よりも大きいと判断した場合、すなわち、当該文字列に秘匿情報が付随する可能性が高いと判断した場合には（ｙｅｓ）、処理をステップＳ６０９に分岐させる。ステップＳ６０９では、秘匿情報判定部１２４は、秘匿情報が付随する可能性が高いと判断した文字列を含む画像フレームの画像フレーム識別情報または音声データの音声データ識別情報の少なくとも一方に秘匿情報識別情報が付加されているか否か判断する。画像フレーム識別情報または音声データの音声データ識別情報の少なくとも一方に秘匿情報識別情報が付加されていると判断した場合には（ｙｅｓ）、処理をステップＳ６１４に分岐させる。一方、画像フレームの画像フレーム識別情報または音声データの音声データ識別情報のいずれにも秘匿情報識別情報が付加されていないと判断した場合には（ｎｏ）、処理をステップＳ６１０に分岐させる。
【００８３】
ステップＳ６１０では、秘匿情報判定部１２４は、ステップＳ６０４でマッチすると判断した文字列が、画像フレームまたは音声データのいずれに含まれるか否か判断する。本実施形態では、秘匿情報判定部１２４は、ステップＳ６０２でマッチすると判断した文字列が画像フレームに含まれる文字列または音声データに含まれる文字列であるかを識別する情報を情報処理装置１１０のＲＡＭやＨＤＤ等の記憶装置に保持する。そして、秘匿情報判定部１２４は、当該識別情報を参照して、当該マッチすると判断した文字列が画像フレームに含まれる文字列または音声データに含まれる文字列であるか否か判断することができる。
【００８４】
ステップＳ６１０の判定で、マッチすると判断した文字列が画像フレームにのみ含まれると判断した場合、処理をステップＳ６１１に分岐させる。ステップＳ６１１では、更新部１３０は、当該文字列を含む画像フレームの画像フレーム識別情報に秘匿情報識別情報を付加する。
【００８５】
ステップＳ６１０の判定で、マッチすると判断した文字列が音声データのみに含まれると判断した場合、処理をステップＳ６１２に分岐させる。ステップＳ６１２では、更新部１３０は、当該文字列を含む音声データの音声データ識別情報に秘匿情報識別情報を付加する。
【００８６】
ステップＳ６１０の判定で、マッチすると判断した文字列が画像フレームおよび音声データに含まれると判断した場合、処理をステップＳ６１３に分岐させる。ステップＳ６１３では、更新部１３０は、当該文字列を含む画像フレームの画像フレーム識別情報および音声データの音声データ識別情報に秘匿情報識別情報を付加する。
【００８７】
ステップＳ６１４では、制御部１１４は、秘匿情報識別情報を修正すべき画像フレームおよび音声データがバッファメモリ１３４に存在するか否か判断する。
【００８８】
本実施形態では、文字情報抽出部１２０および音声データ変換部１２２は、バッファメモリ１３４から画像フレームおよび音声データをＦＩＦＯ形式で取得して、修正すべき画像フレームおよび音声データがバッファメモリ１３４に存在するか否か判断する。他の実施形態では、動画データを受信したときのタイムスタンプを含む画像フレームの識別情報または音声データの識別情報を使用して、最も古いタイムスタンプを含む画像フレームの識別情報および音声データの識別情報が示す画像フレームおよび音声データから順次取得し、修正すべき画像フレームおよび音声データがバッファメモリ１３４に存在するか否か判断してもよい。
【００８９】
ステップＳ６１４の判定で、修正すべき画像フレームおよび音声データが存在すると判断した場合には（ｙｅｓ）、処理をステップＳ６０１およびステップＳ６０２に戻し、上述した各処理を反復させる。一方、修正すべき画像フレームおよび音声データが存在しないと判断した場合には（ｎｏ）、処理をステップＳ６１５に分岐させて終了させる。
【００９０】
図６に示す実施形態では、ストリーミング処理に付随してリアルタイムで秘匿判定情報更新処理を実行して秘匿判定情報データベース１３６に登録された秘匿情報を更新した場合、既に再生された画像フレームおよび音声データに対して、更新された秘匿情報を使用して事後的に秘匿情報識別情報を修正することができる。
【００９１】
図７は、本実施形態の情報処理装置が、動画データのストリーミング再生終了後に秘匿情報を更新する処理を示すフローチャートである。以下、図７を参照して、ストリーミング再生が終了後に秘匿情報を更新する処理について説明する。
【００９２】
図７の処理は、ステップＳ７００で情報処理装置１１０の制御部１１４が、ユーザが発行する動画データの再生指示を受領することにより開始する。ステップＳ７０１では、制御部１１４が、図２の処理でバッファメモリ１３４に格納された画像フレームおよび音声データをＦＩＦＯ形式で取得する。ステップＳ７０２では、制御部１１４が、当該画像フレームおよび音声データの画像フレーム識別情報および音声データ識別情報を使用して、当該画像フレームおよび音声データに秘匿情報が存在するか否か判断する。秘匿情報が存在しないと判断した場合には（ｎｏ）、処理をステップＳ７０３に分岐させる。ステップＳ７０３では、制御部１１４は、画像フレームおよび音声データを再生データ保存領域に保存する。
【００９３】
一方、ステップＳ７０２の判定で画像フレームおよび音声データに秘匿情報が存在すると判断した場合には（ｙｅｓ）、処理をステップＳ７０４に分岐させる。ステップＳ７０４では、制御部１１４がマスク処理部１２６を呼び出して秘匿情報を含む画像フレームおよび／または音声データにマスク処理を施させる。そして、制御部１１４は、マスクされた画像フレームおよび／または音声データを再生データ保存領域に保存する。
【００９４】
ステップＳ７０５では、制御部１１４が再生部１２８を呼び出し、再生部１２８は、再生データ保存領域に保存されている画像フレームおよび音声データを再生する。ステップＳ７０６では、制御部１１４は、秘匿判定情報の更新指示を受信したか否か判断する。更新指示を受信していないと判断した場合には（ｎｏ）、処理をステップＳ７０８に分岐させる。
【００９５】
一方、更新指示を受信したと判断した場合には（ｙｅｓ）、処理をステップＳ７０７に分岐させる。ステップＳ７０７では、制御部１１４が更新部１３０を呼び出し、更新部１３０は、図８を参照して説明する秘匿判定情報更新処理を実行する。
【００９６】
本実施形態では、図２を参照して説明した実施形態と同様に、制御部１１４は、ユーザが秘匿判定情報の更新ボタンを押下したことによって発行された割り込み指示である更新指示をＲＡＭ等の記憶装置に保存することができる。制御部１１４は、当該記憶装置を参照して秘匿判定情報の更新指示を受信したか否か判断することができる。
【００９７】
ステップＳ７０８では、制御部１１４は、バッファメモリ１３４を参照して、再生すべき動画が存在するか否か判断する。
【００９８】
本実施形態では、文字情報抽出部１２０および音声データ変換部１２２は、バッファメモリ１３４から画像フレームおよび音声データをＦＩＦＯ形式で取得して、修正すべき画像フレームおよび音声データがバッファメモリ１３４に存在するか否か判断する。他の実施形態では、動画データを受信したときのタイムスタンプを含む画像フレームの識別情報または音声データの識別情報を使用して、最も古いタイムスタンプを含む画像フレームの識別情報および音声データの識別情報が示す画像フレームおよび音声データから順次取得し、修正すべき画像フレームおよび音声データがバッファメモリ１３４に存在するか否か判断してもよい。
【００９９】
ステップＳ７０８の判定で、再生すべき動画が存在する場合には（ｙｅｓ）、処理をステップＳ７０１に戻し、上述した処理を反復させる。一方、再生すべき動画が存在しないと判断した場合には（ｎｏ）、処理をステップＳ７０９に分岐させて終了させる。
【０１００】
図７に示す実施形態では、図２に示すストリーミング処理において秘匿判定情報更新処理を実行しなかった場合でも、ユーザが事後的に秘匿判定情報の更新をすることができる。このため、次回以降のストリーミング処理において、より正確な秘匿情報を用いて画像フレームや音声データにマスク処理を施すことができ、マスク精度をより一層向上させることができる。
【０１０１】
図８は、本実施形態の情報処理装置が、ストリーミング再生が終了後に実行する秘匿判定情報更新処理を示すフローチャートである。以下、図８を参照して、ストリーミング再生終了後の秘匿判定情報更新処理の実施形態について説明する。
【０１０２】
図８の処理は、図７に示すステップＳ７０７の処理で制御部１１４が更新部１３０を呼び出すことにより、ステップＳ８００から開始する。ステップＳ８０１では、制御部１１４が文字情報抽出部１２０を呼び出し、文字情報抽出部１２０は、図７のステップＳ７０６で秘匿判定情報の更新指示を受領した時に再生していた画像フレームから文字情報を抽出する。
【０１０３】
ステップＳ８０２では、制御部１１４は音声データ変換部１２２を呼び出し、音声データ変換部１２２は、図７のステップＳ７０６で秘匿判定情報の更新指示を受領した時に再生していた音声データから文字情報を生成する。本実施形態では、音声データ変換部１２２は、秘匿判定情報の更新指示を受領した時に再生していた音声データを含む前後数秒間分の音声データから文字情報を生成することが好適である。
【０１０４】
ステップＳ８０３では、制御部１１４が更新部１２８を呼び出し、更新部１２８は、ステップＳ７０５の処理で再生された画像フレームの画像フレーム識別情報または音声データの音声データ識別情報に秘匿情報識別情報が付加されているか否か、すなわち、画像フレームまたは音声データにマスク処理が施されているか否か判断する。
【０１０５】
ステップＳ８０３の判定で画像フレームまたは音声フレームに秘匿情報識別情報が付加されていると判断した場合（ｙｅｓ）、処理をステップＳ８０４に分岐させる。ステップＳ８０４では、更新部１３０は、画像フレーム識別情報および／または音声データ識別情報に付加された秘匿情報識別情報を削除する。ステップＳ８０５では、更新部１３０は、秘匿判定情報データベース１３６を参照して、ステップＳ８０１およびステップＳ８０２で抽出または生成した文字情報が構成する文字列と合致する文字列を特定する。ステップＳ８０６では、更新部１３０は、秘匿判定情報データベース１３６を参照し、当該合致する文字列に関連付けられた秘匿情報共起率を所定の秘匿情報共起率に変更し、ステップＳ８１６で処理が終了する。本実施形態では、当該変更後の秘匿情報共起率は、マスク処理が実行されない値とする。
【０１０６】
一方、ステップＳ８０３の判定で画像フレーム識別情報および音声データ識別情報に秘匿情報識別情報が付加されていない、すなわち、画像フレームおよび音声データにマスク処理が施されていないと判断した場合（ｎｏ）、処理をステップＳ８０７に分岐させる。ステップＳ８０７では、制御部１１４が表示部１３２を呼び出し、表示部１３２は、ステップＳ８０１およびステップＳ８０２で抽出または生成した文字情報が構成する文字列を情報処理装置１１０の表示装置に表示する。ステップＳ８０８では、表示部１３２は、ユーザが表示装置に表示された文字列を選択したか否か判断し、文字列が選択されていない場合には（ｎｏ）、ステップＳ８０８の処理を反復させる。一方、文字列が選択された場合には（ｙｅｓ）、処理をステップＳ８０９に分岐させる。
【０１０７】
ステップＳ８０９では、更新部１３０は、ステップＳ８０８で選択された文字列が、画像フレームにのみ含まれる文字列であるか、音声データにのみ含まれる文字列であるか、または画像フレームおよび音声データの双方に含まれる文字列であるかを判断する。
【０１０８】
本実施形態では、ユーザが文字列を選択したときに、文字列が選択されたことを示すイベントが表示部１３２に通知される。表示部１３２は、当該イベントを受領することにより、文字列が選択された否か判断することができる。また、表示部１３２は、画像フレームおよび音声データから抽出または生成した文字列を表示装置に表示する際に、当該文字列が画像フレームに含まれる文字列であるか、または音声データに含まれる文字列であるかを示す識別情報を記憶装置に保持しておく。表示部１３２は、当該識別情報を使用して、ユーザの選択した文字列が画像フレームにのみ含まれるか、音声データにのみ含まれるか、画像フレームおよび音声データの双方に含まれるか判断することができる。
【０１０９】
ステップＳ８０９の判定で、選択された文字列が画像フレームにのみ含まれる文字列であると判断した場合、処理をステップＳ８１０に分岐させる。ステップＳ８１０では、更新部１３０は、当該文字列を含む画像フレームの画像フレーム識別情報に秘匿情報識別情報を付加する。
【０１１０】
ステップＳ８０９の判定で、選択された文字列が音声データにのみ含まれる文字列であると判断した場合、処理をステップＳ８１１に分岐させる。ステップＳ８１１では、更新部１３０は、当該文字列を含む音声データの音声データ識別情報に秘匿情報識別情報を付加する。
【０１１１】
ステップＳ８０９の判定で、選択された文字列が画像フレームおよび音声データの双方に含まれる文字列であると判断した場合、処理をステップＳ８１２に分岐させる。ステップＳ８１２では、更新部１３０は、当該文字列を含む画像フレームの画像フレーム識別情報および音声データの音声データ識別情報に秘匿情報識別情報を付加する。
【０１１２】
ステップＳ８１３では、更新部１３０は、秘匿判定情報データベース１３６を参照し、ユーザが選択した文字列が秘匿判定情報データベース１３６に存在するか否か判断する。当該文字列が秘匿判定情報データベース１３６に存在すると判断した場合には（ｙｅｓ）、処理をステップＳ８１４に分岐させる。ステップＳ８１４では、更新部１３０は、所定の秘匿情報共起率を当該文字列と関連付けて秘匿判定情報データベース１３６に登録し、ステップＳ８１６で処理が終了する。
【０１１３】
一方、選択された文字列が秘匿判定情報データベース１３６に存在しないと判断した場合には（ｎｏ）、処理をステップＳ８１５に分岐させる。ステップＳ８１５では、更新部１３０は、当該文字列と所定の秘匿情報共起率とを関連付けて、秘匿判定情報データベース１３６に登録し、ステップＳ８１６で処理が終了する。本実施形態では、当該変更後の秘匿情報共起率は、マスク処理が実行される値とする。
【０１１４】
図８に示す実施形態では、ストリーミング終了後にユーザが秘匿情報を更新することができる。すなわち、情報処理装置に対するユーザによる秘匿情報のフィードバックにより、新たな秘匿情報の登録や秘匿情報共起率の修正が可能となる。これにより、情報処理装置による秘匿情報の判定精度を持続的に向上させることができる。
【０１１５】
図９は、本実施形態の秘匿判定情報データベースに登録される秘匿判定情報データテーブルを示す図である。以下、図９を参照して秘匿判定情報データベース１３６に登録される秘匿判定情報データテーブル９００について説明する。
【０１１６】
秘匿判定情報データテーブル９００は、秘匿判定情報が登録されるデータテーブルであり、登録文字列９１０と秘匿情報共起率９１２とが関連付けて登録される。登録文字列９１０には、秘匿情報を共起する可能性のある文字列が登録される。図９に示す実施形態では、個人情報等と強い共起関係にある文字列として、金融機関とのネットバンキングで利用される会話やネットショッピングで利用される会話で使用される「お名前とご住所」や「お名前と電話番号」等の文字列が登録される。他の実施形態では、「ログイン」や「パスワード」、「ユーザＩＤ」等の個人情報と強い共起関係にある文字列を登録することもできる。
【０１１７】
秘匿情報共起率９１２には、登録文字列の秘匿情報共起率が登録される。本実施形態では、登録文字列の秘匿情報共起率は、ベイズの定理を使用して算出することができる。
【０１１８】
図９に示す実施形態では、例えば、登録文字列「お名前とご住所をお知らせします」に、秘匿情報の判定の際に使用される秘匿情報共起率の所定の閾値「０．５」よりも大きい秘匿情報共起率「０．９」が関連付けて登録されている。このため、秘匿情報判定部１２４は、登録文字列「お名前とご住所をお知らせします」が秘匿情報であると判断することができる。一方、登録文字列「お名前とご住所をお知らせください」に、所定の閾値「０．５」よりも小さい秘匿情報共起率「０．４」が関連付けて登録されている。このため、秘匿情報判定部１２４は、登録文字列「お名前とご住所をお知らせください」が秘匿情報でないと判断することができる。
【０１１９】
図９に示す秘匿判定情報データテーブル９００には特定の文字列や秘匿情報共起率が示されているが、これは単なる例示であり、本実施形態に示される以外の任意の文字列や秘匿情報共起率を登録することができる。また、本実施形態では、所定の閾値として秘匿情報共起率「０．５」を採用しているが、他の実施形態では、その他の任意の値を閾値として使用してもよい。
【０１２０】
これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、特に、動画データとして配信される複数の連続した画像フレームに対して秘匿情報の判定を行う場合に限られず、静止画として提供される画像フレームに対して秘匿情報の判定を行う他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【０１２１】
１００…機能構成、１１０…情報処理装置、１１２…通信部、１１４…制御部、１１６…バッファ処理部、１１８…フィルタリング処理部、１２０…文字情報抽出部、１２２…音声データ変換部、１２４…秘匿情報判定部、１２６…マスク処理部、１２８…再生部、１３０…更新部、１３２…表示部、１３４…バッファメモリ、１３６…秘匿判定情報データベース
【技術分野】
【０００１】
本発明は、秘匿情報をフィルタリングする情報処理装置に関し、より詳細には、画像および音声に含まれる秘匿情報をフィルタリングする情報処理装置、方法およびプログラムに関する。
【背景技術】
【０００２】
近年、第３世代携帯電話やスマートフォン等の携帯型情報処理装置の利用者数は、増加の一途を辿っている。Ａｐｐｌｅ社のｉＰｈｏｎｅ（登録商標）やｉＰｏｄ（登録商標）、ｉＰａｄ（登録商標）等に代表される携帯型情報処理装置の多くは、動画再生が可能であり、その可搬性により様々なシーンで動画を閲覧することが可能になっている。
【０００３】
このような多機能の携帯型情報処理装置の普及に伴い、昨今では、多くのユーザが電車や飲食店等の人混みで様々な動画を閲覧している。再生される動画の中には、映画やビデオクリップの他、ネットバンキングやネットショッピング等の電子商取引やＷｅｂＣａｓｔ、ｅミーティング等によって提供される守秘義務を伴う機密情報や個人情報等の秘匿情報を含むものもあり、このような動画を人混みで閲覧すると秘匿情報が漏洩してしまう虞があった。
【０００４】
この点につき、特許文献１は、モニタの表示画像から不都合な表示情報を抽出し、当該表示情報に応じて表示画像に対する評価値を決定し、当該評価値に基づいて表示画像を制御して機密情報の漏洩を防止するセキュリティシステムを開示する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２９９１２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に示すセキュリティシステムでは、表示画像に含まれる文字や画像のみを使用してフィルタリングすべき機密情報の有無を判断するため、例えば、再生すべき動画の音声に機密情報が含まれている場合、当該セキュリティシステムは、音声に含まれた機密情報の有無を判断することができず、機密情報の漏洩を防止することができない。
【０００７】
また、特許文献１に示すセキュリティシステムでは、表示画像に対する機密情報の判断結果をフィードバックする構成を備えていないため、機密情報の判定が不適切であった場合でも、その判定結果をセキュリティシステムにフィードバックすることができず、機密情報の判定精度を向上させることができない。
【０００８】
本発明は上記の課題を解決するものであり、画像および音声に含まれた秘匿情報をフィルタリングすることができると共に、その秘匿情報の判定精度を向上させることができる情報処理装置、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
すなわち、本発明によれば、画像フレームから文字列を抽出し、音声データを文字列に変換し、これらの文字列に秘匿情報が含まれるか否か判定して、秘匿情報を含む画像フレームおよび／または音声データをマスクして視聴不能にする情報処理装置が提供される。これにより、本発明は、画像および音声に含まれた秘匿情報をフィルタリングすることができる。
【００１０】
また、本発明の情報処理装置は、秘匿情報を判別するための判別情報として、秘匿情報を共起する可能性のある文字列と、文字列の秘匿情報の共起率とが関連付けて登録されたデータベースをユーザの指示に基づいて更新する。これにより、本発明は、秘匿情報の判定精度を向上させることができる。
【００１１】
本発明によれば、画像および音声に含まれた秘匿情報をフィルタリングすることができると共に、その秘匿情報の判定精度を向上させることができる方法およびプログラムを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態の情報処理装置の機能構成を示す図。
【図２】本実施形態の情報処理装置が実行する処理を示すフローチャート。
【図３】本実施形態の情報処理装置が実行する秘匿情報判定処理を示すフローチャート。
【図４】本実施形態の情報処理装置が実行する秘匿判定情報更新処理の一実施形態を示すフローチャート。
【図５】本実施形態の情報処理装置が実行する秘匿判定情報更新処理の別の実施形態を示すフローチャート。
【図６】本実施形態の情報処理装置が実行する秘匿情報識別情報の修正処理を示すフローチャート。
【図７】本実施形態の情報処理装置が、動画データのストリーミング再生終了後に秘匿情報を更新する処理を示すフローチャート。
【図８】本実施形態の情報処理装置が、ストリーミング再生が終了後に実行する秘匿判定情報更新処理を示すフローチャート。
【図９】本実施形態の秘匿判定情報データベースに登録される秘匿判定情報データテーブルを示す図。
【発明を実施するための形態】
【００１３】
以下、本発明について実施形態をもって説明するが、本発明は、後述する実施形態に限定されるものではない。
【００１４】
図１は、本実施形態の情報処理装置１１０の機能構成１００を示す図である。情報処理装置１１０は、動画の再生が可能な情報処理装置であり、動画提供サーバ（図示せず）がストリーミング配信やダウンロード等によって提供する動画データを再生することができる。本実施形態では、情報処理装置として、Ａｐｐｌｅ社のｉＰｈｏｎｅ（登録商標）やＳｕｍｓｕｎｇ社のＧＡＬＡＸＹ Ｓ（商標）、シャープ社のＩＳ０３等のスマートフォンや、Ａｐｐｌｅ社のｉＰｏｄ（登録商標）やｉＰａｄ（登録商標）、シャープ社のＧＡＬＡＰＡＧＯＳ（商標）等の携帯型情報処理装置を採用することができる。
【００１５】
情報処理装置１１０は、Ｗｉｎｄｏｗｓ（登録商標）７、Ｗｉｎｄｏｗｓ Ｖｉｓｔａ（登録商標）、Ｗｉｎｄｏｗｓ ＸＰ（登録商標）、Ｗｉｎｄｏｗｓ Ｍｏｂｉｌｅ（登録商標）等のＷｉｎｄｏｗｓ（登録商標）シリーズ、Ｍａｃ ＯＳ（登録商標）、ｉＰｈｏｎｅ（登録商標）やｉＰａｄ（登録商標）用のｉＯＳシリーズ、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）、Ｇｏｏｇｌｅ Ｃｈｒｏｍｅ Ｏｓ、Ａｎｄｒｏｉｄ（登録商標）、ＴＲＯＮ（登録商標）、ｉＴＲＯＮなどのＯＳの管理下で、アセンブラ、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＰＥＲＬ、ＰＨＰ、ＲＵＢＹ、ＰＹＴＨＯＮなどのプログラム言語で記述された本発明のプログラムを実行する。
【００１６】
また、情報処理装置１１０は、本発明のプログラムを実行するための実行空間を提供するＲＡＭ、プログラムやデータなどを持続的に保持するためのハードディスク装置（ＨＤＤ）などを含んでおり、本発明のプログラムを実行することにより、後述する本実施形態の各機能を情報処理装置１１０上に実現する。本実施形態の各機能部は、上述したプログラミング言語などで記述された装置実行可能なプログラムにより実現できる。本発明のプログラムは、ＨＤＤ、ＣＤ−ＲＯＭ、ＭＯ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他の装置が可読な形式でネットワークを介して伝送することができる。
【００１７】
図１に示す情報処理装置１１０は、通信部１１２と、制御部１１４と、バッファ処理部１１６と、フィルタリング処理部１１８と、再生部１２８と、更新部１３０と、表示部１３２と、バッファメモリ１３４と、秘匿判定情報データベース１３６とを含む。
【００１８】
通信部１１２は、情報処理装置１１０と動画提供サーバとの間で通信するデータを処理する。通信部１１２は、動画提供サーバから動画データを受領すると、その旨を制御部１１４に通知する。
【００１９】
制御部１１４は、情報処理装置１１０の全体制御を行う。制御部１１４は、バッファ処理部１１６、フィルタリング処理部１１８、再生部１２８、更新部１３０および表示部１３２を適宜呼び出して、これらの機能部が実行可能な種々の処理を実行させる。
【００２０】
バッファ処理部１１６は、動画提供サーバが提供した動画データをバッファメモリ１３４に保存する。バッファ処理部１１６は、動画データを受信すると、画像フレームおよび音声データのメタデータとして、動画データを構成する画像フレームおよび音声データを固有に識別可能な情報（以下、「画像フレーム識別情報」および「音声データ識別情報」とする。）を画像フレームおよび音声データに付加してバッファメモリ１３４に保存する。
【００２１】
本実施形態では、動画データを取得した日時を示すタイムスタンプと、画像フレームまたは音声データのファイル拡張子との結合を、画像フレーム識別情報または音声データ識別情報として使用することができる。バッファ処理部１１６は、情報処理装置１１０が有するハードウェアタイマまたはソフトウェアタイマ等のタイマが提供する時刻情報を使用して、画像フレーム識別情報または音声データ識別情報を生成することができる。
【００２２】
また、本実施形態では、バッファメモリ１３４に保存される１の音声データの長さは、１の画像フレームの再生時間と同一であり、対になる画像フレームおよび音声データの識別情報には同一のタイムスタンプが含まれる。さらに、本実施形態で使用するタイムスタンプは、隣接する画像フレームを固有に識別可能な時刻情報、すなわち、例えば、２０１０年１０月１２日１１時１５分６.２３４秒等のようにミリ秒単位やマイクロ秒単位で時刻情報を表すことができる。
【００２３】
フィルタリング処理部１１８は、バッファメモリ１３４にバッファリングされた画像フレームおよび音声データをフィルタリングし、個人情報や機密情報等の秘匿情報を有する画像フレームや音声データに対してマスク処理を施す。フィルタリング処理部１１８は、文字情報抽出部１２０と、音声データ変換部１２２と、秘匿情報判定部１２４と、マスク処理部１２６とを含んで構成される。
【００２４】
文字情報抽出部１２０は、画像フレームから文字情報を抽出する。文字情報抽出部１２０は、バッファメモリ１３４にバッファリングされた画像フレームをＦＩＦＯ形式で順次取得し、画像フレームに含まれる文字画像と、種々の文字が登録されたテンプレートとを照合して、テキストデータである文字情報を抽出する。本実施形態では、文字情報として、例えば、ＪＩＳコードやシフトＪＩＳコード、ＵＮＩＣＯＤＥ等の文字コードが使用される。
【００２５】
本実施形態では、文字情報抽出部１２０は、抽出した文字情報を他の機能部が参照可能な情報処理装置１１０の記憶装置に保存する。他の機能部は、当該記憶装置から当該文字情報を取得することができる。
【００２６】
音声データ変換部１２２は、音声データに含まれる音声言語を文字情報に変換する。音声データ変換部１２２は、バッファメモリ１３４にバッファリングされた音声データをＦＩＦＯ形式で順次取得し、当該音声データに含まれる音声言語をテキストデータである文字情報に変換する。
【００２７】
音声データ変換部１２２は、例えば、特開２０１０−０７２０９８号公報に開示する音声認識技術等を用いて、音声データを文字情報に変換することができる。すなわち、音声データ変換部１２２は、認識対象の文字列の周波数特性を示す音響特徴が規定された統計的モデルである音響モデルと、日本語の文章の制約を表す確率モデルである言語モデルまたは認識対象の単語が登録された辞書データとを使用して、音声データを構成する音声信号が示す単語またはフレーズを認識し、文字情報に変換することができる。
【００２８】
本実施形態では、音声データ変換部１２２は、所定の長さの音声データを構成する音声信号から文字情報を抽出することが好適である。また、音声データ変換部１２２が１回の変換処理で扱う音声データの長さは、任意とすることができる。
【００２９】
本実施形態では、音声データ変換部１２２は、生成した文字情報を他の機能部が参照可能な情報処理装置１１０の記憶装置に保存する。他の機能部は、当該記憶装置から当該文字情報を取得することができる。
【００３０】
秘匿情報判定部１２４は、画像フレームおよび／または音声データに秘匿情報が含まれるか否か判断する。秘匿情報判定部１２４は、文字情報抽出部１２０および音声データ変換部１２２が生成した文字情報が構成する文字列に秘匿情報が共起するか否か判定することにより、画像フレームおよび／または音声データに秘匿情報が含まれるか否か判定する。
【００３１】
より詳細には、秘匿情報判定部１２４は、秘匿判定情報データベース１３６を参照し、文字情報抽出部１２０および音声データ変換部１２２が生成した文字情報が構成する文字列と、秘匿判定情報データベース１３６に登録されている文字列（以下、「登録文字列」とする。）とが合致するか否か判定する。そして、文字情報抽出部１２０および音声データ変換部１２２が生成した文字情報が構成する文字列と登録文字列とが合致する場合、秘匿情報判定部１２４は、当該登録文字列に関連付けられた秘匿情報共起率を使用して、当該文字情報に秘匿情報が付随するか否か判定する。
【００３２】
秘匿情報判定部１２４は、秘匿情報が付随すると判定した場合、秘匿情報が存在することを示す識別情報（以下、「秘匿情報識別情報」とする。）を、当該文字情報を含む画像フレームの画像フレーム識別情報または音声データの音声データ識別情報に付加する。
【００３３】
本実施形態では、画像フレーム識別情報または音声データ識別情報に秘匿情報識別情報を付加することによって秘匿情報の有無を管理する。他の実施形態では、秘匿情報が現れた画像フレームの画像フレーム識別情報または音声データの音声データ識別情報に秘匿情報の出現を示す識別情報を付加すると共に、秘匿情報が存在しなくなった画像フレームの画像フレーム識別情報または音声データの音声データ識別情報に秘匿情報の消失を示す識別情報を付加することにより、秘匿情報の有無を管理してもよい。さらに他の実施形態では、画像フレーム識別情報または音声データ識別情報と、秘匿情報が存在することを示す識別情報または秘匿情報が存在しないことを示す識別情報とを関連付けてデータベースに登録することにより、秘匿情報の有無を管理してもよい。
【００３４】
マスク処理部１２６は、秘匿情報を含む動画データに対してマスク処理を施して秘匿情報を視聴不能にする。マスク処理部１２６は、画像フレームに対するマスク処理として、秘匿情報を含む画像フレームにスクランブル処理を施し、秘匿情報を視聴不能にすることができる。また、マスク処理部１２６は、秘匿情報を含む画像フレームを他の画像フレーム（例えば、黒色や白色等で構成される画像フレームや秘匿情報が含まない所定の代替フレーム等）に置換することにより、秘匿情報を視認不能にしてもよい。
【００３５】
マスク処理部１２６は、音声データに対するマスク処理として、秘匿情報を含む音声データを他の音声データ、例えば、無音の音声データや特定の周波数音で構成される音声データ等に変換し、秘匿情報を聴認不能にすることができる。
【００３６】
再生部１２８は、動画データを再生する。再生部１２８は、再生すべき画像フレームおよび音声データが保存される情報処理装置１１０内の記憶装置のメモリ領域（以下、「再生データ保存領域」とする。）から画像フレームおよび音声データを順次取得して再生する。本実施形態では、再生部１２８は、秘匿情報を含まないためにマスク処理が施されなかった画像フレームおよび音声データ、マスク処理が施された画像フレームおよび音声データを再生する。他の実施形態では、音声データに秘匿情報が含まれる場合に、再生すべき音声データの再生音量を聴認不能な程度に低下させて再生してもよい。さらに他の実施形態では、再生部１２８は、ユーザ指示により、バッファメモリ１３４に格納された動画データをマスク処理が施されていない状態で再生することもできる。
【００３７】
更新部１３０は、秘匿判定情報データベース１３６に登録された秘匿情報を判定するための情報（以下、「秘匿判定情報」とする。）を更新する。更新部１３０は、秘匿判定情報として秘匿判定情報データベース１３６に登録された秘匿情報を共起する可能性のある登録文字列と、これに関連付けて登録された秘匿情報共起率とを更新する。本実施形態では、更新部１３０は、ユーザが指定した登録文字列に関連付けられた秘匿情報共起率を所定値分増減させて更新することができる。なお、秘匿判定情報データベース１３６については、そのデータ内容とともに、図９を参照して詳細に説明する。
【００３８】
表示部１３２は、情報処理装置１１０の表示装置に種々の画面を表示させる。表示部１３２は、秘匿判定情報データベース１３６を登録する画面、秘匿判定情報データベース１３６の更新や訂正を指示可能なボタン等を含む画面、秘匿判定情報データベース１３６を更新または訂正した旨を通知する画面等を表示することができる。本実施形態の表示画面を構成するデータは、本実施形態のプログラムの実行時に情報処理装置のＲＡＭに展開され、表示部１３２は、当該構成データを使用して通知画面を表示させることができる。
【００３９】
本実施形態では、情報処理装置１１０はタッチパネル式の表示装置を備えており、当該表示装置に対するユーザの接触や接触位置を検知して、秘匿判定情報データベースの登録指示や更新指示がされたことを判断することができる。他の実施形態では、情報処理装置１１０は、上記ボタンの機能を割り当てられたキーボート等の入力手段を備えており、当該入力手段が押下されたことを検知して、秘匿判定情報データベースの登録指示や更新指示がされたことを判断することができる。
【００４０】
図２は、本実施形態の情報処理装置が実行する処理を示すフローチャートである。以下、図２を参照して、情報処理装置１１０が実行する処理について説明する。
【００４１】
図２の処理は、ステップＳ２００で動画提供サーバから動画データを受信したことにより開始する。ステップＳ２０１では、制御部１１４がバッファ処理部１１６を呼び出し、バッファ処理部１１６は、動画提供サーバから受信した動画データに識別情報を付加してバッファメモリ１３４にバッファリングする。本実施形態では、情報処理装置１１０は、動画データのバッファリングと、後述するステップＳ２０２〜Ｓ２１１の処理とを並行して実行することができる。
【００４２】
ステップＳ２０１で動画データのバッファリングが開始すると、ステップ２０２で制御部１１４が文字情報抽出部１２０を呼び出し、文字情報抽出部１２０が、動画を構成する画像フレームから文字情報を抽出する。ステップＳ２０３では、制御部１１４は音声データ変換部１２２を呼び出し、音声データ変換部１２２が、動画を構成する音声データから文字情報を生成する。
【００４３】
ステップＳ２０２およびステップＳ２０３の処理が終了すると、ステップＳ２０４では、制御部１１４が秘匿情報判定部１２４を呼び出し、秘匿情報判定部１２４は、動画データの秘匿情報の有無を判定する秘匿情報判定処理を実行する。なお、秘匿情報判定処理については、図３を参照して詳細に説明する。
【００４４】
ステップＳ２０５では、制御部１１４は、ステップＳ２０４で実行した秘匿情報判定処理の結果から画像フレームおよび音声データに秘匿情報が存在するか否か判断する。秘匿情報が存在すると判断した場合には（ｙｅｓ）、処理をステップＳ２０６に分岐させる。ステップＳ２０６では、制御部１１４がマスク処理部１２６を呼び出し、秘匿情報を含む画像フレームおよび／または音声データにマスク処理を施させる。そして、制御部１１４は、マスクされた画像フレームおよび／または音声データを再生データ保存領域に保存する。一方、秘匿情報が存在しないと判断した場合には（ｎｏ）、処理をステップＳ２０７に分岐させ、ステップＳ２０７では、制御部１１４は、マスク処理を実行させることなく、画像フレームおよび音声データを再生データ保存領域に保存する。
【００４５】
ステップＳ２０８では、制御部１１４は再生部１２８を呼び出し、再生部１２８は、再生データ保存領域に保存されている画像フレームおよび音声データを再生する。ステップＳ２０９では、制御部１１４が秘匿判定情報の更新指示を受信したか否か判断する。
【００４６】
本実施形態では、制御部１１４は、ユーザが秘匿判定情報の更新ボタンを押下したことによって発行された割り込み指示である秘匿判定情報の更新指示をＲＡＭ等の記憶装置に保存することができる。制御部１１４は、当該記憶装置を参照して秘匿判定情報の更新指示を受信したか否か判断することができる。
【００４７】
ステップＳ２０９の判定で秘匿判定情報の更新指示を受信したと判断した場合には（ｙｅｓ）、処理をステップＳ２１０に分岐させる。ステップＳ２１０では、制御部１１４が更新部１３０を呼び出して、図４を参照して説明する秘匿判定情報更新処理を更新部１３０に実行させる。一方、秘匿判定情報の更新指示を受信していないと判断した場合には（ｎｏ）、処理をステップＳ２１１に分岐させる。
【００４８】
ステップＳ２１１では、制御部１１４は、バッファメモリ１３４を参照して、再生すべき動画データが存在するか否か判断する。再生すべき動画データが存在する場合には（ｙｅｓ）、処理をステップＳ２０２およびＳ２０３に戻し、上述した処理を反復させる。一方、再生すべき動画が存在しないと判断した場合には（ｎｏ）、処理をステップＳ２１２に分岐させる。
【００４９】
ステップＳ２１２では、制御部１１４は、ステップＳ２１０で秘匿判定情報更新処理が実行されたか否か判断する。本実施形態では、制御部１１４は、ステップＳ２１０で更新部１３０を呼び出した場合に、当該更新処理を実行したことを示すフラグ情報等を記憶装置に保持し、当該フラグ情報を使用して更新処理が実行されたか否か判断することができる。
【００５０】
ステップＳ２１２の判定で、更新処理が実行されたと判断した場合には（ｙｅｓ）、処理をステップＳ２１３に分岐させる。ステップＳ２１３では、制御部１１４は、図６を参照して説明する秘匿情報識別情報の修正処理を実行し、ステップＳ２１４で処理が終了する。一方、ステップＳ２１２の判定で、更新処理が実行されていないと判断した場合には（ｎｏ）、処理をステップＳ２１４に分岐させて終了させる。
【００５１】
図３は、本実施形態の情報処理装置が実行する秘匿情報判定処理を示すフローチャートである。以下、図３を参照して秘匿情報判定処理について説明する。
【００５２】
図３の処理は、図２に示すステップＳ２０４の処理で制御部１１４が秘匿情報判定部１２４を呼び出すことにより、ステップＳ３００から開始する。ステップＳ３０１では、秘匿情報判定部１２４は、秘匿判定情報データベース１３６を参照し、図２に示すステップＳ２０２およびステップＳ２０３の処理で生成した文字情報によって構成される文字列と、秘匿判定情報データベース１３６の登録文字列とを照合する。
【００５３】
ステップＳ３０２では、秘匿情報判定部１２４は、これらの文字列がマッチするか否か判断し、これらの文字列がマッチする場合には（ｙｅｓ）、処理をステップＳ３０３に分岐させる。一方、マッチしない場合には（ｎｏ）、処理をステップＳ３０６に分岐させて終了させる。
【００５４】
ステップＳ３０３では、秘匿情報判定部１２４は、秘匿判定情報データベース１３６を参照し、ステップＳ３０２でマッチすると判断した登録文字列に関連付けられた秘匿情報共起率を取得する。ステップＳ３０４では、秘匿情報判定部１２４は、ステップＳ３０３で取得した秘匿情報共起率が所定の閾値よりも大きいか否か判断し、秘匿情報共起率が所定の閾値以下であると判断した場合、すなわち、当該文字列に秘匿情報が付随する可能性が低いと判断した場合には（ｎｏ）、処理をステップＳ３０６に分岐させて終了させる。
【００５５】
一方、秘匿情報共起率が所定の閾値よりも大きいと判断した場合、すなわち、当該文字列に秘匿情報が付随すると判断した場合には（ｙｅｓ）、処理をステップＳ３０５に分岐させる。ステップＳ３０５では、秘匿情報判定部１２４は、バッファメモリ１３４にバッファリングされている当該文字列を構成する文字情報を含む画像フレームおよび／または音声データの識別情報に秘匿情報識別情報を付加し、ステップＳ３０６で処理が終了する。
【００５６】
本実施形態では、秘匿情報判定部１２４は、画像フレーム識別情報および音声データ識別情報にそれぞれ秘匿情報識別情報を付加することができる。秘匿情報判定部１２４は、ステップＳ３０２で登録文字列とマッチすると判断した文字列を構成する文字情報が画像フレームから抽出されたことを示す情報および／または当該文字情報が音声データから生成されたことを示す情報を、情報処理装置１１０のＲＡＭやＨＤＤ等の記憶装置に保持する。そして、秘匿情報判定部１２４は、当該情報を参照して、秘匿情報が画像フレーム、音声データ、並びに画像フレームおよび音声データ双方に含まれるか否か判断することができる。
【００５７】
図４は、本実施形態の情報処理装置が実行する秘匿判定情報更新処理の一実施形態を示すフローチャートである。以下、図４を参照して秘匿判定情報更新処理の一実施形態について説明する。
【００５８】
図４の処理は、図２に示すステップＳ２１０の処理で制御部１１４が更新部１３０を呼び出すことにより、ステップＳ４００から開始する。ステップＳ４０１では、更新部１３０は、再生データ保存領域に格納されている再生された画像フレームまたは音声フレームにマスク処理が施されているか否か判断する。
【００５９】
本実施形態では、マスク処理部１２６は、画像フレームおよび音声データのメタデータとして画像フレーム識別情報および音声データ識別情報に付加された秘匿情報識別情報を使用して、画像フレームまたは音声フレームにマスク処理が施されているか否か判断することができる。
【００６０】
ステップＳ４０１の判定で画像フレームまたは音声フレームにマスク処理が施されていると判断した場合（ｙｅｓ）、処理をステップＳ４０２に分岐させる。一方、画像フレームまたは音声フレームにマスク処理が施されていないと判断した場合（ｎｏ）、処理をステップＳ４０６に分岐させて終了させる。
【００６１】
ステップＳ４０２では、更新部１３０は、再生データ保存領域に格納されているマスク処理が施された画像フレームおよび音声データに対応する、マスク処理が施されていない画像フレームおよび音声データをバッファメモリ１３４から取得し、再生データ保存領域に保存する。本実施形態では、更新部１３０は、画像フレーム識別情報および音声データ識別情報を使用して、マスク処理が施された画像フレームおよび音声データに対応する、マスク処理が施されていない画像フレームおよび音声データを識別することができる。
【００６２】
ステップＳ４０３では、再生部１２８が、再生データ保存領域に保存されたマスク処理が施されていない画像フレームおよび音声データを再生する。ステップＳ４０４では、更新部１３０は、バッファメモリ１３４に保存されているステップＳ４０２で取得した画像フレームおよび／または音声データの画像フレーム識別情報および／または音声データ識別情報から秘匿情報識別情報を削除する。ステップＳ４０５では、更新部１３０は、秘匿判定情報データベース１３６を参照し、図３に示す秘匿情報の判断処理でマッチすると判断した文字列に関連付けて、所定の秘匿情報共起率を登録し、ステップＳ４０６で処理が終了する。本実施形態では、当該修正後の秘匿情報共起率は、マスク処理を実行しない値とする。
【００６３】
図４に示す実施形態では、ストリーミング配信処理における動画データの再生中にマスク処理の不備、すなわち、画像フレームおよび音声データに対して誤ってマスク処理が施された場合に、ユーザの秘匿判定情報の更新指示をトリガとした秘匿判定情報更新処理によって動画データの再生が中断され、マスク処理が施されていない画像フレームおよび音声データが再生される。このため、本実施形態では、ユーザが、マスク処理が誤って施された画像フレームおよび音声データをリアルタイムで訂正し、視聴することができる。
【００６４】
また、本実施形態では、秘匿判定情報更新処理によって秘匿情報共起率が適正値に修正される。このため、動画データの再生を再開した後、修正された秘匿情報共起率を使用して秘匿情報判定処理を実行することができ、再生すべき画像フレームや音声データに対するマスク処理の精度を向上させることができる。
【００６５】
図５は、本実施形態の情報処理装置が実行する秘匿判定情報更新処理の別の実施形態を示すフローチャートである。以下、図５を参照して秘匿判定情報更新処理の別の実施形態について説明する。なお、図５に示すステップＳ５００〜ステップＳ５０５の処理は、図４に示すステップＳ４００〜ステップＳ４０５と同様であるため、以下、説明を省略する。
【００６６】
ステップＳ５０１の判定で、再生すべき画像フレームまたは音声フレームにマスク処理が施されていないと判断した場合には（ｎｏ）、処理をステップＳ５０６に分岐させる。ステップＳ５０６では、更新部１３０は表示部１３２を呼び出し、表示部１３２は、図２に示す処理で文字情報抽出部１２０および音声データ変換部１２２が抽出または生成した文字情報が構成する文字列を選択可能な画面を、情報処理装置１１０の表示装置に表示する。
【００６７】
ステップＳ５０７では、表示部１３２は、表示装置に表示された文字列がユーザによって選択されたか否かを判断する。文字列が選択されていない場合には（ｎｏ）、ステップＳ５０７の処理を反復させる。一方、文字列が選択されたと判断した場合には（ｙｅｓ）、処理をステップＳ５０８に分岐させる。ステップＳ５０８では、更新部１３０は、選択された文字列が、画像フレームにのみ含まれる文字列、音声データにのみ含まれる文字列、または画像フレームおよび音声データの双方に含まれる文字列であるか判断する。
【００６８】
本実施形態では、表示部１３２が文字列を表示装置に表示するときに、当該文字列が画像フレームに含まれる文字列であることを示す識別情報および／または音声データに含まれる文字列であることを示す識別情報を記憶装置に保持しておく。表示部１３２は、記憶装置に保持された当該識別情報を使用して、ユーザが選択した文字列が画像フレームにのみ含まれる文字列であるか、音声データにのみ含まれる文字列であるか、または画像フレームおよび音声データの双方に含まれる文字列であるかを判断することができる。
【００６９】
ステップＳ５０８の判定で、ユーザの選択した文字列が画像フレームにのみ含まれる文字列であると判断した場合、処理をステップＳ５０９に分岐させる。ステップＳ５０９では、更新部１３０は、当該文字列を含む画像フレームの画像フレーム識別情報に秘匿情報識別情報を付加する。
【００７０】
ステップＳ５０８の判定で、ユーザの選択した文字列が音声データにのみ含まれる文字列であると判断した場合、処理をステップＳ５１０に分岐させる。ステップＳ５１０では、更新部１３０は、当該文字列を含む音声データの音声データ識別情報に秘匿情報識別情報を付加する。
【００７１】
ステップＳ５０８の判定で、ユーザの選択した文字列が画像フレームおよび音声データの双方に含まれる文字列であると判断した場合、処理をステップＳ５１１に分岐させる。ステップＳ５１１では、更新部１３０は、当該文字列を含む画像フレームの画像フレーム識別情報および音声データの音声データ識別情報に秘匿情報識別情報を付加する。
【００７２】
ステップＳ５１２では、更新部１３０は、秘匿判定情報データベース１３６を参照し、ユーザの選択した文字列が登録されているか否か判断する。当該文字列が登録されていると判断した場合には（ｙｅｓ）、処理をステップＳ５１３に分岐させる。ステップＳ５１３では、更新部１３０は、所定の秘匿情報共起率を当該文字列と関連付けて秘匿判定情報データベース１３６に登録し、ステップＳ５１５で処理が終了する。
【００７３】
一方、当該文字列が秘匿判定情報データベース１３６に登録されていないと判断した場合には（ｎｏ）、処理をステップＳ５１４に分岐させる。ステップＳ５１４では、更新部１３０は、所定の秘匿情報共起率と当該文字列とを関連付けて秘匿判定情報データベース１３６に登録し、ステップＳ５１５で処理が終了する。本実施形態では、所定の秘匿情報共起率は、画像フレームや音声データに対してマスク処理が実行される値とする。
【００７４】
図５に示す実施形態では、ストリーミング配信処理における動画データの再生中にマスク処理の不備、すなわち、画像フレームおよび音声データに対して誤ってマスク処理が施された場合に、ユーザの秘匿判定情報の更新指示をトリガとした秘匿判定情報更新処理によって動画データの再生が中断され、マスク処理が施されていない画像フレームおよび音声データが再生される。このため、本実施形態では、ユーザが、マスク処理が誤って施された画像フレームおよび音声データをリアルタイムで訂正し、視聴することができる。
【００７５】
また、本実施形態では、秘匿判定情報更新処理によって秘匿情報共起率が適正値に修正される。このため、動画データの再生を再開した後、修正された秘匿情報共起率を使用して秘匿情報判定処理を実行することができ、再生すべき画像フレームや音声データに対するマスク処理の精度を向上させることができる。
【００７６】
さらに、本実施形態では、秘匿情報を含む画像フレームや音声データに対してマスク処理が施されていない場合に、ユーザによる秘匿判定情報の更新指示により、当該画像フレームや音声データに含まれる秘匿情報を選択可能な画面が表示され、ユーザがマスクすべき秘匿情報を選択することができる。このため、再生される後続の動画データに対する秘匿情報の判定精度を向上させることができ、秘匿情報に対するマスク処理の適正化を一層図ることができる。
【００７７】
図６は、本実施形態の情報処理装置が実行する秘匿情報識別情報の修正処理を示すフローチャートである。以下、図６を参照して、動画データのストリーミングにおいて再生された画像フレームおよび音声データに対し、事後的に秘匿情報識別情報を修正する秘匿情報識別情報の修正処理について説明する。
【００７８】
図６の処理は、図２に示すステップＳ２１３で呼び出されることによってステップＳ６００から開始する。ステップＳ６０１では、制御部１１４が文字情報抽出部１２０を呼び出し、文字情報抽出部１２０は、バッファメモリ１３４から画像フレームをＦＩＦＯ形式で取得して文字情報を抽出する。ステップＳ６０２では、制御部１１４が音声データ変換部１２２を呼び出し、音声データ変換部１２２は、バッファメモリ１３４から音声データをＦＩＦＯ形式で取得して文字情報を生成する。ステップＳ６０３では、制御部１１４が秘匿情報判定部１２４を呼び出し、秘匿情報判定部１２４は、ステップＳ６０１およびＳ６０２で抽出または生成した文字情報が構成する文字列と、秘匿判定情報データベース１３６の登録文字列とを照合する。
【００７９】
ステップＳ６０４では、秘匿情報判定部１２４は、当該文字列がマッチするか否か判断し、マッチしない場合には（ｎｏ）、処理をステップＳ６１４に分岐させる。一方、これらの文字列がマッチする場合には（ｙｅｓ）、処理をステップＳ６０５に分岐させる。
【００８０】
ステップＳ６０５では、秘匿情報判定部１２４は、秘匿判定情報データベース１３６を参照し、ステップＳ６０４でマッチすると判断した登録文字列に関連付けられた秘匿情報共起率を取得する。ステップＳ６０６では、秘匿情報判定部１２４は、ステップＳ６０５で取得した秘匿情報共起率が所定の閾値よりも大きいか否か判断する。秘匿情報共起率が所定の閾値以下であると判断した場合、すなわち、当該文字列に秘匿情報が付随する可能性が低いと判断した場合には（ｎｏ）、処理をステップＳ６０７に分岐させる。
【００８１】
ステップＳ６０７では、秘匿情報判定部１２４は、秘匿情報が付随する可能性が低いと判断した文字列が含まれる画像フレームの画像フレーム識別情報または音声データの音声データ識別情報の少なくとも一方に秘匿情報識別情報が付加されているか否か判断する。秘匿情報識別情報が付加されていない場合には（ｎｏ）、処理をステップＳ６１４に分岐させる。一方、秘匿情報識別情報が付加されている場合には（ｙｅｓ）、処理をステップＳ６０８に分岐させる。ステップＳ６０８では、秘匿情報判定部１２４は、秘匿情報識別情報が付加された画像フレーム識別情報および／または音声データ識別情報から秘匿情報識別情報を削除する。
【００８２】
一方、ステップＳ６０６の判定で秘匿情報共起率が所定の閾値よりも大きいと判断した場合、すなわち、当該文字列に秘匿情報が付随する可能性が高いと判断した場合には（ｙｅｓ）、処理をステップＳ６０９に分岐させる。ステップＳ６０９では、秘匿情報判定部１２４は、秘匿情報が付随する可能性が高いと判断した文字列を含む画像フレームの画像フレーム識別情報または音声データの音声データ識別情報の少なくとも一方に秘匿情報識別情報が付加されているか否か判断する。画像フレーム識別情報または音声データの音声データ識別情報の少なくとも一方に秘匿情報識別情報が付加されていると判断した場合には（ｙｅｓ）、処理をステップＳ６１４に分岐させる。一方、画像フレームの画像フレーム識別情報または音声データの音声データ識別情報のいずれにも秘匿情報識別情報が付加されていないと判断した場合には（ｎｏ）、処理をステップＳ６１０に分岐させる。
【００８３】
ステップＳ６１０では、秘匿情報判定部１２４は、ステップＳ６０４でマッチすると判断した文字列が、画像フレームまたは音声データのいずれに含まれるか否か判断する。本実施形態では、秘匿情報判定部１２４は、ステップＳ６０２でマッチすると判断した文字列が画像フレームに含まれる文字列または音声データに含まれる文字列であるかを識別する情報を情報処理装置１１０のＲＡＭやＨＤＤ等の記憶装置に保持する。そして、秘匿情報判定部１２４は、当該識別情報を参照して、当該マッチすると判断した文字列が画像フレームに含まれる文字列または音声データに含まれる文字列であるか否か判断することができる。
【００８４】
ステップＳ６１０の判定で、マッチすると判断した文字列が画像フレームにのみ含まれると判断した場合、処理をステップＳ６１１に分岐させる。ステップＳ６１１では、更新部１３０は、当該文字列を含む画像フレームの画像フレーム識別情報に秘匿情報識別情報を付加する。
【００８５】
ステップＳ６１０の判定で、マッチすると判断した文字列が音声データのみに含まれると判断した場合、処理をステップＳ６１２に分岐させる。ステップＳ６１２では、更新部１３０は、当該文字列を含む音声データの音声データ識別情報に秘匿情報識別情報を付加する。
【００８６】
ステップＳ６１０の判定で、マッチすると判断した文字列が画像フレームおよび音声データに含まれると判断した場合、処理をステップＳ６１３に分岐させる。ステップＳ６１３では、更新部１３０は、当該文字列を含む画像フレームの画像フレーム識別情報および音声データの音声データ識別情報に秘匿情報識別情報を付加する。
【００８７】
ステップＳ６１４では、制御部１１４は、秘匿情報識別情報を修正すべき画像フレームおよび音声データがバッファメモリ１３４に存在するか否か判断する。
【００８８】
本実施形態では、文字情報抽出部１２０および音声データ変換部１２２は、バッファメモリ１３４から画像フレームおよび音声データをＦＩＦＯ形式で取得して、修正すべき画像フレームおよび音声データがバッファメモリ１３４に存在するか否か判断する。他の実施形態では、動画データを受信したときのタイムスタンプを含む画像フレームの識別情報または音声データの識別情報を使用して、最も古いタイムスタンプを含む画像フレームの識別情報および音声データの識別情報が示す画像フレームおよび音声データから順次取得し、修正すべき画像フレームおよび音声データがバッファメモリ１３４に存在するか否か判断してもよい。
【００８９】
ステップＳ６１４の判定で、修正すべき画像フレームおよび音声データが存在すると判断した場合には（ｙｅｓ）、処理をステップＳ６０１およびステップＳ６０２に戻し、上述した各処理を反復させる。一方、修正すべき画像フレームおよび音声データが存在しないと判断した場合には（ｎｏ）、処理をステップＳ６１５に分岐させて終了させる。
【００９０】
図６に示す実施形態では、ストリーミング処理に付随してリアルタイムで秘匿判定情報更新処理を実行して秘匿判定情報データベース１３６に登録された秘匿情報を更新した場合、既に再生された画像フレームおよび音声データに対して、更新された秘匿情報を使用して事後的に秘匿情報識別情報を修正することができる。
【００９１】
図７は、本実施形態の情報処理装置が、動画データのストリーミング再生終了後に秘匿情報を更新する処理を示すフローチャートである。以下、図７を参照して、ストリーミング再生が終了後に秘匿情報を更新する処理について説明する。
【００９２】
図７の処理は、ステップＳ７００で情報処理装置１１０の制御部１１４が、ユーザが発行する動画データの再生指示を受領することにより開始する。ステップＳ７０１では、制御部１１４が、図２の処理でバッファメモリ１３４に格納された画像フレームおよび音声データをＦＩＦＯ形式で取得する。ステップＳ７０２では、制御部１１４が、当該画像フレームおよび音声データの画像フレーム識別情報および音声データ識別情報を使用して、当該画像フレームおよび音声データに秘匿情報が存在するか否か判断する。秘匿情報が存在しないと判断した場合には（ｎｏ）、処理をステップＳ７０３に分岐させる。ステップＳ７０３では、制御部１１４は、画像フレームおよび音声データを再生データ保存領域に保存する。
【００９３】
一方、ステップＳ７０２の判定で画像フレームおよび音声データに秘匿情報が存在すると判断した場合には（ｙｅｓ）、処理をステップＳ７０４に分岐させる。ステップＳ７０４では、制御部１１４がマスク処理部１２６を呼び出して秘匿情報を含む画像フレームおよび／または音声データにマスク処理を施させる。そして、制御部１１４は、マスクされた画像フレームおよび／または音声データを再生データ保存領域に保存する。
【００９４】
ステップＳ７０５では、制御部１１４が再生部１２８を呼び出し、再生部１２８は、再生データ保存領域に保存されている画像フレームおよび音声データを再生する。ステップＳ７０６では、制御部１１４は、秘匿判定情報の更新指示を受信したか否か判断する。更新指示を受信していないと判断した場合には（ｎｏ）、処理をステップＳ７０８に分岐させる。
【００９５】
一方、更新指示を受信したと判断した場合には（ｙｅｓ）、処理をステップＳ７０７に分岐させる。ステップＳ７０７では、制御部１１４が更新部１３０を呼び出し、更新部１３０は、図８を参照して説明する秘匿判定情報更新処理を実行する。
【００９６】
本実施形態では、図２を参照して説明した実施形態と同様に、制御部１１４は、ユーザが秘匿判定情報の更新ボタンを押下したことによって発行された割り込み指示である更新指示をＲＡＭ等の記憶装置に保存することができる。制御部１１４は、当該記憶装置を参照して秘匿判定情報の更新指示を受信したか否か判断することができる。
【００９７】
ステップＳ７０８では、制御部１１４は、バッファメモリ１３４を参照して、再生すべき動画が存在するか否か判断する。
【００９８】
本実施形態では、文字情報抽出部１２０および音声データ変換部１２２は、バッファメモリ１３４から画像フレームおよび音声データをＦＩＦＯ形式で取得して、修正すべき画像フレームおよび音声データがバッファメモリ１３４に存在するか否か判断する。他の実施形態では、動画データを受信したときのタイムスタンプを含む画像フレームの識別情報または音声データの識別情報を使用して、最も古いタイムスタンプを含む画像フレームの識別情報および音声データの識別情報が示す画像フレームおよび音声データから順次取得し、修正すべき画像フレームおよび音声データがバッファメモリ１３４に存在するか否か判断してもよい。
【００９９】
ステップＳ７０８の判定で、再生すべき動画が存在する場合には（ｙｅｓ）、処理をステップＳ７０１に戻し、上述した処理を反復させる。一方、再生すべき動画が存在しないと判断した場合には（ｎｏ）、処理をステップＳ７０９に分岐させて終了させる。
【０１００】
図７に示す実施形態では、図２に示すストリーミング処理において秘匿判定情報更新処理を実行しなかった場合でも、ユーザが事後的に秘匿判定情報の更新をすることができる。このため、次回以降のストリーミング処理において、より正確な秘匿情報を用いて画像フレームや音声データにマスク処理を施すことができ、マスク精度をより一層向上させることができる。
【０１０１】
図８は、本実施形態の情報処理装置が、ストリーミング再生が終了後に実行する秘匿判定情報更新処理を示すフローチャートである。以下、図８を参照して、ストリーミング再生終了後の秘匿判定情報更新処理の実施形態について説明する。
【０１０２】
図８の処理は、図７に示すステップＳ７０７の処理で制御部１１４が更新部１３０を呼び出すことにより、ステップＳ８００から開始する。ステップＳ８０１では、制御部１１４が文字情報抽出部１２０を呼び出し、文字情報抽出部１２０は、図７のステップＳ７０６で秘匿判定情報の更新指示を受領した時に再生していた画像フレームから文字情報を抽出する。
【０１０３】
ステップＳ８０２では、制御部１１４は音声データ変換部１２２を呼び出し、音声データ変換部１２２は、図７のステップＳ７０６で秘匿判定情報の更新指示を受領した時に再生していた音声データから文字情報を生成する。本実施形態では、音声データ変換部１２２は、秘匿判定情報の更新指示を受領した時に再生していた音声データを含む前後数秒間分の音声データから文字情報を生成することが好適である。
【０１０４】
ステップＳ８０３では、制御部１１４が更新部１２８を呼び出し、更新部１２８は、ステップＳ７０５の処理で再生された画像フレームの画像フレーム識別情報または音声データの音声データ識別情報に秘匿情報識別情報が付加されているか否か、すなわち、画像フレームまたは音声データにマスク処理が施されているか否か判断する。
【０１０５】
ステップＳ８０３の判定で画像フレームまたは音声フレームに秘匿情報識別情報が付加されていると判断した場合（ｙｅｓ）、処理をステップＳ８０４に分岐させる。ステップＳ８０４では、更新部１３０は、画像フレーム識別情報および／または音声データ識別情報に付加された秘匿情報識別情報を削除する。ステップＳ８０５では、更新部１３０は、秘匿判定情報データベース１３６を参照して、ステップＳ８０１およびステップＳ８０２で抽出または生成した文字情報が構成する文字列と合致する文字列を特定する。ステップＳ８０６では、更新部１３０は、秘匿判定情報データベース１３６を参照し、当該合致する文字列に関連付けられた秘匿情報共起率を所定の秘匿情報共起率に変更し、ステップＳ８１６で処理が終了する。本実施形態では、当該変更後の秘匿情報共起率は、マスク処理が実行されない値とする。
【０１０６】
一方、ステップＳ８０３の判定で画像フレーム識別情報および音声データ識別情報に秘匿情報識別情報が付加されていない、すなわち、画像フレームおよび音声データにマスク処理が施されていないと判断した場合（ｎｏ）、処理をステップＳ８０７に分岐させる。ステップＳ８０７では、制御部１１４が表示部１３２を呼び出し、表示部１３２は、ステップＳ８０１およびステップＳ８０２で抽出または生成した文字情報が構成する文字列を情報処理装置１１０の表示装置に表示する。ステップＳ８０８では、表示部１３２は、ユーザが表示装置に表示された文字列を選択したか否か判断し、文字列が選択されていない場合には（ｎｏ）、ステップＳ８０８の処理を反復させる。一方、文字列が選択された場合には（ｙｅｓ）、処理をステップＳ８０９に分岐させる。
【０１０７】
ステップＳ８０９では、更新部１３０は、ステップＳ８０８で選択された文字列が、画像フレームにのみ含まれる文字列であるか、音声データにのみ含まれる文字列であるか、または画像フレームおよび音声データの双方に含まれる文字列であるかを判断する。
【０１０８】
本実施形態では、ユーザが文字列を選択したときに、文字列が選択されたことを示すイベントが表示部１３２に通知される。表示部１３２は、当該イベントを受領することにより、文字列が選択された否か判断することができる。また、表示部１３２は、画像フレームおよび音声データから抽出または生成した文字列を表示装置に表示する際に、当該文字列が画像フレームに含まれる文字列であるか、または音声データに含まれる文字列であるかを示す識別情報を記憶装置に保持しておく。表示部１３２は、当該識別情報を使用して、ユーザの選択した文字列が画像フレームにのみ含まれるか、音声データにのみ含まれるか、画像フレームおよび音声データの双方に含まれるか判断することができる。
【０１０９】
ステップＳ８０９の判定で、選択された文字列が画像フレームにのみ含まれる文字列であると判断した場合、処理をステップＳ８１０に分岐させる。ステップＳ８１０では、更新部１３０は、当該文字列を含む画像フレームの画像フレーム識別情報に秘匿情報識別情報を付加する。
【０１１０】
ステップＳ８０９の判定で、選択された文字列が音声データにのみ含まれる文字列であると判断した場合、処理をステップＳ８１１に分岐させる。ステップＳ８１１では、更新部１３０は、当該文字列を含む音声データの音声データ識別情報に秘匿情報識別情報を付加する。
【０１１１】
ステップＳ８０９の判定で、選択された文字列が画像フレームおよび音声データの双方に含まれる文字列であると判断した場合、処理をステップＳ８１２に分岐させる。ステップＳ８１２では、更新部１３０は、当該文字列を含む画像フレームの画像フレーム識別情報および音声データの音声データ識別情報に秘匿情報識別情報を付加する。
【０１１２】
ステップＳ８１３では、更新部１３０は、秘匿判定情報データベース１３６を参照し、ユーザが選択した文字列が秘匿判定情報データベース１３６に存在するか否か判断する。当該文字列が秘匿判定情報データベース１３６に存在すると判断した場合には（ｙｅｓ）、処理をステップＳ８１４に分岐させる。ステップＳ８１４では、更新部１３０は、所定の秘匿情報共起率を当該文字列と関連付けて秘匿判定情報データベース１３６に登録し、ステップＳ８１６で処理が終了する。
【０１１３】
一方、選択された文字列が秘匿判定情報データベース１３６に存在しないと判断した場合には（ｎｏ）、処理をステップＳ８１５に分岐させる。ステップＳ８１５では、更新部１３０は、当該文字列と所定の秘匿情報共起率とを関連付けて、秘匿判定情報データベース１３６に登録し、ステップＳ８１６で処理が終了する。本実施形態では、当該変更後の秘匿情報共起率は、マスク処理が実行される値とする。
【０１１４】
図８に示す実施形態では、ストリーミング終了後にユーザが秘匿情報を更新することができる。すなわち、情報処理装置に対するユーザによる秘匿情報のフィードバックにより、新たな秘匿情報の登録や秘匿情報共起率の修正が可能となる。これにより、情報処理装置による秘匿情報の判定精度を持続的に向上させることができる。
【０１１５】
図９は、本実施形態の秘匿判定情報データベースに登録される秘匿判定情報データテーブルを示す図である。以下、図９を参照して秘匿判定情報データベース１３６に登録される秘匿判定情報データテーブル９００について説明する。
【０１１６】
秘匿判定情報データテーブル９００は、秘匿判定情報が登録されるデータテーブルであり、登録文字列９１０と秘匿情報共起率９１２とが関連付けて登録される。登録文字列９１０には、秘匿情報を共起する可能性のある文字列が登録される。図９に示す実施形態では、個人情報等と強い共起関係にある文字列として、金融機関とのネットバンキングで利用される会話やネットショッピングで利用される会話で使用される「お名前とご住所」や「お名前と電話番号」等の文字列が登録される。他の実施形態では、「ログイン」や「パスワード」、「ユーザＩＤ」等の個人情報と強い共起関係にある文字列を登録することもできる。
【０１１７】
秘匿情報共起率９１２には、登録文字列の秘匿情報共起率が登録される。本実施形態では、登録文字列の秘匿情報共起率は、ベイズの定理を使用して算出することができる。
【０１１８】
図９に示す実施形態では、例えば、登録文字列「お名前とご住所をお知らせします」に、秘匿情報の判定の際に使用される秘匿情報共起率の所定の閾値「０．５」よりも大きい秘匿情報共起率「０．９」が関連付けて登録されている。このため、秘匿情報判定部１２４は、登録文字列「お名前とご住所をお知らせします」が秘匿情報であると判断することができる。一方、登録文字列「お名前とご住所をお知らせください」に、所定の閾値「０．５」よりも小さい秘匿情報共起率「０．４」が関連付けて登録されている。このため、秘匿情報判定部１２４は、登録文字列「お名前とご住所をお知らせください」が秘匿情報でないと判断することができる。
【０１１９】
図９に示す秘匿判定情報データテーブル９００には特定の文字列や秘匿情報共起率が示されているが、これは単なる例示であり、本実施形態に示される以外の任意の文字列や秘匿情報共起率を登録することができる。また、本実施形態では、所定の閾値として秘匿情報共起率「０．５」を採用しているが、他の実施形態では、その他の任意の値を閾値として使用してもよい。
【０１２０】
これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、特に、動画データとして配信される複数の連続した画像フレームに対して秘匿情報の判定を行う場合に限られず、静止画として提供される画像フレームに対して秘匿情報の判定を行う他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【０１２１】
１００…機能構成、１１０…情報処理装置、１１２…通信部、１１４…制御部、１１６…バッファ処理部、１１８…フィルタリング処理部、１２０…文字情報抽出部、１２２…音声データ変換部、１２４…秘匿情報判定部、１２６…マスク処理部、１２８…再生部、１３０…更新部、１３２…表示部、１３４…バッファメモリ、１３６…秘匿判定情報データベース
【特許請求の範囲】
【請求項１】
画像および音声に含まれる秘匿情報をフィルタリングする情報処理装置であって、
画像フレームから文字列を抽出する抽出部と、
音声データを文字列に変換する変換部と、
秘匿情報を判別するための判別情報が登録されるデータベースと、
前記データベースを参照して、前記画像フレームから抽出された文字列および／または前記音声データを変換した文字列に秘匿情報が付随するか否か判定することにより、前記画像フレームおよび／または音声データに秘匿情報が含まれるか否か判定する判定部と、
秘匿情報を含む画像フレームおよび／または音声データをマスクして視聴不能にするマスク部と、
前記画像フレームおよび前記音声データを再生する再生部と
を含む、情報処理装置。
【請求項２】
前記データベースには、前記判別情報として、秘匿情報を共起する可能性のある文字列と、前記文字列の秘匿情報の共起率とが関連付けて登録されており、
判定部は、
前記画像フレームから抽出された文字列および／または前記音声データを変換した文字列と合致する文字列の秘匿情報の共起率が所定の閾値よりも大きいと判断した場合に、前記画像フレームから抽出された文字列および／または前記音声データを変換した文字列に秘匿情報が付随するか否か判定する、請求項１に記載の情報処理装置。
【請求項３】
前記情報処理装置は、
前記データベースに登録された判定情報を更新する更新部をさらに備えており、
前記更新部は、
前記秘匿情報が付随すると判定された文字列と関連付けて前記データベースに登録された秘匿情報の共起率を、秘匿情報でないことを示す秘匿情報の共起率に変更する、請求項１または２に記載の情報処理装置。
【請求項４】
前記更新部は、
ユーザが選択した文字列を、秘匿情報であることを示す秘匿情報の共起率と関連付けて前記データベースに登録する、請求項３に記載の情報処理装置。
【請求項５】
前記更新部は、
前記秘匿情報が付随しないと判定された文字列であってユーザが選択した文字列に関連付けて前記データベースに登録された秘匿情報の共起率を、秘匿情報であることを示す秘匿情報の共起率に変更する、請求項３または４に記載の情報処理装置。
【請求項６】
前記情報処理装置は、
再生された前記画像フレームおよび前記音声データが保存された記憶部をさらに備えており、
前記更新部は、
前記再生部が前記記憶部に保存された前記画像フレームおよび前記音声データを再生する場合に、前記秘匿情報が付随すると判定された文字列と関連付けて前記データベースに登録された秘匿情報の共起率を、秘匿情報でないことを示す秘匿情報の共起率に変更する、請求項３〜５のいずれか１項に記載の情報処理装置。
【請求項７】
前記更新部は、
前記再生部が前記記憶部に保存された前記画像フレームおよび前記音声データを再生する場合に、ユーザが選択した文字列を、秘匿情報であることを示す秘匿情報の共起率と関連付けて前記データベースに登録する、請求項６に記載の情報処理装置。
【請求項８】
前記更新部は、
前記再生部が前記記憶部に保存された前記画像フレームおよび前記音声データを再生する場合に、前記秘匿情報が付随しないと判定された文字列であってユーザが選択した文字列に関連付けて前記データベースに登録された秘匿情報の共起率を、秘匿情報であることを示す秘匿情報の共起率に変更する、請求項６または７に記載の情報処理装置。
【請求項９】
画像および音声に含まれる秘匿情報をフィルタリングする情報処理装置が実行する方法であって、前記方法は、前記情報処理装置が、
画像フレームから文字列を抽出するステップと、
音声データを文字列に変換するステップと、
秘匿情報を判別するための判別情報が登録されるデータベースを参照して、前記画像フレームから抽出された文字列および／または前記音声データを変換した文字列に秘匿情報が付随するか否か判定することにより、前記画像フレームおよび／または音声データに秘匿情報が含まれるか否か判定するステップと、
秘匿情報を含む画像フレームおよび／または音声データをマスクして視聴不能にするステップと、
前記画像フレームおよび前記音声データを再生するステップと
を含む、方法。
【請求項１０】
前記データベースには、前記判別情報として、秘匿情報を共起する可能性のある文字列と、前記文字列の秘匿情報の共起率とが関連付けて登録されており、
判定するステップは、
前記画像フレームから抽出された文字列および／または前記音声データを変換した文字列と合致する文字列の秘匿情報の共起率が所定の閾値よりも大きいと判断した場合に、前記画像フレームから抽出された文字列および／または前記音声データを変換した文字列に秘匿情報が付随すると判定するステップを含む、請求項９に記載の方法。
【請求項１１】
前記方法は、前記情報処理装置が、
前記データベースに登録された判定情報を更新するステップをさらに含み、
前記更新するステップは、
前記秘匿情報が付随すると判定された文字列と関連付けて前記データベースに登録された秘匿情報の共起率を、秘匿情報でないことを示す秘匿情報の共起率に変更するステップを含む、請求項９または１０に記載の方法。
【請求項１２】
前記更新するステップは、
ユーザが選択した文字列を、秘匿情報であることを示す秘匿情報の共起率と関連付けて前記データベースに登録するステップを含む、請求項１１に記載の方法。
【請求項１３】
前記更新するステップは、
前記秘匿情報が付随しないと判定された文字列であってユーザが選択した文字列に関連付けて前記データベースに登録された秘匿情報の共起率を、秘匿情報であることを示す秘匿情報の共起率に変更するステップを含む、請求項１１または１２に記載の方法。
【請求項１４】
情報処理装置に対して、請求項９〜１３のいずれか１項に記載のステップを実行させるための装置実行可能なプログラム。
【請求項１】
画像および音声に含まれる秘匿情報をフィルタリングする情報処理装置であって、
画像フレームから文字列を抽出する抽出部と、
音声データを文字列に変換する変換部と、
秘匿情報を判別するための判別情報が登録されるデータベースと、
前記データベースを参照して、前記画像フレームから抽出された文字列および／または前記音声データを変換した文字列に秘匿情報が付随するか否か判定することにより、前記画像フレームおよび／または音声データに秘匿情報が含まれるか否か判定する判定部と、
秘匿情報を含む画像フレームおよび／または音声データをマスクして視聴不能にするマスク部と、
前記画像フレームおよび前記音声データを再生する再生部と
を含む、情報処理装置。
【請求項２】
前記データベースには、前記判別情報として、秘匿情報を共起する可能性のある文字列と、前記文字列の秘匿情報の共起率とが関連付けて登録されており、
判定部は、
前記画像フレームから抽出された文字列および／または前記音声データを変換した文字列と合致する文字列の秘匿情報の共起率が所定の閾値よりも大きいと判断した場合に、前記画像フレームから抽出された文字列および／または前記音声データを変換した文字列に秘匿情報が付随するか否か判定する、請求項１に記載の情報処理装置。
【請求項３】
前記情報処理装置は、
前記データベースに登録された判定情報を更新する更新部をさらに備えており、
前記更新部は、
前記秘匿情報が付随すると判定された文字列と関連付けて前記データベースに登録された秘匿情報の共起率を、秘匿情報でないことを示す秘匿情報の共起率に変更する、請求項１または２に記載の情報処理装置。
【請求項４】
前記更新部は、
ユーザが選択した文字列を、秘匿情報であることを示す秘匿情報の共起率と関連付けて前記データベースに登録する、請求項３に記載の情報処理装置。
【請求項５】
前記更新部は、
前記秘匿情報が付随しないと判定された文字列であってユーザが選択した文字列に関連付けて前記データベースに登録された秘匿情報の共起率を、秘匿情報であることを示す秘匿情報の共起率に変更する、請求項３または４に記載の情報処理装置。
【請求項６】
前記情報処理装置は、
再生された前記画像フレームおよび前記音声データが保存された記憶部をさらに備えており、
前記更新部は、
前記再生部が前記記憶部に保存された前記画像フレームおよび前記音声データを再生する場合に、前記秘匿情報が付随すると判定された文字列と関連付けて前記データベースに登録された秘匿情報の共起率を、秘匿情報でないことを示す秘匿情報の共起率に変更する、請求項３〜５のいずれか１項に記載の情報処理装置。
【請求項７】
前記更新部は、
前記再生部が前記記憶部に保存された前記画像フレームおよび前記音声データを再生する場合に、ユーザが選択した文字列を、秘匿情報であることを示す秘匿情報の共起率と関連付けて前記データベースに登録する、請求項６に記載の情報処理装置。
【請求項８】
前記更新部は、
前記再生部が前記記憶部に保存された前記画像フレームおよび前記音声データを再生する場合に、前記秘匿情報が付随しないと判定された文字列であってユーザが選択した文字列に関連付けて前記データベースに登録された秘匿情報の共起率を、秘匿情報であることを示す秘匿情報の共起率に変更する、請求項６または７に記載の情報処理装置。
【請求項９】
画像および音声に含まれる秘匿情報をフィルタリングする情報処理装置が実行する方法であって、前記方法は、前記情報処理装置が、
画像フレームから文字列を抽出するステップと、
音声データを文字列に変換するステップと、
秘匿情報を判別するための判別情報が登録されるデータベースを参照して、前記画像フレームから抽出された文字列および／または前記音声データを変換した文字列に秘匿情報が付随するか否か判定することにより、前記画像フレームおよび／または音声データに秘匿情報が含まれるか否か判定するステップと、
秘匿情報を含む画像フレームおよび／または音声データをマスクして視聴不能にするステップと、
前記画像フレームおよび前記音声データを再生するステップと
を含む、方法。
【請求項１０】
前記データベースには、前記判別情報として、秘匿情報を共起する可能性のある文字列と、前記文字列の秘匿情報の共起率とが関連付けて登録されており、
判定するステップは、
前記画像フレームから抽出された文字列および／または前記音声データを変換した文字列と合致する文字列の秘匿情報の共起率が所定の閾値よりも大きいと判断した場合に、前記画像フレームから抽出された文字列および／または前記音声データを変換した文字列に秘匿情報が付随すると判定するステップを含む、請求項９に記載の方法。
【請求項１１】
前記方法は、前記情報処理装置が、
前記データベースに登録された判定情報を更新するステップをさらに含み、
前記更新するステップは、
前記秘匿情報が付随すると判定された文字列と関連付けて前記データベースに登録された秘匿情報の共起率を、秘匿情報でないことを示す秘匿情報の共起率に変更するステップを含む、請求項９または１０に記載の方法。
【請求項１２】
前記更新するステップは、
ユーザが選択した文字列を、秘匿情報であることを示す秘匿情報の共起率と関連付けて前記データベースに登録するステップを含む、請求項１１に記載の方法。
【請求項１３】
前記更新するステップは、
前記秘匿情報が付随しないと判定された文字列であってユーザが選択した文字列に関連付けて前記データベースに登録された秘匿情報の共起率を、秘匿情報であることを示す秘匿情報の共起率に変更するステップを含む、請求項１１または１２に記載の方法。
【請求項１４】
情報処理装置に対して、請求項９〜１３のいずれか１項に記載のステップを実行させるための装置実行可能なプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１２３１６３（Ｐ２０１２−１２３１６３Ａ）
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願番号】特願２０１０−２７３３８５（Ｐ２０１０−２７３３８５）
【出願日】平成２２年１２月８日（２０１０．１２．８）
【出願人】（３９０００９５３１）インターナショナル・ビジネス・マシーンズ・コーポレーション (4,084)
【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＳＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ
【復代理人】
【識別番号】１００１１０６０７
【弁理士】
【氏名又は名称】間山 進也
【Ｆターム（参考）】
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願日】平成２２年１２月８日（２０１０．１２．８）
【出願人】（３９０００９５３１）インターナショナル・ビジネス・マシーンズ・コーポレーション (4,084)
【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＳＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ
【復代理人】
【識別番号】１００１１０６０７
【弁理士】
【氏名又は名称】間山 進也
【Ｆターム（参考）】
[ Back to top ]