画像処理装置、画像処理方法、画像処理プログラム及び画像処理プログラムを記録した記録媒体
【課題】 画像からネットワーク上のアクセス先を示す文字列を適切に検出する。
【解決手段】 Ｗｅｂサーバ１０は、画像を入力する入力部１３と、入力された画像から文字列を抽出する文字列抽出部１４と、抽出された文字列がネットワーク上のアクセス先を示すアクセス先文字列であるか否かを判定する判定部１５と、文字列がアクセス先文字列であると判定された場合に、当該アクセス先文字列によって示されるアクセス先に応じたアクセスを行うアクセス部１６と、アクセスの結果に応じた出力を行う出力部１７とを備える。
【解決手段】 Ｗｅｂサーバ１０は、画像を入力する入力部１３と、入力された画像から文字列を抽出する文字列抽出部１４と、抽出された文字列がネットワーク上のアクセス先を示すアクセス先文字列であるか否かを判定する判定部１５と、文字列がアクセス先文字列であると判定された場合に、当該アクセス先文字列によって示されるアクセス先に応じたアクセスを行うアクセス部１６と、アクセスの結果に応じた出力を行う出力部１７とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から文字列を抽出する画像処理装置、画像処理方法、画像処理プログラム及び画像処理プログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
従来から画像から文字列を抽出することが行われている。例えば、特許文献１では、文書画像にＯＣＲ（Optical Character Recognition）をかけてテキスト情報を抽出して、テキスト情報を解析して個人情報の存在の有無を判断している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−４８０５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、Ｗｅｂページに含まれる画像中に、メールアドレスやＷｅｂサイトのＵＲＬ（Uniform Resource Locator）等のネットワーク上のアクセス先を示す文字列が含まれていることがある。当該アクセス先を利用したい場合、通常は、Ｗｅｂページを閲覧しているユーザは、画像内に含まれる文字列を目視確認して当該文字列をアドレス欄等に入力する必要がある。
【０００５】
また、Ｗｅｂサイトの管理者が、Ｗｅｂサイトにアップロードされる画像中に不適切なアクセス先の文字列が含まれるかどうか確認を行いたい場合がある。不適切なアクセス先とは、例えば、Ｗｅｂサイトの管理者とアップロードを行う者との間の契約に違反するもの等である。
【０００６】
上記のような場合に、上述した従来技術のように画像から文字列を抽出する技術が利用できる。しかしながら、画像に含まれる文字列は必ずしもアクセス先を示すものだけではなく様々な文字列が含まれることがある。そのため、単に上記の技術を適用しても画像から適切にアクセス先を示す文字列を抽出することはできない。また、アクセス先を示す文字列を抽出したとしても、当該アクセス先が利用可能でない場合もある。
【０００７】
本発明は、上記を鑑みてなされたものであり、画像からネットワーク上のアクセス先を示す文字列を適切に検出することができる画像処理装置、画像処理方法、画像処理プログラム及び画像処理プログラムを記録した記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明に係る画像処理装置は、画像を入力する入力手段と、入力手段によって入力された画像から文字列を抽出する文字列抽出手段と、文字列抽出手段によって抽出された文字列がネットワーク上のアクセス先を示すアクセス先文字列であるか否かを判定する判定手段と、判定手段によって文字列がアクセス先文字列であると判定された場合に、当該アクセス先文字列によって示されるアクセス先に応じたアクセスを行うアクセス手段と、アクセス手段によるアクセスの結果に応じた出力を行う出力手段と、を備えることを特徴とする。
【０００９】
文字列抽出手段は、画像における文字列が含まれる文字列領域を抽出して、当該文字列領域に含まれる文字列を構成する各文字について文字認識を行うことによって文字列を抽出することが望ましい。
【００１０】
出力手段は、アクセス手段によるアクセスの結果、当該アクセス先文字列によって示されるアクセス先がアクセス可能なものであった場合に当該アクセス先文字列を出力することが望ましい。
【００１１】
出力手段は、入力手段によって入力された画像とアクセス先文字列とを表示出力することが望ましい。
【００１２】
Ｗｅｂサイトにアクセスするためのブラウザを更に備え、入力手段は、ブラウザがＷｅｂサイトにアクセスすることによって取得される画像を自装置に入力して、出力手段は、ブラウザへの出力を行う、ことが望ましい。
【００１３】
アクセス手段は、アクセス先に対応するネットワーク上の装置に信号を送信して当該信号の送信に応じた応答を受信することが望ましい。
【００１４】
アクセス手段は、応答を受信しない場合にアクセスの結果をアクセス先が無効であると判定することが望ましい。
【００１５】
出力手段は、アクセス手段によるアクセスの結果、当該アクセス先文字列によって示されるアクセス先がアクセス可能なものであった場合に、画像の当該アクセス先文字列の部分を、当該アクセス先文字列を参照できない状態にした画像を生成して出力することが望ましい。
【００１６】
ところで、本発明は、上記のように画像処理装置の発明として記述できる他に、以下のように画像処理方法、画像処理プログラム及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体としても記述することができる。これはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。
【００１７】
本発明に係る画像処理方法は、画像を入力する入力ステップと、入力ステップにおいて入力された画像から文字列を抽出する文字列抽出ステップと、文字列抽出ステップにおいて抽出された文字列がネットワーク上のアクセス先を示すアクセス先文字列であるか否かを判定する判定ステップと、判定ステップにおいて文字列がアクセス先文字列であると判定された場合に、当該アクセス先文字列によって示されるアクセス先に応じたアクセスを行うアクセスステップと、アクセスステップにおけるアクセスの結果に応じた出力を行う出力ステップと、を含むことを特徴とする。
【００１８】
本発明に係る画像処理プログラムは、一つ以上のコンピュータを、画像を入力する入力手段と、入力手段によって入力された画像から文字列を抽出する文字列抽出手段と、文字列抽出手段によって抽出された文字列がネットワーク上のアクセス先を示すアクセス先文字列であるか否かを判定する判定手段と、判定手段によって文字列がアクセス先文字列であると判定された場合に、当該アクセス先文字列によって示されるアクセス先に応じたアクセスを行うアクセス手段と、アクセス手段によるアクセスの結果に応じた出力を行う出力手段と、して機能させることを特徴とする。
【００１９】
本発明に係る記録媒体は、一つ以上のコンピュータを、画像を入力する入力手段と、入力手段によって入力された画像から文字列を抽出する文字列抽出手段と、文字列抽出手段によって抽出された文字列がネットワーク上のアクセス先を示すアクセス先文字列であるか否かを判定する判定手段と、判定手段によって文字列がアクセス先文字列であると判定された場合に、当該アクセス先文字列によって示されるアクセス先に応じたアクセスを行うアクセス手段と、アクセス手段によるアクセスの結果に応じた出力を行う出力手段と、して機能させる画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴とする。
【発明の効果】
【００２０】
本発明では、画像にアクセス可能なアクセス先文字列が含まれている場合に応じた出力を行うことができ、画像処理装置の利用者が適切に画像に含まれる利用可能なアクセス先文字列があることを認識することができる。即ち、本発明によれば、画像からネットワーク上のアクセス先を示す文字列を適切に検出することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１実施形態に係る画像処理装置であるＷｅｂサーバの機能構成を示す図である。
【図２】画像からのＷｅｂサイトのＵＲＬの抽出を模式的に示した図である。
【図３】文字列がアクセス先文字列か否かを判断するための正規表現を示す表である。
【図４】本発明の第１実施形態に係る画像処理装置であるＷｅｂサーバで実行される処理（画像処理方法）を示すシーケンス図である。
【図５】Ｗｅｂサーバから送信されてアップロード用端末で表示出力される情報のイメージを示す図である。
【図６】本発明の第２実施形態に係る画像処理装置であるユーザ端末の機能構成を示す図である。
【図７】本発明の第２実施形態に係る画像処理装置であるユーザ端末で実行される処理（画像処理方法）を示すシーケンス図である。
【図８】本発明の実施形態に係る画像処理プログラムの構成を、記録媒体と共に示す図である。
【発明を実施するための形態】
【００２２】
以下、図面と共に本発明に係る画像処理装置、画像処理方法、画像処理プログラム及び画像処理プログラムを記録した記録媒体の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。以下では、Ｗｅｂサーバを本発明の画像処理装置とした第１実施形態と、ユーザに用いられるユーザ端末を本発明の画像処理装置とした第２実施形態とを説明する。
【００２３】
＜第１実施形態＞
図１に本実施形態に係る画像処理装置であるＷｅｂサーバ１０を示す。Ｗｅｂサーバ１０は、図示しないユーザ端末からＷｅｂページを参照するリクエストを受信して、リクエストに応じてＷｅｂページのデータをレスポンスとしてユーザ端末に対して送信する装置（システム）である。
【００２４】
Ｗｅｂサーバ１０によって提供されるＷｅｂページは、例えば、ブログや商品を販売するＥＣ（electronic commerce）サイトに係るもの等、任意のＷｅｂページでよい。Ｗｅｂサーバ１０によって提供されるＷｅｂページのデータは、Ｗｅｂサーバ１０とインターネットやイントラネット等のネットワークを介して接続されるアップロード用端末２０からＷｅｂサーバ１０に入力される。なお、アップロード用端末２０の利用者（Ｗｅｂページのデータのアップロードを行う者）は、必ずしもＷｅｂサーバ１０の管理者と同一ものではない。例えば、アップロードされるＷｅｂページがブログである場合、当該ブログの執筆者であり、ＷｅｂページがＥＣサイトに係るものである場合、当該ＥＣサイトの運営者である。
【００２５】
Ｗｅｂサーバ１０によって提供されるＷｅｂページには、画像（画像データ）が含まれうる。Ｗｅｂサーバ１０は、後述する本発明に係る機能によって、当該画像中に不適切なアクセス先（連絡先）が含まれていないか検出する。ここでいうアクセス先とは、ネットワーク上のアクセス先であり、例えば、（インターネット上の）メールアドレスやＷｅｂサイトのＵＲＬや（電話網上の）電話番号である。不適切なアクセス先とは、例えば、Ｗｅｂサーバ１０の管理者とアップロードを行う者との間の契約に違反するもの等である。また、本人の公開の意思がない場合、アップロードを行う者の個人情報が含まれるもの等である。Ｗｅｂサーバ１０は、上記のアクセス先が存在するネットワークに接続されており、当該ネットワーク上の装置にアクセス可能である。
【００２６】
Ｗｅｂサーバ１０は、ＣＰＵ（Central Processing Unit）やメモリ、通信モジュール等のハードウェアを備えるサーバ装置等のコンピュータにより実現される。これらの構成要素がプログラム等のより動作することによって、後述するＷｅｂサーバ１０の機能が発揮される。また、Ｗｅｂサーバ１０は、複数のコンピュータからなるコンピュータシステムによって構成されていてもよい。
【００２７】
引き続いて、Ｗｅｂサーバ１０の機能的な構成について説明する。図１に示すようにＷｅｂサーバ１０は、画像データベース１１と、文字情報データベース１２と、入力部１３と、文字列抽出部１４と、判定部１５と、アクセス部１６と、出力部１７とを備えて構成される。なお、Ｗｅｂサーバ１０は、本発明に係る機能以外にもＷｅｂページを提供する通常のＷｅｂサーバが備える機能も有しているがそれらについては説明を省略する。
【００２８】
画像データベース１１は、Ｗｅｂページに含まれる画像を格納するデータベースである。
【００２９】
文字情報データベース１２は、画像に含まれる文字の文字認識に用いる情報を格納するデータベースである。具体的には、文字情報データベース１２は、文字を示す情報と当該文字の特徴量とを対応付けた情報を格納する。当該文字の特徴量は、後述する文字認識の手法により予め抽出された文字の特徴を示す情報である。この情報と、画像から抽出された特徴量とが比較されることによって文字認識が行われる。なお、文字情報データベース１２は、必ずしもＷｅｂサーバ１０自体に備えられている必要はなく、アクセス可能なＷｅｂサーバ１０外部の文字情報データベース１２があればよい。
【００３０】
入力部１３は、画像を入力する入力手段である。具体的には、入力部１３は、アップロード用端末２０からＷｅｂページ用の画像のデータを受信することによって画像を入力する。入力部１３は、入力した画像を文字列抽出部１４及び出力部１７に出力する。
【００３１】
文字列抽出部１４は、入力部１３から入力された画像から文字列を抽出する文字列抽出手段である。画像からの文字列の抽出は、画像における文字列が含まれる文字列領域を抽出して、当該文字列領域に含まれる文字列を構成する各文字について文字認識を行うことによって行われる。具体的には、以下のように行われる。
まず、画像内の文字を抽出するために対象画像をグレースケース画像に変換した後、判別分析法により閾値を決定し２値画像に変換する。この方法には、例えば、大津:判別および最小2 乗規準に基づく自動しきい値選定法,信学論D, Vol.63, No.4,pp.349-356(1980)に記載された方法を用いることができる。次に２値画像にラベリング処理を行い、得られた画像連結要素をピッチ、縦横比及び角度を用いて領域を連結し横方向と縦方向に並んだ文字列領域（文字列画像）を抽出する。この方法には、例えば、芦田,永井,岡本,宮尾,山本:情景画像からの文字抽出,信学論D,Vol.J88-D2, No.9,pp.1817-1824(2005)に記載された方法を用いることができる。
【００３２】
なお、抽出される文字列領域は、画像中で領域が重複するものであってもよい。画像中において１つの箇所が、縦方向の文字列領域と、横方向の文字列領域との両方に属するものであってもよい。何れの方向に文字列を読むか明確に判別できない場合であっても、文字列の抽出漏れを防止するためである。
【００３３】
続いて、抽出した文字列領域に含まれる文字列を構成する各文字について、画像から文字認識を行って各文字を特定する。文字認識は、以下のように行われる。
【００３４】
形態素解析を用いて、入力された文字列領域の画像を文字列を構成する各文字の画像に分割して、各文字の画像に対して文字認識処理を行う。文字認識は、画像から文字認識に用いる特徴量（特徴量を示すベクトル）を抽出して、その特徴量と文字情報データベース１２に格納された予め抽出しておいた文字の特徴量とを比較することによって行われる。文字認識に用いる特徴量は、例えば、文字の輪郭を利用した方向線素特徴を用いることができる。この方法には、例えば、孫,田原,阿曽,木村:方向線素特徴量を用いた高精度文字認識,信学論, vol.J74-D-II,No.3,pp.330-339(1991)に記載された方法を用いることができる。
【００３５】
文字認識の正確性としては、例えば、特徴量のユークリッド距離の短さを用いることができる。即ち、画像から抽出した特徴量と、文字情報データベース１２に格納された文字のうち特徴量のユークリッド距離で最も近い特徴量を有する文字を認識された文字とする。例えば、図２に示すような画像からは、「ｈｔｔｐ：／／ｒｅｎｒａｋｕｓａｋｉ.ｃｏｍ」及び「元気企業」という文字列が抽出される。
【００３６】
文字列抽出部１４は、このようにして画像から抽出した文字列を判定部１５に出力する。この出力の際、ＩＤを付与する等して、以降の処理で文字列が何れの画像から抽出されたのかを判別できるようにしておく。また、文字列抽出部１４は、画像から文字列を抽出できなかった場合には、その旨を出力部１７に通知する。
【００３７】
判定部１５は、文字列抽出部１４から入力された文字列がネットワーク上のアクセス先を示すアクセス先文字列であるか否かを判定する判定手段である。具体的には、判定部１５は、アクセス先に応じた正規表現を記憶しておき、文字列が当該正規表現に一致するか否かを判断することによって、当該文字列がアクセス先文字列であるか否かを判定する。なお、判定部１５は、文字列全体が正規表現と一致しない場合でも、文字列の一部が正規表現と一致すればその部分をアクセス先文字列と判定する。即ち、判定部１５は、文字列抽出部１４から入力された文字列にアクセス先文字列を含むか否か（文字列の一部がアクセス先文字列に相当するか否か）を判定する。
【００３８】
例えば図３に示すように、判定部１５は、アクセス先の種別、即ち、メールアドレス、ＵＲＬ及び電話番号毎に正規表現を記憶する。判定部１５は、文字列抽出部１４から入力された文字列が記憶した正規表現の何れかにマッチするか否かを判断する。例えば、図２に示す画像の例では、「ｈｔｔｐ：／／ｒｅｎｒａｋｕｓａｋｉ.ｃｏｍ」のみがアクセス先文字列と判定される。
【００３９】
判定部１５は、画像から抽出された全ての文字列がアクセス先文字列でないと判定した場合は、その旨を出力部１７に通知する。また、判定部１５は、画像から抽出された何れか文字列がアクセス先文字列であると判定した場合は、当該アクセス先文字列をアクセス部１６に出力する。なお、この際、アクセス先文字列の種別を示す情報（アクセス先文字列が、メールアドレスであるのか、ＵＲＬであるのか等を示す情報）も合わせて出力することが望ましい。
【００４０】
アクセス部１６は、判定部１５によって文字列がアクセス先文字列であると判定された場合に、当該アクセス先文字列によって示されるアクセス先に応じたアクセスを行うアクセス手段である。アクセス部１６は、アクセス先に対応するネットワーク上の装置に信号を送信して当該信号の送信に応じた応答を受信する。
【００４１】
アクセス部１６は、アクセス先に対応するネットワーク上の装置を特定する。例えば、アクセス先文字列がメールアドレスやＵＲＬの場合は、それらに含まれるドメインを特定する。ドメインは、メールアドレスであれば「＠」以降の文字列、ＵＲＬであれば「ｈｔｔｐ：／／」の後かつそれ以降の最初の「／」前の文字列である。また、電話番号の場合は、電話番号自体によってアクセス先に対応するネットワーク上の装置が特定される。この装置の特定の際に、判定部１５から出力されたアクセス先文字列の種別を示す情報が参照されてもよい。
【００４２】
例えば、アクセス先がドメインであった場合は、ドメインで示されるサーバに信号を送信して、応答を受信する。この場合の信号は、例えばｈｔｔｐリクエストを用いることができる。あるいは、アクセス先が電話番号であった場合は、電話番号で示される電話機に発呼信号を送信して、応答を受信する。
【００４３】
アクセス部１６は、信号を送信してから予め設定された時間までに応答を受信したら、アクセス先が有効であると判定する。アクセス部１６は、信号を送信してから予め設定された時間までに応答を受信しなかったら、アクセス先が無効であると判定する。なお、信号を送信してから予め設定された時間までに応答を受信しない場合に、信号の再送を行って再送に対して応答がない場合にアクセス先が無効であると判定することとしてもよい。なお、上記の判定ではアクセス先の有効無効を判定しているが、信号の送信先がアクセス先文字列に直接対応するもの（例えば、電話番号）に関してはアクセス先文字列自体の有効無効の判定としてもよい。アクセス部１６は、上記の判定の結果を示す情報を出力部１７に出力する。
【００４４】
出力部１７は、アクセス部１６によるアクセスの結果に応じた出力を行う出力手段である。この出力は、例えば、画像に有効なアクセス先を含むアクセス先文字列を含むか否かを通知することを目的とする。例えば、アップロードを行う者の個人情報が含まれることの注意喚起を行いたい場合には、アップロード用端末２０に対して、アクセス部１６によるアクセスの結果に応じた情報の送信を行う。
【００４５】
出力部１７は、アクセス部１６によるアクセスの結果、当該アクセス先文字列によって示されるアクセス先が有効（アクセス可能）なものであった場合に、当該アクセス先文字列と共に当該当該アクセス先文字列が画像に含まれておりアクセス可能なアクセス先を含む旨の情報を電子メール等でアップロード用端末２０に送信する。また、この場合、当該画像の当該アクセス先文字列の部分を、当該アクセス先文字列を参照できない状態にした画像を生成して出力し、画像データベース１１に格納する。これは、アップロードを行う者の確認がない状態で当該画像を公開することが適当でないと考えられるためである。
【００４６】
アクセス先文字列を参照できない状態にした画像は、例えば、画像中のアクセス先文字列の部分を当該アクセス先文字列の色とは別の色で塗りつぶした画像である。その画像の生成のため、具体的には、出力部１７は、画像におけるアクセス先文字列を抽出した文字列領域の位置（座標）を取得する。続いて、出力部１７は、当該文字列領域の位置の周辺領域の背景色を示す情報を取得する。出力部１７は、その背景色で文字列領域を塗りつぶした画像を生成する。アップロードを行う者の確認がない状態では、当該画像が利用されたＷｅｂページに要求があった場合には、塗りつぶされた画像が出力、表示させて、アクセス先文字列を参照できないようにする。出力部１７は、その一方で元の（オリジナルの）画像も画像データベース１１に格納しておく。アップロードを行う者の確認がされた場合には、元の画像が出力、表示される。
【００４７】
出力部１７は、アクセス部１６によるアクセスの結果、当該アクセス先文字列によって示されるアクセス先が無効（アクセス不可能）なものであった場合に、その旨の情報を電子メール等でアップロード用端末２０に送信する。また、その場合、出力部１７は、（公開に際して特に問題がない画像であるとして）当該画像をＷｅｂページに含まれる画像として画像データベース１１に格納する。
【００４８】
出力部１７は、画像から抽出された文字列がアクセス先文字列でない旨を判定部１５から通知された場合、及び画像から文字列が抽出ができない旨を文字列抽出部１４から通知された場合に、その旨の情報を電子メール等でアップロード用端末２０に送信する。また、その場合、出力部１７は、（公開に際して特に問題がない画像であるとして）当該画像をＷｅｂページに含まれる画像として画像データベース１１に格納する。
【００４９】
なお、上記の例では、アクセス部１６によるアクセスの結果に応じた出力は、主にアップロード用端末２０に対して行われるものであったが、それ以外に出力が行われても良い。例えば、Ｗｅｂサーバ１０の管理者が、偽のＷｅｂサイトへのリンクやＷｅｂサーバ１０の管理者とアップロードを行う者との間の契約に違反するアクセス先を検出しようとする場合には、Ｗｅｂサーバ１０の管理者が参照できる形での出力を行うこととすればよい。以上が、本実施形態に係るＷｅｂサーバ１０の機能的な構成である。
【００５０】
引き続いて、図４のシーケンス図を用いて、本実施形態に係るＷｅｂサーバ１０で実行される処理（画像処理方法）を説明する。この処理は、アップロード用端末２０から、Ｗｅｂページ用の画像がＷｅｂサーバ１０に対してアップロードされるときに実行される。
【００５１】
本処理では、まず、アップロード用端末２０からＷｅｂサーバ１０に対して、Ｗｅｂページ用の画像がアップロードされる（Ｓ０１）。画像のアップロードは、アップロード用端末に対するアップロード用端末２０の利用者の操作によって、行われる。なお、このアップロードの際には、アップロード用端末２０の利用者のＩＤ等が含まれていてもよい。
【００５２】
Ｗｅｂサーバ１０では、入力部１３によって当該画像が受信されて入力される（Ｓ０１、入力ステップ）。入力された画像は、入力部１３から文字列抽出部１４及び出力部１７に出力される。続いて、文字列抽出部１４によって、入力部１３から入力された画像から文字列（テキスト）が抽出される。まず、画像内の文字列領域が特定（抽出）される（Ｓ０２、文字列抽出ステップ）。続いて、当該文字列領域の画像が各文字の画像に分割されて、各文字の画像から特徴量を示すベクトルが取得される（Ｓ０３、文字列抽出ステップ）。続いて、特徴量を示すベクトルと文字情報データベース１２に格納された情報とが比較されて、文字列が取得される（Ｓ０４、文字列抽出ステップ）。
【００５３】
このように抽出された文字列は文字列抽出部１４から判定部１５に出力される。なお、画像から文字列を抽出できなかった場合には、その旨が文字列抽出部１４から出力部１７に通知される。出力部１７によって、その旨の情報が電子メール等でアップロード用端末２０に送信される（図示せず）。また、出力部１７によって、画像がＷｅｂページに含まれる画像として画像データベース１１に格納される（図示せず）。
【００５４】
画像から文字列が抽出された場合、続いて、判定部１５によって、文字列がアクセス先文字列であるか否かが判定される（Ｓ０５、判定ステップ）。画像から抽出されたいずれの文字列もアクセス先文字列でなかった場合（Ｓ０５のＮＯ）、その旨が文字列抽出部１４から出力部１７に通知される。続いて、出力部１７によって、その旨の情報が電子メール等でアップロード用端末２０に送信される（Ｓ０６、出力ステップ）。また、出力部１７によって、画像がＷｅｂページに含まれる画像として画像データベース１１に格納される（Ｓ０７）。
【００５５】
画像から抽出された文字列のいずれかがアクセス先文字列であった場合（Ｓ０５のＹＥＳ）、そのアクセス先文字列が判定部１５からアクセス部１６に出力される。続いて、アクセス部１６によって、アクセス先文字列のドメインが抽出される（Ｓ０８、アクセスステップ）。続いて、アクセス部１６によって、ドメインで示されるサーバに当該ドメインが存在するか確認するための信号であるリクエスト（ｈｔｔｐリクエスト）が送信される（Ｓ０９、アクセスステップ）。
【００５６】
予め設定された時間までに、ドメインで示されるサーバから当該リクエストに対するレスポンスがなかった場合（Ｓ１０のＮＯ）、アクセス部１６によってアクセス先が無効であると判定されて、判定の結果を示す情報がアクセス部１６から出力部１７に出力される。続いて、出力部１７によって、その旨の情報が電子メール等でアップロード用端末２０に送信される（Ｓ１１、出力ステップ）。また、出力部１７によって、画像がＷｅｂページに含まれる画像として画像データベース１１に格納される（Ｓ１２）。
【００５７】
予め設定された時間までに、ドメインで示されるサーバから当該リクエストに対するレスポンスがあった場合、アクセス部１６によって当該レスポンスが受信される。その場合（Ｓ１０のＹＥＳ）、アクセス部１６によって当該アクセス先のドメインは有効であると判定されて、判定の結果を示す情報がアクセス部１６から出力部１７に出力される（Ｓ１３、アクセスステップ）。
【００５８】
続いて、出力部１７によって、その旨の情報が電子メール等でアップロード用端末２０に送信される（Ｓ１４、出力ステップ）。例えば、より具体的には、アップロードした画像に個人情報が含まれるおそれがあることを示す図５（ａ）に示すようなメールが、出力部１７からアップロード用端末２０に送信される。
【００５９】
また、出力部１７によって、以下のように当該画像の当該アクセス先文字列の部分を、当該アクセス先文字列を参照できない状態にした画像が生成されて、元の画像と共に画像データベース１１に格納される。まず、画像におけるアクセス先文字列を抽出した文字列領域の位置（座標）が取得される（Ｓ１５、出力ステップ）。続いて、当該文字列領域の位置の周辺領域の背景色を示す情報が取得される（Ｓ１６、出力ステップ）。続いて、その背景色で上記の文字列領域を塗りつぶした画像が生成される（Ｓ１７、出力ステップ）。塗りつぶされた画像及び元の画像の両方が、Ｗｅｂページに含まれる画像として画像データベース１１に格納される（Ｓ１８）。
【００６０】
Ｓ１４においてＷｅｂサーバ１０からアップロード用端末２０に送信された図５（ａ）に示すメールには、ＵＲＬが含まれる。Ｗｅｂサーバ１０では、このＵＲＬによってアクセスされる先に、対象となっている画像を表示すると共に、図５（ｂ）に示すような、当該画像の表示可否の入力をアップロード用端末２０の利用者から受け付けられる確認用のＷｅｂページが用意される。
【００６１】
上記の確認用のＷｅｂページにより、アップロード用端末２０の利用者から当該画像の表示を許可する入力があった場合は、当該画像が含まれるＷｅｂページへのアクセスがあった場合に元の画像が表示されるＷｅｂページに含まれる画像として出力される。また、上記の確認用のＷｅｂページによりアップロード用端末２０の利用者から当該画像の表示を拒否する入力があった場合、あるいは確認用へのアクセスがない場合には、当該画像が含まれるＷｅｂページへのアクセスがあった場合に上記の塗りつぶされた画像が表示されるＷｅｂページに含まれる画像として出力される。以上が本実施形態に係るＷｅｂサーバ１０で実行される処理（画像処理方法）である。
【００６２】
上述したように本実施形態によれば、アップロード用端末２０からアップロードされたＷｅｂページ用の画像に含まれるアクセス先文字列に応じたアクセスが行われて、当該アクセスの結果に応じた出力がなされる。従って、本実施形態では、実際にＷｅｂページが参照可能なＵＲＬや送信可能なメールアドレス等のアクセス可能なアクセス先文字列が画像に含まれている場合に応じた出力を行うことができる。これにより、アップロード用端末２０の利用者が適切に画像に含まれる利用可能なアクセス先文字列があることを認識することができる。本実施形態によれば、画像からネットワーク上のアクセス先を示す文字列を適切に検出することができる。
【００６３】
なお、本実施形態では、不適切なアクセス先を検出することを目的としていたが、本発明は、必ずしも不適切なアクセス先を検出するものだけに限られない。本発明は、何らかの目的をもって画像からアクセス先文字列を検出するものであれば適用可能である。
【００６４】
また、本実施形態のようにアクセス部１６によるアクセスを、信号を送信して応答を待つものとすればアクセス先の利用可能性を適切に判断することができる。また、応答を受信しない場合にアクセス先が無効であると判定することとすれば、更にアクセス先の利用可能性を適切に判断することができる。但し、アクセス部１６によるアクセスは、必ずしも上記のものに限られない。アクセス先の利用可能性を判定しえるものであれば、どのようなアクセスが行われてもよい。
【００６５】
また、本実施形態のように、画像の利用形態によっては、画像にアクセス可能なアクセス先を示すアクセス先文字列が含まれている場合には、当該アクセス先文字列を参照できない画像を生成して出力することが望ましい。この構成によれば、Ｗｅｂページにおいて、アクセス先が示されていない画像を表示させる等の柔軟な画像の利用か可能となり、利便性を向上させることができる。また、本実施形態のようにアクセス先文字列の部分を画像の背景色で塗りつぶすこととすれば、塗りつぶされた画像を別のユーザが見た場合であっても不自然に思うことがない。
【００６６】
また、画像から文字列を抽出する方法として、本実施形態のように文字列領域に対して文字認識の手法を用いることが望ましい。但し、文字列が抽出できればよいので必ずしも本実施形態のような方法を利用する必要はなく、任意の方法を利用しえる。
【００６７】
＜第２実施形態＞
図６に本実施形態に係る画像処理装置であるユーザ端末１２０を示す。ユーザ端末１２０は、ユーザによって用いられインターネット等のネットワークを介した通信を行うことができる装置である。ユーザ端末１２０は、当該通信機能によってＷｅｂサーバ１１０と通信を行うことができる。ユーザ端末１２０は、Ｗｅｂサーバ１１０にＷｅｂページを参照するリクエストを送信して、当該送信に応じてＷｅｂサーバから送信されるＷｅｂページのデータをレスポンスとして受信する。ユーザ端末１２０は、受信したＷｅｂページのデータを自端末におけるブラウザ（Ｗｅｂブラウザ）で表示する。
【００６８】
ユーザ端末１２０において表示されるＷｅｂページの画像中に含まれる文字列はＷｅｂページにテキストデータとして含まれる文字列とは異なり、通常、コピーアンドペースト等のテキストデータとしての処理を行うことができない。従って、当該画像中にＵＲＬ等のアクセス先文字列が含まれており、ユーザが当該ＵＲＬで示されるＷｅｂページにアクセスしたいと思った場合、通常、画像中に含まれる文字列を目視してアドレス欄等に入力する必要があった。本実施形態による機能は、Ｗｅｂページの画像中に含まれるアクセス可能なアクセス先を示すアクセス先文字列を容易に利用できるようにさせるものである。
【００６９】
ユーザ端末１２０は、ＣＰＵやメモリ、通信モジュール等のハードウェアを備えるＰＣ（Personal Computer）等のコンピュータにより実現される。これらの構成要素がプログラム等のより動作することによって、後述するユーザ端末１２０の機能が発揮される。
【００７０】
引き続いて、ユーザ端末１２０の機能的な構成について説明する。図６に示すようにユーザ端末１２０は、ブラウザ１３０と、エージェント１４０とを備えて構成される。なお、ユーザ端末１２０は、本発明に係る機能以外にも通信端末等として通常備える機能も有しているがそれらについては説明を省略する。
【００７１】
ブラウザ１３０は、ＷｅｂサイトであるＷｅｂサーバ１１０にアクセスして、Ｗｅｂページを取得して表示出力する手段である。エージェント１４０は、ブラウザ１３０と協業して本実施形態の機能を実現する手段であり、例えば、ブラウザ１３０のアドオンとして実現される。図６に示すように、エージェント１４０は、文字情報データベース１４１と、入力部１４２と、文字列抽出部１４３と、判定部１４４と、アクセス部１４５と、出力部１４６とを備えて構成される。
【００７２】
文字情報データベース１４１は、第１実施形態の文字情報データベース１２と同様のデータベースである。
【００７３】
入力部１４２は、画像を入力する入力手段である。具体的には、ブラウザ１３０がＷｅｂサイトにアクセスすることによって取得される画像を（自装置１０のエージェント１４０に）入力する。入力部１４２は、入力した画像を文字列抽出部１４３及び出力部１４６に出力する。また、入力部１４２は、画像が含まれるＷｅｂページのデータも取得して出力部１４６に出力する。
【００７４】
文字列抽出部１４３は、第１実施形態の文字列抽出部１４と同様の機能を有する文字列抽出手段である。文字列抽出部１４３は、画像から抽出した文字列を判定部１４４に出力する。また、文字列抽出部１４３は、画像から文字列を抽出できなかった場合には、当該Ｗｅｂページに係るエージェント１４０の処理を終了させる。
【００７５】
判定部１４４は、第１実施形態の判定部１５と同様の機能を有する判定手段である。判定部１４４は、画像から抽出された何れか文字列がアクセス先文字列であると判定した場合は、当該アクセス先文字列をアクセス部１４５に出力する。また、判定部１４４は、画像から抽出された全ての文字列がアクセス先文字列でないと判定した場合は、当該Ｗｅｂページに係るエージェント１４０の処理を終了させる。
【００７６】
アクセス部１４５は、第１実施形態のアクセス部１６と同様の機能を有するアクセス手段である。アクセス部１４５は、アクセスの結果に基づく判定の結果を示す情報を出力部１４６に出力する。
【００７７】
出力部１４６は、アクセス部１４５によるアクセスの結果に応じた出力を行う出力手段である。出力部１４６は、アクセス部１４５によるアクセスの結果、当該アクセス先文字列によって示されるアクセス先がアクセス可能なものであった場合に当該アクセス先文字列をテキストデータとしてブラウザ１３０に出力してブラウザ１３０で表示出力させる。また、出力部１４６は、入力部１４２によって入力された画像とアクセス先文字列（のテキストデータ）とを合わせてブラウザ１３０上で表示出力させる。
【００７８】
これは、ユーザ端末１２０のユーザに、画像内にアクセス可能なアクセス先文字列が含まれていることを認識させるものである。また、テキストデータで表示されているので、アクセス先文字列を容易にコピーアンドペースト等することができ、アドレス欄への入力等のアクセス先文字列の利用を容易にするものである。
【００７９】
具体的には、出力部１４６は、ＷｅｂページのＨＴＭＬのソースをパースして、画像タグを参照することによって当該画像が表示される位置を特定する。特定した画像が表示される位置（画像タグ）の下に、アクセス先文字列をテキストデータが入力されたテキストボックスが設けられたＷｅｂページを生成する。当該Ｗｅｂページをブラウザ１３０に出力して、ブラウザ１３０において表示出力させる。これにより、画像の下に当該画像に（表示上）含まれるアクセス先文字列がテキストデータとして表示出力される。以上が、本実施形態に係るユーザ端末１２０の機能的な構成である。
【００８０】
引き続いて、図７のシーケンス図を用いて、本実施形態に係るユーザ端末１２０で実行される処理（画像処理方法）を説明する。この処理は、ユーザ端末１２０から、Ｗｅｂサイト（Ｗｅｂサーバ１１０）にアクセスされて、ユーザ端末１２０においてＷｅｂページが閲覧されるときに実行される。
【００８１】
本処理では、まず、ユーザ端末１２０のブラウザ１３０からＷｅｂサーバ１０に対してアクセスがなされる（Ｓ２１）。即ち、ブラウザ１３０からＷｅｂサーバ１０に対して、Ｗｅｂページを要求するリクエストが送信される。Ｗｅｂサーバ１１０では、当該リクエストが受信されると、リクエストに応じたＷｅｂページのデータがレスポンスとしてユーザ端末に対して送信される（Ｓ２２）。当該Ｗｅｂページのデータは、ブラウザ１３０に入力されて表示される（Ｓ２３）。その一方、当該Ｗｅｂページのデータは、エージェント１４０の入力部１４２にも入力される（Ｓ２２、入力ステップ）。
【００８２】
入力されたＷｅｂページのデータに含まれる画像は、入力部１４２から文字列抽出部１４及び出力部１７に出力される。また、Ｗｅｂページ自体のデータは、入力部１４２から出力部１７に出力される。なお、Ｗｅｂページに画像が含まれなかった場合には、エージェントの処理は終了する（図示せず）。このようにエージェントの処理が途中で終了した場合には、ブラウザ１３０におけるＷｅｂページの表示には特段の影響がない（以下で、エージェントの処理が途中で終了した場合も同様である）。
【００８３】
続いて、文字列抽出部１４３によって、入力部１４２から入力された画像から文字列（テキスト）が抽出される。まず、画像内の文字列領域が特定（抽出）される（Ｓ２４、文字列抽出ステップ）。続いて、当該文字列領域の画像が各文字の画像に分割されて、各文字の画像から特徴量を示すベクトルが取得される（Ｓ２５、文字列抽出ステップ）。続いて、特徴量を示すベクトルと文字情報データベース１４１に格納された情報とが比較されて、文字列が取得される（Ｓ２６、文字列抽出ステップ）。
【００８４】
このように抽出された文字列は文字列抽出部１４３から判定部１４４に出力される。なお、画像から文字列を抽出できなかった場合には、当該Ｗｅｂページに係るエージェント１４０の処理が終了する（図示せず）。
【００８５】
画像から文字列が抽出された場合、続いて、判定部１４４によって、文字列がアクセス先文字列であるか否かが判定される（Ｓ２７、判定ステップ）。画像から抽出されたいずれの文字列もアクセス先文字列でなかった場合（Ｓ２７のＮＯ）、当該Ｗｅｂページに係るエージェント１４０の処理が終了する（Ｓ２８）。
【００８６】
画像から抽出された文字列のいずれかがアクセス先文字列であった場合（Ｓ２７のＹＥＳ）、そのアクセス先文字列が判定部１４４からアクセス部１４５に出力される。続いて、アクセス部１４５によって、アクセス先文字列のドメインが抽出される（Ｓ２９、アクセスステップ）。続いて、アクセス部１４５によって、ドメインで示されるサーバに当該ドメインが存在するか確認するための信号であるリクエスト（ｈｔｔｐリクエスト）が送信される（Ｓ３０、アクセスステップ）。
【００８７】
予め設定された時間までに、ドメインで示されるサーバから当該リクエストに対するレスポンスがなかった場合（Ｓ３１のＮＯ）、アクセス部１４５によってアクセス先が無効であると判定されて、当該Ｗｅｂページに係るエージェント１４０の処理が終了する（Ｓ３２）。
【００８８】
予め設定された時間までに、ドメインで示されるサーバから当該リクエストに対するレスポンスがあった場合、アクセス部１４５によって当該レスポンスが受信される。その場合（Ｓ３１のＹＥＳ）、アクセス部１４５によって当該アクセス先のドメインは有効であると判定されて、判定の結果を示す情報がアクセス部１４５から出力部１４６に出力される（Ｓ３３、アクセスステップ）。
【００８９】
続いて、出力部１４６によって、以下のようにアクセス先文字列のテキストデータがＷｅｂページの当該アクセス先文字列が含まれる画像の下の部分に表示出力されるようにされる。まず、ＷｅｂページのＨＴＭＬのソースがパースされて、画像タグを参照されることによって当該画像が表示される位置が特定される（Ｓ３４、出力ステップ）。続いて、特定された位置（画像タグ）の下にアクセス先文字列をテキストデータが入力されたテキストボックスが設けられたＷｅｂページが生成される（Ｓ３５、出力ステップ）。このようにテキストボックスが画像のすぐ下（後）に表示出力することとすれば、閲覧するユーザにとってどの画像から得られたテキストデータであるのかが判別しやすい。生成されたＷｅｂページは、出力部１４６からブラウザ１３０に出力されて（Ｓ３６、出力ステップ）、ブラウザ１３０において表示出力される（Ｓ３７、出力ステップ）。ブラウザ１３０における表示は、既に表示されているＷｅｂページの画像の下にテキストボックスが出現する形となる。以上が本実施形態に係るＷｅｂサーバ１０で実行される処理（画像処理方法）である。
【００９０】
上述したように本実施形態によれば、Ｗｅｂサーバ１１０から取得されたＷｅｂページ用の画像に含まれるアクセス先文字列に応じたアクセスが行われて、当該アクセスの結果に応じた出力がなされる。従って、本実施形態では、実際にＷｅｂページが参照可能なＵＲＬや送信可能なメールアドレス等のアクセス可能なアクセス先文字列が画像に含まれている場合に応じた出力を行うことができる。これにより、ユーザ端末１２０のユーザが適切に画像に含まれる利用可能なアクセス先文字列があることを認識し、利用することができる。本実施形態によれば、画像からネットワーク上のアクセス先を示す文字列を適切に検出することができる。
【００９１】
また、本実施形態のようにアクセス先文字列をテキストデータとして、当該アクセス先文字列が含まれる画像と共にブラウザ１３０で表示出力されることが望ましい。この構成によれば、画像に含まれるアクセス可能なアクセス先文字列を適切に認識することができ、コピーアンドペースト等、容易に利用することができる。
【００９２】
又は、本実施形態におけるアクセス先文字列をテキストデータとして、ユーザ端末のコピー用メモリ領域（クリップボード）に出力することも可能である。コピー用メモリ領域に出力した場合、ユーザは画像に含まれる文字を読み取る必要がないし、さらに抽出されたテキストデータをコピーする操作をする必要もない。
【００９３】
なお、上述した実施形態では、他の装置から受信された画像に対する処理としているが、必ずしも他の装置から受信された画像に対する処理ではなく、予め画像処理装置に格納された画像に対する処理としてもよい。
【００９４】
引き続いて、上述した一連のＷｅｂサーバ１０又はユーザ端末１２０の上述した画像処理をコンピュータに実行させるための画像処理プログラムを説明する。図８に示すように、画像処理プログラム４１は、コンピュータに挿入されてアクセスされる、あるいはコンピュータが備える記録媒体４０に形成されたプログラム格納領域４０ａ内に格納される。
【００９５】
画像処理プログラム４１は、画像処理を統括的に制御するメインモジュール４１ａと、入力モジュール４１ｂと、文字列抽出モジュール４１ｃと、判定モジュール４１ｄと、アクセスモジュール４１ｅと、出力モジュール４１ｆとを備えて構成される。入力モジュール４１ｂと、文字列抽出モジュール４１ｃと、判定モジュール４１ｄと、アクセスモジュール４１ｅと、出力モジュール４１ｆとを実行させることにより実現される機能は、上述したＷｅｂサーバ１０又はユーザ端末１２０の入力部１３，１４２と、文字列抽出部１４，１４３と、判定部１５，１４４と、アクセス部１６，１４５と、出力部１７，１４６との機能とそれぞれ同様である。
【００９６】
なお、画像処理プログラム４１は、その一部若しくは全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録（インストールを含む）される構成としてもよい。また、画像処理プログラム４１の各モジュールは、１つのコンピュータでなく、複数のコンピュータのいずれかにインストールされてもよい。その場合、当該複数のコンピュータによるコンピュータシステムよって上述した一連のＷｅｂサーバ１０又はユーザ端末１２０の画像処理が行われる。
【符号の説明】
【００９７】
１０…Ｗｅｂサーバ、１１…画像データベース、１２…文字情報データベース、１３…入力部、１４…文字列抽出部、１５…判定部、１６…アクセス部、１７…出力部、２０…アップロード用端末、１１０…Ｗｅｂサーバ、１２０…ユーザ端末、１３０…ブラウザ、１４０…エージェント、１４１…文字情報データベース、１４２…入力部、１４３…文字列抽出部、１４４…判定部、１４５…アクセス部、１４６…出力部、４０…記録媒体、４０ａ…プログラム格納領域、４１…画像処理プログラム、４１ａ…メインモジュール、４１ｂ…入力モジュール、４１ｃ…文字列抽出モジュール、４１ｄ…判定モジュール、４１ｅ…アクセスモジュール、４１ｆ…出力モジュール。
【技術分野】
【０００１】
本発明は、画像から文字列を抽出する画像処理装置、画像処理方法、画像処理プログラム及び画像処理プログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
従来から画像から文字列を抽出することが行われている。例えば、特許文献１では、文書画像にＯＣＲ（Optical Character Recognition）をかけてテキスト情報を抽出して、テキスト情報を解析して個人情報の存在の有無を判断している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−４８０５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、Ｗｅｂページに含まれる画像中に、メールアドレスやＷｅｂサイトのＵＲＬ（Uniform Resource Locator）等のネットワーク上のアクセス先を示す文字列が含まれていることがある。当該アクセス先を利用したい場合、通常は、Ｗｅｂページを閲覧しているユーザは、画像内に含まれる文字列を目視確認して当該文字列をアドレス欄等に入力する必要がある。
【０００５】
また、Ｗｅｂサイトの管理者が、Ｗｅｂサイトにアップロードされる画像中に不適切なアクセス先の文字列が含まれるかどうか確認を行いたい場合がある。不適切なアクセス先とは、例えば、Ｗｅｂサイトの管理者とアップロードを行う者との間の契約に違反するもの等である。
【０００６】
上記のような場合に、上述した従来技術のように画像から文字列を抽出する技術が利用できる。しかしながら、画像に含まれる文字列は必ずしもアクセス先を示すものだけではなく様々な文字列が含まれることがある。そのため、単に上記の技術を適用しても画像から適切にアクセス先を示す文字列を抽出することはできない。また、アクセス先を示す文字列を抽出したとしても、当該アクセス先が利用可能でない場合もある。
【０００７】
本発明は、上記を鑑みてなされたものであり、画像からネットワーク上のアクセス先を示す文字列を適切に検出することができる画像処理装置、画像処理方法、画像処理プログラム及び画像処理プログラムを記録した記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明に係る画像処理装置は、画像を入力する入力手段と、入力手段によって入力された画像から文字列を抽出する文字列抽出手段と、文字列抽出手段によって抽出された文字列がネットワーク上のアクセス先を示すアクセス先文字列であるか否かを判定する判定手段と、判定手段によって文字列がアクセス先文字列であると判定された場合に、当該アクセス先文字列によって示されるアクセス先に応じたアクセスを行うアクセス手段と、アクセス手段によるアクセスの結果に応じた出力を行う出力手段と、を備えることを特徴とする。
【０００９】
文字列抽出手段は、画像における文字列が含まれる文字列領域を抽出して、当該文字列領域に含まれる文字列を構成する各文字について文字認識を行うことによって文字列を抽出することが望ましい。
【００１０】
出力手段は、アクセス手段によるアクセスの結果、当該アクセス先文字列によって示されるアクセス先がアクセス可能なものであった場合に当該アクセス先文字列を出力することが望ましい。
【００１１】
出力手段は、入力手段によって入力された画像とアクセス先文字列とを表示出力することが望ましい。
【００１２】
Ｗｅｂサイトにアクセスするためのブラウザを更に備え、入力手段は、ブラウザがＷｅｂサイトにアクセスすることによって取得される画像を自装置に入力して、出力手段は、ブラウザへの出力を行う、ことが望ましい。
【００１３】
アクセス手段は、アクセス先に対応するネットワーク上の装置に信号を送信して当該信号の送信に応じた応答を受信することが望ましい。
【００１４】
アクセス手段は、応答を受信しない場合にアクセスの結果をアクセス先が無効であると判定することが望ましい。
【００１５】
出力手段は、アクセス手段によるアクセスの結果、当該アクセス先文字列によって示されるアクセス先がアクセス可能なものであった場合に、画像の当該アクセス先文字列の部分を、当該アクセス先文字列を参照できない状態にした画像を生成して出力することが望ましい。
【００１６】
ところで、本発明は、上記のように画像処理装置の発明として記述できる他に、以下のように画像処理方法、画像処理プログラム及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体としても記述することができる。これはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。
【００１７】
本発明に係る画像処理方法は、画像を入力する入力ステップと、入力ステップにおいて入力された画像から文字列を抽出する文字列抽出ステップと、文字列抽出ステップにおいて抽出された文字列がネットワーク上のアクセス先を示すアクセス先文字列であるか否かを判定する判定ステップと、判定ステップにおいて文字列がアクセス先文字列であると判定された場合に、当該アクセス先文字列によって示されるアクセス先に応じたアクセスを行うアクセスステップと、アクセスステップにおけるアクセスの結果に応じた出力を行う出力ステップと、を含むことを特徴とする。
【００１８】
本発明に係る画像処理プログラムは、一つ以上のコンピュータを、画像を入力する入力手段と、入力手段によって入力された画像から文字列を抽出する文字列抽出手段と、文字列抽出手段によって抽出された文字列がネットワーク上のアクセス先を示すアクセス先文字列であるか否かを判定する判定手段と、判定手段によって文字列がアクセス先文字列であると判定された場合に、当該アクセス先文字列によって示されるアクセス先に応じたアクセスを行うアクセス手段と、アクセス手段によるアクセスの結果に応じた出力を行う出力手段と、して機能させることを特徴とする。
【００１９】
本発明に係る記録媒体は、一つ以上のコンピュータを、画像を入力する入力手段と、入力手段によって入力された画像から文字列を抽出する文字列抽出手段と、文字列抽出手段によって抽出された文字列がネットワーク上のアクセス先を示すアクセス先文字列であるか否かを判定する判定手段と、判定手段によって文字列がアクセス先文字列であると判定された場合に、当該アクセス先文字列によって示されるアクセス先に応じたアクセスを行うアクセス手段と、アクセス手段によるアクセスの結果に応じた出力を行う出力手段と、して機能させる画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴とする。
【発明の効果】
【００２０】
本発明では、画像にアクセス可能なアクセス先文字列が含まれている場合に応じた出力を行うことができ、画像処理装置の利用者が適切に画像に含まれる利用可能なアクセス先文字列があることを認識することができる。即ち、本発明によれば、画像からネットワーク上のアクセス先を示す文字列を適切に検出することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１実施形態に係る画像処理装置であるＷｅｂサーバの機能構成を示す図である。
【図２】画像からのＷｅｂサイトのＵＲＬの抽出を模式的に示した図である。
【図３】文字列がアクセス先文字列か否かを判断するための正規表現を示す表である。
【図４】本発明の第１実施形態に係る画像処理装置であるＷｅｂサーバで実行される処理（画像処理方法）を示すシーケンス図である。
【図５】Ｗｅｂサーバから送信されてアップロード用端末で表示出力される情報のイメージを示す図である。
【図６】本発明の第２実施形態に係る画像処理装置であるユーザ端末の機能構成を示す図である。
【図７】本発明の第２実施形態に係る画像処理装置であるユーザ端末で実行される処理（画像処理方法）を示すシーケンス図である。
【図８】本発明の実施形態に係る画像処理プログラムの構成を、記録媒体と共に示す図である。
【発明を実施するための形態】
【００２２】
以下、図面と共に本発明に係る画像処理装置、画像処理方法、画像処理プログラム及び画像処理プログラムを記録した記録媒体の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。以下では、Ｗｅｂサーバを本発明の画像処理装置とした第１実施形態と、ユーザに用いられるユーザ端末を本発明の画像処理装置とした第２実施形態とを説明する。
【００２３】
＜第１実施形態＞
図１に本実施形態に係る画像処理装置であるＷｅｂサーバ１０を示す。Ｗｅｂサーバ１０は、図示しないユーザ端末からＷｅｂページを参照するリクエストを受信して、リクエストに応じてＷｅｂページのデータをレスポンスとしてユーザ端末に対して送信する装置（システム）である。
【００２４】
Ｗｅｂサーバ１０によって提供されるＷｅｂページは、例えば、ブログや商品を販売するＥＣ（electronic commerce）サイトに係るもの等、任意のＷｅｂページでよい。Ｗｅｂサーバ１０によって提供されるＷｅｂページのデータは、Ｗｅｂサーバ１０とインターネットやイントラネット等のネットワークを介して接続されるアップロード用端末２０からＷｅｂサーバ１０に入力される。なお、アップロード用端末２０の利用者（Ｗｅｂページのデータのアップロードを行う者）は、必ずしもＷｅｂサーバ１０の管理者と同一ものではない。例えば、アップロードされるＷｅｂページがブログである場合、当該ブログの執筆者であり、ＷｅｂページがＥＣサイトに係るものである場合、当該ＥＣサイトの運営者である。
【００２５】
Ｗｅｂサーバ１０によって提供されるＷｅｂページには、画像（画像データ）が含まれうる。Ｗｅｂサーバ１０は、後述する本発明に係る機能によって、当該画像中に不適切なアクセス先（連絡先）が含まれていないか検出する。ここでいうアクセス先とは、ネットワーク上のアクセス先であり、例えば、（インターネット上の）メールアドレスやＷｅｂサイトのＵＲＬや（電話網上の）電話番号である。不適切なアクセス先とは、例えば、Ｗｅｂサーバ１０の管理者とアップロードを行う者との間の契約に違反するもの等である。また、本人の公開の意思がない場合、アップロードを行う者の個人情報が含まれるもの等である。Ｗｅｂサーバ１０は、上記のアクセス先が存在するネットワークに接続されており、当該ネットワーク上の装置にアクセス可能である。
【００２６】
Ｗｅｂサーバ１０は、ＣＰＵ（Central Processing Unit）やメモリ、通信モジュール等のハードウェアを備えるサーバ装置等のコンピュータにより実現される。これらの構成要素がプログラム等のより動作することによって、後述するＷｅｂサーバ１０の機能が発揮される。また、Ｗｅｂサーバ１０は、複数のコンピュータからなるコンピュータシステムによって構成されていてもよい。
【００２７】
引き続いて、Ｗｅｂサーバ１０の機能的な構成について説明する。図１に示すようにＷｅｂサーバ１０は、画像データベース１１と、文字情報データベース１２と、入力部１３と、文字列抽出部１４と、判定部１５と、アクセス部１６と、出力部１７とを備えて構成される。なお、Ｗｅｂサーバ１０は、本発明に係る機能以外にもＷｅｂページを提供する通常のＷｅｂサーバが備える機能も有しているがそれらについては説明を省略する。
【００２８】
画像データベース１１は、Ｗｅｂページに含まれる画像を格納するデータベースである。
【００２９】
文字情報データベース１２は、画像に含まれる文字の文字認識に用いる情報を格納するデータベースである。具体的には、文字情報データベース１２は、文字を示す情報と当該文字の特徴量とを対応付けた情報を格納する。当該文字の特徴量は、後述する文字認識の手法により予め抽出された文字の特徴を示す情報である。この情報と、画像から抽出された特徴量とが比較されることによって文字認識が行われる。なお、文字情報データベース１２は、必ずしもＷｅｂサーバ１０自体に備えられている必要はなく、アクセス可能なＷｅｂサーバ１０外部の文字情報データベース１２があればよい。
【００３０】
入力部１３は、画像を入力する入力手段である。具体的には、入力部１３は、アップロード用端末２０からＷｅｂページ用の画像のデータを受信することによって画像を入力する。入力部１３は、入力した画像を文字列抽出部１４及び出力部１７に出力する。
【００３１】
文字列抽出部１４は、入力部１３から入力された画像から文字列を抽出する文字列抽出手段である。画像からの文字列の抽出は、画像における文字列が含まれる文字列領域を抽出して、当該文字列領域に含まれる文字列を構成する各文字について文字認識を行うことによって行われる。具体的には、以下のように行われる。
まず、画像内の文字を抽出するために対象画像をグレースケース画像に変換した後、判別分析法により閾値を決定し２値画像に変換する。この方法には、例えば、大津:判別および最小2 乗規準に基づく自動しきい値選定法,信学論D, Vol.63, No.4,pp.349-356(1980)に記載された方法を用いることができる。次に２値画像にラベリング処理を行い、得られた画像連結要素をピッチ、縦横比及び角度を用いて領域を連結し横方向と縦方向に並んだ文字列領域（文字列画像）を抽出する。この方法には、例えば、芦田,永井,岡本,宮尾,山本:情景画像からの文字抽出,信学論D,Vol.J88-D2, No.9,pp.1817-1824(2005)に記載された方法を用いることができる。
【００３２】
なお、抽出される文字列領域は、画像中で領域が重複するものであってもよい。画像中において１つの箇所が、縦方向の文字列領域と、横方向の文字列領域との両方に属するものであってもよい。何れの方向に文字列を読むか明確に判別できない場合であっても、文字列の抽出漏れを防止するためである。
【００３３】
続いて、抽出した文字列領域に含まれる文字列を構成する各文字について、画像から文字認識を行って各文字を特定する。文字認識は、以下のように行われる。
【００３４】
形態素解析を用いて、入力された文字列領域の画像を文字列を構成する各文字の画像に分割して、各文字の画像に対して文字認識処理を行う。文字認識は、画像から文字認識に用いる特徴量（特徴量を示すベクトル）を抽出して、その特徴量と文字情報データベース１２に格納された予め抽出しておいた文字の特徴量とを比較することによって行われる。文字認識に用いる特徴量は、例えば、文字の輪郭を利用した方向線素特徴を用いることができる。この方法には、例えば、孫,田原,阿曽,木村:方向線素特徴量を用いた高精度文字認識,信学論, vol.J74-D-II,No.3,pp.330-339(1991)に記載された方法を用いることができる。
【００３５】
文字認識の正確性としては、例えば、特徴量のユークリッド距離の短さを用いることができる。即ち、画像から抽出した特徴量と、文字情報データベース１２に格納された文字のうち特徴量のユークリッド距離で最も近い特徴量を有する文字を認識された文字とする。例えば、図２に示すような画像からは、「ｈｔｔｐ：／／ｒｅｎｒａｋｕｓａｋｉ.ｃｏｍ」及び「元気企業」という文字列が抽出される。
【００３６】
文字列抽出部１４は、このようにして画像から抽出した文字列を判定部１５に出力する。この出力の際、ＩＤを付与する等して、以降の処理で文字列が何れの画像から抽出されたのかを判別できるようにしておく。また、文字列抽出部１４は、画像から文字列を抽出できなかった場合には、その旨を出力部１７に通知する。
【００３７】
判定部１５は、文字列抽出部１４から入力された文字列がネットワーク上のアクセス先を示すアクセス先文字列であるか否かを判定する判定手段である。具体的には、判定部１５は、アクセス先に応じた正規表現を記憶しておき、文字列が当該正規表現に一致するか否かを判断することによって、当該文字列がアクセス先文字列であるか否かを判定する。なお、判定部１５は、文字列全体が正規表現と一致しない場合でも、文字列の一部が正規表現と一致すればその部分をアクセス先文字列と判定する。即ち、判定部１５は、文字列抽出部１４から入力された文字列にアクセス先文字列を含むか否か（文字列の一部がアクセス先文字列に相当するか否か）を判定する。
【００３８】
例えば図３に示すように、判定部１５は、アクセス先の種別、即ち、メールアドレス、ＵＲＬ及び電話番号毎に正規表現を記憶する。判定部１５は、文字列抽出部１４から入力された文字列が記憶した正規表現の何れかにマッチするか否かを判断する。例えば、図２に示す画像の例では、「ｈｔｔｐ：／／ｒｅｎｒａｋｕｓａｋｉ.ｃｏｍ」のみがアクセス先文字列と判定される。
【００３９】
判定部１５は、画像から抽出された全ての文字列がアクセス先文字列でないと判定した場合は、その旨を出力部１７に通知する。また、判定部１５は、画像から抽出された何れか文字列がアクセス先文字列であると判定した場合は、当該アクセス先文字列をアクセス部１６に出力する。なお、この際、アクセス先文字列の種別を示す情報（アクセス先文字列が、メールアドレスであるのか、ＵＲＬであるのか等を示す情報）も合わせて出力することが望ましい。
【００４０】
アクセス部１６は、判定部１５によって文字列がアクセス先文字列であると判定された場合に、当該アクセス先文字列によって示されるアクセス先に応じたアクセスを行うアクセス手段である。アクセス部１６は、アクセス先に対応するネットワーク上の装置に信号を送信して当該信号の送信に応じた応答を受信する。
【００４１】
アクセス部１６は、アクセス先に対応するネットワーク上の装置を特定する。例えば、アクセス先文字列がメールアドレスやＵＲＬの場合は、それらに含まれるドメインを特定する。ドメインは、メールアドレスであれば「＠」以降の文字列、ＵＲＬであれば「ｈｔｔｐ：／／」の後かつそれ以降の最初の「／」前の文字列である。また、電話番号の場合は、電話番号自体によってアクセス先に対応するネットワーク上の装置が特定される。この装置の特定の際に、判定部１５から出力されたアクセス先文字列の種別を示す情報が参照されてもよい。
【００４２】
例えば、アクセス先がドメインであった場合は、ドメインで示されるサーバに信号を送信して、応答を受信する。この場合の信号は、例えばｈｔｔｐリクエストを用いることができる。あるいは、アクセス先が電話番号であった場合は、電話番号で示される電話機に発呼信号を送信して、応答を受信する。
【００４３】
アクセス部１６は、信号を送信してから予め設定された時間までに応答を受信したら、アクセス先が有効であると判定する。アクセス部１６は、信号を送信してから予め設定された時間までに応答を受信しなかったら、アクセス先が無効であると判定する。なお、信号を送信してから予め設定された時間までに応答を受信しない場合に、信号の再送を行って再送に対して応答がない場合にアクセス先が無効であると判定することとしてもよい。なお、上記の判定ではアクセス先の有効無効を判定しているが、信号の送信先がアクセス先文字列に直接対応するもの（例えば、電話番号）に関してはアクセス先文字列自体の有効無効の判定としてもよい。アクセス部１６は、上記の判定の結果を示す情報を出力部１７に出力する。
【００４４】
出力部１７は、アクセス部１６によるアクセスの結果に応じた出力を行う出力手段である。この出力は、例えば、画像に有効なアクセス先を含むアクセス先文字列を含むか否かを通知することを目的とする。例えば、アップロードを行う者の個人情報が含まれることの注意喚起を行いたい場合には、アップロード用端末２０に対して、アクセス部１６によるアクセスの結果に応じた情報の送信を行う。
【００４５】
出力部１７は、アクセス部１６によるアクセスの結果、当該アクセス先文字列によって示されるアクセス先が有効（アクセス可能）なものであった場合に、当該アクセス先文字列と共に当該当該アクセス先文字列が画像に含まれておりアクセス可能なアクセス先を含む旨の情報を電子メール等でアップロード用端末２０に送信する。また、この場合、当該画像の当該アクセス先文字列の部分を、当該アクセス先文字列を参照できない状態にした画像を生成して出力し、画像データベース１１に格納する。これは、アップロードを行う者の確認がない状態で当該画像を公開することが適当でないと考えられるためである。
【００４６】
アクセス先文字列を参照できない状態にした画像は、例えば、画像中のアクセス先文字列の部分を当該アクセス先文字列の色とは別の色で塗りつぶした画像である。その画像の生成のため、具体的には、出力部１７は、画像におけるアクセス先文字列を抽出した文字列領域の位置（座標）を取得する。続いて、出力部１７は、当該文字列領域の位置の周辺領域の背景色を示す情報を取得する。出力部１７は、その背景色で文字列領域を塗りつぶした画像を生成する。アップロードを行う者の確認がない状態では、当該画像が利用されたＷｅｂページに要求があった場合には、塗りつぶされた画像が出力、表示させて、アクセス先文字列を参照できないようにする。出力部１７は、その一方で元の（オリジナルの）画像も画像データベース１１に格納しておく。アップロードを行う者の確認がされた場合には、元の画像が出力、表示される。
【００４７】
出力部１７は、アクセス部１６によるアクセスの結果、当該アクセス先文字列によって示されるアクセス先が無効（アクセス不可能）なものであった場合に、その旨の情報を電子メール等でアップロード用端末２０に送信する。また、その場合、出力部１７は、（公開に際して特に問題がない画像であるとして）当該画像をＷｅｂページに含まれる画像として画像データベース１１に格納する。
【００４８】
出力部１７は、画像から抽出された文字列がアクセス先文字列でない旨を判定部１５から通知された場合、及び画像から文字列が抽出ができない旨を文字列抽出部１４から通知された場合に、その旨の情報を電子メール等でアップロード用端末２０に送信する。また、その場合、出力部１７は、（公開に際して特に問題がない画像であるとして）当該画像をＷｅｂページに含まれる画像として画像データベース１１に格納する。
【００４９】
なお、上記の例では、アクセス部１６によるアクセスの結果に応じた出力は、主にアップロード用端末２０に対して行われるものであったが、それ以外に出力が行われても良い。例えば、Ｗｅｂサーバ１０の管理者が、偽のＷｅｂサイトへのリンクやＷｅｂサーバ１０の管理者とアップロードを行う者との間の契約に違反するアクセス先を検出しようとする場合には、Ｗｅｂサーバ１０の管理者が参照できる形での出力を行うこととすればよい。以上が、本実施形態に係るＷｅｂサーバ１０の機能的な構成である。
【００５０】
引き続いて、図４のシーケンス図を用いて、本実施形態に係るＷｅｂサーバ１０で実行される処理（画像処理方法）を説明する。この処理は、アップロード用端末２０から、Ｗｅｂページ用の画像がＷｅｂサーバ１０に対してアップロードされるときに実行される。
【００５１】
本処理では、まず、アップロード用端末２０からＷｅｂサーバ１０に対して、Ｗｅｂページ用の画像がアップロードされる（Ｓ０１）。画像のアップロードは、アップロード用端末に対するアップロード用端末２０の利用者の操作によって、行われる。なお、このアップロードの際には、アップロード用端末２０の利用者のＩＤ等が含まれていてもよい。
【００５２】
Ｗｅｂサーバ１０では、入力部１３によって当該画像が受信されて入力される（Ｓ０１、入力ステップ）。入力された画像は、入力部１３から文字列抽出部１４及び出力部１７に出力される。続いて、文字列抽出部１４によって、入力部１３から入力された画像から文字列（テキスト）が抽出される。まず、画像内の文字列領域が特定（抽出）される（Ｓ０２、文字列抽出ステップ）。続いて、当該文字列領域の画像が各文字の画像に分割されて、各文字の画像から特徴量を示すベクトルが取得される（Ｓ０３、文字列抽出ステップ）。続いて、特徴量を示すベクトルと文字情報データベース１２に格納された情報とが比較されて、文字列が取得される（Ｓ０４、文字列抽出ステップ）。
【００５３】
このように抽出された文字列は文字列抽出部１４から判定部１５に出力される。なお、画像から文字列を抽出できなかった場合には、その旨が文字列抽出部１４から出力部１７に通知される。出力部１７によって、その旨の情報が電子メール等でアップロード用端末２０に送信される（図示せず）。また、出力部１７によって、画像がＷｅｂページに含まれる画像として画像データベース１１に格納される（図示せず）。
【００５４】
画像から文字列が抽出された場合、続いて、判定部１５によって、文字列がアクセス先文字列であるか否かが判定される（Ｓ０５、判定ステップ）。画像から抽出されたいずれの文字列もアクセス先文字列でなかった場合（Ｓ０５のＮＯ）、その旨が文字列抽出部１４から出力部１７に通知される。続いて、出力部１７によって、その旨の情報が電子メール等でアップロード用端末２０に送信される（Ｓ０６、出力ステップ）。また、出力部１７によって、画像がＷｅｂページに含まれる画像として画像データベース１１に格納される（Ｓ０７）。
【００５５】
画像から抽出された文字列のいずれかがアクセス先文字列であった場合（Ｓ０５のＹＥＳ）、そのアクセス先文字列が判定部１５からアクセス部１６に出力される。続いて、アクセス部１６によって、アクセス先文字列のドメインが抽出される（Ｓ０８、アクセスステップ）。続いて、アクセス部１６によって、ドメインで示されるサーバに当該ドメインが存在するか確認するための信号であるリクエスト（ｈｔｔｐリクエスト）が送信される（Ｓ０９、アクセスステップ）。
【００５６】
予め設定された時間までに、ドメインで示されるサーバから当該リクエストに対するレスポンスがなかった場合（Ｓ１０のＮＯ）、アクセス部１６によってアクセス先が無効であると判定されて、判定の結果を示す情報がアクセス部１６から出力部１７に出力される。続いて、出力部１７によって、その旨の情報が電子メール等でアップロード用端末２０に送信される（Ｓ１１、出力ステップ）。また、出力部１７によって、画像がＷｅｂページに含まれる画像として画像データベース１１に格納される（Ｓ１２）。
【００５７】
予め設定された時間までに、ドメインで示されるサーバから当該リクエストに対するレスポンスがあった場合、アクセス部１６によって当該レスポンスが受信される。その場合（Ｓ１０のＹＥＳ）、アクセス部１６によって当該アクセス先のドメインは有効であると判定されて、判定の結果を示す情報がアクセス部１６から出力部１７に出力される（Ｓ１３、アクセスステップ）。
【００５８】
続いて、出力部１７によって、その旨の情報が電子メール等でアップロード用端末２０に送信される（Ｓ１４、出力ステップ）。例えば、より具体的には、アップロードした画像に個人情報が含まれるおそれがあることを示す図５（ａ）に示すようなメールが、出力部１７からアップロード用端末２０に送信される。
【００５９】
また、出力部１７によって、以下のように当該画像の当該アクセス先文字列の部分を、当該アクセス先文字列を参照できない状態にした画像が生成されて、元の画像と共に画像データベース１１に格納される。まず、画像におけるアクセス先文字列を抽出した文字列領域の位置（座標）が取得される（Ｓ１５、出力ステップ）。続いて、当該文字列領域の位置の周辺領域の背景色を示す情報が取得される（Ｓ１６、出力ステップ）。続いて、その背景色で上記の文字列領域を塗りつぶした画像が生成される（Ｓ１７、出力ステップ）。塗りつぶされた画像及び元の画像の両方が、Ｗｅｂページに含まれる画像として画像データベース１１に格納される（Ｓ１８）。
【００６０】
Ｓ１４においてＷｅｂサーバ１０からアップロード用端末２０に送信された図５（ａ）に示すメールには、ＵＲＬが含まれる。Ｗｅｂサーバ１０では、このＵＲＬによってアクセスされる先に、対象となっている画像を表示すると共に、図５（ｂ）に示すような、当該画像の表示可否の入力をアップロード用端末２０の利用者から受け付けられる確認用のＷｅｂページが用意される。
【００６１】
上記の確認用のＷｅｂページにより、アップロード用端末２０の利用者から当該画像の表示を許可する入力があった場合は、当該画像が含まれるＷｅｂページへのアクセスがあった場合に元の画像が表示されるＷｅｂページに含まれる画像として出力される。また、上記の確認用のＷｅｂページによりアップロード用端末２０の利用者から当該画像の表示を拒否する入力があった場合、あるいは確認用へのアクセスがない場合には、当該画像が含まれるＷｅｂページへのアクセスがあった場合に上記の塗りつぶされた画像が表示されるＷｅｂページに含まれる画像として出力される。以上が本実施形態に係るＷｅｂサーバ１０で実行される処理（画像処理方法）である。
【００６２】
上述したように本実施形態によれば、アップロード用端末２０からアップロードされたＷｅｂページ用の画像に含まれるアクセス先文字列に応じたアクセスが行われて、当該アクセスの結果に応じた出力がなされる。従って、本実施形態では、実際にＷｅｂページが参照可能なＵＲＬや送信可能なメールアドレス等のアクセス可能なアクセス先文字列が画像に含まれている場合に応じた出力を行うことができる。これにより、アップロード用端末２０の利用者が適切に画像に含まれる利用可能なアクセス先文字列があることを認識することができる。本実施形態によれば、画像からネットワーク上のアクセス先を示す文字列を適切に検出することができる。
【００６３】
なお、本実施形態では、不適切なアクセス先を検出することを目的としていたが、本発明は、必ずしも不適切なアクセス先を検出するものだけに限られない。本発明は、何らかの目的をもって画像からアクセス先文字列を検出するものであれば適用可能である。
【００６４】
また、本実施形態のようにアクセス部１６によるアクセスを、信号を送信して応答を待つものとすればアクセス先の利用可能性を適切に判断することができる。また、応答を受信しない場合にアクセス先が無効であると判定することとすれば、更にアクセス先の利用可能性を適切に判断することができる。但し、アクセス部１６によるアクセスは、必ずしも上記のものに限られない。アクセス先の利用可能性を判定しえるものであれば、どのようなアクセスが行われてもよい。
【００６５】
また、本実施形態のように、画像の利用形態によっては、画像にアクセス可能なアクセス先を示すアクセス先文字列が含まれている場合には、当該アクセス先文字列を参照できない画像を生成して出力することが望ましい。この構成によれば、Ｗｅｂページにおいて、アクセス先が示されていない画像を表示させる等の柔軟な画像の利用か可能となり、利便性を向上させることができる。また、本実施形態のようにアクセス先文字列の部分を画像の背景色で塗りつぶすこととすれば、塗りつぶされた画像を別のユーザが見た場合であっても不自然に思うことがない。
【００６６】
また、画像から文字列を抽出する方法として、本実施形態のように文字列領域に対して文字認識の手法を用いることが望ましい。但し、文字列が抽出できればよいので必ずしも本実施形態のような方法を利用する必要はなく、任意の方法を利用しえる。
【００６７】
＜第２実施形態＞
図６に本実施形態に係る画像処理装置であるユーザ端末１２０を示す。ユーザ端末１２０は、ユーザによって用いられインターネット等のネットワークを介した通信を行うことができる装置である。ユーザ端末１２０は、当該通信機能によってＷｅｂサーバ１１０と通信を行うことができる。ユーザ端末１２０は、Ｗｅｂサーバ１１０にＷｅｂページを参照するリクエストを送信して、当該送信に応じてＷｅｂサーバから送信されるＷｅｂページのデータをレスポンスとして受信する。ユーザ端末１２０は、受信したＷｅｂページのデータを自端末におけるブラウザ（Ｗｅｂブラウザ）で表示する。
【００６８】
ユーザ端末１２０において表示されるＷｅｂページの画像中に含まれる文字列はＷｅｂページにテキストデータとして含まれる文字列とは異なり、通常、コピーアンドペースト等のテキストデータとしての処理を行うことができない。従って、当該画像中にＵＲＬ等のアクセス先文字列が含まれており、ユーザが当該ＵＲＬで示されるＷｅｂページにアクセスしたいと思った場合、通常、画像中に含まれる文字列を目視してアドレス欄等に入力する必要があった。本実施形態による機能は、Ｗｅｂページの画像中に含まれるアクセス可能なアクセス先を示すアクセス先文字列を容易に利用できるようにさせるものである。
【００６９】
ユーザ端末１２０は、ＣＰＵやメモリ、通信モジュール等のハードウェアを備えるＰＣ（Personal Computer）等のコンピュータにより実現される。これらの構成要素がプログラム等のより動作することによって、後述するユーザ端末１２０の機能が発揮される。
【００７０】
引き続いて、ユーザ端末１２０の機能的な構成について説明する。図６に示すようにユーザ端末１２０は、ブラウザ１３０と、エージェント１４０とを備えて構成される。なお、ユーザ端末１２０は、本発明に係る機能以外にも通信端末等として通常備える機能も有しているがそれらについては説明を省略する。
【００７１】
ブラウザ１３０は、ＷｅｂサイトであるＷｅｂサーバ１１０にアクセスして、Ｗｅｂページを取得して表示出力する手段である。エージェント１４０は、ブラウザ１３０と協業して本実施形態の機能を実現する手段であり、例えば、ブラウザ１３０のアドオンとして実現される。図６に示すように、エージェント１４０は、文字情報データベース１４１と、入力部１４２と、文字列抽出部１４３と、判定部１４４と、アクセス部１４５と、出力部１４６とを備えて構成される。
【００７２】
文字情報データベース１４１は、第１実施形態の文字情報データベース１２と同様のデータベースである。
【００７３】
入力部１４２は、画像を入力する入力手段である。具体的には、ブラウザ１３０がＷｅｂサイトにアクセスすることによって取得される画像を（自装置１０のエージェント１４０に）入力する。入力部１４２は、入力した画像を文字列抽出部１４３及び出力部１４６に出力する。また、入力部１４２は、画像が含まれるＷｅｂページのデータも取得して出力部１４６に出力する。
【００７４】
文字列抽出部１４３は、第１実施形態の文字列抽出部１４と同様の機能を有する文字列抽出手段である。文字列抽出部１４３は、画像から抽出した文字列を判定部１４４に出力する。また、文字列抽出部１４３は、画像から文字列を抽出できなかった場合には、当該Ｗｅｂページに係るエージェント１４０の処理を終了させる。
【００７５】
判定部１４４は、第１実施形態の判定部１５と同様の機能を有する判定手段である。判定部１４４は、画像から抽出された何れか文字列がアクセス先文字列であると判定した場合は、当該アクセス先文字列をアクセス部１４５に出力する。また、判定部１４４は、画像から抽出された全ての文字列がアクセス先文字列でないと判定した場合は、当該Ｗｅｂページに係るエージェント１４０の処理を終了させる。
【００７６】
アクセス部１４５は、第１実施形態のアクセス部１６と同様の機能を有するアクセス手段である。アクセス部１４５は、アクセスの結果に基づく判定の結果を示す情報を出力部１４６に出力する。
【００７７】
出力部１４６は、アクセス部１４５によるアクセスの結果に応じた出力を行う出力手段である。出力部１４６は、アクセス部１４５によるアクセスの結果、当該アクセス先文字列によって示されるアクセス先がアクセス可能なものであった場合に当該アクセス先文字列をテキストデータとしてブラウザ１３０に出力してブラウザ１３０で表示出力させる。また、出力部１４６は、入力部１４２によって入力された画像とアクセス先文字列（のテキストデータ）とを合わせてブラウザ１３０上で表示出力させる。
【００７８】
これは、ユーザ端末１２０のユーザに、画像内にアクセス可能なアクセス先文字列が含まれていることを認識させるものである。また、テキストデータで表示されているので、アクセス先文字列を容易にコピーアンドペースト等することができ、アドレス欄への入力等のアクセス先文字列の利用を容易にするものである。
【００７９】
具体的には、出力部１４６は、ＷｅｂページのＨＴＭＬのソースをパースして、画像タグを参照することによって当該画像が表示される位置を特定する。特定した画像が表示される位置（画像タグ）の下に、アクセス先文字列をテキストデータが入力されたテキストボックスが設けられたＷｅｂページを生成する。当該Ｗｅｂページをブラウザ１３０に出力して、ブラウザ１３０において表示出力させる。これにより、画像の下に当該画像に（表示上）含まれるアクセス先文字列がテキストデータとして表示出力される。以上が、本実施形態に係るユーザ端末１２０の機能的な構成である。
【００８０】
引き続いて、図７のシーケンス図を用いて、本実施形態に係るユーザ端末１２０で実行される処理（画像処理方法）を説明する。この処理は、ユーザ端末１２０から、Ｗｅｂサイト（Ｗｅｂサーバ１１０）にアクセスされて、ユーザ端末１２０においてＷｅｂページが閲覧されるときに実行される。
【００８１】
本処理では、まず、ユーザ端末１２０のブラウザ１３０からＷｅｂサーバ１０に対してアクセスがなされる（Ｓ２１）。即ち、ブラウザ１３０からＷｅｂサーバ１０に対して、Ｗｅｂページを要求するリクエストが送信される。Ｗｅｂサーバ１１０では、当該リクエストが受信されると、リクエストに応じたＷｅｂページのデータがレスポンスとしてユーザ端末に対して送信される（Ｓ２２）。当該Ｗｅｂページのデータは、ブラウザ１３０に入力されて表示される（Ｓ２３）。その一方、当該Ｗｅｂページのデータは、エージェント１４０の入力部１４２にも入力される（Ｓ２２、入力ステップ）。
【００８２】
入力されたＷｅｂページのデータに含まれる画像は、入力部１４２から文字列抽出部１４及び出力部１７に出力される。また、Ｗｅｂページ自体のデータは、入力部１４２から出力部１７に出力される。なお、Ｗｅｂページに画像が含まれなかった場合には、エージェントの処理は終了する（図示せず）。このようにエージェントの処理が途中で終了した場合には、ブラウザ１３０におけるＷｅｂページの表示には特段の影響がない（以下で、エージェントの処理が途中で終了した場合も同様である）。
【００８３】
続いて、文字列抽出部１４３によって、入力部１４２から入力された画像から文字列（テキスト）が抽出される。まず、画像内の文字列領域が特定（抽出）される（Ｓ２４、文字列抽出ステップ）。続いて、当該文字列領域の画像が各文字の画像に分割されて、各文字の画像から特徴量を示すベクトルが取得される（Ｓ２５、文字列抽出ステップ）。続いて、特徴量を示すベクトルと文字情報データベース１４１に格納された情報とが比較されて、文字列が取得される（Ｓ２６、文字列抽出ステップ）。
【００８４】
このように抽出された文字列は文字列抽出部１４３から判定部１４４に出力される。なお、画像から文字列を抽出できなかった場合には、当該Ｗｅｂページに係るエージェント１４０の処理が終了する（図示せず）。
【００８５】
画像から文字列が抽出された場合、続いて、判定部１４４によって、文字列がアクセス先文字列であるか否かが判定される（Ｓ２７、判定ステップ）。画像から抽出されたいずれの文字列もアクセス先文字列でなかった場合（Ｓ２７のＮＯ）、当該Ｗｅｂページに係るエージェント１４０の処理が終了する（Ｓ２８）。
【００８６】
画像から抽出された文字列のいずれかがアクセス先文字列であった場合（Ｓ２７のＹＥＳ）、そのアクセス先文字列が判定部１４４からアクセス部１４５に出力される。続いて、アクセス部１４５によって、アクセス先文字列のドメインが抽出される（Ｓ２９、アクセスステップ）。続いて、アクセス部１４５によって、ドメインで示されるサーバに当該ドメインが存在するか確認するための信号であるリクエスト（ｈｔｔｐリクエスト）が送信される（Ｓ３０、アクセスステップ）。
【００８７】
予め設定された時間までに、ドメインで示されるサーバから当該リクエストに対するレスポンスがなかった場合（Ｓ３１のＮＯ）、アクセス部１４５によってアクセス先が無効であると判定されて、当該Ｗｅｂページに係るエージェント１４０の処理が終了する（Ｓ３２）。
【００８８】
予め設定された時間までに、ドメインで示されるサーバから当該リクエストに対するレスポンスがあった場合、アクセス部１４５によって当該レスポンスが受信される。その場合（Ｓ３１のＹＥＳ）、アクセス部１４５によって当該アクセス先のドメインは有効であると判定されて、判定の結果を示す情報がアクセス部１４５から出力部１４６に出力される（Ｓ３３、アクセスステップ）。
【００８９】
続いて、出力部１４６によって、以下のようにアクセス先文字列のテキストデータがＷｅｂページの当該アクセス先文字列が含まれる画像の下の部分に表示出力されるようにされる。まず、ＷｅｂページのＨＴＭＬのソースがパースされて、画像タグを参照されることによって当該画像が表示される位置が特定される（Ｓ３４、出力ステップ）。続いて、特定された位置（画像タグ）の下にアクセス先文字列をテキストデータが入力されたテキストボックスが設けられたＷｅｂページが生成される（Ｓ３５、出力ステップ）。このようにテキストボックスが画像のすぐ下（後）に表示出力することとすれば、閲覧するユーザにとってどの画像から得られたテキストデータであるのかが判別しやすい。生成されたＷｅｂページは、出力部１４６からブラウザ１３０に出力されて（Ｓ３６、出力ステップ）、ブラウザ１３０において表示出力される（Ｓ３７、出力ステップ）。ブラウザ１３０における表示は、既に表示されているＷｅｂページの画像の下にテキストボックスが出現する形となる。以上が本実施形態に係るＷｅｂサーバ１０で実行される処理（画像処理方法）である。
【００９０】
上述したように本実施形態によれば、Ｗｅｂサーバ１１０から取得されたＷｅｂページ用の画像に含まれるアクセス先文字列に応じたアクセスが行われて、当該アクセスの結果に応じた出力がなされる。従って、本実施形態では、実際にＷｅｂページが参照可能なＵＲＬや送信可能なメールアドレス等のアクセス可能なアクセス先文字列が画像に含まれている場合に応じた出力を行うことができる。これにより、ユーザ端末１２０のユーザが適切に画像に含まれる利用可能なアクセス先文字列があることを認識し、利用することができる。本実施形態によれば、画像からネットワーク上のアクセス先を示す文字列を適切に検出することができる。
【００９１】
また、本実施形態のようにアクセス先文字列をテキストデータとして、当該アクセス先文字列が含まれる画像と共にブラウザ１３０で表示出力されることが望ましい。この構成によれば、画像に含まれるアクセス可能なアクセス先文字列を適切に認識することができ、コピーアンドペースト等、容易に利用することができる。
【００９２】
又は、本実施形態におけるアクセス先文字列をテキストデータとして、ユーザ端末のコピー用メモリ領域（クリップボード）に出力することも可能である。コピー用メモリ領域に出力した場合、ユーザは画像に含まれる文字を読み取る必要がないし、さらに抽出されたテキストデータをコピーする操作をする必要もない。
【００９３】
なお、上述した実施形態では、他の装置から受信された画像に対する処理としているが、必ずしも他の装置から受信された画像に対する処理ではなく、予め画像処理装置に格納された画像に対する処理としてもよい。
【００９４】
引き続いて、上述した一連のＷｅｂサーバ１０又はユーザ端末１２０の上述した画像処理をコンピュータに実行させるための画像処理プログラムを説明する。図８に示すように、画像処理プログラム４１は、コンピュータに挿入されてアクセスされる、あるいはコンピュータが備える記録媒体４０に形成されたプログラム格納領域４０ａ内に格納される。
【００９５】
画像処理プログラム４１は、画像処理を統括的に制御するメインモジュール４１ａと、入力モジュール４１ｂと、文字列抽出モジュール４１ｃと、判定モジュール４１ｄと、アクセスモジュール４１ｅと、出力モジュール４１ｆとを備えて構成される。入力モジュール４１ｂと、文字列抽出モジュール４１ｃと、判定モジュール４１ｄと、アクセスモジュール４１ｅと、出力モジュール４１ｆとを実行させることにより実現される機能は、上述したＷｅｂサーバ１０又はユーザ端末１２０の入力部１３，１４２と、文字列抽出部１４，１４３と、判定部１５，１４４と、アクセス部１６，１４５と、出力部１７，１４６との機能とそれぞれ同様である。
【００９６】
なお、画像処理プログラム４１は、その一部若しくは全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録（インストールを含む）される構成としてもよい。また、画像処理プログラム４１の各モジュールは、１つのコンピュータでなく、複数のコンピュータのいずれかにインストールされてもよい。その場合、当該複数のコンピュータによるコンピュータシステムよって上述した一連のＷｅｂサーバ１０又はユーザ端末１２０の画像処理が行われる。
【符号の説明】
【００９７】
１０…Ｗｅｂサーバ、１１…画像データベース、１２…文字情報データベース、１３…入力部、１４…文字列抽出部、１５…判定部、１６…アクセス部、１７…出力部、２０…アップロード用端末、１１０…Ｗｅｂサーバ、１２０…ユーザ端末、１３０…ブラウザ、１４０…エージェント、１４１…文字情報データベース、１４２…入力部、１４３…文字列抽出部、１４４…判定部、１４５…アクセス部、１４６…出力部、４０…記録媒体、４０ａ…プログラム格納領域、４１…画像処理プログラム、４１ａ…メインモジュール、４１ｂ…入力モジュール、４１ｃ…文字列抽出モジュール、４１ｄ…判定モジュール、４１ｅ…アクセスモジュール、４１ｆ…出力モジュール。
【特許請求の範囲】
【請求項１】
画像を入力する入力手段と、
前記入力手段によって入力された画像から文字列を抽出する文字列抽出手段と、
前記文字列抽出手段によって抽出された文字列がネットワーク上のアクセス先を示すアクセス先文字列であるか否かを判定する判定手段と、
前記判定手段によって前記文字列がアクセス先文字列であると判定された場合に、当該アクセス先文字列によって示されるアクセス先に応じたアクセスを行うアクセス手段と、
前記アクセス手段によるアクセスの結果に応じた出力を行う出力手段と、
を備える画像処理装置。
【請求項２】
前記文字列抽出手段は、前記画像における文字列が含まれる文字列領域を抽出して、当該文字列領域に含まれる文字列を構成する各文字について文字認識を行うことによって前記文字列を抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記出力手段は、前記アクセス手段によるアクセスの結果、当該アクセス先文字列によって示されるアクセス先がアクセス可能なものであった場合に当該アクセス先文字列を出力することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記出力手段は、前記入力手段によって入力された画像と前記アクセス先文字列とを表示出力することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
Ｗｅｂサイトにアクセスするためのブラウザを更に備え、
前記入力手段は、前記ブラウザがＷｅｂサイトにアクセスすることによって取得される画像を自装置に入力して、
前記出力手段は、前記ブラウザへの出力を行う、
ことを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
【請求項６】
前記アクセス手段は、前記アクセス先に対応する前記ネットワーク上の装置に信号を送信して当該信号の送信に応じた応答を受信することを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
【請求項７】
前記アクセス手段は、前記応答を受信しない場合に前記アクセスの結果を前記アクセス先が無効であると判定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記出力手段は、前記アクセス手段によるアクセスの結果、当該アクセス先文字列によって示されるアクセス先がアクセス可能なものであった場合に、前記画像の当該アクセス先文字列の部分を、当該アクセス先文字列を参照できない状態にした画像を生成して出力することを特徴とする請求項１〜７の何れか一項に記載の画像処理装置。
【請求項９】
画像を入力する入力ステップと、
前記入力ステップにおいて入力された画像から文字列を抽出する文字列抽出ステップと、
前記文字列抽出ステップにおいて抽出された文字列がネットワーク上のアクセス先を示すアクセス先文字列であるか否かを判定する判定ステップと、
前記判定ステップにおいて前記文字列がアクセス先文字列であると判定された場合に、当該アクセス先文字列によって示されるアクセス先に応じたアクセスを行うアクセスステップと、
前記アクセスステップにおけるアクセスの結果に応じた出力を行う出力ステップと、
を含む画像処理方法。
【請求項１０】
一つ以上のコンピュータを、
画像を入力する入力手段と、
前記入力手段によって入力された画像から文字列を抽出する文字列抽出手段と、
前記文字列抽出手段によって抽出された文字列がネットワーク上のアクセス先を示すアクセス先文字列であるか否かを判定する判定手段と、
前記判定手段によって前記文字列がアクセス先文字列であると判定された場合に、当該アクセス先文字列によって示されるアクセス先に応じたアクセスを行うアクセス手段と、
前記アクセス手段によるアクセスの結果に応じた出力を行う出力手段と、
して機能させる画像処理プログラム。
【請求項１１】
一つ以上のコンピュータを、
画像を入力する入力手段と、
前記入力手段によって入力された画像から文字列を抽出する文字列抽出手段と、
前記文字列抽出手段によって抽出された文字列がネットワーク上のアクセス先を示すアクセス先文字列であるか否かを判定する判定手段と、
前記判定手段によって前記文字列がアクセス先文字列であると判定された場合に、当該アクセス先文字列によって示されるアクセス先に応じたアクセスを行うアクセス手段と、
前記アクセス手段によるアクセスの結果に応じた出力を行う出力手段と、
して機能させる画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
画像を入力する入力手段と、
前記入力手段によって入力された画像から文字列を抽出する文字列抽出手段と、
前記文字列抽出手段によって抽出された文字列がネットワーク上のアクセス先を示すアクセス先文字列であるか否かを判定する判定手段と、
前記判定手段によって前記文字列がアクセス先文字列であると判定された場合に、当該アクセス先文字列によって示されるアクセス先に応じたアクセスを行うアクセス手段と、
前記アクセス手段によるアクセスの結果に応じた出力を行う出力手段と、
を備える画像処理装置。
【請求項２】
前記文字列抽出手段は、前記画像における文字列が含まれる文字列領域を抽出して、当該文字列領域に含まれる文字列を構成する各文字について文字認識を行うことによって前記文字列を抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記出力手段は、前記アクセス手段によるアクセスの結果、当該アクセス先文字列によって示されるアクセス先がアクセス可能なものであった場合に当該アクセス先文字列を出力することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記出力手段は、前記入力手段によって入力された画像と前記アクセス先文字列とを表示出力することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
Ｗｅｂサイトにアクセスするためのブラウザを更に備え、
前記入力手段は、前記ブラウザがＷｅｂサイトにアクセスすることによって取得される画像を自装置に入力して、
前記出力手段は、前記ブラウザへの出力を行う、
ことを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
【請求項６】
前記アクセス手段は、前記アクセス先に対応する前記ネットワーク上の装置に信号を送信して当該信号の送信に応じた応答を受信することを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
【請求項７】
前記アクセス手段は、前記応答を受信しない場合に前記アクセスの結果を前記アクセス先が無効であると判定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記出力手段は、前記アクセス手段によるアクセスの結果、当該アクセス先文字列によって示されるアクセス先がアクセス可能なものであった場合に、前記画像の当該アクセス先文字列の部分を、当該アクセス先文字列を参照できない状態にした画像を生成して出力することを特徴とする請求項１〜７の何れか一項に記載の画像処理装置。
【請求項９】
画像を入力する入力ステップと、
前記入力ステップにおいて入力された画像から文字列を抽出する文字列抽出ステップと、
前記文字列抽出ステップにおいて抽出された文字列がネットワーク上のアクセス先を示すアクセス先文字列であるか否かを判定する判定ステップと、
前記判定ステップにおいて前記文字列がアクセス先文字列であると判定された場合に、当該アクセス先文字列によって示されるアクセス先に応じたアクセスを行うアクセスステップと、
前記アクセスステップにおけるアクセスの結果に応じた出力を行う出力ステップと、
を含む画像処理方法。
【請求項１０】
一つ以上のコンピュータを、
画像を入力する入力手段と、
前記入力手段によって入力された画像から文字列を抽出する文字列抽出手段と、
前記文字列抽出手段によって抽出された文字列がネットワーク上のアクセス先を示すアクセス先文字列であるか否かを判定する判定手段と、
前記判定手段によって前記文字列がアクセス先文字列であると判定された場合に、当該アクセス先文字列によって示されるアクセス先に応じたアクセスを行うアクセス手段と、
前記アクセス手段によるアクセスの結果に応じた出力を行う出力手段と、
して機能させる画像処理プログラム。
【請求項１１】
一つ以上のコンピュータを、
画像を入力する入力手段と、
前記入力手段によって入力された画像から文字列を抽出する文字列抽出手段と、
前記文字列抽出手段によって抽出された文字列がネットワーク上のアクセス先を示すアクセス先文字列であるか否かを判定する判定手段と、
前記判定手段によって前記文字列がアクセス先文字列であると判定された場合に、当該アクセス先文字列によって示されるアクセス先に応じたアクセスを行うアクセス手段と、
前記アクセス手段によるアクセスの結果に応じた出力を行う出力手段と、
して機能させる画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−９４０３６（Ｐ２０１２−９４０３６Ａ）
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願番号】特願２０１０−２４１９４２（Ｐ２０１０−２４１９４２）
【出願日】平成２２年１０月２８日（２０１０．１０．２８）
【出願人】（３９９０３７４０５）楽天株式会社 (416)
【Ｆターム（参考）】
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願日】平成２２年１０月２８日（２０１０．１０．２８）
【出願人】（３９９０３７４０５）楽天株式会社 (416)
【Ｆターム（参考）】
[ Back to top ]