判定装置及び方法及びプログラム
【課題】 どのような非文字領域が存在するか既知でない書籍内の部分領域を撮影した画像が、文字領域かどうか判定する
【解決手段】 本発明は、入力された判定対象の領域に文字が記載されているとみなして光学文字認識処理を行った結果、少なくとも、検出された未知語の数及び該領域に含まれる文字数の割合に基づいて文字領域か非文字領域かを判定する。また、判定対象の領域に文字が記載されているとみなして光学文字認識処理を行った結果、少なくとも、検出された単語の長さ及び該領域に含まれる文字数の割合に基づいて文字領域か非文字領域かを判定する。
【解決手段】 本発明は、入力された判定対象の領域に文字が記載されているとみなして光学文字認識処理を行った結果、少なくとも、検出された未知語の数及び該領域に含まれる文字数の割合に基づいて文字領域か非文字領域かを判定する。また、判定対象の領域に文字が記載されているとみなして光学文字認識処理を行った結果、少なくとも、検出された単語の長さ及び該領域に含まれる文字数の割合に基づいて文字領域か非文字領域かを判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、判定装置及び方法及びプログラムに係り、特に、改ページや改行位置が確定しているドキュメント内の部分領域の撮影画像を検索クエリとして、該領域が出現するドキュメント及び該ドキュメント内における位置を取得する検索要求に応えるための、ドキュメント及びドキュメント内の各位置のインデックスの作成を支援する判定装置及び方法及びプログラムに関する。
【０００２】
詳しくは、改ページや改行位置が確定しているドキュメント内の該領域を含む可能性があるドキュメント及びドキュメント内における位置を網羅的に取得するのではなく、位置を一意に特定したい場合に適用される判定装置及び方法及びプログラムに関する。
【背景技術】
【０００３】
ドキュメントの一部領域から、該領域がどのドキュメントに含まれているか、あるいは、どのドキュメントのどの位置に含まれているか一意に特定することが必要なシーンは少なくない。例えば、手元に雑誌の切り抜きがある場合、切り抜いた元の雑誌を探して、切り抜きの続きを読みたいことがある。この場合、該切り抜きがどの雑誌の一部であったか一意に特定できる必要がある。
【０００４】
上記の事例は、ドキュメントの一部領域をクエリとし、膨大な量のドキュメント群の中から、該領域を含むドキュメント名、あるいはドキュメント名及びドキュメントにおける位置を問い合わせる検索システムと捉えることができる。
【０００５】
そして、ドキュメント群の中から情報を取得する検索要求に応えるシステムを構築するためには、ドキュメント群を事前に分析して検索インデックスを作成する必要がある。
【０００６】
例えば、一般技術である形態素解析を用いてドキュメント内の文章から名詞を抽出しておき、図２３のように各名詞を検索インデックスのキーとし、該名詞の出現位置（ドキュメント名、ページ）を検索インデックスの値とする方式が挙げられる。
【０００７】
上記方式は、図２４のように、書籍内で文字が存在する領域（以降「文字領域」とする）をカメラ付き携帯電話で撮影すると、撮影領域がどの位置（書籍名・ページ）か特定し、その領域に予め既定されたコンテンツを提示するシステムに適用できる。
【０００８】
本発明では、このシステムを視覚障がい者（全盲、もしくは弱視等により書籍内の文字領域を知覚できない者。以降、「ユーザ」とする。）支援システムに適用するものである。すなわち、ユーザがカメラ付き携帯電話で書籍内の文字領域を撮影すると、その領域を読み上げた音声ファイルを提示するという仕組みである。
【０００９】
このとき、ユーザは書籍内のどこに文字があるか知覚できないため、文字領域ではなく、非文字領域、すなわち、書籍内の図・写真が存在する領域や何も印刷されていない領域を撮影してしまうかもしれない。この場合、システムは撮影領域が非文字領域であることを判定し、ユーザに「撮影領域は非文字領域である」と通知する必要がある。
【００１０】
しかしながら、どのような非文字領域が存在するか既知でない書籍内の部分領域を撮影した画像が文字領域かどうか判定することは容易ではない。
【００１１】
撮影対象が自動車や本棚であれば、文字領域がナンバープレート、背表紙といった矩形内に出現することを利用して、文字領域を推定する方法がある（例えば、非特許文献１、非特許文献２参照）。しかし、書籍内の文字領域が矩形で囲まれていることは少ないため、書籍内について文字領域を推定することは困難である。
【００１２】
また、撮影対象が景観中の看板等であれば、文字領域は背景色と文字色の濃淡差が大きいことを利用して、文字領域を特定する技術がある（例えば、非特許文献３参照）。しかし、書籍内には線画や罫線のように背景色との濃淡差が大きい非文字領域がある。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】田邊勝義，川島晴美，丸林栄作，仲西正，塩昭夫，大塚作一部分文字列の配置規則を考慮したナンバープレート領域抽出電子情報通信学会論文誌，D-II，情報・システム，II-情報処理 J81-D-2(10)，pp.2280-2287．
【非特許文献２】澤木美奈子，村瀬洋，萩田紀博 「劣化推定に基づいた辞書の自動選択による本棚画像中の文字認識」映像情報メディア学会誌，映像情報メディア54(6)，pp.881-886．
【非特許文献３】劉詠梅，山村毅，大西昇，杉江昇，「シーン内の文字列領域の抽出について」電子情報通信学会論文誌，D-II，情報・システム，II-情報処理，J81-D-2(4)，pp.641-650．
【発明の開示】
【発明が解決しようとする課題】
【００１４】
上記のように、書籍には様々な種類があり、出現する非文字領域も様々であるため、文字領域抽出方法を事前に1つに決定することは難しい。仮に単一の種類の非文字領域だけに対応する方法を用いると、想定していない種類の非文字領域を含む書籍に対しては判定精度が低下してしまう。複数の文字領域抽出を併用することも考えられるが、これらの方法は単独でも処理コストが高いため、複数併用することは処理速度の面から実用的とは言い難い。そもそも、今回は画像内に文字領域が含まれるかどうかさえ分かればよく、画像中から文字領域を精度良く抽出することを目的としている上述の従来手法はオーバースペックである。
【００１５】
本発明は、上記の点に鑑みなされたもので、どのような非文字領域が存在するか既知でない書籍内の部分領域を撮影した画像が、文字領域かどうか判定することが可能な判定装置及び方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
上記の課題を解決するために、本発明（請求項１）は、文字、あるいは、写真、あるいは、図、あるいは、表、あるいは、罫線、あるいは、その他の文字ではないものが記載されたドキュメントの全領域、もしくは部分領域を入力として、該領域が文字を一定割合以上含む文字領域であるかどうか判定する判定装置であって、
判定対象の領域の入力を受け付ける領域入力手段と、
判定対象の領域に文字が記載されているとみなして光学文字認識処理を行った結果、少なくとも、検出された未知語の数及び該領域に含まれる単語数の割合に基づいて文字領域か非文字領域かを判定する文字領域判定手段と、
前記文字領域判定手段の判定結果に基づいて、文字領域または非文字領域のいずれかを出力する判定結果出力手段と、を有する。
【００１７】
また、本発明（請求項２）は、請求項１の前記文字領域判定手段が、
前記検出された未知語の数が所定値Ａ未満で、かつ、該領域に所定値Ｂ以上の単語を含む場合に文字領域と判定する手段を含む。
【００１８】
また、本発明（請求項３）は、請求項１の前記文字領域判定手段が、
前記検出された未知語の数が所定値Ａ未満で、かつ、検出された単語の長さが所定値Ｃ以下である単語数の前記領域に含まれる割合が、所定値Ｄ未満で、かつ、該領域に所定値Ｂ以上の単語を含む場合に文字領域と判定する手段を含む。
【００１９】
また、本発明（請求項４）は、文字、あるいは、写真、あるいは、図、あるいは、表、あるいは、罫線、あるいは、その他の文字ではないものが記載されたドキュメントの全領域、もしくは部分領域を入力として、該領域が文字を一定割合以上含む文字領域であるかどうか判定する判定装置であって、
判定対象の領域の入力を受け付ける領域入力手段と、
判定対象の領域に文字が記載されているとみなして光学文字認識処理を行った結果、少なくとも、検出された単語の長さ及び該領域に含まれる単語数の割合に基づいて文字領域か非文字領域かを判定する文字領域判定手段と、
前記文字領域判定手段の判定結果に基づいて、文字領域または非文字領域のいずれかを出力する判定結果出力手段と、を有する。
【００２０】
また、本発明（請求項５）は、請求項４の前記文字領域判定手段が、
前記検出された単語の長さが所定値Ｃ以下の単語数が、所定値Ｄ未満であり、前記該領域に所定値Ｂ以上の単語を含む場合に文字領域と判定する手段を含む。
【００２１】
また、本発明（請求項６）は、請求項３または請求項５の文字領域判定手段における、前記単語の長さの所定値Ｃを１文字とする。
【００２２】
また、本発明（請求項７）は、文字、あるいは、写真、あるいは、図、あるいは、表、あるいは、罫線、あるいは、その他の文字ではないものが記載されたドキュメントの全領域、もしくは部分領域を入力として、該領域が文字を一定割合以上含む文字領域であるかどうか判定する判定方法であって、
判定対象の領域の入力を受け付ける領域入力ステップと、
判定対象の領域に文字が記載されているとみなして光学文字認識処理を行った結果、少なくとも、検出された未知語の数及び該領域に含まれる単語数の割合に基づいて文字領域か非文字領域かを判定する文字領域判定ステップと、
前記文字領域判定ステップの判定結果に基づいて、文字領域または非文字領域のいずれかを出力する判定結果出力ステップと、を行う。
【００２３】
また、本発明（請求項８）は、請求項７の前記文字領域判定ステップにおいて、
前記検出された未知語の数が所定値Ａ未満で、かつ、該領域に所定値Ｂ以上の単語を含む場合に文字領域と判定する。
【００２４】
また、本発明（請求項９）は、請求項７の前記文字領域判定ステップにおいて、
前記検出された未知語の数が所定値Ａ未満で、かつ、検出された単語の長さが所定値Ｃ以下である単語数の前記領域に含まれる割合が、所定値Ｄ未満で、かつ、該領域に所定値Ｂ以上の単語を含む場合に文字領域と判定する。
【００２５】
また、本発明（請求項１０）は、文字、あるいは、写真、あるいは、図、あるいは、表、あるいは、罫線、あるいは、その他の文字ではないものが記載されたドキュメントの全領域、もしくは部分領域を入力として、該領域が文字を一定割合以上含む文字領域であるかどうか判定する判定方法であって、
判定対象の領域の入力を受け付ける領域入力ステップと、
判定対象の領域に文字が記載されているとみなして光学文字認識処理を行った結果、少なくとも、検出された単語の長さ及び該領域に含まれる単語数の割合に基づいて文字領域か非文字領域かを判定する文字領域判定ステップと、
前記文字領域判定ステップの判定結果に基づいて、文字領域または非文字領域のいずれかを出力する判定結果出力ステップと、を行う。
【００２６】
また、本発明（請求項１１）は、請求項１０の前記文字領域判定ステップにおいて、
前記検出された単語の長さが所定値Ｃ以下の単語数が、所定値Ｄ未満であり、前記該領域に所定値Ｂ以上の単語を含む場合に文字領域と判定する。
【００２７】
また、本発明（請求項１２）は、請求項６、または、１１の文字領域判定ステップにおいて、前記単語の長さの所定値Ｃを１文字とする。
【００２８】
また、本発明（請求項１３）は、請求項１乃至６のいずれか１項に記載の判定装置を構成する各手段としてコンピュータを機能させるためのプログラムである。
【発明の効果】
【００２９】
画像が文字領域かどうか判定する際に、従来手法は画像がどのような種類であるか（自動車や本棚の画像か、看板を含む景観画像か等）を既定し、その画像に適した文字領域抽出方法をとることが多く、どのような非文字領域が存在するか既知でない書籍内の部分領域を撮影した画像を分析対象とすることは困難であった。単一種類の画像しか既定しないと文字領域かどうかの判定精度は落ちるし、複数種類の画像を既定し複数種類の文字領域抽出方法を用いると処理コストが大幅に増加してしまう。
【００３０】
これに対し、本発明は、画像がどのような種類であるか考慮することなく光学文字認識を実行してしまい、その結果を分析することで文字領域であるかどうかを判定している非常に処理コストの低いシンプルな方法である。
【００３１】
本発明により、特に、どのような非文字領域が存在するか既知でない書籍内の部分領域を撮影した画像が、文字領域かどうかシンプルな方法で判定することができる。
【図面の簡単な説明】
【００３２】
【図１】本発明の第１の実施の形態におけるシステム構成図である。
【図２】本発明の第１の実施の形態における入力されるドキュメントの例である。
【図３】本発明の第１の実施の形態における単語ＤＢの例である。
【図４】本発明の第１の実施の形態における動作のシーケンスチャートである。
【図５】本発明の第１の実施の形態におけるドキュメントの文字領域抽出の例である。
【図６】本発明の第１の実施の形態における画像ファイルからテキストデータへの変換の例である。
【図７】本発明の第１の実施の形態における単語抽出部での形態素解析の例である。
【図８】本発明の第１の実施の形態における文字領域判定のフローチャートである。
【図９】本発明の第２の実施の形態におけるシステム構成図である。
【図１０】本発明の第２の実施の形態における位置ＤＢの例である。
【図１１】本発明の第２の実施の形態におけるコンテンツＤＢの例である。
【図１２】本発明の第２の実施の形態における動作のシーケンスチャートである。
【図１３】本発明の第２の実施の形態におけるドキュメントの文字領域抽出の例である。
【図１４】本発明の第２の実施の形態における画像ファイルからテキストデータへの変換の例である。
【図１５】本発明の第２の実施の形態における単語抽出部での形態素解析の例である。
【図１６】本発明の第２の実施の形態における文字領域判定のフローチャートである。
【図１７】本発明の第２の実施の形態におけるコンテンツ問い合わせの処理のフローチャートである。
【図１８】本発明の第３の実施の形態における動作のシーケンスチャートである。
【図１９】本発明の第３の実施の形態における各名詞の位置の集計結果である。
【図２０】本発明の第４の実施の形態におけるシステム構成図である。
【図２１】本発明の第４の実施の形態における動作のシーケンスチャートである。
【図２２】本発明の第４の実施の形態における広域の文字領域を撮影した図である。
【図２３】名詞の出現位置をインデックスする例である。
【図２４】書籍内の文字領域に基づいてコンテンツを提供する例である。
【発明を実施するための形態】
【００３３】
以下図面と共に、本発明の実施の形態を説明する。
【００３４】
［第１の実施の形態］
本実施の形態では、撮影した領域の文字認識を行い、当該領域に含まれる未知語の数に基づいて文字領域か否かを判定する。
【００３５】
図１は、本発明の第１の実施の形態におけるシステム構成を示す。
【００３６】
同図に示すシステムは、サーバ部３００、クライアント部４００、サーバ部３００に接続される単語ＤＢ２０１、光学文字認識装置２００から構成される。
【００３７】
同図におけるサーバ部３００は、ＰＣサーバ等の機器で実現でき、サーバ側データ送受信部３０１、単語抽出部３０２、文字領域判定部３０３から構成され、単語抽出部３０２には単語ＤＢ２０１が、サーバ側データ送受信部３０１には光学文字認識装置２００が接続される。
【００３８】
同図におけるクライアント部４００は、カメラ付き携帯電話等で実現でき、ドキュメント撮影部４０１、クライアント側データ送受信部４０２、判定結果提示部４０３から構成され、ドキュメント撮影部４０１にはドキュメント１００が入力される。
【００３９】
同図におけるドキュメント１００は、図２のような文字領域と非文字領域を含む紙媒体書籍の１ページである。
【００４０】
図１における光学文字認識装置２００は、一般的なOCRソフトウェア等の外部装置であり、文字が写っている画像ファイルを入力とし、写っている文字を電子的なテキストデータに変換したものを出力とする。単語ＤＢ２０１は、一般的なOCRソフトウェア、あるいは形態素解析ソフトウェアが利用する単語辞書であり、我々が常用する単語はほぼすべて網羅されて図３の形式で格納されているとする。光学文字認識装置２００は、一般的なOCRソフトウェア同様に、単語ＤＢ２０１を用いなくても文字単位の識別はできるが、単語ＤＢ２０１を用いた方が単語単位の識別が可能になり、結果として全体の識別精度が向上する。
【００４１】
次に、上記の構成における、本実施の形態における処理を説明する。
【００４２】
図４は、本発明の第１の実施の形態における処理のシーケンスチャートである。
【００４３】
ステップ１００:入力ステップ） クライアント部４００のドキュメント撮影部４０１は、判定対象となるドキュメントの部分画像を撮影し、クライアント側データ送受信部４０２を介してサーバ部３００に送信する。詳細な処理については、以下のステップ１０１〜１０３で説明する。
【００４４】
ステップ１１０:単語抽出ステップ） サーバ部３００のサーバ側データ送受信部３０１は、クライアント部４００からのドキュメントの部分画像を取得し、文字領域判定部３０３において、撮影領域から単語を抽出する。詳細な処理については、以下のステップ１０４で説明する。
【００４５】
ステップ１２０:文字領域判定ステップ） 文字領域判定部３０３は、撮影領域が文字領域であるかどうか判定する。詳細な処理については、以下のステップ１０５で説明する。
【００４６】
ステップ１３０:出力ステップ） 文字領域判定部３０３は、撮影領域が文字領域であるかどうかの判定結果を出力する。詳細な処理については、以下のステップ１０６〜１０８で説明する。
【００４７】
以下に上記の処理の詳細を示す。
【００４８】
ステップ１０１） ドキュメント撮影部４０１は、ドキュメント１００の文字領域を撮影して図５のように画像ファイルとして出力する。
【００４９】
ステップ１０２） クライアント側データ送受信部４０２は、ステップ１０１の出力を入力として受け付け、画像ファイルのままネットワーク等を通じてサーバ部３００に出力する。
【００５０】
ステップ１０３） サーバ側データ送受信部３０１は、ステップ１０２の出力を入力として受け付け、光学文字認識装置２００を用いて画像ファイル中のテキストを認識してテキストデータに変換したものを、図６のように出力する。前述のとおり、光学文字認識装置２００は識別時に単語ＤＢ２０１を用い、単語ＤＢ２０１に登録されている単語は精度良く認識できるが、登録されていない単語・文字の認識精度は低下する。また、このとき、撮影状況がよくないため、正しくは「タイプ」である文字列が「タイフ」と誤認識されたとする。なお、本実施の形態では画像ファイルに写っているのが文字領域であったが、写っている対象が文字領域であるか非文字領域であるかは一切考慮しない。
【００５１】
ステップ１０４） 単語抽出部３０２は、ステップ１０３の出力を入力として受け付け、単語を抽出して出力する。ここでは一般技術である形態素解析を用いて単語抽出を行う。形態素解析とは単語辞書を情報源として文を形態素に分割し、各形態素の品詞を判別する一般的な自然言語処理技術である。新語や誤記等、単語辞書に格納されていない語は品詞を判別できないため未知語となる。本実施の形態では単語辞書は単語ＤＢ２０１を用い、ここに格納されておらず品詞を判別できない語は未知語と判定される。ステップ１０３の入力から単語を抽出すると図７のようになり、これを出力する。例えば、ステップ１０３で誤認識された「タイフ」や、撮影領域の端で「アンテナ」という語が途切れて生じた「テナ」は存在しない語であるため未知語になる。
【００５２】
ステップ１０５） 文字領域判定部３０３は、ステップ１０４の出力を入力として受け付け、撮影領域が文字領域か非文字領域か判定した結果を出力する。
【００５３】
判定の際には、図８に示すように、単語抽出部３０２から入力された未知語と判定された単語の割合が規定値Ｘ未満であるかを判定し（ステップ１０５１）、規定値Ｘ未満であれば（ステップ１０５１、Ｙｅｓ）、判定結果は文字領域であるとし（ステップ１０５２）、規定値Ｘ以上であれば（ステップ１０５１、Ｎｏ）、判定結果は非文字領域であるとする（ステップ１０５３）。このように、入力の中で未知語と判定された単語の割合が規定値を下回った場合には文字領域、規定値を上回った場合には非文字領域と判定する。本実施の形態では規定値を50％とし、図７において未知語と判定されている語は50％以下なので「文字領域」と判定される。
【００５４】
ステップ１０６） サーバ側データ送受信部３０１は、ステップ１０５の判定結果を入力として受け付け、ネットワークを通じてクライアント部４００に出力する。
【００５５】
ステップ１０７） クライアント側データ送受信部４０２は、ステップ１０５の判定結果を入力として受け付け、出力する。
【００５６】
ステップ１０８） 判定結果提示部４０３は、判定結果が文字領域なら「文字領域です」、非文字領域なら「非文字領域です」と音声でアナウンスする。
【００５７】
［第２の実施の形態］
本実施の形態は、文字領域を判定する際に、撮影された領域について文字認識を行い、認識結果の未知語の数と１文字の単語の数が規定値未満の場合に文字領域と判定する。
【００５８】
本実施の形態は、第１の実施の形態と背景技術で述べた方式を用いて、書籍にカメラ付き携帯電話をかざすとその位置を音声で読み上げる視覚障がい者支援システムの例を示す。
【００５９】
図９は、本発明の第２の実施の形態におけるシステム構成を示す。同図において、図１と同一構成部分には同一符号を付し、その説明を省略する。
【００６０】
図９におけるサーバ部３００は、ＰＣサーバ等の機器で実現でき、サーバ側データ送受信部３０１、単語抽出部３０２、文字領域判定部３０３、検索問い合わせ部３０４、コンテンツ検索部305、位置ＤＢ３０６、コンテンツＤＢ３０７から構成される。なお、位置ＤＢ３０６内には背景技術で述べた方法で図１０に示すようなデータが作成・格納されている。また、コンテンツＤＢ３０７内には、書籍内の各領域に対して、各領域を読み上げた音声ファイルが図１１のように格納されているとする。
【００６１】
図９におけるクライアント部４００はカメラ付き携帯電話等で実現でき、ドキュメント撮影部４０１、クライアント側データ送受信部４０２、コンテンツ提示部４０３から構成される。
【００６２】
同図におけるドキュメント１００、光学文字認識装置２００、単語ＤＢ２０１は第１の実施の形態と同様である。
【００６３】
以下、上記の構成における動作を説明する。
【００６４】
図１２は、本発明の第２の実施の形態における動作のシーケンスチャートである。
【００６５】
ステップ２００:入力ステップ） クライアント部４００のドキュメント撮影部４０１は、判定対象となるドキュメントの部分画像を撮影し、クライアント側データ送受信部４０２を介してサーバ部３００に送信する。詳細な処理については、以下のステップ２０１〜２０３で説明する。
【００６６】
ステップ２１０:単語抽出ステップ） サーバ部３００のサーバ側データ送受信部３０１は、クライアント部４００からのドキュメントの部分画像を取得し、文字領域判定部３０３において、撮影領域から単語を抽出する。詳細な処理については、以下のステップ２０４で説明する。
【００６７】
ステップ２２０:文字領域判定ステップ） 文字領域判定部３０３は、撮影領域が文字領域であるかどうか判定する。詳細な処理については、以下のステップ２０５で説明する。
【００６８】
ステップ２３０:出力ステップ） 文字領域判定部３０３は、撮影領域が文字領域であるかどうかの判定結果に基づいて、コンテンツを出力する。詳細な処理については、以下のステップ２０６〜２０９で説明する。
【００６９】
以下に上記の処理の詳細を示す。
【００７０】
ステップ２０１） 前述のステップ１０１と同様の処理を行い、図１３のように画像ファイルとして出力する。
【００７１】
ステップ２０２） 前述のステップ１０２と同様の処理を行う。
【００７２】
ステップ２０３） ステップ１０３と同様の処理を行う。写っている対象が文字領域であるか非文字領域であるかは一切考慮しないため、出力は図１４のようになる。これは、一般的なOCRソフトウェアで文字が記載されていない図領域を文字とみなして認識処理すると、未知語と認識してしまったり、「。」や「・」や「１」といった1文字から構成される単語の羅列として認識してしまったりするためである。
【００７３】
ステップ２０４） 単語抽出部３０２は、ステップ２０３の認識を入力として受け付け、単語を抽出して出力する。ここではステップ１０３と同様に形態素解析を用いて単語抽出を行う。本実施の形態においても単語辞書は図３の形式で単語ＤＢ２０１に格納されており、ここに格納されておらず品詞を判別できない語は未知語と判定される。ステップ２０３の入力から単語を抽出すると図１５のようになり、これを文字領域判定部３０３に出力する。
【００７４】
ステップ２０５） 文字領域判定部３０３は、ステップ２０４の出力を入力として受け付け、撮影領域が文字領域か非文字領域か判定した結果とステップ２０４で抽出した単語群を出力する。判定の際は図１６のフローチャートに従い決定する。まず、入力された単語のうち、未知語と判定された単語の割合が規定値X未満である場合には（ステップ２０５１、Ｙｅｓ）文字領域（暫定）、規定値X以上である場合には（ステップ２０５１、Ｎｏ）非文字領域と判定する。本実施の形態では規定値Xを50％とし、図１５において未知語と判定されている語は50％未満である。次に、１文字からなる単語の割合が規定値Y未満である場合は（ステップ２０５２、Ｙｅｓ）文字領域とし（ステップ２０５３）、規定値Y以上の場合は（ステップ２０５２、Ｎｏ）非文字領域と判定する（ステップ２０５４）。本実施の形態では規定値Yを80％とし、図１５において１文字からなる単語と判定されている語は80％以上であるため、「非文字領域」と判定される。
【００７５】
ステップ２０６） 検索問い合わせ部３０４は、ステップ２０５の判定結果を入力として受け付け、図１７のフローチャートに従いコンテンツの問い合わせを行う。入力された判定結果が「文字領域」であれば（ステップ２０６１、Ｙｅｓ）、同じく入力された単語群をコンテンツ検索部３０５に入力してコンテンツ（撮影領域を読み上げた音声ファイル）を取得し、該コンテンツを出力する（ステップ２０６２）。一方、入力された判定結果が「非文字領域」であれば（ステップ２０６１、Ｎｏ）、「そこには文字はありません」と読み上げた音声ファイル（コンテンツ）を出力する（ステップ２０６３）。ここでは、ステップ２０６の入力の判定結果は「非文字領域」なので、コンテンツとして、「そこには文字はありません」と読み上げた音声ファイルが出力されることになる。
【００７６】
ステップ２０７） サーバ側データ送受信部３０１は、ステップ２０６の検索されたコンテンツまたは非文字領域を示すコンテンツを受け付け、ネットワークを通じてクライアント部４００に出力する。
【００７７】
ステップ２０８） クライアント側データ送受信部４０２は、ステップ２０７のコンテンツを受け付け、コンテンツ提示部４０３に出力する。
【００７８】
ステップ２０９） コンテンツ提示部４０３は、ステップ２０８の出力を入力として受け付け、コンテンツである音声ファイルを再生する。ここでは、「そこには文字はありません」という音声ファイルが再生されるので、ユーザは他の領域を撮影するという判断を行うことができる。
【００７９】
［第３の実施の形態］
本実施の形態では、第２の実施の形態で文字領域と判定された場合に、当該文字領域に含まれる単語（名詞）を用いてコンテンツ検索を行う。
【００８０】
本実施の形態は第２の実施の形態と同一の構成で、文字領域を撮影した場合を説明する。
【００８１】
図１８は、本発明の第３の実施の形態における動作のシーケンスチャートである。
【００８２】
ステップ３０１） 前述の第２の実施の形態におけるステップ２０１と同様の処理を行うが、ここでは文字領域を撮影したため図５のような出力を行ったとする。
【００８３】
ステップ３０２） ステップ２０２と同様の処理を行う。
【００８４】
ステップ３０３） ステップ２０３と同様の処理を行う。出力は図６のようになる。
【００８５】
ステップ３０４） ステップ２０４と同様の処理を行う。出力は図７のようになる。
【００８６】
ステップ３０５） ステップ２０５と同様の処理を行う。本実施の形態では規定値Xを50％、規定値Yを80％とし、図７において未知語と判定されている語は50％未満、１文字からなる単語と判定されている語は80％未満であるため、「文字領域」と判定される。
【００８７】
ステップ３０６） ステップ３０５の入力の判定結果は「文字領域」なので、同じく入力された単語群をコンテンツ検索部３０５に入力する。コンテンツ検索部３０５は、入力された単語群に含まれる各名詞をキーとして位置ＤＢ３０６に問い合わせを行い、得られた結果（各名詞の位置）を図１８のように集計し、件数が最多の位置を特定する（この場合は書籍Ａ３ページ）。
【００８８】
ステップ３０７） 次に、特定した位置をキーとしてコンテンツＤＢ３０７に問い合わせを行い、得られた結果（この場合は「書籍Ａ３ページを読み上げた音声ファイル」）を出力する。
【００８９】
ステップ３０８） ステップ２０７と同様の処理を行う。
【００９０】
ステップ３０９） ステップ２０８と同様の処理を行う。ここでは、撮影した領域を読み上げた音声ファイルが再生されるので、ユーザはその領域の内容を理解することができる。
【００９１】
［第４の実施の形態］
本実施の形態は、第２の実施の形態を一部変更し、文献１「間野一則，水野秀之，中嶋秀治，宮崎昇，吉田明弘：顧客へのリアルな音声応答を実現するテキスト音声合成技術「Cralinet」電気通信協会 NTT技術ジャーナル 18(11)，pp.19-22，2006年11月．」等の技術を用いて、書籍にカメラ付き携帯電話をかざすとその位置を音声で読み上げる視覚障がい者支援システムである。
【００９２】
図２０は、本発明の第４の実施の形態におけるシステム構成を示す。同図において、図９と同一構成部分には、同一符号を付し、その説明を省略する。
【００９３】
図２１は、本発明の第４の実施の形態における動作のシーケンスチャートである。
【００９４】
ステップ４０１） 前述の第２の実施の形態におけるステップ２０１と同様の処理を行うが、ここでは広域の文字領域を撮影したため図２２のような出力を行ったとする。
【００９５】
ステップ４０２） ステップ２０２と同様の処理を行う。
【００９６】
ステップ４０３） ステップ２０３と同様の処理を行う。
【００９７】
ステップ４０４） ステップ２０４と同様の処理を行う。
【００９８】
ステップ４０５） ステップ２０５と同様の処理を行う。本実施の形態では「文字領域」と判定される。
【００９９】
ステップ４０６） コンテンツ作成部３０６は、ステップ４０５の出力を入力として受け付け、該入力に基づいて作成したコンテンツを出力する。入力された判定結果が「文字領域」であれば、同じく入力された単語群を連結したテキストの内容を、上記の文献１等の技術を用いて音声として読み上げた音声ファイルに変換する。一方、入力された判定結果が「非文字領域」であれば、「そこには文字はありません」と読み上げた音声ファイルを出力する。
【０１００】
ステップ４０７） ステップ２０７と同様の処理を行う。
【０１０１】
ステップ４０８） ステップ２０８と同様の処理を行う。ここでは、撮影した領域を読み上げた音声ファイルが再生されるので、ユーザはその領域の内容を理解することができる。
【０１０２】
なお、上記の第１〜第４の実施の形態における各構成要素の動作をプログラムとして構築し、判定装置として利用されるコンピュータにインストールする、または、ネットワークを介して流通させることが可能である。
【０１０３】
また、構築されたプログラムをハードディスクや、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【０１０４】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【符号の説明】
【０１０５】
１００ ドキュメント
２００ 光学文字認識装置
２０１ 単語ＤＢ
３００ サーバ部
３０１ サーバ側データ送受信部
３０２ 単語抽出部
３０３ 文字認識判定部
３０４ コンテンツ問い合わせ部
３０６ コンテンツ作成部
３０５ コンテンツ検索部
４００ クライアント部
４０１ ドキュメント撮影部
４０２ クライアント側データ送受信部
４０３ 判定結果提示部
【技術分野】
【０００１】
本発明は、判定装置及び方法及びプログラムに係り、特に、改ページや改行位置が確定しているドキュメント内の部分領域の撮影画像を検索クエリとして、該領域が出現するドキュメント及び該ドキュメント内における位置を取得する検索要求に応えるための、ドキュメント及びドキュメント内の各位置のインデックスの作成を支援する判定装置及び方法及びプログラムに関する。
【０００２】
詳しくは、改ページや改行位置が確定しているドキュメント内の該領域を含む可能性があるドキュメント及びドキュメント内における位置を網羅的に取得するのではなく、位置を一意に特定したい場合に適用される判定装置及び方法及びプログラムに関する。
【背景技術】
【０００３】
ドキュメントの一部領域から、該領域がどのドキュメントに含まれているか、あるいは、どのドキュメントのどの位置に含まれているか一意に特定することが必要なシーンは少なくない。例えば、手元に雑誌の切り抜きがある場合、切り抜いた元の雑誌を探して、切り抜きの続きを読みたいことがある。この場合、該切り抜きがどの雑誌の一部であったか一意に特定できる必要がある。
【０００４】
上記の事例は、ドキュメントの一部領域をクエリとし、膨大な量のドキュメント群の中から、該領域を含むドキュメント名、あるいはドキュメント名及びドキュメントにおける位置を問い合わせる検索システムと捉えることができる。
【０００５】
そして、ドキュメント群の中から情報を取得する検索要求に応えるシステムを構築するためには、ドキュメント群を事前に分析して検索インデックスを作成する必要がある。
【０００６】
例えば、一般技術である形態素解析を用いてドキュメント内の文章から名詞を抽出しておき、図２３のように各名詞を検索インデックスのキーとし、該名詞の出現位置（ドキュメント名、ページ）を検索インデックスの値とする方式が挙げられる。
【０００７】
上記方式は、図２４のように、書籍内で文字が存在する領域（以降「文字領域」とする）をカメラ付き携帯電話で撮影すると、撮影領域がどの位置（書籍名・ページ）か特定し、その領域に予め既定されたコンテンツを提示するシステムに適用できる。
【０００８】
本発明では、このシステムを視覚障がい者（全盲、もしくは弱視等により書籍内の文字領域を知覚できない者。以降、「ユーザ」とする。）支援システムに適用するものである。すなわち、ユーザがカメラ付き携帯電話で書籍内の文字領域を撮影すると、その領域を読み上げた音声ファイルを提示するという仕組みである。
【０００９】
このとき、ユーザは書籍内のどこに文字があるか知覚できないため、文字領域ではなく、非文字領域、すなわち、書籍内の図・写真が存在する領域や何も印刷されていない領域を撮影してしまうかもしれない。この場合、システムは撮影領域が非文字領域であることを判定し、ユーザに「撮影領域は非文字領域である」と通知する必要がある。
【００１０】
しかしながら、どのような非文字領域が存在するか既知でない書籍内の部分領域を撮影した画像が文字領域かどうか判定することは容易ではない。
【００１１】
撮影対象が自動車や本棚であれば、文字領域がナンバープレート、背表紙といった矩形内に出現することを利用して、文字領域を推定する方法がある（例えば、非特許文献１、非特許文献２参照）。しかし、書籍内の文字領域が矩形で囲まれていることは少ないため、書籍内について文字領域を推定することは困難である。
【００１２】
また、撮影対象が景観中の看板等であれば、文字領域は背景色と文字色の濃淡差が大きいことを利用して、文字領域を特定する技術がある（例えば、非特許文献３参照）。しかし、書籍内には線画や罫線のように背景色との濃淡差が大きい非文字領域がある。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】田邊勝義，川島晴美，丸林栄作，仲西正，塩昭夫，大塚作一部分文字列の配置規則を考慮したナンバープレート領域抽出電子情報通信学会論文誌，D-II，情報・システム，II-情報処理 J81-D-2(10)，pp.2280-2287．
【非特許文献２】澤木美奈子，村瀬洋，萩田紀博 「劣化推定に基づいた辞書の自動選択による本棚画像中の文字認識」映像情報メディア学会誌，映像情報メディア54(6)，pp.881-886．
【非特許文献３】劉詠梅，山村毅，大西昇，杉江昇，「シーン内の文字列領域の抽出について」電子情報通信学会論文誌，D-II，情報・システム，II-情報処理，J81-D-2(4)，pp.641-650．
【発明の開示】
【発明が解決しようとする課題】
【００１４】
上記のように、書籍には様々な種類があり、出現する非文字領域も様々であるため、文字領域抽出方法を事前に1つに決定することは難しい。仮に単一の種類の非文字領域だけに対応する方法を用いると、想定していない種類の非文字領域を含む書籍に対しては判定精度が低下してしまう。複数の文字領域抽出を併用することも考えられるが、これらの方法は単独でも処理コストが高いため、複数併用することは処理速度の面から実用的とは言い難い。そもそも、今回は画像内に文字領域が含まれるかどうかさえ分かればよく、画像中から文字領域を精度良く抽出することを目的としている上述の従来手法はオーバースペックである。
【００１５】
本発明は、上記の点に鑑みなされたもので、どのような非文字領域が存在するか既知でない書籍内の部分領域を撮影した画像が、文字領域かどうか判定することが可能な判定装置及び方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
上記の課題を解決するために、本発明（請求項１）は、文字、あるいは、写真、あるいは、図、あるいは、表、あるいは、罫線、あるいは、その他の文字ではないものが記載されたドキュメントの全領域、もしくは部分領域を入力として、該領域が文字を一定割合以上含む文字領域であるかどうか判定する判定装置であって、
判定対象の領域の入力を受け付ける領域入力手段と、
判定対象の領域に文字が記載されているとみなして光学文字認識処理を行った結果、少なくとも、検出された未知語の数及び該領域に含まれる単語数の割合に基づいて文字領域か非文字領域かを判定する文字領域判定手段と、
前記文字領域判定手段の判定結果に基づいて、文字領域または非文字領域のいずれかを出力する判定結果出力手段と、を有する。
【００１７】
また、本発明（請求項２）は、請求項１の前記文字領域判定手段が、
前記検出された未知語の数が所定値Ａ未満で、かつ、該領域に所定値Ｂ以上の単語を含む場合に文字領域と判定する手段を含む。
【００１８】
また、本発明（請求項３）は、請求項１の前記文字領域判定手段が、
前記検出された未知語の数が所定値Ａ未満で、かつ、検出された単語の長さが所定値Ｃ以下である単語数の前記領域に含まれる割合が、所定値Ｄ未満で、かつ、該領域に所定値Ｂ以上の単語を含む場合に文字領域と判定する手段を含む。
【００１９】
また、本発明（請求項４）は、文字、あるいは、写真、あるいは、図、あるいは、表、あるいは、罫線、あるいは、その他の文字ではないものが記載されたドキュメントの全領域、もしくは部分領域を入力として、該領域が文字を一定割合以上含む文字領域であるかどうか判定する判定装置であって、
判定対象の領域の入力を受け付ける領域入力手段と、
判定対象の領域に文字が記載されているとみなして光学文字認識処理を行った結果、少なくとも、検出された単語の長さ及び該領域に含まれる単語数の割合に基づいて文字領域か非文字領域かを判定する文字領域判定手段と、
前記文字領域判定手段の判定結果に基づいて、文字領域または非文字領域のいずれかを出力する判定結果出力手段と、を有する。
【００２０】
また、本発明（請求項５）は、請求項４の前記文字領域判定手段が、
前記検出された単語の長さが所定値Ｃ以下の単語数が、所定値Ｄ未満であり、前記該領域に所定値Ｂ以上の単語を含む場合に文字領域と判定する手段を含む。
【００２１】
また、本発明（請求項６）は、請求項３または請求項５の文字領域判定手段における、前記単語の長さの所定値Ｃを１文字とする。
【００２２】
また、本発明（請求項７）は、文字、あるいは、写真、あるいは、図、あるいは、表、あるいは、罫線、あるいは、その他の文字ではないものが記載されたドキュメントの全領域、もしくは部分領域を入力として、該領域が文字を一定割合以上含む文字領域であるかどうか判定する判定方法であって、
判定対象の領域の入力を受け付ける領域入力ステップと、
判定対象の領域に文字が記載されているとみなして光学文字認識処理を行った結果、少なくとも、検出された未知語の数及び該領域に含まれる単語数の割合に基づいて文字領域か非文字領域かを判定する文字領域判定ステップと、
前記文字領域判定ステップの判定結果に基づいて、文字領域または非文字領域のいずれかを出力する判定結果出力ステップと、を行う。
【００２３】
また、本発明（請求項８）は、請求項７の前記文字領域判定ステップにおいて、
前記検出された未知語の数が所定値Ａ未満で、かつ、該領域に所定値Ｂ以上の単語を含む場合に文字領域と判定する。
【００２４】
また、本発明（請求項９）は、請求項７の前記文字領域判定ステップにおいて、
前記検出された未知語の数が所定値Ａ未満で、かつ、検出された単語の長さが所定値Ｃ以下である単語数の前記領域に含まれる割合が、所定値Ｄ未満で、かつ、該領域に所定値Ｂ以上の単語を含む場合に文字領域と判定する。
【００２５】
また、本発明（請求項１０）は、文字、あるいは、写真、あるいは、図、あるいは、表、あるいは、罫線、あるいは、その他の文字ではないものが記載されたドキュメントの全領域、もしくは部分領域を入力として、該領域が文字を一定割合以上含む文字領域であるかどうか判定する判定方法であって、
判定対象の領域の入力を受け付ける領域入力ステップと、
判定対象の領域に文字が記載されているとみなして光学文字認識処理を行った結果、少なくとも、検出された単語の長さ及び該領域に含まれる単語数の割合に基づいて文字領域か非文字領域かを判定する文字領域判定ステップと、
前記文字領域判定ステップの判定結果に基づいて、文字領域または非文字領域のいずれかを出力する判定結果出力ステップと、を行う。
【００２６】
また、本発明（請求項１１）は、請求項１０の前記文字領域判定ステップにおいて、
前記検出された単語の長さが所定値Ｃ以下の単語数が、所定値Ｄ未満であり、前記該領域に所定値Ｂ以上の単語を含む場合に文字領域と判定する。
【００２７】
また、本発明（請求項１２）は、請求項６、または、１１の文字領域判定ステップにおいて、前記単語の長さの所定値Ｃを１文字とする。
【００２８】
また、本発明（請求項１３）は、請求項１乃至６のいずれか１項に記載の判定装置を構成する各手段としてコンピュータを機能させるためのプログラムである。
【発明の効果】
【００２９】
画像が文字領域かどうか判定する際に、従来手法は画像がどのような種類であるか（自動車や本棚の画像か、看板を含む景観画像か等）を既定し、その画像に適した文字領域抽出方法をとることが多く、どのような非文字領域が存在するか既知でない書籍内の部分領域を撮影した画像を分析対象とすることは困難であった。単一種類の画像しか既定しないと文字領域かどうかの判定精度は落ちるし、複数種類の画像を既定し複数種類の文字領域抽出方法を用いると処理コストが大幅に増加してしまう。
【００３０】
これに対し、本発明は、画像がどのような種類であるか考慮することなく光学文字認識を実行してしまい、その結果を分析することで文字領域であるかどうかを判定している非常に処理コストの低いシンプルな方法である。
【００３１】
本発明により、特に、どのような非文字領域が存在するか既知でない書籍内の部分領域を撮影した画像が、文字領域かどうかシンプルな方法で判定することができる。
【図面の簡単な説明】
【００３２】
【図１】本発明の第１の実施の形態におけるシステム構成図である。
【図２】本発明の第１の実施の形態における入力されるドキュメントの例である。
【図３】本発明の第１の実施の形態における単語ＤＢの例である。
【図４】本発明の第１の実施の形態における動作のシーケンスチャートである。
【図５】本発明の第１の実施の形態におけるドキュメントの文字領域抽出の例である。
【図６】本発明の第１の実施の形態における画像ファイルからテキストデータへの変換の例である。
【図７】本発明の第１の実施の形態における単語抽出部での形態素解析の例である。
【図８】本発明の第１の実施の形態における文字領域判定のフローチャートである。
【図９】本発明の第２の実施の形態におけるシステム構成図である。
【図１０】本発明の第２の実施の形態における位置ＤＢの例である。
【図１１】本発明の第２の実施の形態におけるコンテンツＤＢの例である。
【図１２】本発明の第２の実施の形態における動作のシーケンスチャートである。
【図１３】本発明の第２の実施の形態におけるドキュメントの文字領域抽出の例である。
【図１４】本発明の第２の実施の形態における画像ファイルからテキストデータへの変換の例である。
【図１５】本発明の第２の実施の形態における単語抽出部での形態素解析の例である。
【図１６】本発明の第２の実施の形態における文字領域判定のフローチャートである。
【図１７】本発明の第２の実施の形態におけるコンテンツ問い合わせの処理のフローチャートである。
【図１８】本発明の第３の実施の形態における動作のシーケンスチャートである。
【図１９】本発明の第３の実施の形態における各名詞の位置の集計結果である。
【図２０】本発明の第４の実施の形態におけるシステム構成図である。
【図２１】本発明の第４の実施の形態における動作のシーケンスチャートである。
【図２２】本発明の第４の実施の形態における広域の文字領域を撮影した図である。
【図２３】名詞の出現位置をインデックスする例である。
【図２４】書籍内の文字領域に基づいてコンテンツを提供する例である。
【発明を実施するための形態】
【００３３】
以下図面と共に、本発明の実施の形態を説明する。
【００３４】
［第１の実施の形態］
本実施の形態では、撮影した領域の文字認識を行い、当該領域に含まれる未知語の数に基づいて文字領域か否かを判定する。
【００３５】
図１は、本発明の第１の実施の形態におけるシステム構成を示す。
【００３６】
同図に示すシステムは、サーバ部３００、クライアント部４００、サーバ部３００に接続される単語ＤＢ２０１、光学文字認識装置２００から構成される。
【００３７】
同図におけるサーバ部３００は、ＰＣサーバ等の機器で実現でき、サーバ側データ送受信部３０１、単語抽出部３０２、文字領域判定部３０３から構成され、単語抽出部３０２には単語ＤＢ２０１が、サーバ側データ送受信部３０１には光学文字認識装置２００が接続される。
【００３８】
同図におけるクライアント部４００は、カメラ付き携帯電話等で実現でき、ドキュメント撮影部４０１、クライアント側データ送受信部４０２、判定結果提示部４０３から構成され、ドキュメント撮影部４０１にはドキュメント１００が入力される。
【００３９】
同図におけるドキュメント１００は、図２のような文字領域と非文字領域を含む紙媒体書籍の１ページである。
【００４０】
図１における光学文字認識装置２００は、一般的なOCRソフトウェア等の外部装置であり、文字が写っている画像ファイルを入力とし、写っている文字を電子的なテキストデータに変換したものを出力とする。単語ＤＢ２０１は、一般的なOCRソフトウェア、あるいは形態素解析ソフトウェアが利用する単語辞書であり、我々が常用する単語はほぼすべて網羅されて図３の形式で格納されているとする。光学文字認識装置２００は、一般的なOCRソフトウェア同様に、単語ＤＢ２０１を用いなくても文字単位の識別はできるが、単語ＤＢ２０１を用いた方が単語単位の識別が可能になり、結果として全体の識別精度が向上する。
【００４１】
次に、上記の構成における、本実施の形態における処理を説明する。
【００４２】
図４は、本発明の第１の実施の形態における処理のシーケンスチャートである。
【００４３】
ステップ１００:入力ステップ） クライアント部４００のドキュメント撮影部４０１は、判定対象となるドキュメントの部分画像を撮影し、クライアント側データ送受信部４０２を介してサーバ部３００に送信する。詳細な処理については、以下のステップ１０１〜１０３で説明する。
【００４４】
ステップ１１０:単語抽出ステップ） サーバ部３００のサーバ側データ送受信部３０１は、クライアント部４００からのドキュメントの部分画像を取得し、文字領域判定部３０３において、撮影領域から単語を抽出する。詳細な処理については、以下のステップ１０４で説明する。
【００４５】
ステップ１２０:文字領域判定ステップ） 文字領域判定部３０３は、撮影領域が文字領域であるかどうか判定する。詳細な処理については、以下のステップ１０５で説明する。
【００４６】
ステップ１３０:出力ステップ） 文字領域判定部３０３は、撮影領域が文字領域であるかどうかの判定結果を出力する。詳細な処理については、以下のステップ１０６〜１０８で説明する。
【００４７】
以下に上記の処理の詳細を示す。
【００４８】
ステップ１０１） ドキュメント撮影部４０１は、ドキュメント１００の文字領域を撮影して図５のように画像ファイルとして出力する。
【００４９】
ステップ１０２） クライアント側データ送受信部４０２は、ステップ１０１の出力を入力として受け付け、画像ファイルのままネットワーク等を通じてサーバ部３００に出力する。
【００５０】
ステップ１０３） サーバ側データ送受信部３０１は、ステップ１０２の出力を入力として受け付け、光学文字認識装置２００を用いて画像ファイル中のテキストを認識してテキストデータに変換したものを、図６のように出力する。前述のとおり、光学文字認識装置２００は識別時に単語ＤＢ２０１を用い、単語ＤＢ２０１に登録されている単語は精度良く認識できるが、登録されていない単語・文字の認識精度は低下する。また、このとき、撮影状況がよくないため、正しくは「タイプ」である文字列が「タイフ」と誤認識されたとする。なお、本実施の形態では画像ファイルに写っているのが文字領域であったが、写っている対象が文字領域であるか非文字領域であるかは一切考慮しない。
【００５１】
ステップ１０４） 単語抽出部３０２は、ステップ１０３の出力を入力として受け付け、単語を抽出して出力する。ここでは一般技術である形態素解析を用いて単語抽出を行う。形態素解析とは単語辞書を情報源として文を形態素に分割し、各形態素の品詞を判別する一般的な自然言語処理技術である。新語や誤記等、単語辞書に格納されていない語は品詞を判別できないため未知語となる。本実施の形態では単語辞書は単語ＤＢ２０１を用い、ここに格納されておらず品詞を判別できない語は未知語と判定される。ステップ１０３の入力から単語を抽出すると図７のようになり、これを出力する。例えば、ステップ１０３で誤認識された「タイフ」や、撮影領域の端で「アンテナ」という語が途切れて生じた「テナ」は存在しない語であるため未知語になる。
【００５２】
ステップ１０５） 文字領域判定部３０３は、ステップ１０４の出力を入力として受け付け、撮影領域が文字領域か非文字領域か判定した結果を出力する。
【００５３】
判定の際には、図８に示すように、単語抽出部３０２から入力された未知語と判定された単語の割合が規定値Ｘ未満であるかを判定し（ステップ１０５１）、規定値Ｘ未満であれば（ステップ１０５１、Ｙｅｓ）、判定結果は文字領域であるとし（ステップ１０５２）、規定値Ｘ以上であれば（ステップ１０５１、Ｎｏ）、判定結果は非文字領域であるとする（ステップ１０５３）。このように、入力の中で未知語と判定された単語の割合が規定値を下回った場合には文字領域、規定値を上回った場合には非文字領域と判定する。本実施の形態では規定値を50％とし、図７において未知語と判定されている語は50％以下なので「文字領域」と判定される。
【００５４】
ステップ１０６） サーバ側データ送受信部３０１は、ステップ１０５の判定結果を入力として受け付け、ネットワークを通じてクライアント部４００に出力する。
【００５５】
ステップ１０７） クライアント側データ送受信部４０２は、ステップ１０５の判定結果を入力として受け付け、出力する。
【００５６】
ステップ１０８） 判定結果提示部４０３は、判定結果が文字領域なら「文字領域です」、非文字領域なら「非文字領域です」と音声でアナウンスする。
【００５７】
［第２の実施の形態］
本実施の形態は、文字領域を判定する際に、撮影された領域について文字認識を行い、認識結果の未知語の数と１文字の単語の数が規定値未満の場合に文字領域と判定する。
【００５８】
本実施の形態は、第１の実施の形態と背景技術で述べた方式を用いて、書籍にカメラ付き携帯電話をかざすとその位置を音声で読み上げる視覚障がい者支援システムの例を示す。
【００５９】
図９は、本発明の第２の実施の形態におけるシステム構成を示す。同図において、図１と同一構成部分には同一符号を付し、その説明を省略する。
【００６０】
図９におけるサーバ部３００は、ＰＣサーバ等の機器で実現でき、サーバ側データ送受信部３０１、単語抽出部３０２、文字領域判定部３０３、検索問い合わせ部３０４、コンテンツ検索部305、位置ＤＢ３０６、コンテンツＤＢ３０７から構成される。なお、位置ＤＢ３０６内には背景技術で述べた方法で図１０に示すようなデータが作成・格納されている。また、コンテンツＤＢ３０７内には、書籍内の各領域に対して、各領域を読み上げた音声ファイルが図１１のように格納されているとする。
【００６１】
図９におけるクライアント部４００はカメラ付き携帯電話等で実現でき、ドキュメント撮影部４０１、クライアント側データ送受信部４０２、コンテンツ提示部４０３から構成される。
【００６２】
同図におけるドキュメント１００、光学文字認識装置２００、単語ＤＢ２０１は第１の実施の形態と同様である。
【００６３】
以下、上記の構成における動作を説明する。
【００６４】
図１２は、本発明の第２の実施の形態における動作のシーケンスチャートである。
【００６５】
ステップ２００:入力ステップ） クライアント部４００のドキュメント撮影部４０１は、判定対象となるドキュメントの部分画像を撮影し、クライアント側データ送受信部４０２を介してサーバ部３００に送信する。詳細な処理については、以下のステップ２０１〜２０３で説明する。
【００６６】
ステップ２１０:単語抽出ステップ） サーバ部３００のサーバ側データ送受信部３０１は、クライアント部４００からのドキュメントの部分画像を取得し、文字領域判定部３０３において、撮影領域から単語を抽出する。詳細な処理については、以下のステップ２０４で説明する。
【００６７】
ステップ２２０:文字領域判定ステップ） 文字領域判定部３０３は、撮影領域が文字領域であるかどうか判定する。詳細な処理については、以下のステップ２０５で説明する。
【００６８】
ステップ２３０:出力ステップ） 文字領域判定部３０３は、撮影領域が文字領域であるかどうかの判定結果に基づいて、コンテンツを出力する。詳細な処理については、以下のステップ２０６〜２０９で説明する。
【００６９】
以下に上記の処理の詳細を示す。
【００７０】
ステップ２０１） 前述のステップ１０１と同様の処理を行い、図１３のように画像ファイルとして出力する。
【００７１】
ステップ２０２） 前述のステップ１０２と同様の処理を行う。
【００７２】
ステップ２０３） ステップ１０３と同様の処理を行う。写っている対象が文字領域であるか非文字領域であるかは一切考慮しないため、出力は図１４のようになる。これは、一般的なOCRソフトウェアで文字が記載されていない図領域を文字とみなして認識処理すると、未知語と認識してしまったり、「。」や「・」や「１」といった1文字から構成される単語の羅列として認識してしまったりするためである。
【００７３】
ステップ２０４） 単語抽出部３０２は、ステップ２０３の認識を入力として受け付け、単語を抽出して出力する。ここではステップ１０３と同様に形態素解析を用いて単語抽出を行う。本実施の形態においても単語辞書は図３の形式で単語ＤＢ２０１に格納されており、ここに格納されておらず品詞を判別できない語は未知語と判定される。ステップ２０３の入力から単語を抽出すると図１５のようになり、これを文字領域判定部３０３に出力する。
【００７４】
ステップ２０５） 文字領域判定部３０３は、ステップ２０４の出力を入力として受け付け、撮影領域が文字領域か非文字領域か判定した結果とステップ２０４で抽出した単語群を出力する。判定の際は図１６のフローチャートに従い決定する。まず、入力された単語のうち、未知語と判定された単語の割合が規定値X未満である場合には（ステップ２０５１、Ｙｅｓ）文字領域（暫定）、規定値X以上である場合には（ステップ２０５１、Ｎｏ）非文字領域と判定する。本実施の形態では規定値Xを50％とし、図１５において未知語と判定されている語は50％未満である。次に、１文字からなる単語の割合が規定値Y未満である場合は（ステップ２０５２、Ｙｅｓ）文字領域とし（ステップ２０５３）、規定値Y以上の場合は（ステップ２０５２、Ｎｏ）非文字領域と判定する（ステップ２０５４）。本実施の形態では規定値Yを80％とし、図１５において１文字からなる単語と判定されている語は80％以上であるため、「非文字領域」と判定される。
【００７５】
ステップ２０６） 検索問い合わせ部３０４は、ステップ２０５の判定結果を入力として受け付け、図１７のフローチャートに従いコンテンツの問い合わせを行う。入力された判定結果が「文字領域」であれば（ステップ２０６１、Ｙｅｓ）、同じく入力された単語群をコンテンツ検索部３０５に入力してコンテンツ（撮影領域を読み上げた音声ファイル）を取得し、該コンテンツを出力する（ステップ２０６２）。一方、入力された判定結果が「非文字領域」であれば（ステップ２０６１、Ｎｏ）、「そこには文字はありません」と読み上げた音声ファイル（コンテンツ）を出力する（ステップ２０６３）。ここでは、ステップ２０６の入力の判定結果は「非文字領域」なので、コンテンツとして、「そこには文字はありません」と読み上げた音声ファイルが出力されることになる。
【００７６】
ステップ２０７） サーバ側データ送受信部３０１は、ステップ２０６の検索されたコンテンツまたは非文字領域を示すコンテンツを受け付け、ネットワークを通じてクライアント部４００に出力する。
【００７７】
ステップ２０８） クライアント側データ送受信部４０２は、ステップ２０７のコンテンツを受け付け、コンテンツ提示部４０３に出力する。
【００７８】
ステップ２０９） コンテンツ提示部４０３は、ステップ２０８の出力を入力として受け付け、コンテンツである音声ファイルを再生する。ここでは、「そこには文字はありません」という音声ファイルが再生されるので、ユーザは他の領域を撮影するという判断を行うことができる。
【００７９】
［第３の実施の形態］
本実施の形態では、第２の実施の形態で文字領域と判定された場合に、当該文字領域に含まれる単語（名詞）を用いてコンテンツ検索を行う。
【００８０】
本実施の形態は第２の実施の形態と同一の構成で、文字領域を撮影した場合を説明する。
【００８１】
図１８は、本発明の第３の実施の形態における動作のシーケンスチャートである。
【００８２】
ステップ３０１） 前述の第２の実施の形態におけるステップ２０１と同様の処理を行うが、ここでは文字領域を撮影したため図５のような出力を行ったとする。
【００８３】
ステップ３０２） ステップ２０２と同様の処理を行う。
【００８４】
ステップ３０３） ステップ２０３と同様の処理を行う。出力は図６のようになる。
【００８５】
ステップ３０４） ステップ２０４と同様の処理を行う。出力は図７のようになる。
【００８６】
ステップ３０５） ステップ２０５と同様の処理を行う。本実施の形態では規定値Xを50％、規定値Yを80％とし、図７において未知語と判定されている語は50％未満、１文字からなる単語と判定されている語は80％未満であるため、「文字領域」と判定される。
【００８７】
ステップ３０６） ステップ３０５の入力の判定結果は「文字領域」なので、同じく入力された単語群をコンテンツ検索部３０５に入力する。コンテンツ検索部３０５は、入力された単語群に含まれる各名詞をキーとして位置ＤＢ３０６に問い合わせを行い、得られた結果（各名詞の位置）を図１８のように集計し、件数が最多の位置を特定する（この場合は書籍Ａ３ページ）。
【００８８】
ステップ３０７） 次に、特定した位置をキーとしてコンテンツＤＢ３０７に問い合わせを行い、得られた結果（この場合は「書籍Ａ３ページを読み上げた音声ファイル」）を出力する。
【００８９】
ステップ３０８） ステップ２０７と同様の処理を行う。
【００９０】
ステップ３０９） ステップ２０８と同様の処理を行う。ここでは、撮影した領域を読み上げた音声ファイルが再生されるので、ユーザはその領域の内容を理解することができる。
【００９１】
［第４の実施の形態］
本実施の形態は、第２の実施の形態を一部変更し、文献１「間野一則，水野秀之，中嶋秀治，宮崎昇，吉田明弘：顧客へのリアルな音声応答を実現するテキスト音声合成技術「Cralinet」電気通信協会 NTT技術ジャーナル 18(11)，pp.19-22，2006年11月．」等の技術を用いて、書籍にカメラ付き携帯電話をかざすとその位置を音声で読み上げる視覚障がい者支援システムである。
【００９２】
図２０は、本発明の第４の実施の形態におけるシステム構成を示す。同図において、図９と同一構成部分には、同一符号を付し、その説明を省略する。
【００９３】
図２１は、本発明の第４の実施の形態における動作のシーケンスチャートである。
【００９４】
ステップ４０１） 前述の第２の実施の形態におけるステップ２０１と同様の処理を行うが、ここでは広域の文字領域を撮影したため図２２のような出力を行ったとする。
【００９５】
ステップ４０２） ステップ２０２と同様の処理を行う。
【００９６】
ステップ４０３） ステップ２０３と同様の処理を行う。
【００９７】
ステップ４０４） ステップ２０４と同様の処理を行う。
【００９８】
ステップ４０５） ステップ２０５と同様の処理を行う。本実施の形態では「文字領域」と判定される。
【００９９】
ステップ４０６） コンテンツ作成部３０６は、ステップ４０５の出力を入力として受け付け、該入力に基づいて作成したコンテンツを出力する。入力された判定結果が「文字領域」であれば、同じく入力された単語群を連結したテキストの内容を、上記の文献１等の技術を用いて音声として読み上げた音声ファイルに変換する。一方、入力された判定結果が「非文字領域」であれば、「そこには文字はありません」と読み上げた音声ファイルを出力する。
【０１００】
ステップ４０７） ステップ２０７と同様の処理を行う。
【０１０１】
ステップ４０８） ステップ２０８と同様の処理を行う。ここでは、撮影した領域を読み上げた音声ファイルが再生されるので、ユーザはその領域の内容を理解することができる。
【０１０２】
なお、上記の第１〜第４の実施の形態における各構成要素の動作をプログラムとして構築し、判定装置として利用されるコンピュータにインストールする、または、ネットワークを介して流通させることが可能である。
【０１０３】
また、構築されたプログラムをハードディスクや、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【０１０４】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【符号の説明】
【０１０５】
１００ ドキュメント
２００ 光学文字認識装置
２０１ 単語ＤＢ
３００ サーバ部
３０１ サーバ側データ送受信部
３０２ 単語抽出部
３０３ 文字認識判定部
３０４ コンテンツ問い合わせ部
３０６ コンテンツ作成部
３０５ コンテンツ検索部
４００ クライアント部
４０１ ドキュメント撮影部
４０２ クライアント側データ送受信部
４０３ 判定結果提示部
【特許請求の範囲】
【請求項１】
文字、あるいは、写真、あるいは、図、あるいは、表、あるいは、罫線、あるいは、その他の文字ではないものが記載されたドキュメントの全領域、もしくは部分領域を入力として、該領域が文字を一定割合以上含む文字領域であるかどうか判定する判定装置であって、
判定対象の領域の入力を受け付ける領域入力手段と、
判定対象の領域に文字が記載されているとみなして光学文字認識処理を行った結果、少なくとも、検出された未知語の数及び該領域に含まれる単語数の割合に基づいて文字領域か非文字領域かを判定する文字領域判定手段と、
前記文字領域判定手段の判定結果に基づいて、文字領域または非文字領域のいずれかを出力する判定結果出力手段と、
を有することを特徴とする判定装置。
【請求項２】
前記文字領域判定手段は、
前記検出された未知語の数が所定値Ａ未満で、かつ、該領域に所定値Ｂ以上の単語を含む場合に文字領域と判定する手段を含む、
請求項１記載の判定装置。
【請求項３】
前記文字領域判定手段は、
前記検出された未知語の数が所定値Ａ未満で、かつ、検出された単語の長さが所定値Ｃ以下である単語数の前記領域に含まれる割合が、所定値Ｄ未満で、かつ、該領域に所定値Ｂ以上の単語を含む場合に文字領域と判定する手段を含む、
請求項１記載の判定装置。
【請求項４】
文字、あるいは、写真、あるいは、図、あるいは、表、あるいは、罫線、あるいは、その他の文字ではないものが記載されたドキュメントの全領域、もしくは部分領域を入力として、該領域が文字を一定割合以上含む文字領域であるかどうか判定する判定装置であって、
判定対象の領域の入力を受け付ける領域入力手段と、
判定対象の領域に文字が記載されているとみなして光学文字認識処理を行った結果、少なくとも、検出された単語の長さ及び該領域に含まれる単語数の割合に基づいて文字領域か非文字領域かを判定する文字領域判定手段と、
前記文字領域判定手段の判定結果に基づいて、文字領域または非文字領域のいずれかを出力する判定結果出力手段と、
を有することを特徴とする判定装置。
【請求項５】
前記文字領域判定手段は、
前記検出された単語の長さが所定値Ｃ以下の単語数が、所定値Ｄ未満であり、前記該領域に所定値Ｂ以上の単語を含む場合に文字領域と判定する手段を含む
請求項４記載の判定装置。
【請求項６】
前記単語の長さの所定値Ｃを１文字とする
請求項３または５記載の判定装置。
【請求項７】
文字、あるいは、写真、あるいは、図、あるいは、表、あるいは、罫線、あるいは、その他の文字ではないものが記載されたドキュメントの全領域、もしくは部分領域を入力として、該領域が文字を一定割合以上含む文字領域であるかどうか判定する判定方法であって、
判定対象の領域の入力を受け付ける領域入力ステップと、
判定対象の領域に文字が記載されているとみなして光学文字認識処理を行った結果、少なくとも、検出された未知語の数及び該領域に含まれる単語数の割合に基づいて文字領域か非文字領域かを判定する文字領域判定ステップと、
前記文字領域判定ステップの判定結果に基づいて、文字領域または非文字領域のいずれかを出力する判定結果出力ステップと、
を行うことを特徴とする判定方法。
【請求項８】
前記文字領域判定ステップにおいて、
前記検出された未知語の数が所定値Ａ未満で、かつ、該領域に所定値Ｂ以上の単語を含む場合に文字領域と判定する、
請求項７記載の判定方法。
【請求項９】
前記文字領域判定ステップにおいて、
前記検出された未知語の数が所定値Ａ未満で、かつ、検出された単語の長さが所定値Ｃ以下である単語数の前記領域に含まれる割合が、所定値Ｄ未満で、かつ、該領域に所定値Ｂ以上の単語を含む場合に文字領域と判定する、
請求項７記載の判定方法。
【請求項１０】
文字、あるいは、写真、あるいは、図、あるいは、表、あるいは、罫線、あるいは、その他の文字ではないものが記載されたドキュメントの全領域、もしくは部分領域を入力として、該領域が文字を一定割合以上含む文字領域であるかどうか判定する判定方法であって、
判定対象の領域の入力を受け付ける領域入力ステップと、
判定対象の領域に文字が記載されているとみなして光学文字認識処理を行った結果、少なくとも、検出された単語の長さ及び該領域に含まれる単語数の割合に基づいて文字領域か非文字領域かを判定する文字領域判定ステップと、
前記文字領域判定ステップの判定結果に基づいて、文字領域または非文字領域のいずれかを出力する判定結果出力ステップと、
を行うことを特徴とする判定方法。
【請求項１１】
前記文字領域判定ステップにおいて、
前記検出された単語の長さが所定値Ｃ以下の単語数が、所定値Ｄ未満であり、前記該領域に所定値Ｂ以上の単語を含む場合に文字領域と判定する
請求項１０記載の判定方法。
【請求項１２】
前記単語の長さの所定値Ｃを１文字とする
請求項６または１１記載の判定方法。
【請求項１３】
請求項１乃至６のいずれか１項に記載の判定装置を構成する各手段としてコンピュータを機能させるためのプログラム。
【請求項１】
文字、あるいは、写真、あるいは、図、あるいは、表、あるいは、罫線、あるいは、その他の文字ではないものが記載されたドキュメントの全領域、もしくは部分領域を入力として、該領域が文字を一定割合以上含む文字領域であるかどうか判定する判定装置であって、
判定対象の領域の入力を受け付ける領域入力手段と、
判定対象の領域に文字が記載されているとみなして光学文字認識処理を行った結果、少なくとも、検出された未知語の数及び該領域に含まれる単語数の割合に基づいて文字領域か非文字領域かを判定する文字領域判定手段と、
前記文字領域判定手段の判定結果に基づいて、文字領域または非文字領域のいずれかを出力する判定結果出力手段と、
を有することを特徴とする判定装置。
【請求項２】
前記文字領域判定手段は、
前記検出された未知語の数が所定値Ａ未満で、かつ、該領域に所定値Ｂ以上の単語を含む場合に文字領域と判定する手段を含む、
請求項１記載の判定装置。
【請求項３】
前記文字領域判定手段は、
前記検出された未知語の数が所定値Ａ未満で、かつ、検出された単語の長さが所定値Ｃ以下である単語数の前記領域に含まれる割合が、所定値Ｄ未満で、かつ、該領域に所定値Ｂ以上の単語を含む場合に文字領域と判定する手段を含む、
請求項１記載の判定装置。
【請求項４】
文字、あるいは、写真、あるいは、図、あるいは、表、あるいは、罫線、あるいは、その他の文字ではないものが記載されたドキュメントの全領域、もしくは部分領域を入力として、該領域が文字を一定割合以上含む文字領域であるかどうか判定する判定装置であって、
判定対象の領域の入力を受け付ける領域入力手段と、
判定対象の領域に文字が記載されているとみなして光学文字認識処理を行った結果、少なくとも、検出された単語の長さ及び該領域に含まれる単語数の割合に基づいて文字領域か非文字領域かを判定する文字領域判定手段と、
前記文字領域判定手段の判定結果に基づいて、文字領域または非文字領域のいずれかを出力する判定結果出力手段と、
を有することを特徴とする判定装置。
【請求項５】
前記文字領域判定手段は、
前記検出された単語の長さが所定値Ｃ以下の単語数が、所定値Ｄ未満であり、前記該領域に所定値Ｂ以上の単語を含む場合に文字領域と判定する手段を含む
請求項４記載の判定装置。
【請求項６】
前記単語の長さの所定値Ｃを１文字とする
請求項３または５記載の判定装置。
【請求項７】
文字、あるいは、写真、あるいは、図、あるいは、表、あるいは、罫線、あるいは、その他の文字ではないものが記載されたドキュメントの全領域、もしくは部分領域を入力として、該領域が文字を一定割合以上含む文字領域であるかどうか判定する判定方法であって、
判定対象の領域の入力を受け付ける領域入力ステップと、
判定対象の領域に文字が記載されているとみなして光学文字認識処理を行った結果、少なくとも、検出された未知語の数及び該領域に含まれる単語数の割合に基づいて文字領域か非文字領域かを判定する文字領域判定ステップと、
前記文字領域判定ステップの判定結果に基づいて、文字領域または非文字領域のいずれかを出力する判定結果出力ステップと、
を行うことを特徴とする判定方法。
【請求項８】
前記文字領域判定ステップにおいて、
前記検出された未知語の数が所定値Ａ未満で、かつ、該領域に所定値Ｂ以上の単語を含む場合に文字領域と判定する、
請求項７記載の判定方法。
【請求項９】
前記文字領域判定ステップにおいて、
前記検出された未知語の数が所定値Ａ未満で、かつ、検出された単語の長さが所定値Ｃ以下である単語数の前記領域に含まれる割合が、所定値Ｄ未満で、かつ、該領域に所定値Ｂ以上の単語を含む場合に文字領域と判定する、
請求項７記載の判定方法。
【請求項１０】
文字、あるいは、写真、あるいは、図、あるいは、表、あるいは、罫線、あるいは、その他の文字ではないものが記載されたドキュメントの全領域、もしくは部分領域を入力として、該領域が文字を一定割合以上含む文字領域であるかどうか判定する判定方法であって、
判定対象の領域の入力を受け付ける領域入力ステップと、
判定対象の領域に文字が記載されているとみなして光学文字認識処理を行った結果、少なくとも、検出された単語の長さ及び該領域に含まれる単語数の割合に基づいて文字領域か非文字領域かを判定する文字領域判定ステップと、
前記文字領域判定ステップの判定結果に基づいて、文字領域または非文字領域のいずれかを出力する判定結果出力ステップと、
を行うことを特徴とする判定方法。
【請求項１１】
前記文字領域判定ステップにおいて、
前記検出された単語の長さが所定値Ｃ以下の単語数が、所定値Ｄ未満であり、前記該領域に所定値Ｂ以上の単語を含む場合に文字領域と判定する
請求項１０記載の判定方法。
【請求項１２】
前記単語の長さの所定値Ｃを１文字とする
請求項６または１１記載の判定方法。
【請求項１３】
請求項１乃至６のいずれか１項に記載の判定装置を構成する各手段としてコンピュータを機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１１−２５７９５２（Ｐ２０１１−２５７９５２Ａ）
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願番号】特願２０１０−１３１３５６（Ｐ２０１０−１３１３５６）
【出願日】平成２２年６月８日（２０１０．６．８）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２２年２月２２日 社団法人情報処理学会発行の「情報処理学会シンポジウムシリーズ Ｖｏｌ．２０１０．Ｎｏ．４ インタラクション２０１０ 論文集」に発表
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願日】平成２２年６月８日（２０１０．６．８）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２２年２月２２日 社団法人情報処理学会発行の「情報処理学会シンポジウムシリーズ Ｖｏｌ．２０１０．Ｎｏ．４ インタラクション２０１０ 論文集」に発表
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]