視覚障害者支援方法、視覚障害者認識システムおよび方法、プログラム
【課題】 画像処理を特徴とする視覚障害者認識機能により、視覚障害者への負担のない支援を実現する。
【解決手段】 映像撮影装置１から１フレーム分の映像データを静止画イメージデータとして取得する映像取得部３１と、その取得した静止画イメージデータのエッジを検出するエッジ検出部３２と、その検出したエッジ部のコントラストを強調したコントラスト強調画像を得るスケーリング部３３と、そのコントラスト強調画像に対応する静止画イメージデータから、所定の色の範囲のグレイ値を有する画素を検出する領域検出部３４と、その検出された画素から、互いに連結する画素の集合を抽出し、該抽出した連結画素の集合に、所定の形状の特徴を有する集合がある場合に、該集合を白杖であると判断して視覚障害者を認識する特徴量抽出部３６とを有する。検出結果通知部３７から出力装置５へ白杖認識の結果を通知し、支援機能の稼動を行なう。
【解決手段】 映像撮影装置１から１フレーム分の映像データを静止画イメージデータとして取得する映像取得部３１と、その取得した静止画イメージデータのエッジを検出するエッジ検出部３２と、その検出したエッジ部のコントラストを強調したコントラスト強調画像を得るスケーリング部３３と、そのコントラスト強調画像に対応する静止画イメージデータから、所定の色の範囲のグレイ値を有する画素を検出する領域検出部３４と、その検出された画素から、互いに連結する画素の集合を抽出し、該抽出した連結画素の集合に、所定の形状の特徴を有する集合がある場合に、該集合を白杖であると判断して視覚障害者を認識する特徴量抽出部３６とを有する。検出結果通知部３７から出力装置５へ白杖認識の結果を通知し、支援機能の稼動を行なう。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、視覚障害者の歩行を支援するシステムおよび方法に関し、特に、画像処理により視覚障害者を認識するシステムおよび方法に関する。さらには、そのような視覚障害者認識を実行するのためのプログラムに関する。
【０００２】
【従来の技術】視覚障害者の歩行支援は、これまで、音声放送と押しボタンによる音声案内によって行なわれてきた。このような音声案内は、対象を特定しない無差別放送であるため、支援を必要としない人や施設が設置された周辺の住民にとっては騒音と感じられる場合がある。そのため、通常は、一定の音量以下でのサービス提供という制限が加えられており、自動車の走行音など周囲の騒音が大きな場所では、その騒音によって音声案内がかきけされてしまうことや、音声案内が行なわれる時間が日中の間などに限定されることがあり、視覚障害者への効果的な支援が行なえないという問題が発生していた。また、押しボタンを用いた、視覚障害者の要求に基づく音声案内は、視覚障害者の操作を前提とするため、視覚障害者が遠方から来てその土地・設備に不慣れな場合や、押しボタンの設置場所付近が混雑している場合は、設備そのものが視覚障害者に認知されずにその機能が発揮されないという問題や、押しボタンを探している最中に車道に出てしまう交通安全上の危険という問題があった。
【０００３】そこで、最近では、視覚障害者への限定的なサービスによる支援効果を得る方法として、白杖そのものにサービスの起因となる要素を埋め込む方法や専用の送受信機による方法が提案されている。一例として、特開平9-173379号公報に開示されている音声案内装置について、以下に簡単に説明する。
【０００４】図５は、上記公報に開示された音声案内装置の概略構成図である。図５を参照すると、案内情報を提供すべき場所に放送装置１０１が設置されている。この放送装置１０１は、２つのアンテナ１０４、１０６および信号処理部１０５を備える。アンテナ１０６は案内情報放送用アンテナであり、アンテナ１０４は視覚障害者が所持する白杖１００に内蔵された送信機１０２への電源の供給および送信機１０２からの信号コードを受信するためのアンテナである。送信機１０２は、アンテナ１０４から所定の発振モードのタイミングで発振される電磁波を受信すると、その送信機能の電源が充電されて、信号コードを出力する。この送信機１０２から送出された信号コードは、所定の受信モードのタイミングでアンテナ１０４にて受信される。放送装置１０１では、その受信された信号コードが正規の応答信号である場合にのみ、所定の案内情報をアンテナ１０６から送信する。アンテナ１０６から送信された案内情報は、視覚障害者が携帯する受信機１０３にて受信され、該受信機１０３のスピーカまたはイヤホンから音声として出力される。
【０００５】上記の他、視覚障害者に送信機能のない携帯情報端末を持たせて、携帯情報端末にて案内情報を受信し、音声として出力させる方法なども提案されている。
【０００６】
【発明が解決しようとする課題】しかしながら、上述したような白杖そのものサービスの起因となる要素を埋め込む方法や視覚障害者に携帯情報端末をもたせる方法においては、白杖を専用のものに変更したり、荷物が増えるといった点で視覚障害者への負担が増えるという問題がある。
【０００７】また、視覚障害者に専用白杖や携帯情報端末を配布したり、障害者自身が購入する必要があるため、コスト面での問題もある。
【０００８】さらには、そのような専用白杖や携帯情報端末を持たない障害者に対しては、音声案内を行なうことができないという問題もある。
【０００９】そこで、画像認識技術を利用した視覚障害者支援を行なうシステムの導入が検討されているが、これまでの画像認識技術はハードウェアによるものであったため、価格面、性能面での制約が多く、視覚障害者支援など広域に多数の設備を展開する必要のある用途では適用されることがなかった。
【００１０】本発明の目的は、上記各問題を解決し、視覚障害者への負担が無く、かつ、低コストな、視覚障害者支援方法、視覚障害者認識システムおよび視覚障害者認識方法を提供することにある。
【００１１】本発明のさらなる目的は、そのような視覚障害者認識を実行するのためのプログラムを提供することにある。
【００１２】
【課題を解決するための手段】上記目的を達成するため、本発明の視覚障害者支援方法は、歩行者を撮影した画像データに白杖を認識するための画像処理を施し、該画像処理により前記白杖が認識された場合にのみ、前記歩行者に対して予め設定された支援処理を実行することを特徴とする。
【００１３】本発明の第１の視覚障害者認識システムは、所定の場所に設置された撮影手段と、前記撮影手段からフレーム単位で順次取り込まれる対象データから、一定時間毎に、１フレーム分の映像データを静止画イメージデータとして取得する映像取得手段と、前記映像取得手段にて取得した静止画イメージデータから、撮影された物体の輪郭のみが強調されたエッジ画像を得るエッジ検出手段と、前記エッジ検出手段にて得られたエッジ画像のエッジ部のコントラストを強調したコントラスト強調画像を得るスケーリング手段と、前記スケーリング手段にて得られたコントラスト強調画像に対応する静止画イメージデータから、互いに連結する画素の集合を抽出し、該抽出した連結画素の集合に、所定の形状の特徴を有する集合がある場合に、該集合を白杖であると判断して視覚障害者を認識する特徴量抽出手段とを有することを特徴とする。
【００１４】上記の場合、前記エッジ検出手段におけるエッジ検出処理およびその処理に用いられるしきい値と、前記スケーリング手段にてコントラスト強調画像を得るために用いられる、前記エッジ画像におけるエッジ近傍のグレイ値の変化の度合を調節するためのゲイン値と、前記所定の色の範囲のグレイ値と、前記所定の形状の特徴とを少なくとも含む画像処理条件に関して前記撮影手段の設置環境に応じた条件を記録した個別環境データが格納された記憶手段をさらに有し、前記エッジ検出手段が、前記個別環境データに記録されたエッジ検出処理およびしきい値に基づいてエッジ検出を行い、前記スケーリング手段が、前記個別環境データに記録されたゲイン値に基づいてエッジ検出を行い、前記スケーリング手段が、前記個別環境データに記録されたゲイン値に基づいてエッジ近傍のグレイ値の変化の度合を調節してコントラストを強調し、前記領域検出手段が、前記個別環境データに記録された所定の色の範囲のグレイ値を有する画素を検出し、前記特徴量抽出手段が、前記個別環境データに記録された所定の形状の特徴を有する集合があるかどうかを判断するように構成してもよい。
【００１５】本発明の第２の視覚障害者認識システムは、所定の場所に設置された撮影手段と、前記撮影手段から取り込まれる映像の背景のみのイメージデータが格納された記憶手段と、前記撮影手段からフレーム単位で順次取り込まれる映像データから、一定時間毎に、１フレーム分の映像データを静止画イメージデータとして取得する映像取得手段と、前記映像取得手段にて取得された静止画イメージデータと前記記憶手段に格納されている背景イメージデータとの対応する画素同士の濃淡レベルを比較してその差分をとる画像差検出手段と、前記領域抽出手段にて得られる差分画像から、所定の色の範囲のグレイ値を有する画素を検出する領域検出手段と、前記領域検出手段にて検出された画素から、互いに連結する画素の集合を抽出し、該抽出した連結画素の集合に、所定の形状の特徴を有する集合がある場合に、該集合を白杖であると判断して視覚障害者を認識する特徴量抽出手段を有することを特徴とする。
【００１６】上記の場合、前記画像差検出手段が、前記静止画イメージデータと前記背景イメージデータとの対応する画素同士の濃淡レベルの比較を、予め設定されたグレイ値の範囲にわたって行なうように構成してもよい。また、前記濃淡レベルの比較が行なわれるグレイ値の範囲と、前記所定の色の範囲のグレイ値と、前記所定の形状の特徴とを少なくとも含む画像処理条件に関して前記撮影手段の設置環境に応じた条件を記録した個別環境データが前記記憶手段にさらに格納され、前記画像差検出手段が、前記静止画イメージデータと前記背景イメージデータとの対応する画素同士の濃淡レベルの比較を、前記個別環境データに記録されたグレイ値の範囲にわたって行い、前記領域検出手段が、前記個別環境データに記録された所定の色の範囲のグレイ値を有する画素を検出し、前記特徴量抽出手段が、前記個別環境データに記録された所定の形状の特徴を有する集合があるかどうかを判断するように構成してもよい。
【００１７】上述の第１および第２のいずれの発明の場合も、所定の視覚障害者支援機能を備えた出力手段と、前記特徴量抽出手段にて視覚障害者が認識されると、その旨を前記出力手段に通知して前記所定の視覚障害者支援機能の稼動を指示する検出結果通知手段とをさらに有する構成としてもよい。この場合、前記出力手段は、所定の視覚障害者支援機能を稼動中に前記検出結果通知手段から新たな稼動指示がなされた場合は該稼動指示を無視するように構成されてもよい。
【００１８】本発明の第１の視覚障害者認識方法は、所定の場所に設置された撮影カメラからフレーム単位で順次取り込まれる映像データから、一定時間毎に、１フレーム分の映像データを静止画イメージデータとして取得し、該取得した静止画イメージデータについて、所定の色の範囲のグレイ値を有する画素を検出し、該検出した画素から、互いに連結する画素の集合を抽出し、該抽出した連結画素の集合に、所定の形状の特徴を有する集合がある場合に、該集合を白杖であると判断して視覚障害者を認識することを特徴とする。
【００１９】上記の場合、前記静止画イメージデータから、撮影された物体の輪郭のみが強調されたエッジ画像を得、該得られたエッジ画像のエッジ部のコントラストを強調したコントラスト強調画像を得るステップをさらに含み、該ステップにより得られたコントラスト強調画像に対応する静止画イメージデータについて、前記所定の色の範囲のグレイ値を有する画素の検出を行なうようにしてもよい。また、前記エッジ画像を得るためのエッジ検出処理およびその処理に用いられるしきい値と、前記コントラスト強調画像を得るために用いられる、前記所定の形状の特徴とを少なくとも含む画像処理条件に関して前記撮影カメラの設置環境に応じた条件を記録した個別環境データを生成するステップをさらに含み、該ステップにて生成された個別環境データに基づいて、前記エッジ画像およびコントラスト強調画像の取得、前記画素の検出、および前記所定の形状の特徴を有する集合の有無の判断がそれぞれ行なわれるようにしてもよい。
【００２０】本発明の第２の視覚障害者認識方法は、所定の場所に設置された撮影カメラからフレーム単位で順次取り込まれる映像データから、一定時間毎に、１フレーム分の映像データを静止画イメージデータとして取得し、該取得した静止画イメージデータと予め用意された前記撮影カメラから取り込まれる映像の背景のみのイメージデータとの対応する画素同士の濃淡レベルを比較してその差分をとり、該差分画像について、所定の色の範囲のグレイ値を有する画素を検出し、該検出した画素から、互いに連結する画素の集合を抽出し、該抽出した連結画素の集合に、所定の形状の特徴を有する集合がある場合に、該集合を白杖であると判断して視覚障害者を認識することを特徴とする。
【００２１】上記の場合、前記静止画イメージデータと背景イメージデータとの対応する画素同士の濃淡レベルの比較を、予め設定されたグレイ値の範囲にわたって行なうようにしてもよい。また、前記所定の色の範囲のグレイ値と、所定の形状の特徴と、前記濃淡レベルの比較が行なわれるグレイ値の範囲とを少なくとも含む画像処理条件に関して前記撮影カメラの設置環境に応じた条件を記録した個別環境データを生成するステップをさらに含み、該ステップにて生成した個別環境データに基づいて、前記画素の検出、前記濃淡レベルの比較、および前記所定の形状の特徴を有する集合の判断をそれぞれ行なうようにしてもよい。
【００２２】本発明の第１のプログラムは、所定の場所に設置された撮影カメラからフレーム単位で順次取り込まれる映像データから、一定時間毎に、１フレーム分の映像データを静止画イメージデータとして取得する第１の処理と、前記第１の処理にて取得した静止画イメージデータから、撮影された物体の輪郭のみが強調されたエッジ画像を得る第２の処理と、前記第２の処理にて得られたエッジ画像のエッジ部のコントラストを強調したコントラスト強調画像を得る第３の処理と、前記第３の処理にて得られたコントラスト強調画像に対応する静止画イメージデータから、所定の色の範囲グレイ値を有する画素を検出する第４の処理と、前記第４の処理にて検出した画素から、互いに連結する画素の集合を抽出する第５の処理と、前記第５の処理にて抽出した連結画素の集合に、所定の形状の特徴を有する集合がある場合に、該集合を白杖と判断して視覚障害者を認識する第６の処理とをコンピュータに実行させることを特徴とする。
【００２３】上記の場合、前記エッジ画像を得るためのエッジ検出処理およびその処理に用いられるしきい値と、前記コントラスト強調画像を得るために用いられる、前記エッジ画像におけるエッジ近傍のグレイ値の変化の度合を調節するためのゲイン値と、前記所定の色の範囲のグレイ値と、前記所定の形状の特徴とを少なくとも含む画像処理条件に関して前記撮影カメラの設置環境に応じた条件を記録した個別環境データを記憶装置から読み込む処理をコンピュータにさらに実行させ、該読み込んだ個別環境データに基づいて、エッジ検出、コントラスト強調、画素の検出、所定の形状の特徴を有する集合の有無の判断がそれぞれ行なわれるようにしてもよい。
【００２４】また、本発明の第２のプログラムは、所定の場所に設置された撮影カメラからフレーム単位で順次取り込まれる映像データから、一定時間毎に、１フレーム分の映像データを静止画イメージデータとして取得する第１の処理と、前記第１の処理にて取得した静止画イメージデータと予め用意された前記撮影カメラから取り込まれる映像の背景のみのイメージデータとの対応する画素同士の農淡レベルを比較してその差分をとる第２の処理と、前記第２の処理にて得られる差分画像から、所定の色の範囲のグレイ値を有する画素を検出する第３の処理と、前記第３の処理にて検出した画素から、互いに連結する画素の集合を抽出する第４の処理と、前記第４の処理にて抽出した連結画素の集合に、所定の形状の特徴を有する集合がある場合に、該集合を白杖であると判断して視覚障害者を認識する第５の処理とをコンピュータに実行させることを特徴とする。
【００２５】上記の場合、前記第２の処理における濃淡レベルの比較が、予め設定されたグレイ値の範囲にわたって行われるようにしてもよい。また、前記所定の色の範囲のグレイ値と、前記所定の形状の特徴と、前記濃淡レベルの比較が行われるグレイ値の範囲とを少なくとも含む画像処理条件に関して前記撮影カメラの設置環境に応じた条件を記録した個別環境データを記憶装置から読み込む処理をコンピュータにさらに実行させ、該読み込んだ個別環境データに基づいて、濃淡レベルの比較、画素の検出、所定の形状の特徴を有する集合の有無の判断がそれぞれ行われるようにしてもよい。
【００２６】以上説明した本発明においては、例えばカメラ映像から視覚障害者が所持する白杖を画像認識することで視覚障害者を認識するため、白杖にサービスの起因となる要素を埋め込んだり、視覚障害者に携帯情報端末をもたせたりする必要はない。
【００２７】また、本発明によれば、視覚障害者を認識すると自動的に支援機能が稼動するようになっているので、視覚障害者は白杖を所持しているだけでよく、ボタンを押すといった視覚障害者側へのリクエストも要求されない。
【００２８】さらに、本発明によれば、ソフトウェアによる画像認識により視覚障害者の認識を行なうようになっているので、従来のハードウェアによるシステムのように価格面、性能面での制約が多くなるといった問題は生じない。加えて、公共の設備として既に設置された撮影カメラを利用することも可能である。さらに加えて、ソフトウェアで画像認識を実現したことにより、カメラ設置環境に応じたカスタマイズが容易になり、また、個別環境データで画像処理条件を設定可能なため、カメラ設置環境の変更に伴う機能の修正が容易である。
【００２９】
【発明の実施の形態】本発明は、視覚障害者の歩行を支援するためのものであって、歩道や建物等に設置された既設の撮影カメラやこれから新設される撮影カメラを用い、該撮影カメラで撮影されたカメラ映像からフレーム単位で映像データを切り出してそれを静止画として扱い、その静止画中に写る視覚障害者の白杖を画像認識することで、視覚障害者の認識を実現することを特徴とする。以下、本発明の実施形態について図面を参照して説明する。
【００３０】（第１の実施形態)図１は、本発明の第１の実施形態である視覚障害者認識システムの概略構成を示すブロック図である。この視覚障害者認識システムは、カメラ等の映像撮影装置１、画像入力ボード、ネットワーク・インタフェース・ボード等の映像入力装置２、データ処理装置３、記憶装置４、スピーカ等の出力装置５からなる。
【００３１】映像撮影装置１は、歩道や建物等に設置され、歩道や交差点などに設置された視覚障害者支援装置（音声案内を行なう装置）による支援が有効な場所を所定の方向から撮影する既設または新設の撮影カメラを有し、該カメラにて撮影された映像データが映像入力装置２に対して常時送信される。記憶装置４には、映像撮影装置１の撮影環境（カメラ設置環境）に応じた画像処理条件を記録した個別環境データ４１が格納されている。ここで、個別環境データ４１は、データ処理装置３にて、カメラ映像から切り出した静止画中に写る視覚障害者の白杖を画像認識する処理の中で、しきい値として用いられる各処理条件や選択条件を映像撮影装置１のカメラ設置環境に応じて予め設定したデータである。例えば、この個別環境データ４１には、詳しくは後述するが、エッジ検出部３２におけるエッジ検出処理およびその処理に用いられるしきい値、スケーリング部３３にてコントラスト強調画像を得るために用いられるゲイン値、領域検出部３４の処理における白杖の色の範囲を指定したグレイ値、特徴量抽出部３６の処理における杖形状を特定する要素など画像処理条件も記録される。なお、本形態では、この個別環境データ４１はカメラ設置時の環境を基準に設定されるものとするが、カメラ設置時後の環境変化を考慮して、一定期間毎に、または環境変化に伴って、個別環境データ４１の内容を更新するようにしてもよい。また、異なる環境に設置された複数の映像撮影装置からのカメラ映像を画像処理する場合には、記憶装置４には、各映像撮影装置毎にそれぞれのカメラ設置環境に応じた条件が設定された個別環境データ４１が格納される。
【００３２】データ処理装置３は、記憶装置４から読み込んだ個別環境データ４１に基づいて、映像入力装置２を介して入力されるカメラ映像から一定時間毎に１フレーム分のデータ（最新フレームデータ）を切り出して静止画イメージデータを取得し、該静止画イメージデータ毎に検知前処理、検知処理、検知後処理を繰り返すことで、カメラ映像から視覚障害者を画像認識処理にて検知する。その主な構成は、映像取得部３１、エッジ検出部３２、スケーリング部３３、領域検出部３４、ラベリング部３５、特徴量抽出部３６および検出結果通知部３７からなる。ここで、ラベリング部３５および特徴量抽出部３６が本発明の特徴量抽出手段を構成する。
【００３３】映像取得部３１は、映像入力装置２に対して最新の１フレーム分の静止画イメージデータを取得する命令を発行する。これにより、映像入力装置２を介して入力されるカメラ映像から、常に最新入力フレームに関する静止画イメージデータが取得される。例えば、個別環境データ４１にカメラ映像がNTSC(National Television System Committee)方式で撮影された白黒８bit映像である旨が記録されている場合、静止画イメージデータは、６４０×４８０の大きさで、グレイ値０〜２５５の範囲でグレイの濃度が分布する映像として与えられることになる。
【００３４】エッジ検出部３２は、個別環境データ４１に基づき、差分型エッジ検出オペレータ、テンプレート型エッジ検出オペレータ、零交差法、パーセンタイルフィルタの中から最適なエッジ検出処理を用いて、静止画イメージデータ中のエッジ(＝急激な濃淡変化)を検出する。一般に、エッジ(＝急激な濃淡変化)を検出する場合は、濃淡(グレイ値)に関する微分により求めることができる。
【００３５】以下に、各エッジ検出処理の特徴を簡単に説明する。
【００３６】（1）差分型エッジ検出オペレータ：この手法は、コンピュータにおけるデジタル映像において一般に用いられている。この手法では、デジタル画像の微分は差分で代用されることから、差分を求めることによりエッジの検出が行われる。エッジが明確な場合に、この手法を用いる。
【００３７】（2）テンプレート型エッジ検出オペレータ：この手法では、理想的なエッジパターンを想定し、該エッジパターンと画像とのテンプレートマッチングを行なうことでエッジを検出する。この手法では、検出対象となる全領域についてエッジ検出を行なう場合に、エッジが固定的に存在し、かつ、検出の障害となるような場合で、予めその領域をテンプレートで持つ必要がある場合に用いる。
【００３８】（3）零交差法：これは、濃淡の変化が正から負へ変化するなかで、エッジの中央値が出力レベル０を差す特徴を利用し、０を抽出することによりエッジを検出する手法である。この手法は、エッジ検出感度の設定が可能であり、非常に弱いエッジを検出する場合に有効である。検出感度を任意に設定することができるため、白杖を認識する場合には、この手法が主に用いられる。
【００３９】(4）パーセンタイルフィルタ：これは、エッジ検出処理に雑音対策を施す手法である．映像に雑音が入り易く、白杖の検出に障害をきたす場合に、本手法を用いる。
【００４０】スケーリング部３３は、エッジ検出処理を施した静止画イメージデータを白杖とそれ以外のイメージに切り分けを行なうために、静止画イメージデータ中の白杖付近のレンジを大きくして画像データのコントラストを強調する。この画像データのコントラストの強調は、個別環境データ４１に基づいた数値によりグレイ値にゲイン倍を行なうことにより実現される。具体的には、静止画イメージデータ中の白杖と背景のコントラストを広げるために、白杖付近のレンジを広げ、背景のグレイ値が飽和するようなゲイン値(入出力比)を設定する。このゲイン値を用いた処理により、エッジ近傍のグレイ値変化の度合を調節することができ、良好なコントラスト強調画像を得られる。このスケーリング部３３によるコントラスト強調は、エッジ検出処理後、静止画イメージデ−タ中の白杖と背景のコントラストが明確でない場合に特に有効である。
【００４１】領域検出部３４は、スケーリングが施された静止画イメージデータから、個別環境データ４１に白杖の色として設定されたグレイ値の範囲に合致するグレイ値を持つ画素を検出する。ラベリング部３５は、領域検出部３４にて検出された画素について、同じグレイ値を持つ連結画素の塊に同じラベルをつけてその輪郭を取り、これを図形として認識し、区別した後、区別した各図形に対してラベル付けを行なう。
【００４２】特徴量抽出部３６は、個別環境データ４１に記録された、白杖の形状の特徴的な要素である面積、長さ、幅、楕円の長軸短軸比の組み合わせからなる判別条件に基づいて、上記ラベリング部３５にてラベル付けされた図形の中から杖状の図形を判断する。検出結果通知手段３７は、特徴量抽出部３６にて杖状の図形があると判断された場合に、出力装置５に対して白杖を認識したという結果を通知し、支援機能の起動を促す。出力装置５は、音声放送などによる周知の視覚障害者支援機能を有し、検出結果通知手投３７からの挨出結果の通知を受信することにより、支援機能を稼動する。
【００４３】図２は、図１に示した視覚障害者認識システムのデータ処理装置において行なわれる。視覚障害者認識処理の一手順を示すフローチャート図である。以下、図１および図２を参照して、本形態の視覚障害者認識システムの動作について具体的に説明する。
【００４４】映像撮影装置１で撮影されたカメラ映像がリアルタイムに映像入力装置２に送信される。データ処理装置３は、まず、記憶装置４に格納された個別環境データ４１を読み込む（ステップＳ１）。続いて、映像取得部３１が、映像入力装置２に対して映像の１フレームデータを取得する命令を発行し、該発行により得られた静止画イメージデータを記憶装置４の例えばアドレス「Image [n](n=1)」に格納する(ステップＳ２)。ここで、カメラ映像が例えばＮＴＳＣ方式で撮影された白黒８bit映像である場合は、静止画イメージデータは、６４０×４８０の大きさで、グレイ値０〜２５５の範囲でグレイ値の濃度が分布する映像として与えられることになる。
【００４５】次いで、エッジ検出部３２が、個別環境データ４１に設定されたエッジ検出法および、エッジしきい値に基づき、記憶装置４のアドレス「Image[1]」に格納されている静止画イメージデータのエッジを検出し、該エッジ検出画像を記憶装置４の例えばアドレス「Edge[1]」に格納する(ステップＳ３)。このエッジ検出により、静止画イメージデータに撮影された物体の輪郭のみが強調された画像が得られる。
【００４６】次いで、スケーリング部３３が、個別環境データ４１に設定された数値に基づき記憶装置４のアドレス「Edge[1]」に格納されたエッジ検出画像のグレイ値をゲイン倍することにより画像のコントラストを強調し、該コントラスト強調画像を記憶装置４の例えばアドレス「Scaled[1]」に格納する(ステップＳ４)。この処理により、例えば０〜２５５段階で一様に分布されたエッジ画像が、エッジ部の画素のグレイ値の間隔が広げられ、隣接する画素のグレイ値の差が広がったコントラストの高い画像となる。
【００４７】次いで、領域検出部３４が、記憶装置４のアドレス「Scaled[1]」に格納されたコントラスト強調画像に対応する静止画イメージデータから、個別環境データ４１に設定されたグレイ値を持つ領域を検出することにより、白杖に近いグレイ値を持つ領域を切り出し、該切り出した画像を記憶装置４の例えばアドレス「Thresh[1]」に格納する(ステップＳ５)。この処理により、白杖に近いグレイ値を持つ領域のみの画像が残ることになる。
【００４８】次いで、ラベリング部３５が、記憶装置４のアドレス「Thresh[1]」に格納された画像に対して、同じグレイ値を持つ領域を検出して連結させることにより、画像中に存在するオブジェクトを判断、分類し、さらに、それら分類した領域にそれぞれラベルをつける(ステップＳ６)。すなわち、同じグレイ値が連結しているものを連結成分とみなし、その連結成分で囲まれた図形を同一の物体であると認識、物体ごとにＩＤ番号を振る。このレベル付けされた各図形は、配列として記憶装置４の例えばアドレス「Labeled[n]」に格納される。
【００４９】次いで、特徴量抽出部３６が、記憶装置４のアドレス「Labeled[n]」に格納された画像中の各図形に、個別環境データ４１に設定された杖の特徴量を満たすものがあるかどうかを判断する(ステップＳ７)。ここでは、杖の特徴量として、画面の大きさから求めた杖として認識する物体面積の最小、最大幅及び、杖を細長い物体とみなし、杖がどの角度で撮影されてもいい様に、細長い物体を囲む最小楕円の長軸と短軸比の幅の２つの条件を設定し、これら条件を満たす図形があるかどうかが判断される。このステップの処理で、各条件を満たす図形があった場合は、特徴量抽出部３６は、その図形は色として白杖の色に近く(上述のステップＳ５にて白状に近いグレイ値を持つ領域を抽出した図形であることから、白杖の色に近いことが分かる。)、形状として杖に近いことから、白杖であると判断して視覚障害者を認識する。
【００５０】上記ステップＳ７の処理において、杖の特徴量を満たす図形があった場合は、画像中に白杖を認識したとして、検出結果通知部３７が出力装置５へ白杖認識の結果を送信する(ステップＳ８)。白杖であると認識された図形がない場合は、上述のステップＳ２の処理に戻って再びステップＳ７までの処理を繰り返す。
【００５１】検出結果通知部３７から出力装置５へ白杖認識の結果が送信されると、出力装置５は支援機能が稼動し、音声案内などによる歩行者支援を実行する。
【００５２】上述の処理において、ステップＳ２では、一定時間毎に静止画イメージデータが取得されて記憶装置４に順次格納され、該格納された静止画イメージデータのそれぞれについて、順次、上述のステップＳ３〜Ｓ８までの処理が行われる。この場合、出力装置５が、検出結果通知部３７から白杖認識の結果を受信して視覚障害者支援機能を稼動している間に、検出結果通知部３７から次の静止画イメージデータに関する白杖認識結果を受信する場合がある。このような場合は、出力装置５は、白杖認識通知の間隔と支援機能の稼動時間（歩行者支援の実行時間、例えば音声案内を流す時間）とを比較し、支援機能の稼働中に次の白杖認識結果を受信した場合は、その白杖認識結果に対する支援機能の稼動を行なわないようにする。例えば、音声案内による放送の場合は、音声案内が最後まで終了していない場合には、次の白杖認識結果を受信しても支援機能の稼働は行なわない等の処理を行なう。
【００５３】（第２の実施形態）図３は、本発明の第２の実施形態である視覚障害者認識システムの概略横成を示すブロック図である。図３を参照すると、本形態のシステムは、上述の図１に示した構成において、データ処理装置３にエッジ検出部３２、スケーリング部３３がなく、かわりに画像差検出部３８を備える。また、記憶装置４には、個別環境データ４１の他に背景イメージデータ４２が格納されている。図３中、図１に示したものと同じものには同じ符号を付している。ここでは、それら同じものについての具体的な説明は省略し、異なる部分の動作を具体的に説明する。
【００５４】記憶装置４に格納されている背景イメージデータ４２は、映像撮影装置１から取り込まれるカメラ映像の背景、すなわち歩行者などが写っていない状態の映像データである。事前に背景のみ写っているフレームデータをあらかじめ用意し、これを背景イメージデータ４２として記憶装置４の例えばアドレス「Basic Image」に記憶しておく。映像取得部３１は、映像撮影装置１から映像入力装置３を経由して入力されるカメラ映像から、最新入力フレームに関する静止画イメージデータを取得する。この取得した静止画イメージデータは、記憶装置４の例えばアドレス「Image[n](n＝1)」に格納される。
【００５５】続いて、画像差検出部３８が、記憶装置4のアドレス「Image[1]」に格納された１フレーム分の静止画イメージデータと、アドレス「Basic Image」に格納された背景イメージデータ４２とを比較し、両イメージデータの差分を取る。この差分画像は、記憶装置４の例えばアドレス「Difference[1]」に格納される。この差分画像をとる際にも、記憶装置４に格納されている個別環境データ４１が用いられる。一例として、白黒８ビット映像の場合の処理を以下に説明する。
【００５６】白黒８ビット映像の場合、しきい値画像の各画素の濃淡レベルは０〜２５５までの数値で表わされる。個別環境データ４１には、検出する濃淡レベルの範囲となるグレイ値の範囲として、その０〜２５５の範囲のうちからカメラの設置環境に応じた最適な範囲が設定される。画像差検出部３８は、差分画像をとる際に、その個別環境データ４１に記録されたグレイ値の範囲を検出対象範囲として差分をとる。これにより、差分を検出する処理を高速に行なうことができ、検出精度も向上することになる。例えば、夜間の場合は特定の色の照明光が用いられているため、撮影したカメラ映像(白黒)では、差分画像は比較的に狭いグレイ値におちつくことになるが、このような場合に、上記のようなグレイ値の範囲をその比較的狭いグレイ値の範囲に設定することで、抽出する濃淡レベルの範囲を限定的に使用することができ、その結果、処理の高速化および検出精度の向上を図ることができる。なお、グレイ値の範囲を絞ることができないような場合は、対象範囲は０〜２５５までの全てのグレイ値を設定して処理を行なう。
【００５７】上述のようにして画像差検出部３８にて検出された差分画像について、領域検出部３４が白杖の色に近いグレイ値を持つ領域を検出し、これを記憶装置４のアドレス「Thresh[1]」に格納する。続いて、ラベリング部３５が、アドレス「Thresh[1]」に格納された画像について、互いに連結するグレイ値の塊に対して同じラベルをつけて図形を分類し、これを記憶装置４のアドレス「labeled[1]」に格納する。続いて、特徴量抽出部３６が、記憶装置４のアドレス「Labeled[1]」に格納された画像中の各図形の中に、個別環境データ４１に設定された杖の特徴量(面積や楕円の長軸短軸比など)を満たすものがあるかどうかを判断する。杖の形状を有する図形があった場合は、続いて、検出結果通知手段３７が、出力装置４に対して白杖を認識したという結果を通知し、支援機能の起動を促す。この領域検出部３４、ラベリング部３５、特徴量抽出部３６および検出結果通知手段３７の一連の処理は、前述した第１の実施形態における処理と同様である。
【００５８】以上説明した各実施形態では、記憶装置４に格納されている個別環境データ４１を利用して画像認識対象のカスタマイズなどを行なうようになっている。このため、システムの管理者は、それぞれのカメラ設置環境に応じてこの個別環境データ４１の内容を更新するだけで、それぞれのカメラ設置環境に応じた、画像認識対象のカスタマイズおよび画像認識処理を行なうことが可能である。
【００５９】また、各実施形態において、ラベリング部３５にてラベル付けされた図形について、各図形の領域の膨張、収縮する画像補正を適宜行なって、これを記憶装置４の例えばアドレス「Dilation[1]」に格納するようにし、特徴量抽出部３６が、そのアドレス「Dilation[1]」に格納された画像から、白杖の形状としての特徴的な要素を有する図形を白杖として認識するようにしてもよい。
【００６０】（他の実施形態：記録媒体）次に、本発明の他の実施形態の記録媒体について図面を参照して詳細に説明する。図４は、本発明の他の実施形態である、記録媒体を備えるシステムの構成を示すブロック図である。
【００６１】図４を参照すると、本実施形態は、前述した図１のシステムに視覚障害者認識のための画像認識処理プログラム(視覚障害者認識プログラム)を記録した記録媒体６を備える。この記録媒体６は磁気ディスク、半導体メモリ、その他の記録媒体であってもよい。視覚障害者認識プログラムは、記録媒体６からデータ処理装置３に読み込まれデータ処理装置３の動作を制御する。データ処理装置３は、視覚障害者認識プログラムの制御により、上述した映像取得部３１、エッジ検出部３２、スケーリング部３３、領域検出部３４、ラベリング部３５、特徴量抽出部３６、検出結果通知部３７の各部における処理を実行する。以下に、その主要な処理を簡単に説明する。
【００６２】まず、所定の場所に設置された映像撮影装置１からフレーム単位で順次取り込まれる映像データから一定時間毎に１フレ−ム分の映像データを静止画イメージデータとして取得する。次いで、その取得した静止画イメージデータから、撮影された物体の輪郭のみが強調されたエッジ画像を得、該得られたエッジ画像のエッジ部のコントラストを強調したコントラスト強調画像を得る。次いで、その得られたコントラスト強調画像に対応する静止画イメージデータから、所定の色の範囲のグレイ値を有する画素を検出し該検出した画素から、互いに連結する画素の集合を抽出する。そして、その抽出した連結画素の集合に、所定の形状の特徴を有する集合があるあるかどうかを判断し、あった場合に、その集合を白杖であると判断して視覚障害者を認識する。
【００６３】上記のプログラムは、エッジ画像を得るためのエッジ検出処理およびその処理に用いられるしきい値と、コントラスト強調画像を得るために用いられる、エッジ画像におけるエッジ近傍のグレイ値の変化の度合を調節するためのゲイン値と所定の色の範囲のグレイ値と、所定の形状の特徴とを少なくとも含む画像処理条件に関して映像撮影装置１のカメラ設置環境に応じた条件を記録した個別環境データ４１を記憶装置４から読み込む処理をコンピュータにさらに実行させるものとしてもよい。この場合、エッジ検出が個別環境データ４１に記録されたエッジ検出処理およびしきい値に基づいて行われ、コントラスト強調が個別環境データ４１に記録されたゲイン値を用いてエッジ近傍のグレイ値の変化の度合を調節することにより行われ、画素の検出が個別環境データ４１に記録された所定の色の範囲について行なわれ、所定の形状の特徴を有する集合の有無の判断が、個別環境データ４１に記録された所定の形状に基づいて行なわれる。
【００６４】ここでは、図１のシステムの例について説明したが、図３のシステムについても視覚障害者認識プログラムを記録した同様の記録媒体が用いられる。この場合、データ処理装置３は、記録媒体から読み込んだ視覚障害者認識プログラムによる制御により、前述した映像取得部３１、画像差検出部３８、領域検出部３４、ラベリング部３５、特徴量抽出部３６、検出結果通知部３７の各部における処理を実行する。
【００６５】以上説明した各実施形態のシステムは、既存の監視カメラ、モニターとの組み合わせが可能であり、また、他の画像認識機能との共存も可能である。
【００６６】また、ソフトウェアで画像認識を実現することにより、多様な検出結果通知部を実現することができ、様々な支援機能への対応、追加が容易である。
【００６７】
【発明の効果】以上説明したように、本発明によれば、視覚障害者に限定したサービスを提供することができるので、無差別に支援機能を起動し、他の人への迷惑となることをさけることができるという効果がある。
【００６８】また本発明によれば、白杖にサービスの起因となる要素を埋め込んだり、視覚障害者に携帯情報端末をもたせたりする必要がなく、また、視覚障害者は白杖を所持しているだけでよく、ボタンを押すといった視覚障害者側への操作も要求しないので、従来にない、視覚障害者への負担の少ない支援システムを実現することができるという効果がある。
【００６９】さらに本発明によれば、画像処理により白杖を認識して視覚障害者を認識するので、白杖を所持する全ての視覚障害者に対してサービスを提供することができるという効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施形態である視覚障害者認識システムの概略構成を示すブロック図である。
【図２】図１に示す視覚障害者認識システムのデータ処理装置において行われる、視覚障害者認識処理の一手順を示すフローチャート図である。
【図３】本発明の第２の実施形態である視覚障害者認識システムの概略構成を示すブロック図である。
【図４】本発明の他の実施形態である、記録媒体を備えるシステムの構成を示すブロック図である。
【図５】特開平09-173379号公報に開示されている音声案内装置の概略構成図である。
【符号の説明】
１ 映像撮影装置
２ 映像入力装置
３ データ処理装置
４ 記録装置
５ 出力装置
６ 記録媒体
３１ 映像取得部
３２ エッジ検出部
３３ スケーリング部
３４ 領域検出部
３５ ラベリング部
３６ 特徴量抽出部
３７ 検出結果通知部
３８ 画像差検出部
４１ 個別環境データ
４２ 背景イメージデータ
【０００１】
【発明の属する技術分野】本発明は、視覚障害者の歩行を支援するシステムおよび方法に関し、特に、画像処理により視覚障害者を認識するシステムおよび方法に関する。さらには、そのような視覚障害者認識を実行するのためのプログラムに関する。
【０００２】
【従来の技術】視覚障害者の歩行支援は、これまで、音声放送と押しボタンによる音声案内によって行なわれてきた。このような音声案内は、対象を特定しない無差別放送であるため、支援を必要としない人や施設が設置された周辺の住民にとっては騒音と感じられる場合がある。そのため、通常は、一定の音量以下でのサービス提供という制限が加えられており、自動車の走行音など周囲の騒音が大きな場所では、その騒音によって音声案内がかきけされてしまうことや、音声案内が行なわれる時間が日中の間などに限定されることがあり、視覚障害者への効果的な支援が行なえないという問題が発生していた。また、押しボタンを用いた、視覚障害者の要求に基づく音声案内は、視覚障害者の操作を前提とするため、視覚障害者が遠方から来てその土地・設備に不慣れな場合や、押しボタンの設置場所付近が混雑している場合は、設備そのものが視覚障害者に認知されずにその機能が発揮されないという問題や、押しボタンを探している最中に車道に出てしまう交通安全上の危険という問題があった。
【０００３】そこで、最近では、視覚障害者への限定的なサービスによる支援効果を得る方法として、白杖そのものにサービスの起因となる要素を埋め込む方法や専用の送受信機による方法が提案されている。一例として、特開平9-173379号公報に開示されている音声案内装置について、以下に簡単に説明する。
【０００４】図５は、上記公報に開示された音声案内装置の概略構成図である。図５を参照すると、案内情報を提供すべき場所に放送装置１０１が設置されている。この放送装置１０１は、２つのアンテナ１０４、１０６および信号処理部１０５を備える。アンテナ１０６は案内情報放送用アンテナであり、アンテナ１０４は視覚障害者が所持する白杖１００に内蔵された送信機１０２への電源の供給および送信機１０２からの信号コードを受信するためのアンテナである。送信機１０２は、アンテナ１０４から所定の発振モードのタイミングで発振される電磁波を受信すると、その送信機能の電源が充電されて、信号コードを出力する。この送信機１０２から送出された信号コードは、所定の受信モードのタイミングでアンテナ１０４にて受信される。放送装置１０１では、その受信された信号コードが正規の応答信号である場合にのみ、所定の案内情報をアンテナ１０６から送信する。アンテナ１０６から送信された案内情報は、視覚障害者が携帯する受信機１０３にて受信され、該受信機１０３のスピーカまたはイヤホンから音声として出力される。
【０００５】上記の他、視覚障害者に送信機能のない携帯情報端末を持たせて、携帯情報端末にて案内情報を受信し、音声として出力させる方法なども提案されている。
【０００６】
【発明が解決しようとする課題】しかしながら、上述したような白杖そのものサービスの起因となる要素を埋め込む方法や視覚障害者に携帯情報端末をもたせる方法においては、白杖を専用のものに変更したり、荷物が増えるといった点で視覚障害者への負担が増えるという問題がある。
【０００７】また、視覚障害者に専用白杖や携帯情報端末を配布したり、障害者自身が購入する必要があるため、コスト面での問題もある。
【０００８】さらには、そのような専用白杖や携帯情報端末を持たない障害者に対しては、音声案内を行なうことができないという問題もある。
【０００９】そこで、画像認識技術を利用した視覚障害者支援を行なうシステムの導入が検討されているが、これまでの画像認識技術はハードウェアによるものであったため、価格面、性能面での制約が多く、視覚障害者支援など広域に多数の設備を展開する必要のある用途では適用されることがなかった。
【００１０】本発明の目的は、上記各問題を解決し、視覚障害者への負担が無く、かつ、低コストな、視覚障害者支援方法、視覚障害者認識システムおよび視覚障害者認識方法を提供することにある。
【００１１】本発明のさらなる目的は、そのような視覚障害者認識を実行するのためのプログラムを提供することにある。
【００１２】
【課題を解決するための手段】上記目的を達成するため、本発明の視覚障害者支援方法は、歩行者を撮影した画像データに白杖を認識するための画像処理を施し、該画像処理により前記白杖が認識された場合にのみ、前記歩行者に対して予め設定された支援処理を実行することを特徴とする。
【００１３】本発明の第１の視覚障害者認識システムは、所定の場所に設置された撮影手段と、前記撮影手段からフレーム単位で順次取り込まれる対象データから、一定時間毎に、１フレーム分の映像データを静止画イメージデータとして取得する映像取得手段と、前記映像取得手段にて取得した静止画イメージデータから、撮影された物体の輪郭のみが強調されたエッジ画像を得るエッジ検出手段と、前記エッジ検出手段にて得られたエッジ画像のエッジ部のコントラストを強調したコントラスト強調画像を得るスケーリング手段と、前記スケーリング手段にて得られたコントラスト強調画像に対応する静止画イメージデータから、互いに連結する画素の集合を抽出し、該抽出した連結画素の集合に、所定の形状の特徴を有する集合がある場合に、該集合を白杖であると判断して視覚障害者を認識する特徴量抽出手段とを有することを特徴とする。
【００１４】上記の場合、前記エッジ検出手段におけるエッジ検出処理およびその処理に用いられるしきい値と、前記スケーリング手段にてコントラスト強調画像を得るために用いられる、前記エッジ画像におけるエッジ近傍のグレイ値の変化の度合を調節するためのゲイン値と、前記所定の色の範囲のグレイ値と、前記所定の形状の特徴とを少なくとも含む画像処理条件に関して前記撮影手段の設置環境に応じた条件を記録した個別環境データが格納された記憶手段をさらに有し、前記エッジ検出手段が、前記個別環境データに記録されたエッジ検出処理およびしきい値に基づいてエッジ検出を行い、前記スケーリング手段が、前記個別環境データに記録されたゲイン値に基づいてエッジ検出を行い、前記スケーリング手段が、前記個別環境データに記録されたゲイン値に基づいてエッジ近傍のグレイ値の変化の度合を調節してコントラストを強調し、前記領域検出手段が、前記個別環境データに記録された所定の色の範囲のグレイ値を有する画素を検出し、前記特徴量抽出手段が、前記個別環境データに記録された所定の形状の特徴を有する集合があるかどうかを判断するように構成してもよい。
【００１５】本発明の第２の視覚障害者認識システムは、所定の場所に設置された撮影手段と、前記撮影手段から取り込まれる映像の背景のみのイメージデータが格納された記憶手段と、前記撮影手段からフレーム単位で順次取り込まれる映像データから、一定時間毎に、１フレーム分の映像データを静止画イメージデータとして取得する映像取得手段と、前記映像取得手段にて取得された静止画イメージデータと前記記憶手段に格納されている背景イメージデータとの対応する画素同士の濃淡レベルを比較してその差分をとる画像差検出手段と、前記領域抽出手段にて得られる差分画像から、所定の色の範囲のグレイ値を有する画素を検出する領域検出手段と、前記領域検出手段にて検出された画素から、互いに連結する画素の集合を抽出し、該抽出した連結画素の集合に、所定の形状の特徴を有する集合がある場合に、該集合を白杖であると判断して視覚障害者を認識する特徴量抽出手段を有することを特徴とする。
【００１６】上記の場合、前記画像差検出手段が、前記静止画イメージデータと前記背景イメージデータとの対応する画素同士の濃淡レベルの比較を、予め設定されたグレイ値の範囲にわたって行なうように構成してもよい。また、前記濃淡レベルの比較が行なわれるグレイ値の範囲と、前記所定の色の範囲のグレイ値と、前記所定の形状の特徴とを少なくとも含む画像処理条件に関して前記撮影手段の設置環境に応じた条件を記録した個別環境データが前記記憶手段にさらに格納され、前記画像差検出手段が、前記静止画イメージデータと前記背景イメージデータとの対応する画素同士の濃淡レベルの比較を、前記個別環境データに記録されたグレイ値の範囲にわたって行い、前記領域検出手段が、前記個別環境データに記録された所定の色の範囲のグレイ値を有する画素を検出し、前記特徴量抽出手段が、前記個別環境データに記録された所定の形状の特徴を有する集合があるかどうかを判断するように構成してもよい。
【００１７】上述の第１および第２のいずれの発明の場合も、所定の視覚障害者支援機能を備えた出力手段と、前記特徴量抽出手段にて視覚障害者が認識されると、その旨を前記出力手段に通知して前記所定の視覚障害者支援機能の稼動を指示する検出結果通知手段とをさらに有する構成としてもよい。この場合、前記出力手段は、所定の視覚障害者支援機能を稼動中に前記検出結果通知手段から新たな稼動指示がなされた場合は該稼動指示を無視するように構成されてもよい。
【００１８】本発明の第１の視覚障害者認識方法は、所定の場所に設置された撮影カメラからフレーム単位で順次取り込まれる映像データから、一定時間毎に、１フレーム分の映像データを静止画イメージデータとして取得し、該取得した静止画イメージデータについて、所定の色の範囲のグレイ値を有する画素を検出し、該検出した画素から、互いに連結する画素の集合を抽出し、該抽出した連結画素の集合に、所定の形状の特徴を有する集合がある場合に、該集合を白杖であると判断して視覚障害者を認識することを特徴とする。
【００１９】上記の場合、前記静止画イメージデータから、撮影された物体の輪郭のみが強調されたエッジ画像を得、該得られたエッジ画像のエッジ部のコントラストを強調したコントラスト強調画像を得るステップをさらに含み、該ステップにより得られたコントラスト強調画像に対応する静止画イメージデータについて、前記所定の色の範囲のグレイ値を有する画素の検出を行なうようにしてもよい。また、前記エッジ画像を得るためのエッジ検出処理およびその処理に用いられるしきい値と、前記コントラスト強調画像を得るために用いられる、前記所定の形状の特徴とを少なくとも含む画像処理条件に関して前記撮影カメラの設置環境に応じた条件を記録した個別環境データを生成するステップをさらに含み、該ステップにて生成された個別環境データに基づいて、前記エッジ画像およびコントラスト強調画像の取得、前記画素の検出、および前記所定の形状の特徴を有する集合の有無の判断がそれぞれ行なわれるようにしてもよい。
【００２０】本発明の第２の視覚障害者認識方法は、所定の場所に設置された撮影カメラからフレーム単位で順次取り込まれる映像データから、一定時間毎に、１フレーム分の映像データを静止画イメージデータとして取得し、該取得した静止画イメージデータと予め用意された前記撮影カメラから取り込まれる映像の背景のみのイメージデータとの対応する画素同士の濃淡レベルを比較してその差分をとり、該差分画像について、所定の色の範囲のグレイ値を有する画素を検出し、該検出した画素から、互いに連結する画素の集合を抽出し、該抽出した連結画素の集合に、所定の形状の特徴を有する集合がある場合に、該集合を白杖であると判断して視覚障害者を認識することを特徴とする。
【００２１】上記の場合、前記静止画イメージデータと背景イメージデータとの対応する画素同士の濃淡レベルの比較を、予め設定されたグレイ値の範囲にわたって行なうようにしてもよい。また、前記所定の色の範囲のグレイ値と、所定の形状の特徴と、前記濃淡レベルの比較が行なわれるグレイ値の範囲とを少なくとも含む画像処理条件に関して前記撮影カメラの設置環境に応じた条件を記録した個別環境データを生成するステップをさらに含み、該ステップにて生成した個別環境データに基づいて、前記画素の検出、前記濃淡レベルの比較、および前記所定の形状の特徴を有する集合の判断をそれぞれ行なうようにしてもよい。
【００２２】本発明の第１のプログラムは、所定の場所に設置された撮影カメラからフレーム単位で順次取り込まれる映像データから、一定時間毎に、１フレーム分の映像データを静止画イメージデータとして取得する第１の処理と、前記第１の処理にて取得した静止画イメージデータから、撮影された物体の輪郭のみが強調されたエッジ画像を得る第２の処理と、前記第２の処理にて得られたエッジ画像のエッジ部のコントラストを強調したコントラスト強調画像を得る第３の処理と、前記第３の処理にて得られたコントラスト強調画像に対応する静止画イメージデータから、所定の色の範囲グレイ値を有する画素を検出する第４の処理と、前記第４の処理にて検出した画素から、互いに連結する画素の集合を抽出する第５の処理と、前記第５の処理にて抽出した連結画素の集合に、所定の形状の特徴を有する集合がある場合に、該集合を白杖と判断して視覚障害者を認識する第６の処理とをコンピュータに実行させることを特徴とする。
【００２３】上記の場合、前記エッジ画像を得るためのエッジ検出処理およびその処理に用いられるしきい値と、前記コントラスト強調画像を得るために用いられる、前記エッジ画像におけるエッジ近傍のグレイ値の変化の度合を調節するためのゲイン値と、前記所定の色の範囲のグレイ値と、前記所定の形状の特徴とを少なくとも含む画像処理条件に関して前記撮影カメラの設置環境に応じた条件を記録した個別環境データを記憶装置から読み込む処理をコンピュータにさらに実行させ、該読み込んだ個別環境データに基づいて、エッジ検出、コントラスト強調、画素の検出、所定の形状の特徴を有する集合の有無の判断がそれぞれ行なわれるようにしてもよい。
【００２４】また、本発明の第２のプログラムは、所定の場所に設置された撮影カメラからフレーム単位で順次取り込まれる映像データから、一定時間毎に、１フレーム分の映像データを静止画イメージデータとして取得する第１の処理と、前記第１の処理にて取得した静止画イメージデータと予め用意された前記撮影カメラから取り込まれる映像の背景のみのイメージデータとの対応する画素同士の農淡レベルを比較してその差分をとる第２の処理と、前記第２の処理にて得られる差分画像から、所定の色の範囲のグレイ値を有する画素を検出する第３の処理と、前記第３の処理にて検出した画素から、互いに連結する画素の集合を抽出する第４の処理と、前記第４の処理にて抽出した連結画素の集合に、所定の形状の特徴を有する集合がある場合に、該集合を白杖であると判断して視覚障害者を認識する第５の処理とをコンピュータに実行させることを特徴とする。
【００２５】上記の場合、前記第２の処理における濃淡レベルの比較が、予め設定されたグレイ値の範囲にわたって行われるようにしてもよい。また、前記所定の色の範囲のグレイ値と、前記所定の形状の特徴と、前記濃淡レベルの比較が行われるグレイ値の範囲とを少なくとも含む画像処理条件に関して前記撮影カメラの設置環境に応じた条件を記録した個別環境データを記憶装置から読み込む処理をコンピュータにさらに実行させ、該読み込んだ個別環境データに基づいて、濃淡レベルの比較、画素の検出、所定の形状の特徴を有する集合の有無の判断がそれぞれ行われるようにしてもよい。
【００２６】以上説明した本発明においては、例えばカメラ映像から視覚障害者が所持する白杖を画像認識することで視覚障害者を認識するため、白杖にサービスの起因となる要素を埋め込んだり、視覚障害者に携帯情報端末をもたせたりする必要はない。
【００２７】また、本発明によれば、視覚障害者を認識すると自動的に支援機能が稼動するようになっているので、視覚障害者は白杖を所持しているだけでよく、ボタンを押すといった視覚障害者側へのリクエストも要求されない。
【００２８】さらに、本発明によれば、ソフトウェアによる画像認識により視覚障害者の認識を行なうようになっているので、従来のハードウェアによるシステムのように価格面、性能面での制約が多くなるといった問題は生じない。加えて、公共の設備として既に設置された撮影カメラを利用することも可能である。さらに加えて、ソフトウェアで画像認識を実現したことにより、カメラ設置環境に応じたカスタマイズが容易になり、また、個別環境データで画像処理条件を設定可能なため、カメラ設置環境の変更に伴う機能の修正が容易である。
【００２９】
【発明の実施の形態】本発明は、視覚障害者の歩行を支援するためのものであって、歩道や建物等に設置された既設の撮影カメラやこれから新設される撮影カメラを用い、該撮影カメラで撮影されたカメラ映像からフレーム単位で映像データを切り出してそれを静止画として扱い、その静止画中に写る視覚障害者の白杖を画像認識することで、視覚障害者の認識を実現することを特徴とする。以下、本発明の実施形態について図面を参照して説明する。
【００３０】（第１の実施形態)図１は、本発明の第１の実施形態である視覚障害者認識システムの概略構成を示すブロック図である。この視覚障害者認識システムは、カメラ等の映像撮影装置１、画像入力ボード、ネットワーク・インタフェース・ボード等の映像入力装置２、データ処理装置３、記憶装置４、スピーカ等の出力装置５からなる。
【００３１】映像撮影装置１は、歩道や建物等に設置され、歩道や交差点などに設置された視覚障害者支援装置（音声案内を行なう装置）による支援が有効な場所を所定の方向から撮影する既設または新設の撮影カメラを有し、該カメラにて撮影された映像データが映像入力装置２に対して常時送信される。記憶装置４には、映像撮影装置１の撮影環境（カメラ設置環境）に応じた画像処理条件を記録した個別環境データ４１が格納されている。ここで、個別環境データ４１は、データ処理装置３にて、カメラ映像から切り出した静止画中に写る視覚障害者の白杖を画像認識する処理の中で、しきい値として用いられる各処理条件や選択条件を映像撮影装置１のカメラ設置環境に応じて予め設定したデータである。例えば、この個別環境データ４１には、詳しくは後述するが、エッジ検出部３２におけるエッジ検出処理およびその処理に用いられるしきい値、スケーリング部３３にてコントラスト強調画像を得るために用いられるゲイン値、領域検出部３４の処理における白杖の色の範囲を指定したグレイ値、特徴量抽出部３６の処理における杖形状を特定する要素など画像処理条件も記録される。なお、本形態では、この個別環境データ４１はカメラ設置時の環境を基準に設定されるものとするが、カメラ設置時後の環境変化を考慮して、一定期間毎に、または環境変化に伴って、個別環境データ４１の内容を更新するようにしてもよい。また、異なる環境に設置された複数の映像撮影装置からのカメラ映像を画像処理する場合には、記憶装置４には、各映像撮影装置毎にそれぞれのカメラ設置環境に応じた条件が設定された個別環境データ４１が格納される。
【００３２】データ処理装置３は、記憶装置４から読み込んだ個別環境データ４１に基づいて、映像入力装置２を介して入力されるカメラ映像から一定時間毎に１フレーム分のデータ（最新フレームデータ）を切り出して静止画イメージデータを取得し、該静止画イメージデータ毎に検知前処理、検知処理、検知後処理を繰り返すことで、カメラ映像から視覚障害者を画像認識処理にて検知する。その主な構成は、映像取得部３１、エッジ検出部３２、スケーリング部３３、領域検出部３４、ラベリング部３５、特徴量抽出部３６および検出結果通知部３７からなる。ここで、ラベリング部３５および特徴量抽出部３６が本発明の特徴量抽出手段を構成する。
【００３３】映像取得部３１は、映像入力装置２に対して最新の１フレーム分の静止画イメージデータを取得する命令を発行する。これにより、映像入力装置２を介して入力されるカメラ映像から、常に最新入力フレームに関する静止画イメージデータが取得される。例えば、個別環境データ４１にカメラ映像がNTSC(National Television System Committee)方式で撮影された白黒８bit映像である旨が記録されている場合、静止画イメージデータは、６４０×４８０の大きさで、グレイ値０〜２５５の範囲でグレイの濃度が分布する映像として与えられることになる。
【００３４】エッジ検出部３２は、個別環境データ４１に基づき、差分型エッジ検出オペレータ、テンプレート型エッジ検出オペレータ、零交差法、パーセンタイルフィルタの中から最適なエッジ検出処理を用いて、静止画イメージデータ中のエッジ(＝急激な濃淡変化)を検出する。一般に、エッジ(＝急激な濃淡変化)を検出する場合は、濃淡(グレイ値)に関する微分により求めることができる。
【００３５】以下に、各エッジ検出処理の特徴を簡単に説明する。
【００３６】（1）差分型エッジ検出オペレータ：この手法は、コンピュータにおけるデジタル映像において一般に用いられている。この手法では、デジタル画像の微分は差分で代用されることから、差分を求めることによりエッジの検出が行われる。エッジが明確な場合に、この手法を用いる。
【００３７】（2）テンプレート型エッジ検出オペレータ：この手法では、理想的なエッジパターンを想定し、該エッジパターンと画像とのテンプレートマッチングを行なうことでエッジを検出する。この手法では、検出対象となる全領域についてエッジ検出を行なう場合に、エッジが固定的に存在し、かつ、検出の障害となるような場合で、予めその領域をテンプレートで持つ必要がある場合に用いる。
【００３８】（3）零交差法：これは、濃淡の変化が正から負へ変化するなかで、エッジの中央値が出力レベル０を差す特徴を利用し、０を抽出することによりエッジを検出する手法である。この手法は、エッジ検出感度の設定が可能であり、非常に弱いエッジを検出する場合に有効である。検出感度を任意に設定することができるため、白杖を認識する場合には、この手法が主に用いられる。
【００３９】(4）パーセンタイルフィルタ：これは、エッジ検出処理に雑音対策を施す手法である．映像に雑音が入り易く、白杖の検出に障害をきたす場合に、本手法を用いる。
【００４０】スケーリング部３３は、エッジ検出処理を施した静止画イメージデータを白杖とそれ以外のイメージに切り分けを行なうために、静止画イメージデータ中の白杖付近のレンジを大きくして画像データのコントラストを強調する。この画像データのコントラストの強調は、個別環境データ４１に基づいた数値によりグレイ値にゲイン倍を行なうことにより実現される。具体的には、静止画イメージデータ中の白杖と背景のコントラストを広げるために、白杖付近のレンジを広げ、背景のグレイ値が飽和するようなゲイン値(入出力比)を設定する。このゲイン値を用いた処理により、エッジ近傍のグレイ値変化の度合を調節することができ、良好なコントラスト強調画像を得られる。このスケーリング部３３によるコントラスト強調は、エッジ検出処理後、静止画イメージデ−タ中の白杖と背景のコントラストが明確でない場合に特に有効である。
【００４１】領域検出部３４は、スケーリングが施された静止画イメージデータから、個別環境データ４１に白杖の色として設定されたグレイ値の範囲に合致するグレイ値を持つ画素を検出する。ラベリング部３５は、領域検出部３４にて検出された画素について、同じグレイ値を持つ連結画素の塊に同じラベルをつけてその輪郭を取り、これを図形として認識し、区別した後、区別した各図形に対してラベル付けを行なう。
【００４２】特徴量抽出部３６は、個別環境データ４１に記録された、白杖の形状の特徴的な要素である面積、長さ、幅、楕円の長軸短軸比の組み合わせからなる判別条件に基づいて、上記ラベリング部３５にてラベル付けされた図形の中から杖状の図形を判断する。検出結果通知手段３７は、特徴量抽出部３６にて杖状の図形があると判断された場合に、出力装置５に対して白杖を認識したという結果を通知し、支援機能の起動を促す。出力装置５は、音声放送などによる周知の視覚障害者支援機能を有し、検出結果通知手投３７からの挨出結果の通知を受信することにより、支援機能を稼動する。
【００４３】図２は、図１に示した視覚障害者認識システムのデータ処理装置において行なわれる。視覚障害者認識処理の一手順を示すフローチャート図である。以下、図１および図２を参照して、本形態の視覚障害者認識システムの動作について具体的に説明する。
【００４４】映像撮影装置１で撮影されたカメラ映像がリアルタイムに映像入力装置２に送信される。データ処理装置３は、まず、記憶装置４に格納された個別環境データ４１を読み込む（ステップＳ１）。続いて、映像取得部３１が、映像入力装置２に対して映像の１フレームデータを取得する命令を発行し、該発行により得られた静止画イメージデータを記憶装置４の例えばアドレス「Image [n](n=1)」に格納する(ステップＳ２)。ここで、カメラ映像が例えばＮＴＳＣ方式で撮影された白黒８bit映像である場合は、静止画イメージデータは、６４０×４８０の大きさで、グレイ値０〜２５５の範囲でグレイ値の濃度が分布する映像として与えられることになる。
【００４５】次いで、エッジ検出部３２が、個別環境データ４１に設定されたエッジ検出法および、エッジしきい値に基づき、記憶装置４のアドレス「Image[1]」に格納されている静止画イメージデータのエッジを検出し、該エッジ検出画像を記憶装置４の例えばアドレス「Edge[1]」に格納する(ステップＳ３)。このエッジ検出により、静止画イメージデータに撮影された物体の輪郭のみが強調された画像が得られる。
【００４６】次いで、スケーリング部３３が、個別環境データ４１に設定された数値に基づき記憶装置４のアドレス「Edge[1]」に格納されたエッジ検出画像のグレイ値をゲイン倍することにより画像のコントラストを強調し、該コントラスト強調画像を記憶装置４の例えばアドレス「Scaled[1]」に格納する(ステップＳ４)。この処理により、例えば０〜２５５段階で一様に分布されたエッジ画像が、エッジ部の画素のグレイ値の間隔が広げられ、隣接する画素のグレイ値の差が広がったコントラストの高い画像となる。
【００４７】次いで、領域検出部３４が、記憶装置４のアドレス「Scaled[1]」に格納されたコントラスト強調画像に対応する静止画イメージデータから、個別環境データ４１に設定されたグレイ値を持つ領域を検出することにより、白杖に近いグレイ値を持つ領域を切り出し、該切り出した画像を記憶装置４の例えばアドレス「Thresh[1]」に格納する(ステップＳ５)。この処理により、白杖に近いグレイ値を持つ領域のみの画像が残ることになる。
【００４８】次いで、ラベリング部３５が、記憶装置４のアドレス「Thresh[1]」に格納された画像に対して、同じグレイ値を持つ領域を検出して連結させることにより、画像中に存在するオブジェクトを判断、分類し、さらに、それら分類した領域にそれぞれラベルをつける(ステップＳ６)。すなわち、同じグレイ値が連結しているものを連結成分とみなし、その連結成分で囲まれた図形を同一の物体であると認識、物体ごとにＩＤ番号を振る。このレベル付けされた各図形は、配列として記憶装置４の例えばアドレス「Labeled[n]」に格納される。
【００４９】次いで、特徴量抽出部３６が、記憶装置４のアドレス「Labeled[n]」に格納された画像中の各図形に、個別環境データ４１に設定された杖の特徴量を満たすものがあるかどうかを判断する(ステップＳ７)。ここでは、杖の特徴量として、画面の大きさから求めた杖として認識する物体面積の最小、最大幅及び、杖を細長い物体とみなし、杖がどの角度で撮影されてもいい様に、細長い物体を囲む最小楕円の長軸と短軸比の幅の２つの条件を設定し、これら条件を満たす図形があるかどうかが判断される。このステップの処理で、各条件を満たす図形があった場合は、特徴量抽出部３６は、その図形は色として白杖の色に近く(上述のステップＳ５にて白状に近いグレイ値を持つ領域を抽出した図形であることから、白杖の色に近いことが分かる。)、形状として杖に近いことから、白杖であると判断して視覚障害者を認識する。
【００５０】上記ステップＳ７の処理において、杖の特徴量を満たす図形があった場合は、画像中に白杖を認識したとして、検出結果通知部３７が出力装置５へ白杖認識の結果を送信する(ステップＳ８)。白杖であると認識された図形がない場合は、上述のステップＳ２の処理に戻って再びステップＳ７までの処理を繰り返す。
【００５１】検出結果通知部３７から出力装置５へ白杖認識の結果が送信されると、出力装置５は支援機能が稼動し、音声案内などによる歩行者支援を実行する。
【００５２】上述の処理において、ステップＳ２では、一定時間毎に静止画イメージデータが取得されて記憶装置４に順次格納され、該格納された静止画イメージデータのそれぞれについて、順次、上述のステップＳ３〜Ｓ８までの処理が行われる。この場合、出力装置５が、検出結果通知部３７から白杖認識の結果を受信して視覚障害者支援機能を稼動している間に、検出結果通知部３７から次の静止画イメージデータに関する白杖認識結果を受信する場合がある。このような場合は、出力装置５は、白杖認識通知の間隔と支援機能の稼動時間（歩行者支援の実行時間、例えば音声案内を流す時間）とを比較し、支援機能の稼働中に次の白杖認識結果を受信した場合は、その白杖認識結果に対する支援機能の稼動を行なわないようにする。例えば、音声案内による放送の場合は、音声案内が最後まで終了していない場合には、次の白杖認識結果を受信しても支援機能の稼働は行なわない等の処理を行なう。
【００５３】（第２の実施形態）図３は、本発明の第２の実施形態である視覚障害者認識システムの概略横成を示すブロック図である。図３を参照すると、本形態のシステムは、上述の図１に示した構成において、データ処理装置３にエッジ検出部３２、スケーリング部３３がなく、かわりに画像差検出部３８を備える。また、記憶装置４には、個別環境データ４１の他に背景イメージデータ４２が格納されている。図３中、図１に示したものと同じものには同じ符号を付している。ここでは、それら同じものについての具体的な説明は省略し、異なる部分の動作を具体的に説明する。
【００５４】記憶装置４に格納されている背景イメージデータ４２は、映像撮影装置１から取り込まれるカメラ映像の背景、すなわち歩行者などが写っていない状態の映像データである。事前に背景のみ写っているフレームデータをあらかじめ用意し、これを背景イメージデータ４２として記憶装置４の例えばアドレス「Basic Image」に記憶しておく。映像取得部３１は、映像撮影装置１から映像入力装置３を経由して入力されるカメラ映像から、最新入力フレームに関する静止画イメージデータを取得する。この取得した静止画イメージデータは、記憶装置４の例えばアドレス「Image[n](n＝1)」に格納される。
【００５５】続いて、画像差検出部３８が、記憶装置4のアドレス「Image[1]」に格納された１フレーム分の静止画イメージデータと、アドレス「Basic Image」に格納された背景イメージデータ４２とを比較し、両イメージデータの差分を取る。この差分画像は、記憶装置４の例えばアドレス「Difference[1]」に格納される。この差分画像をとる際にも、記憶装置４に格納されている個別環境データ４１が用いられる。一例として、白黒８ビット映像の場合の処理を以下に説明する。
【００５６】白黒８ビット映像の場合、しきい値画像の各画素の濃淡レベルは０〜２５５までの数値で表わされる。個別環境データ４１には、検出する濃淡レベルの範囲となるグレイ値の範囲として、その０〜２５５の範囲のうちからカメラの設置環境に応じた最適な範囲が設定される。画像差検出部３８は、差分画像をとる際に、その個別環境データ４１に記録されたグレイ値の範囲を検出対象範囲として差分をとる。これにより、差分を検出する処理を高速に行なうことができ、検出精度も向上することになる。例えば、夜間の場合は特定の色の照明光が用いられているため、撮影したカメラ映像(白黒)では、差分画像は比較的に狭いグレイ値におちつくことになるが、このような場合に、上記のようなグレイ値の範囲をその比較的狭いグレイ値の範囲に設定することで、抽出する濃淡レベルの範囲を限定的に使用することができ、その結果、処理の高速化および検出精度の向上を図ることができる。なお、グレイ値の範囲を絞ることができないような場合は、対象範囲は０〜２５５までの全てのグレイ値を設定して処理を行なう。
【００５７】上述のようにして画像差検出部３８にて検出された差分画像について、領域検出部３４が白杖の色に近いグレイ値を持つ領域を検出し、これを記憶装置４のアドレス「Thresh[1]」に格納する。続いて、ラベリング部３５が、アドレス「Thresh[1]」に格納された画像について、互いに連結するグレイ値の塊に対して同じラベルをつけて図形を分類し、これを記憶装置４のアドレス「labeled[1]」に格納する。続いて、特徴量抽出部３６が、記憶装置４のアドレス「Labeled[1]」に格納された画像中の各図形の中に、個別環境データ４１に設定された杖の特徴量(面積や楕円の長軸短軸比など)を満たすものがあるかどうかを判断する。杖の形状を有する図形があった場合は、続いて、検出結果通知手段３７が、出力装置４に対して白杖を認識したという結果を通知し、支援機能の起動を促す。この領域検出部３４、ラベリング部３５、特徴量抽出部３６および検出結果通知手段３７の一連の処理は、前述した第１の実施形態における処理と同様である。
【００５８】以上説明した各実施形態では、記憶装置４に格納されている個別環境データ４１を利用して画像認識対象のカスタマイズなどを行なうようになっている。このため、システムの管理者は、それぞれのカメラ設置環境に応じてこの個別環境データ４１の内容を更新するだけで、それぞれのカメラ設置環境に応じた、画像認識対象のカスタマイズおよび画像認識処理を行なうことが可能である。
【００５９】また、各実施形態において、ラベリング部３５にてラベル付けされた図形について、各図形の領域の膨張、収縮する画像補正を適宜行なって、これを記憶装置４の例えばアドレス「Dilation[1]」に格納するようにし、特徴量抽出部３６が、そのアドレス「Dilation[1]」に格納された画像から、白杖の形状としての特徴的な要素を有する図形を白杖として認識するようにしてもよい。
【００６０】（他の実施形態：記録媒体）次に、本発明の他の実施形態の記録媒体について図面を参照して詳細に説明する。図４は、本発明の他の実施形態である、記録媒体を備えるシステムの構成を示すブロック図である。
【００６１】図４を参照すると、本実施形態は、前述した図１のシステムに視覚障害者認識のための画像認識処理プログラム(視覚障害者認識プログラム)を記録した記録媒体６を備える。この記録媒体６は磁気ディスク、半導体メモリ、その他の記録媒体であってもよい。視覚障害者認識プログラムは、記録媒体６からデータ処理装置３に読み込まれデータ処理装置３の動作を制御する。データ処理装置３は、視覚障害者認識プログラムの制御により、上述した映像取得部３１、エッジ検出部３２、スケーリング部３３、領域検出部３４、ラベリング部３５、特徴量抽出部３６、検出結果通知部３７の各部における処理を実行する。以下に、その主要な処理を簡単に説明する。
【００６２】まず、所定の場所に設置された映像撮影装置１からフレーム単位で順次取り込まれる映像データから一定時間毎に１フレ−ム分の映像データを静止画イメージデータとして取得する。次いで、その取得した静止画イメージデータから、撮影された物体の輪郭のみが強調されたエッジ画像を得、該得られたエッジ画像のエッジ部のコントラストを強調したコントラスト強調画像を得る。次いで、その得られたコントラスト強調画像に対応する静止画イメージデータから、所定の色の範囲のグレイ値を有する画素を検出し該検出した画素から、互いに連結する画素の集合を抽出する。そして、その抽出した連結画素の集合に、所定の形状の特徴を有する集合があるあるかどうかを判断し、あった場合に、その集合を白杖であると判断して視覚障害者を認識する。
【００６３】上記のプログラムは、エッジ画像を得るためのエッジ検出処理およびその処理に用いられるしきい値と、コントラスト強調画像を得るために用いられる、エッジ画像におけるエッジ近傍のグレイ値の変化の度合を調節するためのゲイン値と所定の色の範囲のグレイ値と、所定の形状の特徴とを少なくとも含む画像処理条件に関して映像撮影装置１のカメラ設置環境に応じた条件を記録した個別環境データ４１を記憶装置４から読み込む処理をコンピュータにさらに実行させるものとしてもよい。この場合、エッジ検出が個別環境データ４１に記録されたエッジ検出処理およびしきい値に基づいて行われ、コントラスト強調が個別環境データ４１に記録されたゲイン値を用いてエッジ近傍のグレイ値の変化の度合を調節することにより行われ、画素の検出が個別環境データ４１に記録された所定の色の範囲について行なわれ、所定の形状の特徴を有する集合の有無の判断が、個別環境データ４１に記録された所定の形状に基づいて行なわれる。
【００６４】ここでは、図１のシステムの例について説明したが、図３のシステムについても視覚障害者認識プログラムを記録した同様の記録媒体が用いられる。この場合、データ処理装置３は、記録媒体から読み込んだ視覚障害者認識プログラムによる制御により、前述した映像取得部３１、画像差検出部３８、領域検出部３４、ラベリング部３５、特徴量抽出部３６、検出結果通知部３７の各部における処理を実行する。
【００６５】以上説明した各実施形態のシステムは、既存の監視カメラ、モニターとの組み合わせが可能であり、また、他の画像認識機能との共存も可能である。
【００６６】また、ソフトウェアで画像認識を実現することにより、多様な検出結果通知部を実現することができ、様々な支援機能への対応、追加が容易である。
【００６７】
【発明の効果】以上説明したように、本発明によれば、視覚障害者に限定したサービスを提供することができるので、無差別に支援機能を起動し、他の人への迷惑となることをさけることができるという効果がある。
【００６８】また本発明によれば、白杖にサービスの起因となる要素を埋め込んだり、視覚障害者に携帯情報端末をもたせたりする必要がなく、また、視覚障害者は白杖を所持しているだけでよく、ボタンを押すといった視覚障害者側への操作も要求しないので、従来にない、視覚障害者への負担の少ない支援システムを実現することができるという効果がある。
【００６９】さらに本発明によれば、画像処理により白杖を認識して視覚障害者を認識するので、白杖を所持する全ての視覚障害者に対してサービスを提供することができるという効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施形態である視覚障害者認識システムの概略構成を示すブロック図である。
【図２】図１に示す視覚障害者認識システムのデータ処理装置において行われる、視覚障害者認識処理の一手順を示すフローチャート図である。
【図３】本発明の第２の実施形態である視覚障害者認識システムの概略構成を示すブロック図である。
【図４】本発明の他の実施形態である、記録媒体を備えるシステムの構成を示すブロック図である。
【図５】特開平09-173379号公報に開示されている音声案内装置の概略構成図である。
【符号の説明】
１ 映像撮影装置
２ 映像入力装置
３ データ処理装置
４ 記録装置
５ 出力装置
６ 記録媒体
３１ 映像取得部
３２ エッジ検出部
３３ スケーリング部
３４ 領域検出部
３５ ラベリング部
３６ 特徴量抽出部
３７ 検出結果通知部
３８ 画像差検出部
４１ 個別環境データ
４２ 背景イメージデータ
【特許請求の範囲】
【請求項１】 歩行者を撮影した画像データに白杖を認識するための画像処理を施し、該画像処理により前記白杖が認識された場合にのみ、前記歩行者に対して予め設定された支援処理を実行することを特徴とする視覚障害者支援方法。
【請求項２】 所定の場所に設置された撮影手段と、前記撮影手段からフレーム単位で順次取り込まれる映像データから、一定時間毎に、１フレーム分の映像データを静止画イメージデータとして取得する映像取得手段と、前記映像取得手段にて取得した静止画イメージデータから、撮影された物体の輪郭のみが強調されたエッジ画像を得るエッジ検出手段と、前記エッジ検出手段にて得られたエッジ画像のエッジ部のコントラストを強調したコントラスト強調画像を得るスケーリング手段と、前記スケーリング手段にて得られたコントラスト強調画像に対応する静止画イメージデータから、所定の色の範囲のグレイ値を有する画素を検出する領域検出手段と、前記領域検出手段にて検出された画像から、互いに連結する画素の集合を抽出し、該抽出した連結画素の集合に、所定の形状の特徴を有する集合がある場合に、該集合を白杖であると判断して視覚障害者を認識する特徴量抽出手段とを有することを特徴とする視覚障害者認識システム。
【請求項３】 前記エッジ検出手段におけるエッジ検出処理およびその処理に用いられるしきい値と、前記スケーリング手段にてコントラスト強調画像を得るために用いられる、前記エッジ画像におけるエッジ近傍のグレイ値の変化の度合を調節するためのゲイン値と、前記所定の色の範囲のグレイ値と、前記所定の形状の特徴とを少なくとも含む画像処理条件に関して前記撮影手段の設置環境に応じた条件を記録した個別環境データが格納された記憶手段をさらに有し、前記エッジ検出手段が、前記個別環境データに記録されたエッジ検出処理およびしきい値に基づいてエッジ検出を行い、前記スケーリング手段が、前記個別環境データに記憶されたゲイン値に基づいてエッジ近傍のグレイ値の変化の度合いを調節してコントラストを強調し、前記領域検出手段が、前記個別環境データに記録された所定の色の範囲のグレイ値を有する画素を検出し、前記特徴量抽出手段が、前記個別環境データに記録された所定の形状の特徴を有する集合があるかどうかを判断するように構成されていることを特徴とする請求項２に記載の視覚障害者認識システム。
【請求項４】 所定の場所に設置された撮影手段と、前記撮影手段から取り込まれる映像の背景のみのイメージデータが格納された記憶手段と、前記撮影手段からフレーム単位で取り込まれる映像データから、一定時間毎に、１フレーム分の映像データを静止画イメージデータとして取得する映像取得手段と、前記映像取得手段にて取得された静止画イメージデータと前記記憶手段にて格納されている背景イメージデータとの対応する画素同士の濃淡レベルを比較してその差分をとる映像取得手段と、前記画像差検出手段にて得られた差分画像から、所定の色の範囲のグレイ値を有する画素を検出する領域検出手段と、前記領域検出手段にて検出された画像から、互いに連結する画素の集合を抽出し、該抽出した連結画素の集合に、所定の形状の特徴を有する集合がある場合に、該集合を白杖であると判断して視覚障害者を認識する特徴量抽出手段とを有することを特徴とする視覚障害者認識システム。
【請求項５】 前記画像差検出手段が、前記静止画イメージデータと前記背景イメージデータとの対応する画素同士の濃淡レベルの比較を、予め設定されたグレイ値の範囲にわたって行なうよう構成されていることを特徴とする請求項４に記載の視覚障害者認識システム。
【請求項６】 前記所定の色の範囲のグレイ値と、前記所定の形状の特徴と、前記濃淡レベルの比較が行なわれるグレイ値の範囲とを少なくとも含む画像処理条件に関して前記撮影手段の設置環境に応じた条件を記録した個別環境データが前記記憶手段にさらに格納され、前記画像差検出手段が、前記静止画イメージデータと前記背景イメージデータとの対応する画素同士の濃淡レベルの比較を、前記個別環境データに記録されたグレイ値の範囲にわたって行い、前記領域検出手段が、前記個別環境データに記録された所定の色の範囲のグレイ値を有する画素を検出し、前記特徴量抽出手段が、前記個別環境データに記録された所定の形状の特徴を有する集合があるかどうかを判断するように構成されていることを特徴とする請求項５に記載の視覚障害者認識システム。
【請求項７】 前記所定の色の範囲が、白杖の色に相当する色の範囲であり、前記所定の形状の特徴が、杖の形状を特定する複数の要素であることを特徴とする請求項２または４に記載の視覚障害者認識システム。
【請求項８】 前記杖の形状を特定する複数の要素が、少なくとも面積、真円度、楕円の長軸短軸比であることを特徴とする請求項７に記載の視覚障害者認識システム。
【請求項９】 所定の視覚障害者支援機能を備えた出力手段と、前記特徴量抽出手段にて視覚障害者が認識されると、その旨を前記出力手段に通知して前記所定の視覚障害者支援機能の稼動を指示する検出結果通知手段とをさらに有することを特徴とする請求項２または４に記載の視覚障害者認識システム。
【請求項１０】 前記出力手段は、所定の視覚障害者支援機能を稼動中に前記検出結果通知手段から新たな稼動指示がなされた場合は該稼動指示を無視するように構成されていることを特徴とする請求項９に記載の視覚障害者認識システム。
【請求項１１】 所定の場所に設置された撮影カメラからフレーム単位で順次取り込まれる映像データから、一定時間毎に、１フレーム分の映像データを静止画イメージデータとして取得し、該取得した静止画イメージデータについて、所定の色の範囲のグレイ値を有する画素を検出し、該検出した画素から、互いに連結する画素の集合を抽出し、該抽出した連結画素の集合に、所定の形状の特徴を有する集合がある場合に、該集合を白杖であると判断して視覚障害者を認識することを特徴とする視覚障害者認識方法。
【請求項１２】 前記静止画イメージデータから、撮影された物体の輪郭のみが強調されたエッジ画像を得、該得られたエッジ画像のエッジ部のコントラストを強調したコントラスト強調画像を得るステップをさらに含み、該ステップにより得られたコントラスト強調画像に対応する静止画イメージデータについて、前記所定の色の範囲のグレイ値を有する画素の検出を行なうことを特徴とする請求項１１に記載の視覚障害者認識方法。
【請求項１３】 前記エッジ画像を得るためのエッジ検出処理およびその処理に用いられるしきい値と、前記コントラスト強調画像を得る為に用いられる、前記エッジ画像におけるエッジ近傍のグレイ値の変化の度合を調節するためのゲイン値と、前記所定の色の範囲のグレイ値と、前記所定の形状の特徴とを少なくとも含む画像処理条件に関して前記撮影カメラの設置環境に応じた条件を記録した個別環境データを生成するステップをさらに含み、該ステップにて生成された個別環境データに基づいて、前記エッジ画像およびコントラスト強調画像の取得、前記画素の検出、および前記所定の形状の特徴を有する集合の有無の判断がそれぞれ行なわれることを特徴とする請求項１２に記載の視覚障害者認識方法。
【請求項１４】 所定の場所に設置された撮影カメラからフレーム単位で順次取り込まれる映像データから、一定時間毎に、１フレーム分の映像データを静止画イメージデータとして取得し、該取得した静止画イメージデータと予め用意された前記撮影カメラから取り込まれる映像の背景のみのイメージデータとの対応する画素同士の濃淡レベルを比較してその差分をとり、該差分画像について、所定の色の範囲のグレイ値を有する画素を検出し、該検出した画素から、互いに連結する画素の集合を抽出し、該抽出した連結画素の集合に、所定の形状の特徴を有する集合がある場合に、該集合を白杖であると判断して視覚障害者を認識することを特徴とする視覚障害者認識方法。
【請求項１５】 前記静止画イメージデータと背景イメージデータとの対応する画素同士の濃淡レベルの比較を、予め設定されたグレイ値の範囲にわたって行なうことを特徴とする請求項１４に記載の視覚障害者認識方法。
【請求項１６】 前記所定の色の範囲のグレイ値と、所定の形状の特徴と、前記濃淡レベルの比較が行なわれるグレイ値の範囲とを少なくとも含む画像処理条件に関して前記撮影カメラの設置環境に応じた条件を記録した個別環境データを生成するステップをさらに含み、該ステップにて生成した個別環境データに基づいて、前記画素の検出、前記濃淡レベルの比較、および前記所定の形状の特徴を有する集合の判断をそれぞれ行なうことを特徴とする請求項１５に記載の視覚障害者認識方法。
【請求項１７】 前記所定の色の範囲が、白杖の色に相当する色の範囲であり、前記所定の形状の特徴が、杖の形状を特定する複数の要素であることを特徴とする請求項１１または１４に記載の視覚障害者認識方法。
【請求項１８】 前記杖の形状を特定する複数の要素が、面積、真円度、楕円の長軸短軸比であることを特徴とする請求項１１または１４に記載の視覚障害者認識方法。
【請求項１９】 所定の場所に設置された撮影カメラからフレーム単位で順次取り込まれる映像データから、一定時間毎に、１フレーム分の映像データを静止画イメージデータとして取得する第１の処理と、前記第１の処理にて取得した静止画イメージデータから、撮影された物体の輪郭のみが強調されたエッジ画像を得る第２の処理と、前記第２の処理にて得られたエッジ画像のエッジ部のコントラストを強調したコントラスト強調画像を得る第３の処理と、前記第３の処理にて得られたコントラスト強調画像に対応する静止画イメージデータから、所定の色の範囲のグレイ値を有する画素を検出する第４の処理と、前記第４の処理にて検出した画素から、互いに連結する画素の集合を抽出する第５の処理と、前記第５の処理にて抽出した連結画素の集合に、所定の形状の特徴を有する集合がある場合に、該集合を白杖であると判断して視覚障害者を認識する第６の処理とをコンピュータに実行させることを特徴とするプログラム。
【請求項２０】 前記エッジ画像を得るためのエッジ検出処理およびその処理に用いられるしきい値と、前記コントラスト強調画像を得るために用いられる、前記エッジ画像におけるエッジ近傍のグレイ値の変化の度合を調節するためのゲイン値と、前記所定の色の範囲のグレイ値と、前記所定の形状の特徴とを少なくとも含む画像処理条件に関して前記撮影カメラの設置環境に応じた条件を記録した個別環境データを記憶装置から読み込む処理をコンピュータにさらに実行させ、前記第２の処理におけるエッジ検出が前記個別環境データに記録されたエッジ検出処理およびしきい値に基づいて行われ、前記第３の処理におけるコントラスト強調が、前記個別環境データに記録されたゲイン値を用いてエッジ近傍のグレイ値の変化の度合を調節することにより行なわれ、前記第４の処理における画素の検出が前記個別環境データに記録された所定の色の範囲について行なわれ、前記第５の処理における所定の形状の特徴を有する集合の有無の判断が、前記個別環境データに記録された所定の形状に基づいて行なわれることを特徴とする請求項１９に記載のプログラム。
【請求項２１】 所定の場所に設置された撮影カメラからフレーム単位で順次取り込まれる映像データから、一定時間毎に、１フレーム分の映像データ静止画イメージデータとして取得する第１の処理と、前記第１の処理にて取得した静止画イメージデータと予め用意された前記撮影カメラから取り込まれる映像の背景のみのイメージデータとの対応する画素同士の濃淡レベルを比較してその差分をとる第２の処理と、前記第２の処理にて得られる差分画像から、所定の色の範囲のグレイ値を有する画素を検出する第３の処理と、前記第３の処理にて検出した画素から、互いに連結する画素の集合を抽出する第３の処理と、前記第４の処理にて抽出した連結画素の集合に、所定の形状の特徴を有する画素の集合がある場合に、該集合を白杖であると判断して視覚障害者を認識する第５の処理とをコンピュータに実行させることを特徴するプログラム。
【請求項２２】 前記第２の処理における濃淡レベルの比較が、予め設定されたグレイ値の範囲にわたって行なわれることを特徴とする請求項２１に記載のプログラム。
【請求項２３】 前記所定の色の範囲のグレイ値と、前記所定の形状の特徴と、前記濃淡レベルの比較が行なわれるグレイ値の範囲とを少なくとも含む画像処理要件に関して前記撮影カメラの設置環境に応じた条件を記録した個別環境データを記憶装置から読み込む処理をコンピュータにさらに実行させ、前記第２の処理における濃淡レベルの比較が、前記個別環境データに記録されたグレイ値の範囲にわたって行なわれ、前記第３の処理における画素の検出が前記個別環境データに記録された所定の色の範囲について行なわれ、前記第４の処理における所定の形状の特徴を有する集合の有無の判断が、前記個別環境データに記載された所定の形状に基づいて行なわれることを特徴とする請求項２２に記載のプログラム。
【請求項１】 歩行者を撮影した画像データに白杖を認識するための画像処理を施し、該画像処理により前記白杖が認識された場合にのみ、前記歩行者に対して予め設定された支援処理を実行することを特徴とする視覚障害者支援方法。
【請求項２】 所定の場所に設置された撮影手段と、前記撮影手段からフレーム単位で順次取り込まれる映像データから、一定時間毎に、１フレーム分の映像データを静止画イメージデータとして取得する映像取得手段と、前記映像取得手段にて取得した静止画イメージデータから、撮影された物体の輪郭のみが強調されたエッジ画像を得るエッジ検出手段と、前記エッジ検出手段にて得られたエッジ画像のエッジ部のコントラストを強調したコントラスト強調画像を得るスケーリング手段と、前記スケーリング手段にて得られたコントラスト強調画像に対応する静止画イメージデータから、所定の色の範囲のグレイ値を有する画素を検出する領域検出手段と、前記領域検出手段にて検出された画像から、互いに連結する画素の集合を抽出し、該抽出した連結画素の集合に、所定の形状の特徴を有する集合がある場合に、該集合を白杖であると判断して視覚障害者を認識する特徴量抽出手段とを有することを特徴とする視覚障害者認識システム。
【請求項３】 前記エッジ検出手段におけるエッジ検出処理およびその処理に用いられるしきい値と、前記スケーリング手段にてコントラスト強調画像を得るために用いられる、前記エッジ画像におけるエッジ近傍のグレイ値の変化の度合を調節するためのゲイン値と、前記所定の色の範囲のグレイ値と、前記所定の形状の特徴とを少なくとも含む画像処理条件に関して前記撮影手段の設置環境に応じた条件を記録した個別環境データが格納された記憶手段をさらに有し、前記エッジ検出手段が、前記個別環境データに記録されたエッジ検出処理およびしきい値に基づいてエッジ検出を行い、前記スケーリング手段が、前記個別環境データに記憶されたゲイン値に基づいてエッジ近傍のグレイ値の変化の度合いを調節してコントラストを強調し、前記領域検出手段が、前記個別環境データに記録された所定の色の範囲のグレイ値を有する画素を検出し、前記特徴量抽出手段が、前記個別環境データに記録された所定の形状の特徴を有する集合があるかどうかを判断するように構成されていることを特徴とする請求項２に記載の視覚障害者認識システム。
【請求項４】 所定の場所に設置された撮影手段と、前記撮影手段から取り込まれる映像の背景のみのイメージデータが格納された記憶手段と、前記撮影手段からフレーム単位で取り込まれる映像データから、一定時間毎に、１フレーム分の映像データを静止画イメージデータとして取得する映像取得手段と、前記映像取得手段にて取得された静止画イメージデータと前記記憶手段にて格納されている背景イメージデータとの対応する画素同士の濃淡レベルを比較してその差分をとる映像取得手段と、前記画像差検出手段にて得られた差分画像から、所定の色の範囲のグレイ値を有する画素を検出する領域検出手段と、前記領域検出手段にて検出された画像から、互いに連結する画素の集合を抽出し、該抽出した連結画素の集合に、所定の形状の特徴を有する集合がある場合に、該集合を白杖であると判断して視覚障害者を認識する特徴量抽出手段とを有することを特徴とする視覚障害者認識システム。
【請求項５】 前記画像差検出手段が、前記静止画イメージデータと前記背景イメージデータとの対応する画素同士の濃淡レベルの比較を、予め設定されたグレイ値の範囲にわたって行なうよう構成されていることを特徴とする請求項４に記載の視覚障害者認識システム。
【請求項６】 前記所定の色の範囲のグレイ値と、前記所定の形状の特徴と、前記濃淡レベルの比較が行なわれるグレイ値の範囲とを少なくとも含む画像処理条件に関して前記撮影手段の設置環境に応じた条件を記録した個別環境データが前記記憶手段にさらに格納され、前記画像差検出手段が、前記静止画イメージデータと前記背景イメージデータとの対応する画素同士の濃淡レベルの比較を、前記個別環境データに記録されたグレイ値の範囲にわたって行い、前記領域検出手段が、前記個別環境データに記録された所定の色の範囲のグレイ値を有する画素を検出し、前記特徴量抽出手段が、前記個別環境データに記録された所定の形状の特徴を有する集合があるかどうかを判断するように構成されていることを特徴とする請求項５に記載の視覚障害者認識システム。
【請求項７】 前記所定の色の範囲が、白杖の色に相当する色の範囲であり、前記所定の形状の特徴が、杖の形状を特定する複数の要素であることを特徴とする請求項２または４に記載の視覚障害者認識システム。
【請求項８】 前記杖の形状を特定する複数の要素が、少なくとも面積、真円度、楕円の長軸短軸比であることを特徴とする請求項７に記載の視覚障害者認識システム。
【請求項９】 所定の視覚障害者支援機能を備えた出力手段と、前記特徴量抽出手段にて視覚障害者が認識されると、その旨を前記出力手段に通知して前記所定の視覚障害者支援機能の稼動を指示する検出結果通知手段とをさらに有することを特徴とする請求項２または４に記載の視覚障害者認識システム。
【請求項１０】 前記出力手段は、所定の視覚障害者支援機能を稼動中に前記検出結果通知手段から新たな稼動指示がなされた場合は該稼動指示を無視するように構成されていることを特徴とする請求項９に記載の視覚障害者認識システム。
【請求項１１】 所定の場所に設置された撮影カメラからフレーム単位で順次取り込まれる映像データから、一定時間毎に、１フレーム分の映像データを静止画イメージデータとして取得し、該取得した静止画イメージデータについて、所定の色の範囲のグレイ値を有する画素を検出し、該検出した画素から、互いに連結する画素の集合を抽出し、該抽出した連結画素の集合に、所定の形状の特徴を有する集合がある場合に、該集合を白杖であると判断して視覚障害者を認識することを特徴とする視覚障害者認識方法。
【請求項１２】 前記静止画イメージデータから、撮影された物体の輪郭のみが強調されたエッジ画像を得、該得られたエッジ画像のエッジ部のコントラストを強調したコントラスト強調画像を得るステップをさらに含み、該ステップにより得られたコントラスト強調画像に対応する静止画イメージデータについて、前記所定の色の範囲のグレイ値を有する画素の検出を行なうことを特徴とする請求項１１に記載の視覚障害者認識方法。
【請求項１３】 前記エッジ画像を得るためのエッジ検出処理およびその処理に用いられるしきい値と、前記コントラスト強調画像を得る為に用いられる、前記エッジ画像におけるエッジ近傍のグレイ値の変化の度合を調節するためのゲイン値と、前記所定の色の範囲のグレイ値と、前記所定の形状の特徴とを少なくとも含む画像処理条件に関して前記撮影カメラの設置環境に応じた条件を記録した個別環境データを生成するステップをさらに含み、該ステップにて生成された個別環境データに基づいて、前記エッジ画像およびコントラスト強調画像の取得、前記画素の検出、および前記所定の形状の特徴を有する集合の有無の判断がそれぞれ行なわれることを特徴とする請求項１２に記載の視覚障害者認識方法。
【請求項１４】 所定の場所に設置された撮影カメラからフレーム単位で順次取り込まれる映像データから、一定時間毎に、１フレーム分の映像データを静止画イメージデータとして取得し、該取得した静止画イメージデータと予め用意された前記撮影カメラから取り込まれる映像の背景のみのイメージデータとの対応する画素同士の濃淡レベルを比較してその差分をとり、該差分画像について、所定の色の範囲のグレイ値を有する画素を検出し、該検出した画素から、互いに連結する画素の集合を抽出し、該抽出した連結画素の集合に、所定の形状の特徴を有する集合がある場合に、該集合を白杖であると判断して視覚障害者を認識することを特徴とする視覚障害者認識方法。
【請求項１５】 前記静止画イメージデータと背景イメージデータとの対応する画素同士の濃淡レベルの比較を、予め設定されたグレイ値の範囲にわたって行なうことを特徴とする請求項１４に記載の視覚障害者認識方法。
【請求項１６】 前記所定の色の範囲のグレイ値と、所定の形状の特徴と、前記濃淡レベルの比較が行なわれるグレイ値の範囲とを少なくとも含む画像処理条件に関して前記撮影カメラの設置環境に応じた条件を記録した個別環境データを生成するステップをさらに含み、該ステップにて生成した個別環境データに基づいて、前記画素の検出、前記濃淡レベルの比較、および前記所定の形状の特徴を有する集合の判断をそれぞれ行なうことを特徴とする請求項１５に記載の視覚障害者認識方法。
【請求項１７】 前記所定の色の範囲が、白杖の色に相当する色の範囲であり、前記所定の形状の特徴が、杖の形状を特定する複数の要素であることを特徴とする請求項１１または１４に記載の視覚障害者認識方法。
【請求項１８】 前記杖の形状を特定する複数の要素が、面積、真円度、楕円の長軸短軸比であることを特徴とする請求項１１または１４に記載の視覚障害者認識方法。
【請求項１９】 所定の場所に設置された撮影カメラからフレーム単位で順次取り込まれる映像データから、一定時間毎に、１フレーム分の映像データを静止画イメージデータとして取得する第１の処理と、前記第１の処理にて取得した静止画イメージデータから、撮影された物体の輪郭のみが強調されたエッジ画像を得る第２の処理と、前記第２の処理にて得られたエッジ画像のエッジ部のコントラストを強調したコントラスト強調画像を得る第３の処理と、前記第３の処理にて得られたコントラスト強調画像に対応する静止画イメージデータから、所定の色の範囲のグレイ値を有する画素を検出する第４の処理と、前記第４の処理にて検出した画素から、互いに連結する画素の集合を抽出する第５の処理と、前記第５の処理にて抽出した連結画素の集合に、所定の形状の特徴を有する集合がある場合に、該集合を白杖であると判断して視覚障害者を認識する第６の処理とをコンピュータに実行させることを特徴とするプログラム。
【請求項２０】 前記エッジ画像を得るためのエッジ検出処理およびその処理に用いられるしきい値と、前記コントラスト強調画像を得るために用いられる、前記エッジ画像におけるエッジ近傍のグレイ値の変化の度合を調節するためのゲイン値と、前記所定の色の範囲のグレイ値と、前記所定の形状の特徴とを少なくとも含む画像処理条件に関して前記撮影カメラの設置環境に応じた条件を記録した個別環境データを記憶装置から読み込む処理をコンピュータにさらに実行させ、前記第２の処理におけるエッジ検出が前記個別環境データに記録されたエッジ検出処理およびしきい値に基づいて行われ、前記第３の処理におけるコントラスト強調が、前記個別環境データに記録されたゲイン値を用いてエッジ近傍のグレイ値の変化の度合を調節することにより行なわれ、前記第４の処理における画素の検出が前記個別環境データに記録された所定の色の範囲について行なわれ、前記第５の処理における所定の形状の特徴を有する集合の有無の判断が、前記個別環境データに記録された所定の形状に基づいて行なわれることを特徴とする請求項１９に記載のプログラム。
【請求項２１】 所定の場所に設置された撮影カメラからフレーム単位で順次取り込まれる映像データから、一定時間毎に、１フレーム分の映像データ静止画イメージデータとして取得する第１の処理と、前記第１の処理にて取得した静止画イメージデータと予め用意された前記撮影カメラから取り込まれる映像の背景のみのイメージデータとの対応する画素同士の濃淡レベルを比較してその差分をとる第２の処理と、前記第２の処理にて得られる差分画像から、所定の色の範囲のグレイ値を有する画素を検出する第３の処理と、前記第３の処理にて検出した画素から、互いに連結する画素の集合を抽出する第３の処理と、前記第４の処理にて抽出した連結画素の集合に、所定の形状の特徴を有する画素の集合がある場合に、該集合を白杖であると判断して視覚障害者を認識する第５の処理とをコンピュータに実行させることを特徴するプログラム。
【請求項２２】 前記第２の処理における濃淡レベルの比較が、予め設定されたグレイ値の範囲にわたって行なわれることを特徴とする請求項２１に記載のプログラム。
【請求項２３】 前記所定の色の範囲のグレイ値と、前記所定の形状の特徴と、前記濃淡レベルの比較が行なわれるグレイ値の範囲とを少なくとも含む画像処理要件に関して前記撮影カメラの設置環境に応じた条件を記録した個別環境データを記憶装置から読み込む処理をコンピュータにさらに実行させ、前記第２の処理における濃淡レベルの比較が、前記個別環境データに記録されたグレイ値の範囲にわたって行なわれ、前記第３の処理における画素の検出が前記個別環境データに記録された所定の色の範囲について行なわれ、前記第４の処理における所定の形状の特徴を有する集合の有無の判断が、前記個別環境データに記載された所定の形状に基づいて行なわれることを特徴とする請求項２２に記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００３−１６８１１０（Ｐ２００３−１６８１１０Ａ）
【公開日】平成１５年６月１３日（２００３．６．１３）
【国際特許分類】
【出願番号】特願２００１−３６８６５０（Ｐ２００１−３６８６５０）
【出願日】平成１３年１２月３日（２００１．１２．３）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成１５年６月１３日（２００３．６．１３）
【国際特許分類】
【出願日】平成１３年１２月３日（２００１．１２．３）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]