画像処理装置、及びプログラム
【課題】被験者の実際の視界の模擬を実施する。
【解決手段】撮像装置３０、及び視点検出装置３２の各々は、車両に搭載されて、同期をとって所定の時間間隔で複数回動作するように制御され、複数回の動作により生成された、被験者周辺の周辺画像の各々の画像データと、周辺画像の各々の撮像時における被験者の周辺画像上の視点の位置を示す位置データとを関連付けて取得する。
視覚特性フィルタ３６を用いた画像処理を行うことで、人間の視覚特性に合った見え方を模擬すると共に、記憶特性フィルタ３８を用いた画像処理を行うことで、人間の感覚記憶特性に合った見え方を模擬する。
画像合成部４２は、処理済画像の各々を合成して再現画像を生成し、実際に運転をした被験者が行った情報処理を模擬することができる。
【解決手段】撮像装置３０、及び視点検出装置３２の各々は、車両に搭載されて、同期をとって所定の時間間隔で複数回動作するように制御され、複数回の動作により生成された、被験者周辺の周辺画像の各々の画像データと、周辺画像の各々の撮像時における被験者の周辺画像上の視点の位置を示す位置データとを関連付けて取得する。
視覚特性フィルタ３６を用いた画像処理を行うことで、人間の視覚特性に合った見え方を模擬すると共に、記憶特性フィルタ３８を用いた画像処理を行うことで、人間の感覚記憶特性に合った見え方を模擬する。
画像合成部４２は、処理済画像の各々を合成して再現画像を生成し、実際に運転をした被験者が行った情報処理を模擬することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、及びプログラムに関する。
【背景技術】
【０００２】
車両を安全に走行させることは重要課題であり、特許文献１には、車両の走行環境に基づいてドライバが目を向けるべき視線領域を予測し、車両に搭載したセンサの出力に基づいてドライバの視線領域を検出して、予測された視線領域と検出された視線領域との適合性に基づいて、ドライバが視認するべき領域をドライバが視認したかどうかを判定して、ドライバが走行環境の下で当然はらうべき注意をはらって運転しているかどうかを監視する車載情報処理装置の技術が開示されている。
【０００３】
しかし、特許文献１で開示されている技術では、ドライバが一瞬のみ目を向けただけであったり、車両の速度を上げた場合であったりすると、目が向けられていたとしても認知ができていない状況、すなわち、交通事故の一要因である「見れども見れず」の状況を「見た」と判定する場合もある。
【０００４】
また、人間の視覚機能の特性として、視覚情報は一旦、感覚記憶として蓄えられた後に、認知処理が行われることが知られている。さらに、感覚記憶は３００〜５００ミリ秒で消失することも知られている。
【０００５】
従って、５００ミリ秒以上前に目を向けたという事実だけをもって、「見た」とする判定は正しいとは限らない。
【０００６】
一方、記録された画像を臨場感をもたせて再体験させる技術としては、特許文献２に、画像、及び音声等の体験者の体験情報と、表情、眼球の動作、まばたきの回数、心拍数、体温、及び血圧等の体験者の人体情報とを同期して記録して、人体情報に基づいて体験情報を情報処理を行って、処理結果を再生することによって、体験者が体験した出来事を臨場感をもって再体験させるための技術が開示されている。しかし、特許文献２に開示される技術は、体験者の感情的要素を画像に付加することを目的としたものであり、実際の体験者の体験を再現するものではない。
【０００７】
また、被験者の関心領域を決定する技術としては、特許文献３に、撮像した画像と被験者の視線方向とを関連付けて記録し、画像中から被験者が関心を持っていた重要領域を決定する方法が開示されている。しかし、特許文献３に開示される方法は、体験者が視認していた映像を再現できるものではない。
【特許文献１】特開２００２−８３４００公報
【特許文献２】特開２００３−２９９０１３公報
【特許文献３】特開２００４−１８１２３３公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明はこのような事情に鑑みてなされたものであり、人間の視覚特性、及び感覚記憶の特性を考慮して、被験者の実際の視界の模擬を実施する画像処理装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の画像処理装置は、所定の時間間隔で複数回撮像することにより得られた被験者周辺の周辺画像の各々、前記周辺画像の各々の撮像時における前記被験者の前記周辺画像上の視点の位置、及び人間の視覚特性に基づいて、各々の視点の位置を基準とした前記視覚特性に合った画像が得られるように、前記周辺画像の各々を画像処理する第１の画像処理手段と、前記周辺画像の各々、前記周辺画像の各々の撮像時における前記被験者の前記周辺画像上の視点の位置、及び人間の感覚記憶特性に基づいて、各々の視点の位置を基準とした前記感覚記憶特性に合った画像が得られるように、前記周辺画像の各々を画像処理する第２の画像処理手段と、前記第１の画像処理手段により画像処理されると共に、前記第２の画像処理手段により画像処理がされた処理済画像の各々から抽出した部分画像を合成した合成画像を生成する合成手段と、を含んで構成されている。
【００１０】
また、本発明のプログラムは、コンピュータに、所定の時間間隔で複数回撮像することにより得られた被験者周辺の周辺画像の各々、前記周辺画像の各々の撮像時における前記被験者の前記周辺画像上の視点の位置、及び人間の視覚特性に基づいて、各々の視点の位置を基準とした前記視覚特性に合った画像が得られるように、前記周辺画像の各々を画像処理する第１の画像処理ステップと、前記周辺画像の各々、前記周辺画像の各々の撮像時における前記被験者の前記周辺画像上の視点の位置、及び人間の感覚記憶特性に基づいて、各々の視点の位置を基準とした前記感覚記憶特性に合った画像が得られるように、前記周辺画像の各々を画像処理する第２の画像処理ステップと、前記第１の画像処理ステップで画像処理されると共に、前記第２の画像処理ステップで画像処理がされた処理済画像の各々から抽出した部分画像を合成した合成画像を生成する合成ステップと、を実行させるためのものである。
【００１１】
第１の画像処理は、周辺画像の視点の位置を中心とした所定の中心領域以外の領域の画像に対して、モノクロ変換処理、明度変換処理、ぼかし処理、及びモザイク処理の少なくとも１つを行うとよい。
【００１２】
さらに、第１の画像処理は、視点の位置から離れるに従ってぼかし処理、及びモザイク処理の強度を強くするとよい。
【００１３】
第２の画像処理は、周辺画像の前記視点の位置を中心とした所定の周辺領域以外の領域の情報量が減少するようにするとよい。
【００１４】
合成画像は、処理済画像の各々を複数の部分画像に区分して、処理済画像の各々の対応する部分画像の各々から最も情報量の多い部分画像を抽出すると共に、抽出した部分画像の各々を対応する位置に配置して合成することにより生成するとよい。
【発明の効果】
【００１５】
本発明によれば、人間の視覚特性、及び感覚記憶の特性を考慮することによって、被験者の実際の視界を忠実に再現することができる、という優れた効果を有する。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１７】
本実施の形態に係る画像処理装置は、画像処理をコンピュータに実行させるプログラムをコンピュータに搭載したものである。
【００１８】
図１に示すように、画像処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１４、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６等がバス１８によって接続された制御部２０、表示デバイス２２、入力デバイス２４、インターフェース２６、及びＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２８を含んで構成されており、表示デバイス２２、入力デバイス２４、インターフェース２６、及びＨＤＤ２８の各々は、バス１８を介して制御部２０と信号授受可能に接続されている。
【００１９】
ＣＰＵ１２は、画像処理装置１０の全体の動作を司るものであり、プログラムに従い後述する画像処理、及び視界の模擬画像の表示を行うときの表示処理を実行する。
【００２０】
ＲＯＭ１４は、画像処理装置１０の起動時に動作するブートプログラムなどが記憶されている不揮発性の記憶装置である。
【００２１】
ＲＡＭ１６は、ＣＰＵ１２の実行において使用されるプログラムや、その実行において適宜変化するパラメータ、画像処理装置１０の作動中に取得される各種のログデータを記憶する揮発性の記憶装置である。
【００２２】
表示デバイス２２は、液晶表示装置またはＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などからなり、制御部２０の制御による画像処理によって生成された視界の再現映像等が表示される。
【００２３】
入力デバイス２４は、画像処理に係る各種のパラメータの指定、及び視界の模擬画面の表示指示等、操作者の操作による視界の模擬画面の表示に関する指示を入力するための装置である。
【００２４】
インターフェース２６は、画像処理装置１０と直接又はネットワークを介して接続された外部機器との間のデータの送受信を行うものである。
【００２５】
ＨＤＤ２８は、オペレーティングシステム、及び後述する画像処理、及び視界の模擬画像の表示を行うときの表示処理を実行するためのプログラム、当該プログラムによって画像処理される画像データ、並びにインターフェース２６を介して外部機器と送受信されるデータ等が格納される不揮発性の記憶装置である。
【００２６】
次に、図２を参照して人間の視覚特性の説明を行う。
【００２７】
図２（Ａ）に示されるように、人間は、視点の±１度程度の領域（以下、「中心視領域」とよぶ）のみよく見えており、視界から遠ざかるに従って急速に解像度が低下し、±１０度以上の領域は物体の存在や変化の有無は知覚できるが、ほとんど認知できない。また、±１０度未満の領域（以下、「周辺視領域」とよぶ）については、ぼんやりと認知している。なお、視線と眼が捕らえている映像とが交差する点を「視点」とよんでいる。
【００２８】
また、視野は中心視と周辺視とに分類することができ、図２（Ｂ）に示されるように、各々には機能差がある。
【００２９】
中心視は、文字、及び記号の認識機能を備えており、概念構成が可能である。また、中心視は、３色型の色知覚をする。
【００３０】
一方、周辺視は、変化、及び座標の知覚は可能であるが、概念構成はできない。また、周辺視は、２色型の色知覚をするため、被写体を無彩色で捉える。
【００３１】
上記の「視覚特性」によれば、例えば、図３（Ａ）に図示される風景を、図３（Ｂ）に示される位置に視点をおいて見た場合、図３（Ｃ）に示されるように見えていると推測できる。すなわち、中心視領域の映像は明瞭であり、周辺視領域の画像はぼんやりと認知できる程度の映像であり、周辺視領域より外の領域は認知が不可であると推測できる。
【００３２】
また、人間は、知覚した情報を、情報処理を行うまでの間、一時的に短期記憶のキャッシュとして、生のまま知覚した情報を保存しておく特性（以下、「感覚記憶の特性」とよぶ）を有している。感覚記憶の特性によって保存される知覚情報のうち、視覚情報はアイコニック・メモリとよばれている。また、アイコニック・メモリが保存される期間は、３００〜５００ミリ秒程度であることが分かっている。
【００３３】
本実施の形態では、上記の「視覚特性」及び「感覚記憶の特性」を考慮して、被験者が実際に見たと推測される映像を再現するための画像処理を行う。
【００３４】
図４は、本実施の形態において実行される画像処理の概要を示している。
【００３５】
画像処理装置１０は、インターフェース２６を介して、撮像装置３０、及び視点検出装置３２と接続される。
【００３６】
撮像装置３０は、被験者周辺の周辺画像を撮像して画像データを生成する。
【００３７】
視点検出装置３２は、カメラを含んで構成されており、車両を走行させる被験者の顔を撮像して、撮像画像を画像処理することにより、被験者の視点を検出して視点の位置を示す位置データを生成する。例えば、撮像画像から被験者の顔の顔領域を抽出し、顔領域からさらに眼の眼領域を抽出し、眼領域中の黒目の位置を検出する画像処理を行うことで位置データを生成する。
【００３８】
本実施の形態では、撮像装置３０、及び視点検出装置３２の各々は、車両に搭載されて、車両を走行させる被験者の視界を捉えるものとする。撮像装置３０と視点検出装置３２とは、所定の時間間隔で同期をとって複数回動作するように制御される。画像処理装置１０は、複数回の動作により生成された、被験者周辺の周辺画像の各々の画像データと、周辺画像の各々の撮像時における被験者の周辺画像上の視点の位置を示す位置データとを関連付けて取得する。
【００３９】
撮像装置３０により生成された画像データ、及び視点検出装置３２により生成された位置データは各々関連付けられると共に、ＨＤＤ２８に記憶される。
【００４０】
視界情報出力部３４は、ＨＤＤ２８に関連付けられて記憶されている画像データ、及び位置データのうち、視界を再現したい時点以前の所定の期間内に撮像された周辺画像の画像データ、及び関連付けられている位置データを読み出すと共に、視覚特性フィルタ３６に出力する。
【００４１】
視覚特性フィルタ３６は、静止視力、動体視力、視野、及び人間の眼の１つの注視点から次の注視点への素早い移動運動であるサッケード運動等の人間の視覚特性を模擬する画像処理フィルタである。
【００４２】
視覚特性に合った画像が得られるように、例えば、図５に示されるように、被験者の視点の位置を基準として、周辺画像の視点の位置を中心とした中心視領域以外の領域の画像に対して、モノクロ変換処理、モザイク処理、及びぼかし処理の各々の画像処理を行い、周辺領域以外の領域の情報量を減少させる。
【００４３】
モノクロ変換処理は、周辺視が被写体を無彩色で捉える特性を模擬するために行う。モノクロ変換処理により、図５（Ｂ）中で符号Ｔ１で示される中心視領域以外の領域のカラー画像をモノクロ画像に変換する。
【００４４】
また、モザイク処理は、中心から離れるに従って捉える映像の解像度が低下する特性を模擬するために行う。モザイク処理としては、例えば、所定の領域の階調値情報を読み込んでその平均値を算出し、算出結果に基づいて画像処理する方法、及び所定の領域の代表値で所定の領域の全体を塗りつぶす方法等を採用するとよく、図５（Ｂ）中で符号Ｔ２で示されるように、画像の解像度を落とす。
【００４５】
さらに、ぼかし処理は、中心から離れるに従って捉える映像が流れる特性を模擬するために行う。ぼかし処理としては、例えば、画像データに対してローパスフィルタ処理を行って、画像データの高周波成分がカットする方法等を採用するとよく、図５（Ｂ）中で符号Ｔ３で示されるように、画像をぼかす。
【００４６】
モザイク処理、及びぼかし処理については、視点の位置から離れるに従って画像処理の強度を強くして、情報量が減少するようにする。
【００４７】
上記の視覚特性フィルタ３６による画像処理を行うことで、人間の視覚特性に合った静的な見え方を模擬することができる。
【００４８】
視覚特性フィルタ３６によって画像処理された画像データは、記憶特性フィルタ３８に出力される。
【００４９】
記憶特性フィルタ３８は、感覚記憶の容量、認知情報の保持時間等の人間の感覚記憶の特性を模擬する画像処理フィルタであり、視点の±１０度の範囲外の領域、すなわち周辺視領域より外の領域は認知できていないという人間の視覚特性に合った画像処理をするものである。記憶特性フィルタ３８による画像処理により、５００ミリ秒以内に見ていない領域の映像は認知されないことを模擬した画像が得られる。例えば、図６に示されるような、周辺画像上の被験者の視点の位置を中心とした周辺視領域以外の、図６中で符号Ｔ４で示される領域の画像を消失させる画像処理を行い、周辺領域以外の領域の情報量を減少させる。
【００５０】
上記の記憶特性フィルタ３８による画像処理を行うことで、人間の感覚記憶の特性に合った動的な見え方を模擬することができる。
【００５１】
視覚特性フィルタ３６、及び記憶特性フィルタ３８によって画像処理された画像データは、処理済画像データとして記憶部４０に記憶される。
【００５２】
処理済画像データに表される処理済画像は、図７（Ａ）に図示される視覚特性フィルタ３６による画像処理と図７（Ｂ）に図示される記憶特性フィルタ３８による画像処理とを行うことによって得られる、図７（Ｃ）に図示される画像である。
【００５３】
視界情報出力部３４によってＨＤＤ２８から読み出された全ての画像データが処理済画像データにされた後に、記憶部４０は、全ての処理済画像データを画像合成部４２に出力する。
【００５４】
画像合成部４２は、処理済画像の各々を合成して再現映像を生成する。具体的には、処理済画像データで表される処理済画像の各々を複数の部分画像に区分して、処理済画像の各々の対応する部分画像の各々から最も情報量の多い部分画像を抽出すると共に、抽出した部分画像の各々を対応する位置に配置することにより再現映像を生成するとよい。
【００５５】
画像合成部４２による再現映像の生成によって、実際に運転をした被験者が行った情報処理を模擬することができる。再現映像は、時間経過も含む被験者の動的な見え方を模擬している。すなわち、画像処理された５００ミリ秒間に撮像された周辺画像を合成することは、５００ミリ秒間に認知した情報を利用して情報処理を行う人間の特性に合った動的な見え方を模擬していることになる。
【００５６】
図８に、被験者によって異なる見え方を例示する。
【００５７】
図８（Ａ）に示されるのは、運転の初心者の見え方を模擬した再現映像である。運転の初心者は、同図（Ｂ）に示されるように、対向車、信号、及び標識等の重要な要素が実際には見えていなかったことが分かる。
【００５８】
一方、図８（Ｃ）に示されるのは、運転の指導員の見え方を模擬した再現映像である。運転の指導員は、頻繁に目を動かしており、広い範囲の領域を認知していることが分かる。また、信号等の色情報が重要な領域を、中心視領域で捉えていることも分かる。
【００５９】
このように、本実施の形態における画像処理により生成される再現映像を用いることで、運転中に行う安全確認の方法によって、運転者による周辺環境の見え方がどのように異なるのかを可視的に比較することが可能となる。
【００６０】
上記の通り、本実施の形態では、人間の「視覚特性」及び「感覚記憶の特性」を考慮して、被験者が実際に見ていたと映像を推測する。これにより、被験者が被験者周辺をどのように認知していたかを映像として模擬できる。
【００６１】
本発明は、特に、車両を走行させている運転者の視界の再現に適用するとよい。
【００６２】
一例として、運転教習において、再現映像を教材として用いることが挙げられる。再現映像を用いることによって、自身の見え方と運転指導員の見え方との比較による問題点の発見を行うことができる。また、再現映像は、高齢運転者、及び初心運転者等の他者の見え方を疑似体験する運転シミュレータ等の素材として用いることができる。特に、再現映像の利用は、交通事故の一要因である「見れども見れず」の状況を映像で確認することができる、という優れた効果を有する。このような、運転者の視界を映像で可視化することは、直感的な理解を助け、運転教習の受講者の安全運転に対する意識を高めることが期待できる。
【００６３】
また、他の例としては、車両を走行させる運転者からの信号、標識、及び死角の見え方の情報を、道路設計に利用することが挙げられる。設計者が、運転者からの信号、標識、及び死角等の見え方を考慮して道路設計を行うことにより、交通事故が抑制されることの期待をすることができる。
【図面の簡単な説明】
【００６４】
【図１】本発明の実施の形態に係る画像処理装置のブロック図ある。
【図２】人間の視覚特性の説明図である。
【図３】人間の視界の説明図である。
【図４】本実施の形態において実行される画像処理の概要を示している。
【図５】視覚特性フィルタを用いた画像処理の概念図である。
【図６】記憶特性フィルタを用いた画像処理の概念図である。
【図７】処理済画像の生成の概念図である。
【図８】被験者によって異なる見え方の例示である。
【符号の説明】
【００６５】
１０ 画像処理装置
２０ 制御部
２６ インターフェース
２８ ＨＤＤ
３０ 撮像装置
３２ 視点検出装置
３４ 視界情報出力部
３６ 視覚特性フィルタ
３８ 記憶特性フィルタ
４０ 記憶部
４２ 画像合成部
【技術分野】
【０００１】
本発明は、画像処理装置、及びプログラムに関する。
【背景技術】
【０００２】
車両を安全に走行させることは重要課題であり、特許文献１には、車両の走行環境に基づいてドライバが目を向けるべき視線領域を予測し、車両に搭載したセンサの出力に基づいてドライバの視線領域を検出して、予測された視線領域と検出された視線領域との適合性に基づいて、ドライバが視認するべき領域をドライバが視認したかどうかを判定して、ドライバが走行環境の下で当然はらうべき注意をはらって運転しているかどうかを監視する車載情報処理装置の技術が開示されている。
【０００３】
しかし、特許文献１で開示されている技術では、ドライバが一瞬のみ目を向けただけであったり、車両の速度を上げた場合であったりすると、目が向けられていたとしても認知ができていない状況、すなわち、交通事故の一要因である「見れども見れず」の状況を「見た」と判定する場合もある。
【０００４】
また、人間の視覚機能の特性として、視覚情報は一旦、感覚記憶として蓄えられた後に、認知処理が行われることが知られている。さらに、感覚記憶は３００〜５００ミリ秒で消失することも知られている。
【０００５】
従って、５００ミリ秒以上前に目を向けたという事実だけをもって、「見た」とする判定は正しいとは限らない。
【０００６】
一方、記録された画像を臨場感をもたせて再体験させる技術としては、特許文献２に、画像、及び音声等の体験者の体験情報と、表情、眼球の動作、まばたきの回数、心拍数、体温、及び血圧等の体験者の人体情報とを同期して記録して、人体情報に基づいて体験情報を情報処理を行って、処理結果を再生することによって、体験者が体験した出来事を臨場感をもって再体験させるための技術が開示されている。しかし、特許文献２に開示される技術は、体験者の感情的要素を画像に付加することを目的としたものであり、実際の体験者の体験を再現するものではない。
【０００７】
また、被験者の関心領域を決定する技術としては、特許文献３に、撮像した画像と被験者の視線方向とを関連付けて記録し、画像中から被験者が関心を持っていた重要領域を決定する方法が開示されている。しかし、特許文献３に開示される方法は、体験者が視認していた映像を再現できるものではない。
【特許文献１】特開２００２−８３４００公報
【特許文献２】特開２００３−２９９０１３公報
【特許文献３】特開２００４−１８１２３３公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明はこのような事情に鑑みてなされたものであり、人間の視覚特性、及び感覚記憶の特性を考慮して、被験者の実際の視界の模擬を実施する画像処理装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の画像処理装置は、所定の時間間隔で複数回撮像することにより得られた被験者周辺の周辺画像の各々、前記周辺画像の各々の撮像時における前記被験者の前記周辺画像上の視点の位置、及び人間の視覚特性に基づいて、各々の視点の位置を基準とした前記視覚特性に合った画像が得られるように、前記周辺画像の各々を画像処理する第１の画像処理手段と、前記周辺画像の各々、前記周辺画像の各々の撮像時における前記被験者の前記周辺画像上の視点の位置、及び人間の感覚記憶特性に基づいて、各々の視点の位置を基準とした前記感覚記憶特性に合った画像が得られるように、前記周辺画像の各々を画像処理する第２の画像処理手段と、前記第１の画像処理手段により画像処理されると共に、前記第２の画像処理手段により画像処理がされた処理済画像の各々から抽出した部分画像を合成した合成画像を生成する合成手段と、を含んで構成されている。
【００１０】
また、本発明のプログラムは、コンピュータに、所定の時間間隔で複数回撮像することにより得られた被験者周辺の周辺画像の各々、前記周辺画像の各々の撮像時における前記被験者の前記周辺画像上の視点の位置、及び人間の視覚特性に基づいて、各々の視点の位置を基準とした前記視覚特性に合った画像が得られるように、前記周辺画像の各々を画像処理する第１の画像処理ステップと、前記周辺画像の各々、前記周辺画像の各々の撮像時における前記被験者の前記周辺画像上の視点の位置、及び人間の感覚記憶特性に基づいて、各々の視点の位置を基準とした前記感覚記憶特性に合った画像が得られるように、前記周辺画像の各々を画像処理する第２の画像処理ステップと、前記第１の画像処理ステップで画像処理されると共に、前記第２の画像処理ステップで画像処理がされた処理済画像の各々から抽出した部分画像を合成した合成画像を生成する合成ステップと、を実行させるためのものである。
【００１１】
第１の画像処理は、周辺画像の視点の位置を中心とした所定の中心領域以外の領域の画像に対して、モノクロ変換処理、明度変換処理、ぼかし処理、及びモザイク処理の少なくとも１つを行うとよい。
【００１２】
さらに、第１の画像処理は、視点の位置から離れるに従ってぼかし処理、及びモザイク処理の強度を強くするとよい。
【００１３】
第２の画像処理は、周辺画像の前記視点の位置を中心とした所定の周辺領域以外の領域の情報量が減少するようにするとよい。
【００１４】
合成画像は、処理済画像の各々を複数の部分画像に区分して、処理済画像の各々の対応する部分画像の各々から最も情報量の多い部分画像を抽出すると共に、抽出した部分画像の各々を対応する位置に配置して合成することにより生成するとよい。
【発明の効果】
【００１５】
本発明によれば、人間の視覚特性、及び感覚記憶の特性を考慮することによって、被験者の実際の視界を忠実に再現することができる、という優れた効果を有する。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１７】
本実施の形態に係る画像処理装置は、画像処理をコンピュータに実行させるプログラムをコンピュータに搭載したものである。
【００１８】
図１に示すように、画像処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１４、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６等がバス１８によって接続された制御部２０、表示デバイス２２、入力デバイス２４、インターフェース２６、及びＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２８を含んで構成されており、表示デバイス２２、入力デバイス２４、インターフェース２６、及びＨＤＤ２８の各々は、バス１８を介して制御部２０と信号授受可能に接続されている。
【００１９】
ＣＰＵ１２は、画像処理装置１０の全体の動作を司るものであり、プログラムに従い後述する画像処理、及び視界の模擬画像の表示を行うときの表示処理を実行する。
【００２０】
ＲＯＭ１４は、画像処理装置１０の起動時に動作するブートプログラムなどが記憶されている不揮発性の記憶装置である。
【００２１】
ＲＡＭ１６は、ＣＰＵ１２の実行において使用されるプログラムや、その実行において適宜変化するパラメータ、画像処理装置１０の作動中に取得される各種のログデータを記憶する揮発性の記憶装置である。
【００２２】
表示デバイス２２は、液晶表示装置またはＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などからなり、制御部２０の制御による画像処理によって生成された視界の再現映像等が表示される。
【００２３】
入力デバイス２４は、画像処理に係る各種のパラメータの指定、及び視界の模擬画面の表示指示等、操作者の操作による視界の模擬画面の表示に関する指示を入力するための装置である。
【００２４】
インターフェース２６は、画像処理装置１０と直接又はネットワークを介して接続された外部機器との間のデータの送受信を行うものである。
【００２５】
ＨＤＤ２８は、オペレーティングシステム、及び後述する画像処理、及び視界の模擬画像の表示を行うときの表示処理を実行するためのプログラム、当該プログラムによって画像処理される画像データ、並びにインターフェース２６を介して外部機器と送受信されるデータ等が格納される不揮発性の記憶装置である。
【００２６】
次に、図２を参照して人間の視覚特性の説明を行う。
【００２７】
図２（Ａ）に示されるように、人間は、視点の±１度程度の領域（以下、「中心視領域」とよぶ）のみよく見えており、視界から遠ざかるに従って急速に解像度が低下し、±１０度以上の領域は物体の存在や変化の有無は知覚できるが、ほとんど認知できない。また、±１０度未満の領域（以下、「周辺視領域」とよぶ）については、ぼんやりと認知している。なお、視線と眼が捕らえている映像とが交差する点を「視点」とよんでいる。
【００２８】
また、視野は中心視と周辺視とに分類することができ、図２（Ｂ）に示されるように、各々には機能差がある。
【００２９】
中心視は、文字、及び記号の認識機能を備えており、概念構成が可能である。また、中心視は、３色型の色知覚をする。
【００３０】
一方、周辺視は、変化、及び座標の知覚は可能であるが、概念構成はできない。また、周辺視は、２色型の色知覚をするため、被写体を無彩色で捉える。
【００３１】
上記の「視覚特性」によれば、例えば、図３（Ａ）に図示される風景を、図３（Ｂ）に示される位置に視点をおいて見た場合、図３（Ｃ）に示されるように見えていると推測できる。すなわち、中心視領域の映像は明瞭であり、周辺視領域の画像はぼんやりと認知できる程度の映像であり、周辺視領域より外の領域は認知が不可であると推測できる。
【００３２】
また、人間は、知覚した情報を、情報処理を行うまでの間、一時的に短期記憶のキャッシュとして、生のまま知覚した情報を保存しておく特性（以下、「感覚記憶の特性」とよぶ）を有している。感覚記憶の特性によって保存される知覚情報のうち、視覚情報はアイコニック・メモリとよばれている。また、アイコニック・メモリが保存される期間は、３００〜５００ミリ秒程度であることが分かっている。
【００３３】
本実施の形態では、上記の「視覚特性」及び「感覚記憶の特性」を考慮して、被験者が実際に見たと推測される映像を再現するための画像処理を行う。
【００３４】
図４は、本実施の形態において実行される画像処理の概要を示している。
【００３５】
画像処理装置１０は、インターフェース２６を介して、撮像装置３０、及び視点検出装置３２と接続される。
【００３６】
撮像装置３０は、被験者周辺の周辺画像を撮像して画像データを生成する。
【００３７】
視点検出装置３２は、カメラを含んで構成されており、車両を走行させる被験者の顔を撮像して、撮像画像を画像処理することにより、被験者の視点を検出して視点の位置を示す位置データを生成する。例えば、撮像画像から被験者の顔の顔領域を抽出し、顔領域からさらに眼の眼領域を抽出し、眼領域中の黒目の位置を検出する画像処理を行うことで位置データを生成する。
【００３８】
本実施の形態では、撮像装置３０、及び視点検出装置３２の各々は、車両に搭載されて、車両を走行させる被験者の視界を捉えるものとする。撮像装置３０と視点検出装置３２とは、所定の時間間隔で同期をとって複数回動作するように制御される。画像処理装置１０は、複数回の動作により生成された、被験者周辺の周辺画像の各々の画像データと、周辺画像の各々の撮像時における被験者の周辺画像上の視点の位置を示す位置データとを関連付けて取得する。
【００３９】
撮像装置３０により生成された画像データ、及び視点検出装置３２により生成された位置データは各々関連付けられると共に、ＨＤＤ２８に記憶される。
【００４０】
視界情報出力部３４は、ＨＤＤ２８に関連付けられて記憶されている画像データ、及び位置データのうち、視界を再現したい時点以前の所定の期間内に撮像された周辺画像の画像データ、及び関連付けられている位置データを読み出すと共に、視覚特性フィルタ３６に出力する。
【００４１】
視覚特性フィルタ３６は、静止視力、動体視力、視野、及び人間の眼の１つの注視点から次の注視点への素早い移動運動であるサッケード運動等の人間の視覚特性を模擬する画像処理フィルタである。
【００４２】
視覚特性に合った画像が得られるように、例えば、図５に示されるように、被験者の視点の位置を基準として、周辺画像の視点の位置を中心とした中心視領域以外の領域の画像に対して、モノクロ変換処理、モザイク処理、及びぼかし処理の各々の画像処理を行い、周辺領域以外の領域の情報量を減少させる。
【００４３】
モノクロ変換処理は、周辺視が被写体を無彩色で捉える特性を模擬するために行う。モノクロ変換処理により、図５（Ｂ）中で符号Ｔ１で示される中心視領域以外の領域のカラー画像をモノクロ画像に変換する。
【００４４】
また、モザイク処理は、中心から離れるに従って捉える映像の解像度が低下する特性を模擬するために行う。モザイク処理としては、例えば、所定の領域の階調値情報を読み込んでその平均値を算出し、算出結果に基づいて画像処理する方法、及び所定の領域の代表値で所定の領域の全体を塗りつぶす方法等を採用するとよく、図５（Ｂ）中で符号Ｔ２で示されるように、画像の解像度を落とす。
【００４５】
さらに、ぼかし処理は、中心から離れるに従って捉える映像が流れる特性を模擬するために行う。ぼかし処理としては、例えば、画像データに対してローパスフィルタ処理を行って、画像データの高周波成分がカットする方法等を採用するとよく、図５（Ｂ）中で符号Ｔ３で示されるように、画像をぼかす。
【００４６】
モザイク処理、及びぼかし処理については、視点の位置から離れるに従って画像処理の強度を強くして、情報量が減少するようにする。
【００４７】
上記の視覚特性フィルタ３６による画像処理を行うことで、人間の視覚特性に合った静的な見え方を模擬することができる。
【００４８】
視覚特性フィルタ３６によって画像処理された画像データは、記憶特性フィルタ３８に出力される。
【００４９】
記憶特性フィルタ３８は、感覚記憶の容量、認知情報の保持時間等の人間の感覚記憶の特性を模擬する画像処理フィルタであり、視点の±１０度の範囲外の領域、すなわち周辺視領域より外の領域は認知できていないという人間の視覚特性に合った画像処理をするものである。記憶特性フィルタ３８による画像処理により、５００ミリ秒以内に見ていない領域の映像は認知されないことを模擬した画像が得られる。例えば、図６に示されるような、周辺画像上の被験者の視点の位置を中心とした周辺視領域以外の、図６中で符号Ｔ４で示される領域の画像を消失させる画像処理を行い、周辺領域以外の領域の情報量を減少させる。
【００５０】
上記の記憶特性フィルタ３８による画像処理を行うことで、人間の感覚記憶の特性に合った動的な見え方を模擬することができる。
【００５１】
視覚特性フィルタ３６、及び記憶特性フィルタ３８によって画像処理された画像データは、処理済画像データとして記憶部４０に記憶される。
【００５２】
処理済画像データに表される処理済画像は、図７（Ａ）に図示される視覚特性フィルタ３６による画像処理と図７（Ｂ）に図示される記憶特性フィルタ３８による画像処理とを行うことによって得られる、図７（Ｃ）に図示される画像である。
【００５３】
視界情報出力部３４によってＨＤＤ２８から読み出された全ての画像データが処理済画像データにされた後に、記憶部４０は、全ての処理済画像データを画像合成部４２に出力する。
【００５４】
画像合成部４２は、処理済画像の各々を合成して再現映像を生成する。具体的には、処理済画像データで表される処理済画像の各々を複数の部分画像に区分して、処理済画像の各々の対応する部分画像の各々から最も情報量の多い部分画像を抽出すると共に、抽出した部分画像の各々を対応する位置に配置することにより再現映像を生成するとよい。
【００５５】
画像合成部４２による再現映像の生成によって、実際に運転をした被験者が行った情報処理を模擬することができる。再現映像は、時間経過も含む被験者の動的な見え方を模擬している。すなわち、画像処理された５００ミリ秒間に撮像された周辺画像を合成することは、５００ミリ秒間に認知した情報を利用して情報処理を行う人間の特性に合った動的な見え方を模擬していることになる。
【００５６】
図８に、被験者によって異なる見え方を例示する。
【００５７】
図８（Ａ）に示されるのは、運転の初心者の見え方を模擬した再現映像である。運転の初心者は、同図（Ｂ）に示されるように、対向車、信号、及び標識等の重要な要素が実際には見えていなかったことが分かる。
【００５８】
一方、図８（Ｃ）に示されるのは、運転の指導員の見え方を模擬した再現映像である。運転の指導員は、頻繁に目を動かしており、広い範囲の領域を認知していることが分かる。また、信号等の色情報が重要な領域を、中心視領域で捉えていることも分かる。
【００５９】
このように、本実施の形態における画像処理により生成される再現映像を用いることで、運転中に行う安全確認の方法によって、運転者による周辺環境の見え方がどのように異なるのかを可視的に比較することが可能となる。
【００６０】
上記の通り、本実施の形態では、人間の「視覚特性」及び「感覚記憶の特性」を考慮して、被験者が実際に見ていたと映像を推測する。これにより、被験者が被験者周辺をどのように認知していたかを映像として模擬できる。
【００６１】
本発明は、特に、車両を走行させている運転者の視界の再現に適用するとよい。
【００６２】
一例として、運転教習において、再現映像を教材として用いることが挙げられる。再現映像を用いることによって、自身の見え方と運転指導員の見え方との比較による問題点の発見を行うことができる。また、再現映像は、高齢運転者、及び初心運転者等の他者の見え方を疑似体験する運転シミュレータ等の素材として用いることができる。特に、再現映像の利用は、交通事故の一要因である「見れども見れず」の状況を映像で確認することができる、という優れた効果を有する。このような、運転者の視界を映像で可視化することは、直感的な理解を助け、運転教習の受講者の安全運転に対する意識を高めることが期待できる。
【００６３】
また、他の例としては、車両を走行させる運転者からの信号、標識、及び死角の見え方の情報を、道路設計に利用することが挙げられる。設計者が、運転者からの信号、標識、及び死角等の見え方を考慮して道路設計を行うことにより、交通事故が抑制されることの期待をすることができる。
【図面の簡単な説明】
【００６４】
【図１】本発明の実施の形態に係る画像処理装置のブロック図ある。
【図２】人間の視覚特性の説明図である。
【図３】人間の視界の説明図である。
【図４】本実施の形態において実行される画像処理の概要を示している。
【図５】視覚特性フィルタを用いた画像処理の概念図である。
【図６】記憶特性フィルタを用いた画像処理の概念図である。
【図７】処理済画像の生成の概念図である。
【図８】被験者によって異なる見え方の例示である。
【符号の説明】
【００６５】
１０ 画像処理装置
２０ 制御部
２６ インターフェース
２８ ＨＤＤ
３０ 撮像装置
３２ 視点検出装置
３４ 視界情報出力部
３６ 視覚特性フィルタ
３８ 記憶特性フィルタ
４０ 記憶部
４２ 画像合成部
【特許請求の範囲】
【請求項１】
所定の時間間隔で複数回撮像することにより得られた被験者周辺の周辺画像の各々、前記周辺画像の各々の撮像時における前記被験者の前記周辺画像上の視点の位置、及び人間の視覚特性に基づいて、各々の視点の位置を基準とした前記視覚特性に合った画像が得られるように、前記周辺画像の各々を画像処理する第１の画像処理手段と、
前記周辺画像の各々、前記周辺画像の各々の撮像時における前記被験者の前記周辺画像上の視点の位置、及び人間の感覚記憶特性に基づいて、各々の視点の位置を基準とした前記感覚記憶特性に合った画像が得られるように、前記周辺画像の各々を画像処理する第２の画像処理手段と、
前記第１の画像処理手段により画像処理されると共に、前記第２の画像処理手段により画像処理がされた処理済画像の各々から抽出した部分画像を合成した合成画像を生成する合成手段と、
を含む画像処理装置。
【請求項２】
前記第１の画像処理手段は、前記周辺画像の前記視点の位置を中心とした所定の中心領域以外の領域の画像に対して、モノクロ変換処理、明度変換処置、ぼかし処理、及びモザイク処理の少なくとも１つの画像処理を行う請求項１に記載の画像処理装置。
【請求項３】
前記第１の画像処理手段は、前記視点の位置から離れるに従って前記ぼかし処理、及び前記モザイク処理の画像処理の強度を強くする請求項２に記載の画像処理装置。
【請求項４】
前記第２の画像処理手段は、前記周辺画像の前記視点の位置を中心とした所定の周辺領域以外の領域の情報量が減少するように画像処理する請求項１〜請求項３の何れか１項に記載の画像処理装置。
【請求項５】
前記合成手段は、前記処理済画像の各々を複数の部分画像に区分して、前記処理済画像の各々の対応する部分画像の各々から最も情報量の多い部分画像を抽出すると共に、抽出した部分画像の各々を対応する位置に配置して合成することにより前記合成画像を生成する請求項１〜請求項４の何れか１項に記載の画像処理装置。
【請求項６】
コンピュータに、
所定の時間間隔で複数回撮像することにより得られた被験者周辺の周辺画像の各々、前記周辺画像の各々の撮像時における前記被験者の前記周辺画像上の視点の位置、及び人間の視覚特性に基づいて、各々の視点の位置を基準とした前記視覚特性に合った画像が得られるように、前記周辺画像の各々を画像処理する第１の画像処理ステップと、
前記周辺画像の各々、前記周辺画像の各々の撮像時における前記被験者の前記周辺画像上の視点の位置、及び人間の感覚記憶特性に基づいて、各々の視点の位置を基準とした前記感覚記憶特性に合った画像が得られるように、前記周辺画像の各々を画像処理する第２の画像処理ステップと、
前記第１の画像処理ステップで画像処理されると共に、前記第２の画像処理ステップで画像処理がされた処理済画像の各々から抽出した部分画像を合成した合成画像を生成する合成ステップと、
を実行させるためのプログラム。
【請求項１】
所定の時間間隔で複数回撮像することにより得られた被験者周辺の周辺画像の各々、前記周辺画像の各々の撮像時における前記被験者の前記周辺画像上の視点の位置、及び人間の視覚特性に基づいて、各々の視点の位置を基準とした前記視覚特性に合った画像が得られるように、前記周辺画像の各々を画像処理する第１の画像処理手段と、
前記周辺画像の各々、前記周辺画像の各々の撮像時における前記被験者の前記周辺画像上の視点の位置、及び人間の感覚記憶特性に基づいて、各々の視点の位置を基準とした前記感覚記憶特性に合った画像が得られるように、前記周辺画像の各々を画像処理する第２の画像処理手段と、
前記第１の画像処理手段により画像処理されると共に、前記第２の画像処理手段により画像処理がされた処理済画像の各々から抽出した部分画像を合成した合成画像を生成する合成手段と、
を含む画像処理装置。
【請求項２】
前記第１の画像処理手段は、前記周辺画像の前記視点の位置を中心とした所定の中心領域以外の領域の画像に対して、モノクロ変換処理、明度変換処置、ぼかし処理、及びモザイク処理の少なくとも１つの画像処理を行う請求項１に記載の画像処理装置。
【請求項３】
前記第１の画像処理手段は、前記視点の位置から離れるに従って前記ぼかし処理、及び前記モザイク処理の画像処理の強度を強くする請求項２に記載の画像処理装置。
【請求項４】
前記第２の画像処理手段は、前記周辺画像の前記視点の位置を中心とした所定の周辺領域以外の領域の情報量が減少するように画像処理する請求項１〜請求項３の何れか１項に記載の画像処理装置。
【請求項５】
前記合成手段は、前記処理済画像の各々を複数の部分画像に区分して、前記処理済画像の各々の対応する部分画像の各々から最も情報量の多い部分画像を抽出すると共に、抽出した部分画像の各々を対応する位置に配置して合成することにより前記合成画像を生成する請求項１〜請求項４の何れか１項に記載の画像処理装置。
【請求項６】
コンピュータに、
所定の時間間隔で複数回撮像することにより得られた被験者周辺の周辺画像の各々、前記周辺画像の各々の撮像時における前記被験者の前記周辺画像上の視点の位置、及び人間の視覚特性に基づいて、各々の視点の位置を基準とした前記視覚特性に合った画像が得られるように、前記周辺画像の各々を画像処理する第１の画像処理ステップと、
前記周辺画像の各々、前記周辺画像の各々の撮像時における前記被験者の前記周辺画像上の視点の位置、及び人間の感覚記憶特性に基づいて、各々の視点の位置を基準とした前記感覚記憶特性に合った画像が得られるように、前記周辺画像の各々を画像処理する第２の画像処理ステップと、
前記第１の画像処理ステップで画像処理されると共に、前記第２の画像処理ステップで画像処理がされた処理済画像の各々から抽出した部分画像を合成した合成画像を生成する合成ステップと、
を実行させるためのプログラム。
【図１】
【図２】
【図４】
【図３】
【図５】
【図６】
【図７】
【図８】
【図２】
【図４】
【図３】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００９−２７９１４６（Ｐ２００９−２７９１４６Ａ）
【公開日】平成２１年１２月３日（２００９．１２．３）
【国際特許分類】
【出願番号】特願２００８−１３３４４５（Ｐ２００８−１３３４４５）
【出願日】平成２０年５月２１日（２００８．５．２１）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２１年１２月３日（２００９．１２．３）
【国際特許分類】
【出願日】平成２０年５月２１日（２００８．５．２１）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]