説明

触覚情報提示装置、触覚情報提示方法、及びプログラム

【課題】視覚障害者が撮影を行う際に、撮影対象が構図に収まっているか否かを判断可能な撮像装置の提供。
【解決手段】入力装置152により取得された画像から、当該画像内の撮影対象と背景との境界線の位置を示す位置情報を抽出する境界抽出部153と、抽出部により抽出された境界線の位置情報を基準に、予め定められた幅を有する境界領域を設定する領域決定部154と、境界領域に対応する表示画面へのユーザによる物理的な接触があるか否かを判断し、境界領域に対応する表示画面に物理的な接触があると判断された場合に、境界領域を振動させる触覚情報提示部156と、境界領域に対応する表示画面を凹状又は凸状に変形させ、撮影対象の触覚情報として提示する出力装置157とを備える触覚情報提示装置151を備えた撮像装置。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像範囲内の撮像対象を触覚情報としてユーザに提示する触覚情報提示装置、触覚情報提示方法、及びプログラムに関する。
【背景技術】
【0002】
近年では、タッチスクリーンに振動デバイスを組み込み、タッチを行うと視覚、聴覚情報と同様に触覚情報のフィードバックをユーザに返すことができるスクリーンがある。また、特許文献1では、カメラにより撮影された情報より、特徴的なオブジェクトを抽出してオブジェクトごとに凹凸情報としてユーザへ提示する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平10−069539号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
視覚障害者がカメラ撮影を行う場合、撮影対象が上手く構図に収まっているかわからないという心理的障害により撮影を思いとどまってしまうことがある。
【0005】
一方で、晴眼者とペアになり撮影を行うケースも多く、晴眼者から構図のアドバイスを受けながら視覚障害者がシャッターを切るという方法が取られている。しかし、この場合はサポートする晴眼者の好みの構図で撮影することはできるが、撮影者である視覚障害者自身が構図を決めることができない。
【0006】
特許文献1の例を撮像装置に取り入れた場合、周囲の景色情報を触覚情報として提示するため、視覚障害者が大局的に景色情報を把握して撮影を行うことが可能である。しかし、撮影の対象は、景色などの静止物だけでなく、人物などの動体であるケースも多く、そのようなケースには対応できない。また、実際に撮影を行う場合には、構図に収まっていることだけでなく、フォーカスやアンダーといった情報を把握していなければ上手く撮影することができない。
【0007】
上記の課題に鑑み、本発明は、撮影範囲内の撮影対象を動体、静止物に関わらず、撮影状態を反映させた触覚情報として撮影対象の情報を提示することで、ファインダ画像が表示されている液晶を見ることなく撮影を行えるようにすることを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成する、本発明に係る触覚情報提示装置は、
表示画面を凹状又は凸状に変形させることにより当該表示画面内の撮影対象を触覚情報として提示する触覚情報提示装置であって、
撮像手段の撮影範囲内の画像を取得する第1取得手段と、
前記第1取得手段により取得された画像から、当該画像内の撮影対象と背景との境界線の位置を示す位置情報を抽出する抽出手段と、
前記抽出手段により抽出された境界線の位置情報を基準とした、予め定められた幅を有する境界領域を設定する設定手段と、
前記境界領域に対応する表示画面へのユーザによる物理的な接触があるか否かを判断する判断手段と、
前記判断手段により前記境界領域に対応する表示画面に物理的な接触があると判断された場合に、前記境界領域を振動させる振動手段と、
前記振動手段による振動により前記境界領域に対応する表示画面を凹状又は凸状に変形させ、前記撮影対象の触覚情報として提示する提示手段と、
を備えることを特徴とする。
【発明の効果】
【0009】
本発明によれば、撮影範囲内の撮影対象を動体、静止物に関わらず、撮影状態を反映させた触覚情報として撮影対象の情報を提示することで、ファインダ画像が表示されている液晶を見ることなく撮影を行えるようにすることができる。また、指やタッチペンへフィードバックされる触覚を頼りに構図の確認又は変更ができるようになる。
【図面の簡単な説明】
【0010】
【図1】(a)第1実施形態に係る触覚情報提示装置のハード構成を示す図、(b)第1実施形態に係る触覚情報提示装置の機能構成図。
【図2】第1実施形態に係る触覚情報提示装置の処理の概要を示す図。
【図3】第1実施形態に係る触覚情報提示装置の触覚情報提示処理を示すフローチャート。
【図4】第1実施形態に係る触覚情報提示装置の振動設定処理を示すフローチャート。
【図5】第2実施形態に係る触覚情報提示装置の処理の概要を示す図。
【図6】第2実施形態に係る触覚情報提示装置の振動設定処理を示すフローチャート。
【図7】第3実施形態に係る触覚提示装置の処理の概要を示す図。
【図8】第3実施形態に係る触覚提示装置の触覚情報提示処理を示すフローチャート。
【発明を実施するための形態】
【0011】
(第1実施形態)
まず、図1(a)を参照して、本実施形態に係る触覚提示装置のハードウェア構成の一例を示すブロック図について説明する。バス101は、バスであり後述の各構成要素を接続する。CPU102は、CPU(Central Processing Unit)であり、各種処理のための演算や論理判断などを行い、バス101に接続された各構成要素を制御する。
【0012】
触覚提示装置には、プログラムメモリとデータメモリを含むメモリが搭載されている。プログラムメモリには、フローチャートにより後述する各種処理手順を含むCPU102による制御のためのプログラムを格納する。このメモリはROM(Read-Only Memory)103であってもよいし、外部記憶装置などからプログラムがロードされるRAM(Random Access Memory)104であってもよい。あるいは、これらの組合せで実現しても構わない。
【0013】
記憶装置105は、本実施形態に係るデータやプログラムを記憶しておくためのハードディスクなどの記憶装置である。また、記憶装置105と同様の役割を果たすものとして、外部記憶装置106を用いてもよい。ここで、外部記憶装置106とは、例えば、メディア(記録媒体)と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。このようなメディアとしては、例えば、フレキシブルディスク(FD)、CD−ROM、DVD、USBメモリ、MO、フラッシュメモリ等が知られている。
【0014】
入力装置107は、ユーザからの指示を入力するための入力装置である。ユーザは入力装置107を介して、触覚提示装置に指示を行う。出力装置108は、本実施形態における振動提示可能な提示手段として機能する出力装置である。出力装置108は、例えば、出力のための回路を含むCRT(Cathode-Ray Tube)や液晶表示器などのディスプレイ装置に振動を出力するアクチュエータを組み込むことにより実現することができる。また、入力装置107を兼ねたタッチパネルのような出力装置を用いてもよい。
【0015】
次に、図1(b)を参照して、本発明を適用できる触覚提示装置の機能構成図の例について説明する。各機能の制御は、図1(a)で示したCPU102により行われる。入力装置152は、タッチパネル等の指やタッチペンによるタッチ入力が可能なディプレイを想定している。タッチパネルを使用した場合には、入力装置152と出力装置157は同一の装置となる。本実施形態では、タッチパネルを使用する例について説明する。
【0016】
境界抽出部153では、撮像範囲内のファインダ画像を取得する第1取得手段として機能する処理と、表示画面内の画像内に存在する撮影対象の境界線の位置情報を抽出する処理とを行う。ここで取得されるファインダ画像には、現在どの撮影対象にフォーカスが当っているかを表すフォーカス情報が含まれているものとする。境界抽出の方法は、公知のどのような方法であっても構わない。また、自動ではなく、手動でユーザが境界を指定する方法を用いても良い。
【0017】
領域決定部154では、境界抽出部153で取得された撮像範囲内に写っている対象のフォーカス状態を取得し、フォーカス状態に応じてそれぞれの対象ごとに触覚情報の提示領域を決定する。ここで説明する領域とは、境界線を基準として一定の幅を有する境界領域についての情報である。例えば、境界線を基準として左右対称にどの程度の幅を持たせるかという情報である。
【0018】
提示内容決定部155は、境界抽出部153で抽出された境界情報や、領域決定部154で決定された提示領域の情報に基づいて触覚情報として提示する内容を決定する。本実形態では、領域決定部154で決定された領域に指やタッチペンが触れたら振動を返すという提示内容を決定する。すなわち、タッチパネル等の提示領域への物理的な接触の有無を判定することになる。触覚情報提示部156では、提示内容決定部155で決定された提示内容で出力装置157組み込まれているアクチュエータを実際に振動させることで触覚情報の提示を行う。
【0019】
図2及び図3を参照して、本実施形態の処理の概要及び処理のフローチャートについて説明する。ステップS301において、撮影範囲内のファインダ画像の取得と、取得したファインダ画像から撮影対象の境界を抽出する処理を行う。図2の例では、太線205で示すように、ファインダ画像内の背景とタワーの境界が抽出される。
【0020】
ステップS302において、提示する触覚情報を決定する振動設定処理を行う。図4を参照して、この振動設定処理の詳細を示すフローチャートについて説明する。ステップS401において、取得されたファインダ画像の中から、まだ振動設定を行っていない対象を選択する処理を行う。
【0021】
ステップS402では、現在振動設定を行っている撮影対象がフォーカスされている対象か否かを判断する。フォーカスされていれば(ステップS402;YES)、ステップS403へ進む。一方、フォーカスされていなければ(ステップS402;NO)、ステップS404へ進む。
【0022】
ステップS403において、振動を提示する触覚提示領域を狭く設定する処理を行う。領域を狭く設定することで撮影対象の境界が触覚情報として鋭く提示されるようになる。一方、ステップS404は、振動を提示する触覚提示領域をステップS403において設定された場合よりも広く設定する処理を行う。撮影対象がフォーカスされていないため、領域を狭く設定することで撮影対象の境界が触覚情報として鋭く提示せず、区別するためである。
【0023】
ステップS403とステップS404の処理で設定される触覚提示領域は、相対的に狭いか広いかを区別できれば、どのような広さで設定しても良い。図2の203で示されるd1がステップS403で設定される領域の幅である。一方、204で示されるd2がステップS404で設定される領域の幅である。この場合は、d1<d2の関係になるように幅を決定し、領域を設定する。
【0024】
本実施形態では、フォーカスについてのみ述べるが、振動を提示する触覚提示領域を決定するための情報としては、ファインダ画像の明るさ(明度)を用いてもよい。明るければ、領域を狭く設定し、暗ければ領域を広く設定することで、本フローに適用できる。すなわち、例えば、明度が閾値よりも大きい場合は境界領域の幅を、閾値よりも小さい場合における境界領域の幅よりも狭く設定する。その場合、明度を計測する計測手段として機能する計測装置を備える必要がある。
【0025】
ステップS405において、全ての撮影対象に対して振動の設定が終わっているか判断する。処理が終わっている場合には(ステップS405;YES)、振動設定処理を終了する。まだ、処理を行っていない撮影対象がある場合には(ステップS405;NO)、ステップS401に戻る。以上がステップS302における具体的な処理である。
【0026】
次に、ステップS303において、図2の202に示されるように、指がステップS302の振動設定処理で決定されたタッチパネル上の領域に触れているかを判断する。触れていれば(ステップS303;YES)、ステップS304へ進む。一方、触れていなければ(ステップS303;NO)、ステップS301へ戻り、ファインダ画像を再び取得して、境界の抽出処理を行う。
【0027】
ステップS304において、ステップS302で決定された振動設定に基づいて、出力装置のタッチパネルに組み込まれているアクチュエータへ振動させる命令を行う。この振動により、境界領域に対応する表示画面を凸状又は凹状に変形させることにより、触覚情報の提示を行う。
【0028】
ステップS305では、撮影を終了するか続けるかを選択する。終了するのであれば(ステップS305;YES)、処理を終了する。一方、撮影を続行するのであれば(ステップS303;NO)、ステップS301に戻り、撮影範囲内のファインダ画像から撮影対象の境界を抽出する処理を行う。
【0029】
以上のような処理を行うことで、ユーザは撮像範囲内の撮影対象を触覚情報として認識し、構図の確認や変更が可能になる。
【0030】
(第2実施形態)
第1実施形態では、撮影対象が静止している場合について述べた。第2実施形態では、撮影対象が動体である場合、又は触覚提示装置を備える撮像装置が動く場合について述べる。また、併せて触覚提示装置と撮影対象との距離を考慮に入れた場合についても説明する。本実施形態では、境界抽出部153は触覚提示装置と撮影対象との距離を取得する第2取得手段としても機能する。処理の基本的な流れは、第1実施形態で説明した図3の処理フローと同様である。本実施形態では、ステップS302の振動設定処理についてのみ第1実施形態と異なる。
【0031】
図5及び図6を参照して、本実施形態の概要及び振動設定処理の流れを表すフローチャートについて説明する。
【0032】
ステップS601において、第1実施形態で説明したステップS401での処理と同様に、取得されたファインダ画像の中からまだ振動設定を行っていない対象を選択する処理を行う。
【0033】
ステップS602において、第1実施形態で説明したステップS402での処理と同様に、現在振動設定を行っている撮影対象がフォーカスされている対象か否か判断する処理を行う。フォーカスされていれば(ステップS602;YES)、ステップS603へ進む。一方、フォーカスされていなければ(ステップS602;NO)、ステップS604へ進む。
【0034】
ステップS603において、第1実施形態と同様に振動を提示する領域を狭く設定する処理を行う。一方、ステップS604において、第1実施形態と同様に振動を提示する領域をステップ S603で設定された領域よりも広く設定する処理を行う。
【0035】
そしてステップS605において、指とファインダ画像内の撮影対象との相対的な移動が遠い対象から近い対象への移動であるか否かを判断する。相対的な移動が遠い対象から近い対象への移動であれば(ステップS605;YES)、ステップS606の処理へ進む。一方、近い対象から遠い対象への移動であれば(ステップS602;NO)、ステップS607へ進む。ここで、指とファインダ画像内の撮影対象との相対的な移動が遠い対象から近い対象への移動とは、例えば、画像内の撮影対象までの距離が移動前と比較して移動後に近づいた場合に対応させてもよい。そして、近い対象から遠い対象への移動とは、画像内の撮影対象までの距離が移動前と比較して移動後に遠ざかる場合に対応させてもよい。
【0036】
上述の指とファインダ画像内の撮影対象との相対的な移動には3パターンがある。1パターン目は、撮影対象が静止していて、指が動く場合である。2パターン目は、図5の501で示されるように、指は静止しているが、撮影対象が動体である場合である。3パターン目は、502で示すように指は静止しているが、触覚提示装置を組み込んだ撮像装置自体が動くために、相対的に撮影対象が動くケースである。例としては矢印503のように撮像装置を動かす場合である。いずれの場合であっても、指と撮影対象との相対的な移動を監視することにより、振動設定処理のフローを適用することができる。
【0037】
ステップS606において、凸状に表現する反力に振動を設定する。その際に、撮影対象との距離に応じて、反力の強弱を調整することで、凹凸の前後関係だけでなく、距離感を表現しても良い。
【0038】
一方ステップS607において、凹状に表現する反力に振動を設定する。その際に、撮影対象との距離に応じて、反力の強度を調整する強度決定処理を行うことで、凹凸の前後関係だけでなく、距離感を表現しても良い。
【0039】
なお、撮影対象との距離に応じて、凹凸の程度を決定してもよい。その場合、撮影対象との距離が近ければ凸の程度を大きく、撮影対象との距離が遠ければ凸の程度を小さく、或いは、凹状に表示画面を変形させてもよい。
【0040】
ステップS608において、第1実施形態で説明したステップS405での処理と同様に、全てのオブジェクトの振動設定が終わったか否かを判断する。処理が終わっていれば(ステップS608;YES)、振動設定処理を終了する。一方、処理を行っていない撮影対象がある場合には(ステップS608;NO)、ステップS601に戻る。以降は第1実施形態で説明した処理と同様の処理を行う。
【0041】
以上のような処理を行うことで、ユーザは撮像範囲内の撮影対象が動体であっても触覚情報として認識し、構図の確認や変更が可能になる。
【0042】
(第3実施形態)
上述の第1及び第2実施形態においては、常に振動の設定を更新する処理を行っていた。しかし、常に第1及び第2実施形態の処理のフローを実施するのでは、適用する撮像装置によっては処理が遅くなる可能性がある。そこで本実施形態では、ユーザが指示した場合のみ振動設定を更新する例について述べる。
【0043】
図7及び図8を参照して、が本実施形態の処理の概要及び処理の流れを表すフローチャートについて説明する。ステップS801において、撮影範囲内の撮影対象のいずれかにフォーカスが当っているか否かを判断する。撮影対象のいずれかにフォーカスが当っていれば(ステップS801;YES)、ステップS802へ進む。一方、いずれの撮影対象にもフォーカスが当っていなければ(ステップS801;NO)、再びステップS801へ戻る。この判断処理をフローチャートに導入することで、図7の701に示されるようにユーザがフォーカスを合わせる操作を行った場合のみ、ステップS802以降の処理へ進むことになる。
【0044】
ステップS802において、第1実施形態と同様に、撮像範囲内のファインダ画像から撮像対象の境界を抽出する処理を行う。ステップS803において、第1実施形態と同様に、提示する触覚情報を決定する振動設定処理を行う。
【0045】
ステップS804において、ステップS803の振動設定処理で決定された領域に指が触れているか否かを判断する。触れていれば(ステップS804;YES)、ステップS805の処理へ進む。一方、触れていなければ(ステップS804;NO)、ステップS804へ戻る。
【0046】
ステップS805において、第1実施形態と同様に、ステップS803で決定された振動設定に基づいて、出力装置のタッチパネルに組み込まれているアクチュエータへ振動の指示を行う。
【0047】
ステップS806において、振動設定を更新しないか否かを判断する。更新しないのであれば(ステップS806;YES)、ステップS807へ進む。更新するのであれば(ステップS806;NO)、ステップS801へ進む。この処理において、振動設定を更新しない限り、本実施形態では撮像範囲内のファインダ画像の取得も行わない。すなわち図7の702で示されるように、この時点で本触覚提示装置を組み込んだ撮像装置をどの方向へ動かしたとしても、ファインダ画像は変化しない。
【0048】
ステップS807において、撮影を終了するか否かの判断を行う。終了するのであれば(ステップS807;YES)、撮影を終了する処理を行う。一方、撮影を継続するのであれば(ステップS807;NO)、ステップS804へ戻る。
【0049】
一方、ステップS806において、ステップS801へ戻る場合には、ユーザが再びフォーカスを合わせるまで待機することになる。図7の702で示されるタワー704を中心にして写したい場合には、左矢印の方向へ撮像装置を移動させ、その状態で703のようにフォーカスを合わせる。するとステップS802の処理によって、撮影対象の境界の抽出処理がなされてタワー704が中心に写るようになる。中心へ移動させたタワーを表現する触覚情報をユーザは提示されるので、その情報を頼りにタワーが中心に写っていることを確認し、シャッターを切ることで撮影を行うことができる。
【0050】
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

【特許請求の範囲】
【請求項1】
表示画面を凹状又は凸状に変形させることにより当該表示画面内の撮影対象を触覚情報として提示する触覚情報提示装置であって、
撮像手段の撮影範囲内の画像を取得する第1取得手段と、
前記第1取得手段により取得された画像から、当該画像内の撮影対象と背景との境界線の位置を示す位置情報を抽出する抽出手段と、
前記抽出手段により抽出された境界線の位置情報を基準とした、幅を有する境界領域を設定する設定手段と、
前記境界領域に対応する表示画面へのユーザによる物理的な接触があるか否かを判断する判断手段と、
前記判断手段により前記境界領域に対応する表示画面に物理的な接触があると判断された場合に、前記表示画面における前記境界領域に対応する領域を振動させる振動手段と、
前記振動手段による振動により前記境界領域に対応する表示画面を凹状又は凸状に変形させ、前記撮影対象の触覚情報として提示する提示手段と、
を備えることを特徴とする触覚情報提示装置。
【請求項2】
前記撮影対象がフォーカスされているか否かを判定する判定手段をさらに備え、
前記設定手段は、前記判定手段により前記撮影対象がフォーカスされていると判定された場合における前記境界領域の幅を、前記判定手段により前記撮影対象がフォーカスされていないと判定された場合における前記境界領域の幅よりも狭く設定することを特徴とする請求項1に記載の触覚情報提示装置。
【請求項3】
前記撮影対象の明度を計測する計測手段をさらに備え、
前記設定手段は、前記計測手段により計測された明度が閾値よりも大きい場合における前記境界領域の幅を、前記閾値よりも小さい場合の前記境界領域の幅よりも狭く設定することを特徴とする請求項1に記載の触覚情報提示装置。
【請求項4】
前記撮像手段から、前記抽出手段により境界線の位置情報が抽出された撮影対象までの距離を取得する第2取得手段をさらに備え、
撮影範囲内で前記撮影対象が移動した場合に、
移動前の撮影対象までの距離が移動後の撮影対象までの距離よりも近ければ、
前記提示手段は、前記振動手段による振動により前記境界領域を凸状に変形させ、前記撮影対象の触覚情報として提示し、
移動前の撮影対象までの距離が移動後の撮影対象までの距離よりも遠ければ、
前記提示手段は、前記振動手段による振動により前記境界領域を凹状に変形させ、前記撮影対象の触覚情報として提示することを特徴とする請求項1乃至3の何れか1項に記載の触覚情報提示装置。
【請求項5】
撮影範囲内の画像を更新する指示を与える指示手段をさらに備え、
前記指示手段により更新の指示がなされた場合に、撮影範囲内の画像を更新することを特徴とする請求項1乃至4の何れか1項に記載の触覚情報提示装置。
【請求項6】
表示画面を凹状又は凸状に変形させることにより当該表示画面内の撮影対象を触覚情報として提示する触覚情報提示方法であって、
第1取得手段が、撮像工程により撮影範囲内の画像を取得する第1取得工程と、
抽出手段が、前記第1取得工程により取得された画像から、当該画像内の撮影対象と背景との境界線の位置を示す位置情報を抽出する抽出工程と、
設定手段が、前記抽出工程により抽出された境界線の位置情報を基準とした、予め定められた幅を有する境界領域を設定する設定工程と、
判断手段が、前記境界領域に対応する表示画面へのユーザによる物理的な接触があるか否かを判断する判断工程と、
振動手段が、前記判断工程により前記境界領域に対応する表示画面に物理的な接触があると判断された場合に、前記境界領域を振動させる振動工程と、
提示手段が、前記振動工程による振動により前記境界領域に対応する表示画面を凹状又は凸状に変形させ、前記撮影対象の触覚情報として提示する提示工程と、
を有することを特徴とする触覚情報提示方法。
【請求項7】
請求項6に記載の触覚情報提示方法をコンピュータに実行させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2011−146821(P2011−146821A)
【公開日】平成23年7月28日(2011.7.28)
【国際特許分類】
【出願番号】特願2010−4444(P2010−4444)
【出願日】平成22年1月12日(2010.1.12)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】