説明

被写体検索装置、被写体検索方法、被写体検索情報提供プログラム及び被写体検索プログラム

【課題】ユーザの手を煩わせることなく、撮影された被写体に関する正確な情報を確実に検索できるようにする。
【解決手段】携帯電話端末からの画像データと当該画像データについての関連情報とを含む検索要求に基づいて、検索処理部111が、被写体DB105の蓄積情報から検索対象の被写体に関する情報を検索する。検索処理部111が、検索対象の被写体に関する情報を検索できなかった場合には、追加情報要求部113が、追加情報を要求し、携帯電話端末からの追加情報を含む再検索要求に応じて、検索処理部111が、記憶手段の蓄積情報から検索対象の被写体に関する情報の再検索を行う。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、情報検索技術の分野に属し、撮影された被写体に関する正確な情報を確実に検索できるようにする装置、方法、プログラムに関する。
【背景技術】
【0002】
山歩きや里山の散策、あるいは、海辺や湖沼周辺等の水辺の散策など、自然と親しむことを趣味にしている人は多い。これに伴い、食用となる自生植物(野草、山菜、茸、果実、木の実など)や食用となる魚介類等の採取を趣味にする人も増えてきている。しかし、自生植物や魚介類等の中には毒性を有するものもあり、知識や経験がなければむやみに食することはできない。
【0003】
このため、自生植物や魚介類等の採取対象について知識や経験のないユーザの場合、多くは写真付きの図鑑を用いて、採取対象の自生植物や魚介類等が毒性はなく食べられるものか否かをユーザ自身が判別している。これに関連し、後に記す特許文献1には、動植物等の画像を撮影し、撮影することにより得た画像データと撮影時の撮影状況(撮影時間や撮影場所)とに基づいて、データベースを検索し、被写体に関する説明文を得る発明が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平10−091634号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上述した図鑑を用いる方法の場合、図鑑の記載内容と、採取対象の自生植物や魚介類等とが同じものか否かは、ユーザがページをめくって見て合わせるため、手間や時間がかかり面倒である。また、自生植物や魚介類等においては、特徴のある部分はそれぞれに異なるため、1枚の画像データや撮影状況だけでは、被写体に関する正確な情報を検索できない場合も多い。このため、上述した特許文献1に記載の発明を用いても、自生植物や魚介類等の採取対象についての適切な情報を確実に提供できない場合があると考えられる。
【0006】
以上のことに鑑み、この発明は、ユーザの手を煩わせることなく、撮影された被写体に関する正確な情報を確実に検索できるようにすることを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するため、請求項1に記載の発明の被写体検索装置は、
検索対象の被写体の画像を撮影し、当該被写体の画像データを取得する撮影手段と、
前記画像データについての関連情報を取得する取得手段と、
被写体となる可能性のある複数の対象毎に、当該対象の1以上の画像を形成する1以上の画像データを含み、当該対象に関する情報を蓄積する記憶手段と、
取得された前記画像データと前記関連情報とに基づいて、前記記憶手段の蓄積情報から検索対象の前記被写体に関する情報を検索する検索手段と、
検索対象の前記被写体に関する情報が検索できなかった場合に、追加情報を要求する追加要求手段と、
前記追加情報の要求に応じて、前記撮影手段と前記取得手段との一方あるいは両方を通じて、追加情報を取得するように制御する制御手段と、
前記制御手段の制御に応じて取得された前記追加情報をも考慮して、前記記憶手段の蓄積情報から検索対象の前記被写体に関する情報を再検索する再検索手段と
を備えることを特徴とする。
【0008】
この請求項1に記載の発明の被写体検索装置によれば、撮影手段で取得した検索対象の被写体の画像データと、取得手段で取得した、当該画像データについての関連情報とに基づいて、検索手段が、記憶手段の蓄積情報から検索対象の被写体に関する情報を検索する。検索手段が、検索対象の被写体に関する情報を検索できなかった場合には、追加要求手段が、追加情報を要求し、これに応じて、制御手段が撮影手段や取得手段を制御して、追加情報を取得する。そして、再検索手段が、新たに取得された追加情報をも考慮して、記憶手段の蓄積情報から検索対象の被写体に関する情報を再検索する。
【0009】
このように、最初の検索によって、検索対象の被写体に関する情報が検索できなくても、当該被写体に関する情報を検索するために必要となる当該被写体についての追加情報(画像データや関連情報)を得て、これをも考慮して再検索が行われる。これにより、検索対象の被写体に関する正確な情報を確実に検索できるようになる。しかも、ユーザの手を煩わせることもない。
【発明の効果】
【0010】
この発明によれば、ユーザの手を煩わせることなく、撮影された被写体に関する正確な情報を確実に検索できる。
【図面の簡単な説明】
【0011】
【図1】この発明の被写体検索装置の一実施の形態を実現する被写体検索システムの概略構成を説明するための図である。
【図2】実施の形態の携帯電話端末4の構成例を説明するためのブロック図である。
【図3】画像データファイルのフォーマットの一例の概要を説明するための図である。
【図4】実施の形態のサーバ装置1の構成例を説明するためのブロック図である。
【図5】被写体DB105の登録データの例を説明するための図である。
【図6】被写体検索を行う場合の携帯電話端末4での処理について説明するためのフローチャートである。
【図7】図6に続くフローチャートである。
【図8】図7に続くフローチャートである。
【図9】被写体検索を行う場合に携帯電話端末4の表示画面に表示される画面の例について説明するための図である。
【図10】被写体検索を行う場合のサーバ装置1での処理について説明するためのフローチャートである。
【図11】図10に続くフローチャートである。
【発明を実施するための形態】
【0012】
以下、図を参照しながら、この発明の装置、方法、プログラムの一実施の形態について説明する。この発明は、カメラ機能を備えた情報処理装置単体で実現することもできるし、カメラ機能を備えた端末装置と情報処理装置とを組み合わせて実現することもできる。また、この発明は、カメラ機能を備えた端末装置とサーバ装置とを、ネットワークを通じて接続することにより形成されるシステムとして実現することもできる。
【0013】
以下においては、野外活動中に利用することも考慮し、カメラ機能を備えた端末装置とサーバ装置とがネットワークを通じて接続されて形成されるシステムとして、この発明を実現する場合を例にして説明する。また、カメラ機能を備えた端末装置は、携帯電話端末やタブレット型端末やパッド型端末と呼ばれる情報端末など種々のものが存在する。しかし、以下に説明する実施の形態において、カメラ機能を備えた端末装置は、現在広く普及しているカメラ付きの携帯電話端末を用いるものとする。
【0014】
[システムの全体構成]
図1は、この発明の被写体検索装置の一実施の形態を実現する被写体検索システムの概略構成を説明するための図である。すなわち、この実施の形態においては、サーバ装置1と携帯電話端末4(1)、4(2)、…とが、ネットワーク2を通じて接続されることにより、この発明の被写体検索装置の一実施の形態を実現している。
【0015】
サーバ装置1は、詳しくは後述もするが、被写体となる可能性のある種々の植物や種々の魚介類のそれぞれ毎に、それらの1以上の画像を形成する1以上の画像データと、それらの詳細情報とを蓄積して形成した被写体データベースを備えている。そして、サーバ装置1は、当該被写体データベースを用いて、被写体検索サービスを提供することができるものである。なお、ここで、「被写体となる可能性のあるもの」とは、検索の対象となるものを意味する。
【0016】
また、図1において、ネットワーク2は、主にインターネットを意味する。インターネットは、全世界規模で構築されている、インターネット・プロトコルによるネットワークを相互接続して構築されたネットワークである。なお、ネットワーク2は、インターネットへの接続経路を提供する公衆交換電話網(PSTN(Public Switched Telephone Network))、デジタル回線網(ISDN(Integrated Services Digital Network))、光通信網などをも含む。また、ネットワーク2は、携帯電話網や、wifiなどと呼ばれる無線LAN(Local Area Network)、wimaxなどと呼ばれる高速無線通信規格に準じた無線通信網などをも含む。したがって、図1に示すように、携帯電話端末4(1)、4(2)、…のそれぞれは、携帯電話網の近隣の基地局3(1)、3(2)、3(3)、…を通じてネットワーク2に接続される。
【0017】
携帯電話端末4(1)、4(2)、…のそれぞれは、携帯電話網を通じての通話機能やインターネットを通じてのデータ通信機能を実現する通信機能の他、カメラ機能、GPS(Global Positioning System)機能、時計回路、方位センサ(地磁気センサ)等を備えたものである。そして、携帯電話端末4(1)、4(2)、…のそれぞれは、カメラ機能を用いて撮影を行うことにより、被写体の画像を形成する画像データを取得できる。
【0018】
また、携帯電話端末4(1)、4(2)、…のそれぞれは、撮影を行うと、GPS機能を用いて撮影位置を取得し、時計回路を用いて撮影日時を取得し、方位センサを用いて撮影方向を取得するなど、画像データに関する種々の関連情報(メタデータ)を取得する。すなわち、携帯電話端末4(1)、4(2)、…においては、撮影を行うことにより、被写体の画像データを取得するだけでなく、当該画像データについての種々の関連情報(メタデータ)を取得して、これらを関連付けて記憶保持できる。
【0019】
なお、携帯電話端末4(1)、4(2)、…が備えるGPS機能は、少なくとも3個以上の人工衛星からの信号を受信して演算処理を行うことにより、自機の現在位置を測位することができるものである。また、携帯電話端末4(1)、4(2)、…のそれぞれのGPS機能は、いわゆるディファレンシャルGPSと呼ばれる技術を用い、高精度に自機の現在位置を測位することができるものである。図1において、GPS衛星5(1)、5(2)、…は、地上におけるGPS機能を実現するため、地球周回軌道上に配備され、現在位置測位のためのいわゆるGPS信号を送信する約30基の人工衛星の一部を示している。
【0020】
そして、例えば、携帯電話端末4(1)のユーザが、茸採りに出かけ、茸を見つけたが、その茸は見たことがなく食べられるものかどうか分からないものであったとする。この場合、ユーザは、携帯電話端末4(1)を用いて、サーバ装置1にアクセスし、被写体検索アプリケーション等の提供を受けて、サーバ装置1との間で被写体検索を行える環境を整える。そして、携帯電話端末4(1)は、ユーザの指示に応じて、カメラ機能を用い、ユーザが見つけた茸の画像を撮影して画像データを取得する。同時に、携帯電話端末4(1)は、自機の機能を用いて、撮影場所、撮影日時、撮影方向等の関連情報を取得する。そして、携帯電話端末4(1)は、当該画像データや関連情報を含む、検索要求を形成し、サーバ装置1に送信する。
【0021】
サーバ装置1は、上述もしたように、被写体データベースを備えている。サーバ装置1は、携帯電話端末4(1)からの検索要求を受信すると、これに含まれる画像データと関連情報とを用いて、当該被写体データベースから、画像データが形成する画像の被写体に関する情報を検索する。そして、サーバ装置1は、検索結果を検索要求元の携帯電話端末4(1)に返信する。しかし、当該検索要求に含まれる画像データと関連情報だけだと、該当データが見つからなかったり、該当データが絞り込めなかったりする場合もある。
【0022】
そこで、サーバ装置1は、最初の検索処理で検索対象の被写体に関する情報が検索できなかった場合(特定できなかった場合)には、検索要求元の携帯電話端末4(1)に対して、追加情報の提供を要求する。この場合の追加情報は、茸の傘上部と茸の傘裏部の写真(画像データ)を要求したり、茸の傘の直径、茎の長さ、茎部の粘性の有無、茸の発する匂いなどの情報を要求したり、当該茸の周囲に存在する樹木の種類の情報を要求したりするなど、具体的なものである。すなわち、サーバ装置1は、最初の検索処理により、被写体に対応する可能性のある蓄積データを絞り込むことができる。そこで、サーバ装置1は、最初の検索処理で得られる情報を基にして、判別処理に必要な追加情報を特定し、問い合わせ要求元の携帯電話端末4(1)に当該追加情報の提供を具体的に要求する。
【0023】
追加情報の提供が要求された携帯電話端末4(1)においては、サーバ装置1からの要求に応じた追加情報を、ユーザの指示に応じて取得し、これをサーバ装置に送信する。サーバ装置1では、携帯電話端末4(1)からの追加情報をも考慮して、被写体データベースを参照し、検索対象の被写体に関する情報の再検索を行う。これにより、より確実に、携帯電話端末4(1)からの画像データや関連情報に基づいて、画像データが形成する画像の被写体(この例の場合には茸)に関する情報を検索することができる。具体的には、茸の名称(名前)、毒性の有無、食用に適するか否か、食用に適する場合にはどのような料理方法があるかなどを知ることができる。なお、ここでは、携帯電話端末4(1)を用いる場合を例にして説明したが、カメラ機能を備えた携帯電話端末4(2)等の他の携帯電話端末を用いた場合にも、同様に、被写体の検索を行うことができる。
【0024】
このように、この実施の形態のサーバ装置1は、最初の検索処理において、検索対象の被写体に関する情報が検索できない場合には、検索のために必要となる追加情報の提供を、検索要求元の携帯電話端末4(1)、4(2)、…等に要求する。そして、サーバ装置1は、検索要求元からの追加情報を用いて、再検索処理を行うことにより、検索対象の被写体に関する正確な情報を確実に検索することができる。
【0025】
なお、この実施の形態において、携帯通信端末4(1)、4(2)、…のそれぞれは、基本的な構成は同じである。このため、以下においては特に区別して示す場合を除き、携帯通信端末4(1)、4(2)、…を総称して、携帯通信端末4という。そして、以下では、まず、この実施の形態の被写体検索装置(被写体検索システム)を構成する携帯電話端末4とサーバ装置1とのそれぞれの構成例について説明する。この後、携帯電話端末4とサーバ装置1で行われる処理について具体的に説明する。
【0026】
[携帯通信端末4の構成例]
図2は、この実施の形態の携帯電話端末4の構成例を説明するためのブロック図である。図2に示すように、この実施の形態の携帯電話端末4は、ネットワーク2を通じて通信を行う部分として、送受信アンテナ401、送受信処理部402、受話器(スピーカ)403、送話器(マイクロホン)404を備える。また、ユーザインターフェースを提供する部分として、キー操作部411、表示制御部412、表示部413、音声処理部414、スピーカ415を備える。また、携帯電話端末4は、カメラ機能を実現するカメラ部416を備える。
【0027】
キー操作部411は、数字キー、各種機能キー等が設けられ、ユーザからの指示入力(操作入力)を受け付ける。また、キー操作部411には、カメラ機能を用いるためのシャッターキー等も設けられている。表示制御部412と表示部413とは、種々の画像や表示メッセージなどの表示情報を表示するためのものである。表示部413は、例えば、有機ELディスプレイ(organic electroluminescence display)やLCD(Liquid Crystal Display)等のいわゆる薄型の表示素子が用いられている。また、音声処理部414とスピーカ415とは、着信音や警告音、その他の音声メッセージを出力するものである。また、カメラ部416は、撮像レンズ、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子、カメラ信号処理回路などからなるものである。
【0028】
また、携帯通信端末4は、各部を制御する制御部420を備える。制御部420は、CPU(Central Processing Unit)421、ROM(Read Only Memory)422、RAM(Random Access Memory)423、EEPROM(Electrically Erasable and Programmable ROM)424が、CPUバス425を通じて接続されて形成されたコンピュータ装置である。CPU421は、ROM422やEEPROM424に記憶されているプログラムを読み出して実行し、各部に供給する制御信号を形成して、これを各部に供給したり、各部から送信されてくるデータを受け付けて、これに応じた処理を実行したりする。ROM422は、CPU421において実行されるプログラムや処理に必要になる種々のデータが予め記録されたものである。
【0029】
また、RAM423は、処理の途中結果を一時記憶するなど、主に作業領域として用いられる。また、EEPROM424は、いわゆる不揮発性メモリであり、携帯通信端末4の電源を落としても保持しておくべきデータ等が記憶保持される。EEPROM424には、例えば、機能追加のための新たなプログラム、種々の設定パラメータ、電話帳データ、アプリケーションプログラムや機能アップのための追加プログラムなどが記憶保持される。
【0030】
さらに、携帯通信端末4は、現在年月日、現在曜日、現在時刻を提供する時計回路431を備えると共に、メモリスロット部432、外部入出力端子433、外部インターフェース(以下、外部I/Fと略称する。)434を備える。メモリスロット部432は、いわゆるメモリーカードの装着部と、これに装着されたメモリーカードに対するデータの書き込み/読み出し部とからなる。メモリスロット部432は、規格の異なる複数種類のメモリーカードに対応することができるものである。また、外部入出力端子433及び外部I/F434は、この実施の形態においては、例えば、USB(Universal Serial Bus)規格に準拠したデジタルインターフェースである。
【0031】
また、携帯通信端末4は、GPS部435とGPSアンテナ436とを備える。これらGPS部435とGPSアンテナ436とにより、上述もしたように、複数のGPS衛星からのGPS信号(測位情報)を受信して演算処理することにより、自機の現在位置を正確に検出(測位)することができる。また、図2には図示しないが、携帯電話端末4は方位センサなどの画像データについての関連情報(メタデータ)に含まれる情報を取得するための種々のセンサや回路等を備えている。
【0032】
このような構成を有する携帯通信端末4は、制御部420の制御により、送受信処理部402、送受信アンテナ401を通じて、ネットワーク2に情報を送出したり、ネットワーク2を通じて送信されてくる自機宛の情報を受信したりする。これにより、携帯電話端末4は、種々の通信処理を行うことができる。
【0033】
また、携帯通信端末4は、実行可能な種々のアプリケーションプログラムなどを登録するようにしたメニューを備えている。当該メニューは、例えば、キー操作部411に設けられているメニューキーを押下操作するなどの所定の操作を行うことにより、制御部420が表示制御部412を通じて表示部413の表示画面に表示することができる。そして、制御部420は、キー操作部411を通じてユーザからの当該メニューに含まれる項目の選択入力を受け付け、ユーザによって選択された項目に対応するプログラムを実行することができる。
【0034】
そして、この実施の形態の携帯電話端末4は、カメラ部416を通じて撮影することにより得た被写体の画像データを、メモリスロット部423に装着されたメモリーカード450に蓄積することができる。この場合、画像データと共に、撮影時において取得する画像データについての関連情報(メタデータ)も蓄積する。また、携帯電話端末4を通じてサーバ装置1が提供する被写体検索サービスを利用する場合には、検索対象の被写体を撮影することにより得た画像データを含む検索要求を形成し、これをサーバ装置1に送信する。この場合、当該検索要求には、撮影時において取得する画像データについての関連情報(メタデータ)やキー操作部411を通じて受け付けた被写体や撮影場所等に関するテキスト情報も含められる。すなわち、被写体検索時において、キー操作部411を通じて入力されるテキスト情報もまた、検索対象の被写体の画像データについての関連情報(メタデータ)である。
【0035】
図3は、この実施の形態の携帯電話端末4において形成される検索要求のフォーマット例を説明するための図である。図3に示すように、当該検索要求には、端末ID、ヘッダ情報、関連情報(メタデータ)、1以上の画像データ、入力情報(テキスト情報)が含められる。端末IDは、当該検索要求の提供元(検索要求元)の携帯電話端末4を特定するための情報である。ヘッダ情報は、当該情報が検索要求であることや、詳しくは後述する再検索要求であることを示す情報、当該検索要求にどのような情報が含まれているのかを示す情報等、当該検索要求に応じた処理を行う場合に必要となる情報である。
【0036】
また、関連情報(メタデータ)は、当該検索要求に格納されている画像データに関する種々の情報である。この実施の形態で用いられる画像データに関する関連情報には、撮影日時、撮影方向、焦点距離、GPS情報が含まれる。これらの情報は、携帯電話端末4が備える機能によって取得可能な情報である。この他にも、撮影機器メーカー名などの撮影機器に関する情報や解像度やシャッタースピードなどの種々の撮影パラメータなどもメタデータとして検索要求に含められる。
【0037】
また、図3に示すように、当該検索要求には、検索対象の被写体の複数の画像データを含めることができるようになっている。このようにするのは、詳しくは後述もするが、被写体検索サービスの利用時において、サーバ装置1から追加情報として、被写体の異なる複数の部分の画像データが要求された場合に対応できるようにするためである。もちろん、必ず複数の画像データが必要になるものではなく、最初の検索要求の場合などにおいては、検索対象の被写体の1つの画像データだけが当該検索要求に含められる。また、追加情報が要求された場合であっても、追加の画像データが要求されない場合には、検索要求に画像データが含められない場合もある。また、図3において、入力情報は、上述もしたように、キー操作部411を通じて入力された被写体や撮影場所等に関するテキスト情報である。
【0038】
このように、この実施の形態の携帯電話端末4は、カメラ部416を通じて被写体を撮影し、図3を用いて説明した内容の検索要求を形成して、これをサーバ装置1に送信することによって、検索対象の被写体に関する情報を検索することができる。すなわち、携帯電話端末4は、サーバ装置1へのアクセス機能を実現し、携帯電話端末4を用いることによって、サーバ装置1が提供する被写体検索サービスを利用できるようになっている。
【0039】
[サーバ装置1の構成例]
図4は、この実施の形態のサーバ装置1の構成例を説明するためのブロック図である。図4に示すように、サーバ装置1は、ネットワーク2への接続端子101、通信I/F102を備える。また、携帯電話端末4からの検索要求を格納する検索要求保存ファイル103、ハードディスクドライブ(以下、HDDと略称する。)104、被写体データベース(以下、被写体DBと略称する)105、地図データベース(以下、地図DBと略称する。)106を備える。また、被写体検索サービスを提供する主な部分として、検索処理部111、回答情報生成部112、追加情報要求部113を備える。また、サーバ装置1は、制御部120を備える。
【0040】
制御部120は、サーバ装置1の各部を制御するものであり、図4に示すように、CPU121、ROM122、RAM123が、CPUバス124を通じて接続されて構成されたコンピュータ装置である。そして、当該コンピュータ装置においては、CPU121が機能し、ROM122に記憶されているBIOSなどのいわゆるファームウェアや後述するHDD104のハードディスクに記憶されているアプリケーションソフトウェアを読み出して実行する。そして、CPU121は、各部への制御信号を形成し、これを関係する各部に供給し、また、各部からのデータを受信してこれを処理する。
【0041】
接続端子101は、ネットワーク2との接続端部を形成するものである。この接続端子101に対して、ネットワーク2からの通信線路が接続される。通信I/F102は、ネットワーク2を通じて送信されてくる自機宛の種々の情報を受信し、これを自機において処理可能な形式の情報に変換して制御部120に供給する。また、通信I/F102は、制御部120を通じて供給される送信用の種々の情報を、ネットワーク2に送出する形式の信号に変換して、これをネットワーク2に送出する。
【0042】
検索要求保存ファイル103は、携帯電話端末4から送信されてくる検索要求を一時記憶するためのものである。この検索要求保存ファイルには、接続端子101及び通信I/F102を通じて受信された検索要求が、制御部120を通じて格納される。HDD104は、記録媒体としてハードディスクを備え、制御部120の制御に応じて、当該ハードディスクに対して、書き込み/読み出しを行う。HDD104のハードディスクは、例えば、種々のアプリケーションプログラムや種々の処理により得られたデータ等を記憶保持する。
【0043】
被写体DB105は、上述もしたが、検索対象である種々の植物や種々の魚介類のそれぞれ毎に、それらの1以上の画像を形成する1以上の画像データと、それらについての詳細情報とからなる情報が蓄積されて形成されたものである。この実施の形態においては、植物については、例えば、「菌茸類」、「草・花」、「樹木」、「果実」の4つに大きく分類され、それぞれ毎にデータが登録されている。また、魚介類については、例えば、「魚類」、「貝類」、「海藻類」、「その他の水生生物」の4つに分類され、それぞれ毎にデータが登録されている。
【0044】
図5は、被写体DB105の登録データの例を説明するための図であり、菌茸類の登録データの一例を示している。図5に示すように、被写体DB105の登録データは、ヘッダ情報として、当該登録データの識別IDと被写体種別(被写体の分類)とを有している。そして、登録データは、被写体についての、名称、科目、学名、生息地、生育時期、生育場所、毒性等に関する情報、外観特徴、料理情報、1以上の画像データを備えている。この実施の形態においては、料理情報以外の各情報が、携帯電話端末4からの検索要求に含まれる画像データや関連情報(メタデータ)に基づく検索対象となる。なお、料理情報は、毒性が無く、食用に適したものである場合に、どのように料理すればよいのか等の情報を含む。
【0045】
そして、図5に示すように、当該登録データに含まれる被写体の画像データは、当該被写体の特徴部分を含む複数の画像についての画像データが含まれる。図5に示した例の場合には、画像データ1(全形1)、画像データ2(傘上部)、画像データ3(傘裏部)、画像データ4(茎部)、画像データ5(断面)、画像データ6(全形2)、画像データ7(全形3)、画像データ8(全形4)を有する。このように、1つの被写体について、複数の画像データを備えるようにしているのは、種々の角度からの比較を可能し、検索対象の被写体に関する正確な情報を確実に検索することができるようにするためである。なお、図5は、菌茸類についての登録データの例について説明したが、他の植物や魚介類についても、同様の登録データが形成され、被写体DB105に蓄積される。
【0046】
地図DB106は、この実施の形態においては、詳細な地図情報を記憶保持するものである。当該地図情報は、山、川、街、道路、鉄道路線、各種店舗、病院、医院、学校、警察署、消防署、神社仏閣、行政界などの種々のランドマーク、施設、行政区域などの位置や大きさなどを正確に表すことができるものである。そして、地図DB106は、地図を描画するための例えばベクトルデータやラスタデータ等の地図データ(地図用の描画データ)を緯度・経度情報に対応付けて記憶保持する。地図DB106の情報は、例えば、撮影場所がどのような場所なのかを判別するなどの場合に用いることができる。
【0047】
そして、サーバ装置1において、検索処理部111、回答情報生成部112、追加情報要求部113が、被写体検索サービスを提供するための主要部である。ここでも、菌茸類についての被写体の検索を行う場合を例にして説明する。検索処理部111は、検索要求保存ファイル103に格納された検索要求に含まれる画像データと関連情報とを用いて、制御部120を通じて被写体DB105の蓄積情報を参照し、被写体DB105の蓄積情報から検索対象の被写体に関する情報を検索する。
【0048】
この実施の形態において、図5を用いて説明した被写体DB105の登録データにおいて、画像データ1(全形1)は、当該被写体の代表画像を形成するものであるとする。このため、検索処理部111は、携帯電話端末4からの検索要求に含まれる画像データと被写体DB105の全形1の画像データ(画像データ1)とを対比して類似度を判別する。同時に、検索処理部111は、携帯電話端末4からの検索要求に含まれる関連情報と被写体DB105の登録情報との対比を行う。
【0049】
ここで、携帯電話端末4からの検索要求に含まれる関連情報と被写体DB105の登録情報との対比は、以下の点について行うことができる。すなわち、関連情報に含まれる撮影位置と被写体DB105の生息地域との対比、関連情報に含まれる撮影日時と被写体DB105の生育時期との対比が行える。また、関連情報として、ユーザ入力による被写体の外観に関するテキスト情報が存在する場合には、当該テキスト情報と被写体DB105の外観特徴の情報とを対比できる。また、関連情報として、ユーザ入力による撮影場所に関するテキスト情報が存在する場合には、当該テキスト情報と被写体DB105の生育場所の情報とを対比できる。
【0050】
そして、検索要求に含まれる画像データと被写体DB105の全形1の画像データ(画像データ1)との類似度が所定の閾値より高く、当該検索要求に含まれる関連情報と被写体DB105の登録情報と一致していたとする。この場合には、検索処理部111は、検索要求に含まれる画像データが形成する画像の被写体は、当該被写体DB105の当該登録データが示す被写体と一致すると判別することができる。すなわち、検索対象の被写体に関する情報が被写体DB105の蓄積データから検索できたことになる。
【0051】
この場合、検索処理部111は、検索できた被写体DB105の登録データの識別IDを回答情報生成部112に通知して、回答情報の生成を依頼する。回答情報生成部112は、通知された識別IDに基づいて、制御部120を通じて被写体DB105から該当する登録データを読み出し、これに基づいて名称、毒性等、料理情報等からなる検索要求元への回答情報を生成する。そして、回答情報生成部112は、生成した回答情報を、制御部120、通信I/F102、接続端子101を通じてネットワーク2に送出し、要求元の携帯電話端末4に送信する。
【0052】
また、検索処理部111において、検索対象の被写体に関する情報が被写体DB105の蓄積データから検索できなかったとする。この場合、検索処理部111は、今回の検索結果に基づいて、検索要求元に提供を要求する追加情報を特定し、これを追加情報要求部113に通知する。この場合、検索処理部111は、該当する登録データが全く検索できなかったときには、予め決められた条件にしたがって、1以上の新たな画像データ、より詳しい被写体の外観に関するテキスト情報、より詳しい撮影場所に関するテキスト情報等を追加情報とする。また、検索処理部111は、ある程度候補となる登録データが検索できたときには、それらとの対比を適切に行うことが可能な情報、例えば、被写体の特定部分に特徴がある場合には、その特定部分の画像データ、その特定部分に関するテキスト情報等を追加情報とする。
【0053】
追加情報要求部113は、検索処理部111からの通知に基づいて、検索要求元に送信する追加情報の提供要求を形成し、これを制御部120、通信I/F102、接続端子101を通じてネットワーク2に送出し、要求元の携帯電話端末4に送信する。これにより、検索要求元の携帯電話端末4は、サーバ装置1からどのような追加情報が要求されたかを把握できる。そして、検索要求元の携帯電話端末4は、サーバ装置1からの要求に応じた追加情報を取得し、これを含む再検索要求を生成して、サーバ装置1に送信する。当該再検索要求は、サーバ装置1において、接続端子101、通信I/F102を通じて受信され、検索要求保存ファイル103に格納される。
【0054】
そして、当該再検索要求に含まれる画像データや関連情報をも用いて、検索処理部111が再検索処理を行う。なお、上述したように、検索処理部11の最初の検索処理により、ある程度検索対象が絞りこまれている場合には、その情報を検索処理部111や制御部120において管理しておく。これにより、検索処理部111は、検索対象となる被写体DB105の登録データの範囲を狭めて再検索処理を行うことができる。
【0055】
そして、検索処理部111における再検索処理の結果、検索対象の被写体に関する情報が被写体DB105の蓄積データから検索できたとする。この場合、検索処理部111は、上述したように、検索できた被写体DB105の登録データの識別IDを回答情報生成部112に通知して、回答情報の生成を依頼する。そして、回答情報生成部112は、生成した回答情報を、上述もしたようにネットワーク2を通じて要求元の携帯電話端末4に送信する。
【0056】
また、検索処理部111において、検索対象の被写体に関する情報が被写体DB105の蓄積データから検索できなかったとする。この場合、検索処理部111は、回答情報生成部112に対して、検索できなかった旨の回答情報(検索不成功を示す情報)を形成するように依頼する。この場合、回答情報生成部112は、予め決められたテンプレートにしたがって、検索不成功メッセージを形成し、これを検索要求元に送信する。
【0057】
当該検索不成功メッセージとしては、例えば、「該当データが見つかりません。毒性を有する可能性もあります。採取することはお奨めできません。」、「該当データが見つかりません。採取する場合には、知識のある方に毒性の有無を確認し、毒性のないことを確認してから食べるようにしてください。」といったものとなる。この他にも、茸の毒性の有無を問い合わせることのできる問い合わせ先を紹介したり、茸の毒性の有無の検査が可能な検索機関を紹介したりすることもできる。また、採取して持ち帰った場合には、綺麗に洗った後に、再度の検索を行うことを勧めるなどのこともできる。
【0058】
このように、この実施の形態のサーバ装置1は、携帯電話端末4に対して、被写体検索サービスを提供することができるものである。
【0059】
[携帯電話端末4の処理とサーバ装置1の処理]
次に、図2、図3を用いて説明した構成を有する携帯電話端末4での被写体検索を行う場合の処理と、図4、図5を用いて説明した構成を有するサーバ装置1での被写体検索を行う場合の処理とについて、フローチャートを参照しながら説明する。
【0060】
[携帯電話端末4での被写体検索を行う場合の処理]
図6〜図8は、携帯電話端末4での被写体検索を行う場合の処理について説明するためのフローチャートであり、図9は、当該処理において、携帯電話端末4の表示部413の表示画面413Gに表示される画面の例について説明するための図である。
【0061】
携帯電話端末4の制御部420は、キー操作部411を通じて、サーバ装置1が提供する被写体検索サービスを利用するための所定の操作入力を受け付けると、図6〜図8に示す処理実行する。ここで、当該所定の操作入力は、例えば、当該処理に対応付けられたアイコンやメニュー項目等を選択するものである。そして、制御部420は、サーバ装置1の被写体検索サービスを提供するサイトのURL(Uniform Resource Locator)を用いて、当該サイトにアクセスし、被写体検索アプリケーション等を取得し、これを実行する(ステップS101)。
【0062】
なお、被写体検索アプリケーション等には、必要となる画面情報等も含まれる。このステップS101の処理により、携帯電話端末4とサーバ装置1との間で所定の情報の送受を行って被写体検索を行う準備が整えられ、以降の処理が行われる。なお、サーバ装置1の被写体検索サービスを提供するサイトのURLは、予めEEPROM424に登録されているものとする。もちろん、ブラウザの検索機能を用いて検索して、当該サイトにアクセスすることもできる。また、取得した被写体検索アプリケーション等は、例えばEEPROM424に格納されて実行される。
【0063】
そして、制御部420は、被写体種別の選択画面(図9A)を、表示制御部412を通じて表示部413の表示画面413Gに表示し(ステップS102)、キー操作部411を通じてユーザからの操作入力を受け付ける(ステップS103)。被写体種別の選択画面は、図9Aに示したように、携帯電話端末4のユーザが、これから検索しようとしている被写体の種別を選択するためのものである。ステップS103においては、ユーザは、キー操作部411の上矢印キーや下矢印キーを用いて、目的とする被写体の種別を選択することができる。
【0064】
そして、制御部420は、ステップS103で受け付けた操作入力が、「終了」ボタンの選択操作であるか否かを判別し(ステップS104)、「終了」ボタンの選択ではないときには、「OK」ボタンの選択操作か否かを判別する(ステップS105)。ステップS105の判別処理において、「OK」ボタンの選択であると判別したときには、被写体種別の選択画面(図9A)においてカーソルCSが位置付けられた被写体の種別が、ユーザにより選択された被写体の種別として特定される(ステップS106)。ここで特定された被写体の種別は、サーバ装置1に送信される検索要求に含められる。これにより、サーバ装置1において、特定された被写体の種別に属する登録データだけを検索対象とすることができる。
【0065】
次に、携帯電話端末4の制御部420は、撮影ガイド画面(図9B)を表示部413の表示画面413Gに表示し(ステップS107)、キー操作部411を通じてユーザからの操作入力を受け付ける(ステップS108)。撮影ガイド画面は、図9Bに示したように、携帯電話端末4のユーザが、これから撮影しようとしている被写体をどのように撮影すればよいかを案内する情報からなる。
【0066】
そして、制御部420は、ステップS108で受け付けた操作入力が、「終了」ボタンの選択操作であるか否かを判別し(ステップS109)、「終了」ボタンの選択ではないときには、「OK」ボタンの選択操作か否かを判別する(ステップS110)。ステップS110の判別処理において、「OK」ボタンの選択であると判別したときには、制御部420は、被写体の撮影及び関連情報(メタデータ)の取得を行う(ステップS111)。
【0067】
具体的に、ステップS111において、制御部420は、カメラ部416を機能させ、ユーザからのシャッター操作に応じて被写体の撮影を行う。また、制御部420は、撮影が行われた場合に、GPS部435や時計回路431などから関連情報を取得する。そして、制御部420は、撮影することにより得られた被写体の画像を形成する画像データと、当該画像データについての関連情報とをRAM423に一時記憶する。このステップS111の処理の後、携帯電話端末4の制御部420は、図7に示すステップS112の処理に進む。
【0068】
そして、制御部420は、図6のステップS111において撮影することにより得られた画像データによる撮影画像の表示画面(図9C)を、制御部420、表示制御部412を通じて表示部413の表示画面413Gに表示する(ステップS112)。撮影画像の表示画面は、図9Cに示したように、ステップS111の撮影処理によって得られた画像データによる画像を表示するものである。当該撮影画像の表示画面は、ユーザが目的する被写体の画像の撮り直しを行うか否かを判断するために参照するものである。この後、制御部420は、キー操作部411を通じてユーザからの操作入力を受け付ける(ステップS113)。
【0069】
そして、制御部420は、ステップS113で受け付けた操作入力が、「終了」ボタンの選択操作であるか否かを判別し(ステップS114)、「終了」ボタンの選択ではないときには、「撮り直し」ボタンの選択操作か否かを判別する(ステップS115)。ステップS115の判別処理において、「撮り直し」ボタンの選択であると判別したときには、制御部420は、図6のステップS111からの処理を繰り返し、目的とする被写体の再度の撮影と関連情報の取得とを行う。すなわち、目的とする被写体の画像の撮影し直し(撮り直し)を行うことができる。
【0070】
また、ステップS115の判別処理において、「撮り直し」ボタンの選択ではないと判別したときには、制御部420は、受け付けた操作入力が「OK」ボタンの選択操作か否かを判別する(ステップS116)。ステップS116の判別処理において、「OK」ボタンの選択であると判別したときには、制御部420は、撮影メモ画面(図9D)を表示部413の表示画面413Gに表示する(ステップS117)。
【0071】
撮影メモ画面は、図9Dに示したように、撮影した被写体の特徴や撮影場所の特徴の入力欄を有するものである。当該入力欄には、キー操作部411を通じてテキスト情報を入力することができる。なお、撮影メモ画面は、図9Dに示しものに限るものではない。例えば、被写体が、茸の例に従えば、撮影した被写体の特徴として、「傘の直径」、「傘の上部の色」、「傘の裏側の色」などというように、詳しく項目を分けて情報の入力を求めることもできる。また、撮影場所の特徴として、「周囲にある樹木の種類」、「周囲にある草花の種類」、「日当たりの程度」などというように、詳しく項目を分けて情報の入力を求めることもできる。
【0072】
そして、制御部420は、キー操作部411を通じてユーザからの操作入力を受け付け(ステップS118)、ステップS118で受け付けた操作入力が、「終了」ボタンの選択操作であるか否かを判別する(ステップS119)。ステップS119の判別処理において、「終了」ボタンの選択ではないと判別したときには、「OK」ボタンの選択操作か否かを判別する(ステップS120)。ステップS120の判別処理において、「OK」ボタンの選択であると判別したときには、制御部420は、ステップS111の処理により取得し、RAM423に一時記憶している画像データと関連情報、および、ステップS118において受け付けた撮影メモ画面に対する入力情報(テキストデータ)とから、図3を用いて説明した検索要求を生成する(ステップS121)。なお、当該検索要求のヘッダ部には、ステップS106で特定した被写体の種別や当該検索要求が最初の検索要求であることを示す情報等も含まれる。
【0073】
そして、制御部420は、ステップS121で生成した検索要求を、通信I/F102及ぶ接続端子101を通じてネットワーク2に送出し、サーバ装置1の被写体検索サービスを提供するサイトに送信する(ステップS122)。この後、図8に示すステップS123の処理に進む。すなわち、制御部420は、自機から送信した検索要求に対するサーバ装置1の当該サイトからの返信を受信するようにし(ステップS123)、当該サイトからの返信の受信待ちとなる(ステップS124)。ステップS124の判別処理において、当該サイトからの返信を受信したと判別したときには、制御部420は、受信した返信が追加情報の提供を要求するものか否かを判別する(ステップS125)。
【0074】
ステップS125の判別処理において、追加情報の提供を要求するものであると判別した時には、制御部420は、追加情報の要求画面(図9E)を表示部413の表示画面413Gに表示する(ステップS126)。追加情報の要求画面は、図9Eに示したように、検索が不成功に終わったことの表示と、どのような追加情報が必要かを示す情報を含むものである。この後、制御部420は、キー操作部411を通じてユーザからの操作入力を受け付ける(ステップS127)。
【0075】
そして、制御部420は、ステップS127で受け付けた操作入力が、「終了」ボタンの選択操作であるか否かを判別し(ステップS128)、「終了」ボタンの選択ではないときには、「OK」ボタンの選択操作か否かを判別する(ステップS129)。ステップS129の判別処理において、「OK」ボタンの選択であると判別したときには、制御部420は、追加情報の提供要求に応じて、被写体の画像の再撮影を行ったり、追加のメモ情報の入力を行ったりする(ステップS130)。
【0076】
このステップS130においては、追加情報の提供要求に応じて、被写体の複数の異なる部分の撮影を行ったり、要求された被写体や撮影場所に関するテキスト情報の入力を行ったりする。具体的には、図9Bに示した態様で被写体のどの部分のどのような画像が必要なのかを示す撮影ガイド画面を表示し、これに応じて撮影を行えるようにし、また、図9Dに示した態様で撮影メモ画面を表示して必要なテキスト情報の入力を行えるようにする。この後、制御部420は、図7に示したステップS121からの処理を繰り返し、図3を用いて説明した内容の再検索要求を形成して(ステップS121)、サーバ装置1のサイトに送信する(ステップS122)。なお、この場合、ステップS121で形成される再検索要求は、当該要求が再検索要求であることを示す情報やどのような追加情報を含んでいるのかを示す情報等も含むようにされる。
【0077】
一方、ステップS125の判別処理において、追加情報の提供を要求するものではないと判別した時には、制御部420は、検索結果画面(図9F)を、表示制御部412を通じて表示部413の表示画面413Gに表示する(ステップS131)。検索結果画面は、図9Fに示したように、検索が成功した時には、検索対象の被写体の名称、毒性の有無、食用に適するか否か、食用に適する場合には、料理情報等からなるものである。また、図示しないが、検索が不成功の場合には、上述もしたように、検索は不成功であり、被写体は毒性がある可能性があるので、採取しないことを奨めるメッセージなどが含まれるものとなる。
【0078】
この後、制御部420は、キー操作部411を通じてユーザからの操作入力を受け付け(ステップS132)、ステップS132で受け付けた操作入力が、「戻る」ボタンの選択操作であるか否かを判別する(ステップS133)。ステップS133の判別処理において、「戻る」ボタンの選択であると判別した時には、制御部420は、サーバ装置1のサイトに被写体検索サービスの利用を継続することを通知する(ステップS134)。この後、制御部420は、図6に示したステップS102からの処理を繰り返し、例えば、新たな被体についての検索を続けて行うことができるようにされる。
【0079】
また、ステップS133の判別処理において、「戻る」ボタンの選択を受け付けていないと判別した時には、制御部420は、「終了」ボタンの選択操作を受け付けたか否かを判別する(ステップS135)。ステップS135の判別処理において、「終了」ボタンの選択を受け付けていない判別したときには、制御部420は、ステップS132からの処理を繰り返す。また、ステップS135の判別処理において、「終了」ボタンの選択を受け付けたと判別したときには、制御部420は、表示画面を被写体検索サービスを利用する前の状態に戻すなどの所定の終了処理を行う(ステップS136)。そして、この図6〜図8に示す被写体の検索処理を終了する。
【0080】
なお、図6のステップS104、ステップS109、図7のステップS114、ステップS119、図8のステップS128において、受け付けた操作入力が「終了」ボタンの選択操作であると判別したとする。この場合には、図8のステップS136の処理に進み、所定の終了処理を行って(ステップS136)、この図6〜図8に示す処理を終了する。また、図6のステップS105、ステップS110、図7のステップS116、ステップS120、図8のステップS129において、受け付けた操作入力が「OK」ボタンの選択操作ではないと判別したとする。この場合には、直前の操作入力受付処理に戻り、ユーザからの操作入力の受け付けを継続する。
【0081】
このように、この実施の形態の携帯電話端末4においては、被写体の画像データや関連情報を含む最初の検索要求に応じた検索処理により、該当データが検索できなかった場合には、サーバ装置1からの追加情報の提供要求を受けることができる。そして、当該追加情報の提供要求に応じて、追加情報を含む再検索要求をサーバ装置1に送信し、追加情報をも用いた再検索処理を行うように指示することができる。これにより、より確実に検索対象の被写体に関する情報の検索を行うことができる。
【0082】
[サーバ装置1での被写体検索を行う場合の処理]
図10、図11は、サーバ装置1での被写体検索を行う場合の処理について説明するためのフローチャートである。この図10、図11に示す処理は、サーバ装置1の主に制御部120が関係する各部と協働し、常時、実行している処理である。
【0083】
サーバ装置1の制御部120は、携帯電話端末4からのアクセスを受け付けるようにし(ステップS201)、携帯電話端末4からのアクセスを受け付けるまで待ち状態となる(ステップS202)。ステップS202の判別処理において、携帯電話端末4からのアクセスを受け付けたと判別したときには、制御部120は、被写体の検索処理を行うためのアプリケーション等をアクセス元の携帯電話端末4に提供する(ステップS203)。これによって、アクセス元の携帯電話端末4に対して被写体検索サービスを提供できる環境を整える。
【0084】
この後、サーバ装置1の制御部120は、アクセス元の携帯電話端末4からの要求等を受け付け(ステップS204)、受け付けた要求等は、当該検索処理の終了を指示するものか否かを判別する(ステップS205)。ステップS205の判別処理において、受け付けた要求等は、当該検索処理の終了を指示するものではないと判別したとする。この場合、受け付けた当該要求等は、検索要求であるので、制御部120は当該検索要求を検索要求保存ファイル103に格納し、検索処理部111に対して、検索処理を行うことを指示する(ステップS206)。
【0085】
そして、検索処理部111は、制御部120の制御の下、検索要求保存ファイル103に保存された検索要求を読み出し、画像データと関連情報とを分離して、そのそれぞれを利用できるようにする(ステップS207)。そして、検索処理部111は、分離した画像データや関連情報に基づいて、検索対象の被写体に関する情報を被写体DB105の登録データから検索する処理を行う(ステップS208)。
【0086】
この後、検索処理部111は、検索処理は成功したか否か、すなわち、検索対象の被写体に関する情報が検索できたか否かを判別する(ステップS209)。ステップS209の判別処理において、検索は成功していないと判別したときには、検索処理部111は、追加情報要求部113を制御し、追加情報の提供要求を生成する(ステップS210)。また、ステップS209の判別処理において、検索は成功したと判別したときには、検索処理部111は、回答情報生成部112を制御し、検索処理により得られた検索対象の被写体に関する情報等に基づいて、回答情報を生成する(ステップS211)。
【0087】
そして、ステップS210で生成した追加情報の提供要求やステップS211で生成した回答情報を、追加情報要求部113や回答情報生成部112が、要求元の携帯電話端末4に返信する(ステップS212)。この後、サーバ装置1の制御部120は、図11のステップS213の処理に進む。
【0088】
制御部120は、アクセス元(検索要求元)の携帯電話端末4からの指示等を受け付け(ステップS213)、受け付けた指示等は、被写体の検索処理の継続を指示するものか否かを判別する(ステップS214)。ステップS214の判別処理において、受け付けた指示等は、被写体の検索処理の継続を指示するものであると判別したときには、図10に示したステップS204からの処理を繰り返し、被写体検索サービス(被写体の検索処理)を継続させる。
【0089】
ステップS214の判別処理において、受け付けた指示等は、被写体の検索処理の継続を指示するものであると判別したときには、受け付けた指示等は、被写体の検索処理の終了指示か否かを判別する(ステップS215)。ステップS215の判別処理において、受け付けた指示等は、被写体の検索処理の終了を指示するものであると判別したときには、検索要求元の携帯電話端末4との間での被写体検索サービスを利用できる関係(環境)を終了させる所定の終了処理を実行する(ステップS216)。この後、図10に示したステップS201からの処理を繰り返し、新たなアクセス元に対して、被写体検索サービスを提供できるようにする。
【0090】
なお、図10のステップS205において、受け付けた要求等が終了指示であると判別したときには、図11のステップS216の処理に進み、また、ステップS215において、受け付けた指示等が終了指示ではないと判別したときには、ステップS213からの処理を繰り返すことになる。
【0091】
このように、サーバ装置1は、携帯電話端末4からの検索要求に応じて被写体検索サービスを提供し、検索対象の被写体に関する情報が検索できなかったときには、検索要求元の携帯電話端末4に対して、追加情報の提供を要求する。そして、当該追加情報の提供を要求に応じて、検索要求元の携帯電話端末4から追加情報を含む再検索要求が提供されたときには、これに応じて、検索対象の被写体についての再検索処理を実行することができる。
【0092】
[実施の形態の効果]
このように、この実施の形態においては、携帯電話端末4とサーバ装置1とによって、被写体検索装置が実現される。そして、サーバ装置1は、携帯電話端末4からの最初の検索要求に応じた検索処理で目的する情報が検索できなくても、追加情報の提供を携帯電話端末4に要求し、これに応じて提供される追加情報をも考慮して再検索処理を実行できる。これにより、より確実に検索対象の被写体に関する正確な情報を検索して取得することができる。
【0093】
[変形例等]
なお、上述した実施の形態においては、再検索は1回しか行うようにしていないが、新たな追加情報があれば、複数回、新たな追加情報の提供を要求し、これに応じて複数回の再検索を行うことも可能である。
【0094】
また、画像データの関連情報に含まれる撮影位置に基づいて地図DB106を参照し、携帯電話端末4の位置が、被写体の採取場所か、採取場所以外の自宅などかを判別し、これに応じて、要求する追加情報を変えるようにすることもできる。例えば、撮影場所が、採取場所以外の自宅などである場合には、被写体を切り分けることも容易に行うことができるので、被写体の断面の画像データを要求するなどしてもよい。
【0095】
また、上述もしたが、追加情報を要求する場合に、検索対象の被写体の全体や所定部分の大きさを計測し、これを追加情報として送信することを要求することもできる。また、追加情報を要求する場合に、検索対象の被写体の撮影場所の周囲の状況に関する情報(例えば、赤松の根元、岩場の潮溜まり等)の詳細情報を追加情報として要求することもできる。
【0096】
また、図9を用いて説明したように、被写体DB105には、被写体となる対象について、種々の角度から撮影していた画像データが含まれる。このため、被写体DB105の蓄積データに含まれる画像データに対応する検索対象の画像データの提供を要求し、3D画像(3次元立体画像)を用いた認識処理を行うこともできる。すなわち、3D認識を行うために、検索対象の被写体を多方面から撮影し、当該撮影した画像データを送信することを要求することもできる。
【0097】
また、上述した実施の形態の携帯電話端末4では、被写体に関するテキスト情報や撮影場所に関するテキスト情報は、キー操作部411を通じて手入力するものとしたが、これに限るものではない。被写体に関する情報や撮影場所に関する情報を、音声入力により受け付け、これを音声認識してテキスト情報に変換して保持したり、また、音声データのまま保持したりすることもできる。なお、被写体に関する情報や撮影場所に関する情報を音声データのまま保持した場合には、サーバ装置1側で音声認識してテキスト情報に変換して利用するようにすればよい。携帯電話端末4は、マイクロホン404を備えているので、当該マイクロホン404を通じて、音声データの入力を受け付けるようにすることで対応することができる。
【0098】
また、上述した実施の形態においては、出かけた先で被写体の検索を行うものとして説明したが、これに限るものではない。例えば、茸などの場合、群生して自生し、そのままの状態を撮影しても、検索に適した画像データを取得できるとは限らない。このため、茸などの場合には、採取して持ち帰り、自宅などにおいて、単体(1本分)に分けて、これを撮影し、検索を行うようにしてもよい。
【0099】
また、検索対象の被写体について検索処理を行った結果、似たもの登録データが被写体DB105に存在し、毒性があると疑わしい場合には、相似形アルゴリズムを用いたチェックを行う。これにより、被写体に関する情報をより正確に検索することができる。
【0100】
また、検索対象の被写体についての調理情報は、テキストデータだけでなく、静止画で調理例を示したり、動画と音声との一方または両方を用いて、調理の仕方(調理方法)を通知したりしてもよい。このようにする場合には、被写体DB105には、テキスト情報だけでなく、必要となる静止画データ、動画データ、音声データを登録データに含めるようにしておけばよい。
【0101】
また、上述した実施の形態の携帯電話端末4の機能とサーバ装置1の機能とを、例えばタブレット型端末やノートパソコンなどに搭載することにより、いわゆるスタンドアロン型の被写体検索装置を実現することもできる。
【0102】
また、上述したサーバ装置1の機能を、自宅などに設置されるパーソナルコンピュータなど搭載することもできる。この場合、当該パーソナルコンピュータは、いわゆるローカルな被写体DBを備えた構成となる。そして、携帯電話端末4を有線あるいは無線のデジタルインターフェースを通じて当該パーソナルコンピュータに接続し、上述した実施の形態の携帯電話端末4とサーバ装置1とでやり取りしたように、所定の情報のやり取りを行うようにすることによって、検索対象に被写体についての検索処理を、上述した実施の形態の場合とほぼ同様に行うことができる。
【0103】
また、上述した実施の形態では、検索対象となる被写体は、植物や魚介類の他、昆虫や動物、更には鉱石などの無生物についても応用することができる。
【0104】
[その他]
なお、図4に示したサーバ装置1において、検索処理部111、回答情報生成部112、追加情報要求部113の各機能は、制御部120において実行されるプログラムによって、制御部120の機能として実現することもできる。
【0105】
また、上述した実施の形態の説明から分かるように、撮影手段としての機能は、携帯電話端末4のカメラ部416が実現している。また、取得手段としての機能は、携帯電話端末4のGPS部435、時計回路431、キー操作部411、図示しない方位センサ等の種々の情報取得機能が実現している。また、記憶手段の機能は、サーバ装置1の被写体DB105が実現し、検索手段、再検索手段の機能は、サーバ装置1の検索処理部111が実現し、追加要求手段の機能は、サーバ装置1の追加情報要求部113が実現している。また、制御手段の機能は、携帯電話端末4の制御部420が実現している。
【0106】
また、第1、第2の回答情報生成手段の機能は、サーバ装置1の回答情報生成部112が実現している。また、端末装置側の第1、第2の形成手段は、携帯電話端末4の制御部420が実現し、端末装置側の第1、第2の送信手段、第1の受信手段、第1、第2の回答情報受信手段の機能は、携帯電話端末4の主に送受信アンテナ401及び送受信処理部402が実現している。また、情報処理装置側の第1、第2の受信手段、追加要求送信手段、第1、第2の回答情報送信手段の機能は、サーバ装置1の主に接続端子101及び通信I/F102が実現している。
【0107】
また、図6〜図8のフローチャート及び図10、図11に示した処理は、この発明の方法に対応するものである。また、図6〜図8に示したフローチャートに応じた処理を実行するプログラムが、この発明の被写体検索情報提供プログラムに対応する。また、図10、図11に示したフローチャートに応じた処理を実行するプログラムが、この発明の被写体検索プログラムに対応する。したがって、図6〜図8に示した処理を実行するプログラムを形成し、これを携帯電話端末などの端末装置等に搭載して、当該装置において実行可能にしておく。また、図10、図11に示した処理を実行するプログラムを形成し、これをサーバ装置やパーソナルコンピュータ等の情報処理装置に搭載して、当該装置において実行可能にしておく。これにより、当該端末装置と当該情報処理装置とにより、この発明の被写体検索装置を容易に実現することができる。
【符号の説明】
【0108】
1…サーバ装置、101…接続端子、102…通信I/F、103…検索要求保存ファイル、104…HDD、105…被写体DB、106…地図DB、111…検索処理部、112…回答情報生成部、113…追加情報要求部、120…制御部、2…ネットワーク、3…基地局、4…携帯電話端末、401…送受信アンテナ、402…送受信処理部、403…受話器(スピーカ)、404…送話器(マイクロホン)、411…キー操作部、412…表示制御部、413…表示部、414…音声処理部、415…スピーカ、416…カメラ部、420…制御部、431…時計回路、432…メモリスロット部、433…外部入出力端子、434…外部I/F、435…GPS部、436…GPSアンテナ、5…GPS衛星

【特許請求の範囲】
【請求項1】
検索対象の被写体の画像を撮影し、当該被写体の画像データを取得する撮影手段と、
前記画像データについての関連情報を取得する取得手段と、
被写体となる可能性のある複数の対象毎に、当該対象の1以上の画像を形成する1以上の画像データを含み、当該対象に関する情報を蓄積する記憶手段と、
取得された前記画像データと前記関連情報とに基づいて、前記記憶手段の蓄積情報から検索対象の前記被写体に関する情報を検索する検索手段と、
検索対象の前記被写体に関する情報が検索できなかった場合に、追加情報を要求する追加要求手段と、
前記追加情報の要求に応じて、前記撮影手段と前記取得手段との一方あるいは両方を通じて、追加情報を取得するように制御する制御手段と、
前記制御手段の制御に応じて取得された前記追加情報をも考慮して、前記記憶手段の蓄積情報から検索対象の前記被写体に関する情報を再検索する再検索手段と
を備えることを特徴とする被写体検索装置。
【請求項2】
請求項1に記載の被写体検索装置であって、
前記検索手段で検索対象の前記被写体に関する情報を検索できた場合に、検索の結果得られた当該情報に基づいて、第1の回答情報を生成する第1の回答情報生成手段と、
前記再検索手段での検索結果に基づいて、第2の回答情報を生成する第2の回答情報生成手段と、
を備えることを特徴とする被写体検索装置。
【請求項3】
請求項2に記載の被写体検索装置であって、
当該被写体検索装置は、端末装置と情報処理装置とからなり、
前記端末装置は、
前記撮影手段と、前記取得手段と、前記受付手段と、前記制御手段とを備えると共に、
前記撮影手段で取得された前記画像データと前記取得手段で取得された前記関連情報とを含む検索要求を形成する第1の形成手段と、
前記検索要求を前記情報処理装置に送信する第1の送信手段と、
前記追加情報の要求を受信する第1の受信手段と、
前記制御手段に制御に応じて、前記撮影手段と前記取得手段との一方または両方で取得された情報を含む再検索要求を形成する第2の形成手段と、
前記再検索要求を前記情報処理装置に送信する第2の送信手段と、
前記第1の回答情報を受信する第1の回答情報受信手段と、
前記第2の回答情報を受信する第2の回答情報受信手段と
を備え、
前記情報処理装置は、
前記記憶手段と、前記検索手段と、前記追加要求手段と、前記再検索手段と、前記第1、第2の回答情報生成手段とを備え、
前記端末装置からの前記検索要求を受信する第1の受信手段と、
前記追加情報の要求を前記端末装置に送信する追加要求送信手段と、
前記端末装置からの前記再検索要求を受信する第2の受信手段と、
前記第1の回答情報を前記端末装置に送信する第1の回答情報送信手段と、
前記第2の回答情報を前記端末装置に送信する第2の回答情報送信手段と、
を備えることを特徴とする被写体検索装置。
【請求項4】
請求項3に記載の被写体検索装置であって、
前記端末装置と前記情報処理装置とはネットワークを通じて接続されることを特徴とする被写体検索装置。
【請求項5】
撮影手段を通じて、検索対象の被写体の画像を撮影し、画像データを取得する撮影工程と、
取得手段を通じて、前記画像データについての関連情報を取得する取得工程と、
検索手段が、取得された前記画像データと前記関連情報とに基づいて、被写体となる複数の対象毎に当該対象の外観の1以上の画像を形成する1以上の画像データを含み、当該対象に関する情報を蓄積する記憶手段の情報を参照し、検索対象の被写体に関する情報を検索する検索工程と、
前記被写体に関する情報を検索できなかった場合に、追加要求形成手段が追加情報を要求する追加要求工程と、
受付手段を通じて、前記追加情報の要求に応じた情報の取得指示をユーザから受け付ける受付工程と、
前記取得指示に応じて、制御手段が、前記撮影手段と前記取得手段との一方あるいは両方を通じて、新たな情報を取得するように制御する制御工程と、
前記制御手段の制御に応じて新たに取得された情報をも考慮して、再検索手段が、前記記憶手段の情報を参照し、検索対象の前記被写体に関する情報を再検索する再検索工程と、
を有することを特徴とする被写体検索方法。
【請求項6】
端末装置に搭載されたコンピュータによって実行されるプログラムであって、
撮影手段を通じて検索対象の被写体の画像を撮影し、画像データを取得する撮影ステップと、
取得手段を通じて、前記画像データについての関連情報を取得する取得ステップと、
前記撮影ステップで取得した前記画像データと前記取得ステップで取得した前記関連情報とを含む検索要求を形成する第1の形成ステップと、
前記検索要求を第1の送信手段を通じて所定の相手先に送信する第1の送信ステップと、
前記所定の相手先からの追加情報の要求を、第1の受信手段を通じて受信する第1の受信ステップと、
前記追加情報の要求に応じて、制御手段が、前記撮影手段と前記取得手段との一方あるいは両方を通じて、追加情報を取得するように制御する制御ステップと、
取得した前記追加情報を含む再検索要求を形成する第2の形成ステップと、
前記再検索要求を第2の送信手段を通じて所定の相手先に送信する第2の送信ステップと
を実行することを特徴とする被写体検索情報提供プログラム。
【請求項7】
被写体となる複数の対象毎に、当該対象の外観の1以上の画像を形成する1以上の画像データを含み、当該対象に関する情報を蓄積する記憶手段を備えた情報処理装置に搭載されたコンピュータによって実行されるプログラムであって、
検索要求元からの検索対象の被写体を撮影することにより得られる画像データと、当該画像データについての関連情報を含む検索要求を、受信手段を通じて受信した場合に、前記検索要求に含まれる前記画像データと前記関連情報とに基づいて、前記記憶手段の情報を参照し、検索対象の前記被写体に関する情報を検索する検索ステップと、
前記被写体に関する情報を検索できなかった場合に、追加情報の提供を要求する追加要求を形成する追加要求形成ステップと、
前記追加要求を、送信手段を通じて前記検索要求元に送信する送信ステップと、
前記検索要求元からの新たな情報を含む再検索要求を、受信手段を通じて受信した場合に、前記再検索要求に含まれる前記新たな情報をも考慮して、前記記憶手段の情報を参照し、検索対象の前記被写体に関する情報を再検索する再検索ステップと
を実行することを特徴とする被写体検索プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2013−97632(P2013−97632A)
【公開日】平成25年5月20日(2013.5.20)
【国際特許分類】
【出願番号】特願2011−240759(P2011−240759)
【出願日】平成23年11月2日(2011.11.2)
【出願人】(500578216)株式会社ゼンリンデータコム (231)