实体搜索引擎
本條目屬於網路搜索引擎系列 |
網路搜索引擎 |
元搜索引擎 |
國際性搜索引擎(多语言) |
Yahoo! Search |
Bing |
仅中文搜索引擎 |
百度 |
360搜索 |
搜狗 |
yam蕃薯藤 |
其他搜索引擎 |
DuckDuckGo |
Ecosia |
Exalead |
Naver |
Yandex |
Alexa Internet |
AOL |
Ask.com |
Qwant |
其他链接 |
實體搜尋引擎(Physical search engine)或者稱為線下搜尋引擎(Off-line search engine),也稱為物聯網搜尋引擎(IoT search engine),實體搜索是一種對應線下實體資訊的檢索系統,也是應用全球資訊網進行搜尋的機制, 搜尋結果類似网络搜索引擎,以條列方式展示結果,亦稱為搜索結果頁 (Search engine results page,SERP) ,實體搜尋引擎以搜尋者指定的方位為中心顯示結果,將其搜索得到的資訊做距離排序,排序距離的規則由近到遠,若資訊是同一距離時,則會加入SEO與服務狀態等因素做排序,這一點不同於网络搜索引擎僅以SEO排序,其顯示的資訊的連結同樣可以連結至網頁、影片、或其他開放的服務資訊。搜尋引擎的搜索資料技術,使用自動化資訊彙整方式達成,一般做法以網路爬蟲 (web crawler)運行演算法得出資訊。實體搜尋引擎對應實體世界實現各類資訊的搜索入口,搜尋機制與互聯網搜尋引擎相似,各類線下服務只需提供Web頁面,不需要額外製作線下搜尋App (例如 Uber、 Lyft、Foodpanda, ...等Apps); 實體世界的服務與資訊搜索, 不論是定點的資訊, 或是移動的資訊,經由關鍵字搜索便可達到實時搜尋的目的。
發展歷史
1990年Montreal大學學生發明了Archie,這是追溯網路搜尋的最早發展概念,當時全球資訊網還沒有出現,他們整理了FTP站點上所有檔的目錄列表,創建了一個可對檔案名稱進行搜索的資料庫,因此Archie被稱為搜尋引擎的始祖。
1993年Matthew Gray開發了Wanderer[1],Wanderer的技術是第一個Spider Robot,並在Web上搜索索引頁面目錄的技術,而後Jonathon Fletcher創建了JumpStation系統[2],它是世界上第一個具備 抓取、索引和搜索集於一體的搜尋引擎,接著搜尋引擎的另一個重大發展為網路爬蟲(WebCrawler),1994年搜尋引擎開始導入網站全文索引概念,它支援用戶搜索任一網頁中的任一個搜索詞,而不是僅對網頁標題進行索引。
1994年,Carnegie Mellon 大學Michael Mauldin[3]博士成立Lycos,開發以頁面網址追蹤的Robot技術,Infoseek也是同時期的一個重要代表,他們是搜尋引擎史上一個重要的進步。接著, Netherlands軟體工程師 Martijin Koster, 提出Robots Exclusion Standard[4]的 R E S概念,通過 robots.txt 抓取網址頁面,網路資訊自動化搜索自此得到完整的發展架構。
1995年12月AltaVista推出自然語言搜尋的搜尋引擎,具備了基於網頁內容分析,智慧型處理的能力,第一個實現高級搜尋語法(例如:AND、OR、NOT等)。同時期還有inktomi、HotBot等搜尋引擎的競爭者。
1996年Larry Page和Sergey Brin[5],為瞭解決搜尋結果的客觀排序問題,建立一個大量連結的資料庫,藉以找出每個網頁的連結會通向什麼網站, 因而決定網站以連結數量排名的「PageRank」機制。1998年10月,Google誕生,它成為了目前世界上最流行的搜尋引擎。
1999年Auto-ID公司Kevin Ashton應用物品編碼RFID技術,最早提出了「物聯網」的概念,而後在2005年國際電信聯盟(ITU)發佈的報告中,將物聯網的覆蓋範圍延伸拓展,目標在實現人類社會與物理系統的整合,物聯網與物理系統開始有了對應概念。
2004年Glasgow大學提出最早的實體搜尋引擎技術概念, 開發開源搜索引擎技術Terrier[6],利用RFID以及聯網裝置對應實體方位的做法, 實現實體物件的搜尋方法, 並期望在2014年實現實體世界的搜尋應用, 但最終此構想沒有如期完成。Snoogle[7]以及St. Joseph Engineering College[8], 也有類似的架構提出實體搜尋引擎技術。
2005年2月在Google部落格上首次公佈Google地圖,它實現了雲端資訊對應線下實體資訊的搜索的系統。Google地圖的服務資訊沒有應用網路爬蟲進行雲端資訊整合,其資訊來源為Open data,以及用戶自行上架的資料,它雖然不是典型的搜尋引擎,但其應用則開啟線下資訊搜尋的開端。Google地圖目前在全球多國開通了「街景」(Street View)服務,使用者可以通過由Google金龜車在街道上拍到的影像檢視街景。2011年10月7日,Google地圖新增了3D鳥瞰功能。
2008年Apple發展並建立AppStore服務機制,行動服務市場的開始爆發,智慧型手機以App做為核心的應用,引爆了移動「互聯網」概念,並開啟了「物聯網」時代,服務型態開始著重在用戶與實體資訊關係,早期的車隊的管理架構,應用App開始走向開放服務市場,發展至今線下普遍以App做為線下搜尋應用例如,Uber、Lyft、Foodpanda等。
2011年7月浙江大學[9]提出以URL結合定點方位, 對應實體物件的Web資訊, 實現實體搜尋引擎方法與架構, 以及2011年12月InTimeGo[10]提出Web資訊結合定點與移動方位的方法,開啟物聯網(IoT)與 Web 融合的概念,這個使用情境稱之為 Web of Things (WoT)。Web世界的URL可以說是鏈接的基礎,每個物件都可利用特定URL來對應其特有資訊與方位,WoT 概念之所以重要,在於開始有了 Web 實體化的應用概念, 過去 Web 只是物品雲端上的資訊,WoT 讓Web資訊開始對應到真正的實體方位。2016年Google應用此概念, 發表類似iBeacon讀取近端實體資訊的方法, 命名為「The Physical Web」計畫, Google對於「The Physical Web」發展構想, 希望進而實現近端實體搜尋的機制[11]。
2011年10月武漢大學首先發表實體搜索爬蟲和資訊抽取研究方法[12],開啟了自動化資訊彙整的實體搜尋引擎創新思維, 但網路爬蟲彙整的實體資訊,除了實體位置還包含各類服務的狀態資訊, 如何制定涵蓋廣泛的服務應用規範與定義, 最終為實體搜尋引擎的資訊整合能力的指標, 對此微軟公司[13]以及中國大陸的電子科技大學[14]、東南大學[15]等, 也陸續提出相關的應用規範與定義。
2014年11月Amazon Alexa與Amazon智慧型喇叭Echo一同發布。其概念源自於Apple的語音應用, 藉由Siri語音呼求,為實現線下服務搜尋整合入口,並達到物聯網裝置互聯的機制,Amazon Alexa提供一種與App應用服務串接的方法,名為 Alexa Skills Kit (ASK) 的開發包,它是一種開放式的串接介面,實際上是把物聯網相關業者的服務彙整在一起,利用語音呼求的方式,達成在地化的服務搜尋機制,不過這樣的服務串接方案所費不貲,Amazon推出1億美元的Alexa Fund,以鼓勵開發者參與Alexa語音技能的開發,Amazon從創新性、消費者關聯度、與 ASK 的關聯度等角度衡量開發者專案,一旦通過就會提供一筆資金回饋業者。Amazon Alexa雖然並非典型的搜索引擎,但對於線下移動服務搜尋方式,則為第一個實現線下服務搜尋整合入口的架構,其後Google、Microsoft、百度、阿里巴巴、騰訊、京東等後進者,也紛紛推出類似架構的線下服務搜尋整合入口。
2017年9月創新工場李開復首先發表了一個新的商業模式: OMO(Online-Merge-Offline)線上線下虛實融合模式[16],OMO 是O2O營銷模式的巨大演進,且預測在10年內完成線上線下一體化,汽車、商店、商場、診所和學校等現實世界的場景和行為即時資料化,自此,資料世界和實體世界將完全整合,線上線下的界限消失,將讓互聯網對實體行業的滲透率提升至100%。李開復認為,未來OMO的新商業浪潮將推動,未來發展線上線下融合的新零售、實體世界的資料化以及實體搜尋等領域,再加上AI技術的輔助,將會締造巨大的藍海商機與願景[17]。OMO驅動潮流之下, 互聯網下一個焦點將朝向新零售服務、線下服務搜尋以及線下大數據發展,也為實體搜尋入口的發展鋪陳一個全新願景。
2019年8月大千搜尋提出定點或移動位置數據的整合規範[18],發布首個自動化資訊彙整的實體搜尋引擎[19],其構想的方法源於大千搜尋創辦人黃柏堯,首先定義「互聯網」與「物聯網」服務模型之差異[20],以釐清「互聯網」與「物聯網」相互之間的混淆概念,應用其「物聯網服務模型」整合實體各類服務資訊與方位,延伸雲端搜尋引擎的技術運作機制,以Web資訊結合Location成為Location Web,實現服務資訊的OMO (Online-Merge-Offline)虛實融合效益,並藉由網路爬蟲自動彙整線下的人/車/物資訊,成就一站式的線下資訊搜尋入口。
2019年10月Gabriel Rene提出“The Spatial Web”概念[21],Spatial Web是一種場域空間虛實融合的技術,每個場域空間可以獨立建構應用,如果要構成實體世界的連續性視角,將面臨不同場域空間的銜接問題,不過基於Web3.0驅動Spatial Web開放系統, 可以為未來場景統合與銜接的發展鋪路。對於實體搜尋引擎應用發展而言,應用Location Web概念,可以解決不同應用服務領域資訊統合問題,而Spatial Web可以將Location Web的資訊呈現方式, 擴展成為對應三維空間的形相與方位。
2020年物聯網領域知名顧問公司SRI Consulting描繪之物聯網技術路線,綜合物聯網發展的型態與目標, 歸納物聯網依據時間軸發展, 可分為四個階段分別為:供應鏈輔助、垂直市場應用、無所不在的定址(Ubiquitous positioning),最後可以達到「The Physical Web」,意即讓物聯網上的每一個智慧型裝置都以URL來標示[22],呼應實體世界的每個物件都可利用特定URL來對應其特有資訊與方位,據此發展趨勢,實體搜尋引擎將更易於獲取實體資訊。
技術與服務差異
搜尋引擎之服務功能差異
實體搜尋引擎承襲了網路搜尋引擎的主要技術架構, 但為了區別搜尋引擎服務功能的世代差異, 以下將之分別稱為「互聯網」搜尋引擎與「物聯網」搜尋引擎。 「互聯網」與「物聯網」的差異在於,互聯網僅將資訊引導至線上,物聯網則是將資訊達成線下線上融合,物聯網其實就是線下線上虛實融合的發展趨勢, 這也相應於創新工場李開復先生所提的OMO (Online-Merge-Offline)服務模式 。物聯網與實體世界服務型態其實完全一致, 物聯網的發展目標, 則是在線上創造一個對應線下實體的世界, 目的在解決人類因地域的資訊限制, 可以藉由線下實體搜尋與大數據服務, 提升周遭資訊的服務效能, 藉以創造更加「直接」「即時」「便利」的生活方式。
實體搜尋引擎具備之特點
線下線上虛實融合的搜尋應用, 目前有了Google 地圖, 為何還是需要發展物聯網搜尋引擎呢? 其實這個癥結在於Google地圖並非搜尋引擎, 最終發展的潛力將不及搜尋引擎 , 如同2000年以前Yellow Page與搜尋引擎的競爭, 最終Yellow Page資料總量不敵搜尋引擎的量級而退場。搜尋引擎可以創造資料總量的優勢, 至少需具備以下三個特點:
- 搜尋引擎資料來自不同的系統: 資料來自不同的系統, 也就是來自不同的伺服器, 如此可以跨應用跨服務整合, 也進而達成搜尋線下萬物的搜尋入口 , 屆時也不需要額外製作線下搜尋App, 例如 Uber, Foodpanda這類App, 可以直接經由物聯網搜尋引擎, 便可搜尋線下所有服務。
- Spider Robot資訊收集機制: 創建Robot機制的目的在於, 自動匯集全球資訊 ,比起資料來源於自家建立, 或者自家會員提案, 擁有更為巨大的量級潛力。
- 優異準確率的搜尋能力: 搜尋產出的結果關聯於Ranking演算技術, 「互聯網」與「物聯網」有其差異, 所以相互間無法直接套用, 「物聯網」需要考量服務距離, 服務狀態等因素, 加入索引與排序的演算機制, 需要重新優化之後, 才能實現滿意的搜尋結果。
而Google 地圖搜尋方式, 依據標題與分類的關鍵字等因素得出結果, 搜尋演算尚屬直覺簡單, 估計仍在發展階段, 然而最關鍵的因素在於, Google 地圖沒有符合前兩個特點的任一項 , 如同Yellow Page搜尋機制, 最終將成為物聯網時代的過渡性搜尋應用。
Web發展的必要性
綜觀現階段線下實體搜尋方式,普遍以App做為線下搜尋應用 (例如,Uber、Foodpanda等) ,事實上App應用架構難以實現跨應用跨服務的整合入口。行動裝置發展初期,因為硬體效能不足的因素,App相比於Web擁有較佳的效能表現,所以PC或行動裝置發展初期, 都是優先發展App應用, 回顧PC的發展史,一開始便先發展App應用, 然後慢慢過渡到Web應用,例如過往在PC玩遊戲, 或查閱字典, 過往都需要安裝App,現在的PC已甚少安裝App的面向來看,行動裝置應不難推測將歷經相同的發展過程。目前主流App設計採用的是資料串接方式,實際上這是一種封閉架構,難以如同開放性的Web具備跨應用跨服務的資訊整合特性,加之用戶端實際上安裝App數目有限,大部分Apps在用戶端沒有市場,根據Adjust近年App應用的統計數據得知,前十排名的App便佔據八成五以上流量,並且高達九成以上的僵屍App [23],這已形成非常嚴重的軟體資源浪費,App應用架構若沒有相應方案改善, 不僅不利於發展資訊共用的任何服務,也不利於發展跨應用的線下服務整合入口,故驅使W3C (World Wide Web Consortium)開始著眼定義物聯網 (Internet of Things)前瞻的應用規範,以Web 或Web of Things [24] (WoT)方式推動線下服務應用。
参考資料
- ^ 1993-06, Matthew Gray Develops the World Wide Web Wanderer.. [2021-02-22]. (原始内容存档于2020-08-07).
- ^ 2013-09-03, Jonathon Fletcher: forgotten father of the search engine. [2021-02-22]. (原始内容存档于2021-02-28).
- ^ 2021-02-21, Lycos founder Mauldin returns to company after 17 years. [2021-02-22]. (原始内容存档于2018-03-03).
- ^ 2013-12-15, What is the Robots Exclusion Standard?. [2021-02-22]. (原始内容存档于2020-10-01).
- ^ 2019-06, Larry Page and Sergey Brin
- ^ 2012-06-14, Search Engine Queries Physical World In Real Time. [2021-03-06]. (原始内容存档于2021-01-19).
- ^ 2004-12, Snoogle: A Search Engine for the Physical World
- ^ 2017-06, Search Buddy: A Search Engine for Physical Objects. [2021-03-06]. (原始内容存档于2019-10-02).
- ^ 2011-07, What-you-retrieve-is-what-you-see: a preliminary cyber-physical search engine (PDF). [2021-03-23]. (原始内容存档 (PDF)于2020-01-25).
- ^ 2011-12-21, 物件搜尋服務引擎及移動資訊管理系統架構 (PDF). [2021-03-23]. (原始内容存档 (PDF)于2021-01-09).
- ^ 2016-02-19, With The Physical Web, You Become The Search Engine. [2021-03-23]. (原始内容存档于2021-01-27).
- ^ 2011-10, 實體搜索爬蟲和資訊抽取研究方法[失效連結]
- ^ 2012-12, 基於實體的搜索和解析
- ^ 2014-10, 基於Web的實體資訊提取和搜索研究[失效連結]
- ^ 2015-01, 一個面向語義 Web的實體探索系統
- ^ 2017-12-12, 李開復暢談OMO時代的出行
- ^ 2017-11-30, BAT之後下一個超級公司會從OMO領域中產生
- ^ 2019-12-09, 線下服務應用與HTML規範發展[失效連結]
- ^ 2019-11-20, 線上線下萬物聯網 「大千搜尋」首創實體搜尋引擎服務. [2021-02-22]. (原始内容存档于2021-01-08).
- ^ 2020-04-21, 解析物聯網的真實商機與發展方向. [2021-04-10]. (原始内容存档于2021-01-09).
- ^ 2020-10-02, An Introduction to The Spatial Web. [2021-04-12]. (原始内容存档于2021-07-05).
- ^ 2020-08-13, APPENDIX F: THE INTERNET OF THINGS (BACKGROUND). [2021-04-10]. (原始内容存档于2021-04-10).
- ^ 2016-09-05, Statista: 90% Of All iOS Apps Are Zombies. [2021-02-22]. (原始内容存档于2021-01-09).
- ^ 2021-02, WEB OF THINGS AT W3C. [2021-02-22]. (原始内容存档于2021-03-09).