搜索引擎大戰聚焦“ROBOTS協議”

　　搜索戰爭不斷升級。在這場大站背后，搜索引擎到底是否可以自動抓取用戶的資料，讓“Robots協議”成為焦點。

　　自動抓取用戶內容之爭

　　自某網站推出搜索之日起，一直被業界指責無視在全世界范圍內具有極強約束力的“Robots協議”。它不僅未經授權大量抓取百度、google內容……

　　簡單而言，“robots協議”就是搜索引擎在抓取網站內容時，雙方約定的一個規則。其中包括網站是否希望被搜索引擎抓取，希望或不希望被哪些搜索引擎抓取，以及哪些內容不允許被抓取。它有些類似于人類社會的“日內瓦公約”，但在法律上卻不具備那樣的約束效力。

　　“robots.txt”并不是某一個公司制定的。早在上世紀90年代中期就已出現，當時還沒有Google。其實，“Robots協議”的起源，是在互聯網從業人員的公開郵件組里討論而誕生的。即便是今天，互聯網領域的相關問題也仍在一些專門的郵件組中討論，并隨之產生(主要是在美國)。

　　自有搜索引擎之日起，“Robots協議”已是一種目前為止比較有效的方式，用自律維持著網站與搜索引擎之間的平衡，讓兩者之間的利益不致過度傾斜。

　　1994年6月30日，在經過搜索引擎人員以及被搜索引擎抓取的網站站長共同討論后，正式發布了一份行業規范，即“robots協議”。此前，相關人員一直在起草這份文檔，并在世界互聯網技術郵件組(www-talk@info.cern.ch)中公開討論。其發布后，這一協議被幾乎所有的搜索引擎采用，包括最早的altavista，infoseek，后來的google，bing；而中國的百度，搜搜，搜狗等公司也相繼采用并嚴格遵循。

　　協議的約束與壟斷無關

　　記者翻閱涉及“robots協議”的一些案例，發現它在這些年全世界范圍內具有極強的約束力，甚至可以說是網站隱私與安全的一張王牌。事實證明，“robots協議”作為內容站和搜索引擎雙方權利對等的一項約定，極大維護了整個互聯網生態的平衡和秩序的安定。國內的網站和搜索引擎，即使利益受損也未越雷池一步，表現出了極強的自律和令人尊敬的人文關懷。

　　2008年9月8日，淘寶網宣布封殺百度爬蟲，百度忍痛遵守爬蟲協議。因為一旦破壞協議，用戶的隱私和利益就無法得到保障，搜索網站就談不到人性關懷。

　　面對“robots協議”，不僅百度受制，Google也是有苦難言。此前，facebook、NAVER(韓國著名門戶和搜索引擎)都對google設置了“robots協議”內容，禁止其抓取。由于google還不像百度有自有內容，所以一直處于被動，令其在韓國始終無法獲取大量市場份額。

　　在這些事實面前，稱“Robots協議”幫助Google和百度這樣的壟斷搜索引擎“遏制后起的競爭者”的說法不攻自破。人們甚至可以看到，“robots協議”所扮演的，更多是一個有力的反壟斷工具。

　　北京市漢卓律師事務所首席律師趙虎對媒體表示，“Robots協議”是維護互聯網世界隱私安全的重要規則。如果這種規則被破壞，對整個行業就是滅頂之災。這次3B大戰中暴露出綜合搜索侵犯用戶隱私權的問題，就不應該小視。