3B大戰(zhàn)牽出Robots疑云 360搜索用戶量大跌

  一個是搜索引擎市場具有壟斷地位的巨頭，一個是頗具爭議的闖入者，這場圍繞搜索引擎的“3B大戰(zhàn)”進入了第二個回合：釣魚。

    《每日經(jīng)濟新聞》報道，幾天前百度工程師放出“鬼節(jié)捉鬼”的釣魚策略，將爭論引向一直以隱私安全為底牌的360。問題出在一個叫做Robots的協(xié)議上。360被指不遵守協(xié)議，直接用瀏覽器抓取用戶瀏覽信息，可能致使用戶信息泄露。“3B大戰(zhàn)”的對手百度等互聯(lián)網(wǎng)公司發(fā)出了要求員工卸載360瀏覽器的號召，搜狗CEO王小川也表示應(yīng)遵守Robot協(xié)議，擔(dān)心360在安全上做裁判又做球員。

    CNNIC最新的統(tǒng)計數(shù)據(jù)顯示，360搜索覆蓋中國網(wǎng)民比例已由上周的13.04%降為11.61%，覆蓋人數(shù)由3420萬降為3052萬，近一周時間，損失用戶達368萬。

    3B大戰(zhàn)第二回合，落在了瀏覽器端直接搜集網(wǎng)頁信息的爭議上�！睹咳战�(jīng)濟新聞》在調(diào)查中發(fā)現(xiàn)，Robots協(xié)議被瀏覽器開發(fā)人員視為“Google自己制定的協(xié)議規(guī)范”，“連行業(yè)規(guī)范都算不上”，搜索引擎對用戶隱私權(quán)的定義，目前還是空白。

    百度非原創(chuàng)式捉“鬼”

    8月31日，一則由百度工程師發(fā)布的微博引發(fā)了業(yè)內(nèi)的廣泛討論。

    這位名叫趙明華的百度互聯(lián)網(wǎng)數(shù)據(jù)研發(fā)部經(jīng)理稱，百度的工程師制作的幾個特殊頁面沒有任何外鏈，由于搜索引擎爬蟲只能通過鏈接爬行網(wǎng)頁，因此這個網(wǎng)頁是完全封閉的 “孤島”，不可能被搜索引擎抓取到。但令人意外的是，百度工程師試著在360搜索中輸入以上關(guān)鍵詞，結(jié)果這個網(wǎng)頁赫然出現(xiàn)在搜索結(jié)果第一行，并可以直接點擊訪問瀏覽網(wǎng)頁內(nèi)容。但再換百度、谷歌、搜狗、搜搜等其他瀏覽器搜索相同內(nèi)容，卻無法返回相應(yīng)網(wǎng)頁。

    為什么一個完全封閉的網(wǎng)頁竟然能被360搜索引擎抓取到？趙明華的解釋是，他曾用360瀏覽器打開過這個網(wǎng)頁。在360瀏覽器的隱私策略中，注明了360安全瀏覽器會在用戶的計算機上記錄有關(guān)瀏覽歷史記錄的實用信息。

    百度認為，百度釣魚流程揭示了360搜索存在安全隱患：只要用戶通過360瀏覽器訪問過一個網(wǎng)頁，無論是私人賬號信息，還是公司內(nèi)網(wǎng)機密數(shù)據(jù)，都會被360瀏覽器記錄下來，并被360搜索爬蟲抓取、上傳到360服務(wù)器。

    不過，360卻有著自己的說法。360在官方微博上指出，百度以所謂的“孤島”數(shù)據(jù)污蔑360泄露用戶隱私。其實百度的做法很簡單，只要通過外部鏈接引導(dǎo)360爬蟲抓取頁面，同時屏蔽其他搜索引擎，然后切斷外鏈，就可以造成只有360搜索收錄所謂“孤島”的假象。

    9月2號，360董事長周鴻祎對此回應(yīng)，“這是百度在濫用Robots協(xié)議，阻礙360進入搜索市場。”

    百度“鬼節(jié)抓鬼”的行為，在互聯(lián)網(wǎng)界并非首例。2011年初，谷歌由于懷疑必應(yīng)借鑒其搜索結(jié)果，也采取過這種做法。

    2010年10月份，谷歌注意到Bing的搜索結(jié)果越來越多地和谷歌重合，頭條結(jié)果相同的趨勢也越來越高，由此必應(yīng)抄襲了他們的搜索結(jié)果。

    為了驗證猜想，谷歌在去年12月進行了一場釣魚行動。他們選擇了100個異常釣餌進行手動搜索排名，將這些關(guān)鍵詞的搜索結(jié)果指向毫無關(guān)聯(lián)的頁面。當(dāng)時約20位谷歌工程師在電腦上使用IE瀏覽器來搜索這些關(guān)鍵詞，然后通過IE在谷歌上搜索這些釣餌，誘使必應(yīng)上鉤。兩周后，谷歌工程師再通過必應(yīng)搜索當(dāng)時的釣餌，預(yù)先埋下的結(jié)果就開始陸續(xù)出現(xiàn)在必應(yīng)結(jié)果中，由此發(fā)現(xiàn)必應(yīng)通過IE收集用戶上網(wǎng)的隱私數(shù)據(jù)，直接記錄上傳了用戶訪問網(wǎng)址并隨后放入搜索結(jié)果中。

    搜索引擎與商業(yè)網(wǎng)站博弈

    趙明華稱，360繞過了Robots協(xié)議，利用瀏覽器記錄并上傳用戶數(shù)據(jù)和上網(wǎng)行為，并形成自己的網(wǎng)址庫，再用偽裝和隱藏過的爬蟲來抓取快照，生成搜索結(jié)果。

    那么，從瀏覽器端直接搜集網(wǎng)頁信息是否正當(dāng)？

    實際上，Robots協(xié)議并非強制性法規(guī)，而是搜索引擎誕生后，互聯(lián)網(wǎng)業(yè)界經(jīng)過長期博弈，最終在搜索引擎與商業(yè)站點、公眾知情權(quán)和用戶隱私權(quán)之間達成的一種妥協(xié)。

    早期的互聯(lián)網(wǎng)主要是“用戶-網(wǎng)站”模式。用戶通過網(wǎng)站獲取信息，網(wǎng)站通過吸引用戶點擊來實現(xiàn)廣告收入。不過，當(dāng)谷歌把搜索引擎變成一種成功的商業(yè)模式之后，很多網(wǎng)站原有的商業(yè)模式遭到了嚴重破壞。

    為了維護自身的利益，一些歐美大型網(wǎng)站聯(lián)合起來與谷歌談判，要求谷歌“有所為有所不為”，于是就有了Robots協(xié)議。該協(xié)議的核心思想就是要求Robots程序不要去檢索那些站長不希望被直接搜索到的內(nèi)容，并將約束Robots程序的具體方法規(guī)范成格式代碼，就成了Robots協(xié)議。一般來說，網(wǎng)站是通過Robots.txt文件來實現(xiàn)Robots協(xié)議。

    國內(nèi)使用Robots協(xié)議最典型的案例就是淘寶網(wǎng)拒絕百度搜索。此外還有大量的用戶注冊、郵件等信息，都利用Robots協(xié)議來防止這些內(nèi)容在互聯(lián)網(wǎng)上被搜索到。

    不過，絕大多數(shù)中小網(wǎng)站需要依靠搜索引擎來增加流量，因此通常并不排斥搜索引擎，也很少使用Robots協(xié)議。去年京東商城屏蔽一淘網(wǎng)抓取數(shù)據(jù)時，曾指責(zé)一淘網(wǎng)破壞了Robots協(xié)議。

    技術(shù)工程師Joey在接受《每日經(jīng)濟新聞》采訪時表示，谷歌、百度是通過都是自己的服務(wù)器不停地在網(wǎng)上抓內(nèi)容進行索引，而360的模式是讓每個使用360瀏覽器的電腦成為360的蜘蛛爬蟲，把瀏覽的內(nèi)容上傳到360服務(wù)器上做索引。

    Robots協(xié)議約束力幾何？

    此前，在多次“互聯(lián)網(wǎng)大戰(zhàn)”中，360的隱私問題均被競爭對手列為質(zhì)疑的焦點。

    兩年前，奇虎360公司兩名網(wǎng)絡(luò)工程師利用360公司系統(tǒng)收集的用戶信息，通過360服務(wù)器云計算后臺破解了市政一卡通系統(tǒng)的后臺密碼，并遠程為自己和3位同事的一卡通惡意充值2600元。2011年1月，360收集隱私數(shù)據(jù)被谷歌爬蟲抓取，結(jié)果包括網(wǎng)民在百度搜索的關(guān)鍵字、淘寶購物記錄、金蝶等企業(yè)內(nèi)部財務(wù)網(wǎng)絡(luò)數(shù)據(jù)等鏈接數(shù)據(jù)“裸奔”于互聯(lián)網(wǎng)上。

    對于此次業(yè)界的質(zhì)疑，360認為純系百度 “污蔑”。360方面表示，其網(wǎng)站后臺、訂單等敏感數(shù)據(jù)在每個搜索引擎中都是存在的。百度通過人為設(shè)置釣魚陷阱網(wǎng)頁來污蔑360上傳用戶數(shù)據(jù)，目的是為了阻止360進入搜索領(lǐng)域，維護其市場地位。

    不過，很多的中立行業(yè)觀察人士認為，該事件的重心并不在口水仗，而是作為“行業(yè)自律”的Robots協(xié)議是否需要更強有力的法律約束？

    資深互聯(lián)網(wǎng)觀察家洪波指出，搜索引擎無視Robots協(xié)議，直接抓取未經(jīng)授權(quán)的信息數(shù)據(jù)，這樣的行為如果不能從法律和監(jiān)管上及時制止，將引發(fā)行業(yè)大亂。”

    鑒于國內(nèi)像360和搜狗這樣既做瀏覽器又做搜索的公司比較少，可以對比同樣既做搜索引擎又做瀏覽器的巨頭：谷歌。

    一位瀏覽器技術(shù)人員對《每日經(jīng)濟新聞》表示，谷歌的Chrome瀏覽器也會根據(jù)用戶訪問的歷史記錄在首頁給出“最常訪問的網(wǎng)站”，但不會優(yōu)先出現(xiàn)在搜索結(jié)果中。

    實際上，在“3B大戰(zhàn)”進入第二輪時，國內(nèi)互聯(lián)網(wǎng)大佬的態(tài)度已經(jīng)發(fā)生了轉(zhuǎn)變。

    搜狗CEO王小川表示，歡迎360做搜索，行業(yè)更加開放，給網(wǎng)民更多選擇。而在此之前，王小川對“3B大戰(zhàn)”的態(tài)度是“進攻百度防范360”。

    目前尷尬的是，Robots協(xié)議并沒有上升到一定的高度。此前有消息稱，政府相關(guān)部門已找百度、360、搜狗各方了解事態(tài)進展，希望能夠從中調(diào)停，并防范整個事件升級。從目前情況看，相關(guān)部門正在對360違反Robots協(xié)議的事件進行研究。

    “所謂Robots協(xié)議，其實就是谷歌自己制定的一個協(xié)議規(guī)范，并不是各大搜索廠商的共識或統(tǒng)一的協(xié)議，也從來沒有任何一家國內(nèi)搜索引擎服務(wù)商公開承諾遵守Robots協(xié)議或簽署類似的協(xié)議或聲明。”所以說，Robots協(xié)議連個行業(yè)規(guī)范都算不上，更別說什么國際標準了，即便在美國，也只有Google把它當(dāng)回事。“上述不愿意透露姓名的瀏覽器技術(shù)人員表示。

    “云”與“端”的較量

    主打云概念的搜索巨頭百度，與以客戶端為武器的360交戰(zhàn)，頗具深意。

    事實上，百度之所以取得目前的搜索市場地位，一個很重要的原因就是其一直在布局中文內(nèi)容平臺，包括知道、百科、貼吧等。百度的“護城河”在“云”，本質(zhì)上是一家媒體，其戰(zhàn)略思路不是僅提供單純的搜索，而是從具備分類、整理的搜索引擎轉(zhuǎn)化為提供、組織內(nèi)容的平臺。

    “在單純的搜索技術(shù)提高前景有限的前提下，提供大量的內(nèi)容使百度具有了巨大的用戶黏性和流量來源。即使用谷歌搜索，首頁結(jié)果里也有大量的百度知道，百度百科與百度貼吧的內(nèi)容。”曹悅平表示。

    事實上，早在2009年李彥宏就曾說過，百度不是搜索引擎，而是第一中文媒體平臺。而在剛剛結(jié)束的百度一年一度的世界大會上，李彥宏首次將云存儲、大數(shù)據(jù)智能、云計算三大核心云能力開放出來。

    在曹悅平看來，在云端發(fā)力的好處在于，直接獲取的大量內(nèi)容和用戶數(shù)據(jù)對后來者筑起了“護城河”。但百度多年來在客戶端領(lǐng)域一直缺乏具有影響力的產(chǎn)品，這恰好是360此次進攻百度的機會。

    相比之下，360的競爭優(yōu)勢完全在 “端”——靠瀏覽器和安全衛(wèi)士來占領(lǐng)市場。

    “360的端模式，相對于百度的云模式，在產(chǎn)業(yè)鏈上處于下游。”曹悅平指出，360的風(fēng)險在于，一旦再出來一個黏性比它更大的客戶端，比如Windows8如果內(nèi)置了安全軟件，那么360就危險了。

    在新進入的搜索領(lǐng)域，360的份額正在迅速下滑。CNNIC最新的統(tǒng)計數(shù)據(jù)顯示，8月27日～9月2日一周，360搜索覆蓋中國網(wǎng)民比例已由上周13.04%降為11.61%，覆蓋人數(shù)由3420萬降為3052萬，用戶減少368萬。無論用戶覆蓋率、搜索次數(shù)和PV占比，360搜索都遠低于搜狗、搜搜等。同時數(shù)據(jù)顯示，360搜索用戶搜索次數(shù)和PV值比例僅為2.22%和1.47%，明顯低于其他搜索引擎，表明使用360搜索的用戶的使用頻率和深度都很低。

服務(wù)器租用/服務(wù)器托管中國五強！虛擬主機域名注冊頂級提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]