您好,歡迎來到廣東朝陽企訊通科技有限公司! 設為首頁 | 加入收藏 | 在線留言
走進朝陽
網站建設
網站推廣
網站代運營
建站套餐
營銷學堂
東莞服務熱線:
0769-22020318、22020328
佛山服務熱線:
0757-63228001、63228002
全國統一服務熱線:
400-612-0769
在線留言
您的位置: 首頁 ->  常見問題  -> 怎樣巧用robots避免蜘蛛黑洞?

怎樣巧用robots避免蜘蛛黑洞?


      東莞seo網站優化分析對于百度搜索引擎來說,蜘蛛黑洞特指網站通過極低的成本制造出大量參數過多,及內容雷同但具體參數不同的動態URL ,就像一個無限循環的“黑洞”將spider困住,Baiduspider浪費了大量資源抓取的卻是無效網頁。
      比如很多網站都有篩選功能,通過篩選功能產生的網頁經常會被搜索引擎大量抓取,而這其中很大一部分檢索價值不高,如“500-1000之間價格的租房”,首先網站(包括現實中)上基本沒有相關資源,其次站內用戶和搜索引擎用戶都沒有這種檢索習慣。這種網頁被搜索引擎大量抓取,只能是占用網站寶貴的抓取配額。那么該如何避免這種情況呢?
我們以北京某團購網站為例,看看該網站是如何利用robots巧妙避免這種蜘蛛黑洞的:
      對于普通的篩選結果頁,該網站選擇使用靜態鏈接,如:http://bj.XXXXX.com/category/zizhucan/weigongcun
同樣是條件篩選結果頁,當用戶選擇不同排序條件后,會生成帶有不同參數的動態鏈接,而且即使是同一種排序條件(如:都是按銷量降序排列),生成的參數也都是不同的。如:http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek
http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c
對于該團購網來說,只讓搜索引擎抓取篩選結果頁就可以了,而各種帶參數的結果排序頁面則通過robots規則拒絕提供給搜索引擎。
robots.txt的文件用法中有這樣一條規則:Disallow: /*?* ,即禁止搜索引擎訪問網站中所有的動態頁面。該網站恰是通過這種方式,對Baiduspider優先展示高質量頁面、屏蔽了低質量頁面,為Baiduspider提供了更友好的網站結構,避免了黑洞的形成。以上信息均由朝陽網絡提供,東莞seo網站優化了解更多此方面信息的朋友們請來這里http://www.larvmk.icu/
首 頁 | 走進朝陽 | 服務項目 | 網站建設 | SEO優化 | 網站代運營 | 朝陽案例 | 建站套餐 | 聯系我們
Copyright 2003-2014 114my.net, All Rights Reserved 粵ICP備15113932號
服務熱線:0769-22020318/22020328 傳真:0769-22020338 版權所有:廣東朝陽企訊通科技有限公司 網站地圖 sitemap
朝陽科技為互聯網專業的網站建設公司,整合網絡營銷實戰策劃,提供東莞網站建設,東莞網站推廣,東莞網頁設計,東莞網絡營銷培訓等服務    
更多

關閉
網站咨詢
點擊這里給我發消息
點擊這里給我發消息
11选五中奖规则 重庆快乐十分 山西快乐10分常见组合 广西福利*快乐双彩 全民麻将单机版下载 竞彩比分网 秒秒彩规则 享配资 辽宁十二选五走势图 辽宁35选7一等奖多少钱 四川快乐12怎么投注 黑龙江六加一开奖规则 陕西快乐十分怎么中奖 澳洲幸运5 排球比分sub什么意思 青海11选5台子 福建36选7