<td id="4qu2i"><rt id="4qu2i"></rt></td>
<menu id="4qu2i"><nav id="4qu2i"></nav></menu><center id="4qu2i"></center>
<dd id="4qu2i"></dd>
  • <nav id="4qu2i"></nav>
    資訊

    網站建設資訊 ? 網站設計趨勢

    從品牌網站建設到網絡營銷策劃,從策略到執行的一站式服務

    [官方]百度蜘蛛抓取流量暴增的原因

    來源:沙漠風網站建設公司 | 2016.09.14

      先我們來說說這兩個問題,百度是怎么計算分配抓取流量的呢?站點抓取流量暴增的原因有哪些呢?

      總體來說,Baiduspider會根據站點規模、歷網站每天新產出的鏈接數量、已抓取網頁的綜合質量打分等等,來綜合計算抓取流量,同時兼顧站長在抓取頻次工具里設置的、網站可承受的大抓取值。
    百度站長平臺
      從目前追查過的抓取流量突增的case中,原因可以分為以下幾種:

      1、Baiduspider發現站內JS代碼較多,調用大量資源針對JS代碼進行解析抓??;
      2、百度其他部門(如商業、圖片等)的spider在抓取,但流量沒有控制好;
      3、已抓取的鏈接,打分不夠好,垃圾過多,導致spider重新抓??;
      4、站點被攻擊,有人仿冒百度爬蟲(見下文關于BaiduSpider)。

      如果站長排除了自身問題、仿冒問題,確認BaiduSpider抓取流量過大的話,可以通過百度的反饋中心(http://zhanzhang.baidu.com/feedback)反饋,注:一定要提供詳細的抓取日志截圖。

      關于BaiduSpider

      如何正確識別Baiduspider移動ua

      新版移動ua:

      Mozilla/5.0(Linux;u;Android4.2.2;zh-cn;)

      AppleWebKit/534.46(KHTML,likeGecko)

      Version/5.1MobileSafari/10600.6.3(compatible;Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

      PCua:Mozilla/5.0(compatible;Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

      之前通過“+http://www.baidu.com/search/spider.html”進行識別的網站請注意!需要修改識別方式,新的正確的識別Baiduspider移動ua的方法如下:

      1、通過關鍵詞“Android”或者“Mobile”來進行識別,判斷為移動訪問或者抓??;
      2、通過關鍵詞“Baiduspider/2.0”,判斷為百度爬蟲。

      另外需要強調的是,對于robots封禁,如果封禁的agent是Baiduspider,會對PC和移動同時生效。即無論是PC還是移動Baiduspider,都不會對封禁對象進行抓取。之所以要強調這一點,是發現有些代碼適配站點(同一個url,PCua打開的時候是PC頁,移動ua打開的時候是移動頁),想通過設置robots的agent封禁達到只讓移動Baiduspider抓取的目的,但由于PC和移動Baiduspider的agent都是Baiduspider,這種方法是非常不可取的。

      如何識別百度蜘蛛

      百度蜘蛛對于站長來說可謂上賓,可是也有站長會發出這樣的疑問:

      我們如何判斷瘋狂抓我們網站內容的蜘蛛是不是百度的?

      其實站長可以通過DNS反查IP的方式判斷某只spider是否來自百度搜索引擎。根據平臺不同驗證方法不同,如linux/windows/os三種平臺下的驗證方法分別如下:

      1、在linux平臺下,可以使用hostip命令反解ip來判斷是否來自Baiduspider的抓取。Baiduspider的hostname以*.baidu.com或*.baidu.jp的格式命名,非*.baidu.com或*.baidu.jp即為冒充。
      2、在windows平臺或者IBMOS/2平臺下,可以使用nslookupip命令反解ip來判斷是否來自Baiduspider的抓取。打開命令處理器輸入nslookupxxx.xxx.xxx.xxx(IP地址)就能解析ip,來判斷是否來自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com或*.baidu.jp的格式命名,非*.baidu.com或*.baidu.jp即為冒充。
      3、在macos平臺下,您可以使用dig命令反解ip來判斷是否來自Baiduspider的抓取。打開命令處理器輸入digxxx.xxx.xxx.xxx(IP地址)就能解析ip,來判斷是否來自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com或*.baidu.jp的格式命名,非*.baidu.com或*.baidu.jp即為冒充。

      BaiduspiderIP是多少

      即便很多站長知道了如何判斷百度蜘蛛,仍然會不斷地問“百度蜘蛛IP是多少”。并想將百度蜘蛛所在IP加入白名單,只準白名單下IP對網站進行抓取,避免被采集等行為。

      百度方面表示,不建議站長這樣做。雖然百度蜘蛛的確有一個IP池,真實IP在這個IP池內切換,但無法保證這個IP池整體不會發生變化。所以,建議站長勤看日志,發現惡意蜘蛛后放入黑名單,以保證百度的正常抓取。

      同時,百度方面還強調:通過IP來分辨百度蜘蛛的屬性是非??尚Φ氖虑?,所謂的“沙盒蜘蛛”“降權蜘蛛”等等是從來都不存在的。
    十八年 建站經驗

    多一份參考,總有益處

    聯系沙漠風,免費獲得專屬《策劃方案》及報價

    咨詢相關問題或預約面談,可以通過以下方式與我們聯系

    業務熱線:400-688-6062 / 大客戶專線   深圳:15818561755

    伊人精品久久综合,AV动漫一区二区三区,麻豆传媒原创在线完整视频,swag吴梦梦视频在线观看网站,日韩午夜小视频在线观看,自慰 韩国,日本少女萝莉漫画大全图片大全图片,国产网红演绎老师上门教课 国产富二代永久视| 午夜福利短视频在线观看下| 怡红院国产情侣| 国产女主播偷拍视频种子 迅雷下载| 国产主播直播磁力下载 迅雷下载| 传媒麻豆大佬素材| 天谕捏脸少女萝莉| 得弟国产情侣| 午夜零时的吻韩剧在线观看| 国产主播盒子| 韩国车模崔瑟琪| 麻豆传媒影画免费观看| 米其林 日本| 动漫少女萝莉图片区| 女同性恋简写| 中文字幕速记| 在线视频 最新 国产| 国产留学生李美静在线视频| 涩妹妹 午夜在线观看| 无码剧情国产 av下载 迅雷下载地址| 国产情侣旅行酒店av| 国产游戏萝莉| 国产公厕偷拍合集mp4| 国产网红刘婷视频在线| 国产高清偷拍视频在线观看| 韩国情趣用品| 日本晴王| 好看中文字幕公司| 国产 会所 制服| 韩国代购乐| 美景之屋2中文字幕| 人猿泰山主题曲中文字幕| 长冶女同性恋| 国产亚洲制服国产亚洲制服迅雷磁力| 韩国锅盖| 欧美床震| 雷军韩国| 日本道高一区二区不卡国产| 韩国刺青| 麻豆传媒成立时间| 国产sm男男电影| http://www.simplifiedchinesetranslation.com http://www.colbykellerxxx.com http://www.simplifiedchinesetranslation.com http://www.2012allinlove.com http://www.dachoujiang.com http://www.mexicandiary.com