如何應對網站反爬蟲策略？如何高效地爬大量數據

一般有一下幾種
一些常用的方法
IP代理
對于IP代理,各個語言的Native Request API都提供的IP代理響應的API, 需要解決的主要就是IP源的問題了.
網絡上有廉價的代理IP(1元4000個左右), 我做過簡單的測試, 100個IP中, 平均可用的在40-60左右, 訪問延遲均在200以上.
網絡有高質量的代理IP出售, 前提是你有渠道.
因為使用IP代理后, 延遲加大, 失敗率提高, 所以可以將爬蟲框架中將請求設計為異步, 將請求任務加入請求隊列(RabbitMQ,Kafka,Redis), 調用成功后再進行回調處理, 失敗則重新加入隊列. 每次請求都從IP池中取IP, 如果請求失敗則從IP池中刪除該失效的IP.
Cookies
有一些網站是基于cookies做反爬蟲, 這個基本上就是如 @朱添一 所說的, 維護一套Cookies池
注意研究下目標網站的cookies過期事件, 可以模擬瀏覽器, 定時生成cookies
限速訪問
像開多線程,循環無休眠的的暴力爬取數據, 那真是分分鐘被封IP的事, 限速訪問實現起來也挺簡單(用任務隊列實現), 效率問題也不用擔心, 一般結合IP代理已經可以很快地實現爬去目標內容.
一些坑
大批量爬取目標網站的內容后, 難免碰到紅線觸發對方的反爬蟲機制. 所以適當的告警提示爬蟲失效是很有必有的.
一般被反爬蟲后, 請求返回的HttpCode為403的失敗頁面, 有些網站還會返回輸入驗證碼(如豆瓣), 所以檢測到403調用失敗, 就發送報警, 可以結合一些監控框架, 如Metrics等, 設置短時間內, 告警到達一定閥值后, 給你發郵件,短信等.
當然, 單純的檢測403錯誤并不能解決所有情況. 有一些網站比較奇葩, 反爬蟲后返回的頁面仍然是200的(如去哪兒), 這時候往往爬蟲任務會進入解析階段, 解析失敗是必然的. 應對這些辦法, 也只能在解析失敗的時候, 發送報警, 當告警短時間到達一定閥值, 再觸發通知事件.
當然這個解決部分并不完美, 因為有時候, 因為網站結構改變, 而導致解析失敗, 同樣回觸發告警. 而你并不能很簡單地區分, 告警是由于哪個原因引起的.

請問誰知道現在搜狗反爬的機制。。。Python3

Cookie識別，刪掉里面的SUNID（不斷使用新Cookie）。
User-Agent，這個很常見，搜狗里面也有。
行為識別，爬蟲通常都是遍歷，有順序。
上面幾個再結合IP，所以你又需要使用代理了（換IP的意思）。

如何應對網站反爬蟲策略？如何高效地爬大量數據

我的經驗是，大量的相關文章+合理的站內鏈接+穩定的更新頻率。
如何做好seo優化策略可參考如下方法：
在搜索引擎優化中，SEO策略影響到最終的優化效果。SEO策略不管對中小網站還是大型網站都是重要的，而對于大型網站，制定一個好的SEO策略尤為重要。
第一部分：關鍵詞分析
關鍵詞分析是所有SEO必須掌握的一門功課，大型網站雖然有海量的數據，但是每個頁面都需要進行關鍵詞分析，除了SEO之外，策劃、編輯也需要具備一定的關鍵詞分析能力。
關鍵詞分析的基本原則：
1、 調查用戶的搜索習慣：這是一個重要的方面，只有了解用戶的搜索習慣，才能把我用戶的搜索需求，用戶喜歡搜索什么?用什么搜索引擎?等等
2、 關鍵詞不能過于寬泛：關鍵詞過于寬泛會導致競爭激烈，耗費大量時間卻不一定得到想要的效果，并且可能降低了關鍵詞的相關性。
3、 關鍵詞不能過冷：想想，沒有用戶搜索的關鍵詞，還值得去優化嗎?
4、 關鍵詞要與頁面內容保持高度的相關性：這樣既有利于優化又有利于用戶。
關鍵詞挑選的步驟：
1、 確定核心關鍵詞：我們應該考慮的是哪一個詞或者兩個詞能夠最準確的描述網頁的內容?哪一個詞用戶搜索次數最多?
2、 核心關鍵詞定義上的擴展：例如核心關鍵詞的別名、僅次于核心關鍵詞的組合等、核心關鍵詞的輔助等。
3、 模擬用戶思維設計關鍵詞：把自己假想為用戶，那么我會去搜索什么關鍵詞呢?
4、 研究競爭者的關鍵詞：分析一下排名占有優勢的競爭對手的網頁，他們都使用了什么關鍵詞?
第二部分：頁面逆向優化
為什么要做逆向優化?因為在大型網站中，頁面的優化價值一般不同于中小網站。考慮到各種綜合因素(例如品牌、頁面內容、用戶體驗等)，大型網站的頁面優化價值大多數呈現逆向順序，即：最終頁>專題頁>欄目頁>頻道頁>首頁。
如何針對各頁面進行關鍵詞分配呢?通常情況是這樣的：
1、 最終頁：針對長尾關鍵詞;
2、 專題頁：針對熱門關鍵詞，例如"周杰倫";
3、 欄目頁：針對固定關鍵詞，例如"音樂試聽";
4、 頻道頁：針對核心關鍵詞，例如 "音樂";
5、 首頁：不分配關鍵詞，而是以品牌為主。
在進行關鍵詞分配后，我們可以在最終頁中添加匹配的內鏈作為輔助，這是大型網站內鏈的優勢。
第三部分：前端搜索引擎友好，包括UI設計的搜索友好和前端代碼的搜索友好兩點
1、首先來看UI設計的搜索引擎友好：主要是做到導航清晰，以及flash和圖片等的使用，一般來說，導航以及帶有關鍵詞的部分不適合使用flash及圖片，因為大多數搜索引擎無法抓取flash及圖片中的文字。
2、然后是前端代碼的搜索引擎友好：
a、代碼的簡潔性：搜索引擎喜歡簡潔的html代碼，這樣更有利于分析。
b、重要信息靠前：指帶關鍵詞的及經常更新的信息盡量選擇出現在html的靠前位置。
c、過濾干擾信息：大型網站的頁面一般比較復雜，各種廣告、合作、交換內容以及其他沒有相關性的信息比較多，我們應該選擇使用js、iframe等搜索引擎無法識別的代碼過濾掉這一部分信息。
d、代碼的基礎SEO：這是基礎的SEO工作，避免html錯誤以及語義化標簽。
第四部分：內部鏈接策略
為什么要強調內部鏈接策略?因為內鏈具有以下優勢：
1、 大型網站海量的數據使內鏈的優勢遠遠大于外鏈。外鏈的數量可能幾千幾萬幾十萬，但是大型網站擁有成百萬上千萬甚至上億的海量網頁內容，如果用這些海量的網頁做內鏈的建設，優勢是很明顯的。
2、 網站內的網頁間導出鏈接是一件很容易的事情。
3、 提高搜索引擎對網站的爬行索引效率，增強收錄，也有利于PR的傳遞。
4、 集中主題，使該主題的關鍵詞在搜索引擎中具有排名優勢。
在內鏈建設中，應該遵循以下原則：1、控制文章內鏈數量：穿插于文章內的鏈接可以根據內容的多少控制在3-8個左右。2、鏈接對象的相關性要高。3、給重要的網頁更多的關注：使重要的更有關鍵詞價值的網頁得到更好的排名。4、使用絕對路徑。
第五部分：外部鏈接策略
在強調大型網站的內鏈建設的同時也不能太忽視了外鏈的建設。外鏈的建設雖然沒有中小網站那么重要，但是也具有很高的價值。通?？梢酝ㄟ^交換鏈接、制造鏈接誘餌、投放帶鏈接的軟文等方法來建設外鏈。
1、 來看交換鏈接應該要遵循哪些原則：
a、鏈接文字中包含關鍵詞;b、盡量與相關性高的站點、頻道交換鏈接;c、對方網站導出鏈接數量不能過多，過多的話沒有太大的價值;d、避免與未被收錄以及被搜索引擎懲罰的網站交換鏈接
2、 制造鏈接誘餌：制造鏈接誘餌是一件省力的工作，這使得對方網站主動的為我們添加鏈接。制造鏈接誘餌的技巧很多，但是可以用兩個字來概括：創意。
3、 帶鏈接的軟文投放。指的是在商務推廣或者為專門為了得到外鏈而進行的帶鏈接的軟文投放。
第六部分:網站地圖策略
有很多大型網站不重視網站地圖的建設，不少大型網站的網站地圖只是敷衍了事，做一個擺設。其實網站對于大型網站是很重要的，大型網站海量的數據、復雜的網站導航結構、極快的更新頻率使得搜索引擎并不能完全抓取所有的網頁。這就是為什么有的大型網站擁有百萬千萬甚至上億級的數據量，但是卻只被搜索引擎收錄了網站數據量的一半、三分之一甚至更少的一個重要原因。連收錄都保證不了，怎么去做排名?
Html地圖：
1、 為搜索引擎建立一個良好的導航結構。
2、 Html地圖中可以分為橫向和縱向導航，橫向導航主要是頻道、欄目、專題等鏈接，縱向導航主要是針對關鍵詞。
3、 每個頁面都有指向網站地圖的鏈接。
Xml網站地圖：主要針對Google、yahoo、live等搜索引擎。因為大型網站數據量太大，單個的sitemap會導致sitemap.xml文件太大，超過搜索引擎的容忍度。所以我們要將sitemap.xml拆分為數個，每個拆分后的sitemap.xml則保持在搜索引擎建議的范圍內。
第七部分:搜索引擎友好寫作策略
搜索引擎友好寫作是創造海量數據對取得好的搜索引擎排名的很關鍵的一部分。而SEO人員不可能針對每個網頁都提出SEO建議或者方案，所以對寫作人員的培訓尤為重要。如果所有寫作人員都按照搜索引擎友好的原則去寫作，則產生的效果是很恐怖的。
1、 對寫作人員要進行反復培訓：寫作人員不是SEO，沒有經驗，不可能一遍就領悟SEO的寫作技巧。所以要對寫作人員進行反復的培訓才能達到效果。
2、 創造內容先思考用戶會去搜索什么，針對用戶的搜索需求而寫作。
3、 重視title、meta寫作：例如Meta雖然在搜索引擎的權重已經很低，但是不好的meta寫作例如堆積關鍵詞、關鍵詞與內容不相關等行為反而會產生負作用。而Title的權重較高，盡量在Title中融入關鍵詞。
4、 內容與關鍵詞的融合：在內容中要適當的融入關鍵詞，使關鍵詞出現在適當的位置，并保持適當的關鍵詞密度。
5、 為關鍵詞加入鏈接很重要：為相關關鍵詞加入鏈接，或者為本網頁出現的其他網頁的關鍵詞加入鏈接，可以很好的利用內鏈優勢。
6、 為關鍵詞使用語義化標簽：
第八部分:日志分析與數據挖掘
日志分析與數據挖掘常常被我們所忽視，其實不管是大型網站還是中小網站，都是一件很有意義的工作。只是大型網站的日志分析和數據挖掘工作難度要更高一些，因為數據量實在太大，所以我們要具備足夠的耐心來做該項工作，并且要有的放矢。
1、 網站日志分析：網站日志分析的的種類有很多，如訪問來源、瀏覽器、客戶端屏幕大小、入口、跳出率、PV等。跟SEO工作最相關的主要有以下三種：a、搜索引擎流量導入;b、搜索引擎關鍵詞分析;c、用戶搜索行為統計分析
2、 熱點數據挖掘：我們可以通過自身的網站日志分析以及一些外在的工具和SEO自己對熱點的把握能力來進行熱點數據的挖掘。熱點數據的挖掘主要有以下手段：a、把握行業熱點，可以由編輯與SEO共同完成;b、預測潛在熱點，對信息的敏感度要求較高，能夠預測潛在的熱門信息。c、自己創造熱點，如炒作等;d、 為熱點制作專題
第九部分:為關鍵詞創作專題
除了最終頁面，各種針對熱門的關鍵詞所制作的專題應該作為網站的第二大搜索引擎流量來源。我們在對熱點數據進行挖掘后，就可以針對這些熱門關鍵詞制作專題了。制作的專題頁的內容從何而來?我們一般通過程序實現對應關鍵詞相關的信息進行篩選聚合，這樣就使得內容與關鍵詞高度匹配，為用戶、為搜索引擎都提供了所需要的內容。
當然，僅僅建立一個專題而沒有輔助手段是很難保證專題的搜索引擎排名的，我們可以通過文章內鏈、頻道頁推薦、或者最終頁的專題推薦來獲得鏈接達到效果。
1、為熱點關鍵詞制作專題
2、關鍵詞相關信息的聚合
3、輔以文章內鏈導入鏈接

天貓爬蟲,爬搜索結果頁在本地沒問題,部署在云服務器會被反爬了,請問這是什么情況?

天貓爬蟲爬手術，結果爬反了，這是安裝的時候反安了抖一下線就好了。