為了先填充好數(shù)據在上線，在本地搭建了一個網站，并用火車頭采集數(shù)據填充到里面。
開始很上手，因為找的網站的分類中是有分頁的。很快捷的找到頁面標識。
但是問題來了，如今很多網站都是采用的Ajax加載數(shù)據，根本沒有分頁的URL。比如：CSDN，IT168等等，都是采用下拉到一定程度，自動加載數(shù)據出來。
在沒有頁碼的情況下，直接采集當前首頁的20-30篇文章，后面的都無法采集到。
經過在網上查找教程，總算有了方法，但是相對直接加入頁碼采集，多了一個步驟。
應該如何做？
1. 獲取目標站API地址
在目標頁面按F12或Ctrl+Shift+C打開審查元素，然后點Network選項卡，通過下滑的操作實時監(jiān)控Network中出現(xiàn)的鏈接。
然后點擊這個鏈接，查看規(guī)律后將他復制下來。
2.利用火車頭采集這個API中的文章鏈接
這里做一個假設，實際填寫的是上面的API地址。
采集內容規(guī)則的設置
從上圖可以指導鏈接地址在：linkurl:"" 里，然后進入第二部采集內容
這里選擇循環(huán)匹配，不然只會采集到一個鏈接。
數(shù)據處理一下編碼和斜杠（因為采集的url有很多 \ 的轉義，直接將這個剔除）
測試一下頁面就可以獲取到文章的URL鏈接。
獲取到文章的鏈接后，如何采集它們？
當采集到這些文章的URL后，我們先要在 第三步：發(fā)布內容設置 ，將連接保存在桌面處理。
我將他保存在Excel文件（主要是我導出的TXT不完整），然后在Excel中處理好在復制到TXT中。
這個時候我們就要采集這些文字的鏈接了。
新建一個采集任務，然后將保存的TXT導入，然后依次進行采集，后面的工序就不說了，和分頁采集的步驟是一樣的。
本文由2號站長網 五車二原創(chuàng)，原文地址：https://www.zz2zz.com/19852.html 轉載請注明出處。
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
