當前位置:妙知谷 >

遊戲數碼 >互聯網 >

今日頭條數據採集:八爪魚教程

今日頭條數據採集:八爪魚教程

今日頭條數據採集:八爪魚教程

操作方法

(01)步驟1:創建採集任務1)進入主界面選擇,選擇“自定義模式

今日頭條數據採集:八爪魚教程

(02)2)將上面網址的網址複製粘貼到網站輸入框中,點擊“保存網址”

今日頭條數據採集:八爪魚教程 第2張

(03)3)保存網址後,頁面將在八爪魚採集器中打開,紅色方框中的信息是這次演示要採集的內容

今日頭條數據採集:八爪魚教程 第3張

(04)步驟2:設置ajax頁面加載時間l  設置打開網頁步驟的ajax滾動加載時間l  找到翻頁按鈕,設置翻頁循環l  設置翻頁步驟ajax下拉加載時間1)網頁打開後,需要進行以下設置:打開流程圖,點擊“打開網頁”步驟,在右側的高級選項框中,勾選“頁面加載完成向下滾動”,設置滾動次數,每次滾動間隔時間,一般設置2秒,這個頁面的滾動方式,選擇直接滾動到底部;最後點擊確定

今日頭條數據採集:八爪魚教程 第4張

(05)注意:今日頭條的網站屬於瀑布流網站,沒有翻頁按鈕,這裏的滾動次數設置將影響採集的數據量

今日頭條數據採集:八爪魚教程 第5張

(06)步驟3:採集新聞內容l  創建數據提取列表1)如圖,移動鼠標選中評論列表的方框,右鍵點擊,方框底色會變成綠色然後點擊“選中子元素”

今日頭條數據採集:八爪魚教程 第6張

(07)注意:點擊右上角的“流程”按鈕,即可展現出可視化流程圖。2)然後點擊“選中全部”,將頁面中需要需要採集的信息添加到列表中

今日頭條數據採集:八爪魚教程 第7張

(08)點擊注意: 在提示框中的字段上會出現一個“X”標識,點擊即可刪除該字段。

(09)3)點擊“採集以下數據”

今日頭條數據採集:八爪魚教程 第8張

(10)4)修改採集字段名稱,點擊下方紅色方框中的“保存並開始採集”

今日頭條數據採集:八爪魚教程 第9張

(11)步驟4:數據採集及導出1)根據採集的情況選擇合適的採集方式,這裏選擇“啟動本地採集”

今日頭條數據採集:八爪魚教程 第10張

(12)説明:本地採集佔用當前電腦資源進行採集,如果存在採集時間要求或當前電腦無法長時間進行採集可以使用雲採集功能,雲採集在網絡中進行採集,無需當前電腦支持,電腦可以關機,可以設置多個雲節點分攤任務,10個節點相當於10台電腦分配任務幫你採集,速度降低為原來的十分之一;採集到的數據可以在雲上保存三個月,可以隨時進行導出操作。2)採集完成後,選擇合適的導出方式,將採集好的數據導出

今日頭條數據採集:八爪魚教程 第11張
標籤: 八爪 頭條
  • 文章版權屬於文章作者所有,轉載請註明 https://miaozhigu.com/sm/hulianwang/5m77g.html