㈠ 如何用nodejs開發爬蟲程序
這個是個專業的技術，信息量比較大，建議你在網路上搜一下相關的資源和代碼
㈡ Python，Node.js 哪個比較適合寫爬蟲
主要看你定義的「爬蟲」干什麼用。
1、如果是定向爬取幾個頁面，做一些簡單的頁面解析，爬取效率不是核心要求，那麼用什麼語言差異不大。
當然要是頁面結構復雜，正則表達式寫得巨復雜，尤其是用過那些支持xpath的類庫/爬蟲庫後，就會發現此種方式雖然入門門檻低，但擴展性、可維護性等都奇差。因此此種情況下還是推薦採用一些現成的爬蟲庫，諸如xpath、多線程支持還是必須考慮的因素。
2、如果是定向爬取，且主要目標是解析js動態生成的內容
此時候，頁面內容是有js/ajax動態生成的，用普通的請求頁面->解析的方法就不管用了，需要藉助一個類似firefox、chrome瀏覽器的js引擎來對頁面的js代碼做動態解析。
此種情況下，推薦考慮casperJS+phantomjs或slimerJS+phantomjs ，當然諸如selenium之類的也可以考慮。
3、如果爬蟲是涉及大規模網站爬取，效率、擴展性、可維護性等是必須考慮的因素時候
大規模爬蟲爬取涉及諸多問題：多線程並發、I/O機制、分布式爬取、消息通訊、判重機制、任務調度等等，此時候語言和所用框架的選取就具有極大意義了。
PHP對多線程、非同步支持較差，不建議採用。
NodeJS：對一些垂直網站爬取倒可以，但由於分布式爬取、消息通訊等支持較弱，根據自己情況判斷。
Python：強烈建議，對以上問題都有較好支持。尤其是Scrapy框架值得作為第一選擇。優點諸多：支持xpath；基於twisted，性能不錯；有較好的調試工具；
此種情況下，如果還需要做js動態內容的解析，casperjs就不適合了，只有基於諸如chrome V8引擎之類自己做js引擎。
㈢ 畢業設計，Python爬蟲系統 目前只知道一點點皮毛。求思路， 爬去信息，然後做成系統，老師還要求
明顯串列比多線程的復慢啊， 你的思制路有一些坑
python的多線程由於GIL的存在， 不咋好用， 你還不如使用gevent做多路復用的
python串列的就是一個一個爬唄
首先手機1w個url, 對比兩個爬蟲的效率就可以
庫一般而言, 寫一個爬蟲系統需要輸入一堆種子, 這些種子是初始化鏈接, 你可以通過requests庫和pyquery庫進行解析, 按照特定的演算法比如廣度優先的方式再把這些鏈接對應的內容爬取出來，注意由於一個鏈接可能出現在多個網頁中, 還需要在抓取之前採取排重操作, 這個你可以採用redis, 畢竟基於內存的比較快
㈣ 如何使用nodejs做爬蟲程序
1、如果是定向爬取幾個頁面，做一些簡單的頁面解析，爬取效率不是核心要求，那麼用什麼語言差異不大。
當然要是頁面結構復雜，正則表達式寫得巨復雜，尤其是用過那些支持xpath的類庫/爬蟲庫後，就會發現此種方式雖然入門門檻低，但擴展性、可維護性等都奇差。因此此種情況下還是推薦採用一些現成的爬蟲庫，諸如xpath、多線程支持還是必須考慮的因素。
2、如果是定向爬取，且主要目標是解析js動態生成的內容
此時候，頁面內容是有js/ajax動態生成的，用普通的請求頁面->解析的方法就不管用了，需要藉助一個類似firefox、chrome瀏覽器的js引擎來對頁面的js代碼做動態解析。
此種情況下，推薦考慮casperJS+phantomjs或slimerJS+phantomjs ，當然諸如selenium之類的也可以考慮。
㈤ 如何通過nodeJs爬蟲獲取數據簡單實現代碼
var http=require('http');
var cheerio=require('cheerio');//頁面獲取到的數據模塊
var url='http://www.jcpeixun.com/lesson/1512/';
function filterData(html){
/*所要獲取到的目標數組
var courseData=[{
chapterTitle:"",
videosData:{
videoTitle:title,
videoId:id,
videoPrice:price
}
}] */
var $=cheerio.load(html);
var courseData=[];
var chapters=$(".list-collapse");
chapters.each(function(item){
var chapterTitle=$(this).find(".collapse-head").find("label").text();
var videos=$(this).find(".listview5").children("li");
var chaptersData={
chaptersTitle:chapterTitle,
videosData:[]
}
videos.each(function(item){
var videoTitle=$(this).find(".ml10").attr('data-lesson-name');
var videoId=$(this).find(".ml10").attr('data-lesson-id');
var vadeoPrice=$(this).find(".colblue").text();
chaptersData.videosData.push({
title:videoTitle,
id:videoId,
price:vadeoPrice
})
})
courseData.push(chaptersData)
})
return courseData
}
function printCourseInfo(courseData){
courseData.forEach(function(item){
console.log(item.chaptersTitle+'\n');
item.videosData.forEach(function(item){
console.log(item.title+'【'+item.id+'】'+item.price+'\n')
})
})
}
http.get(url,function(res){
html="";
res.on("data",function(data){
html+=data
})
res.on('end',function(){
var courseData=filterData(html);
printCourseInfo(courseData)
})
})
㈥ 如何基於node爬取網頁源文件
後端渲染的頁面用cheerio這個模塊爬就可以，具體如何爬可以去谷歌。如果是js渲染的，比如網路圖片，就用phantomjs去爬，用phantomjs爬的話需要在phantomjs這個看不見的瀏覽器里進行瀏覽器操作，獲得相應數據後，再通過node的介面傳給node
㈦ 如何使用nodejs寫一個網路爬蟲
要用到的模塊：
request 用於發起http請求
cheerio 用於將下載下來的dom進行分析和提取 你可以把它當做jQuery來用！
㈧ 做一個爬蟲的畢業設計需要准備哪些
爬蟲基本原理
然後你還要熟練掌握一門編程語言