㈠ 如何用nodejs开发爬虫程序
这个是个专业的技术，信息量比较大，建议你在网络上搜一下相关的资源和代码
㈡ Python，Node.js 哪个比较适合写爬虫
主要看你定义的“爬虫”干什么用。
1、如果是定向爬取几个页面，做一些简单的页面解析，爬取效率不是核心要求，那么用什么语言差异不大。
当然要是页面结构复杂，正则表达式写得巨复杂，尤其是用过那些支持xpath的类库/爬虫库后，就会发现此种方式虽然入门门槛低，但扩展性、可维护性等都奇差。因此此种情况下还是推荐采用一些现成的爬虫库，诸如xpath、多线程支持还是必须考虑的因素。
2、如果是定向爬取，且主要目标是解析js动态生成的内容
此时候，页面内容是有js/ajax动态生成的，用普通的请求页面->解析的方法就不管用了，需要借助一个类似firefox、chrome浏览器的js引擎来对页面的js代码做动态解析。
此种情况下，推荐考虑casperJS+phantomjs或slimerJS+phantomjs ，当然诸如selenium之类的也可以考虑。
3、如果爬虫是涉及大规模网站爬取，效率、扩展性、可维护性等是必须考虑的因素时候
大规模爬虫爬取涉及诸多问题：多线程并发、I/O机制、分布式爬取、消息通讯、判重机制、任务调度等等，此时候语言和所用框架的选取就具有极大意义了。
PHP对多线程、异步支持较差，不建议采用。
NodeJS：对一些垂直网站爬取倒可以，但由于分布式爬取、消息通讯等支持较弱，根据自己情况判断。
Python：强烈建议，对以上问题都有较好支持。尤其是Scrapy框架值得作为第一选择。优点诸多：支持xpath；基于twisted，性能不错；有较好的调试工具；
此种情况下，如果还需要做js动态内容的解析，casperjs就不适合了，只有基于诸如chrome V8引擎之类自己做js引擎。
㈢ 毕业设计，Python爬虫系统 目前只知道一点点皮毛。求思路， 爬去信息，然后做成系统，老师还要求
明显串行比多线程的复慢啊， 你的思制路有一些坑
python的多线程由于GIL的存在， 不咋好用， 你还不如使用gevent做多路复用的
python串行的就是一个一个爬呗
首先手机1w个url, 对比两个爬虫的效率就可以
库一般而言, 写一个爬虫系统需要输入一堆种子, 这些种子是初始化链接, 你可以通过requests库和pyquery库进行解析, 按照特定的算法比如广度优先的方式再把这些链接对应的内容爬取出来，注意由于一个链接可能出现在多个网页中, 还需要在抓取之前采取排重操作, 这个你可以采用redis, 毕竟基于内存的比较快
㈣ 如何使用nodejs做爬虫程序
1、如果是定向爬取几个页面，做一些简单的页面解析，爬取效率不是核心要求，那么用什么语言差异不大。
当然要是页面结构复杂，正则表达式写得巨复杂，尤其是用过那些支持xpath的类库/爬虫库后，就会发现此种方式虽然入门门槛低，但扩展性、可维护性等都奇差。因此此种情况下还是推荐采用一些现成的爬虫库，诸如xpath、多线程支持还是必须考虑的因素。
2、如果是定向爬取，且主要目标是解析js动态生成的内容
此时候，页面内容是有js/ajax动态生成的，用普通的请求页面->解析的方法就不管用了，需要借助一个类似firefox、chrome浏览器的js引擎来对页面的js代码做动态解析。
此种情况下，推荐考虑casperJS+phantomjs或slimerJS+phantomjs ，当然诸如selenium之类的也可以考虑。
㈤ 如何通过nodeJs爬虫获取数据简单实现代码
var http=require('http');
var cheerio=require('cheerio');//页面获取到的数据模块
var url='http://www.jcpeixun.com/lesson/1512/';
function filterData(html){
/*所要获取到的目标数组
var courseData=[{
chapterTitle:"",
videosData:{
videoTitle:title,
videoId:id,
videoPrice:price
}
}] */
var $=cheerio.load(html);
var courseData=[];
var chapters=$(".list-collapse");
chapters.each(function(item){
var chapterTitle=$(this).find(".collapse-head").find("label").text();
var videos=$(this).find(".listview5").children("li");
var chaptersData={
chaptersTitle:chapterTitle,
videosData:[]
}
videos.each(function(item){
var videoTitle=$(this).find(".ml10").attr('data-lesson-name');
var videoId=$(this).find(".ml10").attr('data-lesson-id');
var vadeoPrice=$(this).find(".colblue").text();
chaptersData.videosData.push({
title:videoTitle,
id:videoId,
price:vadeoPrice
})
})
courseData.push(chaptersData)
})
return courseData
}
function printCourseInfo(courseData){
courseData.forEach(function(item){
console.log(item.chaptersTitle+'\n');
item.videosData.forEach(function(item){
console.log(item.title+'【'+item.id+'】'+item.price+'\n')
})
})
}
http.get(url,function(res){
html="";
res.on("data",function(data){
html+=data
})
res.on('end',function(){
var courseData=filterData(html);
printCourseInfo(courseData)
})
})
㈥ 如何基于node爬取网页源文件
后端渲染的页面用cheerio这个模块爬就可以，具体如何爬可以去谷歌。如果是js渲染的，比如网络图片，就用phantomjs去爬，用phantomjs爬的话需要在phantomjs这个看不见的浏览器里进行浏览器操作，获得相应数据后，再通过node的接口传给node
㈦ 如何使用nodejs写一个网络爬虫
要用到的模块：
request 用于发起http请求
cheerio 用于将下载下来的dom进行分析和提取 你可以把它当做jQuery来用！
㈧ 做一个爬虫的毕业设计需要准备哪些
爬虫基本原理
然后你还要熟练掌握一门编程语言