课程介绍

【饥人谷】Node.js项目实战手把手教你开发网络爬虫项目是一门专门针对Node.js开发者设计的实战课程。这个课程旨在通过实际的项目操作，教授学员如何使用Node.js开发网络爬虫。网络爬虫是一种自动获取网页内容的程序，常用于数据采集、信息处理等领域。

课程的主要内容可能包括以下几个方面：

1. Node.js基础复习：如果课程面向的是已经有一定Node.js基础的学员，可能会有一个快速的基础知识复习环节，包括Node.js的核心模块、异步编程模型等。
2. 网络爬虫原理介绍：讲解网络爬虫的基本概念，工作原理，以及它在实际中的应用场景。
3. HTTP请求与响应处理：深入理解HTTP协议，学习如何在Node.js中发起HTTP请求，以及如何处理服务器的响应数据。
4. 爬虫开发技术栈：介绍开发网络爬虫常用的Node.js库和工具，如request, axios用于发起网络请求，cheerio用于解析和操作HTML文档，以及puppeteer用于模拟浏览器环境等。
5. 数据解析与抽取：教授如何从网页中解析和提取有用信息，包括使用正则表达式、DOM操作等方法。
6. 异步编程和流程控制：由于网络请求是异步操作，课程会讲解如何使用回调函数、Promises、async/await等技术来进行有效的异步编程和流程控制。
7. 存储抓取数据：学习如何将抓取到的数据存储到文件或数据库中，可能包括对MongoDB、MySQL等数据库的操作。
8. 爬虫项目实战：通过一个或多个实战项目，带领学员从零开始，逐步完成网络爬虫的开发。
9. 爬虫的法律和道德问题：讲解网络爬虫可能涉及的法律风险和道德问题，如何合法合规地使用爬虫技术。
10. 性能优化和异常处理：如何提升爬虫的效率，处理可能遇到的异常和错误。

【饥人谷】作为提供该课程的教育机构，是通过线上视频、线下辅导、交流社群等多种方式来支持学员的学习。课程适合有一定编程基础，希望学习如何使用Node.js开发网络爬虫的开发者。通过完成课程，学员能够掌握网络爬虫的开发技能，并能在实际工作中运用这些技术进行数据采集和分析。

课程目录

/13-117-【饥人谷】Node.js项目实战手把手教你开发网络爬虫项目/
│├─00【先导】课前预习内容
│├─01 搭建http服务
│├─02 Express基础
│├─03 Express中的MVC
│├─04 MongoDB实操
│├─05 mongoose
│├─06 Node.js异步最佳实践
│├─07 错误处理和日志
│├─08 鉴权
│├─09 爬虫系统初步
│├─10 鉴权实战和爬虫实战
│├─11 Redis+爬虫实战
│├─12 使用pm2管理爬虫进程
│├─13 推荐系统初步
│├─14 微服务初步和实战
│├─15 在AWS部署服务
│├─16 推荐系统实战-爬虫协议的实现
│├─17 ElasticSearch 基础
│├─18 OAuth2.0 和微信登录
│├─19 使用单元测试风格调试ES相关代码
│├─20 评分完结篇和实战
│├─课程简介.md 783byte

详细目录

00【先导】课前预习内容/
│├─1. 文章：课前预习内容.md 2KB
│├─2. 文章：Git命令行讲义.md 4.7KB
│├─3. 视频：Git Bash 安装.mp4 252.5MB
│├─4. 视频：命令行基本概念.mp4 229.7MB
01 搭建http服务/
│├─1. 视频：搭建http服务-1.mp4 711MB
│├─2. 视频：搭建http服务-答疑1.mp4 220.3MB
│├─3. 视频：搭建http服务-2.mp4 1.2GB
│├─6. 文章：第一课讲义.md 2.2KB
│├─simple_http_server.js 2.5KB
02 Express基础/
│├─1. 文章：讲义.md 3.1KB
│├─1. 视频：Express-1.mp4 963.7MB
│├─2. 视频：Express-1 答疑.mp4 141.6MB
│├─3. 视频：Express-2.mp4 827.8MB
│├─4. 视频：Express-2 答疑.mp4 421.8MB
03 Express中的MVC/
│├─03Express中的MVC实战-2.mp4 274.2MB
│├─1. Express复习和拾遗.mp4 827.8MB
│├─2. Express中的MVC实战-1.mp4 847.7MB
│├─文章：讲义.txt 1.6KB
04 MongoDB实操/
│├─1.视频：MongoDB实操-1 QQ709639943.mp4 373.2MB
│├─2.视频：MongoDB实操1-答疑.mp4 80MB
│├─3.视频：MongoDB实操-2.mp4 317MB
05 mongoose/
│├─1.视频：mongoose的基本使用.mp4 324.3MB
│├─2.视频：mongoose的基本使用-答疑.mp4 68MB
│├─3.视频：mongoose构建的model层.mp4 302.6MB
│├─文章：讲义.docx 14.9KB
06 Node.js异步最佳实践/
│├─文章：异步基础讲义.docx 17KB
│├─视频：异步基础-1.mp4 308.3MB
│├─视频：异步基础-2-答疑.mp4 132.7MB
│├─视频：异步基础-2.mp4 337.8MB
│├─视频：异步基础-3.mp4 330.6MB
07 错误处理和日志/
│├─1.视频：错误处理-1.mp4 345.2MB
│├─2.视频：错误处理-2.mp4 305.6MB
│├─3.视频：日志处理.mp4 298.7MB
│├─文章：讲义.docx 18.4KB
08 鉴权/
│├─1.视频：鉴权-1.mp4 299.9MB
│├─2.视频：鉴权-2.mp4 347.8MB
│├─3.视频：session bug终结篇.mp4 10.6MB
│├─4.视频：session bug解决篇（可以跳过）.mp4 213.8MB
│├─文章：讲义.docx 14.2KB
09 爬虫系统初步/
│├─文章：讲义.docx 13.5KB
│├─视频：Acfun文章爬取-1.mp4 392.2MB
│├─视频：Acfun文章爬取-2.mp4 222.5MB
│├─视频：爬虫系统架构初步.mp4 301.9MB
10 鉴权实战和爬虫实战/
│├─视频：鉴权实战和爬虫实战1.mp4 862.7MB
11 Redis+爬虫实战/
│├─1.视频：Redis-1.mp4 323MB
│├─2.视频：Redis-2.mp4 319.8MB
│├─3.视频：爬虫实战.mp4 404.2MB
12 使用pm2管理爬虫进程/
│├─视频：爬虫实战-1.mp4 326.8MB
│├─视频：爬虫实战-2.mp4 320.4MB
13 推荐系统初步/
│├─1.视频：推荐系统初步.mp4 320.7MB
│├─2.视频：爬虫实战.mp4 328.6MB
│├─3.视频：部署爬虫.mp4 318.9MB
14 微服务初步和实战/
│├─文章：自定义协议-可以最后看.docx 13.6KB
│├─文章：自定义协议.docx 13.6KB
│├─视频：微服务和实战-1.mp4 328.5MB
│├─视频：微服务和实战-2.mp4 328.7MB
15 在AWS部署服务/
│├─1.视频：部署服务-1.mp4 347.5MB
│├─2.视频：部署服务-2.mp4 389.1MB
16 推荐系统实战-爬虫协议的实现/
│├─1.视频：服务发现与注册.mp4 313.4MB
│├─2.视频：校验数据并开始爬取.mp4 307.5MB
│├─3.视频：持续自动爬取.mp4 387.4MB
17 ElasticSearch 基础/
│├─1.视频：ES的安装与使用.mp4 306.6MB
│├─2.视频：ES的使用-文档管理和搜索.mp4 318.5MB
│├─3.视频：搜索中的分数.mp4 313.1MB
18 OAuth2.0 和微信登录/
│├─1.视频：OAuth2.0和微信登陆-1.mp4 294.7MB
│├─2.视频：OAuth2.0和微信登陆-2.mp4 324.2MB
│├─3.视频：ES评分初步-1.mp4 297.6MB
19 使用单元测试风格调试ES相关代码/
│├─1.视频：NCR的处理.mp4 140.8MB
│├─2.视频：Mocha初探.mp4 78.7MB
│├─3.视频：单元测试风格调试ES的CRUD.mp4 209.8MB
│├─4.视频：调试ES评分.mp4 264.2MB
20 评分完结篇和实战/
│├─1.视频：课程简结.mp4 83.3MB
│├─2.视频：使用内嵌文档实现数组元素分值的算分.mp4 136.2MB
│├─3.视频：对爬取内容标签评分进行归一化.mp4 238.9MB
│├─4.视频：对爬取内容标签评分进行归一化2.mp4 333.3MB
│├─5.视频：整合ES到推荐项目，拉取spider提供的内容.mp4 191.4MB