What You Will Learn!
- 1.了解大数据架构及大数据分析的Pipeline
- 2.了解互联网行业常见的四种数据采集方式
- 3.了解爬虫的常见框架-Scrapy
- 4.了解分布式爬虫以及反爬虫策略
- 5.了解前后端埋点原理
- 6.了解离线数据分析的分析场景及框架
- 7.了解实时数据分析的分析场景及框架
Description
很多同学都有过数据采集的经历，不知道在数据采集实操过程中，你是否也会以下疑问呢：
大数据架构具有怎样的作用呢？什么是Hadoop生态圈和经典大数据分析Pipeline？
常见的数据来源有哪些？
在进行互联网爬虫采集数据时，有哪些反反爬虫策略？
在埋点采集数据时，如何确定是前端埋点还是后端埋点？
如何通过日志上报的方式进行数据采集呢？
在对已有数据库进行同步时，离线同步和实时同步流程是怎样的呢？它们具体有哪些应用场景呢？
......
本节课，拥有丰富大数据分析经验的刘恒老师将结合实例按照业务流程来解答同学们的疑问。
本节课程是由授课老师与三节课合作制作的。在此，要特别感谢老师的辛苦付出！经历了课程立项、设计、开发中的众多环节，我们才能最终为你呈现现在的这门课程。无论是授课老师还是三节课团队，都希望这门课程能够让你有所收获，希望同学们结合个人工作情况，学以致用。
本课程版权归三节课所有，未经书面同意私自录制、转载等行为均属侵权行为。课程内的所有内容，包括但不限于视频、文字、图片均由三节课公司或其他权利人依法拥有其知识产权，包括但不限于著作权、商标权、专利权等。未经三节课公司的明确书面特别授权，任何人不得为任何目的使用以及向任何自然人或单位提供出售、营销、出版或利用三节课官网上提供的任何内容或服务。如有违反，您将承担由此给三节课公司或其他权利人造成的一切损失。
Who Should Attend!
- 1.0-1岁数据分析方向从业者
- 2.想要提升数据分析能力的互联网从业者
- 3.对大数据分析感兴趣的学习者
