大数据学习路线

2023-11-16

希望可以把这篇文章推广给所有想学习或者想从事数据科学方向的朋友,我作为偏统计方向的分析师也在这里说一下自己的一些学习方向和方法,希望对大家有帮助。

推荐一个大数据学习群 142973723每天晚上20:10都有一节【免费的】大数据直播课程,专注大数据分析方法,大数据编程,大数据仓库,大数据案例,人工智能,数据挖掘都是纯干货分享,

我认为从事Data Analytics或Data Science需要具备以下技能:

Programming (Hack)
这个方面比较广泛,并不是纯粹指编程技能,要不然对于非CS的同学会觉得遥不可及。几个点说一下:

1. Linux, Bash, 后台相关的命令
一个成熟的数据从业者应该懂得灵活的运用数据寻找,获取,安装,Debug,分享,团队合作,Linux是知名的开源系统,在这个系统下环境的配置将变得非常容易和透明。各种包的安装也会事半功倍,建议是用虚拟机建一个Ubuntu系统来处理自己的数据,再利用pip,conda,git等命令来安装包,链接github,clone优秀的案例并push自己的发现。这里推荐两个学习资源,当然你也可以参考网上的各种博客和官方教程。
Linux:
https://www.linkedin.com/learning/linux-bash-shell-and-scripts

Github:
https://www.linkedin.com/learning/learning-git-and-github

2. SQL和数据库相关的技能
数据库是另外一个比较重要的部分,想象一下你不可能一直使用Excel去处理数据,毕竟超过十万行的数据用Excel就比较吃力了。这个时候SQL就是必须要用的,可以说这个是一个核心技能。有的人可能会说SQL非常简单,但是当你实际应用的时候你会发现你在学校学的那些简单Query完全就跟不上需求了。下面说一些基本的Query,大家看看掌握的情况:

    • where, group by, order by, having, like, count, sum, min, max, distinct, if, join, left join, limit, and, or, cast, row_number, substr, convert, contact

 

除了基本的SQL,这里我指相关的relational数据库(MySQL, PostgreSQ等),如果你想分析一些unstructured的数据,比如文字或者image等等,你可以学习一下NoSQL,本人只用过MongoDB和Cassandra,也是主流的两个数据库。感兴趣的可以自己学习一下,这里我觉得两个学习资源不错,一个是codecademy的课程,可以互动式的学习SQL的code,一个是老牌的w3schools的SQL教程,非常的全面。另外MongoDB有自己的线上University,大家有兴趣也可以关注一下。
codecademy:
https://www.codecademy.com/learn/learn-sql

w3schools:
https://www.w3schools.com/sql

MongoDB Univeristy:
https://university.mongodb.com

3. Python/R语言
是否具备code的能力是数据分析的一个分水岭,senior的数据分析师会至少精通一种数据分析语言,并且如果想做数据挖掘,网络爬虫,交互可视化等等都是需要一定的代码处理和理解能力的。这里主要说Python和R,两者在数据分析领域可以说是各有千秋。

先说一下Python,就我理解Python是一种万能的语言,适用性非常强,除了数据分析还能够做很多的事情,比如编写程序,网站开发,深度学习等等。如果你决定使用Python,那么你需要了解的点主要是各种包的搜索和调用,函数的编写和嵌套,数据类型的把握(list, tuple, series, dict),条件判断,循环迭代等等。最好的开发环境我推荐Anaconda。

其次说一下R,它是一个统计学家编写的语言,所以对于各类统计函数的调用,绘图,模型验证,R有着先天的优势。很多参数都可以通过summary直接导出,有的时候在做模型选择优化的时候会觉得得心应手。如果你在使用R,那么了解数据结构(matrix, array, data.frame, list),数据读取,画图(ggplot2),统计函数(mean, median, sd, var, scale)等就是你的重点了解方向。开发环境建议使用Rstudio。

当然除了我上述的很多功能,两种语言都非常强大,从小的数学计算到大型的deep learning模型,都可以实现。只是两者有明显的使用习惯的区别,建议初学者先选择一种入手,等熟悉之后再双管齐下,最后做到灵活的运用不同的语言到不同的project中去。

现在说一下素材推荐,其实这两种语言最好都是结合我后面将要说的统计知识来一起学习,这样可以更加深入的理解代码和实际问题之间的关系。当然,这里先介绍一下我认为不错的素材,后面说统计方面的时候会更深入的推荐一下。我们上面说了很多线上课程,这里我想先说一下书,个人比较喜欢看书LOL。第一本推荐学习python的宝典:ORELLY的《Learning Python》,相当全面,但是也很厚。另外两本《Python Cookbook》和《Python for Data Analysis》也是重点推荐的。我个人的方法是,分析主要看《Python for Data Analysis》,数据结构看《Python Codebook》,《Learning Python》作为你的字典一样的存在,所有的问题都可以回去找。这样一个组合可以让你在学习Python和数据分析过程中事半功倍。
《Learning Python》:
http://shop.oreilly.com/product/0636920028154.do

《Python Codebook》:
http://shop.oreilly.com/product/0636920027072.do

《Python for Data Analysis》:
http://shop.oreilly.com/product/0636920023784.do

除了上述书籍我在说一下线上课程,首先是codecademy和DataCamp都有交互式的课程可以让你瞬间上手编程,其次LinkednIn Learning也有相关的Essential Training课程,如果你已经有了LinkedIn的Premium,那么这些课程都是免费的,学习之后还可以获得LinkedIn的certificate,对于找工作来说是非常棒的。除了上述的当然还有Coursera,Udemy, Udacity和edX,大家可以根据自己的感觉来学习,当然还是要注意自己的学习成本,不要贪多不厌。
codecademy:
https://www.codecademy.com/learn/learn-python

DataCamp:
https://www.datacamp.com/courses/tech:python

LinkedIn:
http://www.linkedin.com/learning/python-3-essential-training

edX:
https://www.edx.org/course/analytics-python-columbiax-bamm-101x

Ok, Python的素材就先说到这里,后面的统计和机器学习部分还会介绍一些python相关的教程。下面我们来说一下R,首先不得不提的就是非常著名的《R in action》一书,它可以算是R语言大数据的101教材了。如果你没有任何编程背景,那么通过这本书入门的时候可以搭配R CRAN的官方文档和数问dataquestion等线上问题集。不管怎么说,我觉得这是一本入门R语言分析的好书。其实还有一本R与统计相关的实战书,我放在后面推荐给大家。线上教程方面就更多了,还是首推DataCamp的交互式课程,然后其他的主流MOOC上也有很多,大家自己可以根据之前介绍python的网址自行搜索。
《R in action》:
http://kek.ksu.ru/eos/DataMining/1379968983.pdf

DataCamp:
https://www.datacamp.com/courses/free-introduction-to-r

Statistics(Foundation)
Ok,总算写完了Programming的部分,感觉还是有很多没有涉及到,但是这个话题就是非常复杂的,有的时候code参杂着统计,统计擦杂着machine learning,还有visualization和各种domain信息的乱入,导致想分的特别细去介绍数据科学是非常的困难。但是我还是希望用这种逻辑让你明白,这是一个复合型的事业,你想要走的更远就必须不断的学习,让我们一起努力吧,我会在后面的部分尽量补充好相关的教材推荐。

统计部分是我最喜欢的部分,因为我认为这一块是你做数据分析的基础,所以大家不要小瞧统计哦!从最简单的均值,中位数,标准差,方差,概率,假设检验,显著性,抽样等概念到比较深入的模型构建,参数选择,虚拟量化,dummy变量,时间序列,forecasting等,你需要有统计来帮你去得到相应的选择。上文说的代码,编程语言将会是你的工具,而统计将会是你的主导思想。你需要将这种思想结合到你的domain知识里,然后才能够解决相应的project。

就个人经验推荐一些书籍和课程,第一本叫做《Naked Statistics》,这是我最喜欢的统计入门书,作者的语言相当的生动,利用自己学习统计的经历来阐述一些复杂的问题,由于语言比较通俗易懂,所以很多书中的例子可以用在日后工作中来给非统计背景的人来举例,非常的有用。第二本是我最推荐的进阶书,不仅仅只是统计,包括machine learning我也推荐这本,叫做《The Element of Statistical Learning》,结构相当的完整而且前瞻性非常强。主要是用R语言做了很多模型和算法,我觉得这是很关键的。有的时候我们总是觉得导入了几个库用了几个包,什么模型啊机器学习啊都做的出来,可是当你带入数据发现结果往往都不好。但是如果你透彻地理解了模型和算法本身,你再去调整模型的时候效果往往会好很多。

另外Freedman的经典中的经典《Statistics》永远是所有喜欢统计的人的必读书目之一。《A Introduction to Statistical Learning with Applications in R》也是一本实战的书籍,系统的讲解了如何利用R语言来解决市场调研中的数据问题,相信对于从事市场方向的同学有一定的帮助。《Regression Analysis by Example》也是一本非常不错的讲解回归模型的书,里面详细介绍了做回归模型需要的相关知识,比如transformation of variables, weighted least squares, correlated errors, collinear data, variable selection, logistic regression, GLM, PRM, robust regression等。由于可能回归是我们最常用的统计模型,所以这本书也是强烈建议细读的。
《Naked Statistics》:
https://www.amazon.com/Naked-Statistics-Stripping-Dread-Data/dp/B00CH7FWWU

《The Element of Statistical Learning》:
https://web.stanford.edu/~hastie/Papers/ESLII.pdf

《A Introduction to Statistical Learning with Applications in R》:
http://www-bcf.usc.edu/~gareth/ISL/ISLR First Printing.pdf

《Regression Analysis by Example》:
https://www.amazon.com/Regression-Analysis-Example-Samprit-Chatterjee/dp/0470905840

《Reading and Understanding Multivariate Statistics》:
https://www.amazon.com/Reading-Understanding-Multivariate-Statistics-Laurence/dp/1557982732

《Reading and Understanding More Multivariate Statistics》:
https://www.amazon.com/Reading-Understanding-More-Multivariate-Statistics/dp/1557986983

除了这些书籍之外,还有一些网络课程在这里推荐给大家。edX的ColumbiaX系列里面又统计和机器学习相关的tracking,叫做Statistical Thinking for Data Science and Analytics,我觉得是一个不错的选择,但是需要耐下心来看。另外还有更全面的一个是Penn State University的网络课程,它其实是一个online的applied statistics degree,但是所有的教材都是公开的,我个人是从中学到了非常多的知识。
edX:
https://courses.edx.org/courses/course-v1:ColumbiaX+DS101X+1T2016/course/

Penn State University:
https://onlinecourses.science.psu.edu/statprogram/

Machine Learning (Data Science)
说完了programming和statistics,现在来说一下machine learning。我上文提到的《The Element of Statistical Learning》在这里我再提一遍,因为其内容也涉及了很多machine learning的部分,是一本综合性很好的书。三位作者,Trevor,Robert和Jerome也是Stanford的大牛。对于线上课程我推荐Coursera上Andrew的machine learning课程作为入门,因为吴恩达的风格就是通过精挑细选的课程,长短合适的视屏与精准设置的信息块共同呈现,让你从最基本的理论来了解机器学习。他的新课deep learning也在上周在Coursera上线了,以神经网络原理为主要课程体系,不仅讲了很多machine learning中遗漏的信息,还能让你学会构建复杂神经网络的所有核心知识。除了吴恩达,Coursera上还有一门叫做Applied Data Science with Python的课程,来自于University of Michigan,大家也知道这又是一统计强校,其内容从实践的角度上来告诉你如何使用python来进行machine learning,text mining等,其内容都使用线上jupyter notebook,让你的学习效率更佳。当你学习到以上一些内容了之后,估计你已经对机器学习的基本算法有了一定的了解,但是可能没有一种大局观,对实际问题和数据insight上的把握可能有待提高,这里我推荐一本中文书,是李航老师的《统计学习方法》,其中深入浅出的介绍了很多机器学习的概念,作为系统地把握machine learning的大局观有很大的帮助。
Coursera-Machine Learning:
https://www.coursera.org/learn/machine-learning

Coursera-Deep Learning:
https://www.coursera.org/specializations/deep-learning

Coursera-Applied Data Science with Python:
https://www.coursera.org/specializations/data-science-python

《统计学习方法》:
https://goo.gl/wt5V9K

由于楼上已经介绍了Udacity的课程,个人认为也是非常有帮助的,大家可以根据自己的需要来选择。

Visualization
最后一个点简单的提一下,画图可以由简单的Excel Chart到非常复杂的D3.js交互式动态配置,可以说是一个非常不一样的tracking,个人建议如果是focus在分析方面的小伙伴可以不需要投入过多的精力,因为这个东西学习成本太大了,你只需要会用python的matplotlib,seaborn,R的ggplot2,还有现在比较流行的plotly,tableau什么的就够了。如果想进阶的去学习visualization的话,那你就得专攻一下java之类的去写D3和reactjs之类的了。这里介绍一个权威的网站和我认识的一个大牛的作品(给Google做的)供大家参考。
ThePudding:
https://pudding.cool/

An Interactive Visualization of Every Line in Hamilton:
https://pudding.cool/2017/03/hamilton/

总结,上述了四个方面,希望对大家有所帮助,如果四个方面你都有所涉猎,那么未来还有很多的tracking在等着你,比如大数据spark,Hadoop等计算框架,比如图像处理,深度学习,再比如NLP自然语言处理,语音识别等。如果大家对这些领域也有兴趣,我们可以一起来探讨一下,希望大家都能够不断学习,共同进步

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

大数据学习路线 的相关文章

  • 3D游戏编程——空间与运动

    3D游戏编程 空间与运动 1 简答并用程序验证 游戏对象运动的本质是什么 答 游戏对象运动的本质就是使用矩阵变换 平移 旋转 缩放 改变游戏对象的空间属性 我们做的游戏关键就是游戏对象在每一帧图像上怎么变换 最直观的就是观察我们每个对象的T
  • CSS SASS 外部引入的scss文件中,不能用嵌套写法

    小记录 在vue文件中引入scss文件中 不能正常使用sass语法 发现是引入方式的问题
  • 【自我提升】Spring Data JPA之Specification动态查询详解

    写在前面 刷完Spring Data JPA的课后 发现Specification动态查询还挺有意思的 还应用到了规约设计模式 在此记录下学习过程和见解 目录 一 应用场景 二 源码解析 三 规约模式 四 实际应用 一 应用场景 1 简介
  • 云数据库知识学习——概述

    一 云计算是云数据库兴起的基础 云计算是分布式计算 并行计算 效用计算 网络存储 虚拟化 负载均衡等计算机和网络技术发展融合的产物 云计算是由一系列可以动态升级和被虚拟化的资源组成的 用户无需掌握云计算的技术 只要通过网络就可以访问这些资源

随机推荐

  • function XX declared implicitly

    stm32 keilMDK出现warning function XX declared implicitly 原创 2014年08月26日 14 50 47 26281 warning 223 D function CLR TX DATA
  • 枚举类,属性循环---(枚举类循环)通过名称取值

    代码示例 public enum DomeEnum AA 1 张三 BB 2 李四 CC 3 王五 DD 4 赵六 EE 5 李七 private Integer code private String name DomeEnum Inte
  • Qt 官方示例

    哈喽 我是老吴 最近又玩了一下 Qt 给大家分享一点 Qt 相关的基础知识吧 我个人非常喜欢 Qt 它简直就是我这个 C 手残党的利器 学习 Qt 的最佳途径应该是阅读官方的手册和示例 今天要分享的就是 Qt 官方提供的一个示例 http
  • 一种针对夏克哈特曼波前传感器质心数据求解波前斜率的处理方法

    一 导出质心数据 针对夏克哈特曼波前传感器 型号 索雷博 导出的质心数据 Save Centroid Date 本文提供一种基于质心数据的斜率矩阵获取及波前重构方法 图 1 哈特曼波前传感器导出质心数据 二 斜率矩阵求解 首先 通过Wave
  • 2023上半年京东运动鞋服市场数据分析(京东数据运营)

    大众线下运动生活恢复 掀起新一轮户外潮流 运动热潮迭起 由此产生的运动鞋服及专业装备需求 为运动品牌们带来了诸多增长机会 近日各大运动品牌陆续发布上半年财报 回答了品牌对复苏机遇 发展挑战的应对情况 接下来结合具体数据 我们一起来看一下运动
  • 【基础知识】一文看懂深度优先算法和广度优先算法

    概览 先上个图 现在我们要访问图中的每个节点 即图的遍历 图的遍历是指 从给定图中任意指定的顶点 称为初始点 出发 按照某种搜索方法沿着图的边访问图中的所有顶点 使每个顶点仅被访问一次 这个过程称为图的遍历 我们根据访问节点的顺序与方式 根
  • 【Redis】Redis实现点赞、点赞排行榜

    目录 一 点赞 1 思路 2 代码实现 二 点赞排行榜 1 思路 2 代码实现 一 点赞 1 思路 在我们的项目中我们有时候会碰到这样的需求 比如实现一个博客系统 当用户访问到这篇博客时可以进行点赞 那么这个功能如何去实现呢 我们可以在数据
  • JavaScript实现UTF-8字符集Base64编码

    下面是代码实现 function var BASE64 MAPPING 映射表 A B C D E F G H I J K L M N O P Q R S T U V W X Y Z a b c d e f g h i j k l m n
  • 【Hexo】搭建自己的博客并到Github Pages

    一 什么是Hexo 用Hexo官网的介绍https hexo io zh cn docs Hexo是一个快速 简捷且高效的博客框架 Hexo使用Markdown解析文章 可以在很短的时间内生成静态网页 二 快速构建Hexo 安装Hexo之前
  • 【vue2】计算属性(computed)与侦听器(watch)详解

    博 主 初映CY的前说 前端领域 个人信条 想要变成得到 中间还有做到 本文核心 计算属性与侦听属性的用法 目录 文末有给大家准备好的Xmind思维导图 一 计算属性computed 默认get 方法 仅是获取值 不仅仅是获取值 还具有修改
  • Django 开发实战 1-3 创建子项目

    python 项目开发实战 创建Django 项目子应用 重应用模块 01 创建子项目 02 配置python py3 001 的开发环境 创建Django 项目子应用 重应用模块 项目背景 在这里插入图片描述 https img blog
  • Webpack的loader和plugin

    loader的作用 webpack中的loader是一个函数 主要为了实现源码的转换 所以loader函数会以源码作为参数 比如将ES6转换为ES5 将less转换为css 将css转换为js 以便能嵌入到html文件 常见的loader
  • html 视差效果,html5网页3D视差效果代码

    特效描述 html5网页 3D视差效果 html5网页3D视差效果代码 代码结构 1 引入CSS 2 引入JS 3 HTML代码 var ww wh function init t 0 ww window innerWidth wh win
  • win+r,cmd快捷操作合集

    1 appwiz cpl 程序和功能 2 calc 启动计算器 5 chkdsk exe Chkdsk磁盘检查 管理员身份运行命令提示符 6 cleanmgr 打开磁盘清理工具 9 cmd exe CMD命令提示符 10 自动关机命令 Sh
  • MySQL事务、日志、锁和MVCC机制

    InnoDB中事务的四大特性 原子性 当前事务的操作要么全部成功要么全部失败 原理 原子性是由undo log来保证的 undolog记录着数据修改之前的值 比如我们insert一条语句 undolog就会记录一条delete语句 我们up
  • 升级到 Ubuntu 18.04 LTS 的理由,大波新特性到来

    随着 2018 年 4 月 24 日稳定版正式发布日期的临近 也是时候来仔细研究下 Canonical 最新 Linux 发行版 Ubuntu 18 04 LTS Bionic Beaver 的最新功能特性了 LTS 版本每两年发布一次 而
  • Flutter Android 混合开发之使用 FlutterBoost 4.0

    搜了下全网 FlutterBoost教程大都还是老版本 所有有了这篇 当前使用环境 FlutterBoost 4 2 1 Flutter 3 3 4 首先根据官方文章集成 FlutterBoost FlutterBoost 集成详细步骤 接
  • Ftrace使用及实现机制

    Ftrace使用及实现机制 版权声明 本文为本文为博主原创文章 转载请注明出处 https www cnblogs com wsg1100 如有错误 欢迎指正 文章目录 Ftrace使用及实现机制 一 使用ftrace 1 挂载 2 关键文
  • vscode中如何拉取git代码_工具

    在一个目录下clone项目 git clone XXXXXX git 使用VScode 打开项目 右击通过Code打开 使用vscode提交代码 1 打开下面视图 添加一行文字 测试提交 2 点击 相当于git add
  • 大数据学习路线

    希望可以把这篇文章推广给所有想学习或者想从事数据科学方向的朋友 我作为偏统计方向的分析师也在这里说一下自己的一些学习方向和方法 希望对大家有帮助 推荐一个大数据学习群 142973723每天晚上20 10都有一节 免费的 大数据直播课程 专