freertos实用指南
随着技术的兴起，数十年来，来自人，企业和机器的数字信息呈指数增长。 数据现在被认为是21世纪的石油。
几十年前产生兆字节数据的组织现在每小时产生PB级新数据。 例如，全球超过33亿智能手机用户。
大数据介绍
每个人都在数以千计的应用程序和内容货币化平台上进行消费，交互并因此创建数据，从而每天创建2.5兆字节的数据。 据估计，到2020年，全世界每个人每秒将创建1.7MB数据。
想象一下，您负责管理世界上所有人员和机器在所有可能的媒介（例如社交网络，搜索引擎，喷气机，轮船以及与计算机直接或间接连接的所有其他对象）中创建的所有数据。
大量的数据将需要工具，流程，基础结构和专业知识，以找到可以阐明基本问题的含义和模式。
对如此大量的数据进行的研究，研究和工作称为“大数据”。
为什么要学习大数据？
在回答重要性之前，先回答原因。 为什么您或任何人都应该学习大数据？ 像人类一样的技术也不断发展以适应周围环境。 查尔斯·巴贝奇（Charles Babbage）发明了计算机来解决数学问题。
随着计算机变得强大起来，它们被应用于各个学科和行业，以解决人类难以解决或无法解决的问题。
最终，计算机的尺寸缩小，GUI的广泛使用在人们中变得司空见惯。
计算机进一步缩小，形成了诸如智能手机之类的小工具，如今这些小工具使我们能够实现美好的事物。
存储，计算和分析从智能手机生成的数据，以找到解释人类行为的模式。
复杂的算法可以计算在证券交易所，搜索引擎，社交网络，火箭发射场，超级市场以及几乎所有主要人类活动中生成的大量数据。
收集，存储和分析所有这些生成的数据，以找到问题的含义和解决方案。
作为大数据从业者，您将负责寻找问题的答案，例如用户在社交网络上创造的价值，全球卫生保健系统的模式，甚至是简单问题的答案，例如购买产品的网站的访问者数量及其特征。
找到此类问题的答案将有助于您的组织在全球范围内发展和竞争。
因此，如果您希望从类似企业产生的大量数据集中找到此类问题的答案，则应该学习大数据。
谁应该学习大数据？
不论主题或主题的复杂性，学习都适合所有人。 每种技术或概念都建立在更简单的概念之上。
大数据还建立在类似的简单主题之上，例如数学，统计，算法，编程语言，数据库以及其他几个类似的概念和框架。
因此，学习大数据通常适合来自数学，统计学和计算机科学等背景的人。
即使您不是来自上述任何一个领域，也可以精通大数据，但根据您的学习速度，它可能会花费更多时间。
掌握大数据的方式
对于诸如大数据之类的大型主题，很难找到明确的学习路径。
但是，随着互联网及其数十亿用户和成千上万的内容创建者现在提供的民主化学习方式，当您跌跌撞撞时，没有足够的信息，指南，课程和专家来指导您。
本指南进一步阐述了在这个快速发展的技术领域中学习大数据并开始您的职业的不同方法。
如果在学习主题时将自己沉浸在主题的环境中，对学习总是有益的。 因此，从搜索大数据开始，并从顶级博客，网站，研究论文和其他类似来源中进行阅读。
学习大数据的阶段
学习主题总是分阶段进行，最终会建立我们的专业知识。 我们从一开始就通过理解最简单的概念开始，并逐步发展到更高阶和更复杂的主题，这些主题可以帮助我们理解和应用现实中的概念。 大数据也可以分为3个不同的阶段，您可以通过了解数据及其类型来开始。
您将学习如何根据需求管理，导入和使用数据。 通过使用用于存储，导入和可视化数据集的通用工具，您可以适应大数据本身的构建块。
然后，您可以更深入地了解组织如何使用数据查找问题的答案。
通过使用正确的工具和应用程序，您可以在大型数据集上进行练习，并获得有关该主题的中级专业知识。
这是您花费最多时间的阶段。 无论数据多么复杂或数据集有多大，您都将学习如何管理和从中获得意义。
您在此阶段解决的问题越多，您就越接近专业知识。
掌握了中级概念并熟悉跨大型系统和工具管理数据之后，您可以继续将专家技术应用于预测分析。 到目前为止，您一直在使用数据来查找含义。
现在，您将使用数据根据过去已经发生的事情来预测将来会发生什么。 您在大数据方面的整体专业知识水平取决于您在每种基础技术方面的专业知识。
基本
您首先要熟悉大小的数据。 由于您无法在系统上存储TB的数据，因此您将使用较小的数据集或有时使用较大数据库的子集。
通过接触组织和应用程序生成的不同类型的数据，您可以更好地了解预期结果以及如何管理如此庞大的数据集。
通过逐步增加数据集的大小，您可以了解有关计算大型数据集时所需的必要工具以及面临的挑战的更多信息。
这是您需要云服务器来存储和计算大型数据集的时候。 此外，您还将学习如何通过BI工具（如PowerBI和Excel）来分析和可视化数据。
您还将使用SQL和SPSS从数据集中查询数据。 通过更深入地研究数据挖掘实践，您将获得必要的就业技能。
中间
当您达到中级水平时，您将对各种数据感到满意，并将能够找到有效的方法来大规模地可视化它们。
现在，您必须在云上使用更大的数据集才能找到更复杂问题的解决方案。 您将使用来自Amazon，Google和Microsoft的云服务进行交互，并从实时数据中找到解决方案。
随着组织每秒产生一次数据，使用实时数据进行决策是一项巨大的技能需求。
通过使用正确的工具进行分析和探索，您将有责任发现消费者的行为方式以及其随时间的变化。
您还将负责通过使用行业标准工具和框架（如云上的Hadoop）来调整策略和分析能力。
专家
从大数据的中级转变为专家级，需要跨多个领域和技术的丰富经验。
升级到专家级别可能需要几个月甚至几年的时间，具体取决于您在基础和中级级别解决的问题数量。
作为专家，您将必须实施数据科学，机器学习和人工智能的技术，才能为实时和静态数据集上的问题找到有效的解决方案。
您在机器学习算法及其在大数据中的应用方面的专业知识将成为决定如何为组织中的大问题找到解决方案的决定性因素。
通过实施基于云的机器学习算法，您将能够处理，分析和计算大量数据，同时产生易于管理用途的结果。
您可能还负责管理客户的期望，因此您的软技能也将对您的成功发挥重要作用。
必备技能
下面列出了大数据专家最常用的一些技能。 与往常一样，您在以下每种技术上的专业知识将决定您对组织的价值以及您将要从事的领域的价值。
从成长为大数据专业人员起，从基于Unix的系统上的基本计算到管理云实例群集以计算大规模数据集开始，这是必不可少的。
- Linux：组织中以及云系统中最常用的操作系统将是您不可思议的工具。 您可以更好地管理Linux实例，从而可以更好地利用手头的资源来扩展和扩展机器学习算法来计算大数据。
- 数据科学：统计学和数据科学是大数据的基础。 因此，清楚地了解分析的基本原理对于理解大数据中的高级功能和概念非常重要。
- Java和Python： Java是大数据专家中使用最广泛的编程语言。 您将负责编写自定义代码，以在分析和计算数据集时使用来自多个来源的API。 Python是另一种流行的语言，相对易于学习。 但是，由于某些环境目前尚不支持Python，因此您经常需要两种语言的专业知识。
- SQL和NoSQL：基本查询语言对于数据科学，分析和大数据的各个方面都是必需的。 没有SQL和NoSQL，就不可能有效地查询最小的数据库。
- 机器学习：从数据集中学习以产生可行结果，同时继续学习何时有新数据的算法，对于管理静态和实时数据集都非常重要。
- Hadoop： Hadoop是目前最流行和使用最广泛的大数据平台，用于在分布式集群中存储企业数据。 您的大多数机器学习算法将应用于存储在Hadoop上的数据集。 诸如MapReduce之类的基础技术将进一步帮助您深入了解数据的各个方面。
- HDFS，Hive，Pig，Spark，HBase，Drill，ZooKeeper，Kafka，Storm等其他技术
课程，证书和职业道路
现在，您可以在网上找到成千上万的有关大数据，Hadoop，Spark和其他相关技术的资源。
Udemy，Pluralsight，Lynda等市场都有数百门课程可供使用。
其他一些网站也提供有关大数据及其在各个行业中的应用的所有主题的广泛课程。
甚至云服务提供商都有培训模块和免费的计算资源，可帮助您开始使用大数据和相关技术堆栈。
现在，许多大学提供分析学和大数据学士学位和硕士学位，以帮助学生为与数据科学相关的机会的突然需求做好准备。
如果您更喜欢基于课堂的学习，则参加大学中的任何顶级课程都可以为您提供与志趣相投的人一起学习和成长的必要环境。
如果您喜欢在线课程，则可以在Edx，Udemy，Coursera和其他主要市场上找到一些最好的课程。
在线学习环境还为您提供了必要的生态系统，以供您学习并与来自世界各地的课程提供者和学习者互动。
评分最高的课程通常是最受推荐的课程。 也有许多免费的资源可以在互联网上学习，它们使用内容货币化来提供优质的内容。
当您在现场搜索工作时，将需要认证。 来自亚马逊，谷歌和微软的认证在一个特殊的地方，因此强烈推荐它们。
除了大数据和相关技术，您还必须获得在企业中广泛使用的云环境的专业知识。 因此，雇主对这些认证的需求量很大。
在您相信自己已经在大数据的任何子领域中获得必要的专业知识之后，就该选择职业道路了。
数据库管理员，数据库开发人员，数据分析师，数据科学家，数据建模人员，大数据工程师等众多常见角色和需求角色。
在工作中学习始终是可取的，因为您将获得组织中使用的必要技能，同时也将暴露于教室或在线学习环境中无法承受的环境和挑战。
翻译自: https://www.javacodegeeks.com/2019/11/big-data-and-how-to-master-it-practical-guide.html
freertos实用指南
