想学习大数据要掌握些什么知识？
发布时间：2022-11-08 11:02:31 所属栏目：大数据 来源：
导读： 大数据有很多方向，目前我们口中经常说的大数据的主要就业方向是：大数据研发，大数据分析与挖掘，深度学习，人工智能等方向。下面我们就从学习的要求到学习的知识进行讲解一、要求
1、大专及以上学历，
1、大专及以上学历，
|
大数据有很多方向，目前我们口中经常说的大数据的主要就业方向是：大数据研发，大数据分析与挖掘，深度学习，人工智能等方向。下面我们就从学习的要求到学习的知识进行讲解一、要求 1、大专及以上学历，最好是理工科毕业（部分文科学生学习起来比较费力） 2、年龄20-32岁 二、需要学习的知识1、基础知识:java+linux2、大数据技术：hadoop-hive-oozie-web-flume-python-hbase-kafka-scala-spark Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapReduce和YARN大数据传播，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。YARN是体现Hadoop平台概念的重要组件有了它大数据生态体系的其它软件就能在hadoop上运行了，这样就能更好的利用HDFS大存储的优势和节省更多的资源比如我们就不用再单独建一个spark的集群了，让它直接跑在现有的hadoop yarn上面就可以了。其实把Hadoop的这些组件学明白你就能做大数据的处理了，只不过你现在还可能对"大数据"到底有多大还没有个太清楚的概念，听我的别纠结这个。等以后你工作了就会有很多场景遇到几十T/几百T大规模的数据，到时候你就不会觉得数据大真好，越大越有你头疼的。当然别怕处理这么大规模的数据，因为这是你的价值所在，让那些个搞Javaee的php的html5的和DBA的羡慕去吧。 记住学到这里可以作为你学大数据的一个节点。 （编辑：天瑞地安资讯网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐