数据挖掘经典架构（1）——大数据架构
发布时间：2022-10-13 12:24:11 所属栏目：大数据 来源：
导读： 大数据技术发展的目前阶段，通用的大数据架构分为6个处理层次：
第一层，数据源（Sources），这个层次关注源数据来自哪个系统，以及源数据如何从源系统进入大数据系统。
第二层大数据架构，EL（
第一层，数据源（Sources），这个层次关注源数据来自哪个系统，以及源数据如何从源系统进入大数据系统。
第二层大数据架构，EL（
|
大数据技术发展的目前阶段，通用的大数据架构分为6个处理层次： 第一层，数据源（Sources），这个层次关注源数据来自哪个系统，以及源数据如何从源系统进入大数据系统。 第二层大数据架构，EL（Ingestion and Transport），对源数据进行第一阶段解析，将源数据调整为可以进入大数据系统进行存储与处理的数据。 第三层，存储（Storage），大数据系统在这一层次有四种选择，数据存入数仓、数据存入数据湖、数据存入实时分析数据库、不存储直接处理，这里特别要注意第四种处理，数据不存储直接处理是大数据系统处理数据最快的支路，换句话说，大数据系统要达到处理数据最快，最重要的技术结构就是“不存储、先计算、再存储”，假如大数据系统只在乎计算结果而不在乎用于计算的数据，那么“不存储、先计算”后的结果可以直接输出给应用层，整个数据处理过程里可以完全不需要数据层数据库的存在。 第四层，查询与处理（Query and Processing），这一层在功能上就是数仓层，数仓、数据湖、实时分析数据库的数仓层的功能是类似的，但在不存储直接处理这一支路，这一层就是大数据系统的功能核心，主要计算（计算即业务）在这一核心环节进行处理。 第五层，T（Transformation），对经过处理的数据进行第二阶段解析，将系统处理后的数据调整为可以进入大数据应用层的数据。 第六层，应用层（Analysis and Output），以可视化或者对外接口的方式呈现结果数据。 （编辑：天瑞地安资讯网_黄海网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐