大数据技术及应用.pdf 3页
发布时间：2022-12-07 10:43:30 所属栏目：大数据 来源：
导读： 大数据技术及应用 【摘要】：随着互联网技术的飞速发展，特别是近年来云计算、物联网、社交网 络等新兴服务促使人类社会的数据种类和规模正以前所未有的速度增长, 大数据 时代正式到来 . 数据从简单的处理对象开
|
大数据技术及应用 【摘要】：随着互联网技术的飞速发展，特别是近年来云计算、物联网、社交网 络等新兴服务促使人类社会的数据种类和规模正以前所未有的速度增长, 大数据 时代正式到来 . 数据从简单的处理对象开始转变为一种基础性资源, 如何更好地 管理和利用大数据已经成为普遍关注的话题. 大数据的规模效应给数据存储、管 理以及数据分析带来了极大的挑战, 数据管理方式上的变革正在酝酿和发生. 对 大数据的产生背景和基本概念进行剖析, 并对大数据的主要应用作简单对比. 在 此基础上 , 阐述大数据处理的基本框架, 并就云计算技术对于大数据时代数据管 理所产生的作用进行分析. 最后归纳总结大数据时代所面临的新挑战。 【关键字】：大数据发展趋势应用机遇和挑战 一、大数据时代的背景半个世纪以来， 随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引 发变革的程度。21 世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大 拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。互联网（社交、搜索、电 商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、 GPS、医学影像、安全 监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。 2011 年 5 月， 在“云计算相遇大数据”为主题的EMC World 2011 会议中， EMC 抛出了 Big Data 概念。 正如《纽约时报》2012 年 2 月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济 及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。哈佛大学社会 学教授加里·金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论 学术界、商界还是政府，所有领域都将开始这种进程。” 二、什么是大数据大数据（ Big Data ）是指那些超过传统数据库系统处理能力的数据。它的数据规模和转 输速度要求很高，或者其结构不适合原本的数据库系统。为了获取大数据中的价值，我们必 须选择另一种方式来处理它。数据中隐藏着有价值的模式和信息，在以往需要相当的时间和 成本才能提取这些信息。如沃尔玛或谷歌这类领先企业都要付高昂的代价才能从大数据中挖 掘信息。 而当今的各种资源， 如硬件、 云架构和开源软件使得大数据的处理更为方便和廉价。 即使是在车库中创业的公司也可以用较低的价格租用云服务时间了。对于企业组织来讲，大 数据的价值体现在两个方面：分析使用和二次开发。 对大数据进行分析能揭示隐藏其中的信 息。例如零售业中对门店销售、地理和社会信息的分析能提升对客户的理解。对大数据的二 次开发则是那些成功的网络公司的长项。例如 通过结合大量用户信息，定制出高 度个性化的用户体验，并创造出一种新的广告模式。这种通过大数据创造出新产品和服务的 商业行为并非巧合，谷歌、雅虎、亚马逊和 它们都是大数据时代的创新者。 （一）大数据的 4V 特征 大量化 () ：企业面临着数据量的大规模增长。例如，IDC 最近的报告预测称esm国际电子商情2013年大数据应用与趋势调查，到2020 年，全球数据量将扩大50 倍。目前，大数据的规模尚是一个不断变化的指标，单一数据集 的规模范围从几十TB 到数 PB 不等。简而言之，存储1PB 数据将需要两万台配备50GB 硬 盘的个人电脑。此外，各种意想不到的来源都能产生数据。 多样化 () ：一个普遍观点认为，人们使用互联网搜索是形成数据多样性的主要原因， 这一看法部分正确。然而， 数据多样性的增加主要是由于新型多结构数据，以及包括网络日 志、社交媒体、互联网搜索、手机通话记录及传感器网络等数据类型造成。其中，部分传感 器安装在火车、汽车和飞机上，每个传感器都增加了数据的多样性。 快速化 () ：高速描述的是数据被创建和移动的速度。在高速网络时代，通过基于实现 软件性能优化的高速电脑处理器和服务器，创建实时数据流已成为流行趋势。企业不仅需要 了解如何快速创建数据，还必须知道如何快速处理、分析并返回给用户，以满足他们的实时 需求。根据IMS 关于数据创建速度的调查，据预测，到2020 年全球将拥有220 亿 部互联网连接设备。 价值（ Value ）：大量的不相关信息，浪里淘沙却又弥足珍贵。对未来趋势与模式的可预测分 析，深度复杂分析（机器学习、人工智能Vs 传统商务智能(咨询、报告等） 三、大数据时代对生活、工作的影响大数据，其影响除了经济方面的，它同时也能在政治、文化等方面产生深远的影响，大 数据可以帮助人们开启循“数”管理的模式，也是我们当下“大社会”的集中体现，三分技 术，七分数据，得数据者得天下。“大数据” 的影响， 增加了对信息管理专家的需求。事实上，大数据的影响并不仅仅限 于信息通信产业，而是正在“吞噬”和重构很多传统行业，广泛运用数据分析手段管理和优 化运营的公司其实质都是一个数据公司。麦当劳、 肯德基以及苹果公司等旗舰专卖店的位置 都是建立在数据分析基础之上的精准选址。 而在零售业中， 数据分析的技术与手段更是得到 广泛的应用， 传统企业如沃尔玛通过数据挖掘重塑并优化供应链，新崛起的电商如卓越亚马 逊、淘宝等则通过对海量数据的掌握和分析，为用户提供更加专业化和个性化的服务。大数据在个人隐私的方面，大量数据经常含有一些详细的潜在的能够展示有关我们的信 息esm国际电子商情2013年大数据应用与趋势调查，逐渐引起了我们对个人隐私的担忧。一些处理大数据公司需要认真的对待这个问题。例 如美国天睿资讯给人留下比较深刻印象的是他的一个科学家提出，我们不应该简单地服从法 律方面的隐私保护问题，这些远远不够的，公司都应该遵从谷歌不作恶的原则，甚至更应该 做出更积极的努力。 四、大数据时代的发展方向、趋势根据 ESM 国际电子商情针对2013年大数据应用现状和趋势的调查显示：被调查者最关 注的大数据技术中，排在前五位的分别是大数据分析（12.91% ）、云数据库（11.82% ）、Ha doop （11.73%）、内存数据库（11.64%）以及数据安全（9.21% ）。 已不再是人们心 目中仅有的大数据技术，而大数据分析成为最被关注的技术。从中可以看出，人们对大数据 的了解已经逐渐深入，关注的技术点也越来越多。 既然大数据分析是最被关注的技术趋势， 那么大数据分析中的哪项功能是最重要的呢?从下图可以看出，排在前三位的功能分别是实 时分析 (21.32%) 、丰富的挖掘模型(17.97%) 和可视化界面(15.91%) 。2012年也曾做过类似的 调查，当时选择丰富的挖掘模型(27.22%) 比实时分析 (19.88%) 多7.34% 。短短一年时间内， 企业对实时分析的需求激增，成就了很多以实时分析为创新技术的大数据厂商。从调查结果 可以看出： 企业在未来一两年中有迫切部署大数据的需求，并且已经从一开始的基础设施建 设，逐渐发展为对大数据分析和整体大数据解决方案的需求。与此同时， 大数据还面临人才 的缺乏的挑战，需要企业和高校联合起来，培养数据领域的复合型人才，帮助企业打赢这场 “数据战”。 五、大数据的应用你 （一）行业拓展者，打造大数据行业基石 IBM ：IBM 大数据提供的服务包括数据分析，文本分析，蓝色云杉（混搭供电合作的网络平 台） ;业务事件处理；IBM 的计量，监测，和商业化服务（MMMS ）。 IBM 的大数据产品组合中的最新系列产品的 ，基于 。 该产品组合包括：打包的 的软件和服务，代号是 核心，用于开 始大数据分析。软件被称为，软件目的是帮助从大量数据中轻松、简单、直观的提 取、批注相关信息为金融，风险管理，媒体和娱乐等行业量身定做的行业解决方案 微软： 2011年 1月与惠普（具体而言是HP 数据库综合应用部门）合作目标是开发了一系列 能够提升生产力和提高决策速度的设备。 EMC ：EMC 斩获了纽交所和；大数据解决方案已包括40 多个产品。 ： 大数据机与 中间件云服务器、 数据库云服务 器以及 商务智能云服务器一起组成了甲骨文最广泛、高度集成化系统产品 组合。 （二）大数据促进了政府职能变革重视应用大数据技术，盘活各地云计算中心资产：把原来大规模投资产业园、物联网产 业园从政绩工程，改造成智慧工程；在安防领域， 应用大数据技术，提高应急处置能力和安 全防范能力； 在民生领域， 应用大数据技术，提升服务能力和运作效率，以及个性化的服务， 比如医疗、卫生、教育等部门；解决在金融，电信领域等中数据分析的问题：一直得到得极 大的重视， 但受困于存储能力和计算能力的限制，只局限在交易数型数据的统计分析。 一方 面大数据的应用促进了政府职能变革，另一方面政府投入将形成示范效应，大大推动大数据 的发展。 （三）打造“智慧城市”美国奥巴马政府在白宫网站发布《大数据研究和发展倡议》，提出“通过收集、处理庞 大而复杂的数据信息，从中获得知识和洞见，提升能力，加快科学、工程领域的创新步伐， 强化美国国土安全，转变教育和学习模式”；中国工程院院士邬贺铨说道，“智慧城市是使 用智能计算技术使得城市的关键基础设施的组成和服务更智能、互联和有效， 随着智慧城市 的建设，社会将步入“大数据”时代。” （四）未来，改变一切未来，企业会依靠洞悉数据中的信息更加了解自己，也更加了解客户。数据的再利用：由于在信息价值链中的特殊位置，有些公司可能会收集到大量的数据， 但他们并不急需使用也不擅长再次利用这些数据。例如，移动电话运营商手机用户的位置信 息来传输电话信号，这对以他们来说，数据只有狭窄的技术用途。但当它被一些发布个性化 位置广告服务和促销活动的公司再次利用时，则变得更有价值。 六、机遇和挑战大数据赋予了我们洞察未来的能力，但同时诸多领域的问题亟待解决，最重要的是每个 人的信息都被互联网所记录和保留了下来，并且进行加工和利用，为人所用， 而这正是我们 所担忧的信息安全隐患！更多的隐私、安全性问题：我们的隐私被二次利用了。 （编辑：天瑞地安资讯网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐