鸿 网 互 联 www.68idc.cn

下一代大数据系统和4S标准

来源:互联网 作者:佚名 时间:2016-05-15 06:53
大数据行业发展到今天,它创造的价和带来的社会效应,大家已经看得很明白,同时很多问题和不足也暴露出来,特别是hadoop能够提供的数据处理能力,现在已经挖掘到极限,但是现在各行业对数据的存储和计算需求,乎却没有停止的迹象。在最近的一次大数据论坛上

  大数据行业发展到今天,它创造的价值和带来的社会效应,大家已经看得很明白,同时很多问题和不足也暴露出来,特别是hadoop能够提供的数据处理能力,现在已经挖掘到极限,但是现在各行业对数据的存储和计算需求,似乎却没有停止的迹象。在最近的一次大数据论坛上,大家开始讨论下一代大数据系统和系统标准,借此机会,我们Laxcus大数据实验室表达了自己的看法,提出了4S标准,得到与会者的普遍赞同和肯定。回来后,觉得这个话题应该再说说,所以借着CSDN这个平台,和诸位谈谈我们眼中的下一代大数据系统和4S标准。
  概述地说一下4S标准,就是:“超大规模、跨地域、简单、安全”。这4项标准的首个英文字母都是“S”,所以我们把它称为4S标准。很不巧,和四代战斗机的4S标准重名了。微笑微笑微笑

  下面从4S标准来谈我们眼中的下一代大数据系统。

  1. 超大规模
  “规模”这个话题要从hadoop说起。诸位应该都知道,现在市面上大数据产品,基本都属于hadoop系列,要不就是与hadoop做了各种绑定。hadoop能够提供的数据处理能力,计算机节点数量在“千台级“,数据存储量在”PB量级“。再往上,hadoop将很难支撑。即使勉强维持,稳定性和可靠性也难以保证。而经常接触互联网业务,或者做各种科学计算的兄弟们应该有这样的感触:当下的数据应用需求是越来越多,需要完成的数据计算量是越来越大。hadoop设计于十年前,就象数据库的程序员们没想到后来的大数据应用,当初的hadoop设计者们大概也没料到今天的数据应用会是这个情况吧。而且随着未来各种大规模计算业务的进一步增长,hadoop现有的处理能力将无法保障这种增长需要。所以,当前的数据处理规模还要进一步扩大,保守的估计, 起码应该能够支撑未来二十年的数据处理需要。在这样的一个目标下,大数据系统的工作指标应该是:计算机节点数量达到“百万台”级,数据存储和计算规模达到“EB”量级。只有这样一个裕度,我们才有可能适应未来数据处理业务的需要。

  2. 跨地域
  “跨地域”要从去年的一次事故说起。大家应该都知道,2015年8月份,天津发生了一起大爆炸。在这次事故中,有多家IT企业被涉及,其中就有我们后来这位客户。这次事故,他们的服务器损失了一大半,更糟糕的是数据丢失了,这可是比服务器更大的损失。用CEO原话说:服务器坏了花钱换一台就是了,但是数据毁掉就再也找不回来了。这家企业原来用的是hadoop集群,被集中部署在一个机房里,如果hadoop当时能够分散到多个地域部署,然后用网络连接,形成一个多地域的并行集群和数据冗余,就不会有后来的损失。这也是这家企业找到我们的原因,要求用我们的laxcus重新部署他们的大数据集群,实现跨地域和多集群协同工作。由此可见,且不说协同计算这样的需求,仅仅在冗灾管理中,跨地域有多么重要。

  3. 简单
  “简单”是我们对下一代大数据软件一个综合性描述。概括地说,就是做到尽可能简化一切操作,实现“傻瓜”式处理。 这个标准的提出,缘于上面提到的下一代大数据系统超大规模化,在这种环境中,如果每减少一个环节处理,都可能获得数倍的效率提升。具体到实现要求上,应该有以下这样几个指标。
  3.1 高度集成
  现在市面上流行的几个大数据软件,严格地说,都不是完整的产品,而是功能模块,它们只是完成了大数据体系中的一两个功能而已。这样的产品交到用户手上,当他需要一个完整的大数据服务的时候,就必须了解这些软件各自的功能属性,才能够操作它们,把它们粘合到一起,然后才能组织和部署起大数据集群。这对所有用户来说都是一个巨大的考验,徒然增加了软件使用门槛。这个问题有多严重,有过集群部署和维护经验的人应该是最有感触的。另外,还有一个问题是,这些软件来自不同的开发团队,每个团队设计开发自己软件的时候,着眼点必然是自己的产品需求,而大数据是一个整体,用户普遍需要的是完整功能的大数据产品,而不是其中几个功能模块。所以在部署和运营集群的时候,就会产生这样的矛盾:如何组织和搭配这些模块,做好各模块之间的衔接和兼容,以及更少的冗余?实际上,很多时候,这个问题都推给了用户,成为了用户使用大数据成本的一部分。
  所以,下一代的大数据产品,应该是全体系全功能的设计,实现深度嵌合和一站式服务。当一个用户需要部署一个大数据集群的时候,只用懂得安装软件和配置即可,而不必去深入了解软件的各种特性,乃至被迫参与到软件开发中来。相比于多个团队开发的功能模块,全体系的设计开发还有一个好处:可以有效减少模块拼接和组装造成的冗余,在保证稳定性和处理效率上也是最好的。对用户来说,当一个软件实现了原来N个模块组合才能达到的全部功能,省略了自己做软件装配工的时间,简化了流程,用这样的软件,何乐而不为呢?
  3.2 易操作
  易操作是针对普通的最终用户来定义。其实可以想象,一个普通的数据用户,他能够处理的工作,也就是点击鼠标,或者敲击键盘输入字符,然后按下回车键而已。而展示给普通的数据使用者的内容,应该是表格、图形、音频、视频这样可听、可视化的直据内容。所以,基于这样的考量,所有与用户接口相关的大数据处理工作,都应该围绕着这两项要求展开,并且是基本核心要求。
  3.3 易维护
  易维护是对集群管理员而言。如果阁下是一位机房或者大数据中心的管理员,应该有这样的感受:要管理少则几百台,多则数千台的计算机,每台计算机不知道什么时候发生故障,发生故障后,还要排查和排除,工作量着实太大。而且随着下一代大数据系统的超大规模化,如果管理模式不发生改变,集群管理员将会不堪工作重负。所以,下一代大数据系统的一个重要要求,就是减轻管理员的工作负担,提高大数据系统的自适应能力,以及部分实现系统的自维护管理。即使运行系统在发生故障后,也能够做到迅速定位和显式地提供故障源头,而不是让集群管理员去查找故障。从另一个方面说,这种自动化的管理,也有助于提高集群的稳定运行。普通的日常管理工作,也应该是通过终端,输入类似SQL这样的命令就可以完成。
  3.4 易编程
  易编程是对程序员提出的。实际上,程序员目前是整个大数据链上最苦逼的一群人,他们要在终端用户、数据业务、计算机集群之间,用编程搭建起一道桥梁,来实现整个大数据链条的最终运转。凭心而论,目前的分布式编程,的确比早期简化了很多,但是放到普通的程序员面前,仍然过于复杂。其中诸如接口化、可移植、操作规范等问题,都没有实现标准化,在这些条件没有完备之前,程序员的编程担负将难以减轻。而大数据行业的快速发展,却在要求程序员具备快速编程能力。但是目前这种矛盾的现状,显然不能满足要求,这同时也是造成大数据行业人才奇缺的一个因素之一。把这些情况叠加一起,目前一个可行的解决办法,应该是采用类似EJB、CORBA这样的中间件方案,把大数据编程组件化。程序员通过调用规范的接口,然后加入一些数据业务规则,就可以完成工作。以此实现快速设计、快速编程、快速投入部署的目的。

  4. 数据安全
  最后说一下数据安全。数据安全对当今社会的影响有多大,看一看这些年发生了的一些案例就知道了,例如维基解密、斯诺登这样的事件,用地震形容也不为过。我们现在已经步入后斯诺登时代,如果仍然忽视网络和大数据的安全问题,那么下一个安全事件很可能在我们身边发生。所以,从这个角度来说,安全在下一代大数据系统中的重要性,可能要远超过上述几个指标。但是回头看看现在的这些大数据软件,包括hadoop,安全工作做得实在乏善可陈。
  在我们的理念里,下一代大数据系统中,安全应该是全方位的,能够深入数据处理的每一个环节,而且在用户这个层面上,安全还应该是可以制订的,就是允许让用户自己设计安全方案,定义安全规则,然后加入到大数据系统中来。只有这样,在互联网络和云计算大行其道的今天,数据安全才能够有所保证。

  以上是我们对下一代大数据系统的一些粗浅看法。顺便夹带个私货:《Laxcus大数据管理系统2.0》,其中有不少与上述介绍相关的内容。欢迎与诸位同仁交流、探讨。


Laxcus大数据管理系统架构



Laxcus安全管理模型

网友评论
<