13919049954

大数据分析领市场

作者:金城在线 日期:2017/11/30 9:53:17 人气:37

        一、实质是什么?

        如果拔下电源,一块块的把一体机肢解开,你可能会发现(我没这么干过)它有两三个框加上几个独立的刀片服务器,框里有很多插板,每片插板上有CPU、内存,也许也有硬盘。你可能会觉得这不就是把十几个刀片整合在一起共享电源和网络模块嘛?我有段时间就是这么认为的。

        我也曾研究过怎样利用低廉的硬件设备组成计算能力超强的系统,至少要解决这两个问题:

        任务分割。以搜索引擎为例,它每时每刻都要派出成百上千万只爬虫去抓取整个互联网,每只爬虫领一小片任务,确保任务之间不冲突、任务的聚合覆盖完整、每小片任务要分配合理的冗余资源,还要考虑对任务进度的跟踪管理。再以大数据分析为例,它的每个分析任务,要被合理的分散到每一片数据单元。假设某个统计查询要用到1T的数据,数据分散在100个刀片上,每个刀片处理10G数据,那么相应的统计SQL,要根据每个刀片的数据分布进行重写,必要时还要分层计算,并不是简单的改改where条件就可以的。这过程中也许会遇到新问题,比如where条件里包含子查询,而且子查询的数据量也非常大,假设子查询从1T的原始数据中查出了0.7T,这临时数据该如何处理呢?是放在其中一个节点上进行计算还是再次打散到每个节点上?如果每个任务单元无法做到完全独立、无法避免从其他单元协调数据,如何进行单元件的通信和数据交换呢?

        数据整合。把每个单元的计算结果整合在一起,进行必要的再加工,比如排序、去重等,形成最终的结果。有可能你的系统在上一条SQL执行结束之前就提交了下一条SQL,当系统开始收到反馈结果的时候,如何识别这些零碎的反馈属于那一个任务?如果某个计算单元出现错误,系统如何检测到错误并及时安排其他单元补做呢?

        这些还不包括Cache、通信、效率、质量,都是大规模杀伤脑细胞的问题。

而        对于一体机,一旦插上电,这些问题都解决了。

所以大数据一体机本质上不仅仅是一堆硬件,而是软硬一体化的通用大数据系统。


        二、真的有市场吗?

        有。在大数据时代,市场需要这种产品。相对于传统系统,一体机的效率和质量确实高很多倍。

诚然,业界买得起一体机的主,家里一定有无数等着淘汰的刀片和PC服务器。

        如果用某些分布式数据库+一堆PC服务器、如果用类似Google File System/Hadoop的开源系统+一堆PC服务器,确实有可能实现一些大数据处理功能,但是,

        他们中绝大部分没有搞得定这些复杂系统并提供持续运维保障的人才。

        他们中绝大部分没有时间和精力专门研发可靠并高效的通用型大数据处理系统。

        一体机比一堆PC服务器更省电、省空间、省网络设备、走线简单等等。

        大数据一体机带来的效率和质量提升是很显著的,而且扩展空间很大,封装了很多复杂技术,可以说门槛很高、前景广阔。

        三、oracle的exadata好像全球销量并不高

        要真正说服用户掏钱,确实非常困难。对于习惯了自己组装电脑下载电影看的用户,要怎样说服他扔掉耗资巨大的电脑、买下整座电影院呢?

        四、兼容多种数据库,能够达到从O向非O数据库平滑过渡的技术含量很高吗?

        如果在性能、质量、稳定性方面没有缩水的话,技术含量确实非常非常高,毕竟各种数据库的优化方式是不一样的。但是“多种”不见得是“很多种”,也不见得样样都精吧。如果用Oracle数据库,可能没有谁能和Oracle竞争;但是Oracle的强项是OLTP,对于大数据技术,一般认为是OLAP类型任务,Oracle本身并没有数据库技术优势。这也许是去O的一个技术方面的优势所在。但是别忘了,Exadata的刀片以及服务器技术可是出自SUN的;而且在大数据一体机的架构中,数据离散化之后使Oracle在较小数据单元上得以继续发挥它的优势。

        五、现在国内很多厂商喊着去IOE和基础架构国产化的口号一窝蜂推出所谓的“大数据一体机”

        国货有真金,水货也不少。吵吵民族主义,不如做好个把真实案例。只要在软硬一体这个概念上没什么差错,国产一体机也是有可能出精品的。因为技术虽然复杂,却没什么特别尖端的问题。听说浪潮和华为也都在做,他们在软硬件方面都很有实力,我相信他们确实能做出不错的产品,但需要市场机遇。


            金城在线专注网站、软件、APP、微信公众平台、小程序、抖音、头条等开发推广,如果您有这方面的需求或者不同的观点,欢迎联系交流。

    官方微信

    本文网址:http://www.lz.net.cn/SEOyouhua/532.html
    读完这篇文章后,您心情如何?
    • 0
    • 0
    • 0
    • 0
    • 0
    • 0
    • 0
    • 0
    更多>>网友评论
    发表评论