|
大数据组件的移植与优化554次阅读 2019-06-08
完成大数据平台常用组件的移植与优化,搭建大数据软件平台,实现对大数据的分析和处理。
主要研发内容包括: (1)Hadoop的容器化部署方案:结合Docker技术将Hadoop容器化,提高软件的可操作性和可维护性。 (2)容器化的Spark流式计算平台:研究在大数据一体机系统中设置利用Spark进行操作分析。将整体环境打造成一个OpenStack云。通过容器化的Spark平台,实现对不同类型分析应用的同时操作,增强研究系统的可扩展性。 (3)HDFS多元数据服务:研究在基于HDFS的HBase在无共享集群架构上实现面向海量半结构化数据的高并发处理环境的基础上采用逻辑一体化、数据本地化和复制异步化技术实现HBase大表。 (4)HBase 跨数据中心大表:研究在基于HDFS的HBase在无共享集群架构上实现面向海量半结构化数据的高并发处理环境的基础上采用逻辑一体化、数据本地化和复制异步化技术实现HBase大表。
企业信息
|