010-85396879 010-85396879
010-85396879 010-85396879
×
银河超算数据共享平台
银河超算数据共享平台价值在于帮助企业建设数据中心，实现业务系统与数据中心对接，促进数据融通共享，为状态数据的实时采集与动态分析提供保障；


实现企业级的元数据管理，进行综合数据治理，提供优质数据与“人才培养工作状态数据平台”对接；

产品介绍

以大数据技术（Hadoop、Spark）为底层架构，集合大数据全部技术模块，运算速度是传统数据处理的1000倍。银河超算从数据采集、存储、计算、调度、高级搜索等核心功能，并基于云计算科学管理数据，保证数据的安全性和稳定性，同时针对实时计算业务应用特别调优，追求极致的运算速度，为大规模数据的管理和计算而生。

高校数据中心建设存在的问题

“痛点”
1、匮乏专业的数据管理人才
2、缺少数据服务应用
3、非结构化数据无法采集使用
4、数据管理无标准
5、业务系统多数据整理难
6、数据平台速度慢性能差
7、无法监控数据质量

产品特色

完善权威的数据标准
根据国家统计局代码标准规范数据标准，完全符合企业实用性和拓展性
成熟的大数据技术
大数据技术已经在各个行业落地，而大数据技术更加适合数据中心框架和数据的多样化
实时数据更新
银河超算可根据业务需求实时更新数据，并控制更新时间，避免与业务系統数据交换冲突
可视化的数据管理平台
界面化数据管理平台，通过界面操作的方式简单即可管理数据各个环节
非结构化数据处理
不仅对结构化数据进行整合,还可以将非结构化的数据进行清洗、处理、采集和存储
五大统一服务
包括单点登录、统一用户身份认证、统一数据、统一标准、统一应用平台
支持多家厂商的信息化业务系统
银河超算中心独特的数据转换接口支持主流业务信息化系统，将数据无缝整合至数据共享中心

数据管理平台

系统可存储、处理PB级数据，包括结构化和非结构化的数据1;
部署方式灵活，支持多机部署。支持组件包括HDFS、MapReduce、 Hive、 Pig、 HBase、Zookeper、Sqoop和Hcatalog等 ;
并行架构、易扩展;
界面友好，部署简易，可实时监控;
数据高可靠性:基于分布式、冗余处理技术，保障数据完整，防止数据丢失。
高性能:采用分布式文件系统的方式，使得负载分摊，节点之间可以动态的移动数据，以保证各个节点之间的动态平衡，因此保证了高效的数据处理能力。
系统能够自动保存数据的多份副本，且能够自动将失败的任务重新分配等。
WSS是一个批量工作流任务调度器；
提供KV 文件格式来建立任务之间的依赖关系；
提供易于使用的 web 用户界面维护和跟踪工作流；
扩展性好，可针对某一问题开发组件(目前有三个插件HDFSBrowser，JobtypePlugins和HadoopSecurityManager)；
支持重试失败job，并设置邮件提醒。
基于数据状态划分采集：实时采集、离线采集；数据爬虫系统
通过端口自定义汇集数据流、自定义数据采集资源灵活调配；
容错性：代理、采集和存储之间均有高可靠容错机制；
负载均衡：各类节点之间使用Zookeeper作负载均衡，无缝衔接;
可扩展性：可根据业务增长或降低，动态添加或减少节点个数；
高可靠性：系统提供了多样数据缓存方式，直接可以使用，可直接支持HDFS做数据存储；
支持各种类型丰富的数据源;
支持系统预设规则或自定义规则进行大批量数据清洗，支持一键自动化处理；
支持数据质量自动检查分析；
支持数据清洗后动态生成数据质量检测报告；
支持数据清洗后统一批量存至HBase数据库。
LPS是可快速开发和调试Hadoop生态系统各种应用的一个基于浏览器的图形化用户接口；
LPS打破传统繁琐访问方式，通过浏览器直接访问HDFS；
通过web调试和开发Hive以及数据结果展示；
SQL编辑器，支持Hive, MySQL, Oracle等；
Spark和Hadoop的友好界面支持；
HBase数据查询和修改，数据展示。
SMS是基于Hadoop的一个数据仓库工具
支持索引，将元数据保存在关系数据库中，加快数据查询时间
不同的存储类型，例如，纯文本文件、HBase 中的文件
可以直接使用存储在Hadoop 文件系统中的数据
学习成本低，通过类SQL语句快速实现简单的MapReduce统计
拥有多种分析图表类型，给使用者带来全新的视觉享受。其中包含20多种常规图表和多种大数据可视化图表效果这些非传统交互式可视化效果。
支持自由布局随意更换富有表现力的可视化主题；
解决无需学习前端知识即可完成漂亮的图表；
提供方便的管理数据和图表。
支持多数据统一API接口查询对接；
提供用户自定义查询，自设查询条件；
支持用户根据自身企业需求发布数据或调用数据；
支持可追溯用户查询。

架构图

管理体系 / 数据标准

  • 用户（管理人员、公众）

  • 接入终端（电脑、智能手机、智能平板、多媒体终端......）

  • 业务应用
    • 系统支持服务

      信息门户、集群网站、 办事大厅、招生就业、 校园一卡通、OA办公系统

    • 系统资源建设

      人事系统、资产系统、 财务系统、图书系统、学习中心

    • 系统决策指挥

      业务模型、关联分析、 实时分析、离线分析、 非结构分析

    • 应用商店

      科研产品、校企合作、 创新创业

  • 服务总线
    • 数据转换
    • 个性信息服务
    • 单点登录
    • 统一身份认证
    • 数据标准接口
    • 公共信息服务
  • 数据平台
    • 数据采集系统
    • 数据质量监控系统
    • 数据集市系统
    • 大数据资源管理系统
    • 数仓建模系统
    • 数据图形化编程系统
    • 工作流调度系统
    • 数据视图系统
  • 基础设施
    • 软件资源
    • 硬件资源
    • 网络资源

信息安全 / 保障体系

实施流程