每日彩票

您目前的位置:每日彩票 > 产品中心

基于数据分析的 大数据质量控制 ETL 平台


 一、技术特点
(1)整体采用 J2SE 与 J2EE 技术、SOA 思想,平台安全、稳定、高效,模块间实现高内聚、低耦合,并具备良好的平台延展性,可进行插拔式扩展。
(2)数据质量管理系统设计以用户为主导,全面采用 SWT 技术,保证流畅丰富的用户体验。
(3)数据质量管理系统能够实现较高性能,能够与国际主流数据库协同集成,包括 Oracle、DB2、SQL Server、Sybase 等;也能与部分国产数据库无缝集成。这些数据库包括分析型数据库、通用数据库、安全数据库等。
(4)数据质量管理系统全方位支持 Windows 系列、AIX 系列、Linux 系列等各种主流操作系统平台,具有良好的跨平台能力。
(5)集群技术:支持异构操作系统的服务器集群,使令人头疼的复杂转换清洗加载过程快速完成。
(6)分区技术:通过该技术实现了类似大型数据库系统并发分区处理方式,使单机运行复杂清洗转换加载也亦然可以高速完成。
(7)调试跟踪:在复杂的转换过程中,配置转换流程也是同样令人头疼的问题,在用户配置好流程后由于流程中的某些配置不和逻辑造成流程执行失败,然后又无法迅速定位到问题的所在,数据质量管理系统通过调试跟踪技术,完全解决了这一问题。
(8)定制开发:根据不同的业务需要,来定制开发扩展的作业或转换插件。

二、应用特性
2.1 灵活部署、使用简单
数据质量管理系统安装简单,用户只需要一次按照提示操作即可,无需复杂的配置信息填写便可以轻松将其安装到服务器上。
并且数据质量管理系统还提供了灵活的分布式部署方式,用户可以通过远程执行,分区,集群等方式进行部署安装。数据质量管理系统还提供了代理服务访问的方式,即便在网络环境局限的情况下,依然可以做到轻松配置,用户体验很好。
2.2 应用范围广
数据质量管理系统不仅提供了基本的数据仓库需要的数据抽取、转换、清洗、加载功能,还提供了同步数据,文件流转等功能,不仅可以使用于    传统的数据仓库场景,对于流行的数据同步分析,数据库异构备份等场景    也同样提供了良好的服务。
2.3 轻量级执行
数据质量管理系统提供了命令行执行方式,可以免去执行复杂转换过程 UI 部分所消耗的系统资源,大大提升了系统资源的利用价值。