上海证券交易所数据仓库三期项目日前顺利完成,国内首例企业数据仓库主从双系统(生产系统和灾备系统)由此正式建成。据悉,上交所通过实施企业数据仓库项目,更好地共享了信息资源,提高了运营效率,同时为信息增值服务和其他创新服务提供综合性的计算、验证和实现平台,这奠定了上交所数据服务达国际一流水平的扎实基础。
企业级数据仓库的建设是上交所信息战略规划中的重要构成部分,建设目标是提升信息化水平,有效地提高决策支持水平,市场监管水平和服务水平,促进证券市场产品创新,并更好地服务于证券信息产品的所有相关环节。
据介绍,数据仓库的建设历时较长。2003年,上交所完成了以全所级基础数据平台为主的操作性数据存储系统(ODS)的一期工程项目;2005年12月,完成以应用分析系统建设和完善数据仓库管理为目标的二期多维数据存储系统(DDS)。经过两期的建设和使用后, 上交所数据仓库系统在技术先进性和应用功能方面已达到世界一流,并已成为服务证券市场必要的信息共享平台。
但在前两期建设的基础上,考虑到任何灾害造成数据仓库系统停止对内对外的服务将对证券市场产生重大影响,上交所于2007年7月启动了三期项目——国内首例企业数据仓库主从双系统的建设,以保障持续的数据分析和信息服务,从而确保证券市场的稳定发展。为此,上交所与专注于数据仓库及企业分析方案的全球领导厂商Teradata Corporation合作实施了新的方案,即优化现有数据平台体系架构,通过差异化存储,充分利用现有设备,保护旧系统的投资;存放一致的、冗余的明细数据和汇总数据,无论发生何种故障,系统都保障持续的数据分析和信息服务。
据悉,整个数据仓库主从双系统在一年内建设完成,并在处理性能上比原有平台快49%以上。这不仅体现了上交所先进的理念,同时也充分展示了Teradata强大的专业知识与技术能力。上交所总经理助理、总工程师白硕指出称,上交所在Teradata技术团队的支持下,通过数据仓库三期项目的实施,使数据仓库上了一个新的台阶,实现了整合、扩容、差异化存储、同城灾备系统建设四个目标同时达成。在整个项目的实施过程中,两套数据仓库系统的几次主从切换均在30分钟内完成,源代码、数据内容、数据输出结果等也未产生任何变动与误差,这充分说明系统的升级快速、精准、高效,而且能边升级边支持全所业务的正常运作。因此,这个项目的建设经验值得全球类似企业在建立数据仓库灾备系统时借鉴。
上交所信息中心主任蒋建人则表示,目前上交所数据仓库的系统性能、运行水平得到很大提升,单一系统发生故障,全所12个部门250位用户仍可通过灾备系统访问多达600多个应用,同时也能够保证对外的数据文件输出服务,在系统的处理性能上满足业务部门的需求,不对证券市场的稳定运行造成任何影响。此外,三期项目在处理性能上,主系统比原先的平台快57%,从系统比原来快49%,而且面对各种模拟的故障问题,系统可以在30分钟内完成切换,并能够确保数据比较、同步检验,保障主从系统的数据一致性。
Teradata华东区总经理杨顺生对此评价说,上交所的三期数据仓库项目是Teradata公司在亚太地区第一个建立灾备系统的数据仓库项目,无论在先进产品的集成性,还是技术整合的复杂性、应用功能的完整性、业务涵盖的全面性等方面,都堪称是业界的最佳实践案例。
未来,在数据仓库平台强有力的支撑下,上交所将会继续领跑国内证券市场,提供面向投资者教育的信息服务,进一步加强数据仓库与业务系统间的双向数据交互,进一步将数据仓库系统向实时动态方向提升,实现实时商业智能,满足监管部门、全所业务人员和市场参与者的数据分析需求,并加快自身成为世界顶尖数据服务证交所的前进步伐。