25小时银行 --建行湖南省分行"安全的体验"

一套存储容灾系统的成功建立，让建行湖南省分行确保了24（小时）*7（天）的运行业务安全性。同时，技术人员甚至感觉每天可以有多出来的"一小时"，拿备份中心的又一套数据来进行压力测试、软件调整和重大任务的提前准备，从而进一步确保"让银行安全的赚钱"。

在中国老百姓的眼里，银行无疑意味着保险库。大多数储户不懂投资、理财等种种花巧的学问，也不为一次次的存款利息调低所动，把钱放到银行，图的就是个心里塌实。银行最关心的也是金融业务的安全问题。而银行的科技处，作为技术保障部门，最高的需求是让银行安全地赚钱。

众多厂商，包括惠普、IBM和EMC等等，也在琢磨用户的这个问题。用户是上帝，对厂商而言，上帝永远在彼岸。有时候用户很难说清楚自己的终极需求是什么。厂商更难迈过极限和逼近之间的最后那一道坎。

惠普最终到达了彼岸，走进了用户的心里。跨越此岸和彼岸靠的是TCE（全面客户体验）。此岸和彼岸的区别，是一般用户满意与完全用户满意间的区别。其中包含着整个服务经济和体验经济的区别。

防患于未然

2001年建行湖南省分行投资了1000多万，与惠普公司一起建设了一套存储容灾系统，成为了成功的典范。在存储容灾系统的基础上，还将进行数据大集中的建设。

建行湖南省分行科技处处长梁放清楚地记得他们系统上线那天，正好也是美国"9.11"事件的发生日。这次灾难使得相当数量的企业在瞬间遭到了灭顶之灾。但是在撞机事件中总部遭到了毁灭性打击的摩根-斯坦利银行，由于在数英里外的新泽西州的蒂内克保留着数据备份，在周三就恢复营业。之后容灾的问题在IT界的各大研讨会上被屡次提及，摩根-斯坦利的经验也被人称道。美国劳工局做过统计：在曾遭受过重大数据丢失现象的公司中，93%的公司在5年内破产。而"在曾经历过大型灾难或长时间系统停运的公司中，有2/5的公司再也未恢复运行；而在其余的公司中，有1/3的公司在两年内破产。"（来自Gartner Group）威斯康辛大学的一份调查显示：在灾难后43%的美国企业未能重新运营，且还有29%在两年内关闭。梁放庆幸自己所在的银行做了容灾工作，银行不但要通过IT系统的整合出效益，而且要使这种效益的获得达到一种至善至美的境界--安安全全地赚钱。

中国的银行行长们最近恐怕都在考虑一些"危机"问题：从美国的"9.11"想到银行的IT架构是否可靠，如果国家主要商业银行的储户数据丢失或长时间停机，可能造成整个金融体系的崩溃。在今年3月于北京举行的九届人大五次会议上，中国人民银行行长戴相龙在回答记者提问时坦陈：四大国有独资商业银行25.37%的不良资产比例基本是真实的。这个官方数字简单地说意味着现在的一元钱存款，其实只有七角五分钱真实存在。另外金融品种少、服务水平差、人员及管理成本高、风险防范能力低等也都是中国银行业的短处。

建行湖南省分行容灾系统项目经理 罗强 在系统维护阶段惠普为建行湖南省分行提供了技术支持方案--灾难预演、数据测试、主动预防、快速修复、性能评估、功能拓展等，保证了容灾系统在投产后的运行平稳。而且，由于在容灾系统和数据大集中项目其他系统的接口上所进行的"精细化"工作，这套系统产生了巨大的经济效益

曾几何时工行、建行等还在为自己庞大的网点系统骄傲，国有商业银行们在物理网点的建设上投注了大量的资金和人力物力。2001年9月行长们在金融技术展览会上聚首，工行行长谈"银行科技"，招行行长说"金融信息化"、农行行长聊"科技创新"……行长们希望借科技的力量，理顺流程、防范风险、增强企业竞争力。

IT产品在人们的日常生活和工作中越来越不可或缺。然而就在人们越来越依赖于IT产品带来的便捷与帮助之时，来自自然或人为的灾难却时时威胁着企业的生存与发展。未雨绸缪是拒绝灾难的关键，而且未雨绸缪的成本往往要低于亡羊补牢的花费。湖南长沙虽地处中南，却是一个十分开放的地方，例如湖南卫视等一次次在文化传媒上领全国之先。2000年，在建行系统以省为中心的数据大集中的大背景下，建行湖南省分行已经开始考虑数据的安全和可用性问题。当时的情况是，由于建行综合网系统设备进入更换期，在业务成倍增长的情况下设备超负荷运行，随时有垮掉的危险。

从2000年7月开始，建行湖南省分行组织进行了全省范围的信息搜集和需求分析，这个过程历时3个月。那时候科技处有30多个技术人员。全省有15个物理中心，其中数据处理中心有14个，还有一个省交换中心。如果有跨区交易，则由地区数据中心上送省行交换中心；如果跨省交易，再由省行上送总行。交易量约为30万笔/天。他们采集了多点的样本，以及特殊时间段（如因学生入学造成交易频繁的8月底）的交易数据，进行加权平均；并且考虑了每年15%的增量，最后估算出了对系统的需求。预计5年后每天的交易量将达到150万笔。业务的发展对IT系统快速反应、不间断、永续运行的要求更高了。硬盘数据吞吐量太大，系统的最大瓶颈在于与存储的接口问题。

建行湖南省分行考虑借大集中的契机，建设一个大的数据中心，不但要整合原来分散的数据，还要使所有数据能够被有效使用。从总体上对软件、网络、设备等进行规划和整合，解决该行业务系统资源利用效率低、费用高、业务处理速度慢、重复劳动多、运行故障多等弊端，最重要的保障安全问题。上面很支持建行湖南省分行的想法，但提了两点要求："满足需要，投入合适"。

科技处处长梁放回忆，当时请了EMC存储专家来讲课；他也利用出差或开会的机会参加IBM、思群等公司的新技术讲座；另外他们是惠普的老客户，在众多提供容灾解决方案的供应商中，惠普以其独一无二的100%的数据保护性赢得了普遍关注，当然也在考虑之内。惠普有一套使全面客户体验落到实处的"惠普项目管理服务"(Project Management)作为保证。与一般的管理模式不同，惠普的管理是本质上面向流程的管理。而一般的管理只是面向职能的。从面向职能升级为面向流程，惠普就解决了从服务经济境界向体验经济更高境界的升华。还有考虑技术先进性、性价比等各方面因素，最后他们选择了惠普的端到端的容灾整体解决方案。

共同建设

2001年伊始，建行湖南省分行彭茂吾行长主持召开了大集中的全行数据集中动员大会，要求全行上下整体联动，支持科技处的工作，顺利推进数据集中工作。曾俭华、刘力耕副行长统一指挥和调度。在"一把手"的大力支持下，数据大集中的建设顺利进行，是建行系统中当年开工，当年第一个完成，并完成异种机A机和迁移工作的行。

"惠普项目管理服务"解决了 从服务经济向体验经济更高境界的升华

在最重要的主机系统方面，科技处对数据集中的主机进行了选型、测试、订购；特别值得一提的是其远程容灾解决方案，无论是在数据安全性、实用性、性价比等方面都得到了业界的好评。这一点在压力测试、软件中试和年终结转都得到了很好的体现。

容灾系统采取先进的存储技术。省行建设了一个数据中心，对关键业务数据（存储，储蓄、会计、信用卡等）采取数据库服务器集中管理；另外在相距约3公里的原来建行长沙地区的机房建设了数据备份中心，实现关键数据的实时远程容灾备份；利用存储设备的联机备份功能，提供7*24的联机交易服务。

任何先进的IT解决方案能够取得成功的另一关键在于实施，有效的项目管理有助于在竞争中获得时间和成本上的优势，并得到高质量的结果。惠普公司结合自己发展的项目管理模型（Focus PM）、IT服务管理模型(ITSM)以及在全球容灾系统实施中的经验积累（Best Practice），发展了一整套实施容灾系统的项目管理方法，这套方法涵盖了容灾系统的IT服务级别管理、配置管理、流程管理、风险管理、变更管理、进度管理、沟通管理、人员管理、质量管理等诸方面。惠普公司专门为建行湖南省分行容灾系统成立了项目小组，指定罗强为该项目的项目经理，他作为贯穿项目始终的用户的联系人。在项目实施过程中，他们分成三个阶段--分析与计划、配置与集成、测试与知识移交，在每个阶段中，清楚地定义了目标、活动和可交付的成果。从而在10个工作日内就完成系统的实施工作，为建行湖南省大集中任务的提前完成打下了良好的基础。在容灾系统实施完成后，系统过度到维护阶段，惠普又为建行湖南省分行提供了技术支持方案--灾难预演、数据测试、主动预防、快速修复、性能评估、功能拓展等，保证了容灾系统在投产后不仅运行平稳，而且在容灾系统和数据大集中项目其他系统的接口上进行"精细化"的工作，产生了巨大的经济效益。例如，可以在一台超腾主机上可以同时启动多份镜像数据库的实例，实现了真正意义上的高可用性，节省了主机投资，发挥了主机的计算效益。

建行湖南省分行科技处副处长 刘军 谈起系统，我们对"投入合适"这一点十分满意。因为利用SAN模式来构建容灾备份系统，最关健的就是将新技术与实际需求结合好，其中包括多方面工作，特别是容灾系统通信链路连接都是精细活儿，是最花钱的地方。我们在连接方面做到了低成本、高品质

副处长刘军是系统规划和建设主要负责人，他谈起系统来对"投入合适"这一点十分满意。要知道利用SAN模式来构建容灾备份系统中，最关键的就是将新技术与实际需求结合好--包括容灾系统通信链路、数据逻辑分布、数据物理分布以及与数据库接口等多方面工作，特别是两个机房的容灾链路连接，一旦连接不成功，任何先进的系统都是白做。而这部分连接往往都是精细活儿，是最花钱的地方。据说1998年广州行连接相距17公里的两个数据中心时，光铺线就花了1000多万。建行湖南省分行当时考虑长沙发生地震的可能性极小，因此容灾主要考虑防火灾、建筑物破坏等因素，所以从数据中心选址的时候选在同城，而且可以充分利用原建行长沙地区机房的一些设备。另外铺线一般需要挖路，这对城建来说是一件很严重的事情，一般来说挖一公里需要30多万。最后他们参照惠普公司提出的容灾链路设计方案，避免道路开挖，并将施工委托给有长途光缆建设经验的当地电力部门，采用"挂竿"、"入地"相结合的办法，只花了20多万就完成了光缆连接。经测试该连接可抗误破坏10次以上。

有了容灾基础，存储做好了，建行湖南省分行的数据大集中就做得比较顺手。2001年7月正式上线，9月11日完成上网。切换时除长沙短时间停业外，其他地方都没停机。而且其数据结构完全重新整合，融合了最新技术。

规避风险

建行湖南省分行集中了全省的关键业务数据，一旦出现停机或数据丢失，后果将不可想象。现在采用物理数据复制方式，利用存储子系统实现了数据远程实时同步。整个系统无单点故障，网络都采用主干网、备用网、拨号网三网保护。建行湖南省分行系统有900多个网点，600多个会计网点，POS机1200多台。一旦系统出现故障，现在可以保证在一两分钟内恢复过来。

在软硬件建设之上，建行湖南省分行目前还正在进行ISO9002的认证，以便使系统流程更加优化，同时在防止人为失误造成系统灾难方面，设计系统时就在能自动化的地方尽量让设备自动完成，减少了人为阻碍和差错的可能。

备份数据中心的数据可以随时调用，进行压力测试，除用来防止突如其来的严重事故，还可以用做软件测试。建行湖南省分行利用存储系统的镜像数据和灾难备份数据，大大节省了批处理事务的时间，并降低了随之而来的业务风险。例如，银行每天都要"轧帐"，也就是每天的帐要做平，单听这个"轧"字，就可以一窥工作的艰苦程度，哪怕是一分钱不平，都要查出处。在系统未整合的时候，当出现帐不平时，涉及的面广，要查的地方太多，技术人员又必须在第二天早上开门前解决当天的问题，可谓是没日没夜的一项长期的艰苦工作。2001年底的年终结转是数据大集中后的第一次年终结转，由于充分利用了备用存储的数据，完全实际地进行有效测试，并提前正确估算所需时间和工作量，从而有效地保证了年终结转的顺利进行，使之不再成为技术人员的一件难事。

银行的风险防范远不只系统不停机、数据不丢失就算合格了那么简单，还要防范业务风险。以前曾经发生过这样一件事：某个储蓄网点的员工早上到了上班地点后，发现有顾客等着开门，出于优质服务的目的就在8点正式上班前办理了业务。恰好某顾客遗失了存折，8点正等银行一开门就去挂失。谁知道在不同网点开门时间相差的这几分钟里，钱已经被取走了。由此顾客和银行开始打官司。一位证券公司的老总曾说过这样一句话："金融行业不管谁对谁错，一出事就是赔钱。"按照国际惯例，银行为了维护信誉和客户利益，出现责任不明的纠纷一般都由银行承担。

从系统上升到业务应用上，如果能通过系统规避业务风险才算是又上了一个台阶。现在建行湖南省分行在设计系统时，对每一笔交易都进行多层次的合法性认证。从而杜绝了大量纠纷，也防范了员工进行违规操作的风险。科技处还请了法律专家来给技术人员讲课，以便在软件设计时规避法律风险。还有如假身份证的问题，身份证的真伪辨别是公安部门的职责，但银行也遇到过用假身份证冒领存款的事情。那么系统设计时就必须考虑与公安局的接口问题。而且系统整合之后，在通兑业务上减少了"在途资金"，也为银行减少了盲点；另外对漏洞的及时清除也有了条件，以前一单业务可能系统需要几天才能处理完成，中间就可能出现违规操作而未被及时发现的情况。

2001年1月份，巴塞尔银行监管委员会《新巴塞尔资本协议》在全球范围呼吁实行以最低资本要求、央行监管、信息披露（即市场纪律）三大支柱为特点的新的监管框架。新协议首次将银行的风险范围从信用风险扩展到市场风险和操作风险。这对于风险管理手段落后的国内商业银行提出了严峻挑战。要防范风险就必须建立和完善内部基础数据库，才能对主要风险因素和发展趋势进行分析和预测；同时在掌握历史和实时数据的基础上，才能有效地制定各类客户的总体风险水平和贷款限额，监测客户评级结果的变化情况，用于确定准备金规模、贷款定价、利润等。这些都是系统继续深化的内容。

业务管理上台阶

建行湖南省分行对电子化、信息化带来甜头的感触很深。1996年启动全行综合网建设工程，1997年就实现了全省通存通兑。通存通兑使跨行跨地业务交易蓬勃发展，别的省一般每天5000-8000笔，湖南就有3万笔/天。核心业务电子化带来的效益明显，现在建行湖南省分行现吸纳存款640亿元；发卡510万张，居全国前茅。现在系统反应速度更快捷，跨省交易成功率更高，业务量由之前的30万笔/天增加到60万笔左右。大集中为业务和管理带来了效益：例如第一精简了机构，减少了人员，大大缩减了汇划资金的在途时间，减轻了前台人员的工作量；二是保证了核算、统计信息的真实可靠；三是使金融产品和服务更加统一、规范，有利于金融新产品迅速占领市场，更好地服务于客户；四是对全省网络系统进行了大规模的优化和整合，新的城综网系统在运行速度和效率、稳定性及安全性等方面有了质的提高；五是大大降低了城综网的运行费用；六是为下一步的CALL CENTER、外汇买卖、信息管理等的开发应用提供了一个良好的平台，打下了基础。七是运行管理更加规范、迅速、到位。

建行湖南省分行科技处处长 梁放 作为一家商业银行，对客户的承诺和为保证承诺的兑现所付出的备至关怀是同样重要的。建行湖南省分行在与惠普公司共同设计容灾的环境，构建容灾系统的同时，更看重的是平台能够提供永续运行的保障。惠普容灾专线的特别设立、定期的远程容灾健康状态检测以及高可用环境的系统评估、灾难预演等贴心的服务承诺才是真正让建行湖南省分行放心而满意的。惠普的服务理念就是建行湖南省分行对客户服务体验的兑现

现在建行湖南省分行科技部已经增加到了70多号人，曾俭华副行长对科技处提出的要求是：科技已做大，现应进一步做好。科技处一班人正雄心勃勃地计划着2002年要整合系统，增加附加值。不但运行要上去，优化软件以使系统恢复的时间从现在的一两分钟缩短到几十秒；另外"管理也要上水平"。他强调"技术要深入管理，从战略上对企业产生影响。"

数据大集中后，数据管理和风险管理主要集中在省行，为此需要建立一套与之相适应的管理体制，科技处作为技术保障、金融新品种的支持部门，如何做好服务摆在他们面前，对此他们深知"服务"两个字的深刻含义，因此在工作中，不管什么问题，科技人员先扛了起来，需要业务部门支持，再与业务部门协调解决。建行湖南省分行科技处实现了"大技术支持"的概念。例如设立一个简单的呼叫中心来接受下面分行的来电，并且实现"一站清"，接电话的就是第一责任人，由他来进行所有的协调并且完成回复。这样下面分行都可以明显感觉到省行工作作风的转变。这些工作的进行使科技处能够扛起流程推进者、监督者的责任，成为事实上的战略部门。逐渐的，业务部门做决策开始来询问科技部；行长做决策也乐意听他们的意见。

一位优秀的技术主管明白介入管理，是出效益的关键。他需要不仅给他解决技术问题，而且能为他介入管理创造条件的厂商。说起来，他们觉得自己这1000万做存储容灾系统投得挺值的，不但解决现存问题，还为未来的发展铺就了一条大路。2002年初建行总行更是决定将呼叫中心的建设试点也放在建行湖南省分行来做。

能否从系统里掘出更多金子来？还要进一步从业务角度把信息系统好好地"用"起来。