金融数据中心应用预制模块化方案研究与建议

2024年2月8日发(作者：)

IT Operation and MaintenanceIT运维金融数据中心应用预制模块化方案研究与建议中国工商银行数据中心 朱俊斌摘　要：当前，信息技术快速发展对数据中心提出了更高要求，未来数据中心建设必须能够满足弹性扩容与快速建设的需要。本文通过对数据中心预制模块化进行分析研究，尝试提出数据中心应用预制模块化建设方式的方案建议。关键词：金融数据中心；预制模块化；弹性扩容；快速建设近年来，伴随线上业务的快速发展与新技术应用的日渐普及，金融机构对构建现代化数据中心机房的需求日渐迫切。但是，数据中心机房从购地建设到投入运营往往需要经过2到3年时间，从而对业务发展形成了一定制约。面对上述难题，如何快速建设数据机房满足业务需求，同时兼顾绿色节能的发展趋势，已经成为当下金融行业构建数据中心时关注的热点问题。本文通过深入分析预制模块化方案的理念和特点，尝试论证了基于预制模块化相关技术及设备进行数据中心建设的可行路径，以期能进一步提升金融数据中心的快速建设与弹性扩容能力。此来进行建设规划，此后，当容量使用率达到80%或者90%左右（未必是十年）时，便开始下一阶段的数据中心规划建设。

然而，如果选择一次性完成整个数据中心建设，那么在投入运营的第一年可能会有90%以上的容量（包括空间、机电）被闲置，甚至运行五年后还有50%以上的容量处于闲置状态。同时，鉴于未来技术发展的不确定性，当期规划的架构很难完美契合未来的业务需求。此外，数据中心建设通常需要经过项目可行性研究、购地、设计、土建施工、机电施工安装与装修、验收投产等多个阶段，且现场施工作业时间长，易形成短则18个月、长则三年的施工周期，从而限制数据中心业务的快速发展。针对上述难点，笔者认为要解决机房容量与业务契合的问题需重点考虑两个方面：一是数据中心应能够实现逐步扩容，具备良好的弹性扩容能力；二是建设速度应足够快，特别是扩容速度应能够更好地契合业务增长需求，并降低对已运营机房的影响。对此，采用工厂预制并形成模块化设备后现场安装的方式，将能够大幅缩短建设周期，且分割界面清晰的模块化产品也更易实现按需扩容。一、金融数据中心建设现状概述当前，数据中心面临的业务增长方式通常可分为两种：一是短期内业务爆发式增长，需要在短时间内增加海量服务器资源，例如为对抗新冠疫情影响腾讯会议系统8天内增加了10万台云主机；二是业务增长相对缓慢，但其服务器数量会伴随业务量逐步增加，典型代表则是金融行业的数据中心建设。具体而言，金融数据中心通常是根据过往机柜增量和今后业务发展曲线来预测未来某一时间节点（如十年后）需要的容量值，并据Copyright©博看网 . All Rights Reserved.2022 . 02 中国金融电脑79

IT OPERATION AND

MAINTENANCE二、预制模块化方案简析一般而言，预制模块化方案主要糅合了预制与模块两个方面。其中，预制是指将传统施工作业内容以工业产品形式实现，以降低现场施工作业量，提升建设效率；模块则是指通过将系统功能集成封装，使其以标准化的设备模块形式存在，从而降低安装运维难度、减少系统间耦合性、增强系统整体灵活性，最终在时间与空间两个维度上实现弹性扩容。从使用角度来看，预制模块化方案具有安装简单、无需调试、即插即用以及快速扩容等诸多特点。实践中，预制模块化方案的适用范围涵盖建筑、空调、电气、消控、安防等多个数据中心组成系统，并已经有多样化的预制模块化设备应用于当前的数据中心建设。度较大，一般不会对单幢建筑进行分阶段建造，通常会选择一次性建成后再分期进行机电安装与装修。在建筑扩容能力方面，纵向可在同一幢楼内根据颗粒度不同分别形成冷通道模块、机房模块、同楼层水平模块或不同楼层垂直模块；横向则可以在园区内分期进行标准建筑模块建设，并重点考虑结合标准化、可复用等目标进行设计。2.制冷空调传统空调系统一般由制冷系统、冷却系统、管路系统、末端空调及管路阀件组成，而末端空调作为模块化产品，主要负责为机房设备提供循环冷风以满足降温需求，其余设备如制冷机组、冷却设备、水泵等通常是一次性安装完成，弹性扩容能力较差。从系统组成分析，空调系统可拆分成源端、管道、末端等三部分，其中末端已模块化，源端易模块化，而主干管部分则不易也不能随需扩容，否则易造成管网复杂导致水力失调。但是，由于主干管允许的流量波动范围很广，因此可以按数据中心最大规划容量设计。空调系统预制模块化主要体现在对源端的模块化，即可对冷水机组、水泵、冷却设备、配电设备及控制系统进行匹配集成，形成标准容量模块，之后再通过增加模块数量来满足数据中心的扩容需求。1.建筑结构传统数据中心建筑通常是钢筋混凝土结构，通过现场浇筑桩基等形式完成施工作业。在此模式下，不仅建设质量高度依赖于施工水平，同时气候因素对施工作业的制约很大，特别在北方寒冷气候地区，全年可供施工作业的时间较短导致其交付时间更长。对此，通过对标准的预制模块化集装箱进行合理设计及功能切割，可形成不同功能作用的集装箱体，从而只需在现场浇筑少量混凝土即可以采用搭积木方式进行组装，或者通过钢结构框架配合预制的建筑外围护结构形成可用机房楼建筑。但需要注意的是，上述集装箱体及预制建筑构件必须满足国家道路交通安全规定的允许最大尺寸及重量，超过要求部分必须能够在现场预制或直接现场施工。目前，数据中心在建筑结构上主要可分为仓储式厂房及多层建筑两种，影响因素包括地价及地块容积率等，且由于在垂直和水平方向的建造难度不同，其扩容方式差异较大。例如，对于仓储式厂房结构，要形成弹性扩容的建筑体可以考虑采用鱼骨状（或航站楼形式）建筑，即采用延长主通道的方式在两侧接入新机房，以达到较好的扩容效果。与之相比，如果在靠近城市区域则一般会选择多层建筑。在此模式下，由于垂直方向上建设难3.电力系统电力系统是数据中心能量输送系统，系统链路主要由变压站、供配电柜、UPS、列头柜、PDU及供电线缆等共同组成。其中，末端部分如列头柜、PDU已是模块化设备，供电线缆目前可用智能配电母线替代以达到模块化效果，链路上游部分的UPS同样有模块化UPS及微模块UPS产品可以采用，供配电柜也都是采用模块化产品。在预制化方面，通过将供配电柜、输入输出柜、UPS柜进行一体化融合，将可以进一步加深电力系统的预制模块化程度，并在新架构中形成高压部分支持共享、中压部分模块化、低压部分微模块化的全新组合，实现按需启用、弹性扩容。4.柴发系统传统发电机系统布置在动力机房内，通常是根据可80FINANCIAL COMPUTER OF CHINACopyright©博看网 . All Rights Reserved.

IT Operation and MaintenanceIT运维用容量一次性购置安装所有的发电机，再并线接入供电系统为数据中心提供备用电源。目前，业界已有大量集装箱发电机组被投入使用，通过将发电机、配电开关、日用油箱、进排风道、消声器等集中于集装箱内，可直接在室外部署，从而降低建筑成本及占地。此外，通过增加柴发集装箱数量还可以更好地满足弹性扩容需求。未来，为完成整个系统预制模块化的功能，还可对供电线缆按最大容量设计，并预留柴发机组并机接口。值得注意的是，尽管微模块内部设备分散布置可以避免集中式架构下发生故障带来的大范围影响，但是大量设备分散放置易导致整个供电系统的潜在故障点相应增多，出现故障的概率升高。同时，由于小容量设备分散布置在各个微模块内部，易导致运维巡检工作强度增大，因此，分散式架构对智能化运维水平要求较高。四、预制模块化方案与传统方式比较分析从实践应用角度，预制模块化方案与传统建设方式的差异较大，目前也尚未成为建设数据中心的主流方式，而且其落地应用在成本、交付、运维等方面也仍存在较大的提升空间。一是传统数据中心建设一般由业主方提出需求并由咨询单位及设计单位完成整体系统的架构设计，之后再由业主或总包单位进行设备采购，由施工单位完成建设及安装工作。预制化模块化方案则是由模块化集成商进行设备采购后完成集成工作，从而在原有成本的基础上新增了集成商的利润需求，将导致最终建设成本增加。二是初次应用预制模块化方案时，如果未形成标准化设计，则需要设计方、集成商紧密配合，易对双方形成压力，或对交付效率和质量造成一定影响。同时，集成商多数是原相关设备商，由于模块参数的限制，必然会缩小设备供应商范围，最终交付的设备也必然偏向集成商，或将无法使用更好的技术设备。但另一方面，如果后续能形成持续需求，预制模块化方案将可以大幅减少前期工作。三是预制模块化涉及多个设备集成，运维方式与传统运维体系存在较大差异，运维人员需要重新学习部分运维知识，更新运维习惯。此外，在安全方面，部分预制模块化设备如集装箱机房、集装箱柴发、制冷模块等经常布置在室外，因此物理安防上比传统的钢筋混凝土建筑要显得薄弱。四是现阶段预制模块化成本相对偏高，因此，预制模块化要成为数据中心的主流建设模式，不仅需要成熟三、不同系统架构下的预制模块化思路对数据中心而言，机电系统一般以数量少、容量大的设备集中布置，数量多、容量小的设备分散布置为主，并逐步形成了集中式系统和分散式系统两种架构。1.集中式系统架构大型数据中心传统机电系统通常是采用集中式系统架构，支持统一进行设备管理，运维方便。但在扩容能力上存在集中式架构弹性不足的问题，可考虑在源端采用模块化设备实现弹性扩容，如对制冷机组、冷却设备、供配电机柜、UPS等进行模块化设计，并按一定容量单位进行规划采用，即可通过增加设备模块数量的方式进行扩容。需要注意的是，对输送干管则必须按最大容量设计，以保证系统简洁可靠。该模式不仅保留了集中式系统架构运维便捷的优点，同时也增强了弹性扩容能力。2.分散式系统架构分散式系统架构是当下较为流行的新兴模式，在数据中心基础设施侧的典型代表是微模块。微模块以若干IT机柜、供配电机柜和空调末端机柜等为框架基础，同时集成网络、综合布线、监控消防、防雷系统、通道封闭等功能，可使不同功能的机柜数量根据功率密度不同实现恒定配比，并支持各功能系统同步扩容。微模块各组成部件可在工厂预制，并通过采用标准化的部件及统一的接口，支持灵活拆卸、搬运，最终在现场进行组装后即可投入使用。同时，微模块也可作为一个独立的小型数据中心快速投入使用，并实现与机房环境的部分解耦。Copyright©博看网 . All Rights Reserved.2022 . 02 中国金融电脑81

IT OPERATION AND

MAINTENANCE表1 不同规模数据中心机房扩容建议网点机房机柜数量级机柜列数量级扩容单位预制模块化方式注：表中数据为规划容量。﹤100～1机柜一体化机柜分行机房10～1001～10机柜列微模块数据中心﹥1000﹥50机房微模块+房间模块的产业链支撑，更重要的是加速形成一般性标准（不论是行业标准或者公司标准），以进一步提升复用率、降低后续复用成本以及缩短交付时间。五是相较于传统建设模式，预制模块化通过工厂预制产品与现场施工并行的形式进行数据中心建设，可以大幅缩减数据中心建设周期，提升建设质量。同时，预制模块化在时间与空间两个维度上的扩容性能较好，可以提升数据中心分期部署能力，降低数据中心建设初期投资。六是机电系统利用预制模块化设备可将不同设备进行模块化集成，并通过增加模块数量满足扩容需求。但是，在集中式与分散式系统架构下应用预制模块化方案需注意两者在扩容弹性度上的差异，例如分散式架构弹性较好，但会给运维管理带来较大压力，且对数据中心的整体智能化水平要求较高。过增加微模块数量扩容。对数据中心，则建议以机房为预制模块化容量单位进行扩容，同时采用集中式系统架构。具体而言，建议数据中心按服务器机柜数量形成模块化结构，依次按机柜模块化、机柜列模块化、机房模块化、楼层模块化、机房楼模块、园区模块化等不同等级的模块逐步增容，最终形成易复制的扩容模式。同时，机电系统源端设备建议按照一定模块等级的容量进行选型，以实现较好的弹性扩容能力。在选址规划方面，目前数据中心机房类型主要可分为大平层仓储式及多层建筑两种，其首要影响因素是土地资源。对此，在偏远地区，由于土地资源丰富、地价较低，建议建设大平层数据中心；在中心城市区域，则建议以多层建筑为主，以降低土地资源占用率。在数据中心规划上，建议在方案规划阶段即引入预制模块化思想，并仔细衡量其对建设、运维的影响。同时，建议形成标准化模块设计图纸及标准化建设流程，并在标准模块内部提前集成新技术、新理念（如无架空地板、简单装修、通道封闭等），以便于在后期建设时可通过模块组合完成不同容量数据中心的搭建。此外，在设备采购、运维等方向也建议形成统一的标准，以进一步提升数据机房的建设与运维能力。五、后续应用建议当前，银行业数据中心机房主要包括数据中心、分行机房、网点机房等三大类型，三者机柜数量差异较大，而且其扩容需求也各有不同。基于预制模块化思想，笔者建议对不同级别的数据中心机房可采用不同方案进行扩容设计。不同规模数据中心机房扩容建议见表1。在容量设计方面，对于网点机房，建议使用一体化机柜，且鉴于机柜内部已固定各功能系统容量比，可通过增加一体化机柜数量实现扩容。对分行机房，建议通参考文献：[1] 陈剑.浅谈传统数据中心与模块化数据中心[J].

智能建筑与城市信息，2015(11)：74-75.82FINANCIAL COMPUTER OF CHINACopyright©博看网 . All Rights Reserved.