菜鸟网络科技有限公司-中铁物流:TMS核心业务系统上云
1. 应用企业概况
中铁物流集团(CRLG)成立于1993年3月,是国内知名的大型现代综合物流企业,业务涵盖电商服务、仓储、整车、零担、公路、铁路、金融、冷链、代理报关报检、贸易、国际快件等。集团2002年形成全国地级市以上的配送网络,上线货物查询信息系统,2008年圆满完成奥运会指定物流服务工作,成为商务部“商业特许经营”注册登记物流企业。在2014年,集团确定以仓配一体化的综合解决方案为核心产品,打造现代综合物流运营商推出仓储加盟模式,组建了国内首个仓储连锁平台并购重组“搜沃电商”,建成宁波保税库,加速跨境电商物流服务体系完善。2015年,集团通过复审再次获国家AAAAA级物流企业称号,被评为全国交通运输行业先进物流企业。2016年中铁物流被评为菜鸟网络家装物流年度优秀供应商,当选年度中国物流杰出企业。
集团旗下拥有快运、快线、仓储园区、公路港等多张全国型实体网络,为打造多平台联动的产品服务提供了基础支撑,全力推动网络化、平台化、产品化的战略布局。集团以物流整体解决方案为前提,根据不同属性客户的需求,通过分仓、专线、仓配、仓运、运配模块化组合方式,为客户提供适配的仓配产品和解决方案。
截至2017年,中铁物流全网营业网点5000多个,运营车辆11000多台,从业员工4万多人,仓储管理面积超过千万平方米;在美国、加拿大、英国、韩国、尼泊尔、印尼、香港等多个国家及地区设有境外分支机构和海外仓,为全球客户提供方便、快捷、安全的物流综合服务。
2. 企业面临的主要问题
中铁物流集团核心业务系统包括TMS、PDA、TMS网站和API平台等,之前这些业务系统主要部署在线下的IDC机房,系统架构如下图:
系统架构图
根据中铁物流目前的业务量以及对未来业务的预期,现有IT系统实际上已经无法满足业务高速增长的需求,特别是数据容量方面。当前的数据总量已经接近2TB,每日新增数据上万条,每年的数据增量达到TB级别,传统的关系型数据库在IO性能和容量方面已经很难适应当前的业务场景,所以需要更优质的解决方案介入。
另外考虑到建设成本等因素,当前业务系统主要采用集中式部署,一旦业务量突增,系统的弹性扩展能力会受到限制,数据备份与容灾能力也将成为未来的瓶颈,急需突破。
3. 菜鸟物流云“两地三中心”解决方案
经过全面的调研、测试和应用系统改造,菜鸟物流云在本次业务系统上云的过程中,为中铁物流业务系统特别策划并实施了“两地三中心”的解决方案。依托于阿里云底层优势,借助阿里遍布全球的数据中心、服务器和网络资源等方面的优势,此解决方案在保证中铁物流现有业务不受影响的同时,为未来业务的预期提供了足够优秀的应用场景。
(1) 多地部署,系统高可用。菜鸟将中铁物流生产系统部署在上海地区的两个数据中心内,利用云上负载均衡(SLB)和云上数据库(RDS)等产品支持多地部署的特性,客户以极低的成本实现了IT系统的高可用,整体SLA达到了99.95%以上,有效控制各类有计划及无计划的宕机;
(2) 提升预警,实现数据零丢失、零中断。菜鸟将灾备系统部署在华北区域的专属数据中心内,通过高速通道与生产系统环境连同,利用数据传输工具(DTS)实现数据级别的同步。当生产系统发生计划外停机时,业务系统可以在数分钟内切换到灾备系统,这表示RTO已达到分钟级,整体RPO控制在秒级,在短时间内就可以恢复几秒之前的数据,确保数据的完整性。
3.1. 数据分层存储
在面对新业务场景的产生和数据容量几何式增长的现状下,传统架构的数据库逐渐暴露出容量小、备份慢、性能差、可用性与扩展性不好等弊端,菜鸟物流云现在采用的主要解决方案有建构新型数据库、对数据库分库分表、数据分层存储等几种。
(1) 建构新型数据库
为解决传统数据库一致性、扩展性、可用性方面的问题,我们会针对性采用一些新型架构的数据库,比如Spanner、OceanBase、TiDB、CockroachDB。虽然部分解决了上述问题,但是在对传统数据库的兼容性方面并不完美;另外还有Aurora和PolarDB等cloud native架构的数据库,是通过计算存储分离以及对存储提供扩展性解决读扩展以及可用性问题。
(2) 分库分表
当单台物理服务器的性能无法满足数据库的性能要求时,一般会通过分库分表的方式将数据量较大的数据表水平拆分到后端的每个数据库中,这些拆分出来的数据库被称为分库,分库中的表称为分表
(3) 数据分层存储
对数据做冷热分离,一般来说时间较近的数据访问频率较高,这部分数据称为热数据,而时间较远、访问频次较低的数据称为冷数据。将热数据单独剥离出来存储在关系统数据库,把冷数据等历史数据保存在数据仓库等分析型型数据库里,通过这样的方式既保证了热数据的读写性能,同时又兼顾了成本。
上述三种方案各有优劣,在经过严密论证和测试,最终采用了“数据分层存储”的方案来部署上云系统。因为客户目前数据库系统主要采用MS SQL Server,新型数据库支持较少,同时客户也计划未来建设数据仓库和大数据平台来对历史数据进行分析和挖掘,所以此选择为最佳方案。
3.2. 数据备份
应用服务器的备份通过云服务器(ECS)自带的快照功能保留某个时间点上的磁盘数据状态,数据的备份则使用云数据库(RDS)自带的备份功能来实现,按照全量备份-增量备份-增量备份为循环周期按天进行备份。相比原来线下备份方式,减少了数据备份的频率,降低了对计算资源和存储资源的消耗,同时在物流云上资源也保证了整体系统99.95%的可用性。
3.3. 云上安全方案
本次云上系统采用云盾做了全方位安全保障,云盾是阿里巴巴集团多年来安全技术研究积累的成果,结合云计算平台强大的数据分析能力,为提供了诸如安全漏洞检测、网页木马检测以及面向云服务器用户的主机入侵检测、防DDOS攻击等一站式安全服务,并可以提供效益分析与评估。
4. 效益分析与评估
(1)经济收益:借助菜鸟物流云集群资源的规模优势,使得中铁物流的核心业务系统以较低的成本获得了99.95%的可用性,并且实现了“两地三中心”的可靠性保障。同时,中铁物流在进行上云迁移时,充分考察并吸收了互联网企业在云计算架构方面的优势,对原有系统进行了分布式改造, 通过虚拟化、云化的方式提高了服务器的使用效率;另外数据存储方面也通过冷、热数据分离,将热数据保存在性能较好、价改较高的存储,将冷数据存放在性能略差、价格低廉的存储,从而达到了大大节约成本的效果。
(2)运维收益:中铁物流原有系统部署在自有数据中心,硬件、软件、网络的运维工作都需要亲力亲为,随着企业业务的不断壮大,对运维团队带来巨大的压力。本次将业务系统迁移到云上以后,从硬件、系统软件、网络环境到云上产品的运维工作都由云服务上来提供,整体上提供了99.95%的SLA保障。同时菜鸟物流云提供了完善的企业级支持服务,包括售后支持钉钉群、企业至尊快速服务通道、专家代运维服务等内容,为客户提供了7*24小时的支持保障。
(3)生态收益:菜鸟物流云为客户提供了公有云资源服务,使得客户可以按需使用阿里集团在云计算、大数据、数据库、人工智能、安全等多种技术红利,通过公有云租赁的方式、以较低的成本解决了技术难题。此外,菜鸟物流云还对外提供物流业务组件产品,例如货运导航、行业数据池、智能路径规划等能力,来帮助客户提升自身的能力,提高在行业中的竞争力。
5. 主要体会与推广意义
在如今的云计算、大数据时代,越来越多的企业已经选择了云计算服务。假如每个企业都自建一套IT系统,需要投资机房、设备和软硬件,建设周期长,再加上运维的成本,给企业造成很大负担和浪费。公有云正是解决了这样的问题,它具有降低成本、提高系统效能、可用性与可靠性、专业运维、提升安全保障等方面的优势,为企业带来带来更好的行业竞争力。
公有云作为云计算的主要形态,在国内已经发展得如火如荼,但是在物流行业中的普及才刚刚开始,还需要今后在物流行业中广泛推广和应用。
6. 下一步的改进方案与设想
本次中铁物流在菜鸟物流云上实现了核心业务系统“两地三中心”的部署模式,对数据存储也做到了冷热分离部署,下一步将基于目前系统,进一步借鉴更多的互联网技术,将大量的历史数据迁移到云上, 实现云上的数据仓库建设,真正的做到热数据、暖数据、大数据的一体化数据平台。
科技是第一生产力,未来物流行业信息化,需要依赖更多的云服务、大数据等互联网平台与物流业务组件等技术服务,只有这样企业自身才能快速的提高基础设施的建设能力与技术能力,才能提高自身以及物流行业的整体能力,从而更好的为消费者来服务。