网络应用已经成为人们日常生活中必不可少的组成部分,并为人们的生活提供了便利。如滴滴打车,即满足了人们随时随地的打车需求,也保障了人们出行的安全轨迹;美团外卖,满足了人们足不出户,就可以享受多样化食品的需求。网络应用的爆发式地增长,使网络客户端对服务器端的高并发访问成为一种常态现象,从而带来数据过热现象,很容易影响分布式服务器处理能力的稳定性。基于系统稳定性的考虑,文章设计了一种高并发访问下的分布式系统结构。现有分布式系统架构着重于客户端访问量与服务器端并行处理间负载均衡的策略设计,并已普及到各个应用领域。马献等[1]利用Kubernetes集群搭建基于容器技术的分布式架构数据中心,以实现各类临床数据的结构化、标准化和归一化等处理。郭凯等[2]设计了一种基于分布式架构的地震观测数据的存储、计算和分析处理方法。该方法基于Spark分布式架构用于支撑海量数据处理,采用弹性数据集Spark RDD将计算任务自动分配到计算节点,解析并计算测震波形结果。耿晓利等[3]为了解决高并发场景下的程序崩溃、服务宕机以及数据出错等问题,设计了一种基于分布式架构的高可用新型电子商务系统,为百万级别流量系统的软件架构技术选型提供了一种可行的服务化治理方案。文章设计高并发访问下的分布式系统架构,通过接入层分离应用层中客户端的读、写访问,并在计算层搭建对应读、写访问的主、从服务器的分离处理构件,从而提升在高并发访问下分布式系统的稳定性。1高并发访问下的分布式系统架构高并发访问下的分布式系统架构如图1所示。10.19301/j.cnki.zncs.2023.03.002.F001图1高并发访问下的分布式系统架构信息系统的建设过程中,各种数据软件具有复杂和不确定性,涉及工业互联网、设备物联网等,造成数据量剧增,在大规模数据处理、查询与分析数据服务的云化、可靠、透明过程,需要对数据处理进一步细化,并要求大规模弹性的平台支撑。为了在去中心化和全球化之间取得平衡,通过自动化和增强集成、联合治理以及激活元数据等技术,系统架构能够在分布式环境中实现动态和智能数据统筹,创建一个即时可用的信息网络,为企业提供动力,独立于部署平台、数据流程、地理位置和架构方法;基础数据存储与大数据系统需要融合,传统软件实现架构与技术体系需要优化,已有数据库产品在可用性、扩展性层面需要升级,通过数据存储的融合技术实现数据多副本、水平弹性伸缩、数据一致性、透明高可用、分层解耦融合等操作,通过多引擎融合解决数据多样性存储的横向打通,持信息系统结构化数据、工业物联网时序数据、科学引擎接口数据的可扩展接入。大规模并发访问系统架构设计的核心指标是稳准快,技术关键包括连接池、读写分离(动静分离)、热点数据、高性能、一致性和高可用、自动运维。借助专业的分布式数据库和管控平台解决大规模并发访问及混合计算和运维管控的技术需求,由数据接入和存储解决数据请求层面并发访问的技术需求,数据管控解决系统健康维护及运维管控的运维需求。(1)数据接入和存储。数据接入层支持常见数据接入,使得上层业务对下层数据库的架构更加透明,解决数据库耦合问题的同时起承前启后的作用,支持强大连接池功能、读写分离和负载均衡,通过智能的分发算法、流量转发、权重配置等特性承担大规模并发访问的需求。存储系统需支持计算与存储分离、共享日志存储、软硬件分层优化,计算层通过物理复制快速自由扩充节点,分布式存储层基于多副本安全存储,存储容量不受单机限制,支持秒级扩容。支持混合事务模型,分别支持OLTP(联机事务处理)和OLAP(联机分析处理)业务,实现对外一致接口和内部数据透明同步,支持两种引擎混合存储和访问。(2)计算与存储分离。将数据计算节点和数据存储节点完全分离,可以按不同业务场景进行分层优化。其中数据存储节点底层使用分布式存储系统,最大存储的数据量可以支持100 TB。计算节点也可以按需扩展节点。(3)弹性伸缩。借助计算存储分离、秒级快照等优势,可以动态增删计算节点和存储节点,以实现弹性扩缩容。(4)物理复制。主从实例直接读取物理日志,将日志应用到数据页中,极大地减轻了从节点引擎的负担,也不存在主从之间的延迟。(5)无锁备份与快速恢复。利用分布式存储的快照技术可以实现无锁备份,整个数据库的备份过程在分钟级别即可完成。(6)多模数据引擎。支持多模数据库,分别支持OLTP和OLAP业务,并实现了对外一致接口和内部数据透明同步,支持两种引擎混合存储和访问。2系统功能分布式系统架构中,系统功能主要包括:OLTP与OLAP引擎共存,两种引擎在一个用户界面下,用户可以使用JOIN等语句实现两种引擎的关联查询;OLAP与OLAP引擎透明复制,引擎之间的数据复制通过底层内核级编码实现,用户不需要关心同步细节,同步达到准实时级别;用户可以将高频事务表放在OLTP引擎中,将大规模数据量和大范围查询的表放在OLAP引擎中,通过相关特性实现关联查询;混合引擎架构具有开放性,未来可以引入更多优秀的计算引擎,以增加整体能力,发展模式不仅是OLTP+OLAP两种引擎的混合,未来还会有更多的计算引擎融入,实现真正的技术发展思路;支持智能化SQL优化体系,在Server层执行SQL时,可以根据SQL的类型通过衡量性能高低自动智能选择使用OLTP引擎或OLAP引擎,最大限度地提升系统性能。3可扩展功能(1)系统化资源管理。统一管理主机和数据库资源,通过资源录入功能,实现自动侦测发现已有数据库集群及其拓扑结构,并对数据库实例和数据库集群进行统一管理。(2)多样化的产品支持。支持官方版MySQL以及MySQL的各种分支版本,也支持Redis、Oracle、MongoDB等数据库。(3)自动化安装部署。实现多种数据库和集群架构的一键式自动化部署,避免重复性操作和人工误操作,提升工作效率,保证部署的规范化和正确性。(4)定制化监控告警。内置数据库日常巡检以及定制化监控告警功能,实现各种告警阈值和告警通道的动态设置及巡检报告的格式化输出。(5)自动化数据备份与恢复。可平台化定制数据库备份策略,自动化完成备份任务,同时根据实际恢复需求,实现自动化数据恢复,保证数据安全。4建设应用在载人航天相关数据的高并发分布式建设中,主要考虑场景的系统和数据特性,如大量的航天数据分散存储在五大支持中心,数据库种类繁易引起数据孤岛问题;多种异构数据源快速统一入库引起的数据接入和并发响应问题;数据库接入方式单一,无法解决多种任务类型、多种数据格式相互和接入的问题;系统架构封闭,不具备快速对接新引擎,航天数据工程无法快速享受技术红利实现系统能力快速提成的融合问题等。采用支持高并发访问下的分布式系统架构,建设了一套航天空间站应用平台。平台包含功能模块数50多个、数据接口200多个、设备协议1 000多个。航天空间站应用平台实现了空间站多维数据融合与海量数据的存储与计算,解决10多种任务类型、数百种数据格式、五大支持中心的各种数据源类型统一入库的数据融合场景;实现了空间站数据化建设中,大量用户大量数据访问的高并发、低延时场景应用,并在相关核心舱等关键组件的发射成功的实际场景中得到了有效验证,线上处理经验已逐步积累,在一定程度上为载人航天事业的发展提供了支撑。5结语文章针对由客户端高并发访问引起的数据问题,设计了一种分布式系统架构,并实际应用到载人航天数据系统的场景建设,通过实际系统应用证明,该在系统架构中各构件组成的基础上,系统化设计构件内和构件间的多个系统功能及可扩展功能模块。系统架构通过接入层分离应用层中客户端的读、写访问,并在计算层中搭建对应读、写访问的主、从服务器的分离处理构件,从而提升在高并发访问下分布式系统的稳定性。随着该设计在更多场景中的实际建设使用,更能有效改进和完善相关理论和架构技术,为相关应用设计建设提供支撑。
使用Chrome浏览器效果最佳,继续浏览,你可能不会看到最佳的展示效果,
确定继续浏览么?
复制成功,请在其他浏览器进行阅读
复制地址链接在其他浏览器打开
继续浏览