负载均衡

来源:互联网 发布:dnf烤机数据 编辑:程序博客网 时间:2024/04/30 07:21

网络专用术语,负载均衡建立在现有网络结构之上,它提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。

编辑摘要
目录
  • 1 负载均衡
  • 2 负载均衡的四个分类
  • 3 常见产品
  • 4 实际解决方案

负载均衡 -负载均衡

负载均衡(Load Balance)

    由于目前现有网络的各个核心部分随着业务量的提高,访问量和数据流量的快速增长,其处理能力和计算强度也相应地增大,使得单一的服务器设备根本无法承担。在此情况下,如果扔掉现有设备去做大量的硬件升级,这样将造成现有资源的浪费,而且如果再面临下一次业务量的提升时,这又将导致再一次硬件升级的高额成本投入,甚至性能再卓越的设备也不能满足当前业务量增长的需求。

    针对此情况而衍生出来的一种廉价有效透明的方法以扩展现有网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性的技术就是负载均衡(Load Balance)。

负载均衡技术主要应用

    1、DNS负载均衡 最早的负载均衡技术是通过DNS来实现的,在DNS中为多个地址配置同一个名字,因而查询这个名字的客户机将得到其中一个地址,从而使得不同的客户访问不同的服务器,达到负载均衡的目的。DNS负载均衡是一种简单而有效的方法,但是它不能区分服务器的差异,也不能反映服务器的当前运行状态。
    2、代理服务器负载均衡 使用代理服务器,可以将请求转发给内部的服务器,使用这种加速模式显然可以提升静态网页的访问速度。然而,也可以考虑这样一种技术,使用代理服务器将请求均匀转发给多台服务器,从而达到负载均衡的目的。
    3、地址转换网关负载均衡 支持负载均衡的地址转换网关,可以将一个外部IP地址映射为多个内部IP地址,对每次TCP连接请求动态使用其中一个内部地址,达到负载均衡的目的。
    4、协议内部支持负载均衡 除了这三种负载均衡方式之外,有的协议内部支持与负载均衡相关的功能,例如HTTP协议中的重定向能力等,HTTP运行于TCP连接的最高层。
    5、NAT负载均衡 NAT(Network Address Translation 网络地址转换)简单地说就是将一个IP地址转换为另一个IP地址,一般用于未经注册的内部地址与合法的、已获注册的Internet IP地址间进行转换。适用于解决Internet IP地址紧张、不想让网络外部知道内部网络结构等的场合下。
    6、反向代理负载均衡 普通代理方式是代理内部网络用户访问internet上服务器的连接请求,客户端必须指定代理服务器,并将本来要直接发送到internet上服务器的连接请求发送给代理服务器处理。反向代理(Reverse Proxy)方式是指以代理服务器来接受internet上的连接请求,然后将请求转发给内部网络上的服务器,并将从服务器上得到的结果返回给internet上请求连接的客户端,此时代理服务器对外就表现为一个服务器。反向代理负载均衡技术是把将来自internet上的连接请求以反向代理的方式动态地转发给内部网络上的多台服务器进行处理,从而达到负载均衡的目的。
    7、混合型负载均衡 在有些大型网络,由于多个服务器群内硬件设备、各自的规模、提供的服务等的差异,我们可以考虑给每个服务器群采用最合适的负载均衡方式,然后又在这多个服务器群间再一次负载均衡或群集起来以一个整体向外界提供服务(即把这多个服务器群当做一个新的服务器群),从而达到最佳的性能。我们将这种方式称之为混合型负载均衡。此种方式有时也用于单台均衡设备的性能不能满足大量连接请求的情况下。

负载均衡 -负载均衡的四个分类

软/硬件负载均衡

  软件负载均衡解决方案是指在一台或多台服务器相应的操作系统上安装一个或多个附加软件来实现负载均衡,如DNS Load Balance,CheckPoint Firewall-1 ConnectControl等,它的优点是基于特定环境,配置简单,使用灵活,成本低廉,可以满足一般的负载均衡需求。

  软件解决方案缺点也较多,因为每台服务器上安装额外的软件运行会消耗系统不定量的资源,越是功能强大的模块,消耗得越多,所以当连接请求特别大的时候,软件本身会成为服务器工作成败的一个关键;软件可扩展性并不是很好,受到操作系统的限制;由于操作系统本身的Bug,往往会引起安全问题。

  硬件负载均衡解决方案是直接在服务器和外部网络间安装负载均衡设备,这种设备我们通常称之为负载均衡器,由于专门的设备完成专门的任务,独立于操作系统,整体性能得到大量提高,加上多样化的负载均衡策略,智能化的流量管理,可达到最佳的负载均衡需求。

  负载均衡器有多种多样的形式,除了作为独立意义上的负载均衡器外,有些负载均衡器集成在交换设备中,置于服务器与Internet链接之间,有些则以两块网络适配器将这一功能集成到PC中,一块连接到Internet上,一块连接到后端服务器群的内部网络上。

  一般而言,硬件负载均衡在功能、性能上优于软件方式,不过成本昂贵。

  本地/全局负载均衡

  负载均衡从其应用的地理结构上分为本地负载均衡(Local Load Balance)和全局负载均衡(Global Load Balance,也叫地域负载均衡),本地负载均衡是指对本地的服务器群做负载均衡,全局负载均衡是指对分别放置在不同的地理位置、有不同网络结构的服务器群间作负载均衡。

  本地负载均衡能有效地解决数据流量过大、网络负荷过重的问题,并且不需花费昂贵开支购置性能卓越的服务器,充分利用现有设备,避免服务器单点故障造成数据流量的损失。其有灵活多样的均衡策略把数据流量合理地分配给服务器群内的服务器共同负担。即使是再给现有服务器扩充升级,也只是简单地增加一个新的服务器到服务群中,而不需改变现有网络结构、停止现有的服务。

  全局负载均衡主要用于在一个多区域拥有自己服务器的站点,为了使全球用户只以一个IP地址或域名就能访问到离自己最近的服务器,从而获得最快的访问速度,也可用于子公司分散站点分布广的大公司通过Intranet(企业内部互联网)来达到资源统一合理分配的目的。

  全局负载均衡有以下的特点:

  实现地理位置无关性,能够远距离为用户提供完全的透明服务。

  除了能避免服务器、数据中心等的单点失效,也能避免由于ISP专线故障引起的单点失效。

  解决网络拥塞问题,提高服务器响应速度,服务就近提供,达到更好的访问质量。

负载均衡 -常见产品


  

1.F5 负载均衡器

  目前全球范围内应用最为广泛的负载均衡设为为美国F5公司。F5公司于2000年底进驻中国,目前已分别在北京、上海、广州、成都、深圳、珠海设立了办事机构。在华拥有超过500位的F5认证工程师,为遍布全国的用户提供全面的技术支持。 在国内业界,F5产品已经成为了主流负载均衡技术的代名词。
  产品技术特点:
  1)全面的负载均衡
  BIG-IP LTM(本地流量管理)包含静态和动态负载均衡方法,包括动态速率、最少连接和观察模式的动态平衡,这些方法用于以整体方式跟踪服务器的动态性能。这保证了始终选择最佳的资源,以提高性能。可支持所有基于TCP/IP协议的服务器负载均衡。可支持最小连接数、轮询、比例、最快响应、哈希、预测、观察、动态比例等负载均衡算法。
  2)应用状态监控
  BIG-IP LTM提供的监视器,用于检查设备、应用和内容的可用性,包括适合多种应用的专用监视器(包括多种应用服务器、SQL、SIP、LDAP、XML/SOAP、RTSP、SASP、SMB等),以及用于检查内容和模拟应用调用的定制监视器。
  3)高可用性和交易保障
  BIG-IP LTM提供了次秒级系统故障切换和全面的连接映射,无论出现何种系统、服务器或应用故障,都能保证它是一个高可用的解决方案。BIG-IP LTM可以主动检测和响应任何服务器或应用错误。
  4)支持NAT地址转换
  提供NAT地址转换功能,能够实现动态或静态地址转换。
  5)支持访问控制列表
  能够实现防火墙的基本功能,建立访问控制列表,拒接IP网段或端口号吗。
  6)广域流量管理器(插件模块)
  为在全球各地的多个数据中心中运行的应用提供高可用性、最高的性能和全局管理。
  7) 链路控制器(插件模块)
  无缝地监控多个WAN连接的可用性和性能,智能地管理站点的双向流量,从而提供容错的、经过优化的互联网接入。比如管理控制CT和CNC的网络流量。
  8)应用防火墙(插件模块)
  该模块可加入到F5设备中,为设备提供更高级的安全服务。
  9)支持路由
  该功能为F5设备中基本功能,但只支持静态路由,如果使用较为高级的OSPF路由协议,需要购买单独的模块来支持。
  扩展应用-降低服务器负载
  1)内容转换
  BIG-IP LTM为将许多繁杂或者重复功能卸载到集中的高性能网络设备上提供了全面的解决方案。SSL、压缩以及BIG-IP LTM的其它多项功能提供了一个完整的内容转换网关,可重定向、插入或者全面转换应用内容,以实现有效且高效的应用集成。
  2) OneConnect
  F5 OneConnect™ 将数百万个请求汇聚为几百个服务器端的连接,确保后端系统能够高效地处理这些连接,从而使服务器容量提高60%。
  3)高速缓存
  智能缓存功能通过将重复流量从Web和应用服务器上卸载,使服务器容量提高9倍,从而实现显著的成本节约。该功能也是业内唯一提供多存储库缓存的解决方案,能够针对各应用或部门管理不同的缓存库,为高优先级的应用提供精确的智能控制。
  4) SSL加速和卸载
  每个BIG-IP LTM设备提供了硬件加速方式的SSL加密,以消除应用服务器的SSL负担。通过加快设置和批量加密,企业可以采用更安全的密码将全部通信迁移到SSL,几乎不会导致应用性能下降或瓶颈。
  优化的应用
  1)智能应用交换
  BIG-IP LTM拥有读取所有IP应用的独特能力,因此,它可以转换并且持续保留特定供应商的应用服务器(Microsoft、IBM、Oracle、SUN等)的独特信息; Web服务应用的XML数据;或者指示移动/无线应用的定制数值。您的企业可以借助BIG-IP LTM转换、记录以及持续保留有效负载或数据流的能力,实现更高的可靠性和可扩展性。
  2)智能压缩
  将应用性能提高至3倍,同时使带宽的使用量减少80%。使用业界标准的gzip和DEFLATE压缩算法减少HTTP流量,通过更慢/低的带宽连接降低带宽消耗量,缩短用户下载时间。这一功能对于压缩多种类型的文件提供了丰富的支持能力,包括HTTP、XML、JavaScript、J2EE应用等。
  3)灵活的第4至7层流量整形
  通过为更高优先级的应用分配带宽,控制流量峰值,并且根据第4层或第7层参数确定流量的优先级,保证最佳的应用性能。即目前我们IDC机房在核心交换机上所启用的QOS功能。
  4) TCP Express
  BIG-IP LTM的高度优化的TCP/IP堆栈(称为TCP Express™)将TCP/IP技术和最新RFC的改进功能,与F5开发的多项改进和扩展功能相结合,最大限度降低了拥塞、丢包和恢复的影响。BIG-IP LTM是一个全代理设备,因此,TCP Express可以屏蔽并且透明地优化服务器或客户端上运行的原有的或者不兼容的TCP堆栈。这样可以使用户的性能提高2倍,并且使带宽效率提高4倍,同时降低您的服务器上的连接负载。
  安全的应用
  1)基础防火墙功能——数据包过滤
  BIG-IP LTM集成了一个控制点,用于定义和执行基于第4层的过滤规则(基于PCAP,类似于网络防火墙),以提高网络防护能力。
  2)资源隐藏和内容安全
  BIG-IP LTM对所有应用、服务器错误代码和真正的URL参考实现了虚拟化和隐藏,因为这些可能为黑客提供关于基础架构、服务及其相关漏洞的信息。敏感的文档或内容将不允许离开您的站点。
  3)定制的应用攻击过滤
  全面的检测和基于事件的策略为搜索、检测和应用多种规则阻止已知第7层攻击提供了显著增强的能力。BIG-IP LTM还采用安全的应用模板阻止已知攻击和针对应用业务逻辑的攻击。额外的安全层可防止黑客、病毒和蠕虫,同时为合法流量提供持续的服务。
  4)隔离协议攻击
  BIG-IP LTM提供了协议无害处理 (Protocol Sanitization) 和充分TCP终止 (Full TCP Termination)点来单独管理客户端和服务器端连接,以保护所有后端系统和应用免遭恶意攻击。
  5)网络攻击防护
  BIG-IP LTM作为安全代理,可防护DoS攻击、SYN Flood以及其它基于网络的攻击。诸如SYNCheck™等特性可为部署在BIG-IP设备后的服务器提供全面的SYN Flood保护。BIG-IP LTM采用Dynamic Reaping(获取空闲连接的一种自适应方法)过滤掉负载最重的攻击,同时为合法连接提供不间断的服务。
  6)有选择的加密
  BIG-IP LTM提供了业界最具选择性的加密方法,对数据进行整体、部分或有条件的加密,从而保护并优化不同用户之间的通信。
  7)Cookie加密
  透明地分配给合法用户的Cookie和其它令牌都经过加密。企业可获得针对全部带状态的应用(电子商务、CRP、ERP和其它关键业务应用)的卓越安全性,以及更高的用户身份信任度。
  8)高级SSL加密标准
  BIG-IP LTM采用市场上最安全的SSL加密技术,支持更高标准的AES算法,而无需额外的处理成本。
  9)抓包工具
  提供tcpdump工具作为抓包分析使用,可用于故障处理,流量分析等方向。

  2.深信服

  深信服应用交付AD产品具备服务器负载均衡、链路负载均衡、单边加速、智能优化技术、SSL加速、商业智能分析等优势功能,将用户访问请求智能匹配到最优的链路,并为用户选择响应最快的服务器,提升用户使用体验,并为企业提供科学管理的决策。
  产品技术特点:
  深信服AD系列产品不仅包含传统的链路负载均衡以及服务器负载均衡的所有功能,同时具备单边加速、DNS透明代理、链路繁忙控制、智能路由、商业智能分析等众多快速、智能的优化技术,能够最大程度提升用户的访问体验。
  单边加速功能
  客户端无需安装任何插件和软件即可提升用户访问速度,这使得用户可以更快更稳定地访问发布内容,打造稳定智能的业务发布平台。
  商业智能分析
  深信服AD应用交付产品区别于传统负载均衡设备,更加关注企事业单位应用的整体交付过程中与业务、网络优化相关的一系列问题。其中最显著的特点就是,在保证应用交付过程中稳定性的前提下,不仅可以知悉组织网络和服务器的运行状况,更重要的是可以帮助组织分析自身的业务系统运行状况,以此为高层的网络优化和业务优化提供决策依据。
  链路负载和服务器负载二合一
  深信服AD产品包括链路优化和服务器优化,四到七层负载均衡,实现对各个链路以及服务器状态的实时监控,同时根据预设的规则将请求分配给相应的链路以及服务器,以此最终实现数据流的合理分配,使所有的链路和服务器都得到充分的利用,扩展应用系统的整体处理能力,提高应用系统的稳定性,改善用户的访问体验,降低组织IT投资成本。
  高投资回报比
  深信服AD系列应用交付产品打破国外厂商垄断,在同等投入水平下,具备链路、服务器二合一负载均衡解决方案,并直接开通SSL加速、缓存、压缩等众多优化功能,获得超出业界同类产品的设备性能
  功能价值
  
链路负载均衡
技术功能 功能价值
负载均衡算法丰富:轮询、加权轮询、加权最小连接等 满足客户多种负载形式的需求,将用户访问请求合理的分配,实现业务快速、智能、稳定的访问
支持入站/出站双向负载 入站流量及出站流量均支持负载均衡,提升组织多链路资源的带宽利用率
DNS透明代理 即使内网用户DNS服务器配置不良,亦能实现上网链路的最佳选择
链路拥塞控制 实时检测多链路状态,避免将请求发送给已过载的链路,提升链路使用率,实现链路保护
链路健康检查 链路健康检查,及时排除链路故障
服务器负载均衡
技术功能 功能价值
负载均衡算法丰富:轮询、URL散列、动态反馈、最快反应等 将用户访问均衡的分配给各台服务器,提升服务器响应速度,服务器资源利用率,以及访问请求的响应速度
数据压缩 缓存及http压缩,答复降低服务器压力,缩短用户下载资源的时间,提升效率
单边加速 客户端无需安装任何插件及软件情况下,大幅提升访问速度,改善用户体验
SSL加速 将SSL加解密工作转交给应用交付设备,降低对服务器资源的占用,提升服务器响应能力
服务器健康检查 服务器健康检查并及时发现故障服务器,保障用户访问的连贯性
商业智能分析
技术功能 功能价值
链路负载报表 提供流量、访问次数、带宽利用率等面数据统计,帮助管理人员直观的了解链路运行状态
服务器负载报表 提供流量、访问次数、并发连接数等数据,帮助管理人员直观了解服务器运行状态
商业决策BI 提供用户时段分析、用户地域分析、用户类别分析等数据,让企业决策者清晰了解访问者分布及特点,为管理提供智慧决策依据
稳定性统计 具备链路稳定性及服务器稳定性报表,管理人员可查看各链路、服务器状态是正常、繁忙还是故障,便于及时调整
设备管理
技术功能 功能价值
智能告警系统 当服务器、应用系统故障时,以邮件、短信等方式通知管理员,以便及时维护并保障业务正常
全中文界面 图形化配置界面,具备配置向导辅助配置,大大降低配置难度
多级授权管理 用户与角色相分离,实现管理权限最大化细分,保障组织信息管理安全性
安全防护 DOS攻击及ARP欺骗防护手段阻挡来自互联网的攻击,提高系统安全性
配置备份/恢复 支持从设备图形配置界面直接备份及恢复备份配置,便于设备管理

  3.梭子鱼

  梭子鱼负载均衡机通过为多台服务器进行流量均衡、网络入侵防护等流量优化和安全扫描机制,实现应用的高可用性和安全性,并通过完善的服务器健康检查机制,为应用提供冗余。梭子鱼使用软、硬件一体化设计,避免了根据服务器台数和端口数的收费方式,为用户提供性价比极高的应用安全负载均衡。
  高可用性与高可扩展性
  据行业分析报告,目前只有不到20%的核心应用实现了高可用性。应用高可用性所面临的巨大挑战包括了持续工作时间的延长、应用的扩容和攻击的防护。梭子鱼负载均衡机使用完善的服务器健康检查对真实服务器进行实时监控,确保用户的请求始终到达健康的服务器,得到正常的响应。对于梭子鱼负载均衡机自身的高可用性,可以通过梭子鱼负载均衡机的集群部署实现。
  对于高流量的应用环境,梭子鱼负载均衡机通过动态权重分配机制根据每台服务器的实时处理能力进行流量的均衡。对于需要会话保持的应用,梭子鱼负载均衡机提供源IP会话保持以及7层的cookie会话保持功能。
  易于管理和维护
  梭子鱼负载均衡机部署简单。通过服务器自动发现功能和友好的Web配置界面,帮助用户轻松完成配置。同时,梭子鱼通过集成的IPS为应用提供实时的安全防护。
  梭子鱼负载均衡机的Web管理界面提供完善的数据统计,对设备的性能、流量等数据进行实时统计,同时提供易于操作的服务配置页面,为管理员提供方便的管理。

负载均衡 -实际解决方案


 

  应用背景

  X集团是一家大型中国连锁性家电销售企业,在集团内部启动了OA建设,保障集团的办公效率。
  对于X集团的本次OA系统上线来说,主要存在着两大可用性挑战:
  1、 内部员工中需要使用此OA系统的人数过万,并发量对OA所提供的访问性能提出了较高要求;
  2、 连锁型企业特性决定了内部OA系统访问人员分散在全国各地,存在一定的链路性能问题,将对OA的推广、实际应用产生一定的阻力;
  3、 为保障内部人员访问的性能,X集团为OA系统配置了多台应用服务器,但尚无较好的方法来平衡各服务器的负担,可能会造成高并发访问的时候用户访问体验下降;
  基于以上的细致风险分析,X集团IT部决定采用国内规模最大、创新能力最强的深信服科技最新一代的应用交付技术来帮助新上线的OA系统实现最佳表现。新一代的应用交付技术由负载均衡技术发展而来,除了拥有传统3-4层负载技术之外,应用交付技术还融合了多项7层应用优化和增强稳定性的功能,使得应用交付技术特别适合在OA系统建设中发挥作用。
  X集团采用了其所提出的在服务器核心交换机前端以双机热备的部署模式部署两台深信服应用交付产品,具体部署图如右图所示:
    部署拓扑图通过在OA服务器群前部署深信服AD系列应用交付产品,X集团实现了以下效果:
  1、负载均衡接收到分支用户的请求,通过预先设定好的负载均衡算法(最小连接算法),然后将数据包发出到当前连接数最少的服务器。后台服务器收到后,将应答包按照其路由发回到负载均衡设备。
  2、负载均衡设备收到应答包后将其中的源地址请求发回客户端,由此就完成了一个标准的服务器负载平衡的流程,保障访问回包处于最快速、直接的路由中;
  3、对于所有应用服务器,同时采用可持续检查服务器的健康状态,一旦发现故障服务器,则将其从负载均衡组中移除。服务器健康检查采用7层应用检测,确保了提供服务器处于工作状态。一旦出现服务器性能急剧下降甚至宕机的情况,其所有连接将被平滑转移到其他健康服务器上,保障OA系统访问体验;
  4、通过合理的调度算法,对后台各服务器的性能负载进行了平衡,使得各服务器均能在性能之内发挥做大作用;
  5. 凭借深信服AD系列应用交付产品的特色功能——单边加速技术,较好的解决基于互联网甚至远程专线里普遍存在的丢包、延迟问题,通过此项技术一些远程发布的应用体验将得到很好的保障。

  最终效果:

  1. 通过合适机制实现了对办公自动化系统对于高性能的要求。
  2. 实现了通过丰富的服务器健康检查机制实现办公自动系统的冗余性;通过上述方案使得办公自动化平台的访问更加快速稳定,全体工作人员的工作效率得到进一步的提升.
原创粉丝点击