云计算技术架构运营专业系统详解

作者:课课家教育更新于： 2017-04-25 19:03:31

　　云技术（Cloudtechnology）基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着物联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。

　　内容摘要

　　一、如何快速实现从0到1的过程

　　二、如何以高可用性赢得用户信赖

　　三、如何提升系统整体的性能

　　大家好，我是逸创云客服(kf5.com)的刘铭。非常感谢DBA+社群给予我的这次分享机会，希望能借此机会跟各位大牛一起交流学习。我分享的主题是，从技术架构看如何打造专业的SaaS客服平台，主要内容涵盖了SaaS客服平台在不同发展阶段面临的问题以及如何解决。整个分享是本人基于实践经验得出的一些体会，希望和大家互相交流，共同进步。

　　一、如何快速实现从0到1的过程

　　互联网创业产品初期规模很小，资金也不多，一般采用简单清晰，容易开发的架构思路。并基于流行的开发语言和框架进行开发，追求尽快将产品打造出来，第一时间进入市场。初期阶段应该关注产品面向的用户群，以及产品如何满足用户需求。要相信好的架构不是设计出来的，而是根据业务发展演化出来的。

　　在这个从0到1，从无到有的过程，逸创云客服采用了常见的LAMP组合，开发框架上采用了Yii。其他类似的组合还有RubyonRails，PythonwithDjango等，这些技术组合大同小异，没必要纠结到底哪个最好。初期技术选型的依据可以从团队人员的技能储备，技术社区的活跃度，招聘人才的人力成本来考量。随着云计算服务平台越来越成熟，建议选择适合的云主机，将服务部署在云上，节约更多的时间与成本，后期也能灵活进行扩展。

　　二、如何以高可用性赢得用户信赖

　　产品打造出来后，如果产品能够解决用户痛点，就会有更多用户来使用服务。随着用户规模增大，web系统响应延迟、数据库查询缓慢等问题日益凸显。在保持产品迭代的同时，就要为架构设计留出更多空间。此时架构设计的首要目标是解决可用性问题，基本要求是不能有单点故障，基本方法就是分层和冗余。首先需要把服务拆分成应用层和数据层，也就是把单台服务器，分成程序服务器和数据库服务器，有的还需要分离出缓存服务器、文件服务器。

     1、通过负载均衡实现应用层高可用

　　负载均衡的目的是为了构建应用服务器集群。当一台应用服务器宕机，会由其他应用服务器接管，整个系统对用户始终保持可用。负载均衡也能起到让集群来分担访问压力的作用。实现方式上，可以先利用Nginx反向代理实现Http转发负载均衡，而规模稍大后则利用LVS实现IP层负载均衡或者数据链路层负载均衡。

　　搭建负载均衡的前提是把应用层变成无状态的。例如web服务中常用的session，这种状态保持要求相同用户的请求都在同一台机器上处理。虽然可以利用session绑定IP的方式，将来自同一ip的请求转发到同一台服务器，但是假设那台服务器宕机，用户状态就会失效，仍然达不到高可用的效果。这时最好的方式就独立部署session服务器，可以利用缓存来实现。

　　2、通过主从复制实现数据层高可用

　　目前主流数据库都支持主从复制，基本原理是从库监听主库的日志变动，将这个数据变动及时同步到从库。从库既可以起到数据备份的作用，也可以在主库出现问题时，取代主库的角色，从而实现高可用。可根据业务的特性，设置合适的主从库比例，一般是一主三从。

　　为了更好的利用数据库主从机制，还可以进行读写分离，从而改善数据库的负载压力。数据写操作必须在主库上，读操作尽可能的在从库上进行。要进行读写分离，首先要面临的问题是数据同步延时。这个同步延时虽然可以通过一些方式来减少延时时间，但始终无法避免。解决这个问题，有一种思路是将更新的数据保存在缓存中，如果在写操作后需要读取，则优先从缓存中取用，但这种方式增大了应用程序的复杂度。另一种比较推荐的方式，是在应用层或数据层做一个代理，这个代理要实现的是在写操作进行后，数据完全同步至从库前，强制从主库读取，这样就能保证数据的实时性。

　　三、如何提升系统整体的性能

　　1、使用分布式缓存提升网站性能

　　通过合理的缓存设计，可以大大减少数据库的访问压力，提高网站的访问速度。常见的缓存服务是Memcached和Redis。在设计缓存的时候，需要注意提升缓存的命中率，在缓存数据更新前至少读两次，缓存才有意义。此外还得保证缓存数据的一致性，可以设置缓存失效时间，并在数据被更新时重写缓存。分布式缓存的存储空间和计算资源不受单机限制，方便扩容和更新。其核心问题是路由算法，数据分布可采用一致性Hash算法，来减小缓存节点变化带来的影响。

　　2、静态内容CDN加速

　　为了使不同国家和地区的用户都能流畅的访问网站服务，可以使用CDN来减少网络延迟。现在有很多云计算平台提供CDN服务，关于各家的服务的对比数据也有很多。选择CDN服务的依据可以从厂商的节点数量，系统现有文件的存储方式，接入成本来考量。

　　3、持续优化用户体验

　　在用户体验上面，除了追求小而美的产品设计，还有个利器就是采用前端框架将web应用转换为单页应用。让用户在浏览器里就能得到如同客户端般的体验，操作网页里的内容不用刷新页面。如今各种前端框架日趋成熟，逸创云客服使用的前端框架有Backbone，Ember。前者属于轻量型，应用在了普通用户聊天端。后者适合处理复杂场景，应用在了客服工单系统后台。

　　使用前端框架的优点是分离了前后端，只通过接口进行交互。后端不用再负责模板渲染，输出页面的工作，web前端和各种移动端角色对等，后端API可以通用化。在进行单页改造时，需要注意利用前端的数据模型层，已经获取过的数据就不用再次请求了，从而进一步提高前端应用的性能，并减轻后端服务压力。另外还要定义好前后端的数据交互规范，可以采用RestfulAPI，还可以使用JSONAPI。如果前端经常需要获取关联的多个资源对象，并且对象之间的关联关系比较复杂，建议使用JSONAPI。

　　4、高级搜索

　　随着业务产生的数据越来越多，当用户需要从关系型数据库中搜索想要的数据时，结果往往不尽人意。因为关系型数据库很难实现中文分词查询，或者按照搜索结果的相关性进行排序，此时就需要搭建一个搜索引擎。开源的搜索引擎有很多，推荐Elasticsearch，原因是它支持分布式实时搜索，提供RestfulAPI，采用多分片机制保证数据安全。在搭建搜索服务时，面临的主要问题是：建立合适的数据索引，高效的搜索语句，数据实时同步。对于前两个问题，需要根据业务场景设计相应的mapping和search语句，这是个不断调优的过程。对于数据实时同步，可以通过监听MySQL的binlog，并利用消息队列将数据同步到Elasticsearch中。

　　5、监控与日志

　　为了实时监控线上业务，在业务异常时快速定位问题，并对用户行为和业务日志进行数据分析，此时就需要搭建一个日志监控系统。基本的功能要求是对分散在各处的日志进行收集，集中管理，支持实时搜索，分析以及可视化。推荐使用ELK组合(Elasticsearch+Logstash+Kibana)，由Logstash对日志记录进行采集，然后利用消息队列将数据传输到Elasticsearch中进行存储，最后通过Kibana对数据进行可视化分析。当用户日志数据量很大的时候，可以通过优化消息队列，增加数据存储节点来解决。

　　“云计算”是一个很时尚的概念，它既不是一种技术，也不是一种理论，而是一种商业模式的体现方式。准确说，云计算仅描述了一类棘手的问题，因为这个阶段，“计算与数据”跷跷板的平衡已发生变化，即已经到“移动计算要比移动数据要便宜的多（Movingcomputationischeaperthanmovingdata）”。

　　“数据”变得越来越臃肿，用经济的眼光看，“数据”应该“固定”下来。想像一下，复制1PiB（1PiB=1024TiB）数据的成本以及存储这些数据的成本，数据变来变去而导致的“一致性”问题。诸如搜索、推荐和社会关系网络等这些“新兴”的服务是很耗费“数据”的，例如，看似一个简单搜索请求，却依赖于一个规模极为庞大的索引数据，处理后输出却很小。输入输出的数据规模远远小于计算的数据处理规模，几百个KiB相对几个PiB，保守点“1:1000,000”。

　　比例问题还好理解，然而问题关键却是云内的数据与数据之间的关系，即“数据的划分问题”。尽管“分而治之”是一个古老的原则，而且分布计算也已经发展了四十多年，然而对这一点，我们的认识依然浅的很。

　　“云计算”代表了一个时代需求，反映了市场关系的变化，谁拥有更为庞大的数据规模，谁就可以提供更广更深的信息服务，而软件和硬件影响相对缩小。

　　云计算是使用与日益增长的Linux、高性能计算和虚拟化等有关的技术实现的一个领域。对于IBM和惠普等公司来说，大型计算机的复苏和刀片式服务器的发展(这两者都要归功于Linux的应用)以及数据中心在能力、数据和处理器利用率方面的效率已经使云计算成为现实。

　　全球著名市场咨询机构国际数据公司（IDC）的《制造业视野》（IDCManufacturingInsights）最新研究报告指出：制造企业将“移动”及“云计算”列为供应链四大新兴技术中最重要的两项。（引自IDCManufacturingInsights,“BusinessStrategy:2012SupplyChainSurveyResultsandInsights,”MI235719,July2012）。

　　如今SaaS平台数量越来越多，由于业务不同，面临的问题也各种各样，处理的方式也各有千秋。希望能通过此次的经验分享，为大家在解决问题时带来一些思路。

　　云计算是过去几年里许多其它舒适的和愚蠢的概念的合乎逻辑的结论。所有这些概念都是旨在为这个机构的数据的组织带来一些条理性，如随需应变的信息、软件服务、虚拟化、Web服务、瘦客户机、SOA和Web2.0。所有这些概念在某种程度上都能够由云计算管理。对于云计算的推广者来说，云计算可能是一种魔毯，让你坐在上面到达一个永远也无法企及的地方。在那里，客户机方面的所有问题都能够通过浏览器解决。

　　更多详细内容，仅在课课家教育，我们期待您的咨询！