虚拟化 频道

互联网云平台架构如何进化?技术大咖这么说!

  【IT168 SACC现场报道】在数字化转型时代,云已成为万物智能的数字化大脑。而随着大数据应用、人工智能、移动互联网等技术的飞速发展,“智慧+”的概念正在深入到各行各业,提升企业效率,释放商业潜能,创造全新机遇。作为国内优异技术盛会之一,2017中国系统架构师大会(SACC2017)将于10月19-21日在北京新云南皇冠假日酒店震撼来袭。

  此次大会以云智未来为主题,云集国内外优异专家,围绕云计算、人工智能、大数据、移动互联网、产业应用等热点领域展开技术探讨与交流。

  10月21日,在云平台架构演进之路专场下中,瓜子云,搜狗云、360 云安全、Datalex等技术大牛分别针对其云平台进化情况做了精彩演讲。

  《分布式存储与离线混部弹性计算平台》

  大会第三日,搜狗云平台资深高级开发工程师申贤强针对HDFS 当集群扩大一定阶段后需要应对的问题,以及具体的 Fedration 的技术,针对 YARN 改进弹性计算框架改进可能遇到的问题做了分享。

  申贤强认为,基于社区的 HDFS 进行元信息的垂直扩展,且进一步优化针对二级目录的拆分,让 HDFS 的元数据更加均匀,降低 GC time,提升 HDFS 稳定性到 99.99%,同时业务发展制约于计算资源的缺乏,因此采用离线混布的计算模型,将资源进行统一管理,提供稳定高效的服务,极大的解决了业务方资源不足的问题。

  对于当初的技术选型阶段,申贤强吐露,通过考察国内外主流企业和互联网企业,为了实现集群的无限扩容,提供高性能、高可用,搜狗云借鉴和自研的垂直扩展Hadoop元信息的技术,即社区的Fedration方案,将集群的管理能力扩展到理论无上限,且保持高性能,稳定性达到99.99%。

  申贤强介绍,搜狗云在分布式存储优化方面,主要分为HDFS Fedration、NameService拆分、FastCopy、等切分、拆分和优化部分,优化后Master的性能和吞吐提升3倍 ,计算性能提升12%以上 ,SLA水平到达99.99%。

  《Event sourcing & CQRS》

  Datalex 资深软件工程师徐少杰在 IT 行业工作 7 年,主要从事 Java 企业级系统的架构设计,系统开发和测试工作。Oracle 数据库 OCA,Java OCP,J2EE 专家,先后在意大利米兰,德国慕尼黑,和欧洲硅谷爱尔兰都柏林工作过,主要涉及领域包括电子商务系统,金融交易系统,银行零售系统和电子旅行订票系统。现任职于 Datalex,这是一家总部位于爱尔兰都柏林,分别于美国亚特兰大,英国曼彻斯特,荷兰阿姆斯特丹和中国北京设有分公司的一家 IT 公司。

  在 Datalex,作为该公司的资深软件工程师,主要参与在核心产品组的设计和开发工作,同时负责对于新人的培训和辅导。负责过公司的 Java 8 和微服务相关技术的使用和培训。热衷于 Reactive Programing, Akka,Domain Driven Design, microservices, serverless 的相关技术。

  徐少杰表示,在过去的一年多以来,可能被讨论最多的就是 reactive programming, message driven programming, distributed persistence, event sourcing, CQRS 和 DDD 了。

  “如果有那么一个新的框架,天生就具备了上述所提到的一系列特性,而其核心是由一系列优秀成熟的技术框架所组成,有 scala 社区全全支持,你是否会考虑使用他呢?是的,它就是微服务领域框架的后起之秀,Lagom,一个基于 Play,Akka,Kafka,Cassandra 和 ConductR 的微服务框架。当我们已经习惯于使用 Spring Cloud,以及 Spring 和 Netflix 提供的一系列开源框架来做微服务开发的时候,当我们还在考虑是否要使用完全异步通信,如何通过事件溯源来达到 CQRS 和分布式持久化,迷茫的站在 CAP 三角的的三个角落,犹豫于选择 A 还是选择 C 的时候,Lagom 发布会也许会给整个微服务社区带来一个全新的改革。”徐少杰说。

  《瓜子云平台落地》

  此次大会以云智未来为主题,云集国内外优异专家,围绕云计算、人工智能、大数据、移动互联网、产业应用等热点领域展开技术探讨与交流。在云平台架构演进的过程专场中,瓜子云平台架构师彭超围绕瓜子云平台现状架构以及部署中的创新和难题做了分享。

  彭超介绍,云平台建设包括持久化集成、任务调度、日志收集、监控报警以及Service Mesh。

  在持久化集成方面,瓜子云平台的特点是多种语言、框架多样化、快速迭代功能。但存在的问题包括如何构建、快速部署、权限管理、简单易用等。

  据了解,目前瓜子二手车云平台部署节点数超过1000+,微服务体量200+,涵盖语言包括:golang, php, java, nodejs, python, c++, scala总QPS:1000k+。

  基于VM的med-sdk,使用方式是在电脑上安装虚拟机,使用Vagrant管理、挂载代码目录。但也存在回收、资源浪费、使用不便的问题。

  在任务调度方面,由于需要自己维护环境、合理分配资源、资源整理的需求,所以需要自动扩容会让缩容,支持多种环境。

  在日志收集方面,瓜子云平台存在采集存档、实时查询、批量处理、报警监控等需求,其中,存在文件日志如何让收集、结构化日志结构改变、实时报警灯难点。在这方面,瓜子云采用挂载盘的方式,软链接到stdout,写到日志收集服务。

  《机器学习与未知样本检测——云中的反病毒引擎》

  反病毒引擎一直是安全厂商的专利,数据为王的时代,基于云端数据反病毒有了新玩法。在大会第三天的云平台架构进化之路专场中,360 云安全研究部架构师毛大鹏从技术上讲:“反病毒引擎”是一套判断特定程序是否为恶意程序或可疑程序的技术机制。 而反病毒引擎大致有三代:特征码引擎、云引擎和人工智能引擎。

  其中,在特征码引擎时代,分为扫描特征码式反病毒引擎、启发式反病毒引擎、主动防御式反病毒引擎、本地模拟器式反病毒引擎等四种病毒引擎。到了云引擎时代,比如某个客户端发现可疑样本时,将样本发送到云端样本分析集群里进行分析跑测,然后将分析的结果形成特征库再下放到全网客户端,形成一个互联网病毒样本自动处理中心。

  而人工智能时代,反病毒引擎技术原理是先通过对病毒样本的分析和分类形成样本向量和向量机,然后建立一个机器学习的决策机模型,利用决策树和向量机,对大量样本进行学习,从而识别恶意程序。


更多信息尽在IT168现场报道专题  http://sacc.it168.com/topic2017/

0
相关文章