虚拟化 频道

百度:海量用户的数据挖掘与行为分析!

     “深刻洞察和理解用户需求”是每一个互联网企业生存和发展的基础,而要达到“洞察”和“理解”就离不开对海量用户进行数据发掘与行为分析。随着社交网络和社会化媒体的掀起,“社交化、社会化”也成为了当今互联网的发展趋势之一。在社交时代,对于广大互联网企业来说,有效的数据挖掘和分析算法不仅可以深度分析用户属性和用户关系,并获取用户的真实反馈,从而在此基础上对产品进行针对性的优化和改进,达到真正满足用户的需求和喜好,最终提升用户的使用体验并增强其对产品的使用黏性。 

    2012年1月7日,由百度发起的技术沙龙第二十二期在京如期举行。尽管元旦刚过,春节即将来临,但丝毫未能影响工程师们参会的热情,仅通过微博报名的工程师就多达119人。当天,来自国内各大互联网企业的数百位软件工程师围绕“海量用户的数据挖掘与行为分析”这一互联网领域基础却又前沿的话题,进行了深入的探讨和交流。百度网页搜索部用户行为分析方向高级工程师彭滔和人人网Social Graph算法工程师张叶银,分别从“搜索引擎评估与互联网用户行为分析”和“社会化推荐算法在人人网的应用实践”两个维度出发,与广大工程师们就相关领域分享了多年来的经验和体会。  


▲图:百度技术沙龙持续“爆棚”

    据中国互联网信息中心(CNNIC)的报告,搜索引擎已经成为中国互联网的第一大应用。而作为全球最大中文搜索引擎,百度每天响应着来自138个国家和地区的30多亿次请求。基于如此海量且千差万别的用户需求,如何判断一种新的排序算法优劣与否?

    彭滔表示,搜索引擎的评估主要与“相关性”以及“快、准、全、新”两个维度有关,其经典的衡量指标是是“DCG”(Discounted cumulative gain)。彭滔颇有新意地以“史前时代、农耕时代、机器时代、X时代”四个时代为喻,介绍百度在互联网不同发展阶段的评估方法。在“史前时代”,百度的评估主要依靠人工,评价结论给出的时间也相对滞后;在“农耕时代”,则“进化”到了众包和百度搜索评测平台(wse,web search evaluation)的方式,主要依靠集体的智慧进行评估;到了“机器时代”,则是直接利用线上实验,验证策略的好坏,主要的方法包括AB testing、Bucket testing等;面对未来的“X时代”,彭滔认为主要将面临“人工评价与AB testing指标存在冲突、短时用户喜好与长期用户成长之间的不同、以及交互与社会化元素的评判等问题。” 彭滔最后强调,“无论是史前时代、农耕时代、机器时代还是X时代,搜索引擎评估的根本原理都没有改变,评估算法最终都是在评估用户的体验。”


▲图:百度网页搜索部用户行为分析方向高级工程师 彭滔

    Social Graph作为社交网络的基础,为人人网提供了基础的关系服务,保证了好友推荐的有效性以及信息流通的时效性。在Social Graph基础上,可以发现好友及好友间的层次关系,它是真实生活圈的映射,基于这些网络关系,用户可以迅速找到感兴趣的人和事,从而促进人与人之间的交流。张叶银介绍,推荐系统在人人网的整个系统中异常重要,主要是给用户推荐他可能感兴趣的东西,包括好友推荐、商品推荐、文档推荐、广告推荐等,主流的推荐算法有协同过滤、内容过滤、社会网络等。对于推荐系统的评测,一般可从准确度、覆盖率、多样性以及新颖性等方面去评测。

    在分享中,张叶银还以社交化的好友推荐、个性化推荐等为例,对“无监督的聚类分析和有监督的学习算法”的应用进行了详细阐述,诸如贝叶斯推理等知识引发了与会者的极大兴趣。
时值岁末年初,本期技术沙龙还特别邀请了丁香园CTO冯大辉,与非网的首席架构师姜太文、海豚浏览器CTO刘铁锋、百度项目管理部高级工程师乔梁等互联网权威专家、技术达人来到现场,对2011年的技术应用进行全面回顾与精彩点评,并对2012年互联网技术发展趋势进行了展望和预测,让工程师们可以紧跟互联网的技术脉搏。


▲图:海豚浏览器CTO刘铁峰解读2012技术趋势


▲图:百度项目管理部高级工程师乔梁分享持续交付的发展

    在互动讨论环节,与会工程师纷纷结合实际工作中的问题,就数据挖掘、行为分析、搜索评估、推荐算法等技术领域,向讲师及嘉宾们进行了针对性的提问,大家在踊跃发言、各抒己见的氛围中共同寻求问题的解决之道。 


▲图:Open Space环节

    迄今为止,秉承“畅想、交流、争鸣、聚会”理念的百度技术沙龙已经成功举办了22期,在为互联网工程师、软件开发者提供一个快速学习和不断成长平台的同时,自身的行业影响力也在不断扩大。在业内人士看来,作为中国互联网领导企业的百度,以开放的心态无私分享其领先的技术理念和技术实践时,将能吸引越来越多的企业加入到开放分享的行列中来,从而用集体的力量,推动中国互联网行业的技术发展和变革。
 

特别提醒:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。
0
相关文章