杨明川：运营商大数据，困难中前行
互联网IDC圈1月7日报道，1月5-7日，第十届中国IDC产业年度大典（IDCC2015）在北京国家会议中心隆重召开。本次大会由中国信息通信研究院、云计算发展与政策论坛、数据中心联盟指导，中国IDC产业年度大典组委会主办，互联网IDC圈承办，并受到诸多媒体的大力支持。
中国IDC产业年度大典作为国内云计算和数据中心领域规模大、最具影响力的标志性盛会，之前已成功举办过九届，在本届大会无论是规格还是规模都"更上一层楼"，引来现场人员爆满，影响力全面覆盖数据中心、互联网、云计算、大数据等多个领域。
中国电信北京研究院杨明川博士出席IDCC2015大会并在大数据应用与安全技术论坛发表主题为《运营商大数据，困难中前行》的精彩演讲。
中国电信北京研究院杨明川博士
以下为杨明川演讲实录：
大家好，我是中国电信北京研究院云计算大数据产品线负责人，今天给大家分享从运营商这个角度来看怎么在大数据产业中进行创新。首先回顾一下大数据产业的发展。具体的细节我不说了，里面有几个判断，第一个判断，大数据从开始爆发到现在，特别是去年下半年到现在过了发展的炒作期，整个产业大数据的价值并没有以前想象的来的那么直接、那么快，整个产业还是处在从高峰回落的阶段，但是整体来讲大数据产业很快会迎来复苏。第二个判断，大数据产业复苏有几个驱动力，第一是政府大力的支持大数据产业的发展，政府出台了很多相关的大数据措施，政府也在建国家级的大数据开放平台。第二，一个新的机遇是互联网+，现在大家觉得比较有意思的比较成功的案例来自于互联网领域，大数据未来的空间可能在互联网+，后续的发展怎么围绕互联网+是我们下一步考虑的重点。
云和大数据之间是密不可分的，站在互联网+的角度来讲，云和大数据是打造整个互联网+的基础设施，互联网+有几个大特征，它的移动化、低成本、大规模协同、扁平化、信息透明、按需定制等等，在驱动互联网+往前发展的时候，云计算解决的是信息基础设施的问题，通过统一的云计算平台，使互联网+能够朝线下系统朝线上系统迁移，实现平台化，实现扁平化，实现低成本。大数据扮演什么角色？大数据在互联网+里打破了信息壁垒，信息壁垒来自于我们的服务提供商和客户之间，我们的产品和用户之间，我们的产业链上游和下游之间，大数据通过打破信息壁垒的方式构建更加高效、更加有效的平台，大数据使得我们更透明、更有效、更可信。云计算和大数据未来真正的空间是构建互联网+的浪潮中。
从我们研究的实践来看，数据和技术双驱动，数据这条线是大家比较关注的，我们需要有持续的、庞大的数据源，这个数据源来自于运营商，来自于政府，来自于企业，来自于未来可能有物联网，这个庞大的数据源是所有做大数据的基础，但是光有这个数据源不行，还要接下来从数据层面上把数据打通，刚才魏凯讲了，国内现在在大面积地做数据交易平台，包括政府、企业，就是要把数据打通，在这基础上我们要实现数据的价值。但另外做所有这些事情都离不开技术，基础设施方面，Hadoop也好，NoSQL也好，是基础设施层面的大数据技术。接下来进行大数据的算法分析，包括机器学习，各种各样的大数据的分析手段，应用层的数据可视化，这两个明显的线条是驱动大数据发展的产业结构。从运营商的角度来讲，我们目前还在左边，我们在基础设施层面、创新层面，未来这两条线是我们关注的重点。
从运营商做大数据来看，我们做的几年中，这里面遇到了很多困难和困惑，这个困惑有整个产业的困惑，也有我们来自运营商角度的困惑。数据壁垒，所谓的数据壁垒包括企业内部的数据壁垒，整个产业有数据壁垒，大家都知道大数据是核心资产，是金矿，既然是金矿大家都不愿意拿出来，产业中各个公司之间的数据很难流通，甚至很难去交易，大企业内部不同部门之间、不同系统之间的数据仍然因为技术的问题，因为机制的问题，也存在着一些壁垒。数据的完整性，大家都知道大数据和小数据、结构化数据很大的差别是它很庞大，很庞大的同时带来一个问题，数据的完整性远远不如之前做BI、做统计分析，大数据的数据壁垒，还有数据关联性、数据的实时性、数据的污染。做的过程中由于数据采集方式的问题，也有恶意的问题，会不可避免地导入一些失效的数据或者错误的数据，怎么有效地识别和处理污染也是一个大问题。
结果就是两大块，我们会越来越意识到数据的价值不如预期，另外一方面我们发现我们通过大数据做出来的东西它的结果是很难验证的，这里面无论是技术还是应用方面，现在还没有完全有效地发展出一套大数据层面上验证结果有效性的手段，从我们做创新的角度来讲，有几个关键性的问题我们要考虑，数据质量不高是常态，怎么建立更加有效的方法。大家都知道，大数据在这么庞大的数量下，特别是数据质量不高的情况下怎么去运作。第二，大家之前一直在谈四个V，有一个谈到价值密度的问题，我们怎么寻找价值的高地，再加之密度很低的情况下找到有价值的地带，大家都知道四个大金矿，但金子是很难挖出来的。用户的隐私保护很重要，如果我们管得过死，什么事也干不了，怎么找到最佳的结合点。整个产业有这个问题，运营商不可避免地也会遇到这样一些问题。
从运营商来讲，我们主要接触的是网络大数据，我们重新再思考一下运营商的大数据的应用特征。有几个特征值得认真地check。大数据的廉很重要，就是便宜，Hadoop是一个很廉价的手段，不仅仅是因为它是开源的，他做大规模处理的时候是很廉价的。我们做大数据，追求的不是要像原有的数据分析方法那样得到高质量的、高价值的结果，大数据的核心是在低成本的方式下做一个可接受的成本，这是大数据首先要考虑的问题。第二是快速，数据的价值随着时间快速地衰减，现在再去用一年之前的数据就没有多大价值了。数据处理的速度越快，数据价值越高。三是维度的问题，所有的数据只有发生关联才有价值，怎么解决同一个对象的多种描述，怎么把不同维度的数据关联起来，这是很重要的一个特征。最后是大数据是产业层面上的问题，不是一家企业独自就能把大数据做起来，它一定是在产业链条的不同维度，不管是时间维度还是空间维度各方的数据进行有效的关联，它得到的数据价值才是大的。基于我们现在的思考，这两条线不是分离的，是密切缠绕在一起的，相互之间是连接的，我画了一个图，跟DNA的双螺旋很相似，螺旋一条线是技术创新，一条线是应用创新，它们之间密切关联，而且密切缠绕在一块。我们现在做的事情其实就是围绕这两条线去做创新。
先来看技术这条线，刚才讲了我们有很多问题和困难，怎么去解决这些问题和困难呢？我们觉得下一步我们首先要克服这些问题，数据拼接，把系统内部不同的数据和来自不同系统的数据拼接在一块，这是两个层面的拼接，一个层面是同一个描述的不同，比如运营商有中国电信、中国移动、中国联通，不同的运营商都有不同的客户群，把不同客户群的数据怎么拼接在一起，这是一种拼接的维度。还有一种拼接的维度，大家做分析的时候，比如我们有社交媒体的数据，也有网络行为的数据，也有打电话的数据，这些数据怎么归结到一个对象上，这是从不同维度的拼接，这是一个关键的问题。
深度标签。大数据很常见的输出方式，我做用户画像，通过标签来体现，怎么通过对用户的深度分析得到深度的标签。我套一下高尖这个词，通过多种处理之后高度抽象的词，更准确地刻画一个对象。行业知识建模技术。互联网+一定是和行业相关的，我们之前做行业遇到的大问题是我们需要很深的领域专家，怎么把领域知识数据化，这是大数据接下来面临的关键问题。还有一些问题我就不细介绍了，基于场景的智能推荐技术，海量模糊数据降维和关联分析技术，大规模交互式数据可视化技术，数据安全和隐私保护。
我们做了很多尝试。多维异构的数据拼接，最早我们依赖于Hadoop的数据库方式，这种更多的是线性结构，虽然我们没有结构化，虽然我们的数量很大，但更多的还是以线性的表格方式去做。我们要解决多维异构的拼接方式，我们现在在用图的方式构建关联模型，用ID作为关联方式，我们把不同的数据、不同来源的数据、不同特征的数据，通过图的方式把它关联起来，构建一个巨大的图的模型。我们现在数据库里有上千万、上亿的关联，能够把一个用户不同的ID关联起来，这样的话同时也为我们带来一个新的空间，未来做大数据，从对人的分析会进到对物联网的分析。
第二，我们称为基于行为的深度标签技术，我们给用户打标签有两种，一种是固态化的固定的标签，比如性别、年龄、特征、工作单位、住哪儿，这是硬的标签，大数据里真正有价值的是软的标签，我分析一个人的性别，并不是从身份证上看他是男是女，而是通过他的各种行为，他的网络浏览行为、他的兴趣爱好，从这里面构建一个更加灵活的性别标签。每个人的性别行为是很复杂的，没有那么简单，男性也有女性化的倾向，女性也有男性化的倾向，我们觉得未来的深度标签可能是更加模糊、不是零和一的状态，这是一个例子。未来我们希望通过机器学习的方式，归纳出深度的基于行为的标签，这些标签未来会更有价值。目前我们在这方面做了一些尝试，做了一些算法，具体的原理我们就不讲了，算法本身不是很复杂，关键是在你自己的数据级上，在你自己的数据基础上怎么对这个算法进行优化和调整，能够对算法的结果进行不断的迭代。
行业知识建模。从数据置顶开始说，商品的字典、视频的字典、APP的字典，我们要把线性的字典方式的行业知识下一步转化基于知识图谱的行业知识，知识图谱的行业知识谷歌、百度做过，就是把不同的对象能够关联起来，这个关联是在知识结构上的关联，通过这种关联构建一个知识图谱的话，能够把行业知识做成可溯，基于知识图谱的图和我前面讲的图一整合，就会得到更多有意思的研究。大规模数据可视化，数据可视化已经做了好多年，我们做的过程中会遇到很多问题，当我的数据级达到千万以上，达到亿以上，这个可视化的工作从算法上从处理上会非常复杂，这里面我们做了一些技术创新。
前面在技术层面上做了一些探索，因为时间关系我不可能讲得那么细，如果大家有兴趣的话会后再进一步交流。刚才讲的是技术这条线，我们做数据的目的还是从数据层面去产生价值。运营商的数据价值，总结了一下，我们从四个维度去体现，时间维度、空间维度、社交维度和触媒维度，从触媒的维度看，之前做了很多市场研究，现在我们的大数据平台叫灯塔，我们做了很多研究分析报告，我们发现还有运营商的数据做市场研究最有价值的地方，是把不同维度的分析关联起来，通过多触媒去做这个分析。比如我们把用户网上购物的行为和他看在线视频的行为、他在微博上的行为，如果把不同领域的行为做关联得出的结果会远远大于单领域的分析，我们做了很多分析报告，大家感兴趣的话到时可以到我们微信公众号上看。
基于时间线的消费者决策路径，大数据大家都知道，最先用的领域就是做精准营销，精准广告、精准投放，大数据里面它真正的价值不在于短平快的商品的精准，它的价值在于在长线上，从时间轴上看，我们做一个商品的决策时候，大型的家电需要几个月的时间，买汽车需要半年的时间，买房子需要一年的时间，做这个决策的时候会有很多阶段，我们会去浏览，会去询价，会去征求亲朋好友的意见，会去比较不同的商品，整个过程中我们发生多个营销的触点，它会散落在不同的媒体上。比如我们在搜索阶段，我们和搜索引擎打交道，我们比价的时候和垂直网站打交道，征询意见的时候在社交媒体上打交道，真正买单是线下实体店打交道，每个环节都可以对它进行一些触及。征信，比如企业征信，我们会从不同的维度看这个事情。我们从空间维度上发现大数据和人口的流动、人口的迁徙、基于空间维度上的偏好。
最后我们以上做的那些工作，我们开发了一个大数据的创新平台叫灯塔，打造了5+1+1的灯塔体系，我上面讲的都包含了，大家感兴趣的话关注一下我们的微信公众号。这是我们在应用和技术层面上的创新，希望以后大家多交流。
当前名称：杨明川：运营商大数据，困难中前行
当前网址：http://azwzsj.com/article/sopdgs.html
