Teradata首席技术长宝立明：大数据将消失，但融合到你的业务中了
大数据这个关键字从去年红到今年，早已成为科技业的重要趋势，研调机构IDC便预测2015年将有超过25%的企业导入巨量资料方案，而美国专业招聘公司罗致恒富(Robert Halt)公布的《2015薪资指南(2015 Salary Guide》更把大数据工程师列为今年薪资涨幅大的六大行业之一，预计薪资年成长率9.3%，平均年薪119,250美元至168,250美元。
台湾从企业到政府也人人高喊大数据，连向来对新科技接受速度最慢的政府都开始动作。行政院长毛治国甫上任祭出的科技三箭，就有两箭跟数据息息相关，一个是开放资料，一个是大数据，新北市政府日前也推出全国第一个「传统产业大数据应用示范计划」，希望导入大数据分析，帮助金属、机械和纺织等传统产业转型，还在日前的新北大数据论坛活动中请来美国大数据分析与储存技术公司Teradata首席技术长宝立明(Stephen Brobst)来分享大数据趋势。
Teradata中国专区落户36大数据>>>
宝立明此次来台除了出席新北大数据论坛分享大数据趋势，更受邀至行政院与毛治国畅谈开放资料政策，分享美国政府开放资料的经验以供台湾借镜。宝立明去年被ExecBank选为全美排名第四的CTO(前三名分别是亚马逊、特斯拉和英特尔)，在2500名顶尖CTO中脱颖而出，他不仅是全球一流的数据专家，更曾成功创立三家提供数据服务的公司，后来陆续被IBM、NCR等大厂并购，他也是欧巴马的创新科技顾问委员会的一员。
身为全球顶尖的大数据专家，宝立明在接受《数位时代》专访时却说，他认为大数据这个词将会在五年内消失，并认为从物理学家到社会学家都会是优秀的数据科学家，以下为宝立明专访的内容摘要：
1. 大数据这个词近年来非常火红，但也有人认为大数据已处在泡沫期，您怎么看这种人人高喊大数据的现象?
我承认现在整个社会上瀰漫着一股大数据热潮，但我认为这不失为一种好现象，因为这让大家注意到这个世界上还有许多尚未被挖掘，并且充满价值的资料，我认为在这股热潮当中，其实是有黄金的，但就像你说的，其实还是有很多人不知道大数据是什么意思，更不知道怎么用他。
他们以为大数据就是指大数目的数据，事实上，我认为这是大数据中最无趣的部分，我们真正在寻找的是非传统的、而且未曾被挖掘过的资料，并且从这些资料中去提炼出价值，我相信在五年内我们就不会再使用「大数据」这个词了，到头来大数据就只是资料而已，不是吗?资料是很重要，但是这个世界上还有一大堆以往根本不被视为是资料的资料在那边等着我们挖掘，到最后，人们会开始回头分析这些资料，他们会发现，大数据不过就只是数据的一种，大数据、小数据、结构化、非结构化的资料…这些称呼通通都不重要，因为这些都是资料啊，这是我认为为什么到最后大数据这个词汇将会退烧的原因。
2. 你认为数据经济以后将会成为每个企业的DNA吗?
是的没错，人们将会依据一家公司是否有效地运用数据，来定义这家公司是否成功。大数据这个词也许是三年前才出现的，但其实它早在十年前就有了，概念比名词出现得更早，在八年前发生了一个比较重大的转变，人们从研究一笔交易变成研究互动，我们开始往下钻研，不只研究一笔交易，更研究真实的顾客体验，因此我认为虽然不是每一个，但许多大数据应用必须要能够更妥善了解顾客的行为和体验。
我认为大数据发展可以分成三阶段：
第一阶段是.com时期，人们研究log资料，搜集人们的Cookie和搜寻行为等等，这类分析已经存在很久了，我们不只知道使用者买了什么东西而已，而是更深层地去分析行为，一笔交易只告诉我价值，但没有告诉我顾客体验，大数据想要去分析的是顾客体验。
第二阶段是社交网站，这也是我们现在正在经历的阶段，我们分析Facebook、Twitter、部落格文章…等等等，这可以帮助我们进一步了解顾客行为。
第三阶段是物联网，这是我觉得最有趣的阶段，有些企业已经开始分析来自传感器的数据了，在这边我说的物联网不只是穿戴式装置或智慧家庭而已，我说的是机器与机器之间的沟通，这些资料的价值很值得被研究。现在制造业都会订下一些规矩，例如我们的汽车每半年就要进厂维修，就跟人每年都要去做健康检查一样，我认为这是非常过时的想法，一旦我们用传感器去搜集引擎、汽车和生理数据，我们就可以精确知道何时需要进厂维修或做健康检查，这就叫做预测性维修(condition based maintenance)，这个概念对于促进顾客体验、效益和健康保险等领域非常重要。
3.你对大数据的定义是什么?
一般来说我们用3V定义大数据，容量(Volume)、快速(Velocity)与多样性(Variety)，其中我认为最重要的是多样性，资料不只来自那些传统管道，有更多来自非传统管道的非传统资料产生，我认为价值(Value)是第四个V，人们常常忘了这件事，他们专注于技术，却忘了创造价值，但这却是一个大数据计划能否成功的关键：这不只关乎技术，而是你能用技术创造出什么价值。
4.台湾有许多中小企业，许多中小企业也许认为大数据是个离他们很遥远的概念，因为他们根本没有「大数据」，您会给他们什么样的建议?
这些小企业一看到大数据就会想说，喔这一定是很大的数据才有办法做，但数据的量其实从来都不是重点，我认为「大数据」是个非常差劲的命名，因为它让人们直接联想到「大」，但数据的大小其实是最无趣的部分，最重要的其实是那些你从来没有想过可以用的数据以及那些非传统的资料，我认为这才是人们对大数据应有的认知。
有许多新创企业在思考如何用大数据创造全新的商业模式，例如硅谷最近有一个正在做P2P交易服务的新创公司，比如说我们一起去吃午餐，你买单，然后我透过手机给你我的部份的钱，这不是什么新的概念，但这家公司有趣的地方他不收任何手续费，而银行一点都不喜欢这个主意，你知道现在的银行交易都必须额外负担手续费，银行于是说：「你怎么可以完全不收手续费?」这家公司说，因为这些交易资料本身的价值远远超过手续费本身。
从此之后，这家公司会知道你我之间有一种连结，如果我们每个礼拜五都出去吃饭，他们就可以判断我们之间有强烈连结，如果我们一个月或一年才吃一次，那么也许我们之间的连结比较弱，这家公司可以藉此判断人与人之间的关系强弱，你也许会说：那又怎么样?这可以干嘛?这家公司将会知道谁是社交意见领袖，如果他要卖新产品，他可以先从这些人开始着手，例如我也许会买他的东西，但我没有朋友(笑)所以它就只能卖出一项产品，但你有一百个朋友，你也许是个疑心病比较重的人，所以我要花比较多功夫来说服你买东西，但你一旦用了而且觉得好用，那么你很有可能会将这个讯息散播给你其他一百个朋友，那我搞不好可以再多卖50个产品，这就是一个善加利用社交数据，而且突破旧有思考模式的例子。
5. 如何用大数据创造商业模式?
这是个颇为复杂的问题，因为大数据是由很多不同元素组成的，我会把大数据认定为是比交易系统更深一层的互动分析，首先，如果你有一笔订单，你就得到了顾客的价值，但你无法了解他们为什么如此行动，如果我能够了解他们的行为喜好，我就可以创造更好的顾客体验，我创造了更好的顾客体验，他们就会越买越多，他们会停留更久，如此我当然就可以创造一个非常强大的商业模式。
基本上所有的电商网站都在做这件事情，因为电商网站无法直接与顾客接触，所以他们必须透过分析数据来与顾客建立关系，这是个很显而易见的商业模式，如果你不分析数据去改善顾客经验，顾客就会离你而去。如果就制造业来说，预测性维修是比较常见的大数据商业模式，这跟传统的维修模式全然不同，这当中的经济价值差异是数以千万的美元，就算对中小型企业亦然，如果你知道这些企业每年花多少钱在维修设备和安全改善，你就应该知道预测性维修是门好生意。
6.这些对企业来说是技术层次的问题，但商业嗅觉是否才是如何让大数据变现的关键?
是的，我称之为直觉，你为了验证你的假说，于是你设计了一个实验模型，如果你没有商业嗅觉，你很可能会实验了一千次但得到很差的结果，我相信你一定有听过这个笑话：「一百万只猴子也可以写出莎士比亚等级的著作，只是我们要等很久而已。」你放猴子在那边一直打字，总会有好的产出的，但这其实不太好，对吧?所以我认为还是需要具备一定的商业眼光。
好的数据科学家和不好的数据科学家的差别就在于他们的商业眼光，我认为这不只是管理阶级的职责，而是一个数据科学家的职责之一。
7.大数据项目牵涉到许多跨部门的协作，而不只是IT部门的事，你认为这会更象是一个管理问题而非技术问题吗?
我的确观察到许多只专注在技术层面的公司，他们的大数据表现通常都不怎么好，管理者必须确保你在埋首进行的事是有商业价值的，而不只是在玩技术而已，在麻省理工学院有个词用来形容这些只埋头搞技术的人：追随流行者(Fashionist)，这些人盲目追随科技新潮流，看到云端运算就赶快跑去搞云端运算，噢看那边是大数据耶，大家都有我们一定也要有! 他们不知道为什么需要，只是因为大家都有，他们就要有，这不是一个好策略。
你必须要思考：这有什么商业价值?为什么我需要做这个?所以那些最成功的大数据项目都是由技术部门和商业部门协作而成的，只有技术人员是不可能成功的，但同样地，只有业务部门也不会成功，他们必须在一起才能创造价值。
而数据分析的技术的关键在于，你是否有用对技术，这是许多公司低估的地方，有很多公司混淆了做报告和分析数据的人。比如说美国的教育很重视数学，但我们的统计学教得一蹋糊涂，统计学对于数据分析非常重要，很多人高中毕业后也许几何、微积分很厉害，但他们连最基本的期望值理论都不懂，他们也不懂交叉分析，但这些技能对于分析数据都是非常重要的，我认为我们的教育体系和企业在培育拥有这方面技能的人才上，投资得太少了。
近年来有很多大学开始开设数据分析课程，我觉得这是一件好事，但问题是等这些人才毕业了，到时候我们对大数据人才的需求已经远远超过供给了。
8. 你认为现在要寻找优秀的数据分析学家很困难吗?
人们常常把计算机科学家和数据科学家混为一谈，数据科学家不一定非得要写程序才能分析数据，当然你不应该害怕科技，如果你害怕新科技那你就不是那个对的人，你需要会使用科技，但重点其实还是在数据，你要会设计实验、熟悉数学和统计、如何获取资料和得到结果…等等等。
当然，数学系毕业的人是很好的选择，但我的经验是毕业自实验性科学科系的人也会成为很好的数据科学家，例如：应用物理系、化学系、天文系…等等，因为他们知道怎么设计实验、怎么搜集数据和得到结果，这让他们成为优秀的数据科学家。在麻省理工学院我们有个笑话，物理系毕业的人如果不去教物理，他们就失业了。因为除了教物理你还能干嘛?但现在物理系的人也会是很好的数据科学家，例如eBay最优秀的数据科学家就是物理学家。
你看事情的眼光还需要充满创意，所以社会学出身的人也会是很好的数据科学家，很多社会学家必须做调查，并且从中搜集和调查数据，这已经具备了数据科学家该有的特质了。但如果你不具备这种分析数据的背景的话，可能就不是那么好的候选人了。
网站题目：Teradata首席技术长宝立明：大数据将消失，但融合到你的业务中了
本文链接：http://azwzsj.com/article/chghip.html
