如何建立一个完整可用的安全大数据平台

“

创新互联建站始终坚持【策划先行，效果至上】的经营理念，通过多达10多年累计超上千家客户的网站建设总结了一套系统有效的全网整合营销推广解决方案，现已广泛运用于各行各业的客户，其中包括：成都水电改造等企业，备受客户称扬。

要建立一个大数据系统，我们需要从数据流的源头跟踪到最后有价值的输出，并在现有的Hadoop和大数据生态圈内根据实际需求挑选并整合各部分合适的组件来构建一个能够支撑多种查询和分析功能的系统平台。这其中既包括了对数据存储的选择，也涵盖了数据线上和线下处理分离等方面的思考和权衡。此外，没有任何一个引入大数据解决方案的商业应用在生产环境上承担的起安全隐患。

1

计算框架篇

大数据的价值

只有在能指导人们做出有价值的决定时，数据才能体现其自身的价值。因此，大数据技术要服务于实际的用途，才是有意义的。一般来说，大数据可以从以下三个方面指导人们做出有价值的决定：

报表生成（比如根据用户历史点击行为的跟踪和综合分析、 应用程序活跃程度和用户粘性计算等）；

诊断分析（例如分析为何用户粘性下降、根据日志分析系统为何性能下降、垃圾邮件以及病毒的特征检测等）；

决策（例如个性化新闻阅读或歌曲推荐、预测增加哪些功能能增加用户粘性、帮助广告主进行广告精准投放、设定垃圾邮件和病毒拦截策略等）。

图 1

进一步来看，大数据技术从以下三个方面解决了传统技术难以达成的目标（如图1）：

在历史数据上的低延迟（交互式）查询，目标是加快决策过程和时间， 例如分析一个站点为何变缓慢并尝试修复它；

在实时数据上的低延迟查询，目的是帮助用户和应用程序在实时数据上做出决策， 例如实时检测并阻拦病毒蠕虫（一个病毒蠕虫可以在1.3秒内攻击1百万台主机）；

更加精细高级的数据处理算法，这可以帮助用户做出“更好”的决策， 例如图数据处理、异常点检测、趋势分析及其他机器学习算法。

蛋糕模式

从将数据转换成价值的角度来说，在Hadoop生态圈十年蓬勃成长的过程中，YARN和Spark这二者可以算得上是里程碑事件。Yarn的出现使得集群资源管理和数据处理流水线分离，大大革新并推动了大数据应用层面各种框架的发展（SQL on Hadoop框架, 流数据，图数据，机器学习）。

它使得用户不再受到MapReduce开发模式的约束，而是可以创建种类更为丰富的分布式应用程序，并让各类应用程序运行在统一的架构上，消除了为其他框架维护独有资源的开销。就好比一个多层蛋糕，下面两层是HDFS和Yarn, 而MapReduce就只是蛋糕上层的一根蜡烛而已，在蛋糕上还能插各式各样的蜡烛。

在这一架构体系中，总体数据处理分析作业分三块（图2），在HBase上做交互式查询（Apache Phoenix, Cloudera Impala等）， 在历史数据集上编写MapReduce程序抑或利用Hive等做批处理业务， 另外对于实时流数据分析Apache Storm则会是一种标准选择方案。

虽然Yarn的出现极大地丰富了Hadoop生态圈的应用场景，但仍存有两个显而易见的挑战：一是在一个平台上需要维护三个开发堆栈；二是在不同框架内很难共享数据，比如很难在一个框架内对流数据做交互式查询。这也意味着我们需要一个更为统一和支持更好抽象的计算框架的出现。

图 2

一统江湖

Spark的出现使得批处理任务，交互式查询，实时流数据处理被整合到一个统一的框架内（图3），同时Spark和现有的开源生态系统也能够很好地兼容（Hadoop, HDFS, Yarn, Hive, Flume）。 通过启用内存分布数据集，优化迭代工作负载， 用户能够更简单地操作数据，并在此基础上开发更为精细的算法，如机器学习和图算法等。

有三个最主要的原因促使Spark目前成为了时下最火的大数据开源社区（拥有超过来自200多个公司的800多个contributors）：

Spark可以扩展部署到超过8000节点并处理PB级别的数据，同时也提供了很多不错的工具供应用开发者进行管理和部署；

Spark提供了一个交互式shell供开发者可以用Scala或者Python即时性试验不同的功能；

Spark提供了很多内置函数使得开发者能够比较容易地写出低耦合的并且能够并发执行的代码，这样开发人员就更能集中精力地为用户提供更多的业务功能而不是花费时间在优化并行化代码之上。

当然Spark也和当年的MapReduce一样不是万灵药，比如对实时性要求很高的流数据处理上Apache Storm还是被作为主流选择， 因为Spark Streaming实际上是microbatch（将一个流数据按时间片切成batch,每个batch提交一个job）而不是事件触发实时系统，所以虽然支持者们认为microbatch在系统延时性上贡献并不多，但在生产环境中和Apache Storm相比还不是特别能满足对低延时要求很高的应用场景。

比如在实践过程中， 如果统计每条消息的平均处理时间，很容易达到毫秒级别，但一旦统计类似service assurance（确保某条消息在毫秒基本能被处理完成）的指标， 系统的瓶颈有时还是不能避免。

但同时我们不能不注意到，在许多用例当中，与流数据的交互以及和静态数据集的结合是很有必要的, 例如我们需要在静态数据集上进行分类器的模型计算，并在已有分类器模型的基础上，对实时进入系统的流数据进行交互计算来判定类别。

由于Spark的系统设计对各类工作（批处理、流处理以及交互式工作）进行了一个共有抽象，并且生态圈内延伸出了许多丰富的库（MLlib机器学习库、SQL语言API、GraphX）, 使得用户可以在每一批流数据上进行灵活的Spark相关操作，在开发上提供了许多便利。

Spark的成熟使得Hadoop生态圈在短短一年之间发生了翻天覆地的变化， Cloudera和Hortonworks纷纷加入了Spark阵营，而Hadoop项目群中除了Yarn之外已经没有项目是必须的了（虽然Mesos已在一些场合替代了Yarn）, 因为就连HDFS，Spark都可以不依赖。但很多时候我们仍然需要像Impala这样的依赖分布式文件系统的MPP解决方案并利用Hive管理文件到表的映射，因此Hadoop传统生态圈依然有很强的生命力。

另外在这里简要对比一下交互式分析任务中各类SQL on Hadoop框架，因为这也是我们在实际项目实施中经常遇到的问题。我们主要将注意力集中在Spark SQL, Impala和Hive on Tez上, 其中Spark SQL是三者之中历史最短的，论文发表在15年的SIGMOD会议上， 原文对比了数据仓库上不同类型的查询在Shark（Spark最早对SQL接口提供的支持）、Spark SQL和Impala上的性能比较。

也就是说， 虽然Spark SQL在Shark的基础上利用Catalyst optimizer在代码生成上做了很多优化，但总体性能还是比不上Impala, 尤其是当做join操作的时候， Impala可以利用“predicate pushdown”更早对表进行选择操作从而提高性能。

不过Spark SQL的Catalyst optimizer一直在持续优化中，相信未来会有更多更好的进展。Cloudera的Benchmark评测中Impala一直比其他SQL on Hadoop框架性能更加优越，但同时Hortonworks评测则指出虽然单个数据仓库查询Impala可以在很短的时间内完成，但是一旦并发多个查询Hive on Tez的优势就展示出来。另外Hive on Tez在SQL表达能力也要比Impala更强（主要是因为Impala的嵌套存储模型导致的）， 因此根据不同的场景选取不同的解决方案是很有必要的。

图 3

各领风骚抑或代有才人出？

近一年比较吸引人眼球的Apache Flink（与Spark一样已有5年历史，前身已经是柏林理工大学一个研究性项目，被其拥趸推崇为继MapReduce, Yarn，Spark之后第四代大数据分析处理框架）。 与Spark相反，Flink是一个真正的实时流数据处理系统，它将批处理看作是流数据的特例，同Spark一样它也在尝试建立一个统一的平台运行批量，流数据，交互式作业以及机器学习，图算法等应用。

Flink有一些设计思路是明显区别于Spark的，一个典型的例子是内存管理，Flink从一开始就坚持自己精确的控制内存使用并且直接操作二进制数据，而Spark一直到1.5版本都还是试用java的内存管理来做数据缓存，这也导致了Spark很容易遭受OOM以及JVM GC带来的性能损失。

但是从另外一个角度来说, Spark中的RDD在运行时被存成java objects的设计模式也大大降低了用户编程设计门槛， 同时随着Tungsten项目的引入，Spark现在也逐渐转向自身的内存管理， 具体表现为Spark生态圈内从传统的围绕RDD（分布式java对象集合）为核心的开发逐渐转向以DataFrame(分布式行对象集合)为核心。

总的来说，这两个生态圈目前都在互相学习，Flink的设计基因更为超前一些，但Spark社区活跃度大很多，发展到目前毫无疑问是更为成熟的选择，比如对数据源的支持（HBase, Cassandra, Parquet, JSON, ORC）更为丰富以及更为统一简洁的计算表示。另一方面，Apache Flink作为一个由欧洲大陆发起的项目，目前已经拥有来自北美、欧洲以及亚洲的许多贡献者，这是否能够一改欧洲在开源世界中一贯的被动角色，我们将在未来拭目以待。

2

NoSQL数据库篇

NoSQL数据库在主流选择上依旧集中在MongoDB, HBase和Cassandra这三者之间。在所有的NoSQL选择中，用C 编写的MongoDB几乎应该是开发者最快也最易部署的选择。MongoDB是一个面向文档的数据库，每个文档／记录／数据（包括爬取的网页数据及其他大型对象如视频等）是以一种BSON（Binary JSON）的二进制数据格式存储, 这使得MongoDB并不需要事先定义任何模式, 也就是模式自由（可以把完全不同结构的记录放在同一个数据库里）。

MongoDB对于完全索引的支持在应用上是很方便的，同时也具备一般NoSQL分布式数据库中可扩展，支持复制和故障恢复等功能。 MongoDB一般应用于高度伸缩性的缓存及大尺寸的JSON数据存储业务中，但不能执行“JOIN”操作，而且数据占用空间也比较大，最被用户诟病的就是由于MongoDB提供的是数据库级锁粒度导致在一些情况下建索引操作会引发整个数据库阻塞。一般来说，MongoDB完全可以满足一些快速迭代的中小型项目的需求。

下面来主要谈谈Cassandra和HBase之间的比较选择。Cassandra和HBase有着截然不同的基因血统。HBase和其底层依赖的系统架构源自于著名的Google FileSystem（发表于2003年）和Google BigTable设计（发表于2006年）， 其克服了HDFS注重吞吐量却牺牲I/O的缺点，提供了一个存储中间层使得用户或者应用程序可以随机读写数据。

具体来说，HBase的更新和删除操作实际上是先发生在内存MemStore中， 当MemStore满了以后会Flush到StoreFile, 之后当StoreFile文件数量增长到一定阈值后会触发Compact合并操作，因此HBase的更新操作其实是不断追加的操作，而最终所有更新和删除数据的持久化操作都是在之后Compact过程中进行的。

这使得应用程序在向内存MemStore写入数据后，所做的修改马上就能得到反映，用户读到的数据绝不会是陈旧的数据，保证了I/O高性能和数据完全一致性； 另一方面来说， HBase基于Hadoop生态系统的基因就已经决定了他自身的高度可扩展性、容错性。

在数据模型上，Cassandra和HBase类似实现了一个key-value提供面向列式存储服务，其系统设计参考了 Amazon Dynamo (发表于2007年) 分布式哈希（DHT）的P2P结构（实际上大部分Cassandra的初始工作都是由两位从Amazon的Dynamo组跳槽到Facebook的工程师完成)，同样具有很高的可扩展性和容错性等特点。

除此之外， 相对HBase的主从结构，Cassandra去中心化的P2P结构能够更简单地部署和维护，比如增加一台机器只需告知Cassandra系统新节点在哪，剩下的交给系统完成就行了。同时，Cassandra对多数据中心的支持也更好，如果需要在多个数据中心进行数据迁移Cassandra会是一个更优的选择。

Eric Brewer教授提出的经典CAP理论认为任何基于网络的数据共享系统，最多只能满足数据一致性、可用性、分区容忍性三要素中的两个要素。实际分布式系统的设计过程往往都是在一致性与可用性上进行取舍，相比于HBase数据完全一致性的系统设计，Cassandra选择了在优先考虑数据可用性的基础上让用户自己根据应用程序需求决定系统一致性级别。

比如：用户可以配置QUONUM参数来决定系统需要几个节点返回数据才能向客户端做出响应，ONE指只要有一个节点返回数据就可以对客户端做出响应，ALL指等于数据复制份数的所有节点都返回结果才能向客户端做出响应，对于数据一致性要求不是特别高的可以选择ONE，它是最快的一种方式。

从基因和发展历史上来说，HBase更适合用做数据仓库和大规模数据处理与分析（比如对网页数据建立索引）， 而Cassandra则更适合用作实时事务和交互式查询服务。Cassandra在国外市场占有比例和发展要远比国内红火， 在不少权威测评网站上排名都已经超过了HBase。目前Apache Cassandra的商业化版本主要由软件公司DataStax进行开发和销售推广。另外还有一些NoSQL分布式数据库如Riak, CouchDB也都在各自支持的厂商推动下取得了不错的发展。

虽然我们也考虑到了HBase在实际应用中的不便之处比如对二级索引的支持程度不够（只支持通过单个行键访问，通过行键的范围查询，全表扫描），不过在明略的大数据基础平台上，目前整合的是依然是HBase。

理由也很简单，HBase出身就与Hadoop的生态系统紧密集成，其能够很容易与其他SQL on Hadoop框架（Cloudera Impala, Apache Phoenix, or Hive on Tez）进行整合，而不需要重新部署一套分布式数据库系统，而且可以很方便地将同样的数据内容在同一个生态系统中根据不同框架需要来变换存储格式（比如存储成Hive表或者Parquet格式）。

我们在很多项目中都有需要用到多种SQL on Hadoop框架，来应对不同应用场景的情况，也体会到了在同一生态系统下部署多种框架的简便性。 但同时我们也遇到了一些问题， 因为HBase项目本身与HDFS和Zookeeper系统分别是由不同开源团队进行维护的，所以在系统整合时我们需要先对HBase所依赖的其他模块进行设置再对HBase进行配置，在一定程度上降低了系统维护的友好性。

目前我们也已经在考虑将Cassandra应用到一些新的客户项目中，因为很多企业级的应用都需要将线上线下数据库进行分离，HBase更适合存储离线处理的结果和数据仓库，而更适合用作实时事务和并发交互性能更好的Cassandra作为线上服务数据库会是一种很好的选择。

3

大数据安全篇

随着越来越多各式各样的数据被存储在大数据系统中，任何对企业级数据的破坏都是灾难性的，从侵犯隐私到监管违规，甚至会造成公司品牌的破坏并最终影响到股东收益。给大数据系统提供全面且有效的安全解决方案的需求已经十分迫切：

大数据系统存储着许多重要且敏感的数据，这些数据是企业长久以来的财富

与大数据系统互动的外部系统是动态变化的，这会给系统引入新的安全隐患

在一个企业的内部，不同Business Units会用不同的方式与大数据系统进行交互，比如线上的系统会实时给集群推送数据、数据科学家团队则需要分析存储在数据仓库内的历史数据、运维团队则会需要对大数据系统拥有管理权限。

因此为了保护公司业务、客户、财务和名誉免于被侵害，大数据系统运维团队必须将系统安全高度提高到和其他遗留系统一样的级别。同时大数据系统并不意味着引入大的安全隐患，通过精细完整的设计，仍然能够把一些传统的系统安全解决方案对接到最新的大数据集群系统中。

一般来说，一个完整的企业级安全框架包括五个部分：

Administration: 大数据集群系统的集中式管理，设定全局一致的安全策略

Authentication: 对用户和系统的认证

Authorization：授权个人用户和组对数据的访问权限

Audit：维护数据访问的日志记录

Data Protection：数据脱敏和加密以达到保护数据的目的

系统管理员要能够提供覆盖以上五个部分的企业级安全基础设施，否则任何一环的缺失都可能给整个系统引入安全性风险。

在大数据系统安全集中式管理平台这块，由Hortonworks推出的开源项目Apache Ranger就可以十分全面地为用户提供Hadoop生态圈的集中安全策略的管理，并解决授权(Authorization)和审计(Audit)。例如，运维管理员可以轻松地为个人用户和组对文件、数据等的访问策略，然后审计对数据源的访问。

与Ranger提供相似功能的还有Cloudera推出的Apache Sentry项目，相比较而言Ranger的功能会更全面一些。

而在认证（Authentication）方面, 一种普遍采用的解决方案是将基于Kerberos的认证方案对接到企业内部的LDAP环境中， Kerberos也是唯一为Hadoop全面实施的验证技术。

另外值得一提的是Apache Knox Gateway项目，与Ranger提高集群内部组件以及用户互相访问的安全不同，Knox提供的是Hadoop集群与外界的唯一交互接口，也就是说所有与集群交互的REST API都通过Knox处理。这样，Knox就给大数据系统提供了一个很好的基于边缘的安全（perimeter-based security）。

基于以上提到的五个安全指标和Hadoop生态圈安全相关的开源项目， 已经足已证明基于Hadoop的大数据平台我们是能够构建一个集中、一致、全面且有效的安全解决方案。

我市再ITjob管网上面找的

亚马逊云科技推云数智一体服务，这是个什么样的服务？

亚马逊云科技在北京举办大数据与人工智能技术新闻媒体沟通交流会，公布发布“云、数、智三位一体”的大数据与机器学习结合服务项目组成。亚马逊云科技还联合乐我无尽（Joyme）、上海欣兆阳（Convertlab）等合作方共享了亚马逊云科技在推动公司数智结合领域的有关实例。

亚马逊云科技大中华区产品部经理陈晓建谈道，亚马逊云科技有两个数智结合领域的关键核心理念：一是在云中完成数据与智能化的大结合将变为公司加快自主创新的模块，二是公司应在云中打造出统一的数据基本基座，完成大数据与机器学习的“双剑和一”，为公司发展提供新引擎。

亚马逊云科技大中华区产品部技术专家团队主管王晓野详尽分析了亚马逊云科技的“智能化湖仓”构架向着深层智能化大方向的多种更新成效。

大数据与人工智能应用怎样结合？亚马逊云科技在这方面开展过什么科学研究和探讨？大数据与人工智能技术结合后，又能给公司用户产生什么更改？文中对那些问题开展了深入分析。

陈晓建说，伴随着公司的数据愈来愈多，机器学习实体模型愈来愈优秀，许多公司期待根据大数据技术性和机器学习技术的结合，进一步推动公司的工作自主创新，提高公司产出率。

可是，公司通常会遭遇如此一个窘境：有着很多的数据和剖析测算，试着了多种多样领先的机器学习实体模型，但是难以有具体的业务流程产出率。从技术性发展看来，大数据技术性和机器学习技术走的是不一样线路，大数据注重数据自身的收集、提升，而机器学习技术性注重优化算法自身的提升、调参。

陈晓建谈道，从总体上公司的机器学习生产制造化遭遇三层面的挑战。一是大数据与机器学习分而治之，这两一部分通常是不一样精英团队承担，非常容易发生数据荒岛、技术性荒岛，牵制有关运用的迅速梯度下降法。二是数据解决的能力不足，无法解决大量的业务流程数据，这牵制着机器学习由试验转为实践活动。三是数据剖析工作人员的关注度低，产品研发产品测试表现不错的计算方法实体模型，很有可能在具体应用中形成的作用不太理想化，由于真正自然环境的复杂性更高一些一些。

因此，亚马逊云科技发布了“云、数、智三位一体”的服务项目组成。最先是要搭建云中统一的数据整治基座，摆脱数据与专业技能荒岛。

亚马逊云科技通过帮助用户构建统一的数据整治基座，完成用户常用的大数据和机器学习运用的数据共享资源、数据管理权限的统一监管，及其二者统一的开发设计和步骤编辑。为机器学习提供生产制造等级的数据解决工作能力，助推机器学习由试验变为实践活动。

亚马逊云科技能提供多种多样灵便可拓展、专业搭建的大数据服务项目，助推用户开展比较复杂的数据生产加工级解决，来应对数据经营规模的变化规律、提升数据品质。

让数据剖析智能化系统，颠覆式创新公司业务员探寻自主创新。亚马逊云科技为用户提供更自动化的数据剖析服务项目，让业务员就可以进行数据分析系统、实体模型实际效果认证及其独立式自主创新。陈晓建说全世界数十万用户都是在应用亚马逊云科技的大数据及机器学习服务项目。

上年亚马逊云科技发布了“智能化湖仓”构架，为用户提供有关的数智化服务项目。王晓野共享了从公布到现在一年至今，亚马逊云科技的“智能化湖仓”构架拥有什么新的转变。

云中统一的数据整治基座层面，亚马逊云科技的AmazonSageMakerStudio可以一站式地进行数据开发设计、实体模型及相应的制造每日任务，为大数据和机器学习提供统一的软件开发平台。

亚马逊云科技还能提供AmazonLakeFormation，该运用新增加了众多作用，可以协助用户完成数据网格图部门协作的数据财产共享资源，及其根据工作表的最粗粒度的权限管理体制。

为机器学习提供生产制造等级的数据解决功能层面，亚马逊云科技有可以适用多种多样开源框架的大数据服务平台AmazonAthena。AmazonAthena可以对AmazonEMR、性能卓越关联数据库AmazonAurora、NoSQL数据库服务项目AmazonDynamoDB、AmazonRedshift等数据源的数据开展联邦政府查看，从而迅速进行机器学习模型的数据生产加工。

亚马逊云科技还构建了无网络服务器逻辑思维能力，包含AmazonRedshift、Amazon ManagedStreaming for Apache Kafka（AmazonMSK）和AmazonEMR等运用。这种可以让用户不用配备、拓展或是管理方法最底层的基础设施建设就能解决一切经营规模的数据，为用户的机器学习新项目提供兼顾特性和成本效益的特点数据提前准备。

数据剖析智能化系统层面，亚马逊云科技在日常分析工具中集成化了机器学习模型预测工作能力，还提供如可视性数据提前准备专用工具AmazonGlueDatabrew、零编码化的机器学习模型工具AmazonSageMakerCanvas等服务项目，让业务员探寻机器学习模型。

亚马逊云科技此次还邀约了乐我无尽和上海欣兆阳这二位合作方的所属单位来共享其与亚马逊云科技协作的环境、全过程和成果。

乐我无限数据研发中心主管杨飞说，乐我无尽经营的经济全球化网络直播平台LiveMe上边有来源于200很多个国家或区域的用户，数据量特别大，并且还要保证合规管理经营等。

乐我无尽根据亚马逊云科技的解决方法构建了直播内容识别技术、诈骗买卖识别技术。直播内容识别系统协助乐我无尽提高了用户感受，减少了内容管理系统的工作成本费。乐我无尽根据诈骗买卖识别技术降低诈骗、不付类买卖，从而每一年降低财产损失可以达数百万美元。

上海欣兆阳创始人兼CTO李征谈道，上海欣兆阳和亚马逊云科技在营销推广企业战略转型层面开展了协作。上海欣兆阳是一家营销云生产商，能提供一体化营销云商品。

根据数据智能化的营销推广会给公司用户产生大量机遇。人工智能技术让以用户为核心的营销推广可以实现定向推广信息内容的正确引导。但数据智能营销解决方法还面临着多种多样云端挑战。一是数据整治与机器学习工作流程弱关系，二是数据的加工处理与研究必须消耗大量的时间精力，三是实体模型梯度下降法、维护保养等管理方法方面的效果较低。

上海欣兆阳根据亚马逊云科技的统一的数据基本基座，上海欣兆阳构建了一体化数据智能湖仓架构DataHub和一体化高效率机器学习服务平台AIHub。这两项运用能将数据运转的及时性提高了32%，实体模型发布高效率提高了30%。

亚马逊云科技依据自己的操作及其对制造行业的观查，打造了一套“云、数、智三位一体”服务项目组成，为用户提供结合人工智能技术和大数据的解决方法。

不仅人工智能技术、大数据技术性在颠覆式创新公司企业战略转型，更高效率发展趋势，也有如物联网技术、数字孪生这些智能化科技一起推动公司更快发展趋势。

软件工程师需要学什么

软件工程师需要学什么

软件工程师(Software Engineer)可以说是从事软件职业的人员的一种职业能力的认证，通过它说明具备了工程师的资格。下面是我整理的关于软件工程师需要学的内容，希望可以帮助大家!

软件工程师就是从事软件开发相关工作的人员的统称，它是一个广义的概念，包括软件设计人员、软件架构人员、软件工程管理人员、程序员等一系列岗位，工作内容都与软件开发生产相关。

软件工程师的技术要求是比较全面的，除了最基础的编程语言(C语言/C++/JAVA等)、数据库技术(SQL/ORACLE/DB2等)等，还有诸多如JAVASCRIPT、AJAX、HIBERNATE、SPRING等前沿技术。

1、Javascript

第一名的是Javascript，有42.4%的职缺中都要求必须会这项技能，那么Javascript为什么这么厉害呢?

最主要在于网络软件开发的盛行，Javascript是很多现有的开发框架的基础除了用在前端的开发(Angular、Ember、Backbone等)，也用在后端的架构像是Node.js以及资料库数据的读取如MongoDB。

Javascript所建立起来的生态系非常的庞大也造就了大多数的工作都需要这项技能，Javascript本身学起来并不会太困难，如果想要懂一些基本的应用那可以参考这里(这里也推荐大家可以看下马海祥博客的《老程序员给初学者的一些建议和忠告》相关介绍)。

2、Java

榜上的第二名是Java ，占了34.2%，关于Java有些人认为它一个比较过时的语言也认为它即将被淘汰。

但是根据TIOBE Index上的排行(根据程式语言的普及与受欢迎程度)，Java还是名列第二的，Java不仅没有被淘汰，它还过得很好仍然是很多大企业爱好的后端语言。

Java之所已受到企业的重视，一个很大的原因不止是因为他本身好用，而是因为学好Java让你学其他程式语言相对容易，因为Java是种面向对象语言而且不需要处理指标(Pointer)，加上他有很好的开发环境(IDE)让初学者使用起来相对的简单，可以说是身为一个软件工程师绝对要懂得基础。

以马海祥的经验而言，Java学起来比Javascript稍微难一些网络上关于这方面的资源也不缺乏，像是MIT就有提供他的课程教材免费让大家学习。

3、HTML

在榜上第三名是HTML，马海祥觉得HTML严格说起来并不是一种程式语言它是一种标记语言(Markup Language)，简单来说就是利用标记可以达到与单纯的文字不同的效果。

例如一段文字在前后加上标记就可以加上超连结，HTML是网路开发中基础中的基础，尤其在前端的开发上了解HTML每一个标记的功能是必要的。

但是马海祥还是要强调他本身并不是一种程式语言，如果只会HTML对找工作是没有任何帮助的，他只是基本中的基本，在这里也推荐大家可以花一点时间看下马海祥博客的《12种最常用的网页编程语言简介》相关介绍。

4、SQL and NoSQL

除此之外，榜上有名的.是SQL在31.2%的职缺上这项技能都是必须的。

根据Asurvey的调查有79%的受访者仍然是使用关系资料库也就是为什么SQL受到欢迎的原因，但这并不代表NoSQL就不重要虽然MongoDB在榜上只有4.3%，但是它主要被用在需要快速存取资料的产品上，像是Craigslist还有Expedia。

NoSQL与SQL究竟孰好孰坏，在资料库的社群上一直是一个广受争论的议题，绝大多数的任认为NoSQL是未来的趋势，但是以目前而言，SQL仍然是占了上风。

5、Javascript Frameworks

建立在Javascript上的开发框架总共有三个Angular.js、Ember.js以及Backbone.js，这类的框架可以让你很简便而且快速的处理前端的开发，然而这三种开发框架由于性质相近，因此也有很多的谁才是最好的争论。

目前是由Google所开发的Angular.js站在榜上第一，当然这三种开发框架都有自己的好处，像是Angular.js比较适合大型的开发，Backbone.js比较简单易学，Backbone.js让合作开发更简单。

6、Node.js

这里马海祥也特别提下Node.js，其原因是在于逐渐增加的使用者，以及大型公司像是Linkedin以及Wal-mart的使用。

Node.js是一个基于Chrome JavaScript运行时建立的一个平台，用来方便地搭建快速的易于扩展的网络应用Node.js借助事件驱动，非阻塞I/O模型变得轻量和高效，非常适合运行在分布式设备的数据密集型的实时应用。

Node.js可以在不新增额外线程的情况下，依然可以对任务进行并行处理——Node.js是单线程的，它通过事件轮询(event loop)来实现并行操作，对此，我们应该要充分利用这一点，尽可能的避免阻塞操作，取而代之，多使用非阻塞操作。

;

云计算架构师认证哪家认可度高？

亚马逊在全世界范围内云计算领域应该目前无人能敌，其在中国的认证数量目前还很少，前一段时间和慧科教育签约开拓了国内亚马逊AWS培训业务，听我朋友说考试还是比较难的，他参加了这个架构师的培训，我也打算考虑一下，我目前也在使用AWS。不过我也没信心能过。之前模考就没通过。

如何设置SQL Server身份认证方式

1.安装sql后先用windows账户登陆进去，然后在sql上右键，选择“安全性”-“SQL Server和windows身份验证模式”然后确定

2.找到安全性——登陆名（sa用户）右键——状态，在登陆选项中选择已启用

3.在服务用重新启动sqlserver服务。

sqlserver从2008后保存修改的数据库表都会提示阻止修改，只需要在“工具”——设计器——将阻止保存要求重新创建表的更改去掉就可以了

本文名称：nosql认证,noa认证
转载来源：http://azwzsj.com/article/hojdgd.html