spark部署模式是什么

这篇文章主要讲解了“spark 部署模式是什么”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“spark 部署模式是什么”吧!

10多年的绥宁网站建设经验,针对设计、前端、开发、售后、文案、推广等六对一服务,响应快,48小时及时工作处理。成都全网营销推广的优势是能够根据用户设备显示端的尺寸不同,自动调整绥宁建站的显示方式,使网站能够适用不同显示终端,在浏览器中调整网站的宽度,无论在任何一种浏览器上浏览网站,都能展现优雅布局与设计,从而大程度地提升浏览体验。创新互联从事“绥宁网站设计”,“绥宁网站推广”以来,每个客户项目都认真落实执行。

  • spark有local模式,伪分布式,standalone,spakr on yarn,spark on messos。

    • local模式多用于开发测试

    • 伪分布式是极少使用的模式,它是在一个节点上模拟分布式

    • spakr on messos在国内很少使用

    • standalone模式适合使用在数据规模不大,集群所部署大数据计算框架单一,整个集群计算资源可以全部提供给spark计算,无需考虑资源分配的问题

    • spark on yarn在国内使用比较广泛。 它具有以下优势:1. 避免搭建spark集群。spark只需要部署在一个节点上,通过该节点,将应用提交给yarn集群处理。在拥有yarn集群的情况下,无需搭建spark集群就可以方便的运行spark应用 2. 统一资源管理和调度。yarn是包括mr, spark在内的多种大数据计算引擎的资源管理和调度的实现方式,yarn具有资源隔离机制,使得各种大数据计算任务可以稳定的运行在集群中,而不会产生资源竞争问题。3. 资源弹性管理。yarn通过队列的方式,根据不同类型应用程序的资源压力,弹性调度资源的使用量

感谢各位的阅读,以上就是“spark 部署模式是什么”的内容了,经过本文的学习后,相信大家对spark 部署模式是什么这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是创新互联,小编将为大家推送更多相关知识点的文章,欢迎关注!


本文标题:spark部署模式是什么
转载源于:http://azwzsj.com/article/pocedh.html