
Spark
基于Kubernetes的Spark部署完全指南
Fannie 发表了文章 • 0 个评论 • 8712 次浏览 • 2020-03-05 20:57
【编者的话】本文是在Kubernets上搭建Spark集群的操作指南,同时提供了Spark测试任务及相关的测试数据,通过阅读本文,你可以实践从制作Spark镜像、搭建Spark容器集群,到在集群上运行测试任务的完整流程。
Yarn曾经是Hadoop默认的资源...
Spark on Kubernetes与阿里云的深度整合
GoKubernetes 发表了文章 • 0 个评论 • 4114 次浏览 • 2020-02-24 09:32
最近,笔者尝试将Spark on Kubernetes与阿里云深度整合,设计一个开箱即用的Spark on Kubernetes镜像。
首先通过Terraform在阿里云上一键创建和销毁Kubernetes集群。然后写了一个脚本生成Spark镜像,使其在Ku...
DockOne微信分享(一七一):TalkingData的Spark On Kubernetes实践
Andy_Lee 发表了文章 • 0 个评论 • 7832 次浏览 • 2018-05-09 18:54
【编者的话】众所周知,Spark是一个快速、通用的大规模数据处理平台,和Hadoop的MapReduce计算框架类似。但是相对于MapReduce,Spark凭借其可伸缩、基于内存计算等特点,以及可以直接读写Hadoop上任何格式数据的优势,使批处理更加高效,...
基于 Docker 快速部署多需求 Spark 自动化测试环境
李颖杰 发表了文章 • 0 个评论 • 10751 次浏览 • 2018-01-27 08:53
【编者的话】在进行数据分析时,Spark 越来越广泛的被使用。在测试需求越来越多、测试用例数量越来越大的情况下,能够根据需求快速自动化部署 Spark 环境、快速完成所有测试越来越重要。
本文基于 Docker、Jenkins、Apache Ant、Apac...
Spark和Mesos的诞生之地,又在研究什么新技术?
Dataman数人科技 发表了文章 • 0 个评论 • 5700 次浏览 • 2017-02-06 18:37
加州大学伯克...
大家对加州大学伯克利分校的AMPLab可能不太熟悉,但是它的项目我们都有所耳闻——没错,它就是Spark和Mesos的诞生之地。小数又那里听说了新的工具,一起来围观最前沿的技术吧!
距离全方位掌握Apache spark 2.0你就差最后两步
Dataman数人科技 发表了文章 • 0 个评论 • 5252 次浏览 • 2016-10-19 20:54
传送门:[全方位掌握Apache Spark 2.0七步走(一)](...
经过前面两篇对于Spark概念和核心结构的介绍,让我们继续深入了解Spark:) 本篇讲述了Spark Streaming和机器学习,大数据中Spark到底做了啥,快来看看吧!
全方位掌握Apache Spark 2.0七步走(二)
Dataman数人科技 发表了文章 • 0 个评论 • 6230 次浏览 • 2016-10-11 16:41
前篇传送门:[全方位掌握Apache...
在上一篇普及过Spark的相关概念之后,让我们继续深入研究它的核心结构以及好用的API,本篇视频内容丰富,机(fan)智(qiang)的小伙伴不容错过。
全方位掌握Apache Spark 2.0七步走(一)
Dataman数人科技 发表了文章 • 0 个评论 • 6024 次浏览 • 2016-09-29 11:02
在这个人人都谈Spark的年代,小数也觉得有必要来发Spark的技术文章,帮助大家从入门到精通地了解和掌握Spark,从概念到编程,深刻体会它的迷人之处:)
Spark七步走,here we g...
Mesosphere协同其数据合作伙伴在容器2.0时代和DC/OS上的赌注
绝地魔影 发表了文章 • 0 个评论 • 6837 次浏览 • 2016-08-11 19:28
【编者的话】本文为Mesosphere在其官方博客中发布的关于容器2.0时代中其数据合作伙伴及DC/OS的介绍。
今天我们宣布,我们已经和产业领导者Confluent以及[DataStax](http:...
DockOne微信分享(六十三):传统企业PaaS平台功能设计与业务上云思考
jniu 发表了文章 • 0 个评论 • 13530 次浏览 • 2016-06-14 22:22
【编者的话】本次分享从四个方面展开:传统企业的应用架构与应用分类;传统企业的应用云化改造需求;基于容器的PaaS平台架构的构建;PaaS平台问题以及传统应用上云改造的一些注意点。
伴随着Docker技术的兴起,以及容器集群管理平台Mesos、Kubernet...
基于Kubernetes的Spark部署完全指南
Fannie 发表了文章 • 0 个评论 • 8712 次浏览 • 2020-03-05 20:57
【编者的话】本文是在Kubernets上搭建Spark集群的操作指南,同时提供了Spark测试任务及相关的测试数据,通过阅读本文,你可以实践从制作Spark镜像、搭建Spark容器集群,到在集群上运行测试任务的完整流程。
Yarn曾经是Hadoop默认的资源...
DockOne微信分享(一七一):TalkingData的Spark On Kubernetes实践
Andy_Lee 发表了文章 • 0 个评论 • 7832 次浏览 • 2018-05-09 18:54
【编者的话】众所周知,Spark是一个快速、通用的大规模数据处理平台,和Hadoop的MapReduce计算框架类似。但是相对于MapReduce,Spark凭借其可伸缩、基于内存计算等特点,以及可以直接读写Hadoop上任何格式数据的优势,使批处理更加高效,...
基于 Docker 快速部署多需求 Spark 自动化测试环境
李颖杰 发表了文章 • 0 个评论 • 10751 次浏览 • 2018-01-27 08:53
【编者的话】在进行数据分析时,Spark 越来越广泛的被使用。在测试需求越来越多、测试用例数量越来越大的情况下,能够根据需求快速自动化部署 Spark 环境、快速完成所有测试越来越重要。
本文基于 Docker、Jenkins、Apache Ant、Apac...
Mesosphere协同其数据合作伙伴在容器2.0时代和DC/OS上的赌注
绝地魔影 发表了文章 • 0 个评论 • 6837 次浏览 • 2016-08-11 19:28
【编者的话】本文为Mesosphere在其官方博客中发布的关于容器2.0时代中其数据合作伙伴及DC/OS的介绍。
今天我们宣布,我们已经和产业领导者Confluent以及[DataStax](http:...
DockOne微信分享(六十三):传统企业PaaS平台功能设计与业务上云思考
jniu 发表了文章 • 0 个评论 • 13530 次浏览 • 2016-06-14 22:22
【编者的话】本次分享从四个方面展开:传统企业的应用架构与应用分类;传统企业的应用云化改造需求;基于容器的PaaS平台架构的构建;PaaS平台问题以及传统应用上云改造的一些注意点。
伴随着Docker技术的兴起,以及容器集群管理平台Mesos、Kubernet...
使用Docker在本地搭建hadoop,spark集群
方圆小生 发表了文章 • 0 个评论 • 29599 次浏览 • 2016-01-06 16:57
简介和环境说明
本环境使用的单个宿主主机,而不是跨主机集群,本spark集群环境存在的意义可能在于便于本地开发测试使用,非常轻量级和便捷。这个部署过程,最好在之前有过一定的hadoop,spark集群部署经验的基础,本文重点在于doc...基于Kubernetes的Spark部署完全指南
Fannie 发表了文章 • 0 个评论 • 8712 次浏览 • 2020-03-05 20:57
【编者的话】本文是在Kubernets上搭建Spark集群的操作指南,同时提供了Spark测试任务及相关的测试数据,通过阅读本文,你可以实践从制作Spark镜像、搭建Spark容器集群,到在集群上运行测试任务的完整流程。
Yarn曾经是Hadoop默认的资源...
Spark on Kubernetes与阿里云的深度整合
GoKubernetes 发表了文章 • 0 个评论 • 4114 次浏览 • 2020-02-24 09:32
最近,笔者尝试将Spark on Kubernetes与阿里云深度整合,设计一个开箱即用的Spark on Kubernetes镜像。
首先通过Terraform在阿里云上一键创建和销毁Kubernetes集群。然后写了一个脚本生成Spark镜像,使其在Ku...
DockOne微信分享(一七一):TalkingData的Spark On Kubernetes实践
Andy_Lee 发表了文章 • 0 个评论 • 7832 次浏览 • 2018-05-09 18:54
【编者的话】众所周知,Spark是一个快速、通用的大规模数据处理平台,和Hadoop的MapReduce计算框架类似。但是相对于MapReduce,Spark凭借其可伸缩、基于内存计算等特点,以及可以直接读写Hadoop上任何格式数据的优势,使批处理更加高效,...
基于 Docker 快速部署多需求 Spark 自动化测试环境
李颖杰 发表了文章 • 0 个评论 • 10751 次浏览 • 2018-01-27 08:53
【编者的话】在进行数据分析时,Spark 越来越广泛的被使用。在测试需求越来越多、测试用例数量越来越大的情况下,能够根据需求快速自动化部署 Spark 环境、快速完成所有测试越来越重要。
本文基于 Docker、Jenkins、Apache Ant、Apac...
Spark和Mesos的诞生之地,又在研究什么新技术?
Dataman数人科技 发表了文章 • 0 个评论 • 5700 次浏览 • 2017-02-06 18:37
加州大学伯克...
大家对加州大学伯克利分校的AMPLab可能不太熟悉,但是它的项目我们都有所耳闻——没错,它就是Spark和Mesos的诞生之地。小数又那里听说了新的工具,一起来围观最前沿的技术吧!
距离全方位掌握Apache spark 2.0你就差最后两步
Dataman数人科技 发表了文章 • 0 个评论 • 5252 次浏览 • 2016-10-19 20:54
传送门:[全方位掌握Apache Spark 2.0七步走(一)](...
经过前面两篇对于Spark概念和核心结构的介绍,让我们继续深入了解Spark:) 本篇讲述了Spark Streaming和机器学习,大数据中Spark到底做了啥,快来看看吧!
全方位掌握Apache Spark 2.0七步走(二)
Dataman数人科技 发表了文章 • 0 个评论 • 6230 次浏览 • 2016-10-11 16:41
前篇传送门:[全方位掌握Apache...
在上一篇普及过Spark的相关概念之后,让我们继续深入研究它的核心结构以及好用的API,本篇视频内容丰富,机(fan)智(qiang)的小伙伴不容错过。
全方位掌握Apache Spark 2.0七步走(一)
Dataman数人科技 发表了文章 • 0 个评论 • 6024 次浏览 • 2016-09-29 11:02
在这个人人都谈Spark的年代,小数也觉得有必要来发Spark的技术文章,帮助大家从入门到精通地了解和掌握Spark,从概念到编程,深刻体会它的迷人之处:)
Spark七步走,here we g...
Mesosphere协同其数据合作伙伴在容器2.0时代和DC/OS上的赌注
绝地魔影 发表了文章 • 0 个评论 • 6837 次浏览 • 2016-08-11 19:28
【编者的话】本文为Mesosphere在其官方博客中发布的关于容器2.0时代中其数据合作伙伴及DC/OS的介绍。
今天我们宣布,我们已经和产业领导者Confluent以及[DataStax](http:...
DockOne微信分享(六十三):传统企业PaaS平台功能设计与业务上云思考
jniu 发表了文章 • 0 个评论 • 13530 次浏览 • 2016-06-14 22:22
【编者的话】本次分享从四个方面展开:传统企业的应用架构与应用分类;传统企业的应用云化改造需求;基于容器的PaaS平台架构的构建;PaaS平台问题以及传统应用上云改造的一些注意点。
伴随着Docker技术的兴起,以及容器集群管理平台Mesos、Kubernet...