Spark
基于Kubernetes的Spark部署完全指南
Fannie 发表了文章 • 0 个评论 • 8712 次浏览 • 2020-03-05 20:57
【编者的话】本文是在Kubernets上搭建Spark集群的操作指南，同时提供了Spark测试任务及相关的测试数据，通过阅读本文，你可以实践从制作Spark镜像、搭建Spark容器集群，到在集群上运行测试任务的完整流程。
Yarn曾经是Hadoop默认的资源...
Spark on Kubernetes与阿里云的深度整合
GoKubernetes 发表了文章 • 0 个评论 • 4114 次浏览 • 2020-02-24 09:32
最近，笔者尝试将Spark on Kubernetes与阿里云深度整合，设计一个开箱即用的Spark on Kubernetes镜像。
首先通过Terraform在阿里云上一键创建和销毁Kubernetes集群。然后写了一个脚本生成Spark镜像，使其在Ku...
DockOne微信分享（一七一）：TalkingData的Spark On Kubernetes实践
Andy_Lee 发表了文章 • 0 个评论 • 7832 次浏览 • 2018-05-09 18:54
【编者的话】众所周知，Spark是一个快速、通用的大规模数据处理平台，和Hadoop的MapReduce计算框架类似。但是相对于MapReduce，Spark凭借其可伸缩、基于内存计算等特点，以及可以直接读写Hadoop上任何格式数据的优势，使批处理更加高效，...
基于 Docker 快速部署多需求 Spark 自动化测试环境
李颖杰 发表了文章 • 0 个评论 • 10751 次浏览 • 2018-01-27 08:53
【编者的话】在进行数据分析时，Spark 越来越广泛的被使用。在测试需求越来越多、测试用例数量越来越大的情况下，能够根据需求快速自动化部署 Spark 环境、快速完成所有测试越来越重要。
本文基于 Docker、Jenkins、Apache Ant、Apac...
Spark和Mesos的诞生之地，又在研究什么新技术？
Dataman数人科技 发表了文章 • 0 个评论 • 5700 次浏览 • 2017-02-06 18:37
加州大学伯克...
大家对加州大学伯克利分校的AMPLab可能不太熟悉，但是它的项目我们都有所耳闻——没错，它就是Spark和Mesos的诞生之地。小数又那里听说了新的工具，一起来围观最前沿的技术吧！
距离全方位掌握Apache spark 2.0你就差最后两步
Dataman数人科技 发表了文章 • 0 个评论 • 5252 次浏览 • 2016-10-19 20:54
传送门：[全方位掌握Apache Spark 2.0七步走（一）](...
经过前面两篇对于Spark概念和核心结构的介绍，让我们继续深入了解Spark：） 本篇讲述了Spark Streaming和机器学习，大数据中Spark到底做了啥，快来看看吧！
全方位掌握Apache Spark 2.0七步走（二）
Dataman数人科技 发表了文章 • 0 个评论 • 6230 次浏览 • 2016-10-11 16:41
前篇传送门：[全方位掌握Apache...
在上一篇普及过Spark的相关概念之后，让我们继续深入研究它的核心结构以及好用的API，本篇视频内容丰富，机（fan）智（qiang）的小伙伴不容错过。
全方位掌握Apache Spark 2.0七步走（一）
Dataman数人科技 发表了文章 • 0 个评论 • 6024 次浏览 • 2016-09-29 11:02
在这个人人都谈Spark的年代，小数也觉得有必要来发Spark的技术文章，帮助大家从入门到精通地了解和掌握Spark，从概念到编程，深刻体会它的迷人之处：）
Spark七步走，here we g...
Mesosphere协同其数据合作伙伴在容器2.0时代和DC/OS上的赌注
绝地魔影 发表了文章 • 0 个评论 • 6837 次浏览 • 2016-08-11 19:28
【编者的话】本文为Mesosphere在其官方博客中发布的关于容器2.0时代中其数据合作伙伴及DC/OS的介绍。
今天我们宣布，我们已经和产业领导者Confluent以及[DataStax](http:...
DockOne微信分享（六十三）：传统企业PaaS平台功能设计与业务上云思考
jniu 发表了文章 • 0 个评论 • 13530 次浏览 • 2016-06-14 22:22
【编者的话】本次分享从四个方面展开：传统企业的应用架构与应用分类；传统企业的应用云化改造需求；基于容器的PaaS平台架构的构建；PaaS平台问题以及传统应用上云改造的一些注意点。
伴随着Docker技术的兴起，以及容器集群管理平台Mesos、Kubernet...
基于Kubernetes的Spark部署完全指南
Fannie 发表了文章 • 0 个评论 • 8712 次浏览 • 2020-03-05 20:57
【编者的话】本文是在Kubernets上搭建Spark集群的操作指南，同时提供了Spark测试任务及相关的测试数据，通过阅读本文，你可以实践从制作Spark镜像、搭建Spark容器集群，到在集群上运行测试任务的完整流程。
Yarn曾经是Hadoop默认的资源...
DockOne微信分享（一七一）：TalkingData的Spark On Kubernetes实践
Andy_Lee 发表了文章 • 0 个评论 • 7832 次浏览 • 2018-05-09 18:54
【编者的话】众所周知，Spark是一个快速、通用的大规模数据处理平台，和Hadoop的MapReduce计算框架类似。但是相对于MapReduce，Spark凭借其可伸缩、基于内存计算等特点，以及可以直接读写Hadoop上任何格式数据的优势，使批处理更加高效，...
基于 Docker 快速部署多需求 Spark 自动化测试环境
李颖杰 发表了文章 • 0 个评论 • 10751 次浏览 • 2018-01-27 08:53
【编者的话】在进行数据分析时，Spark 越来越广泛的被使用。在测试需求越来越多、测试用例数量越来越大的情况下，能够根据需求快速自动化部署 Spark 环境、快速完成所有测试越来越重要。
本文基于 Docker、Jenkins、Apache Ant、Apac...
Mesosphere协同其数据合作伙伴在容器2.0时代和DC/OS上的赌注
绝地魔影 发表了文章 • 0 个评论 • 6837 次浏览 • 2016-08-11 19:28
【编者的话】本文为Mesosphere在其官方博客中发布的关于容器2.0时代中其数据合作伙伴及DC/OS的介绍。
今天我们宣布，我们已经和产业领导者Confluent以及[DataStax](http:...
DockOne微信分享（六十三）：传统企业PaaS平台功能设计与业务上云思考
jniu 发表了文章 • 0 个评论 • 13530 次浏览 • 2016-06-14 22:22
【编者的话】本次分享从四个方面展开：传统企业的应用架构与应用分类；传统企业的应用云化改造需求；基于容器的PaaS平台架构的构建；PaaS平台问题以及传统应用上云改造的一些注意点。
伴随着Docker技术的兴起，以及容器集群管理平台Mesos、Kubernet...
使用Docker在本地搭建hadoop，spark集群
方圆小生 发表了文章 • 0 个评论 • 29599 次浏览 • 2016-01-06 16:57
简介和环境说明
本环境使用的单个宿主主机，而不是跨主机集群，本spark集群环境存在的意义可能在于便于本地开发测试使用，非常轻量级和便捷。这个部署过程，最好在之前有过一定的hadoop，spark集群部署经验的基础，本文重点在于doc...基于Kubernetes的Spark部署完全指南
Fannie 发表了文章 • 0 个评论 • 8712 次浏览 • 2020-03-05 20:57
【编者的话】本文是在Kubernets上搭建Spark集群的操作指南，同时提供了Spark测试任务及相关的测试数据，通过阅读本文，你可以实践从制作Spark镜像、搭建Spark容器集群，到在集群上运行测试任务的完整流程。
Yarn曾经是Hadoop默认的资源...
Spark on Kubernetes与阿里云的深度整合
GoKubernetes 发表了文章 • 0 个评论 • 4114 次浏览 • 2020-02-24 09:32
最近，笔者尝试将Spark on Kubernetes与阿里云深度整合，设计一个开箱即用的Spark on Kubernetes镜像。
首先通过Terraform在阿里云上一键创建和销毁Kubernetes集群。然后写了一个脚本生成Spark镜像，使其在Ku...
DockOne微信分享（一七一）：TalkingData的Spark On Kubernetes实践
Andy_Lee 发表了文章 • 0 个评论 • 7832 次浏览 • 2018-05-09 18:54
【编者的话】众所周知，Spark是一个快速、通用的大规模数据处理平台，和Hadoop的MapReduce计算框架类似。但是相对于MapReduce，Spark凭借其可伸缩、基于内存计算等特点，以及可以直接读写Hadoop上任何格式数据的优势，使批处理更加高效，...
基于 Docker 快速部署多需求 Spark 自动化测试环境
李颖杰 发表了文章 • 0 个评论 • 10751 次浏览 • 2018-01-27 08:53
【编者的话】在进行数据分析时，Spark 越来越广泛的被使用。在测试需求越来越多、测试用例数量越来越大的情况下，能够根据需求快速自动化部署 Spark 环境、快速完成所有测试越来越重要。
本文基于 Docker、Jenkins、Apache Ant、Apac...
Spark和Mesos的诞生之地，又在研究什么新技术？
Dataman数人科技 发表了文章 • 0 个评论 • 5700 次浏览 • 2017-02-06 18:37
加州大学伯克...
大家对加州大学伯克利分校的AMPLab可能不太熟悉，但是它的项目我们都有所耳闻——没错，它就是Spark和Mesos的诞生之地。小数又那里听说了新的工具，一起来围观最前沿的技术吧！
距离全方位掌握Apache spark 2.0你就差最后两步
Dataman数人科技 发表了文章 • 0 个评论 • 5252 次浏览 • 2016-10-19 20:54
传送门：[全方位掌握Apache Spark 2.0七步走（一）](...
经过前面两篇对于Spark概念和核心结构的介绍，让我们继续深入了解Spark：） 本篇讲述了Spark Streaming和机器学习，大数据中Spark到底做了啥，快来看看吧！
全方位掌握Apache Spark 2.0七步走（二）
Dataman数人科技 发表了文章 • 0 个评论 • 6230 次浏览 • 2016-10-11 16:41
前篇传送门：[全方位掌握Apache...
在上一篇普及过Spark的相关概念之后，让我们继续深入研究它的核心结构以及好用的API，本篇视频内容丰富，机（fan）智（qiang）的小伙伴不容错过。
全方位掌握Apache Spark 2.0七步走（一）
Dataman数人科技 发表了文章 • 0 个评论 • 6024 次浏览 • 2016-09-29 11:02
在这个人人都谈Spark的年代，小数也觉得有必要来发Spark的技术文章，帮助大家从入门到精通地了解和掌握Spark，从概念到编程，深刻体会它的迷人之处：）
Spark七步走，here we g...
Mesosphere协同其数据合作伙伴在容器2.0时代和DC/OS上的赌注
绝地魔影 发表了文章 • 0 个评论 • 6837 次浏览 • 2016-08-11 19:28
【编者的话】本文为Mesosphere在其官方博客中发布的关于容器2.0时代中其数据合作伙伴及DC/OS的介绍。
今天我们宣布，我们已经和产业领导者Confluent以及[DataStax](http:...
DockOne微信分享（六十三）：传统企业PaaS平台功能设计与业务上云思考
jniu 发表了文章 • 0 个评论 • 13530 次浏览 • 2016-06-14 22:22
【编者的话】本次分享从四个方面展开：传统企业的应用架构与应用分类；传统企业的应用云化改造需求；基于容器的PaaS平台架构的构建；PaaS平台问题以及传统应用上云改造的一些注意点。
伴随着Docker技术的兴起，以及容器集群管理平台Mesos、Kubernet...
