分布式

分布式

你不是谷歌,不要学习它的一切

w9527 发表了文章 • 0 个评论 • 1079 次浏览 • 2020-10-19 18:04 • 来自相关话题


软件工程师对于最荒渺的事情非常热衷。我们倾向于认为自己是超理性的,但是当我们面临一种技术选择的时候,我们最终会陷入一种疯狂状态——从一个人的Hacker News评论跳到另一个人的博客文章,直到变得麻木,我们无助地漂浮朝着最明亮的光线倾斜,并且俯卧在它的前面,...
查看更多

分布式事务有这一篇就够了

大卫 发表了文章 • 0 个评论 • 1226 次浏览 • 2020-10-10 21:49 • 来自相关话题


基础概念

什么是事务

事务可以看做是一次大的活动,它由不同的小活动组成,这些活动要么全部成功,要么全部失败。

本地事务

在计算机系统中,更多的是通过关系型数据库来控制事务,这是利用数据库本身的事务特性来实现的,因此叫数据库事务,由...
查看更多

警惕分布式常见的这十大坑

玻璃樽 发表了文章 • 0 个评论 • 3160 次浏览 • 2020-09-26 17:31 • 来自相关话题


【编者的话】本文讲述了分布式的十个坑,分别为:6个分布式消息队列的坑,1个分布式缓存的坑,2个分库分表的坑和1个分布式事务的坑。

前言

我们都在讨论分布式,特别是面试的时候,不管是招初级软件工程师还是高级,都会要求懂分布式,甚至要求用过。传得沸沸扬扬的分...
查看更多

如何系统性地学习分布式系统?

玻璃樽 发表了文章 • 0 个评论 • 841 次浏览 • 2020-09-22 20:22 • 来自相关话题


前言

学习一个知识之前,我觉得比较好的方式是先理解它的来龙去脉:即这个知识产生的过程,它解决了什么问题,它是怎么样解决的,还有它引入了哪些新的问题(没有银弹),这样我们才能比较好的抓到它的脉络和关键点,不会一开始就迷失在细节中。

所以,在学习分布式系统...
查看更多

Fluid: 让大数据和 AI 拥抱云原生的一块重要拼图

阿里巴巴云原生 发表了文章 • 0 个评论 • 803 次浏览 • 2020-09-08 15:28 • 来自相关话题


作者 | 顾荣、车漾、范斌

得益于容器化带来的高效部署、敏捷迭代,以及云计算在资源成本和弹性扩展方面的天然优势,以 Kubernetes 为代表的云原生编排框架吸引着越来越多的 AI 与大数据应用在其上部署和运行。然而,云原生计算基金会(CNCF)[全景图]...
查看更多

好慌,Redis这么多集群方案,要用哪种?

AI乔治 发表了文章 • 0 个评论 • 1113 次浏览 • 2020-09-01 22:01 • 来自相关话题


redis速度快,可靠性高,是互联网公司的标配。它有单机、主从、哨兵、Cluster等四种部署模式。
下面,仅从部署模式上,来说明一下它们的优缺点。

单机模式

单机模式的redis非常简单,你只需要启动一个单一的节点就可以了,安装过程不超过5分...
查看更多

Dagster:一种数据编排器

dummy 发表了文章 • 2 个评论 • 1765 次浏览 • 2020-08-20 17:01 • 来自相关话题


随着机器学习、数据分析和数据处理对企业变得越来越复杂和越来越重要,改进其背后的软件变得更加迫切。

企业内的数据是无序的,不受信的。工程师和从业者因此深感效率低下,深陷苦差事之中。数据科学家、数据工程师、分析师和其他构建复杂数据系统的角色之间的协作是痛苦的。处...
查看更多

分布式ID生成策略,我和面试官扯了一个半小时

大卫 发表了文章 • 0 个评论 • 1431 次浏览 • 2020-07-20 12:32 • 来自相关话题


前言

面试官:小伙子,你还记得我吗?我是上次面试你的那个面试官。

我心想:我去,怎么会不记得,我又不是青年痴呆,上次害我画了那么多图,还使劲敲了一个多钟的电脑,满脑子都是你的阴影。

我:记得记得,您好,很高兴能通过二面,能够继续和您交流技术...
查看更多

忘掉 Snowflake,感受一下性能高出 587 倍的全局唯一 ID 生成算法

老马 发表了文章 • 0 个评论 • 1539 次浏览 • 2020-07-19 11:31 • 来自相关话题


今天我们来拆解 Snowflake 算法,同时领略百度、美团、腾讯等大厂在全局唯一 ID 服务方面做的设计,接着根据具体需求设计一款全新的全局唯一 ID 生成算法。这还不够,我们会讨论到全局唯一 ID 服务的分布式 CAP 选择与性能瓶颈。

已经熟悉 Sno...
查看更多

浅谈微服务体系中的分层设计和领域划分

玻璃樽 发表了文章 • 0 个评论 • 2316 次浏览 • 2020-07-11 20:54 • 来自相关话题


引言

看标题感觉这个东西很理论,比起“高并发、多线程”、“分布式CAP、一致性、Paxos”、“高可用SLA”等具体的干货技术点,软件体系知识显得很“湿”,似乎人人都有自己的认识,但又很少有人能说完整,有一点可以确定的是,如果你未来需要独立设计一个复杂的...
查看更多

你不是谷歌,不要学习它的一切

w9527 发表了文章 • 0 个评论 • 1079 次浏览 • 2020-10-19 18:04 • 来自相关话题


软件工程师对于最荒渺的事情非常热衷。我们倾向于认为自己是超理性的,但是当我们面临一种技术选择的时候,我们最终会陷入一种疯狂状态——从一个人的Hacker News评论跳到另一个人的博客文章,直到变得麻木,我们无助地漂浮朝着最明亮的光线倾斜,并且俯卧在它的前面,...
查看更多

分布式事务有这一篇就够了

大卫 发表了文章 • 0 个评论 • 1226 次浏览 • 2020-10-10 21:49 • 来自相关话题


基础概念

什么是事务

事务可以看做是一次大的活动,它由不同的小活动组成,这些活动要么全部成功,要么全部失败。

本地事务

在计算机系统中,更多的是通过关系型数据库来控制事务,这是利用数据库本身的事务特性来实现的,因此叫数据库事务,由...
查看更多

警惕分布式常见的这十大坑

玻璃樽 发表了文章 • 0 个评论 • 3160 次浏览 • 2020-09-26 17:31 • 来自相关话题


【编者的话】本文讲述了分布式的十个坑,分别为:6个分布式消息队列的坑,1个分布式缓存的坑,2个分库分表的坑和1个分布式事务的坑。

前言

我们都在讨论分布式,特别是面试的时候,不管是招初级软件工程师还是高级,都会要求懂分布式,甚至要求用过。传得沸沸扬扬的分...
查看更多

如何系统性地学习分布式系统?

玻璃樽 发表了文章 • 0 个评论 • 841 次浏览 • 2020-09-22 20:22 • 来自相关话题


前言

学习一个知识之前,我觉得比较好的方式是先理解它的来龙去脉:即这个知识产生的过程,它解决了什么问题,它是怎么样解决的,还有它引入了哪些新的问题(没有银弹),这样我们才能比较好的抓到它的脉络和关键点,不会一开始就迷失在细节中。

所以,在学习分布式系统...
查看更多

Dagster:一种数据编排器

dummy 发表了文章 • 2 个评论 • 1765 次浏览 • 2020-08-20 17:01 • 来自相关话题


随着机器学习、数据分析和数据处理对企业变得越来越复杂和越来越重要,改进其背后的软件变得更加迫切。

企业内的数据是无序的,不受信的。工程师和从业者因此深感效率低下,深陷苦差事之中。数据科学家、数据工程师、分析师和其他构建复杂数据系统的角色之间的协作是痛苦的。处...
查看更多

分布式ID生成策略,我和面试官扯了一个半小时

大卫 发表了文章 • 0 个评论 • 1431 次浏览 • 2020-07-20 12:32 • 来自相关话题


前言

面试官:小伙子,你还记得我吗?我是上次面试你的那个面试官。

我心想:我去,怎么会不记得,我又不是青年痴呆,上次害我画了那么多图,还使劲敲了一个多钟的电脑,满脑子都是你的阴影。

我:记得记得,您好,很高兴能通过二面,能够继续和您交流技术...
查看更多

忘掉 Snowflake,感受一下性能高出 587 倍的全局唯一 ID 生成算法

老马 发表了文章 • 0 个评论 • 1539 次浏览 • 2020-07-19 11:31 • 来自相关话题


今天我们来拆解 Snowflake 算法,同时领略百度、美团、腾讯等大厂在全局唯一 ID 服务方面做的设计,接着根据具体需求设计一款全新的全局唯一 ID 生成算法。这还不够,我们会讨论到全局唯一 ID 服务的分布式 CAP 选择与性能瓶颈。

已经熟悉 Sno...
查看更多

浅谈微服务体系中的分层设计和领域划分

玻璃樽 发表了文章 • 0 个评论 • 2316 次浏览 • 2020-07-11 20:54 • 来自相关话题


引言

看标题感觉这个东西很理论,比起“高并发、多线程”、“分布式CAP、一致性、Paxos”、“高可用SLA”等具体的干货技术点,软件体系知识显得很“湿”,似乎人人都有自己的认识,但又很少有人能说完整,有一点可以确定的是,如果你未来需要独立设计一个复杂的...
查看更多

谈谈对分布式事务的一点理解和解决方案

大卫 发表了文章 • 0 个评论 • 1894 次浏览 • 2020-06-17 12:58 • 来自相关话题


【编者的话】最近,工作中要为现在的老系统做拆分和升级,刚好遇到了分布式事务、幂等控制、异步消息乱序和补偿方案等问题,于是基于实践结合个人的看法记录一下方案和思路。

分布式事务

首先,做系统拆分的时候几乎都会遇到分布式事务的问题,一个仿真的案例如下:
...
查看更多

微言Netty:分布式服务框架

玻璃樽 发表了文章 • 0 个评论 • 1592 次浏览 • 2020-05-26 09:33 • 来自相关话题


【编者的话】几年前,我就一直想着要设计一款自己的实时通讯框架,于是出来了TinySocket,它是基于微软的SocketAsyncEventArgs来实现的,由于此类提供的功能很简洁,所以当时自己实现了缓冲区处理,粘包拆包等,彼时的.net平台还没有一款成熟的...
查看更多

你不是谷歌,不要学习它的一切

w9527 发表了文章 • 0 个评论 • 1079 次浏览 • 2020-10-19 18:04 • 来自相关话题


软件工程师对于最荒渺的事情非常热衷。我们倾向于认为自己是超理性的,但是当我们面临一种技术选择的时候,我们最终会陷入一种疯狂状态——从一个人的Hacker News评论跳到另一个人的博客文章,直到变得麻木,我们无助地漂浮朝着最明亮的光线倾斜,并且俯卧在它的前面,...
查看更多

分布式事务有这一篇就够了

大卫 发表了文章 • 0 个评论 • 1226 次浏览 • 2020-10-10 21:49 • 来自相关话题


基础概念

什么是事务

事务可以看做是一次大的活动,它由不同的小活动组成,这些活动要么全部成功,要么全部失败。

本地事务

在计算机系统中,更多的是通过关系型数据库来控制事务,这是利用数据库本身的事务特性来实现的,因此叫数据库事务,由...
查看更多

警惕分布式常见的这十大坑

玻璃樽 发表了文章 • 0 个评论 • 3160 次浏览 • 2020-09-26 17:31 • 来自相关话题


【编者的话】本文讲述了分布式的十个坑,分别为:6个分布式消息队列的坑,1个分布式缓存的坑,2个分库分表的坑和1个分布式事务的坑。

前言

我们都在讨论分布式,特别是面试的时候,不管是招初级软件工程师还是高级,都会要求懂分布式,甚至要求用过。传得沸沸扬扬的分...
查看更多

如何系统性地学习分布式系统?

玻璃樽 发表了文章 • 0 个评论 • 841 次浏览 • 2020-09-22 20:22 • 来自相关话题


前言

学习一个知识之前,我觉得比较好的方式是先理解它的来龙去脉:即这个知识产生的过程,它解决了什么问题,它是怎么样解决的,还有它引入了哪些新的问题(没有银弹),这样我们才能比较好的抓到它的脉络和关键点,不会一开始就迷失在细节中。

所以,在学习分布式系统...
查看更多

Fluid: 让大数据和 AI 拥抱云原生的一块重要拼图

阿里巴巴云原生 发表了文章 • 0 个评论 • 803 次浏览 • 2020-09-08 15:28 • 来自相关话题


作者 | 顾荣、车漾、范斌

得益于容器化带来的高效部署、敏捷迭代,以及云计算在资源成本和弹性扩展方面的天然优势,以 Kubernetes 为代表的云原生编排框架吸引着越来越多的 AI 与大数据应用在其上部署和运行。然而,云原生计算基金会(CNCF)[全景图]...
查看更多

好慌,Redis这么多集群方案,要用哪种?

AI乔治 发表了文章 • 0 个评论 • 1113 次浏览 • 2020-09-01 22:01 • 来自相关话题


redis速度快,可靠性高,是互联网公司的标配。它有单机、主从、哨兵、Cluster等四种部署模式。
下面,仅从部署模式上,来说明一下它们的优缺点。

单机模式

单机模式的redis非常简单,你只需要启动一个单一的节点就可以了,安装过程不超过5分...
查看更多

Dagster:一种数据编排器

dummy 发表了文章 • 2 个评论 • 1765 次浏览 • 2020-08-20 17:01 • 来自相关话题


随着机器学习、数据分析和数据处理对企业变得越来越复杂和越来越重要,改进其背后的软件变得更加迫切。

企业内的数据是无序的,不受信的。工程师和从业者因此深感效率低下,深陷苦差事之中。数据科学家、数据工程师、分析师和其他构建复杂数据系统的角色之间的协作是痛苦的。处...
查看更多

分布式ID生成策略,我和面试官扯了一个半小时

大卫 发表了文章 • 0 个评论 • 1431 次浏览 • 2020-07-20 12:32 • 来自相关话题


前言

面试官:小伙子,你还记得我吗?我是上次面试你的那个面试官。

我心想:我去,怎么会不记得,我又不是青年痴呆,上次害我画了那么多图,还使劲敲了一个多钟的电脑,满脑子都是你的阴影。

我:记得记得,您好,很高兴能通过二面,能够继续和您交流技术...
查看更多

忘掉 Snowflake,感受一下性能高出 587 倍的全局唯一 ID 生成算法

老马 发表了文章 • 0 个评论 • 1539 次浏览 • 2020-07-19 11:31 • 来自相关话题


今天我们来拆解 Snowflake 算法,同时领略百度、美团、腾讯等大厂在全局唯一 ID 服务方面做的设计,接着根据具体需求设计一款全新的全局唯一 ID 生成算法。这还不够,我们会讨论到全局唯一 ID 服务的分布式 CAP 选择与性能瓶颈。

已经熟悉 Sno...
查看更多

浅谈微服务体系中的分层设计和领域划分

玻璃樽 发表了文章 • 0 个评论 • 2316 次浏览 • 2020-07-11 20:54 • 来自相关话题


引言

看标题感觉这个东西很理论,比起“高并发、多线程”、“分布式CAP、一致性、Paxos”、“高可用SLA”等具体的干货技术点,软件体系知识显得很“湿”,似乎人人都有自己的认识,但又很少有人能说完整,有一点可以确定的是,如果你未来需要独立设计一个复杂的...
查看更多