100TB分布式存储系统设计 前言系统设计通常从以下顺序考虑 clarify requirement:清楚约束边界 high-level architecture:高层设计 Metadata design:元数据设计 Sharding:分片 Replication/EC:副本可用性/数据冗余 Scaling/rebalancing:重平衡 HotSpot:热点消除 Failure scenair 2026-06-23 分布式 > 系统设计 #分布式 #系统设计
GFS (Google File System) 前言:Google 分布式三驾马车本篇笔记重点梳理 Google 在分布式领域的奠基性论文——GFS (Google File System)。作为大数据时代的开山之作,它不仅是开源社区 Hadoop HDFS 的前身,更与另外两篇独立论文共同构成了早期分布式计算的技术起源: GFS (Google File System):高吞吐的分布式文件存储系统,解决海量数据的“存”问题。 BigTabl 2026-06-22 分布式 > 分布式存储 #分布式 #分布式存储 #GFS
从 URL 输入到页面渲染的全过程 前言当用户在浏览器地址栏输入 URL 并按下回车键时,背后涉及了从物理层到应用层、从客户端到服务器端的复杂协作。本文将详细解构这一过程中的关键技术环节。 1. 协议预处理与 HSTS 机制在发起网络请求前,现代浏览器会执行安全策略检查。 1.1 HSTS (HTTP Strict Transport Security)为了防范中间人攻击(如 SSL Striping),浏览器会检查本地的 HSTS 2026-06-18 计算机网络 #计算机网络 #HTTP #浏览器原理
分布式锁RedLock争论 前言RedLock 争议是 Redis 作者 Salvatore Sanfilippo(Antirez)与分布式系统研究者 Martin Kleppmann 围绕分布式锁安全性所展开的一场经典技术论战。 这场争论的核心并非仅针对 RedLock 算法本身,而是进一步延伸至一个更本质的问题: 在真实分布式环境中,是否能够仅依赖基于时间的租约(Lease)机制构建同时具备安全性(Safety)、活性 2026-06-17 分布式 > 分布式锁 > 争论 #分布式 #分布式锁
一致性模型 前言在分布式系统中,一致性模型(consistency model)定义了多个进程或节点对共享数据进行读写操作时应满足的约束与行为保证。一致性模型不仅关乎系统的正确性,也直接影响系统的性能、可用性与可伸缩性。 本文从弱到强介绍主要的一致性模型,并分析它们的权衡、适用场景与在实际系统中的应用。 一致性模型的分类与强弱关系分布式系统中常见的一致性模型可按强度从强到弱排序如下: $$\text{线性一 2026-06-17 分布式 > 理论基础 #分布式 #理论基础
FLP不可能性定理与分布式共识理论 前言CAP 定理中的 $P$(分区容忍性)在完全异步系统里其实就是 FLP 的常态: 在 CAP 的世界里:当发生 $P$ 时,如果你追求 $C$(强一致性),节点就必须死等对端恢复,从而被迫放弃 $A$(可用性/终止性)。 在 FLP 的世界里:因为网络完全异步,哪怕没有发生物理分区,仅仅是网络延迟波动,或者节点正在经历 Stop-the-World (STW) 垃圾回收,对于其他节 2026-05-28 分布式 > 理论基础 #分布式系统 #一致性理论 #FLP不可能性
拜占庭将军问题 拜占庭将军问题(Byzantine Generals Problem)前言拜占庭将军问题由 Lamport、Shostak 和 Pease 于 1982 年提出,描述了分布式系统中存在恶意节点(拜占庭故障)时,如何在参与方之间就一个共同决策达成一致的问题。该问题奠定了对抗任意错误(Arbitrary Failures / Byzantine Failures)容错理论的基础,并直接影响了 2026-05-28 分布式 > 理论基础 #分布式 #理论基础
二分法 二分法二分法是在有序区间中以 O(log n) 复杂度查找答案的方法。 不仅适用于: 完全有序数组 部分有序数组 单调函数 答案空间搜索 例如: LeetCode 704:二分查找 LeetCode 34:查找元素第一个和最后一个位置 LeetCode 33:搜索旋转排序数组 LeetCode 153:寻找旋转数组最小值 各种「答案二分」 虽然二分法思想很简单,但是对于不同二分变形有很多细 2026-05-22 数据结构与算法