2022年度总结&未来规划
2022依旧过得很快，回顾往昔感慨颇多，遗憾与满足同在，不可避免的老去，一年又一年。
当然2022对我来说不是完全的唱衰，虽然有不可逃避的抉择和但也一一面对过，想起这些事情，落笔时的悲伤和低落的情绪便如雪花坠地般迅速崩解了。最初兴起这个念头是12月26号网易云推送的年度报告，过去的这一年中听过的歌单
...
kafka核心技术实战一、kafka入门
发表于
字数统计:
2k
|
阅读时长 ≈
7
一、kafka是什么
Apache Kafka 是一款开源的消息引擎系统。
根据维基百科的定义，消息引擎系统是一组规范。企业利用这组规范在不同系统之间传递语义准确的消息，实现松耦合的异步式数据传递。
消息引擎存在的作用：削峰填谷。
上下游（由于业务性质的不同所导致的）处理速度不匹配，需要消息引擎来做
...
ES源码分析六、集群写入流程
发表于
字数统计:
2.4k
|
阅读时长 ≈
8
在ES中，单个写入文档的请求被称为Index请求；批量写入文档的请求被称为Bulk请求。写入单个或者多个文档的请求都被封装为BulkRequest请求。
几种文档操作的定义123enum OpType {INDEX(0)， CREATE(1)， UPDATE(2)， DELETE(3);&
...
ES源码分析五、集群是如何确定主节点的？
发表于
字数统计:
2.1k
|
阅读时长 ≈
8
Discovery模块负责发现集群中的节点，以及选择主节点。ES内置实现为 Zen Discovery。
5.1 为什么使用主从模式？除主从模式以外，另一种选择是分布式哈希表DHT，可以支持每小时数千节点的离开和加入。但是ES典型场景为：当前集群没有那么多节点离开和加入，并且节点数量远小于单个节点能
...
ES源码分析四、节点在关闭时发生了什么？
发表于
字数统计:
1k
|
阅读时长 ≈
3
当ES集群更新配置、升级版本时，需要通过“kill”ES进程来关闭节点。::ES进程会捕获SIGTERM信号(kill命令默认信号)进行处理，调用各模块的stop方法停止服务并安全退出。::
如果主节点被关闭，集群会重新选主，在这个期间集群会进入短暂的无主状态。
如果数据节点被关闭，则读写请求的T
...
ES源码分析三、节点在启动时发生了什么？
发表于
字数统计:
1.3k
|
阅读时长 ≈
4
3.1 ES节点启动流程做了什么？
解析配置：配置文件和命令行参数
检测外部/内部环境：JVM版本，操作系统内核参数等
初始化内部资源：创建内部模块，初始化探测器
启动：各个子模块和keepalive线程启动
3.2 启动流程分析3.2.1 启动脚本解析通过 bin/elast
...
ES源码分析二、集群启动流程
发表于
字数统计:
1.5k
|
阅读时长 ≈
5
集群启动过程指集群完全重启时的启动过程，期间经历选举主节点、主分片、数据恢复等。
2.1 选举主节点集群启动时，需要从已知活跃的机器列表中选择一个作为主节点，选主之后的流程由主节点触发。参选人数过半时选出临时Master、得票过半确定Master、当节点离开时检测集群节点数等。选取的时间点为：当集群
...
ES源码分析一、基本概念和原理
发表于
字数统计:
1.8k
|
阅读时长 ≈
6
1.1 基本概念Elasticsearch是实时的分布式搜索分析引擎，底层使用Lucene提供索引和搜索功能。实时：新增到ES的数据最快1s可被搜到分布式：动态调整集群规模，弹性扩容
1.1.1 索引结构ES是面向文档的，各种文本内容以文档的形式存储在ES索引中，默认使用JSON作为文档的序列化格式
...