Lucene 数据结构 - FST 简介
说起字典, 我们很快联想到字典树, 然而 Lucene 中并不是用字典树进行存储的.
Lucene 使用的是 FST (Finite State Transducers) , FST 是什么呢 ?
What
FST 本质上是一个最小的有向无环 DFA , 它使用边来存储信息, 复用字符串的前缀和后缀
...
思考生命的意义 - 2 - 伊壁鸠鲁 的享乐主义
发表于
伊壁鸠鲁（Epicurus，前341年－前270年）, 享乐主义者, 他发展了亚里斯提卜（Aristippus）的享乐主义. 主张最大的快乐就是去达到不受干扰的宁静状态.
快乐和精神上的快乐和亚里斯提卜（Aristippus）享乐主义不同, 伊壁鸠鲁把快乐定义为不仅仅是肉体上的，也包括精神上的. 肉
...
MapReduce Map Side Join - 用户经纬度转换的例子
发表于
工作中, 我们经常碰到大小表 Join 的问题.例如: 我们有一个用户经纬度上报日志大表 A + 一个经纬度与行政区域映射小表 B, 我们需要把A中的用户经纬度经过B的映射转换为所处的行政区域名称, 这就面临两个问题:
Join 的逻辑比较复杂, 不是简单的 a.id = b.id , B 中只有
...
hack - MapReduce MultipleInputs & 获取输入的文件名
发表于
在文件批处理的时候, 经常会遇到这样的需求, 比如文件名中带有一些信息，MapReduce 中需要通过获取文件名来分别进行不同业务上的处理。
MultipleInputs 下获取文件名的问题
在 org.apache.hadoop.mapreduce.Mapper#setup(Mapper<K
...
《睡眠革命》 - 笔记精华
发表于
尊重昼夜节律人体的昼夜节律：
其中，光线和褪黑素是最重要的生物钟调节器。
昼夜节律是历史进化的产物，我们需要去顺应它：
利用日光调整生物钟，而不是人工光线。
了解你的各项高峰和低谷数值（比如使用穿戴式追踪器）。
花时间了解一下你的昼夜节律，根据个人生活和工作习惯，规划好一天的事务。
睡眠质量最高
...
《单核工作法》笔记和简介
发表于
什么是单核工作法?
五个概念
首先我们需要了解单核工作法的五个基本概念:
快捷清单这是单核工作法的核心。它最多存放 5 项 当前最重要的任务。如果还要添加更多的任务,就必须删掉原有任务。
单核时段这一时段, 只用于专心处理快捷清单上的某一项任务。全景闹钟将作为单核时段的结束标识。
全景闹钟应该设置在
...
Druid | Kafka Indexing Service - 2 - Worker 运行任务
发表于
前面我们已经介绍了 Supervisor 如何指派任务, 那么 Worker 是如何运行任务的呢? 今天就从源码上了解大概的流程.
middleManager 接收 task 指派
前面提到 Supervisor 通过 Zookeeper 指派任务, 熟悉 Zookeeper 的同学估计也已经猜到,
...
Druid | Kafka Indexing Service - 1 - SupervisorSpec 提交概要流程
发表于
Kafka Indexing Service (简称 KIS) 可以从 Kafka 拉取数据并写入 Druid 的 DataSource 中,KIS 的代码并不复杂, 我们可以从中了解到更多的细节。下面我们来一起看看提交 SupervisorSpec 的大概流程。
定义 SuperVisor
使用
...
ssh 登录挂住的问题 - 可能是 MTU
发表于
今天在一个新环境使用 ssh 登录卡住了, 提示: Read from socket failed: Connection reset by peer .
打开 verbose 信息后, 发现是卡在 expecting SSH2_MSG_KEX_ECDH_REPLY :
OpenSSH_6.6.1,
...
Kubernetes 下 Pod IP 变更 (对 ES 的影响)
发表于
StatefulSet DNS 问题
用过 StatefulSet 的童鞋应该知道, 重启之后 Pod Name 是不变的， 但会被分配新的 Pod IP。举个例子, 假如你部署了 3 个 ES 实例, 分别是 es-0/es-1/es-2, 其中 es-2 的 IP 是 10.2.16.15, 这
...