今天组里新来的实习生在编写和测试一个流处理程序, 问了一个 Kafka 问题,程序大概是这样的: Consumer 会把 Kafka 队列的消息持久化并 commit offset.实习生童鞋反馈有时 KafkaConsumer.poll() 会重复拉取消息,直觉告诉我这应该是 offset com ...

Logistic Regression 是机器学习中的常见算法, 而使用 scikit learn 写 LR 非常简单, 默认支持多分类, 我们可以通过官方例子了解一下. 数据集我们使用 iris (鸢尾花) 数据集, 它包含了150个样本, 都属于鸢尾属下的三个亚属，分别是山鸢尾、变色鸢尾和维吉尼 ...

半年拿到 DeepLearning 证书 在大半年，下班后以及周末都没有出去玩，为此还是花了不少时间精力.以后若要做深度学习方面的开发，这门课都很有帮助.而今终于通过考试，拿到证书，但这并不是结束和终点，而是一个起点. 理论还需要不断学习, 而且实践落地仍然是困难重重的. 最后 展示一下证书嘿嘿： ...

公司有一个业务需要用到 ES 来存储时序数据, 然而 ES 是一个搜索引擎, 我们需要做一些结合 ES 和业务的设计.我们采用了基于时间的 indice 策略, 即每天新建一个 indice 存储当天的数据. 为什么主要有以下几点考虑: 删除数据目前每天需要存储 TB 级别的数据, 但因为存储是有限 ...

大部分应用去索引 document 时都会指定 id , 但是 Lucene 并没有 id 的支持(内部 id 获取比较麻烦), 而且 Lucene 也不需要关心.基于 Lucene 的项目, 比如 Elasticsearch 和 Solr, 会在 Lucene 之上来支持 document 的 i ...

2017 即将结束, FIFA 18 也早已发行. 我们可以来浏览一下 FIFA 18 的数据, 看看那些"最好"的俱乐部. 数据加载和预处理首先从文末的链接下载 fifa 18 的数据文件, 然后加载: import numpy as npimport pandas as pd ...

论美: 何为美 参考 <<数据可视化之美 - O'Reilly>>

数据为了方便, 我们使用 MNIST 数据集. 核心 API(all_scores, cluster_idx, scores, cluster_centers_initialized, init_op, train_op) = kmeans.training_graph() 这个 API 用来生成一 ...

使用 protoc 和 gRpc 需要编译和安装许多依赖，还是挺花时间的。这种问题，用 Docker 来就简单多了，再也不用担心编译和安装以及操作环境被污染的问题。 Docker Image使用的 Docker 镜像是： znly/protoc 使用docker run --rm znly/prot ...

从 ElasticSearch 文档中，我们拉取的 Docker Image 是预先安装 X-Pack 的，加上了 Security 和 Monitor，但有时我们并不想要，然而这并不容易禁用和删除。 修改 Dockerfile 好消息是，这个 Image 的 Dockerfile 是开源的，我们可 ...