GraphX 图并行计算 (一)
GraphX 是 Spark 的一个模块, 主要负责大规模图数据的并行计算.
图计算是什么那么, 图计算是什么, 有什么用呢?图计算, 就是从图结构的数据中, 提取有用的信息. 比如这些:
PageRank.google创始人命名的算法, 互联网中的海量网页是一个图, 每个顶点都是一个网页,
...
Hive 合并 input files
发表于
建设数据仓库时, 有些上游表是自己无法控制的, 可能是历史原因, 可能是其他业务组的表.当这些上游表是由大量小文件组成时, 读取这些数据和启动对应的 mapper 数目会影响数据处理的效率.
打印相关参数:set hive.input.format;set mapreduce.input.filei
...
Linux 文件关联和 icon
发表于
Linux Desktop 中, 文件管理器许多文件的图标都是一个 "白文件纸" 的图标,如何根据后缀名为其设置图标和打开程序呢?
实例以下基于 Manjaro Linux, 为 .xmind 文件设置关联 :
安装图标:xdg-icon-resource install --
...
Hive map task 处理缓慢
发表于
工作中有时也会碰到一些简单的 SQL 但却跑的很慢,比如根据需求格式拼接 json :
select uid, concat('{', concat('"login_count_30d":"',if(login_co
...
【Spark】默认的 window frame
发表于
SQL 窗口函数经常使用, 但是在修改历史代码时会经常忽略掉一些隐蔽的默认行为,使得代码留下 bug, 比如下面两个结果是一样的吗:
sum(..) over(partition by dimension_1)sum(..) over(partition by dimension_1 order
...
Spark ML 基础概念
发表于
在使用 Spark ML 前, 我们需要了解几个基本概念:
DataFrame: 从 Spark SQL 加载的 ML dataset, 比如 text feature label 等等.
Transformer: 作用是转换一个 DataFrame 到另一个 DataFrame, 比如一个 M
...
Spark UnsafeRow 对象
发表于
UnsafeRowUnsafeRow 是 Spark Tungsten 内存管理中的重要部分, 用 Raw Memory (堆外内存) 来存储 Row 数据, 以避免不必要的 JVM GC 和 Java Object 的内存开销, 因为 Spark 比 JVM 更了解哪些内存数据可以保存或释放, 它
...
Spark implicits - 【Case Class Encoder】
发表于
Case Class Encoder编写 Spark Job, 在从旧的 RDD API 到 DataSet API 的过程中,必然碰到 Encoder 的问题, 比如使用 case class Person(name: String, age: Long) :
import spark.impli
...
Kafka | replication 要点
发表于
基础
Kafka 冗余备份的单元是 topic partition.
在非故障情况下，Kafka 中的每个 partition 都对应有单一的 leader 与 零个或多个 followers.
所有读和写操作都会转给该分区的 leader, 而 leader 通常均匀的分布在 brokers 之间
...
vmfuse 共享目录不能写入文件的问题
发表于
最近 manjaro 更新之后, 发现 fuse.vmhgfs-fuse 共享文件不能写入文件了, 提示 Input/Output Error.于是进行测试排查, 进一步排查发现 64KB 以下的文件还是可以的, 于是看 vmfuse 挂载的是否有问题.
cat /proc/mounts 或者 输入
...