Celery SQLAlchemy issue

一个基于Flask + SQLAlchemy + Celery的后端任务平台,主要用到异步运行Ansible任务。因业务需要, 前两天升级了mysql配置,升级过程中重启了mysql服务。 下午,在执行Ansible后台任务的时候报错: 1Stat...

Python

Flask request小结

一、post 请求 (Content-Type: application/json) c = request.get_data() 可以获取未经处理过的原始数据而不管内容类型,如果数据格式是json的,则取得的是json字符串,排序和请求参数一致...

Python

Celery任务状态报错一例

Celery 中定义FAILURE状态时,报错:KeyError: 'exc_type',完整内容大致如下: 123456789101112131415161718>>> print(task.state)Traceback (mo...

Python

Hbase Rowkey设计规范参考

HBase是三维有序存储的,通过rowkey(行键),column key(column family和qualifier)和TimeStamp(时间戳)这个三个维度可以对HBase中的数据进行快速定位。 HBase中rowkey可以唯一标识一行记录,在HBase查询的时候,有以下几种方式: 通过get方式,指定rowkey获取唯一一条记录 通过scan方式,设置startRow和stopRow参数进行范围匹配 全表扫描,即直接扫描整张表中所有行记录 rowkey长度原则

BigData

Zookeeper选举机制

选择机制中的概念服务器ID比如有三台服务器,编号分别是1,2,3。 编号越大在选择算法中的权重越大。 数据ID(或事务ID)服务器中存放的最大数据ID. 值越大说明数据越新,在选举算法中数据越新权重越大。 逻辑时钟

BigData

利用Ansible Playbook批量部署node_exporter

之前有翻译过一系列Grafana配置Graphite的文章。传送门 在用过Prometheus之后,发现Prometheus配合Grafana也是天造的一对,以设的一双。 对于服务器基础指标监控而言,Prometheus通过node_exporter来收集数据做为数据源,提供了各种与硬件和内核相关的详细指标。 下面分享一个我正在使用的Ansible Playbook,用于批量部署node_exporter到多个目标主机。

DevOps

Spark性能优化之foreach与foreachPartition

首先,我们对比一下foreachPartition和foreach两个方法的实现,有什么不同的地方: 123456789def foreach(f: T => Unit): Unit = withScope { val cleanF = sc.clean(f) sc.runJob(this, (iter: Iterator[T]) => iter.foreach(cleanF))}def foreachPartition(f: Iterator[T] => Unit): Unit = withScope { val cleanF = sc.clean(f) sc.runJob(this, (iter: Iterator[T]) => cleanF(iter))}

BigData

Kafka与Flume区别

Kafka 与 Flume 在很多方面有相似性。以下是评估两个系统的一些建议: Kafka 是一个通用型系统。你可以有许多的生产者和消费者分享多个主题。相反地,Flume 被设计成特定用途的工作,特定地向 HDFS 和 HBase 发送出去。Flu...

DevOps

Scala异常获取一例

在处理第11行读文件时,由于数据文件出现的不规律,在指定日期内可能存在日志文件不存在的情况,这里需要处理下异常: 123456789101112131415161718192021def readLog(sc: SparkContext, startDate: String, endDate: String, logNames: List[String]): RDD[String] = { val dateLst = DateUtils.getDateListBetweenTwoDate(startDate, endDate) var logRdd = sc.makeRDD(List[String]()) for (date <- dateLst) { val year = date.substring(0, 4) val month = date.substring(4, 6) val day = date.substring(6, 8) for (logName <- logNames) { val logRdd = logRdd.union( try {sc.textFile(s"cosn://fuge/mid-data/fuge/ssp/bid-log/$year/$month/$day/${logName}*") .map(x => x.split("\\|", -1)) .filter(x => x.length >= 2 && (x(1).trim == "6" || x(1).trim == "0")).map(_.toString) // 0和6为请求成功的状态码 } catch { case _: Exception => sc.makeRDD(List[String]()) } ) } } logRdd}

Coding

红芯浏览器下载

宣称打破美国垄断、自主研发出国产浏览器内核的红芯浏览器,却被质疑使用的是谷歌Chrome内核,而且是两年前的旧版内核(详细剖析可参考:融资2.5亿的国产浏览器之光,竟然只是谷歌浏览器换了层皮?

Opinions

站内搜索

没有找到内容!