Kafka与Flume区别

Kafka 与 Flume 在很多方面有相似性。以下是评估两个系统的一些建议：

  1. Kafka 是一个通用型系统。你可以有许多的生产者和消费者分享多个主题。相反地，Flume 被设计成特定用途的工作，特定地向 HDFS 和 HBase 发送出去。Flume 为了更好地为 HDFS 服务而做了特定的优化，并且与 Hadoop 的安全体系整合在了一起。基于这样的结论，Hadoop 开发商 Cloudera 推荐如果数据需要被多个应用程序消费的话，推荐使用 Kafka，如果数据只是面向 Hadoop 的，可以使用 Flume。

  2. Flume 拥有许多配置的来源 (sources) 和存储池 (sinks)。然后，Kafka 拥有的是非常小的生产者和消费者环境体系，Kafka 社区并不是非常支持这样。如果你的数据来源已经确定，不需要额外的编码，那你可以使用 Flume 提供的 sources 和 sinks，反之，如果你需要准备自己的生产者和消费者，那你需要使用 Kafka。

  3. Flume 可以在拦截器里面实时处理数据。这个特性对于过滤数据非常有用。Kafka 需要一个外部系统帮助处理数据。

  4. 无论是 Kafka 或是 Flume，两个系统都可以保证不丢失数据。然后，Flume 不会复制事件。相应地，即使我们正在使用一个可以信赖的文件通道，如果 Flume agent 所在的这个节点宕机了，你会失去所有的事件访问能力直到你修复这个受损的节点。使用 Kafka 的管道特性不会有这样的问题。

  5. Flume 和 Kafka 可以一起工作的。如果你需要把流式数据从 Kafka 转移到 Hadoop，可以使用 Flume 代理 (agent)，将 kafka 当作一个来源 (source)，这样可以从 Kafka 读取数据到 Hadoop。你不需要去开发自己的消费者，你可以使用 Flume 与 Hadoop、HBase 相结合的特性，使用 Cloudera Manager 平台监控消费者，并且通过增加过滤器的方式处理数据。

Devops

Scala异常获取一例

在处理第11行读文件时，由于数据文件出现的不规律，在指定日期内可能存在日志文件不存在的情况，这里需要处理下异常：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
def readLog(sc: SparkContext, startDate: String, endDate: String, logNames: List[String]): RDD[String] = {
  val dateLst = DateUtils.getDateListBetweenTwoDate(startDate, endDate)

  var logRdd = sc.makeRDD(List[String]())
  for (date <- dateLst) {
    val year = date.substring(0, 4)
    val month = date.substring(4, 6)
    val day = date.substring(6, 8)
    for (logName <- logNames) {
       val logRdd = logRdd.union(
        try {sc.textFile(s"cosn://fuge/mid-data/fuge/ssp/bid-log/$year/$month/$day/${logName}*")
          .map(x => x.split("\\|", -1))
          .filter(x => x.length >= 2 && (x(1).trim == "6" || x(1).trim == "0")).map(_.toString) // 0和6为请求成功的状态码
        } catch {
          case _: Exception => sc.makeRDD(List[String]())
        }
      )
    }
  }
  logRdd
}
Coding

阅读全文 >>

无GUI的CentOS上使用Selenium+Chrome

客户的网站上的监测代码最近连续两次在网站更新时被清除掉，导致无法正常获取网站访问数据，影响到后续大数据分析。

为解决这个问题，决定使用Python Selenium模块来实现网站按钮模拟点击，同时监测我们后台是否能正常收到，以此来判断网站按钮监测代码是否有正常部署。

Selenium很好用很强大，开发和部署也都很简单，是自动化测试非常好的工具，但是问题是我们需要在无GUI的服务器上进行部署，这就牵涉到在无GUI的服务器上安装浏览器的问题，我这里选择的是Chrome。

下面简单分享一个部署过程中遇到的坑，也当作是总结。

Python

阅读全文 >>

V

V’s speech is recognized by the analysts at Smith Change the World Incorporated as one of the most influential speeches of the near future.

Voice

阅读全文 >>

Hadoop集群中banlancer用法简介

随着时间的推移，各个datanode上的块会分布得越来越不均衡。不均衡的Hadoop集群会降低MapReduce的本地性，导致部分 datanode 相对更为繁忙。我们应尽力避免出现这种情况。

均衡器（loadbalancer）程序是一个 Hadoop 守护进程，它将块从忙碌的 datanode 移到 相对空闲的 datanode，从而重新分配块。同进坚持复本放置策略，将复本分散到不同机架，以降低数据损失概率。它不断移动块，直到集群达到均衡，即每个 datanode 的使用率（该节点上已使用的空间与空间容量之间的比率）和集群的使用率（集群中已使用的空间与集群的空间容量之间的比率）非常接近，差距不超过给定的阀值（默认为10%）。可调用下面指令启动均衡器：

1
$path_to_hadoop/bin/start-balancer.sh -t 10%

  • -t 选项指定阈值，以判定集群是否均衡。这个标记是可选的；若不使用，默认阈值是10%。在任何时刻，集群中都只运行一个均衡器。

均衡器会一直运行，直到集群变均衡；之后，集群无法移动任何块，或与 namenode 失去联系。均衡器在标准日志目录中创建一个日志文件 ，记录每次重新分配过程（第次运行记录一行）。

为了降低集群负何、避免干扰其它用户，均衡器被设计为在后台运行。在不同节点之间复制数据的带宽也是受限的。默认值是很小的 1MB/s，可以通过 hdfs-site.xml 文件中 df.balance.bandwidthPerSec 属性指定（单位是字节）。

BigData

Nginx开启HTTPS反向代理访问Jira失败

使用的Jira 版本：v7.1.1，之前一直是http访问，在买完证书，部署好https访问时，界面一直在提醒：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
We've detected a potential problem with JIRA's Dashboard configuration that your administrator can correct. Click here to learn more
 
We've detected a potential problem with JIRA's Dashboard configuration that your administrator can correct. Hide
Dashboard Diagnostics: Mismatched URL Scheme
 
JIRA is reporting that it is using the URL scheme 'http', which does not match the scheme used to run these diagnostics, 'https'. This is known to cause JIRA to construct URLs using an incorrect hostname, which will result in errors in the dashboard, among other issues.
 
The most common cause of this is the use of a reverse-proxy HTTP(S) server (often Apache or IIS) in front of the application server running JIRA. While this configuration is supported, some additional setup might be necessary in order to ensure that JIRA detects the correct scheme.
 
The following articles describe the issue and the steps you should take to ensure that your web server and app server are configured correctly:
 
    Gadgets do not display correctly after upgrade to JIRA 4.0
    Integrating JIRA with Apache
    Integrating JIRA with Apache using SSL
 
If you believe this diagnosis is in error, or you have any other questions, please contact Atlassian Support.
 
Detailed Error
 
com.atlassian.gadgets.dashboard.internal.diagnostics.UrlSchemeMismatchException: Detected URL scheme, 'http', does not match expected scheme 'https'

Issues

阅读全文 >>

FreeIPA Server 端部署

一、FreeIPA介绍

FreeIPA是Redhat公司推出的开源软件，是一款集成的安全信息管理解决方案。其特点如下：

  • 集成多种服务（389 Directory Server, MIT Kerberos, NTP, DNS, Dogtag certificate system, SSSD），简化安装配置
  • 提供WEB、命令行两种管理工具，方便管理
  • 多主复制，可扩展，高可用
  • 接口丰富，支持CLI、 Web UI、 XMLRPC、JSONRPC API、Python SDK
Devops

阅读全文 >>