无GUI的CentOS上使用Selenium+Chrome

客户的网站上的监测代码最近连续两次在网站更新时被清除掉,导致无法正常获取网站访问数据,影响到后续大数据分析。

为解决这个问题,决定使用Python Selenium模块来实现网站按钮模拟点击,同时监测我们后台是否能正常收到,以此来判断网站按钮监测代码是否有正常部署。

Selenium很好用很强大,开发和部署也都很简单,是自动化测试非常好的工具,但是问题是我们需要在无GUI的服务器上进行部署,这就牵涉到在无GUI的服务器上安装浏览器的问题,我这里选择的是Chrome。


下面简单分享一个部署过程中遇到的坑,也当作是总结。

V

V’s speech is recognized by the analysts at Smith Change the World Incorporated as one of the most influential speeches of the near future.

Hadoop集群中banlancer用法简介

随着时间的推移,各个datanode上的块会分布得越来越不均衡。不均衡的Hadoop集群会降低MapReduce的本地性,导致部分 datanode 相对更为繁忙。我们应尽力避免出现这种情况。

均衡器(loadbalancer)程序是一个 Hadoop 守护进程,它将块从忙碌的 datanode 移到 相对空闲的 datanode,从而重新分配块。同进坚持复本放置策略,将复本分散到不同机架,以降低数据损失概率。它不断移动块,直到集群达到均衡,即每个 datanode 的使用率(该节点上已使用的空间与空间容量之间的比率)和集群的使用率(集群中已使用的空间与集群的空间容量之间的比率)非常接近,差距不超过给定的阀值(默认为10%)。可调用下面指令启动均衡器:

1
$path_to_hadoop/bin/start-balancer.sh -t 10%

  • -t 选项指定阈值,以判定集群是否均衡。这个标记是可选的;若不使用,默认阈值是10%。在任何时刻,集群中都只运行一个均衡器。

均衡器会一直运行,直到集群变均衡;之后,集群无法移动任何块,或与 namenode 失去联系。均衡器在标准日志目录中创建一个日志文件 ,记录每次重新分配过程(第次运行记录一行)。

为了降低集群负何、避免干扰其它用户,均衡器被设计为在后台运行。在不同节点之间复制数据的带宽也是受限的。默认值是很小的 1MB/s,可以通过 hdfs-site.xml 文件中 df.balance.bandwidthPerSec 属性指定(单位是字节)。

Nginx开启HTTPS反向代理访问Jira失败

使用的Jira 版本:v7.1.1,之前一直是http访问,在买完证书,部署好https访问时,界面一直在提醒:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
We've detected a potential problem with JIRA's Dashboard configuration that your administrator can correct. Click here to learn more

We've detected a potential problem with JIRA's Dashboard configuration that your administrator can correct. Hide
Dashboard Diagnostics: Mismatched URL Scheme

JIRA is reporting that it is using the URL scheme 'http', which does not match the scheme used to run these diagnostics, 'https'. This is known to cause JIRA to construct URLs using an incorrect hostname, which will result in errors in the dashboard, among other issues.

The most common cause of this is the use of a reverse-proxy HTTP(S) server (often Apache or IIS) in front of the application server running JIRA. While this configuration is supported, some additional setup might be necessary in order to ensure that JIRA detects the correct scheme.

The following articles describe the issue and the steps you should take to ensure that your web server and app server are configured correctly:

Gadgets do not display correctly after upgrade to JIRA 4.0
Integrating JIRA with Apache
Integrating JIRA with Apache using SSL

If you believe this diagnosis is in error, or you have any other questions, please contact Atlassian Support.

Detailed Error

com.atlassian.gadgets.dashboard.internal.diagnostics.UrlSchemeMismatchException: Detected URL scheme, 'http', does not match expected scheme 'https'

FreeIPA Server 端部署

一、FreeIPA介绍

FreeIPA是Redhat公司推出的开源软件,是一款集成的安全信息管理解决方案。其特点如下:

  • 集成多种服务(389 Directory Server, MIT Kerberos, NTP, DNS, Dogtag certificate system, SSSD),简化安装配置
  • 提供WEB、命令行两种管理工具,方便管理
  • 多主复制,可扩展,高可用
  • 接口丰富,支持CLI、 Web UI、 XMLRPC、JSONRPC API、Python SDK

如何写出健壮的 Bash 脚本

许多人用Shell脚本完成一些简单任务,而且变成了他们生命的一部分。不幸的是,shell脚本在运行异常时会受到非常大的影响。在写脚本时将这类问题最小化是十分必要的。本文中我将介绍一些让bash脚本变得健壮的技术。

使用set -u

你因为没有对变量初始化而使脚本崩溃过多少次?对于我来说,很多次。

1
2
3
chroot=$1
...
rm -rf $chroot/usr/share/doc

Ansible基础-Playbook入门

Paste_Image.png

1
2
3
4
难度指数: 4星(满星5星)
技术指数: 5星(满星5星)
理论指数: 4星(满星5星)
面向人群: 自动化运维&运维开发

1. Playbook简介

像很多其它配置文件管理方法一样,Ansible使用一种比较直白的方法来描述自己的任务配置文件。
Ansible 的任务配置文件被称之为“playbook”,我们可以称之为“剧本”。每一出剧本(playbook)中都包含一系列的任务,这每个任务在ansible中又被称为一出“戏剧”(play)。一个剧本(playbook)中包含多出戏剧(play),这很容易理解。

为了便于理解,再给大家举个栗子~