Mind2you | minder

Linux-Chrony

Wed, 22 Aug 2018 00:00:00 +0000

Chrony

chrony CentOS 7 同步时间

情景

某LAN 内有 3 台机器，需要保持LAN内机器时间一致。

	A-机器IP: 192.168.137.100
	B-机器IP: 192.168.137.101
	C-机器IP: 192.168.137.102

分析

以 A-机器作为时间服务器，B-机器、C-机器 的时间与 A-机器 的时间同步即可。

操作

修改 A 机器 /etc/chrony.conf 文件

添加：

  server 192.168.137.100 iburst # NTP 服务器
  allow 192.168/16 	# 服务端允许连接的客户端网段
  local stratum 10

如:

   [root@192 ~]# cat /etc/chrony.conf 
   # Use public servers from the pool.ntp.org project.
   # Please consider joining the pool (http://www.pool.ntp.org/join.html).
   #server 0.centos.pool.ntp.org iburst
   #server 1.centos.pool.ntp.org iburst
   #server 2.centos.pool.ntp.org iburst
   #server 3.centos.pool.ntp.org iburst
   server 192.168.137.100 iburst
     
   # Ignore stratum in source selection.
   stratumweight 0
     
   # Record the rate at which the system clock gains/losses time.
   driftfile /var/lib/chrony/drift
     
   # Enable kernel RTC synchronization.
   rtcsync
     
   # In first three updates step the system clock instead of slew
   # if the adjustment is larger than 10 seconds.
   makestep 10 3
     
   # Allow NTP client access from local network.
   allow 192.168/16
     
   # Listen for commands only on localhost.
   bindcmdaddress 127.0.0.1
   bindcmdaddress ::1
     
   # Serve time even if not synchronized to any NTP server.
   local stratum 10
     
   keyfile /etc/chrony.keys
     
   # Specify the key used as password for chronyc.
   commandkey 1
     
   # Generate command key if missing.
   generatecommandkey
     
   # Disable logging of client accesses.
   noclientlog
     
   # Send a message to syslog if a clock adjustment is larger than 0.5 seconds.
   logchange 0.5
     
   logdir /var/log/chrony
   #log measurements statistics tracking
   [root@192 ~]# 

	

修改 B、C 机器 /etc/chrony.conf 文件

添加：

  server 192.168.137.100 iburst # NTP 服务器

  local stratum 10

如:

  [root@192 ~]# cat /etc/chrony.conf 
  # Use public servers from the pool.ntp.org project.
  # Please consider joining the pool (http://www.pool.ntp.org/join.html).
  #server 0.centos.pool.ntp.org iburst
  #server 1.centos.pool.ntp.org iburst
  #server 2.centos.pool.ntp.org iburst
  #server 3.centos.pool.ntp.org iburst
  server 192.168.137.100 iburst
    
  # Ignore stratum in source selection.
  stratumweight 0
    
  # Record the rate at which the system clock gains/losses time.
  driftfile /var/lib/chrony/drift
    
  # Enable kernel RTC synchronization.
  rtcsync
    
  # In first three updates step the system clock instead of slew
  # if the adjustment is larger than 10 seconds.
  makestep 10 3
    
  # Allow NTP client access from local network.
  #allow 192.168/16
    
  # Listen for commands only on localhost.
  bindcmdaddress 127.0.0.1
  bindcmdaddress ::1
    
  # Serve time even if not synchronized to any NTP server.
  local stratum 10
    
  keyfile /etc/chrony.keys
    
  # Specify the key used as password for chronyc.
  commandkey 1
    
  # Generate command key if missing.
  generatecommandkey
    
  # Disable logging of client accesses.
  noclientlog
    
  # Send a message to syslog if a clock adjustment is larger than 0.5 seconds.
  logchange 0.5
    
  logdir /var/log/chrony
  #log measurements statistics tracking
  [root@192 ~]# 
    
    	

重启 chrond 服务

重启A、B、C机器的chronyd 服务

  [root@192 ~]# systemctl restart chronyd.service
  [root@192 ~]# 

同步时间

在 B、C 机器执行 chronyc -a makestep 同步时间即可。

注意事项

1.chronyd 与 ntpd 服务是两个相同功能的东西，不能同时运行。
也就是说，chronyd 的 status 是 running 时，ntpd 的 status 应是dead。

2.同步失败，注意防火墙。

Hive

Sun, 08 Mar 2015 22:21:49 +0000

Hadoop

1.Configuration

Use the following:

~/bash_profile edit the file as follows:

JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64
PATH=$JAVA_HOME/bin:$PATH

HADOOP_HOME=/home/test/hadoop/hadoop-2.7.5
PATH=$HADOOP_HOME/bin:$PATH

HIVE_HOME=/home/test/hive/apache-hive-2.3.2
PATH=$HIVE_HOME/bin:$PATH


PATH=$PATH:$HOME/.local/bin:$HOME/bin

export PATH

create hdfs dir:

./hdfs dfs -mkdir /tmp
./hdfs dfs -mkdir -p /hive/warehouse

/conf/hive-env.sh:

HADOOP_HOME=/home/test/hadoop/hadoop-2.7.5

export HIVE_CONF_DIR=/home/test/hive/apache-hive-2.3.2/conf

/conf/hive-site.xml:

use Mysql store metastore：

<configuration>
  <property>
    <name>hive.metastore.local</name>
    <value>false</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://127.0.0.1:3306/hive?createDatabaseIfNotExist=true</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>{mysql.user}</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>{mysql.password}</value>
  </property>
  <property>  
	<name>hive.metastore.warehouse.dir</name>  
	<!--之前hdfs中创建的warehouse文件夹-->  
	<value>/hive/warehouse</value>  
	<description>location of default database for the warehouse</description>  
  </property>
  <property>
	<name>hive.exec.scratchdir</name>
	<!--之前在hdfs中建的tmp文件夹-->
	<value>/tmp/hive</value>
  </property>
  <!-- 客户端连接 用户名和密码 -->
  <property>
    <name>hive.server2.thrift.client.user</name>
    <value>test</value>
    <description>Username to use against thrift client</description>
  </property>
  <property>
    <name>hive.server2.thrift.client.password</name>
    <value>test</value>
    <description>Password to use against thrift client</description>
  </property>
</configuration>

2.Execution

Init metastore: $ bin/schematool -dbType mysql -initSchema
hive:

$ bin/hive 

hive> show tables;
OK
Time taken: 4.687 seconds
hive> create database test;
OK
Time taken: 0.333 seconds
hive> show databases;
OK
default
test
Time taken: 0.055 seconds, Fetched: 2 row(s)
hive> show tables;
OK
Time taken: 0.05 seconds
hive> 
ive> use test;
OK
Time taken: 0.07 seconds
hive> create table test_1(id int, name string);
OK
Time taken: 0.88 seconds
hive> show tables;
OK
test_1
Time taken: 0.074 seconds, Fetched: 1 row(s)
hive> 

– 后台运行:

运行hive之前首先要确保meta store服务已经启动，

nohup hive --service metastore > metastore.log 2>&1 &

若远程客户端连接到hive数据库，需启动hive service

nohup hive --service hiveserver2 > hiveserver2.log 2>&1 &

Hadoop安装完后，启动时报 Error: JAVA_HOME is not set and could not be found.

【解决办法】：修改/etc/hadoop/hadoop-env.sh中设JAVA_HOME。应当使用绝对路径。

export JAVA_HOME=$JAVA_HOME //错误，不能这么改

export JAVA_HOME=/usr/java/jdk1.6.0_45 //正确，应该这么改

Cache-Redis

Sun, 08 Mar 2015 22:21:49 +0000

Redis

Standalone（单节点）

Download tar (example: redis-3.2.8.tar.gz)
Make See README.

Cluster（集群）

以 redis-3.2.8 运行3个实例为例，比如，建立如下目录结构

redis-3.2.8_cluster
		├── config
		│   ├── redis_31337.conf
		│   ├── redis_31338.conf
		│   └── redis_31339.conf
		│
		├── dbfile
		│
		├── logs
		│
		├── redis-3.2.8
		│   ├── mkreleasehdr.sh
		│   ├── redis-benchmark
		│   ├── redis-check-aof
		│   ├── redis-check-rdb
		│   ├── redis-cli
		│   ├── redis-sentinel
		│   ├── redis-server
		│   └── redis-trib.rb
		│
		├── redis-3.2.2.gem #ruby redis gem
		└── redis-trib.rb

一些配置项

	bind <ip>
	port <port>
	daemonize yes
	pidfile <path>
	logfile <filepath>
	dbfilename <filename>
	dir <directory>
	appendfilename <filename>
	cluster-enabled yes
	cluster-config-file nodes-6379.conf
	

参数的具体意义参考redis doc。 config下的三个文件 redis_31337.conf

运行redis instances 如：

/home/test/redis-3.2.8_cluster/redis-3.2.8/redis-server /home/test/redis-3.2.8_cluster/config/redis_31337.conf
/home/test/redis-3.2.8_cluster/redis-3.2.8/redis-server /home/test/redis-3.2.8_cluster/config/redis_31338.conf
/home/test/redis-3.2.8_cluster/redis-3.2.8/redis-server /home/test/redis-3.2.8_cluster/config/redis_31339.conf

Create cluster 执行命令

./redis-trib.rb create --replicas 0 192.168.137.128:31337 192.168.137.128:31338 192.168.137.128:31339	

测试

执行命令 "./redis-cli -c -h <ip> -p <port>" 登录 redis server；之后键入 "cluster info" 查看集群信息，如果 cluster-state显示ok，那就真的ok啦。举个栗子，可能会看到如下的信息，那表示是ok的:

<ip>:<port>> cluster info
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:3
cluster_size:3
cluster_current_epoch:3
cluster_my_epoch:2
cluster_stats_messages_sent:77
cluster_stats_messages_received:77
<ip>:<port>> keys *

ERROR-1:若提示 increase “ulimit -n”则，以root用户登录主机在文件/etc/security/limits.d/20-nproc.conf添加如下行：

<redis安装用户>      soft    nofile     65536
<redis安装用户>      hard    nofile     65536

ERROR-2:如果执行./redis-trib.rb命令报错确保机器有ruby的环境下，下载 redis gem，执行 gem install ./redis-3.2.2.gem 命令安装。

ERROR-3:警告：过量使用内存设置为0！在低内存环境下，后台保存可能失败。为了修正这个问题，请在/etc/sysctl.conf 添加一项 ‘vm.overcommit_memory = 1’ ，然后重启（或者运行命令’sysctl vm.overcommit_memory=1’ ）使其生效。查看，sysctl -a | grep vm.overcommit_memory 有三种方式修改内核参数，但要有root权限：

（1）编辑/etc/sysctl.conf ，改vm.overcommit_memory=1，然后sysctl -p 使配置文件生效

（2）sysctl vm.overcommit_memory=1

（3）echo 1 > /proc/sys/vm/overcommit_memory

DB-MySQL

Sun, 08 Mar 2015 22:21:49 +0000

MySQL

安装

C:\Program Files\MySQL\MySQL Server 5.6

To start the mysqld server from the command line, you should start a console window (or “DOS window”) and enter this command:

C:\> "C:\Program Files\MySQL\MySQL Server 5.6\bin\mysqld"

The path to mysqld may vary depending on the install location of MySQL on your system.

You can stop the MySQL server by executing this command:

C:\> "C:\Program Files\MySQL\MySQL Server 5.6\bin\mysqladmin" -u root shutdown

修改自增值

alter table users AUTO_INCREMENT=10000;

授权

GRANT ALL PRIVILEGES ON . TO ‘root’@’%’ WITH GRANT OPTION; FLUSH PRIVILEGES;

SQL查询的基本执行过程

应用通过MySQL API把查询命令发送给MySQL服务器，然后被解析
检查权限、MySQL optimizer进行优化，经过解析和优化后的查询命令被编译为CPU可运行的二进制形式的查询计划（query plan），并可以被缓存
如果存在索引，那么先扫描索引，如果数据被索引覆盖，那么不需要额外的查找，如果不是，根据索引查找和读取对应的记录
如果有关联查询，查询次序是扫描第一张表找到满足条件的记录，按照第一张表和第二张表的关联键值，扫描第二张表查找满足条件的记录，按此顺序循环
输出查询结果，并记录binary logs

SELECT_TYPE

SIMPLE: 简单 SELECT (不使用UNION或子查询等)
PRIMARY: 最外层的 SELECT
UNION: UNION 中的第二个或后面的 SELECT 语句
DEPENDENT UNION: UNION 中的第二个或后面的SELECT语句，取决于外面的查询
UNION RESULT: UNION 的结果(此时 ID 为 NULL)
SUBQUERY: 子查询中的第一个 SELECT
DEPENDENT SUBQUERY: 子查询中的第一个 SELECT ，取决于外面的查询
DERIVED: 派生表的 SELECT ( FROM 子句的子查询)

TYPE

SYSTEM: CONST的特例，当表上只有一条元组匹配
CONST: WHERE条件筛选后表上至多有一条元组匹配时，比如WHERE ID = 2 （ID是主键，值为2的要么有一条要么没有）
EQ_REF: 参与连接运算的表是内表（在代码实现的算法中，两表连接时作为循环中的内循环遍历的对象，这样的表称为内表）。基于索引（连接字段上存在唯一索引或者主键索引，且操作符必须是“=”，索引值不能为NULL）做扫描，使得对外表的一条元组，内表只有唯一一条元组与之对应。
REF: 可以用于单表扫描或者连接(参与连接运算的表是内表)，基于索引（连接字段上的索引是非唯一索引，操作符必须是“=”，连接字段值不可为NULL）做扫描，使得对外表的一条元组，内表可有若干条元组与之对应。
FULLTEXT: FULL TEXT，全文检索
REF_OR_NULL: 类似REF，只是搜索条件包括：连接字段的值可以为NULL的情况，比如 where col = 2 or col is null
INDEX_MERGE: 多重范围扫描。两表连接的每个表的连接字段上均有索引存在且索引有序，结果合并在一起。
UNIQUE_SUBQUERY: 在子查询中，基于唯一索引进行扫描，类似于EQ_REF
INDEX_SUBQUERY: 在子查询中，基于除唯一索引之外的索引进行扫描
RANGE: 范围扫描，基于索引做范围扫描，为诸如BETWEEN，IN，>=，LIKE类操作提供支持
INDEX: 索引做扫描，是基于索引在索引的叶子节点上找满足条件的数据（不需要访问数据文件）
ALL: 全表扫描或者范围扫描：不使用索引，顺序扫描，直接读取表上的数据（访问数据文件）

KEY_LEN

一般地，key_len 等于索引列类型字节长度，例如int类型为4-bytes，bigint为8-bytes；
如果是字符串类型，还需要同时考虑字符集因素，例如：CHAR(30) UTF8则key_len至少是90-bytes；
若该列类型定义时允许NULL，其key_len还需要再加 1-bytes；
若该列类型为变长类型，例如 VARCHAR（TEXT\BLOB不允许整列创建索引，如果创建部分索引，也被视为动态列类型），其key_len还需要再加 2-bytes;

EXTRA

USING WHERE: 使用了WHERE子句来过滤元组
USING TEMPORARY: 用临时表保存中间结果，常用于GROUP BY 和 ORDER BY操作中
USING FILESORT: 使用文件完成排序操作，这是可能是ORDERY BY，GROUP BY语句的结果
USING INDEX: 不需要读取数据文件，从索引树（索引文件）中即可获得信息
DISTINCT: 优化DISTINCT操作，在找到第一匹配的元组后即停止找同样值的动作

开发前写一份文档

Sun, 08 Mar 2015 22:21:49 +0000

优秀的程序员应该学会开发前写一份文档

2016-08-07 11:42

如果作为一个想升级变成更好的程序员，在开发前就应该写一份设计规范文档。

那这一份设计规范有什么用？

1.解决多人开发时，页面无规范而导致混乱不统一的问题。如果没有规范来指引，设计过程中很容易产生细微的出入，导致每个页面都会有细微的差别，经常会做着做着页面不一致的问题。例如一个按钮控件A页面是4PX圆角、B页面又变成2PX圆角。一个人做页面都会出现这些问题，更何况是多人协助开发呢？另外，当新人加入时对产品理解不够透彻，这时有一份设计规范更能快速上手，并且保持产品统一性

2.解决代码冗余的问题

无规范则每个页面都需要重新写一套CSS代码随着页面越多，工作量越大影响项目进度，代码也会越来越臃肿。而如果有规范则只需调用同一个css就可以了

那该如何写一份设计规范文档呢？可参考以下5个维度。

1.信息系统

字号：应该有一个全局的规划，在同一个页面内不要使用太多太相近的字号，例如 12、13、14.如果使用太接近的字号，会导致页面层级对比比较弱，不利于阅读。

颜色：避免使用相近的字体颜色，在同一个层级使用颜色区分是没必要的。产品常用的字体颜色深浅层级可以参考#333333、#666666、#999999

字体：避免使用相似的字体，字体数量应做减法，能用1种字体就别用两种字体。

2.控件系统

按钮样式应统一样式，就算页面中按钮的宽高不同，也应该按照宽高比例进行缩放。

按钮通常会有4种鼠标状态，也是需要注意统一视觉效果的。分别是：正常状态、鼠标经过、鼠标单击、访问过后。

3.布局系统

行间距能表明内容之间的层级和从属关系，凌乱复杂的行间距会对用户认知造成较大的困扰。一个页面中，最多使用5种行间距，能少用就尽量少用

内边距尽量不要大于外边距。外边距大于内边距时，有适当的留白，用户的视线不受干扰，更专注于内容本身

4.配色系统

主色：选择主色调的时候应该结合产品的特性、用户对象。色彩决定产品的风格。

辅色：辅助色应用主色调的：邻近色、对比色。辅色选择1~3种配合使用

产品色彩最好控制在4种颜色以内

5.品牌系统

LOGO应用：LOGO定稿后应将各种组合整理出来，便于后续使用。例如

左右结构、上下结构

反白、黑白

最小尺寸、加载错误的显示方式

这就是撰写产品设计文档规范的5个方法。以下是笔者自己整理的脑图、以及网上搜集的网易云音乐的设计文档规范图。

【转载】-原文参考：http://top.caibaojian.com/113807

Welcome to here!

Sun, 08 Mar 2015 22:21:49 +0000

You’ll find this post in your _posts directory. Go ahead and edit it and re-build the site to see your changes. You can rebuild the site in many different ways, but the most common way is to run jekyll serve, which launches a web server and auto-regenerates your site when a file is updated.

To add new posts, simply add a file in the _posts directory that follows the convention YYYY-MM-DD-name-of-post.ext and includes the necessary front matter. Take a look at the source for this post to get an idea about how it works.

Jekyll also offers powerful support for code snippets:

def print_hi(name)
  puts "Hi, #{name}"
end
print_hi('Tom')
#=> prints 'Hi, Tom' to STDOUT.

Check out the Jekyll docs for more info on how to get the most out of Jekyll. File all bugs/feature requests at Jekyll’s GitHub repo. If you have questions, you can ask them on Jekyll’s dedicated Help repository.

Hadoop

Sun, 08 Mar 2015 22:21:49 +0000

Hadoop

1.Configuration

Use the following:

Prepare to Start the Hadoop Cluster: edit the file etc/hadoop/hadoop-env.sh to define some parameters as follows:

# set to the root of your Java installation
export JAVA_HOME=/usr/java/latest

etc/hadoop/core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
	<property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/test/tmp/</value>
    </property>
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>127.0.0.1:2181</value>
    </property>
</configuration>

etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/${hadoop.tmp.dir}/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/${hadoop.tmp.dir}/dfs/data</value>
    </property>
</configuration>

这个value要注意,后边应该是一个”/”(如：file:/home/test/tmp)

2.Execution

Format the filesystem: $ bin/hdfs namenode -format
Start NameNode daemon and DataNode daemon: $ sbin/start-dfs.sh

The hadoop daemon log output is written to the $HADOOP_LOG_DIR directory (defaults to $HADOOP_HOME/logs).

Browse the web interface for the NameNode; by default it is available at:
- NameNode - http://localhost:50070/

3.FileSystemShell

mkdir

Usage: hadoop fs -mkdir [-p]

Takes path uri’s as argument and creates directories.

Options:

The -p option behavior is much like Unix mkdir -p, creating parent directories along the path.

Example:

$ hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2
$ hadoop fs -mkdir hdfs://nn1.example.com/user/hadoop/dir hdfs://nn2.example.com/user/hadoop/dir

Exit Code:

Returns 0 on success and -1 on error.

Usage: hadoop fs -mv URI [URI …]

Moves files from source to destination. This command allows multiple sources as well in which case the destination needs to be a directory. Moving files across file systems is not permitted.

Example:

$ hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2
$ hadoop fs -mv hdfs://nn.example.com/file1 hdfs://nn.example.com/file2 hdfs://nn.example.com/file3 hdfs://nn.example.com/dir1

Exit Code:

Returns 0 on success and -1 on error.

put

Usage: hadoop fs -put ...

Copy single src, or multiple srcs from local file system to the destination file system. Also reads input from stdin and writes to destination file system.

$ hadoop fs -put localfile /user/hadoop/hadoopfile
$ hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir
$ hadoop fs -put localfile hdfs://nn.example.com/hadoop/hadoopfile
$ hadoop fs -put - hdfs://nn.example.com/hadoop/hadoopfile Reads the input from stdin.

Exit Code:

Returns 0 on success and -1 on error.

Usage: hadoop fs -rm [-f] [-r

-R] [-skipTrash] URI [URI …]

Delete files specified as args.

If trash is enabled, file system instead moves the deleted file to a trash directory (given by FileSystem#getTrashRoot).

Currently, the trash feature is disabled by default. User can enable trash by setting a value greater than zero for parameter fs.trash.interval (in core-site.xml).

See expunge about deletion of files in trash.

Options:

The -f option will not display a diagnostic message or modify the exit status to reflect an error if the file does not exist.
The -R option deletes the directory and any content under it recursively.
The -r option is equivalent to -R.
The -skipTrash option will bypass trash, if enabled, and delete the specified file(s) immediately. This can be useful when it is necessary to delete files from an over-quota directory.

Example:

$ hadoop fs -rm hdfs://nn.example.com/file /user/hadoop/emptydir

Exit Code:

Returns 0 on success and -1 on error.

Hadoop安装完后，启动时报 Error: JAVA_HOME is not set and could not be found.

【解决办法】：修改/etc/hadoop/hadoop-env.sh中设JAVA_HOME。应当使用绝对路径。

export JAVA_HOME=$JAVA_HOME //错误，不能这么改

export JAVA_HOME=/usr/java/jdk1.6.0_45 //正确，应该这么改

Mind2you | minder

Linux-Chrony

Chrony

情景

分析

操作

注意事项

相关命令

Hive

Hadoop

1.Configuration

Use the following:

2.Execution

Cache-Redis

Redis

Standalone（单节点）

Cluster（集群）

DB-MySQL

MySQL

安装

修改自增值

授权

SQL查询的基本执行过程

SELECT_TYPE

TYPE

KEY_LEN

EXTRA

开发前写一份文档

Welcome to here!

Hadoop

Hadoop

1.Configuration

Use the following:

2.Execution

3.FileSystemShell