Fastdfs部署调优

上传流程

我们可以通过FastDFS对文件的上传过程，来了解Fastdfs的基本架构，首先客户端发送器对Fastdfs的文件传输动作，是通过连接到某一台Tracker Server的指定端口来实现的，Tracker Server根据目前已掌握的信息，来决定选择那台Storange Server，然后将这个Storage Server，然后将这个Storange Server的地址信息返回给Client,然后Client在通过这些信息连接到这台Storage Server,将要上传的文件传送到给Storage server上，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等

Fastdfs服务端有两个角色：跟踪器Tracker和存储节点Storage，FastDHT是一个基于键值对key value pair的高校的分布bash系统，用于保存切图结果文件名与存储文件名之间的映射关系，FastDHT服务器端底层存储采用的是Berkeley DB，支持大数据量，网络IO采集libevent，支持大并发链接。

• 特点

FastDFS 还有一个特点，就是适用于小文件存储，因为 FastDFS 不回对文件进行分块。因为文件比较小（比如普通级别的图片类应用，文件最大就在几个MB的量级），一来没有必要分块，二来分块会加重服务器的工作量。但是，如果把 FastDFS 应用于大文件存储的场景，可能这一特点就会变成缺点。

• Fastdfs结构图

跟踪器和存储节点都可以由一台多台服务器构成。跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。其中跟踪器中的所有服务器都是对等的，可以根据服务器的压力情况随时增加或减少。

为了支持大容量，存储节点（服务器）采用了分卷（或分组）的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷 的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起 到了冗余备份和负载均衡的作用。

在卷中增加服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。

当存储空间不足或即将耗尽时，可以动态添加卷。只需要增加一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量

安装Fastdfs

• 安装依赖软件

[root@My-Dev ~]# yum install -y zlib zlib-devel pcre pcre-devel gcc gcc-c++ openssl openssl-devel libevent libevent-devel perl unzip

• 安装Fastdfs和libfastcommon

#安装libfastcommon
[root@My-Dev fastdfs]# unzip  libfastcommon-master.zip 
[root@My-Dev fastdfs]# cd libfastcommon-master/
[root@Ansible libfastcommon-master]# ./make.sh 

此处需要注意，不管是32位系统还是64位，生成的[libfastcommon.so]都会直接生成到/usr/lib64 路径下，在编译FastDFS的时候需要将[libfastcommon.so]链接到其他库路径下，/usr/local/lib64 /usr/lib /usr/local/lib
[root@My-Dev libfastcommon-master]#  ln -s /usr/lib64/libfastcommon.so /usr/local/lib/
[root@Ansible libfastcommon-master]# ./make.sh  install

[root@My-Dev libfastcommon-master]#  ln -s /usr/lib64/libfastcommon.so /usr/lib/
[root@My-Dev libfastcommon-master]#  ln -s /usr/local/libfdfsclient.so /usr/local/lib/
[root@My-Dev libfastcommon-master]# ln -s /usr/local/libfdfsclient.so /usr/lib/

#Fastdfs
[root@My-Dev fastdfs]# tar zxf FastDFS_v5.05.tar.gz 
[root@My-Dev fastdfs]# cd FastDFS/
[root@My-Dev FastDFS]# ./make.sh 
[root@My-Dev FastDFS]# ./make.sh  install 
#此处注意，在32位系统下，编译可能会出现undefined reference to `__sync_add_and_fetch_4'错误，此时需要修改make.sh文件，将
[root@My-Dev FastDFS]# vim make.sh
if [ "$DEBUG_FLAG" = "1" ]; then
 CFLAGS="$CFLAGS -g -O -DDEBUG_FLAG"
 else
 CFLAGS="$CFLAGS -O3"
 fi

修改为

if [ "$DEBUG_FLAG" = "1" ]; then
 CFLAGS="$CFLAGS -g -O -march=i686 -DDEBUG_FLAG"
 else
 CFLAGS="$CFLAGS -O3 -march=i686"
 fi

• 添加fastdfs用户

[root@SZYD_STORAGE_HOST_BAK libfastcommon-master]# useradd   fastdfs -M -s /sbin/nologin 

• 生成配置文件

[root@My-Dev fdfs]# cp client.conf.sample  client.conf  ; cp  storage.conf.sample  storage.conf  ;  cp  tracker.conf.sample  tracker.conf

配置文件解析

• tracker.conf

# 这个配置文件是否无效，false表示有效
# is this config file disabled
# false for enabled
# true for disabled
disabled=false

# 是否绑定IP
# bind_addr= 后面为绑定的IP地址 (常用于服务器有多个IP但只希望一个IP提供服务)。如果不填则表示所有的(一般不填就OK)
# bind an address of this host
# empty for bind all addresses of this host
bind_addr=

# 提供服务的端口
# the tracker server port
port=22122

# 连接超时时间，针对socket套接字函数connect
# connect timeout in seconds
# default value is 30s
connect_timeout=30

# tracker server的网络超时，单位为秒。发送或接收数据时，如果在超时时间后还不能发送或接收数据，则本次网络通信失败
# network timeout in seconds
# default value is 30s
network_timeout=60

# the base path to store data and log files
base_path=/home/yuqing/fastdfs

# base_path 目录地址(根目录必须存在,子目录会自动创建)
# 附目录说明: 
#  tracker server目录及文件结构：
#  ${base_path}
#    |__data
#    |     |__storage_groups.dat：存储分组信息
#    |     |__storage_servers.dat：存储服务器列表
#    |__logs
#          |__trackerd.log：tracker server日志文件

#数据文件storage_groups.dat和storage_servers.dat中的记录之间以换行符（\n）分隔，字段之间以西文逗号（,）分隔。
#storage_groups.dat中的字段依次为：
#  1. group_name：组名
#  2. storage_port：storage server端口号

#storage_servers.dat中记录storage server相关信息，字段依次为：
#  1. group_name：所属组名
#  2. ip_addr：ip地址
#  3. status：状态
#  4. sync_src_ip_addr：向该storage server同步已有数据文件的源服务器
#  5. sync_until_timestamp：同步已有数据文件的截至时间（UNIX时间戳）
#  6. stat.total_upload_count：上传文件次数
#  7. stat.success_upload_count：成功上传文件次数
#  8. stat.total_set_meta_count：更改meta data次数
#  9. stat.success_set_meta_count：成功更改meta data次数
#  10. stat.total_delete_count：删除文件次数
#  11. stat.success_delete_count：成功删除文件次数
#  12. stat.total_download_count：下载文件次数
#  13. stat.success_download_count：成功下载文件次数
#  14. stat.total_get_meta_count：获取meta data次数
#  15. stat.success_get_meta_count：成功获取meta data次数
#  16. stat.last_source_update：最近一次源头更新时间（更新操作来自客户端）
#  17. stat.last_sync_update：最近一次同步更新时间（更新操作来自其他storage server的同步）

# 系统提供服务时的最大连接数。对于V1.x，因一个连接由一个线程服务，也就是工作线程数。
# 对于V2.x，最大连接数和工作线程数没有任何关系
# max concurrent connections this server supported
max_connections=256

# work thread count, should <= max_connections
# default value is 4
# since V2.00
# V2.0引入的这个参数，工作线程数，通常设置为CPU数
work_threads=4

# 上传组(卷) 的方式 0:轮询方式 1: 指定组 2: 平衡负载(选择最大剩余空间的组(卷)上传)
# 这里如果在应用层指定了上传到一个固定组,那么这个参数被绕过
# the method of selecting group to upload files
# 0: round robin
# 1: specify group
# 2: load balance, select the max free space group to upload file
store_lookup=2

# 当上一个参数设定为1 时 (store_lookup=1，即指定组名时)，必须设置本参数为系统中存在的一个组名。如果选择其他的上传方式，这个参数就没有效了
# which group to upload file
# when store_lookup set to 1, must set store_group to the group name
store_group=group2

# 选择哪个storage server 进行上传操作(一个文件被上传后，这个storage server就相当于这个文件的storage server源，会对同组的storage server推送这个文件达到同步效果)
# 0: 轮询方式 
# 1: 根据ip 地址进行排序选择第一个服务器（IP地址最小者）
# 2: 根据优先级进行排序（上传优先级由storage server来设置，参数名为upload_priority）
# which storage server to upload file
# 0: round robin (default)
# 1: the first server order by ip address
# 2: the first server order by priority (the minimal)
store_server=0

# 选择storage server 中的哪个目录进行上传。storage server可以有多个存放文件的base path（可以理解为多个磁盘）。
# 0: 轮流方式，多个目录依次存放文件
# 2: 选择剩余空间最大的目录存放文件（注意：剩余磁盘空间是动态的，因此存储到的目录或磁盘可能也是变化的）
# which path(means disk or mount point) of the storage server to upload file
# 0: round robin
# 2: load balance, select the max free space path to upload file
store_path=0

# 选择哪个 storage server 作为下载服务器 
# 0: 轮询方式，可以下载当前文件的任一storage server
# 1: 哪个为源storage server 就用哪一个 (前面说过了这个storage server源 是怎样产生的) 就是之前上传到哪个storage server服务器就是哪个了
# which storage server to download file
# 0: round robin (default)
# 1: the source storage server which the current file uploaded to
download_server=0

# storage server 上保留的空间，保证系统或其他应用需求空间。可以用绝对值或者百分比（V4开始支持百分比方式）。
#(指出 如果同组的服务器的硬盘大小一样,以最小的为准,也就是只要同组中有一台服务器达到这个标准了,这个标准就生效,原因就是因为他们进行备份)
# reserved storage space for system or other applications.
# if the free(available) space of any stoarge server in 
# a group <= reserved_storage_space, 
# no file can be uploaded to this group.
# bytes unit can be one of follows:
### G or g for gigabyte(GB)
### M or m for megabyte(MB)
### K or k for kilobyte(KB)
### no unit for byte(B)
### XX.XX% as ratio such as reserved_storage_space = 10%
reserved_storage_space = 10%

# 选择日志级别
#standard log level as syslog, case insensitive, value list:
### emerg for emergency
### alert
### crit for critical
### error
### warn for warning
### notice
### info
### debug
log_level=info

# 操作系统运行FastDFS的用户组 (不填 就是当前用户组,哪个启动进程就是哪个)
#unix group name to run this program, 
#not set (empty) means run by the group of current user
run_by_group=

# 操作系统运行FastDFS的用户 (不填 就是当前用户,哪个启动进程就是哪个)
#unix username to run this program,
#not set (empty) means run by current user
run_by_user=

# 可以连接到此 tracker server 的ip范围（对所有类型的连接都有影响，包括客户端，storage server）
# allow_hosts can ocur more than once, host can be hostname or ip address,
# "*" means match all ip addresses, can use range like this: 10.0.1.[1-15,20] or
# host[01-08,20-25].domain.com, for example:
# allow_hosts=10.0.1.[1-15,20]
# allow_hosts=host[01-08,20-25].domain.com
allow_hosts=*

# 同步或刷新日志信息到硬盘的时间间隔，单位为秒
# 注意：tracker server 的日志不是时时写硬盘的，而是先写内存
# sync log buff to disk every interval seconds
# default value is 10 seconds
sync_log_buff_interval = 10

# 检测 storage server 存活的时间隔，单位为秒。
# storage server定期向tracker server 发心跳，如果tracker server在一个check_active_interval内还没有收到storage server的一次心跳，那边将认为该storage server已经下线。所以本参数值必须大于storage server配置的心跳时间间隔。通常配置为storage server心跳时间间隔的2倍或3倍
# check storage server alive interval seconds
check_active_interval = 120

# 线程栈的大小。FastDFS server端采用了线程方式。tracker server线程栈不应小于64KB
# 线程栈越大，一个线程占用的系统资源就越多。如果要启动更多的线程（V1.x对应的参数为max_connections，
V2.0为work_threads），可以适当降低本参数值
# thread stack size, should >= 64KB
# default value is 64KB
thread_stack_size = 64KB

# 这个参数控制当storage server IP地址改变时，集群是否自动调整。注：只有在storage server进程重启时才完成自动调整
# auto adjust when the ip address of the storage server changed
# default value is true
storage_ip_changed_auto_adjust = true

# V2.0引入的参数。存储服务器之间同步文件的最大延迟时间，缺省为1天。根据实际情况进行调整
# 注：本参数并不影响文件同步过程。本参数仅在下载文件时，判断文件是否已经被同步完成的一个阀值（经验值）
# storage sync file max delay seconds
# default value is 86400 seconds (one day)
# since V2.00
storage_sync_file_max_delay = 86400

# V2.0引入的参数。存储服务器同步一个文件需要消耗的最大时间，缺省为300s，即5分钟。
# 注：本参数并不影响文件同步过程。本参数仅在下载文件时，作为判断当前文件是否被同步完成的一个阀值（经验值）
# the max time of storage sync a file
# default value is 300 seconds
# since V2.00
storage_sync_file_max_time = 300

# V3.0引入的参数。是否使用小文件合并存储特性，缺省是关闭的
# if use a trunk file to store several small files
# default value is false
# since V3.00
use_trunk_file = false 

# V3.0引入的参数。
# trunk file分配的最小字节数。比如文件只有16个字节，系统也会分配slot_min_size个字节
# the min slot size, should <= 4KB
# default value is 256 bytes
# since V3.00
slot_min_size = 256

# V3.0引入的参数。
# 只有文件大小<=这个参数值的文件，才会合并存储。如果一个文件的大小大于这个参数值，将直接保存到一个文件中（即不采用合并存储方式）。
# the max slot size, should > slot_min_size
# store the upload file to trunk file when it's size <=  this value
# default value is 16MB
# since V3.00
slot_max_size = 16MB

# V3.0引入的参数。
# 合并存储的trunk file大小，至少4MB，缺省值是64MB。不建议设置得过大
# the trunk file size, should >= 4MB
# default value is 64MB
# since V3.00
trunk_file_size = 64MB

# 是否提前创建trunk file。只有当这个参数为true，下面3个以trunk_create_file_打头的参数才有效
# if create trunk file advancely
# default value is false
# since V3.06
trunk_create_file_advance = false

# 提前创建trunk file的起始时间点（基准时间），02:00表示第一次创建的时间点是凌晨2点
# the time base to create trunk file
# the time format: HH:MM
# default value is 02:00
# since V3.06
trunk_create_file_time_base = 02:00

# 创建trunk file的时间间隔，单位为秒。如果每天只提前创建一次，则设置为86400
# the interval of create trunk file, unit: second
# default value is 38400 (one day)
# since V3.06
trunk_create_file_interval = 86400

# 提前创建trunk file时，需要达到的空闲trunk大小
# 比如本参数为20G，而当前空闲trunk为4GB，那么只需要创建16GB的trunk file即可
# the threshold to create trunk file
# when the free trunk file size less than the threshold, will create 
# the trunk files
# default value is 0
# since V3.06
trunk_create_file_space_threshold = 20G

# trunk初始化时，是否检查可用空间是否被占用
# if check trunk space occupying when loading trunk free spaces
# the occupied spaces will be ignored
# default value is false
# since V3.09
# NOTICE: set this parameter to true will slow the loading of trunk spaces 
# when startup. you should set this parameter to true when neccessary.
trunk_init_check_occupying = false

# 是否无条件从trunk binlog中加载trunk可用空间信息
# FastDFS缺省是从快照文件storage_trunk.dat中加载trunk可用空间，
# 该文件的第一行记录的是trunk binlog的offset，然后从binlog的offset开始加载
# if ignore storage_trunk.dat, reload from trunk binlog
# default value is false
# since V3.10
# set to true once for version upgrade when your version less than V3.10
trunk_init_reload_from_binlog = false

# 是否使用server ID作为storage server标识
# if use storage ID instead of IP address
# default value is false
# since V4.00
use_storage_id = false

# use_storage_id 设置为true，才需要设置本参数
# 在文件中设置组名、server ID和对应的IP地址，参见源码目录下的配置示例：conf/storage_ids.conf
# specify storage ids filename, can use relative or absolute path
# since V4.00
storage_ids_filename = storage_ids.conf

#文件名中的id类型，有ip和id两种，只有当use_storage_id设置为true时该参数才有效
# id type of the storage server in the filename, values are:
## ip: the ip address of the storage server
## id: the server id of the storage server
# this paramter is valid only when use_storage_id set to true
# default value is ip
# since V4.03
id_type_in_filename = ip

# 存储从文件是否采用symbol link（符号链接）方式
# 如果设置为true，一个从文件将占用两个文件：原始文件及指向它的符号链接
# if store slave file use symbol link
# default value is false
# since V4.01
store_slave_file_use_link = false

# 是否定期轮转error log，目前仅支持一天轮转一次
# if rotate the error log every day
# default value is false
# since V4.02
rotate_error_log = false

# error log定期轮转的时间点，只有当rotate_error_log设置为true时有效
# rotate error log time base, time format: Hour:Minute
# Hour from 0 to 23, Minute from 0 to 59
# default value is 00:00
# since V4.02
error_log_rotate_time=00:00

# error log按大小轮转
# 设置为0表示不按文件大小轮转，否则当error log达到该大小，就会轮转到新文件中
# rotate error log when the log file exceeds this size
# 0 means never rotates log file by log file size
# default value is 0
# since V4.02
rotate_error_log_size = 0

# 是否使用连接池
# if use connection pool
# default value is false
# since V4.05
use_connection_pool = false

# 如果一个连接的空闲时间超过这个值将会被自动关闭
# connections whose the idle time exceeds this time will be closed
# unit: second
# default value is 3600
# since V4.05
connection_pool_max_idle_time = 3600

# 用于提供http服务的端口
# HTTP port on this tracker server
http.server_port=8080

# 检查http server是否还在工作的时间间隔，如果该值小于0则永远不检查
# check storage HTTP server alive interval seconds
# <= 0 for never check
# default value is 30
http.check_alive_interval=30

# 检查http server是否存活的类型，有tcp和http两种
# tcp方式只有http端口被连接
# http方式检查必须返回状态值200
# check storage HTTP server alive type, values are:
#   tcp : connect to the storge server with HTTP port only, 
#        do not request and get response
#   http: storage check alive url must return http status 200
# default value is tcp
http.check_alive_type=tcp

# check storage HTTP server alive uri/url
# NOTE: storage embed HTTP server support uri: /status.html
http.check_alive_uri=/status.html

• storage.conf

# 这个配置文件是否无效，false表示有效
# is this config file disabled
# false for enabled
# true for disabled
disabled=false

# 指定 此 storage server 所在组(卷)
# the name of the group this storage server belongs to
group_name=group1

# 是否绑定IP
# bind_addr= 后面为绑定的IP地址 (常用于服务器有多个IP但只希望一个IP提供服务)。如果不填则表示所有的(一般不填就OK)
# bind an address of this host
# empty for bind all addresses of this host
bind_addr=

# bind_addr通常是针对server的。当指定bind_addr时，本参数才有效。
# 本storage server作为client连接其他服务器（如tracker server、其他storage server），是否绑定bind_addr。
# if bind an address of this host when connect to other servers 
# (this storage server as a client)
# true for binding the address configed by above parameter: "bind_addr"
# false for binding any address of this host
client_bind=true

# storage server服务端口
# the storage server port
port=23000

# 连接超时时间，针对socket套接字函数connect
# connect timeout in seconds
# default value is 30s
connect_timeout=30

# storage server 网络超时时间，单位为秒。发送或接收数据时，如果在超时时间后还不能发送或接收数据，则本次网络通信失败。
# network timeout in seconds
# default value is 30s
network_timeout=60

# 心跳间隔时间，单位为秒 (这里是指主动向tracker server 发送心跳)
# heart beat interval in seconds
heart_beat_interval=30

# storage server向tracker server报告磁盘剩余空间的时间间隔，单位为秒
# disk usage report interval in seconds
stat_report_interval=60

# base_path 目录地址,根目录必须存在  子目录会自动生成 (注 :这里不是上传的文件存放的地址,之前是的,在某个版本后更改了)
# the base path to store data and log files
base_path=/home/yuqing/fastdfs

# 系统提供服务时的最大连接数
# max concurrent connections the server supported
# default value is 256
# more max_connections means more memory will be used
max_connections=256

# V2.0引入本参数。设置队列结点的buffer大小。工作队列消耗的内存大小 = buff_size * max_connections
# 设置得大一些，系统整体性能会有所提升。
# 消耗的内存请不要超过系统物理内存大小。另外，对于32位系统，请注意使用到的内存不要超过3GB
# the buff size to recv / send data
# this parameter must more than 8KB
# default value is 64KB
# since V2.00
buff_size = 256KB

# 工作线程的数量，工作线程用于处理网络IO，应当小于max_connections的值
# work thread count, should <= max_connections
# work thread deal network io
# default value is 4
# since V2.00
work_threads=4

# V2.0引入本参数。磁盘IO读写是否分离，缺省是分离的
# if disk read / write separated
##  false for mixed read and write
##  true for separated read and write
# default value is true
# since V2.00
disk_rw_separated = true

# V2.0引入本参数。针对单个存储路径的读线程数，缺省值为1。
# 读写分离时，系统中的读线程数 = disk_reader_threads * store_path_count
# 读写混合时，系统中的读写线程数 = (disk_reader_threads + disk_writer_threads) * store_path_count
# disk reader thread count per store base path
# for mixed read / write, this parameter can be 0
# default value is 1
# since V2.00
disk_reader_threads = 1

# V2.0引入本参数。针对单个存储路径的写线程数，缺省值为1。
# 读写分离时，系统中的写线程数 = disk_writer_threads * store_path_count
# 读写混合时，系统中的读写线程数 = (disk_reader_threads + disk_writer_threads) * store_path_count
# disk writer thread count per store base path
# for mixed read / write, this parameter can be 0
# default value is 1
# since V2.00
disk_writer_threads = 1

# 同步文件时，如果从binlog中没有读到要同步的文件，休眠N毫秒后重新读取。0表示不休眠，立即再次尝试读取。
# 出于CPU消耗考虑，不建议设置为0。如何希望同步尽可能快一些，可以将本参数设置得小一些，比如设置为10ms
# when no entry to sync, try read binlog again after X milliseconds
# must > 0, default value is 200ms
sync_wait_msec=50

# 同步上一个文件后，再同步下一个文件的时间间隔，单位为毫秒，0表示不休眠，直接同步下一个文件。
# after sync a file, usleep milliseconds
# 0 for sync successively (never call usleep)
sync_interval=0

# 下面二个一起解释。允许系统同步的时间段 (默认是全天) 。一般用于避免高峰同步产生一些问题而设定，相信sa都会明白
# storage sync start time of a day, time format: Hour:Minute
# Hour from 0 to 23, Minute from 0 to 59
sync_start_time=00:00

# storage sync end time of a day, time format: Hour:Minute
# Hour from 0 to 23, Minute from 0 to 59
sync_end_time=23:59

# 同步完N个文件后，把storage的mark文件同步到磁盘
# 注：如果mark文件内容没有变化，则不会同步
# write to the mark file after sync N files
# default value is 500
write_mark_file_freq=500

# 存放文件时storage server支持多个路径（例如磁盘）。这里配置存放文件的基路径数目，通常只配一个目录。
# path(disk or mount point) count, default value is 1
store_path_count=1

# 逐一配置store_path个路径，索引号基于0。注意配置方法后面有0,1,2 ......，需要配置0到store_path - 1。
# 如果不配置base_path0，那边它就和base_path对应的路径一样。
# store_path#, based 0, if store_path0 not exists, it's value is base_path
# the paths must be exist
store_path0=/home/yuqing/fastdfs
#store_path1=/home/yuqing/fastdfs2

# FastDFS存储文件时，采用了两级目录。这里配置存放文件的目录个数 (系统的存储机制,大家看看文件存储的目录就知道了)
# 如果本参数只为N（如：256），那么storage server在初次运行时，会自动创建 N * N 个存放文件的子目录。
# subdir_count  * subdir_count directories will be auto created under each 
# store_path (disk), value can be 1 to 256, default value is 256
subdir_count_per_path=256

# tracker_server 的列表 要写端口的哦 (再次提醒是主动连接tracker_server )
# 有多个tracker server时，每个tracker server写一行
# tracker_server can ocur more than once, and tracker_server format is
#  "host:port", host can be hostname or ip address
tracker_server=192.168.209.121:22122

# 日志级别
#standard log level as syslog, case insensitive, value list:
### emerg for emergency
### alert
### crit for critical
### error
### warn for warning
### notice
### info
### debug
log_level=info

# 操作系统运行FastDFS的用户组 (不填 就是当前用户组,哪个启动进程就是哪个)
#unix group name to run this program, 
#not set (empty) means run by the group of current user
run_by_group=

# 操作系统运行FastDFS的用户 (不填 就是当前用户,哪个启动进程就是哪个)
#unix username to run this program,
#not set (empty) means run by current user
run_by_user=

# 允许连接本storage server的IP地址列表 （不包括自带HTTP服务的所有连接）
# 可以配置多行，每行都会起作用
# allow_hosts can ocur more than once, host can be hostname or ip address,
# "*" means match all ip addresses, can use range like this: 10.0.1.[1-15,20] or
# host[01-08,20-25].domain.com, for example:
# allow_hosts=10.0.1.[1-15,20]
# allow_hosts=host[01-08,20-25].domain.com
allow_hosts=*

#  文件在data目录下分散存储策略。
# 0: 轮流存放，在一个目录下存储设置的文件数后（参数file_distribute_rotate_count中设置文件数），使用下一个目录进行存储。
# 1: 随机存储，根据文件名对应的hash code来分散存储。
# the mode of the files distributed to the data path
# 0: round robin(default)
# 1: random, distributted by hash code
file_distribute_path_mode=0

# 当上面的参数file_distribute_path_mode配置为0（轮流存放方式）时，本参数有效。
# 当一个目录下的文件存放的文件数达到本参数值时，后续上传的文件存储到下一个目录中。
# valid when file_distribute_to_path is set to 0 (round robin), 
# when the written file count reaches this number, then rotate to next path
# default value is 100
file_distribute_rotate_count=100

# 当写入大文件时，每写入N个字节，调用一次系统函数fsync将内容强行同步到硬盘。0表示从不调用fsync 
# call fsync to disk when write big file
# 0: never call fsync
# other: call fsync when written bytes >= this bytes
# default value is 0 (never call fsync)
fsync_after_written_bytes=0

# 同步或刷新日志信息到硬盘的时间间隔，单位为秒
# 注意：storage server 的日志信息不是时时写硬盘的，而是先写内存。
# sync log buff to disk every interval seconds
# must > 0, default value is 10 seconds
sync_log_buff_interval=10

# 同步binglog（更新操作日志）到硬盘的时间间隔，单位为秒
# 本参数会影响新上传文件同步延迟时间
# sync binlog buff / cache to disk every interval seconds
# default value is 60 seconds
sync_binlog_buff_interval=10

# 把storage的stat文件同步到磁盘的时间间隔，单位为秒。
# 注：如果stat文件内容没有变化，不会进行同步
# sync storage stat info to disk every interval seconds
# default value is 300 seconds
sync_stat_file_interval=300

# 线程栈的大小。FastDFS server端采用了线程方式。
# 对于V1.x，storage server线程栈不应小于512KB；对于V2.0，线程栈大于等于128KB即可。
# 线程栈越大，一个线程占用的系统资源就越多。
# 对于V1.x，如果要启动更多的线程（max_connections），可以适当降低本参数值。
# thread stack size, should >= 512KB
# default value is 512KB
thread_stack_size=512KB

# 本storage server作为源服务器，上传文件的优先级，可以为负数。值越小，优先级越高。这里就和 tracker.conf 中store_server= 2时的配置相对应了 
# the priority as a source server for uploading file.
# the lower this value, the higher its uploading priority.
# default value is 10
upload_priority=10

# 网卡别名前缀，就像Linux中的eth，可以使用ifconfig -a命令来查看
# 多个别名之间使用逗号分隔，如果不设置这个值表示自动的被系统类型设置
# the NIC alias prefix, such as eth in Linux, you can see it by ifconfig -a
# multi aliases split by comma. empty value means auto set by OS type
# default values is empty
if_alias_prefix=

# 是否检测上传文件已经存在。如果已经存在，则不存在文件内容，建立一个符号链接以节省磁盘空间。 
# 这个应用要配合FastDHT 使用，所以打开前要先安装FastDHT 
# 1或yes 是检测，0或no 是不检测
# if check file duplicate, when set to true, use FastDHT to store file indexes
# 1 or yes: need check
# 0 or no: do not check
# default value is 0
check_file_duplicate=0

# 文件去重时，文件内容的签名方式：
# hash： 4个hash code
# md5：MD5
# file signature method for check file duplicate
## hash: four 32 bits hash code
## md5: MD5 signature
# default value is hash
# since V4.01
file_signature_method=hash

# 当上个参数设定为1 或 yes时 (true/on也是可以的) ， 在FastDHT中的命名空间
# namespace for storing file indexes (key-value pairs)
# this item must be set when check_file_duplicate is true / on
key_namespace=FastDFS

# 与FastDHT servers 的连接方式 (是否为持久连接) ，默认是0（短连接方式）。可以考虑使用长连接，这要看FastDHT server的连接数是否够用。
# set keep_alive to 1 to enable persistent connection with FastDHT servers
# default value is 0 (short connection)
keep_alive=0

# 下面是关于FastDHT servers 的设定 需要对FastDHT servers 有所了解,这里只说字面意思了
# 可以通过 #include filename 方式来加载 FastDHT servers  的配置，装上FastDHT就知道该如何配置啦。
# 同样要求 check_file_duplicate=1 时才有用，不然系统会忽略
# fdht_servers.conf 记载的是 FastDHT servers 列表 
# you can use "#include filename" (not include double quotes) directive to 
# load FastDHT server list, when the filename is a relative path such as 
# pure filename, the base path is the base path of current/this config file.
# must set FastDHT server list when check_file_duplicate is true / on
# please see INSTALL of FastDHT for detail
##include /home/yuqing/fastdht/conf/fdht_servers.conf

# 是否将文件操作记录到access log
# if log to access log
# default value is false
# since V4.00
use_access_log = false

# 是否定期轮转access log，目前仅支持一天轮转一次
# if rotate the access log every day
# default value is false
# since V4.00
rotate_access_log = false

# access log定期轮转的时间点，只有当rotate_access_log设置为true时有效
# rotate access log time base, time format: Hour:Minute
# Hour from 0 to 23, Minute from 0 to 59
# default value is 00:00
# since V4.00
access_log_rotate_time=00:00

# 是否定期轮转error log，目前仅支持一天轮转一次
# if rotate the error log every day
# default value is false
# since V4.02
rotate_error_log = false

# error log定期轮转的时间点，只有当rotate_error_log设置为true时有效
# rotate error log time base, time format: Hour:Minute
# Hour from 0 to 23, Minute from 0 to 59
# default value is 00:00
# since V4.02
error_log_rotate_time=00:00

# access log按文件大小轮转
# 设置为0表示不按文件大小轮转，否则当access log达到该大小，就会轮转到新文件中
# rotate access log when the log file exceeds this size
# 0 means never rotates log file by log file size
# default value is 0
# since V4.02
rotate_access_log_size = 0

# error log按文件大小轮转
# 设置为0表示不按文件大小轮转，否则当error log达到该大小，就会轮转到新文件中
# rotate error log when the log file exceeds this size
# 0 means never rotates log file by log file size
# default value is 0
# since V4.02
rotate_error_log_size = 0

# 文件同步的时候，是否忽略无效的binlog记录
# if skip the invalid record when sync file
# default value is false
# since V4.02
file_sync_skip_invalid_record=false

# 是否使用连接池
# if use connection pool
# default value is false
# since V4.05
use_connection_pool = false

# 如果一个连接的空闲时间超过这个值将会被自动关闭
# connections whose the idle time exceeds this time will be closed
# unit: second
# default value is 3600
# since V4.05
connection_pool_max_idle_time = 3600

# storage server上web server域名，通常仅针对单独部署的web server。这样URL中就可以通过域名方式来访问storage server上的文件了，
# 这个参数为空就是IP地址的方式。
# use the ip address of this storage server if domain_name is empty,
# else this domain name will ocur in the url redirected by the tracker server
http.domain_name=

# web server的端口
# the port of the web server on this storage server
http.server_port=8888

• client.conf

# 连接超时时间，针对socket套接字函数connect
# connect timeout in seconds
# default value is 30s
connect_timeout=30

# client的网络超时，单位为秒。发送或接收数据时，如果在超时时间后还不能发送或接收数据，则本次网络通信失败
# network timeout in seconds
# default value is 30s
network_timeout=60

# 存储日志的根目录
# the base path to store log files
base_path=/home/yuqing/fastdfs

# tracker_server 的列表 要写端口
# tracker_server can ocur more than once, and tracker_server format is
#  "host:port", host can be hostname or ip address
tracker_server=192.168.0.197:22122

# 日志的级别
#standard log level as syslog, case insensitive, value list:
### emerg for emergency
### alert
### crit for critical
### error
### warn for warning
### notice
### info
### debug
log_level=info

# 是否使用连接池
# if use connection pool
# default value is false
# since V4.05
use_connection_pool = false

# 如果一个连接的空闲时间超过这个值将会被自动关闭
# connections whose the idle time exceeds this time will be closed
# unit: second
# default value is 3600
# since V4.05
connection_pool_max_idle_time = 3600

# 是否从FastDFS的tracker server加载参数
# if load FastDFS parameters from tracker server
# since V4.05
# default value is false
load_fdfs_parameters_from_tracker=false

是否使用storage ID 代替IP，只有当load_fdfs_parameters_from_tracker为false时才有效
# if use storage ID instead of IP address
# same as tracker.conf
# valid only when load_fdfs_parameters_from_tracker is false
# default value is false
# since V4.05
use_storage_id = false

创建数据和log目录

[root@Ansible FastDFS]# mkdir -p /data/fastdfs/tracker 

Storage的状态

#define FDFS_STORAGE_STATUS_INIT 0 //初始状态  
#define FDFS_STORAGE_STATUS_WAIT_SYNC 1 //等待同步  
#define FDFS_STORAGE_STATUS_SYNCING 2 //同步中  
#define FDFS_STORAGE_STATUS_IP_CHANGED 3  
#define FDFS_STORAGE_STATUS_DELETED 4 //删除结点  
#define FDFS_STORAGE_STATUS_OFFLINE 5 //离线  
#define FDFS_STORAGE_STATUS_ONLINE 6 //在线，但不可存服务  
#define FDFS_STORAGE_STATUS_ACTIVE 7 //在线，可提供存储服务  
#define FDFS_STORAGE_STATUS_RECOVERY 9  
#define FDFS_STORAGE_STATUS_NONE 99 //未知状态

Binlog同步

• fastdfs同组同步

1、需要先安装fastdfs环境
2、然后在storage的配置跟主storage文件一致即可，然后在启动从的storage，使用监控查询状态
3、关键点是如果在服务器本来已经有一个storage的话，那么默认23000端口被使用，则同步的storage也要使用该端口，则可以把现网的23000端口修改其它的端口，让同步的storage使用这个默认的23000端口，不然不会同步。切记此问题

fdfs_monitor  /etc/fdfs/client.conf  #监控信息如下

Group 2:
group name = g2
disk total space = 11353033 MB
disk free space = 4432091 MB
trunk free space = 0 MB
storage server count = 2
active server count = 1
storage server port = 23000
storage HTTP port = 8888
store path count = 1
subdir count per path = 256
current write server index = 0
current trunk file id = 0

    Storage 1:
        id = 172.16.41.15
        ip_addr = 172.16.41.15 (SZYD_STORAGE_HOST_1)  SYNCING  #此状态说明正在同步中
        http domain = 
        version = 5.05
        join time = 2017-10-30 16:18:16
        up time = 2017-10-30 16:55:33
        total storage = 11353033 MB
        free storage = 4432091 MB
        upload priority = 10
        store_path_count = 1
        subdir_count_per_path = 256
        storage_port = 23000
        storage_http_port = 8888
        current_write_path = 0
        source storage id = 172.16.41.31
        if_trunk_server = 0
        connection.alloc_count = 256
        connection.current_count = 1
        connection.max_count = 1
        total_upload_count = 0
        success_upload_count = 0
        total_append_count = 0
        success_append_count = 0
        total_modify_count = 0
        success_modify_count = 0
        total_truncate_count = 0
        success_truncate_count = 0
        total_set_meta_count = 0
        success_set_meta_count = 0
        total_delete_count = 0
        success_delete_count = 0
        total_download_count = 0
        success_download_count = 0
        total_get_meta_count = 0
        success_get_meta_count = 0
        total_create_link_count = 0
        success_create_link_count = 0
        total_delete_link_count = 0
        success_delete_link_count = 0
        total_upload_bytes = 0
        success_upload_bytes = 0
        total_append_bytes = 0
        success_append_bytes = 0
        total_modify_bytes = 0
        success_modify_bytes = 0
        stotal_download_bytes = 0
        success_download_bytes = 0
        total_sync_in_bytes = 488990358
        success_sync_in_bytes = 488990358
        total_sync_out_bytes = 0
        success_sync_out_bytes = 0
        total_file_open_count = 8538
        success_file_open_count = 8538
        total_file_read_count = 0
        success_file_read_count = 0
        total_file_write_count = 8991
        success_file_write_count = 8991
        last_heart_beat_time = 2017-10-30 16:56:03
        last_source_update = 1970-01-01 08:00:00
        last_sync_update = 2017-10-30 16:56:03
        last_synced_timestamp = 2017-08-14 19:54:27 (76 days 20h:57m:00s delay)
    Storage 2:
        id = 172.16.41.31
        ip_addr = 172.16.41.31  ACTIVE
        http domain = 
        version = 5.05
        join time = 2017-08-02 16:18:09
        up time = 2017-08-02 16:22:26
        total storage = 11042410 MB
        free storage = 9648185 MB
        upload priority = 10
        store_path_count = 1
        subdir_count_per_path = 256
        storage_port = 23000
        storage_http_port = 8888
        current_write_path = 0
        source storage id = 
        if_trunk_server = 0
        connection.alloc_count = 256
        connection.current_count = 1
        connection.max_count = 9
        total_upload_count = 11701366
        success_upload_count = 11701366
        total_append_count = 0
        success_append_count = 0
        total_modify_count = 0
        success_modify_count = 0
        total_truncate_count = 0
        success_truncate_count = 0
        total_set_meta_count = 21183
        success_set_meta_count = 21183
        total_delete_count = 0
        success_delete_count = 0
        total_download_count = 3676283
        success_download_count = 3676283
        total_get_meta_count = 0
        success_get_meta_count = 0
        total_create_link_count = 0
        success_create_link_count = 0
        total_delete_link_count = 0
        success_delete_link_count = 0
        total_upload_bytes = 852259096639
        success_upload_bytes = 852259096639
        total_append_bytes = 0
        success_append_bytes = 0
        total_modify_bytes = 0
        success_modify_bytes = 0
        stotal_download_bytes = 245200049313
        success_download_bytes = 245200049313
        total_sync_in_bytes = 0
        success_sync_in_bytes = 0
        total_sync_out_bytes = 0
        success_sync_out_bytes = 0
        total_file_open_count = 15377650
        success_file_open_count = 15377650
        total_file_read_count = 4031603
        success_file_read_count = 4031603
        total_file_write_count = 12981688
        success_file_write_count = 12981688
        last_heart_beat_time = 2017-10-30 16:56:03
        last_source_update = 2017-10-30 16:51:27
        last_sync_update = 1970-01-01 08:00:00
        last_synced_timestamp = 1970-01-01 08:00:00 

Binlog结构

• 目录结构

-- sync
    |-- binlog.000    #真实的Binlog文件
    |-- binlog.index   #记录当前使用的Binlog文件序列号，为1则表示使用Binlog.001
    |-- 10.0.1.1_23000.mark #同步状态文件，记录本都到10.0.1.1的同步状态

• mark文件内容描述

对于10.0.1.1_23000.mark文件，本篇相关的内容有如下两项：

binlog_index=0##表示上次同步给10.0.1.1机器的最后一条binlog文件索引

binlog_offset=116##表示上次同步给10.0.1.1机器的最后一条binlog偏移量，若程序重启了，也只要从这个位置开始向后同步即可。

• Binlog文件爱你内容描述

[root@localhost sync]# tailf  binlog.000 
1479884799 C M00/25/FD/CmYAM1g1QACANYakAACtRtuz0q4371.wav-m
1479884799 C M00/A8/A4/CmYAM1g1QACAByzEAACt_Sxucjw276.mp3-m
1479884803 C M00/D8/71/CmYAM1g1QAOAZCVGAACtRtSEMPA036.wav
1479884802 C M00/D8/71/CmYAM1g1QAOAZCVGAACtRtSEMPA036.wav-m
1479884803 C M00/CC/5B/CmYAM1g1QAOAMyHYAADaJdYPtxc236.mp3

#1418285342  表示文件upload时间戳

# 第二个字段表示文件创建方式，

     > C表示源创建、c表示副本创建
     > A表示源追加、a表示副本追加
     > D表示源删除、d表示副本删除
     > T表示源Truncate、t表示副本Truncate
    源表示客户端直接操作的那个Storage即为源，其他的Storage都为副本，如客户端向10.0.1.1主机Upload一个文件，那么在10.0.1.1机器上记录的就是C，当10.0.1.1机器将该条binlog的操作同步给10.0.1.2时，在10.0.1.2上记录的binlog就是c，其他几种操作同理

#第三个字段为文件的FileID M00/CC/5B/CmYAM1g1QAOAMyHYAADaJdYPtxc236.mp3 其中的M01为storepath索引，紧接着00/00/为路径，后面CmYAM1g1QAOAMyHYAADaJdYPtxc236.mp3
    文件名组成 M00/CC/5B/CmYAM1g1QAOAMyHYAADaJdYPtxc236.mp3
    除了mp3 为文件后缀，CmYAM1g1QAOAMyHYAADaJdYPtxc236 这部分是一个base64编码缓冲区，组成如下
    Storage_id（ip的数值型）
    timestamp（创建时间）
    file_size（若原始值为32位则前面加入一个随机值填充，最终为64位）
    crc32（文件内容的检验码）

FastDFS文件同步机制

• 原地地址

https://blog.csdn.net/wos1002/article/details/64583995

• 在FastDFS的服务器端配置文件中，bind_addr这个参数用于需要绑定本机IP地址的场合。只有这个参数和主机特征相关，其余参数都是可以统一配置的。在不需要绑定本机的情况下，为了便于管理和维护，建议所有tracker server的配置文件相同，同组内的所有storage server的配置文件相同。

• tracker server的配置文件中没有出现storage server，而storage server的配置文件中会列举出所有的tracker server。这就决定了storage server和tracker server之间的连接由storage server主动发起，storage server为每个tracker server启动一个线程进行连接和通讯，这部分的通信协议请参阅《FastDFS HOWTO – Protocol》中的“2. storage server to tracker server command”。

• tracker server会在内存中保存storage分组及各个组下的storage server，并将连接过自己的storage server及其分组保存到文件中，以便下次重启服务时能直接从本地磁盘中获得storage相关信息。storage server会在内存中记录本组的所有服务器，并将服务器信息记录到文件中。tracker server和storage server之间相互同步storage server列表：

• 如果一个组内增加了新的storage server或者storage server的状态发生了改变，tracker server都会将storage server列表同步给该组内的所有storage server。以新增storage server为例，因为新加入的storage server主动连接tracker server，tracker server发现有新的storage server加入，就会将该组内所有的storage server返回给新加入的storage server，并重新将该组的storage server列表返回给该组内的其他storage server；

• 如果新增加一台tracker server，storage server连接该tracker server，发现该tracker server返回的本组storage server列表比本机记录的要少，就会将该tracker server上没有的storage server同步给该tracker server。

同一组内的storage server之间是对等的，文件上传、删除等操作可以在任意一台storage server上进行。文件同步只在同组内的storage server之间进行，采用push方式，即源服务器同步给目标服务器。以文件上传为例，假设一个组内有3台storage server A、B和C，文件F上传到服务器B，由B将文件F同步到其余的两台服务器A和C。我们不妨把文件F上传到服务器B的操作为源头操作，在服务器B上的F文件为源头数据；文件F被同步到服务器A和C的操作为备份操作，在A和C上的F文件为备份数据。同步规则总结如下：

• 只在本组内的storage server之间进行同步；

  • 源头数据才需要同步，备份数据不需要再次同步，否则就构成环路了；

  • 上述第二条规则有个例外，就是新增加一台storage server时，由已有的一台storage server将已有的所有数据（包括源头数据和备份数据）同步给该新增服务器。

storage server有7个状态，如下：

FDFS_STORAGE_STATUS_INIT :初始化，尚未得到同步已有数据的源服务器

FDFS_STORAGE_STATUS_WAIT_SYNC :等待同步，已得到同步已有数据的源服务器

FDFS_STORAGE_STATUS_SYNCING :同步中

FDFS_STORAGE_STATUS_DELETED :已删除，该服务器从本组中摘除（注：本状态的功能尚未实现）

FDFS_STORAGE_STATUS_OFFLINE :离线

FDFS_STORAGE_STATUS_ONLINE :在线，尚不能提供服务

FDFS_STORAGE_STATUS_ACTIVE :在线，可以提供服务

新加storage到同组时同步原理

• 当storage server的状态为FDFS_STORAGE_STATUS_ONLINE时，当该storage server向tracker server发起一次heart beat时，tracker server将其状态更改为FDFS_STORAGE_STATUS_ACTIVE。

• 组内新增加一台storage server A时，由系统自动完成已有数据同步，处理逻辑如下：

• storage server A连接tracker server，tracker server将storage server A的状态设置为FDFS_STORAGE_STATUS_INIT。storage server A询问追加同步的源服务器和追加同步截至时间点，如果该组内只有storage server A或该组内已成功上传的文件数为0，则没有数据需要同步，storage server A就可以提供在线服务，此时tracker将其状态设置为FDFS_STORAGE_STATUS_ONLINE，否则tracker server将其状态设置为FDFS_STORAGE_STATUS_WAIT_SYNC，进入第二步的处理；

• 假设tracker server分配向storage server A同步已有数据的源storage server为B。同组的storage server和tracker server通讯得知新增了storage server A，将启动同步线程，并向tracker server询问向storage server A追加同步的源服务器和截至时间点。storage server B将把截至时间点之前的所有数据同步给storage server A；而其余的storage server从截至时间点之后进行正常同步，只把源头数据同步给storage server A。到了截至时间点之后，storage server B对storage server A的同步将由追加同步切换为正常同步，只同步源头数据；

storage server B向storage server A同步完所有数据，暂时没有数据要同步时，storage server B请求tracker server将storage server A的状态设置为FDFS_STORAGE_STATUS_ONLINE；

• 当storage server A向tracker server发起heart beat时，tracker server将其状态更改为FDFS_STORAGE_STATUS_ACTIVE。

同组之间上传数据库调整优先级

• 详细信息，这样可解决同组之间上传录音时先传到B，在A缓慢同步B，nginx指向A时，A无录音，导致找不到该录音，这样优先级后是一直上传的A，然后B再去同步A

tracker.conf 

# which storage server to upload file  

# 0: round robin (default)  

# 1: the first server order by ip address  

# 2: the first server order by priority (the minimal)  

store_server=2

#同组推送方式0.轮询方式，1.根据ip地址进行排序选择第一个服务器，2.根据优先级进行排序（优先级由storeServer的配置文件中upload_priority属性设置）  


storage.conf

# the priority as a source server for uploading file.

# the lower this value, the higher its uploading priority. #该值越低说明优先级越高，默认是10

# default value is 10

upload_priority=10

工作线程数设置

• accept_threads 负责接收客户端请求的线程数

• 参数名：work_threads

• 缺省值：4

• 说明
  为了避免CPU上下文切换的开销，以及不必要的资源消耗，不建议将本参数设置的过大，为了发挥多个CPU的效能，系统中的线程数总和，应当等于CPU总数

• 对应tracket server 公式为:

work_threads +1 = CUP数

• 对于storage，公示为：

work_threads + 1+ (disk_reader_threads + disk_writer_threads) *  store_path_count = CPU数量

storage磁盘读写线程设置

• disk_rw_separated : 磁盘读写是否分离
• disk_reader_threads : 单个磁盘都线程数
• disk_writer_threads : 单个磁盘写线程数
• 如果磁盘读写混合，单个磁盘的读写线程数为读线程和写线程数之后
• 对于单个磁盘挂载的方式，磁盘读写线程分别设置为1即可