网站备份问题

似毛非毛

sqlite就是一个文件啊。。和程序一起打包不就完了。。。

Mr.Xu

testsun 发表于 2020-6-2 23:01
SQLite。。。不是直接拷贝文件嘛？

不会玩啊呜呜，我去看看wiki

xyx4693

你可以把宝塔的备份脚本copy下来

tkn

1. #!/usr/bin/env bash
   
2. #修改来自 https://github.com/teddysun/lamp
   
3. 
   
4. #crontab #[-u username]　省默认当前用户的crontab
   
5. # -e      (编辑工作表)
   
6. # -l      (列出工作表里的命令)
   
7. # -r      (删除工作作)
   
8. 
   
9. # crontab的命令构成为 时间表达式 动作
   
10. #六个 * 分别表示 分、时、日、月、周
    
11. # * 取值范围内的所有数字
    
12. # / 每过多少个数字
    
13. # - 从X到Z
    
14. # ，散列数字
    
15. 
    
16. [[ $EUID -ne 0 ]] && echo "错误: 脚本必须以 root 权限运行!" && exit 1
    
17. 
    
18. ########## 配置开始 ##########
    
19. 
    
20. #是否开启加密
    
21. ENCRYPT_**=true
    
22. 
    
23. #加密密码
    
24. BACKUP_PASS="xxxx"
    
25. 
    
26. #---------------------------------------------------------------
    
27. 
    
28. #是否删除远程备份中超过保留天数的文件
    
29. DELETE_REMOTE_FILE_**=true
    
30. 
    
31. #备份保留天数
    
32. LOCAL_AGE_DAILIES="7"
    
33. 
    
34. #---------------------------------------------------------------
    
35. 
    
36. #备份本地存放目录
    
37. LOCAL_DIR="/opt/bitwarden/backup/data/"
    
38. 
    
39. #临时目录
    
40. TEMP_DIR="/opt/bitwarden/backup/temp/"
    
41. 
    
42. #日志文件路径
    
43. LOG_FILE="/opt/bitwarden/backup/backup.log"
    
44. 
    
45. #----------------------------------------------------------------
    
46. 
    
47. #要备份的目录或文件列表
    
48. BACKUP[0]="/opt/bitwarden/data/"
    
49. 
    
50. #要排除的目录或文件列表
    
51. EXCLUDE[0]="/opt/bitwarden/data/db.sqlite3" #防止文件损坏, 不直接备份文件,而是通过sqlite3来导出备份
    
52. 
    
53. #---------------------------------------------------------------
    
54. 
    
55. #是否备份mysql
    
56. MYSQL_**=true
    
57. 
    
58. #mysqsl数据库密码
    
59. MYSQL_ROOT_PASSWORD=""
    
60. 
    
61. #mysqsl要备份的数据库名, 留空备份整个数据库
    
62. MYSQL_DATABASE_NAME[0]=""
    
63. 
    
64. #---------------------------------------------------------------
    
65. 
    
66. #是否备份sqlite
    
67. SQLITE_**=true
    
68. 
    
69. #要备份的SQLite数据库路径
    
70. SQLITE_DATABASE_PATH="/opt/bitwarden/data/db.sqlite3"
    
71. 
    
72. #-----------------------------------------------------------------
    
73. 
    
74. #是否上传到 Rclone
    
75. RCLONE_**=true
    
76. 
    
77. #Rclone 远程仓库名
    
78. RCLONE_NAME="bitwarden"
    
79. 
    
80. #Rclone 远程仓库名文件夹
    
81. RCLONE_FOLDER=""
    
82. 
    
83. #-----------------------------------------------------------------
    
84. 
    
85. #是否上传到 FTP
    
86. FTP_**=true
    
87. 
    
88. #FTP主机名
    
89. FTP_HOST=""
    
90. 
    
91. #FTP用户名
    
92. FTP_USER=""
    
93. 
    
94. #FTP密码
    
95. FTP_PASS=""
    
96. 
    
97. #FTP目录
    
98. FTP_DIR=""
    
99. 
    
100. ########## 配置结束 ##########
     
101. 
     
102. # 重定向所有错误到日志
     
103. exec 2>>$LOG_FILE
     
104. # 日期和时间
     
105. DAY=$(date +%d)
     
106. MONTH=$(date +%m)
     
107. YEAR=$(date +%C%y)
     
108. BACKUP_DATE=$(date +%Y%m%d%H%M%S)
     
109. # 备份到目标文件
     
110. TAR_FILE="${LOCAL_DIR}""$(hostname)"_"${BACKUP_DATE}".tgz
     
111. #加密备份到目标文件
     
112. ENC_TARFILE="${TAR_FILE}.enc"
     
113. #mysql导出到目标文件
     
114. SQL_FILE="${TEMP_DIR}mysql_${BACKUP_DATE}.sql"
     
115. #sqlite导出到目标文件
     
116. SQLITE_FILE="${TEMP_DIR}dump_${BACKUP_DATE}.sqlite3"
     
117. 
     
118. log() {
     
119.     echo "$(date "+%Y-%m-%d %H:%M:%S")" "$1"
     
120.     echo -e "$(date "+%Y-%m-%d %H:%M:%S")" "$1" >> ${LOG_FILE}
     
121. }
     
122. 
     
123. # 检测依赖命令是否满足
     
124. check_commands() {
     
125.     #依赖的命令列表
     
126.     BINARIES=( cat cd du date dirname echo pwd rm tar)
     
127. 
     
128.     ${RCLONE_**} && BINARIES=(${BINARIES[*]} rclone)
     
129. 
     
130.     ${SQLITE_**} && BINARIES=(${BINARIES[*]} sqlite3)
     
131. 
     
132.     ${MYSQL_**} && BINARIES=(${BINARIES[*]} mysql mysqldump)  
     
133. 
     
134.     ${ENCRYPT_**} && BINARIES=(${BINARIES[*]} openssl)
     
135. 
     
136.     ${FTP_**} && BINARIES=(${BINARIES[*]} ftp)
     
137.      
     
138. 
     
139.      #循环判断
     
140.     for BINARY in "${BINARIES[@]}"; do
     
141.         # if [ ! "$(command -v "$BINARY")" ]; then
     
142.             # log "$BINARY 没有安装, 请安装后再试"
     
143.             # exit 1
     
144.         # fi
     
145.         command -v ${BINARY} >/dev/null 2>&1 || { log "${BINARY} 没有安装, 请安装后再试"; exit 1; }
     
146.     done
     
147. }
     
148. 
     
149. #计算文件大小
     
150. calculate_size() {
     
151.     local file_name=$1
     
152.     local file_size=$(du -h $file_name 2>/dev/null | awk '{print $1}')
     
153.     if [ "x${file_size}" = "x" ]; then
     
154.         echo "未知"
     
155.     else
     
156.         echo "${file_size}"
     
157.     fi
     
158. }
     
159. 
     
160. 
     
161. mysql_backup() {
     
162.     if ${MYSQL_**}; then
     
163.         [ -z "${MYSQL_ROOT_PASSWORD}" ] && log "错误: MySQL 管理员密码不能为空" && exit 1
     
164.         log "MySQL 开始导出"
     
165.         mysql -u root -p"${MYSQL_ROOT_PASSWORD}" 2>/dev/null <<EOF
     
166. exit
     
167. EOF
     
168.         if [ $? -ne 0 ]; then
     
169.             log "MySQL 管理员密码不正确, 请检查后再试"
     
170.             exit 1
     
171.         fi
     
172.         if [ "${MYSQL_DATABASE_NAME[*]}" == "" ]; then
     
173.             mysqldump -u root -p"${MYSQL_ROOT_PASSWORD}" --all-databases > "${SQL_FILE}" 2>/dev/null
     
174.             if [ $? -ne 0 ]; then
     
175.                 log "备份整个 MySQL 数据库失败"
     
176.                 exit 1
     
177.             fi
     
178.             log "MySQL 全部的数据导出到: ${SQL_FILE}"
     
179.             #添加导出的文件路径到备份包含路径
     
180.             BACKUP=(${BACKUP[*]} ${SQL_FILE})
     
181.         else
     
182.             for db in ${MYSQL_DATABASE_NAME[*]}; do
     
183.                 unset DBFILE
     
184.                 DBFILE="${TEMP_DIR}${db}_${BACKUP_DATE}.sql"
     
185.                 mysqldump -u root -p"${MYSQL_ROOT_PASSWORD}" ${db} > "${DBFILE}" 2>/dev/null
     
186.                 if [ $? -ne 0 ]; then
     
187.                     log "MySQL 数据库 [${db}] 备份失败 请检测数据库名是否正确"
     
188.                     exit 1
     
189.                 fi
     
190.                 log "MySQL 数据库 [${db}] 导出到: ${DBFILE}"
     
191.                 #添加导出的文件路径到备份包含路径
     
192.                 BACKUP=(${BACKUP[*]} ${DBFILE})
     
193.             done
     
194.         fi
     
195.         log "MySQL 数据导出完成"
     
196.     fi
     
197. }
     
198. 
     
199. 
     
200. sqlite_backup() {
     
201.     if ${SQLITE_**}; then
     
202.         [ ! -f "${SQLITE_DATABASE_PATH}" ] && log "错误: ${SQLITE_DATABASE_PATH} 不是一个文件或文件不存在" && exit 1
     
203.         log "SQLite 开始导出"
     
204.         sqlite3 ${SQLITE_DATABASE_PATH} ".backup '${SQLITE_FILE}'" 2>/dev/null
     
205.         if [ $? -ne 0 ]; then
     
206.                 log "错误: 请检查 ${SQLITE_DATABASE_PATH} 否是一个合法的SQLite文件"
     
207.                 exit 1
     
208.         fi
     
209.         log "${SQLITE_DATABASE_PATH} 导出到: ${SQLITE_FILE}"
     
210.         #添加导出的文件路径到备份包含路径
     
211.         BACKUP=(${BACKUP[*]} ${SQLITE_FILE})
     
212.     fi
     
213. }
     
214. 
     
215. start_backup() {
     
216.     [ "${BACKUP[*]}" == "" ] && echo "错误: 要备份的路径不能为空!" && exit 1
     
217.    
     
218.     #排除的路径列表
     
219.     excludeList=''
     
220.     for ex in ${EXCLUDE[*]}; do
     
221.         excludeList="${excludeList}--exclude=${ex} "
     
222.     done
     
223. 
     
224.     log "tar 开始打包"
     
225.     log "排除路径: ${EXCLUDE[*]}"
     
226.     log "包括路径: ${BACKUP[*]}"
     
227.     tar -zcPf ${TAR_FILE} ${excludeList} ${BACKUP[*]}
     
228.     if [ $? -gt 1 ]; then
     
229.         log "tar 备份失败"
     
230.         exit 1
     
231.     fi
     
232.     log "tar 打包结束"
     
233. 
     
234.     if ${ENCRYPT_**}; then
     
235.         log "开始加密打包的文件"
     
236.         openssl enc -aes256 -in "${TAR_FILE}" -out "${ENC_TARFILE}" -pass pass:"${BACKUP_PASS}" -md sha1
     
237.         if [ $? -ne 0 ]; then
     
238.             log "错误: 备份文件加密失败"
     
239.             exit 1
     
240.         fi
     
241.         log "打包的文件加密完成"
     
242. 
     
243.         log "删除未加密的打包文件: ${TAR_FILE}"
     
244.         rm -f ${TAR_FILE}
     
245.     fi
     
246. 
     
247.     if ${MYSQL_**}; then
     
248.         for sql in $(ls ${TEMP_DIR}*.sql); do
     
249.             log "删除 MySQL 临时导出文件: ${sql}"
     
250.             rm -f ${sql}
     
251.         done
     
252.     fi
     
253.    
     
254.     if ${SQLITE_**}; then
     
255.         for sqli in $(ls ${TEMP_DIR}*.sqlite3); do
     
256.             log "删除 SQLite 临时导出文件: ${sqli}"
     
257.             rm -f ${sqli}
     
258.         done
     
259.     fi
     
260. 
     
261.     if ${ENCRYPT_**}; then
     
262.         OUT_FILE="${ENC_TARFILE}"
     
263.     else
     
264.         OUT_FILE="${TAR_FILE}"
     
265.     fi
     
266.     log "最终文件: ${OUT_FILE} 文件大小: $(calculate_size ${OUT_FILE})"
     
267. }
     
268. 
     
269. 
     
270. rclone_upload() {
     
271.     if ${RCLONE_**}; then
     
272.         [ -z "${RCLONE_NAME}" ] && log "rclone 错误: RCLONE_NAME 不能为空!" && return 1
     
273.         if [ -n "${RCLONE_FOLDER}" ]; then
     
274.             rclone ls ${RCLONE_NAME}:${RCLONE_FOLDER} 2>&1 > /dev/null
     
275.             if [ $? -ne 0 ]; then
     
276.                 log "rclone 创建目录 ${RCLONE_NAME}:${RCLONE_FOLDER}"
     
277.                 rclone mkdir ${RCLONE_NAME}:${RCLONE_FOLDER}
     
278.             fi
     
279.         fi
     
280.         log "rclone 正在上传: ${OUT_FILE} 到 ${RCLONE_NAME}:${RCLONE_FOLDER}"
     
281.         rclone copy ${OUT_FILE} ${RCLONE_NAME}:${RCLONE_FOLDER} >> ${LOG_FILE}
     
282.         if [ $? -ne 0 ]; then
     
283.             log "rclone 上传: ${OUT_FILE} 到 ${RCLONE_NAME}:${RCLONE_FOLDER} 错误"
     
284.             return 1
     
285.         fi
     
286.         log "rclone 上传: ${OUT_FILE} 到 ${RCLONE_NAME}:${RCLONE_FOLDER} 完成"
     
287.     fi
     
288. }
     
289. 
     
290. ftp_upload() {
     
291.     if ${FTP_**}; then
     
292.         [ -z "${FTP_HOST}" ] && log "ftp 错误: FTP_HOST 不能 为空" && return 1
     
293.         [ -z "${FTP_USER}" ] && log "ftp 错误: FTP_USER 不能 为空" && return 1
     
294.         [ -z "${FTP_PASS}" ] && log "ftp 错误: FTP_PASS 不能 为空" && return 1
     
295.         [ -z "${FTP_DIR}" ] && log "ftp 错误: FTP_DIR 不能 为空" && return 1
     
296.         local FTP_OUT_FILE=$(basename ${OUT_FILE})
     
297.         log "ftp 备份文件: ${FTP_OUT_FILE} 到 FTP 服务器"
     
298.         ftp -in ${FTP_HOST} 2>&1 >> ${LOG_FILE} <<EOF
     
299. user $FTP_USER $FTP_PASS
     
300. binary
     
301. lcd $LOCAL_DIR
     
302. cd $FTP_DIR
     
303. put $FTP_OUT_FILE
     
304. quit
     
305. EOF
     
306.         if [ $? -ne 0 ]; then
     
307.             log "ftp 备份文件: ${FTP_OUT_FILE} 到 FTP 服务器 错误"
     
308.             return 1
     
309.         fi
     
310.         log "ftp 备份文件: ${FTP_OUT_FILE} 到 FTP 服务器 完成"
     
311.     fi
     
312. }
     

复制代码

字数超过, 接楼下

tkn

接楼上

1. get_file_date() {
   
2.     #Approximate a 30-day month and 365-day year
   
3.     DAYS=$(( $((10#${YEAR}*365)) + $((10#${MONTH}*30)) + $((10#${DAY})) ))
   
4.     unset FILEYEAR FILEMONTH FILEDAY FILEDAYS FILEAGE
   
5.     FILEYEAR=$(echo "$1" | cut -d_ -f2 | cut -c 1-4)
   
6.     FILEMONTH=$(echo "$1" | cut -d_ -f2 | cut -c 5-6)
   
7.     FILEDAY=$(echo "$1" | cut -d_ -f2 | cut -c 7-8)
   
8.     if [[ "${FILEYEAR}" && "${FILEMONTH}" && "${FILEDAY}" ]]; then
   
9.         #Approximate a 30-day month and 365-day year
   
10.         FILEDAYS=$(( $((10#${FILEYEAR}*365)) + $((10#${FILEMONTH}*30)) + $((10#${FILEDAY})) ))
    
11.         FILEAGE=$(( 10#${DAYS} - 10#${FILEDAYS} ))
    
12.         return 0
    
13.     fi
    
14.     return 1
    
15. }
    
16. 
    
17. #删除 rclone 中过期备份文件
    
18. delete_rclone_file() {
    
19.     local FILENAME=$1
    
20.     if ${DELETE_REMOTE_FILE_**} && ${RCLONE_**}; then
    
21.         rclone ls ${RCLONE_NAME}:${RCLONE_FOLDER}/${FILENAME} 2>&1 > /dev/null
    
22.         if [ $? -eq 0 ]; then
    
23.             rclone delete ${RCLONE_NAME}:${RCLONE_FOLDER}/${FILENAME} >> ${LOG_FILE}
    
24.             if [ $? -eq 0 ]; then
    
25.                 log "rclone ${RCLONE_NAME}:/${RCLONE_PATH} 大于${LOCAL_AGE_DAILIES}天前的旧备份文件: ${FILENAME} 已删除"
    
26.             else
    
27.                 log "rclone ${RCLONE_NAME}:/${RCLONE_PATH} 大于${LOCAL_AGE_DAILIES}天前的旧备份文件: ${FILENAME} 删除失败"
    
28.             fi
    
29.         else
    
30.             log "rclone ${RCLONE_NAME}:/${RCLONE_PATH} 大于${LOCAL_AGE_DAILIES}天前的旧备份文件: ${FILENAME} 不存在"
    
31.         fi
    
32.     fi
    
33. }
    
34. 
    
35. # 删除 ftp 中过期备份文件
    
36. delete_ftp_file() {
    
37.     local FILENAME=$1
    
38.     if ${DELETE_REMOTE_FILE_**} && ${FTP_**}; then
    
39.         ftp -in ${FTP_HOST} 2>&1 >> ${LOG_FILE} <<EOF
    
40. user $FTP_USER $FTP_PASS
    
41. cd $FTP_DIR
    
42. del $FILENAME
    
43. quit
    
44. EOF
    
45.         if [ $? -eq 0 ]; then
    
46.             log "ftp 大于${LOCAL_AGE_DAILIES}天前的旧备份文件: ${FILENAME} 已删除"
    
47.         else
    
48.             log "ftp 大于${LOCAL_AGE_DAILIES}天前的旧备份文件: ${FILENAME} 删除失败"
    
49.         fi
    
50.     fi
    
51. }
    
52. 
    
53. #删除过期文件
    
54. clean_up_files() {
    
55.     cd ${LOCAL_DIR} || return 1
    
56.     if ${ENCRYPT_**}; then
    
57.         LS=($(ls *.enc))
    
58.     else
    
59.         LS=($(ls *.tgz))
    
60.     fi
    
61.     for f in ${LS[@]}; do
    
62.         get_file_date ${f}
    
63.         if [ $? -eq 0 ]; then
    
64.             if [[ ${FILEAGE} -gt ${LOCAL_AGE_DAILIES} ]]; then
    
65.                 rm -f ${f}
    
66.                 log "本地 大于${LOCAL_AGE_DAILIES}天前的旧备份文件: ${f} 已删除"
    
67.                 delete_rclone_file ${f}
    
68.                 delete_ftp_file ${f}
    
69.             fi
    
70.         fi
    
71.     done
    
72. }
    
73. 
    
74. #主进程
    
75. STARTTIME=$(date +%s)
    
76. 
    
77. #检测备份目录和临时目录是否存在和可写
    
78. [ ! -d "${LOCAL_DIR}" ] && mkdir -p ${LOCAL_DIR}
    
79. [ ! -d "${TEMP_DIR}" ] && mkdir -p ${TEMP_DIR}
    
80. 
    
81. log "备份开始"
    
82. check_commands
    
83. mysql_backup
    
84. sqlite_backup
    
85. start_backup
    
86. log "备份结束"
    
87. 
    
88. log "上传开始"
    
89. rclone_upload
    
90. ftp_upload
    
91. log "上传结束"
    
92. 
    
93. log "清理过期文件"
    
94. clean_up_files
    
95. ENDTIME=$(date +%s)
    
96. DURATION=$((ENDTIME - STARTTIME))
    
97. log "操作耗时 ${DURATION} 秒"
    
98. exit 0

复制代码

这是我从lamp修改用来备份bitwarden的, 可以备份mysql sqlite 和直接备份多个文件或文件夹, 可以设置排除多个文件或文件夹, sqlite数据不重要的话可以直接备份文件即可, 重要文件才需要安全的dump后再备份

我擦, 怎么F L G也屏蔽, 变成**了

Mr.Xu

tkn 发表于 2020-6-3 11:22
接楼上

这是我从lamp修改用来备份bitwarden的, 可以备份mysql sqlite 和直接备份多个文件或文件夹, 可以设 ...

辛苦大佬了！十分感谢！