备份数据上传腾讯云COS

备份数据上传腾讯云COS

一、方案背景由于服务器上数据量越来越大，备份的数据会占用硬盘空间(虽说云硬盘可随时扩容，但是存在风险)，定时将备份上传到COS。不仅节省服务器硬盘空间，也大大提高备份数据的安全性、可靠性。

二、操作步骤1、软件依赖：JDK1.7 或以上下载链接：start_migrate.bat 即可运行。Linux从config.ini配置文件读入配置，运行命令为：sh start_migrate.sh

迁移机制原理COS 迁移工具是有状态的，已经迁移成功的会记录在 db 目录下，以 KV 的形式存储在 leveldb 文件中。每次迁移前对要迁移的路径，先查找下 db 中是否存在， 如果存在，且属性和 db 中存在的一致， 则跳过迁移，否则进行迁移。这里的属性根据迁移类型的不同而不同，对于本地迁移，会判断 mtime。对于其他云存储迁移与 Bucket 复制，会判断源文件的 etag 和长度是否与 db 一致。因此，我们参照 db 中是否有过迁移成功的记录，而不是查找 COS，如果绕过了迁移工具，通过别的方式（如 COSCMD 或者控制台）删除修改了文件，那么运行迁移工具由于不会察觉到这种变化，是不会重新迁移的。

利用脚本实现分月备份替换备份配置文件中的"月目录"#!/bin/shDate=date |awk '{print $6}'Path=grep cosPath /data/soft/cos_migrate_tool_v5-master/conf/config.ini |awk -F '/' '{print $3}'#PATH=grep cosPath /data/scripts/cos.py |awk -F '/' '{print $3}'/usr/bin/sed -i "s/${Path}/${Date}/g" /data/soft/cos_migrate_tool_v5-master/conf/config.ini

crontab0 1,13 sh /data/script/bak.sh 0 2 sh /data/soft/cos_migrate_tool_v5-master/start_migrate.sh0 0 1 sh /data/script/cosdate.sh #每月执行一次

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。