Tự động backup dữ liệu lên Google Drive

Trong bài viết hướng dẫn sử dụng duplicity lần trước, mình đã hướng dẫn các bạn cách để VPS tự động tạo file backup và đẩy lên 1 VPS khác chuyên chứa dữ liệu. Duplicity cũng hỗ trợ đẩy file dữ liệu lên Google Drive, tuy nhiên cấu trúc dữ liệu của file backup tạo ra bởi Duplicity khá đặc biệt nên cách này không hiệu quả lắm.

Hôm nay, mình xin giới thiệu một công cụ mới của tác giả Bach Van Tuan, cho phép VPS sao lưu code, data và đẩy lên server của Google Drive hoàn toàn tự động.

Ưu điểm của Google Drive thì mọi người chắc cũng đã rõ, cho phép lưu tối đa 25GB miễn phí, nếu bạn trả tiền thì chi phí cũng cực kì rẻ so với các nhà cung cấp cloud khác. Ngoài ra, với dung lượng file cho phép upload lên tới 1TB, bạn không bao giờ phải lo lắng về dung lượng file backup nữa.

Thông thường nếu bạn sở hữu server thì việc sao lưu lại các thông tin như cơ sở dữ liệu, tài liệu, photo đuợc upload mỗi ngày khá là cần thiết . Một vấn đề đặt ra là nếu 1 ngày nào đó server của bạn có vấn đề và toàn bộ dữ liệu không thể khôi phục được, ngày đó sẽ là bad day 🙂 , để khắc phục đều đó thì thông thuờng sẽ có 1 server phụ không phục thuộc vào server chính để chứa dữ liệu sao lưu, và trong bài này tôi sẽ huớng dẫn cách để sao lưu dữ liệu tới server phụ đó chính là google drive, server phụ miễn phí của chúng ta 🙂

Mặc định mỗi nguời chỉ có 15gb để lưu trữ( bao gồm gmail, drive, photo ), nếu bạn có nhu cầu cao hơn thì có thể mua thêm dung luợng, có 1 điểm tôi rất thich đó là cho phép upload file với dung luợng tối đa là 1TB, nên bạn không cần lo google sẽ chặn lưu trữ những file backup luôn có dung luợng khá lớn.

Download source code
Đây là tool đuợc viết bằng python nên bạn cần cài đặt google api bằng lệnh sau

Download source code

Đây là tool đuợc viết bằng python nên bạn cần cài đặt google api bằng lệnh sau

1	pip install --upgrade google-api-python-client

Ghi chú: Một số bạn dùng CentOS có thể gặp một số lỗi không mong muốn, Vì vậy để chắc chắn bạn nên cài một số package bằng lệnh bên dưới:

1 2 3 4 5

yum install pip # neu ban chua cai pip yum groupinstall "Additional Development" "Development tools" yum install libffi-devel pip install pycrypto easy_install pyopenssl

1.Tạo google project

Tiếp theo bạn cần vào google console để tạo mới project và bật drive API, drive SDK

Tiếp theo bạn vào tab credential và click vào button có nhãn là “Create new Client ID”, và ở đây bạn chọn client là service account.

Sau khi tạo xong thì trình duyệt sẽ tự động tải file private key về máy của bạn, truờng hợp của tôi là file với tên “74214843aee8aba9f11b7825e0a22ef1f06533b7-privatekey.p12”, file này chỉ generate 1 lần , nếu bạn làm mất thì click vào generate new key.

Bạn cũng có thể thấy email service account có dạng như xxxxxxxx-xxxxxxx@developer.gserviceaccount.com

3. Chia sẻ folder của bạn cho google service account :

Từ khi bạn đã có email của service account, bạn vào trang drive của bạn và tạo 1 thư mục để share cho service account với quyền write , bạn cũng có thể share folder sẵn có( khuyên dùng share folder mới tạo vì tool này sẽ có phần xóa các file backup cũ )

Giờ tiếp theo là lấy folder id đuợc share, bạn có thể để ý url của folder share sẽ có dạng như https://drive.google.com/#folders/0B0XTTQmH9aXreFdxS0txVU5Xb1U nên  id của nó sẽ là 0B0XTTQmH9aXreFdxS0txVU5Xb1U

4. Tạo config file

Tạo vào code và tạo folder với tên gọi dễ nhớ ví dụ “configs”.

Bạn nên copy private key vào folder này cho dễ quản lý luôn, và bạn tạo 1 file với nội dung định dạng json,  bạn có thể tham khảo file your_config.json trong folder configs.example

Nội dung file này có thể như sau:

1 2 3 4 5 6 7 8

{ "service_account":"xxxxxxxx-xxxxx0c9e6eincmu@developer.gserviceaccount.com", "private_key12_path":"configs/74214843aee8aba9f11b7825e0a22ef1f06533b7-privatekey.p12", "backup_folder_id":"0B0XTTQmH9aXreFdxS0txVU5Xb1U", "description" : "Description for backup file", "max_file_in_folder": 5 }

Bạn định nghĩa một số thông tin như service_account email và path chứa private key, ở đây tôi dùng địa chỉ tương đối, id của folder đuợc share, mô tả cho backup file, và “max_file_in_folder” chính là limit số luợng file trong folder nếu bạn backup file lên và trong folder chứa 6 files, thì file cũ nhất sẽ được xóa, điều này sẽ giúp bạn không bị hết dung luợng trên google drive.

5. Run code

Bạn chạy với cú pháp sau:

1	python backup.py path/configs/config_file.json /path/backup_file

Nếu bạn thiết lập moi thứ ok thì backup file sẽ nằm trên folder đã đuợc share trên google drive  bây giờ.

6.  Bash sao lưu dữ liệu mysql

Đây là 1 script kết hợp  với tool trên để backup dữ liệu  mysql tới google drive.

Trong script này bạn khai báo một số thông tin như backup folder, backup code, dbname, db user, db password, tool này sẽ dump dữ liệu mysql của bạn  ra file sql và nén lại thành tar.gz và gửi lên google drive.

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30

BACKUP_DIR="/your/backup/folder" BACKUP_CODE="/backup/code/folder" #Sql file name with year-month-date-hour-minute NAME=`date +%Y%m%d-%H%M` SQLFILE=$NAME'.sql' ZNAME=$NAME'.tar.gz' FILE_PATH=$BACKUP_DIR'/'$ZNAME DBNAME='your_db_name' DBUSER='mysql_user' DBPASSWORD='mysql_password' echo "Dumping DB name=$DBNAME" #Create backup folder if folder is not existing mkdir -p $BACKUP_DIR cd $BACKUP_DIR #Dump sql file to $SQLFILE mysqldump -u $DBUSER -p $DBNAME --password=$DBPASSWORD --skip-lock-tables --force >$SQLFILE #Zip sql file tar -zcvf $ZNAME $SQLFILE #Remove sql file rm -f $SQLFILE #Cd to backup code folder cd $BACKUP_CODE echo "UPloading to google drive" #UPload backup file to google drive python backup.py configs/your_config.json $FILE_PATH #Remove backup file since file is uploaded to google drive rm -f $FILE_PATH echo "Done"

sử dụng :

1	bash backup_mysql.sh

 7. Thiếp lập backup hằng ngày

Bạn dùng crontab để thiết lâp và add line bên duới vào

1	mm hh * * * bash /my/backup/repository/backup_mysql.sh

Tùy vào truờng hợp của bạn mà nhập  /my/backup/repository/backup_mysql.sh cho thích hợp, và nhớ chỉnh mm,hh cho thích hợp.

Và đây là kết quả sau 1 vài lần backup csdl cho domain này

vì max_file_in_folder trong file config bằng 5 nên trên ảnh trên chỉ xuất hiện 5 file backup.

Backup wordpress site ?

Backup wordpress site cũng sẽ làm tương tự như backup dữ liệu mysql của bạn.

Code như sau:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52

#You need modify below varriable to appropriate with your BACKUP_TEMP_DIR="/var/www/backup_folder" BACKUP_CODE="/var/www/Backup-To-Google-Drive" BACKUP_CONFIG_FILE="config_for_your_domain.json" #if your site is stored in /var/www/yourdomain.com # then PARENT_WORDPRESS_SITE="/var/www" # and SITE_NAME="yourdomain.com" PARENT_WORDPRESS_SITE="/var/www" SITE_NAME="yourdomain.com" DBNAME='yourdb_name' DBUSER='yourdb_user' DBPASSWORD='yourdb_password' #End define, below is my work :) WORDPRESS_SITE_PATH=$PARENT_WORDPRESS_SITE"/"$SITE_NAME BACKUP_FILE=$SITE_NAME"_`date +%Y%m%d-%H%M`.tar.gz" #Sql file name with year-month-date-hour-minute SQLFILE=$DBNAME'.sql' SQL_BACKUP_FILE=$DBNAME'.tar.gz' BACKUP_FILE_PATH=$BACKUP_TEMP_DIR'/'$BACKUP_FILE echo "Dumping DB name=$DBNAME" #Create backup folder if folder is not existing mkdir -p $BACKUP_TEMP_DIR cd $WORDPRESS_SITE_PATH #Dump sql file to $SQLFILE mysqldump -u $DBUSER -p $DBNAME --password=$DBPASSWORD --skip-lock-tables --force >$SQLFILE #Zip sql file tar -zcvf $SQL_BACKUP_FILE $SQLFILE #Remove sql file rm -f $SQLFILE #Cd to backup code folder cd $PARENT_WORDPRESS_SITE tar -zcvf $BACKUP_FILE_PATH $SITE_NAME echo "Uploading to google drive" cd $BACKUP_CODE #UPload backup file to google drive python backup.py configs/$BACKUP_CONFIG_FILE $BACKUP_FILE_PATH #Remove backup file since file is uploaded to google drive rm -f $BACKUP_FILE_PATH #echo "Done" cd $WORDPRESS_SITE_PATH rm -f $SQL_BACKUP_FILE

Bạn cần nhập một sô thông số bên dưới cho phù hợp với site của bạn

1 2 3 4 5 6 7 8 9 10 11 12

BACKUP_TEMP_DIR="/var/www/backup_folder" BACKUP_CODE="/var/www/Backup-To-Google-Drive" BACKUP_CONFIG_FILE="config_for_your_domain.json" #if your site is stored in /var/www/yourdomain.com # then PARENT_WORDPRESS_SITE="/var/www" # and SITE_NAME="yourdomain.com" PARENT_WORDPRESS_SITE="/var/www" SITE_NAME="yourdomain.com" DBNAME='yourdb_name' DBUSER='yourdb_user' DBPASSWORD='yourdb_password'

BACKUP_TEMP_DIR: có thể là folder trống và bạn có quyền write, đây sẽ là folder tạm để chứa file backup.

BACKUP_CODE: Đường dẫn folder code của mình mà bạn tải về.

BACKUP_CONFIG_FILE : Đường dẫn file mà bạn đặt file config.

Nếu wordpress site của bạn ở đường dẫn /var/www/abc_com

thì bạn điền

PARENT_WORDPRESS_SITE sẽ là /var/www  ( Đây chính là thư mục cha của wordpress site )

SITE_NAME sẽ là abc_com ( Đây chính là phần còn lại )

Tiếp theo là các thông số cho cơ sở dữ liệu, cái này mình sẽ không nói nữa.

Sử dụng:

1	bash backup_wp_site.sh

Tương tự như backup mysql, bạn có thể thiết lập crontab để tự động backup mỗi ngày.

Restore file được backup trước đó

Tính năng này mới được bổ sung, tôi có thêm file restore.py.

Cách sử dụng:

1	python restore.py path/configs/config_file.json /restore/path

File config vẫn dùng file backup đã sử dụng trước đó.

/restore/path là thư mục sẽ lưu file được tải về.

ví dụ:

1	python restore.py configs/abc.com.json /var/www

Ở ví dụ này tôi sẽ dùng file config abc.com.json và file sẽ được lưu ở thư mục /var/www

restore from google drive