云服务器项目部署
项目部署的相关概念
关于部署流程，主要包含以下两个方面：部署方案、部署环境：
部署方案
- 分析项目的产品需求文档，定好部署方案的方向
- 分析项目开发文档，按照功能边界，设计部署的结点
- 分析项目功能软件，合理的取舍，选符合当前业务场景的
- 梳理项目部署涉及到的部署软件实现方案，根据上面第2点确定的结点，确定初版部署方案
- 根据项目实际情况，调整优化并确定项目部署方案
部署环境
- 个人开发环境：
工作人员：自己
工作平台：个人笔记本、公司配的电脑
平台特点：环境是自己配的，团队中不同的个人开发环境可以不一样
工作内容：项目的子模块，子功能
完成标准：完成领导安排的内容[项目的功能子模块开发]
- 公司开发环境：
工作人员：开发团队
工作平台：公司内部服务器
平台特点：服务器环境和线上的服务器环境完全一致
工作内容：项目子模块间的功能联调
完成标准：项目阶段开发、调试完成
- 项目测试环境：
工作人员：测试团队
工作平台：公司内部服务器
平台特点：服务器环境和线上的服务器环境完全一致
工作内容：项目功能/非功能/探索等测试
完成标准：项目阶段功能正常运行
- 项目预发布环境：
工作人员：运维团队
工作平台：公司线上服务器组中的一台
平台特点：服务器环境和线上的服务器环境完全一致
工作内容：特殊功能测试(比如支付)、数据压力测试、其他安全测试等
完成标准：项目阶段功能正常运行，最后一道防线
- 项目生产环境：
工作人员：运维团队
工作平台：公司线上服务器组
平台特点：标准线上的服务器环境
工作内容：代码部署和维护、记录内部架构文档
完成标准：项目正常运行
前端项目部署
之前我们的开发并没有把项目上传到码云上面，所以我们接下来我们先创建一个码云仓库。
git remote add origin https://gitee.com/mooluo/luffyproject_pc.git
git add .
git commit -m "项目完成"
git push orgin master
自动化程序会将打包的文件自动生成到项目的dist文件夹中。
npm run build
注意，编译的文件，必须要通过http协议才能访问到，直接点击index.html，是无法访问的。
因为根据我们上面的部署方案，我们需要安装nginx来运行这个项目。
后端项目部署
使用docker进行容器化管理进行持续集成部署
更新ubuntu的apt源索引
sudo apt-get update
安装包允许apt通过HTTPS使用仓库
sudo dpkg --configure -asudo apt-get install apt-transport-https ca-certificates curl software-properties-common
添加Docker官方GPG key
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
设置Docker稳定版仓库
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
添加仓库后，更新apt源索引
sudo apt-get update
安装最新版Docker CE（社区版）
```sudo apt-get install docker-ce````
检查Docker CE是否安装正确
sudo docker run hello-world
- 启动与停止
安装完成Docker后，默认已经启动了docker服务，如需手动控制docker服务的启停，可执行如下命令
- 启动docker
```sudo service docker start````
- 停止docker
sudo service docker stop
- 重启docker
sudo service docker restart
- 列出镜像
docker image ls
- 拉取镜像
docker image pull library/hello-world
- 删除镜像
docker image rm 镜像id/镜像ID
- 创建容器
docker run [选项参数] 镜像名 [命令]
- 停止一个已经在运行的容器
```docker container stop 容器名或容器id````
- 启动一个已经停止的容器
docker container start 容器名或容器id
- kill掉一个已经在运行的容器
docker container kill 容器名或容器id
- 删除容器
docker container rm 容器名或容器id
把前端项目通过nginx容器来运行
- 在docker中下载nginx镜像
docker image pull nginx
- 使用git把码云上面的编译过的vue项目克隆到服务器/home
- 阿里云服务器中，我们从码云克隆下来的前端项目: /home/luffyproject_pc/dist
git clone 项目git地址
- 创建nginx容器，并以80端口对外提供服务
docker run -itd -p 80:80 -v /home/luffyproject_pc/dist:/usr/share/nginx/html nginx
- 启动nginx容器中的nginx【容器ID通过docker container ls --all可以查看到】
docker container exec -itd [容器ID] nginx
“”"
/etc/nginx # nginx容器中nginx的配置目录
/usr/share/nginx/html # nginx容器中www目录
“”"
Nginx+uwsgi
Nginx是一款基于异步框架的轻量级/高性能的Web 服务器/反向代理服务器/缓存服务器/电子邮件(IMAP/POP3)代理服务器，并在一个BSD-like协议下发行。由俄罗斯的程序设计师Igor Sysoev(伊戈尔·赛索耶夫)所开发，最初供俄国大型网站Rambler.ru及搜寻引擎Rambler使用。
后端项目部署到docker容器中
在项目中复制开发配置文件dev.py 到生产配置prod.py
修改配置中的地址相关即可。
"""
Django settings for luffy project.
Generated by 'django-admin startproject' using Django 2.2.1.
For more information on this file, see
https://docs.djangoproject.com/en/2.2/topics/settings/
For the full list of settings and their values, see
https://docs.djangoproject.com/en/2.2/ref/settings/
"""
import os
#Build paths inside the project like this: os.path.join(BASE_DIR, ...)
BASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
#新增一个系统导包路径
import sys
sys.path.insert(0,os.path.join(BASE_DIR,"apps"))
#Quick-start development settings - unsuitable for production
#See https://docs.djangoproject.com/en/2.2/howto/deployment/checklist/
#SECURITY WARNING: keep the secret key used in production secret!
SECRET_KEY = '!!t0^(#[email protected][email protected]^!0u5lyq+4ctyui)sxmsc4*[email protected]([email protected]'
#SECURITY WARNING: don't run with debug turned on in production!
DEBUG = False
ALLOWED_HOSTS = [
'luffy.pythonyuan.com',
'api.pythonyuan.com',
]
#CORS组的配置信息
CORS_ORIGIN_WHITELIST = (
'luffy.pythonyuan.com:80',
)
#允许ajax跨域请求时携带cookie
CORS_ALLOW_CREDENTIALS = True
#Application definition
INSTALLED_APPS = [
'django.contrib.admin',
'django.contrib.auth',
'django.contrib.contenttypes',
'django.contrib.sessions',
'django.contrib.messages',
'django.contrib.staticfiles',
# cors跨域组件
'corsheaders',
'rest_framework',
'xadmin',
'crispy_forms',
'reversion',
'django_filters',
'ckeditor', # 富文本编辑器
'ckeditor_uploader', # 富文本编辑器上传图片模块
# 子应用
'home',
'users',
'courses',
'cart',
'orders',
'coupon',
'payments',
]
MIDDLEWARE = [
'corsheaders.middleware.CorsMiddleware',
'django.middleware.security.SecurityMiddleware',
'django.contrib.sessions.middleware.SessionMiddleware',
'django.middleware.common.CommonMiddleware',
'django.middleware.csrf.CsrfViewMiddleware',
'django.contrib.auth.middleware.AuthenticationMiddleware',
'django.contrib.messages.middleware.MessageMiddleware',
'django.middleware.clickjacking.XFrameOptionsMiddleware',
]
ROOT_URLCONF = 'luffy.urls'
TEMPLATES = [
{
'BACKEND': 'django.template.backends.django.DjangoTemplates',
'DIRS': [],
'APP_DIRS': True,
'OPTIONS': {
'context_processors': [
'django.template.context_processors.debug',
'django.template.context_processors.request',
'django.contrib.auth.context_processors.auth',
'django.contrib.messages.context_processors.messages',
],
},
},
]
WSGI_APPLICATION = 'luffy.wsgi.application'
"""
自定义用户模型类
配置有两项注意的地方:
1. 值的格式只能接收两段写法, 必须是 '子应用目录名.模型类名'
2. AUTH_USER_MODEL参数的设置一定要在第一次数据库迁移之前就设置好，
否则后续使用可能出现未知错误。
"""
AUTH_USER_MODEL = 'users.User'
#Database
#https://docs.djangoproject.com/en/2.2/ref/settings/#databases
DATABASES = {
# 默认数据库
"default": {
"ENGINE": "django.db.backends.mysql",
"HOST": "127.0.0.1",
"PORT": 3306,
"USER": "luffy_user",
"PASSWORD": "luffy",
"NAME": "luffycity",
}
}
#缓存配置
CACHES = {
"default":{
"BACKEND": "django_redis.cache.RedisCache",
# 项目上线时,需要调整这里的路径
"LOCATION": "redis://127.0.0.1:6379/0",
"OPTIONS": {
"CLIENT_CLASS": "django_redis.client.DefaultClient",
}
},
"session": {
"BACKEND": "django_redis.cache.RedisCache",
# 项目上线时,需要调整这里的路径
"LOCATION": "redis://127.0.0.1:6379/1",
"OPTIONS": {
"CLIENT_CLASS": "django_redis.client.DefaultClient",
}
},
# 提供存储短信验证码
"sms_code": {
"BACKEND": "django_redis.cache.RedisCache",
"LOCATION": "redis://127.0.0.1:6379/2",
"OPTIONS": {
"CLIENT_CLASS": "django_redis.client.DefaultClient",
}
},
# 提供存储购物车相关信息
"cart": {
"BACKEND": "django_redis.cache.RedisCache",
"LOCATION": "redis://127.0.0.1:6379/3",
"OPTIONS": {
"CLIENT_CLASS": "django_redis.client.DefaultClient",
}
},
}
#设置xadmin用户登录时,登录信息session保存到redis
SESSION_ENGINE = "django.contrib.sessions.backends.cache"
SESSION_CACHE_ALIAS = "session"
#Password validation
#https://docs.djangoproject.com/en/2.2/ref/settings/#auth-password-validators
AUTH_PASSWORD_VALIDATORS = [
{
'NAME': 'django.contrib.auth.password_validation.UserAttributeSimilarityValidator',
},
{
'NAME': 'django.contrib.auth.password_validation.MinimumLengthValidator',
},
{
'NAME': 'django.contrib.auth.password_validation.CommonPasswordValidator',
},
{
'NAME': 'django.contrib.auth.password_validation.NumericPasswordValidator',
},
]
#Internationalization
#https://docs.djangoproject.com/en/2.2/topics/i18n/
LANGUAGE_CODE = 'zh-hans'
TIME_ZONE = 'Asia/Shanghai'
USE_I18N = True
USE_L10N = True
USE_TZ = False
#Static files (CSS, JavaScript, Images)
#https://docs.djangoproject.com/en/2.2/howto/static-files/
#访问静态文件的url地址前缀
STATIC_URL = '/static/'
#设置django的静态文件目录
STATICFILES_DIRS = [
os.path.join(BASE_DIR,"luffy/statics")
]
STATIC_ROOT = os.path.join(os.path.dirname(BASE_DIR), 'static')
#项目中存储上传文件的根目录[暂时配置]，注意，static目录需要手动创建否则上传文件时报错
MEDIA_ROOT=os.path.join(BASE_DIR,"luffy/statics")
#访问上传文件的url地址前缀
MEDIA_URL ="/media/"
#日志配置
LOGGING = {
'version': 1,
'disable_existing_loggers': False,
'formatters': {
'verbose': {
'format': '%(levelname)s %(asctime)s %(module)s %(lineno)d %(message)s'
},
'simple': {
'format': '%(levelname)s %(module)s %(lineno)d %(message)s'
},
},
'filters': {
'require_debug_true': {
'()': 'django.utils.log.RequireDebugTrue',
},
},
'handlers': {
'console': {
'level': 'DEBUG',
'filters': ['require_debug_true'],
'class': 'logging.StreamHandler',
'formatter': 'simple'
},
'file': {
'level': 'INFO',
'class': 'logging.handlers.RotatingFileHandler',
# 日志位置,日志文件名,日志保存目录必须手动创建
'filename': os.path.join(os.path.dirname(BASE_DIR), "logs/luffy.log"),
# 日志文件的最大值,这里我们设置300M
'maxBytes': 300 * 1024 * 1024,
# 日志文件的数量,设置最大日志数量为10
'backupCount': 10,
# 日志格式:详细格式
'formatter': 'verbose'
},
},
# 日志对象
'loggers': {
'django': {
'handlers': ['console', 'file'],
'propagate': True, # 是否让日志信息继续冒泡给其他的日志处理系统
},
}
}
REST_FRAMEWORK = {
# 异常处理
'EXCEPTION_HANDLER': 'luffy.utils.exceptions.custom_exception_handler',
# 配置用户认证方式
'DEFAULT_AUTHENTICATION_CLASSES': (
'rest_framework_jwt.authentication.JSONWebTokenAuthentication',
'rest_framework.authentication.SessionAuthentication',
'rest_framework.authentication.BasicAuthentication',
),
}
import datetime
JWT_AUTH = {
# 配置jwt的有效期
'JWT_EXPIRATION_DELTA': datetime.timedelta(days=1),
# 设置jwt登录视图的返回值
'JWT_RESPONSE_PAYLOAD_HANDLER': 'users.utils.jwt_response_payload_handler',
}
#配置django的认证类功能,增加手机号登录
AUTHENTICATION_BACKENDS = [
'users.utils.UsernameMobileAuthBackend',
]
#极验验证码配置
PC_GEETEST_ID = '5f4ab1914455506edffaffd4da37fea5'
PC_GEETEST_KEY ='460e13a49d687e5e44e25c383f0473a6'
#短信配置
#主账号
SMS_ACCOUNTSID = '8a216da86ab0b4d2016ab3e05fe400b1'
#主账号Token
SMS_ACCOUNTTOKEN = '5f0ba4296bbb4e248aa77253ccfe0b31'
#创建应用的APPID
SMS_APPID = '8a216da86ab0b4d2016ab3e0603900b7'
#说明：请求地址，生产环境配置成app.cloopen.com
SMS_SERVERIP = 'sandboxapp.cloopen.com'
#富文本编辑器ckeditor配置
CKEDITOR_CONFIGS = {
'default': {
'toolbar': 'full', # 工具条功能
'height': 300, # 编辑器高度
# 'width': 300, # 编辑器宽
'language':'zh-hans',
},
}
CKEDITOR_UPLOAD_PATH = '' # 上传图片保存路径，留空则调用django的文件上传功能
#保利威视频加密服务
POLYV_CONFIG = {
"userId":"62dc475e3f",
"secretkey":"h6FiaEBRMU",
"servicesUrl":"https://hls.videocc.net/service/v1/token",
}
#支付宝电脑网站支付配置信息
ALIPAY_APPID = "2016091600523592"
APP_NOTIFY_URL = None
ALIPAY_DEBUG = True
#APIPAY_GATEWAY="https://openapi.alipay.com/gateway.do"
APIPAY_GATEWAY="https://openapi.alipaydev.com/gateway.do"
#客户端接受get回调支付结果
ALIPAY_RETURN_URL = "http://luffy.pythonyuan.com/success"
#服务端接受post回调支付结果
ALIPAY_NOTIFY_URL = "http://api.pythonyuan.com:8000/payments/success"
上线前先收集静态文件
当Django运行在生产环境中，我们会关闭debug调试，那么项目将不再提供静态文件的支持，需要将静态文件交给静态文件的nginx服务器来提供访问。
我们先收集所有静态文件。项目中的静态文件除了我们使用的上传文件之外，django本身还有自己的静态文件，如rest_framework、xadmin、admin、ckeditor等。我们需要收集这些静态文件，集中一起放到静态文件服务器中。
我们要将收集的静态文件放到项目的static目录中，所以先创建目录static。
Django提供了收集静态文件的方法。先在配置文件中配置收集之后存放的目录
settings/prop.py，代码：
STATIC_ROOT = os.path.join(os.path.dirname(BASE_DIR), ‘static’)
然后执行收集命令
python manage.py collectstatic
django的程序通常使用uwsgi服务器来运行
修改wsgi.py文件
os.environ.setdefault(‘DJANGO_SETTINGS_MODULE’, ‘luffy.settings.prop’)
我们可以在本地环境中先安装uwsgi模块进行使用，然后成功了再上传到服务器中。
pip install uwsgi
uwsgi --version # 查看 uwsgi 版本
在项目根目录下创建uwsgi配置文件uwsgi.ini
[uwsgi]
#使用nginx连接时使用，Django程序所在服务器地址
socket=127.0.0.1:8000
#直接做web服务器使用，Django程序所在服务器地址
#http=127.0.0.1:8000
#项目目录
chdir=/Home/moluo/luffycity
#项目中wsgi.py文件的目录，相对于项目目录
wsgi-file=luffycity/wsgi.py
#进程数
processes=4
#线程数
threads=2
#uwsgi服务器的角色
master=True
#存放进程编号的文件
pidfile=uwsgi.pid
#日志文件，因为uwsgi可以脱离终端在后台运行，日志看不见。我们以前的runserver是依赖终端的
daemonize=uwsgi.log
#指定依赖的虚拟环境
virtualenv=/Home/moluo/.virtualenv/luffycity
启动uwsgi服务器，必须在uwsgi配置文件中运行下面的命令
注意，在本地环境中必须先把runserver关闭
uwsgi --ini uwsgi.ini
停止uwsgi服务器，还可以通过使用kill命令停止
uwsgi --stop uwsgi.pid
把django项目上传部署到服务器并使用uwsgi服务器运行
导出当前虚拟环境中的模块包列表
pip freeze > requirements.txt
在服务器中使用git拉取最新的项目内容。
cd /home/luffyproject
git pull
安装基本虚拟环境[直接把项目运行在服务器中，不在容器里面]
#安装python3的pip工具
apt install python3-pip
#使用pip安装虚拟环境
pip3 install virtualenv
pip3 install virtualenvwrapper
#配置虚拟环境的环境变量
#执行命令
mkdir KaTeX parse error: Expected 'EOF', got '#' at position 21: ….virtualenvs #̲执行命令，打开并编辑 ~/.b…HOME/.virtualenvs
export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3
source /usr/local/bin/virtualenvwrapper.sh
#刷新配置文件
source ~/.bashrc
#创建虚拟环境
mkvirtualenv luffyproject -p python3
#在虚拟环境中同步之前的个人开发环境中安装包列表 requirements.txt
cd /home/luffyproject/docs
pip install -r requirements.txt -i https://pypi.douban.com/simple
#项目中有些包是之前使用下载包方式安装的，则这里需要我们手动安装
#例如：xadmin
pip install https://codeload.github.com/sshwsfc/xadmin/zip/django2
#安装完成这些手动安装的包以后，我们再次执行上面的命令
pip install -r requirements.txt -i https://pypi.douban.com/simple
#经过上面的步骤，我们直接切到uwsgi.ini所在目录下，运行项目
uwsgi --ini uwsgi.ini
#我们会发现上面命令运行不起来，原因是我们的本地模块包是从新安装的，之前有修改过，所以需要调整。同时因为我们之前已经在项目中使用到了redis和mysql
#因此我们需要在docker中下载redis和mysql的容器
docker pull redis
docker pull mysql
#创建redis容器并运行redis
docker container run -itd -p6379:6379 redis
#创建mysql容器并启动mysql
docker container run -itd -p3306:3306 -e MYSQL_ROOT_PASSWORD=luffy mysql
#接下来远程在本地环境中导出当前项目的数据库，并导入到服务器中的数据库中
#1. 本地导出数据
cd ~/Desktop/luffy/docs/
mysqldump -uroot -p123 luffycity>./luffycity.sql # 本地数据库账号
#2. 在服务器中创建数据和数据库用户
mysql -uroot -pluffy -h47.112.204.45 # 本地登陆线上的mysql数据库
create database luffycity charset=utf8mb4;
create user luffy_user identified by ‘luffy’;
grant all privileges on luffycity.* to ‘luffy_user’@’%’;
flush privileges;
exit
#3. 退出服务器数据库终端，使用以下命令导入数据库
cd ~/Desktop/luffy/docs/
mysql -uroot -pluffy -h47.112.204.45 luffycity < ./luffycity.sql
4. 继续使用manage.py运行django项目，修改数据库的decode错误以后，就正常运行。
#5. 使用uwsgi来运行django项目
uwsgi --ini uwsgi.ini
#新的配置信息 uwsgi.ini
[uwsgi]
#使用nginx连接时使用，Django程序所在服务器地址
;socket=127.0.0.1:8000
#直接单独做web服务器使用，Django程序所在服务器地址
http=0.0.0.0:8000
#项目根目录
chdir=/home/luffyproject
#项目中wsgi.py文件的目录，相对于项目目录
wsgi-file=luffy/wsgi.py
#进程数
processes=4
#线程数
threads=2
#uwsgi服务器的角色
master=True
#存放进程编号的文件
pidfile=uwsgi.pid
#日志文件，因为uwsgi可以脱离终端在后台运行，日志看不见。我们以前的runserver是依赖终端的
daemonize=uwsgi.log
#指定依赖的虚拟环境
virtualenv=/root/.virtualenvs/luffyproject
接下来，我们就可以使用nginx对uwsgi进行反向代理
我们直接在服务器安装一个nginx，不再使用容器.
sudo apt-get install nginx
修改Nginx配置文件，让Nginx接收到请求后转发给uwsgi服务器
upstream luffy {
server 10.211.55.2:8000;
}
#gzip on;
server {
listen 8000;
server_name api.luffycity.com;
location / {
include uwsgi_params;
uwsgi_pass luffy;
}
}
server {
listen 80;
server_name www.luffycity.com;
#charset koi8-r;
#access_log logs/host.access.log main;
location /xadmin {
include uwsgi_params;
uwsgi_pass luffy;
}
location /ckeditor {
include uwsgi_params;
uwsgi_pass luffy;
}
# 前端
location / {
root /home/Home/luffycity;
index index.html index.htm;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
重启nginx
service nginx restart
我们使用Nginx服务器作为静态文件服务器，打开Nginx容器的配置文件，修改配置：
sudo vim /etc/nginx/sites-available/default
在server部分中配置
server {
listen 80;
server_name luffy.pythonyuan.com;
location /static {
root /home/luffyproject_pc/static;
index index.html index.htm;
}
…
}
重启Nginx服务器
service nginx restart
启动nginx服务器
service nginx start
停止nginx服务器
service nginx stop