15分钟从零开始搭建支持10w+用户的生产环境(四)

上一篇文章，介绍了这个架构中，webserver的选择，以及整个架构中扩展时的思路。

原文地址：

 

五、架构实践

前边用了三篇文章，详细介绍了这个架构的各个部分的选择以及安装。

这篇文章，我会用一个demo项目，从开发到部署，包括mongodb数据的访问。用这种方式过一遍这个架构。

 

demo项目，我们用dotnet core开发。我们选择最新版的dotnet core 3.1做为系统的主框架。

开发环境用macos + vs code，生产环境用云服务器。

 

第一步：环境检查和搭建

1. 先看看各个环境的版本情况

生产环境：

$ cat /proc/version
linux version 4.9.0-12-amd64 ([e-mail]) (gcc version 6.3.0 20170516 (debian 6.3.0-18+deb9u1) ) #1 smp debian 4.9.210-1 (2020-01-20)

$ lsb_release -a
no lsb modules are available.
distributor id:    debian
description:    debian gnu/linux 9.12 (stretch)
release:    9.12
codename:    stretch

开发环境：

$ cat /system/library/coreservices/systemversion.plist
<?xml version="1.0" encoding="utf-8"?>
<!doctype plist public "-//apple//dtd plist 1.0//en" "http://www.apple.com/dtds/propertylist-1.0.dtd">
<plist version="1.0">
<dict>
    <key>productbuildversion</key>
    <string>19e287</string>
    <key>productcopyright</key>
    <string>1983-2020 apple inc.</string>
    <key>productname</key>
    <string>mac os x</string>
    <key>productuservisibleversion</key>
    <string>10.15.4</string>
    <key>productversion</key>
    <string>10.15.4</string>
    <key>iossupportversion</key>
    <string>13.4</string>
</dict>
</plist>

2. 安装dotnet core 3.1

dotnet core官方下载地址：

 

mac上边是以前装好的，看一下：

$ dotnet --info
.net core sdk (reflecting any global.json):
 version:   3.1.201
 commit:    b1768b4ae7

runtime environment:
 os name:     mac os x
 os version:  10.15
 os platform: darwin
 rid:         osx.10.15-x64
 base path:   /usr/local/share/dotnet/sdk/3.1.201/

host (useful for support):
  version: 3.1.3
  commit:  4a9f85e9f8

.net core sdks installed:
  3.1.201 [/usr/local/share/dotnet/sdk]

.net core runtimes installed:
  microsoft.aspnetcore.app 3.1.3 [/usr/local/share/dotnet/shared/microsoft.aspnetcore.app]
  microsoft.netcore.app 3.1.3 [/usr/local/share/dotnet/shared/microsoft.netcore.app]

 

生产环境上边，安装步骤如下：

$ wget -o- https://packages.microsoft.com/keys/microsoft.asc | gpg --dearmor > microsoft.asc.gpg
$ sudo mv microsoft.asc.gpg /etc/apt/trusted.gpg.d/
$ wget https://packages.microsoft.com/config/debian/9/prod.list
$ sudo mv prod.list /etc/apt/sources.list.d/microsoft-prod.list
$ sudo chown root:root /etc/apt/trusted.gpg.d/microsoft.asc.gpg
$ sudo chown root:root /etc/apt/sources.list.d/microsoft-prod.list
$ sudo apt-get update
$ sudo apt-get install apt-transport-https
$ sudo apt-get update
$ sudo apt-get install dotnet-sdk-3.1

安装很简单，这要感谢microsoft，没有误导，也不需要刨坑。

安装完检查一下：

$ dotnet --info
.net core sdk (reflecting any global.json):
 version:   3.1.201
 commit:    b1768b4ae7

runtime environment:
 os name:     debian
 os version:  9
 os platform: linux
 rid:         debian.9-x64
 base path:   /usr/share/dotnet/sdk/3.1.201/

host (useful for support):
  version: 3.1.3
  commit:  4a9f85e9f8

.net core sdks installed:
  3.1.201 [/usr/share/dotnet/sdk]

.net core runtimes installed:
  microsoft.aspnetcore.app 3.1.3 [/usr/share/dotnet/shared/microsoft.aspnetcore.app]
  microsoft.netcore.app 3.1.3 [/usr/share/dotnet/shared/microsoft.netcore.app]

命令写顺手了，没有分sdk和runtime，正常应用时，生产环境可以只装runtime。命令是在最后装dotnet的一步，用以下命令：

$ sudo apt-get install aspnetcore-runtime-3.1
$ sudo apt-get install dotnet-runtime-3.1

3. 生产环境安装mongodb

详细步骤参见：

4. 生产环境安装jexus

详细步骤参见：

 

第二步：开发环境创建demo项目

1. 找个目录，创建解决方案（这一步不是必须，不过我习惯这么做。总要有个解决方案来存放工程）：

% dotnet new sln -o demo
the template "solution file" was created successfully.

这一步完成后，会在当前目录建立一个新目录demo，同时，在demo目录下创建文件demo.sln。

2. 在demo目录下，建立工程：

% dotnet new webapi -o demo
the template "asp.net core web api" was created successfully.

processing post-creation actions...
running 'dotnet restore' on demo/demo.csproj...
  restore completed in 16.79 ms for /demo/demo/demo.csproj.

restore succeeded.

3. 把新建的工程加到解决方案中：

% dotnet sln add demo/demo.csproj 
project `demo/demo.csproj` added to the solution.

4. 检查一下现在的目录和文件结构：

其中有一个weatherforecast，包含两个文件：weatherforecast.cs和weatherforecastcontroller.cs，是创建工程时自带的演示类。

现在我们运行一下工程。可以用vsc的「运行」，也可以命令行：

% dotnet run

运行demo工程。

运行后，从浏览器访问：http://localhost:5000/weatherforecast，会得到一串演示数据。这就是上面这个演示类的效果。

正式项目中，这两个文件要删掉。

 

到这一步，基础工程就搭好了。

我们要做一个api服务，这个服务里要有几个api，要用到数据库访问。为了测试api，我们需要装个swagger。当然用postman也可以，不过我习惯用swagger。

5. 增加swagger包引用。在demo.csproj的同级目录下运行：

% dotnet add package swashbuckle.aspnetcore

swagger装好后，需要在startup.cs中注册。

在configureservices中加入以下代码：

services.addswaggergen(c =>
{
    c.swaggerdoc("v1", new openapiinfo { title = "my api", version = "v1" });
});

在configure中加入以下代码：

app.useswagger();
app.useswaggerui(c =>
{
    c.swaggerendpoint("/swagger/v1/swagger.json", "my api v1");
});

完成后，startup.cs的代码：

namespace demo
{
    public class startup
    {
        public startup(iconfiguration configuration)
        {
            configuration = configuration;
        }

        public iconfiguration configuration { get; }

        // this method gets called by the runtime. use this method to add services to the container.
        public void configureservices(iservicecollection services)
        {
            services.addswaggergen(c =>
            {
                c.swaggerdoc("v1", new openapiinfo { title = "my api", version = "v1" });
            });

            services.addcontrollers();
        }

        // this method gets called by the runtime. use this method to configure the http request pipeline.
        public void configure(iapplicationbuilder app, iwebhostenvironment env)
        {
            if (env.isdevelopment())
            {
                app.usedeveloperexceptionpage();
            }

            app.userouting();

            app.useauthorization();

            app.useswagger();
            app.useswaggerui(c =>
            {
                c.swaggerendpoint("/swagger/v1/swagger.json", "my api v1");
            });

           app.useendpoints(endpoints =>
            {
                endpoints.mapcontrollers();
            });
        }
    }
}

6. 增加mongodb支持

选择一：引用官方包mongodb.driver：

% dotnet add package mongodb.driver

后面用包提供的sdk进行开发。

选择二：引用包lib.core.mongodb.helper：

% dotnet add package lib.core.mongodb.helper

这是我自己维护的一个helper开源包，对官方的mongodb.driver做了一定程序的包装和简化操作。这个包目前在我公司的生产环境中用着。

这个包的开源地址：https://github.com/humornif/lib.core.mongodb.helper

 

引用完成后，需要在appsettings.json中增加数据库连接串：

"mongoconnection": "mongodb://localhost:27017/admin?wtimeoutms=2000"

完成后，appsettings.json的代码如下：

{
  "mongoconnection": "mongodb://localhost:27017/admin?wtimeoutms=2000",
  "logging": {
    "loglevel": {
      "default": "information",
      "microsoft": "warning",
      "microsoft.hosting.lifetime": "information"
    }
  },
  "allowedhosts": "*"
}

7. 建立数据库操作类

在工程中创建一个目录models，在目录下创建一个类文件demo.cs：

using mongodb.bson;
using system;
using system.collections.generic;
using system.linq;
using system.threading.tasks;

namespace demo.models
{
    public class demo
    {
        public const string database = "demodb";
        public const string collection = "democollection";

        public objectid _id { get; set; }
        public string demo_user_name { get; set; }
        public int demo_user_age { get; set; }
    }
}

在同一目录下，再创建另一个dto类demodto.cs：

using system;
using system.collections.generic;
using system.linq;
using system.threading.tasks;

namespace demo.models
{
    public class demodto
    {
        public string demo_user_name { get; set; }
        public int demo_user_age { get; set; }
    }
}

在工程中创建另一个目录dbcontext，在目录下创建一个对应demo类的数据库操作类demodbcontext.cs：

using demo.models;
using lib.core.mongodb.helper;
using mongodb.bson;
using mongodb.driver;
using system;
using system.collections.generic;
using system.linq;
using system.threading.tasks;

namespace demo.dbcontext
{
    public class demodbcontext : mongohelper<demo>
    {
        //创建数据库操作索引
        protected override async task createindexasync()
        {
        }
        public demodbcontext() : base(demo.database, demo.collection)
        {

        }

        //保存数据到数据库
        internal async task<bool> savedata(demodto data)
        {
            demo new_item = new demo()
            {
                _id = objectid.generatenewid(),
                demo_user_name = data.demo_user_name,
                demo_user_age = data.demo_user_age,
            };

            bool result = await createasync(new_item);
            return result;
        }

        //从数据库查询全部数据
        internal async task<ienumerable<demodto>> getalldata()
        {
            var fetch_data = await selectallasync();

            list<demodto> result_list = new list<demodto>();
            fetch_data.foreach(p =>
            {
                demodto new_item = new demodto()
                {
                    demo_user_name = p.demo_user_name,
                    demo_user_age = p.demo_user_age,
                };
                result_list.add(new_item);
            });
            return result_list;
        }
    }
}

这三个类的关系是：

• demo类是数据类，对应mongodb数据库中保存的数据。demo.database是数据库中的db名称，demo.collection是数据库中的collection名称。这个类决定数据在数据库中的保存位置和保存内容。
• demodta是dta的映射类，在正式使用时，可以用automap与demo关联。在这个demo中，我用它来做数据从前端到api的传递。
• demodbcontext是对demo结构数据的数据库操作。这个类派生自lib.core.mongodb.helper中的父类mongohelper。所有对demo数据的操作全在这个类中进行。

 

8. 创建api控制器

在controller目录中，创建democontroller.cs：

using demo.dbcontext;
using demo.models;
using microsoft.aspnetcore.mvc;
using system;
using system.collections.generic;
using system.linq;
using system.threading.tasks;

namespace demo.controllers
{
    [apicontroller]
    [route("[controller]")]
    public class democontroller : controllerbase
    {
        [httppost]
        [route("savedata")]
        public actionresult<string> savedata(demodto data)
        {
            demodbcontext dc = new demodbcontext();
            bool result = dc.savedata(data).getawaiter().getresult();

            if(result)
                return "ok";
            return "error";
        }

        [httpget]
        [route("getdata")]
        public ienumerable<demodto> getdata()
        {
            demodbcontext dc = new demodbcontext();
            return dc.getalldata().getawaiter().getresult();
        }
    }
}

在这个控制器中，做了两个api：

• 基于post的savedata，用来写入数据到数据库；
• 基于get的getdata，用来从数据库读取数据到前端。

数据库的操作，调用了demodbcontext中写好的两个数据库操作方法。

数据库操作的完整方法，可以参见https://github.com/humornif/lib.core.mongodb.helper的详细说明。

9. 检查一下现在的工程目录结构：

10. 测试运行

在vsc中点击运行，或者命令行输入：

% dotnet run

等程序加载完成，可以访问http://localhost:5000/swagger，进行访问，并测试两个api。

 

第三步：发布到生产环境

1. 发布应用

前边说了，开发环境是mac，生产环境是debian 9 x64，所以会涉及到一个跨平台的发布。

事实上，跨平台发布也很简单。这个应用的目的环境是linux-64，所以，发布命令是：

% dotnet publish -r linux-x64

发布完成后，系统会显示发布的目录。这个项目，发布目录在demo/bin/debug/netcoreapp3.1/linux-x64/publish。

2. 打包传到服务器，并解包到一个目录。在这个演示中，我解包到了服务器的/var/demo。
3. 在服务器jexus中配置网站。

在/usr/jexus/siteconf中建立网站配置文件demo.80（文件名可以随便起，我的习惯是网站名称+端口号）：

######################
# web site: demo
########################################

port=80
root=/ /var/demo
hosts=*    #or your.com,*.your.com

# user=www-data

# aspnet.workers=2  # set the number of asp.net worker processes. defauit is 1.

# addr=0.0.0.0
# checkquery=false
nolog=true

apphost={cmd=dotnet demo.dll; root=/var/demo; port=5000}

# nofile=/index.aspx
# keep_alive=false
# usegzip=false

# usehttps=true
# ssl.certificate=/x/xxx.crt  #or pem
# ssl.certificatekey=/x/xxx.key
# ssl.protocol=tlsv1.0 tlsv1.1 tlsv1.2
# ssl.ciphers=ecdhe-rsa-aes256-gcm-sha384:ecdhe:ecdh:aes:high:!null:!anull:!md5:!adh:!rc4:!dh:!dhe 

# denyfrom=192.168.0.233, 192.168.1.*, 192.168.2.0/24
# allowfrom=192.168.*.*
# denydirs=~/cgi, ~/upfiles
# indexes=myindex.aspx

# deny asp ...
rewrite=^/.+?\.(asp|cgi|pl|sh|bash|dll)(\?.*|)$  /.deny->$1
rewrite=.*/editor/.+                             /.deny->editor
# reproxy=/bbs/ http://192.168.1.112/bbs/
# host.redirect=abc.com www.abc.com  301
# responsehandler.add=mykey:myvalue
responsehandler.add=x-frame-options:sameorigin

# jexus php fastcgi address is '/var/run/jexus/phpsvr'
#######################################################
# fastcgi.add=php|socket:/var/run/jexus/phpsvr

# php-fpm listen address is '127.0.0.1:9000'
############################################
# fastcgi.add=php|tcp:127.0.0.1:9000

在这个演示项目里，起作用的配置其实就一行：

apphost={cmd=dotnet demo.dll; root=/var/demo; port=5000}

这一行配置了三件事：

• 应用的运行命令是：dotnet demo.dll
• 应用的运行目录是：/var/demo
• 应用的运行端口是：5000

这样配置就完成了。

 

接下来，启动网站，在/usr/jexus中运行：

$ sudo ./jws start

网站就启动起来了。

 

第四步：测试

在本地浏览器中，输入：http://server_ip/swagger，跟在开发环境测试效果完全一样，可以进行数据库的写入和读取操作。

 

done !!!

 

我把上面的代码，传到了github上，需要了可以拉下来直接使用。

代码地址：https://github.com/humornif/demo-code/tree/master/0005/demo

 

微信公众账号：老王plus 如果你想及时得到个人文章以及内容的消息推送，或者想看看个人推荐的技术资料，可以扫描左边二维码（或者长按识别二维码）关注个人公众号）。 本文版权归作者所有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。