网络基础_应用层传输层解析

应用层

协议
协议是一种 “约定”. socket api的接口, 在读写数据时, 都是按 “字符串” 的方式来发送接收的. 如果我们要传输一些 “结构化的数据” , 该怎么办呢?

例如:
我们需要实现一个服务器版的加法器
我们需要客户端把要计算的两个数发过去, 然后由服务器进行计算, 再把结果返回给客户端

方案一
客户端发送一个形如”1+1”的字符串
这个字符串中有两个操作数, 都是整形
两个数字之间有一个字符是运算符, 运算符只能是 +
数字和运算符之间没有空格

方案二
定义结构体来表示我们需要发送的信息
发送数据时将这个结构体按照一个规则转换成字符串
接收到数据的时候再按照相同的规则把字符串转化为结构体
这个过程叫做 “序列化” 和 “反序列化”
无论我们采用方案一, 还是方案二, 还是其他的方案, 只要保证
一端发送时构造的数据, 在另一端能够正确的进行解析, 就是OK的
这种约定, 就是 应用层协议

HTTP协议

虽然说应用层协议是我们自己定的. 但实际上, 已经有大佬们定义了一些现成的, 又非常好用的应用层协议, 供我们直接参考使用. HTTP(超文本传输协议)就是其中之一.

认识 URL
我们常说的网址, 其实就是指 URL

上图解释了URL各部分的含义

urlencode和urldecode
像 / ? : 等, 这样的字符, 已经被url当做特殊意义理解了. 因此这些字符不能随意出现. 如果某个参数中需要带有这些特殊字符, 就必须先对特殊字符进行转义.
转义的规则如下:
将需要转码的字符转为16进制，然后从右到左，取4位(不足4位直接处理)，每2位做一位，前面加上%，编码成%XY的格式
例如: 搜索C++

https://www.baidu.com/baidu?isource=infinity&iname=baidu&itype=web&tn=90171537_s_hao_pg&ch=13&ie=utf-8&wd=C%2B%2B

+ 被转成了%2B, 因为 + 号的 ASCLL码值为43, 转为16进制为2B, 加上%号, 就是%2B
上面所做的工作就叫做 urlencode
而 urldecode 就是 urlencode 的逆过程.

HTTP请求

首行: [方法] + [url] + [版本]
Header: 请求的属性, 冒号分割的键值对;
每组属性之间使用\n分隔;
遇到空行表示Header部分结束;
Body: 空行后面的内容都是Body. Body允许为空字符串. 如果Body存在, 则在Header中会有一个 Content-Length 属性来标识Body的长度.

HTTP响应

上图空行之前的内容就是HTTP响应的头部
首行: [版本号] + [状态码] + [状态码解释]
Header: 请求的属性, 冒号分割的键值对;
每组属性之间使用\n分隔;
遇到空行表示Header部分结束
Body: 空行后面的内容都是Body.
Body允许为空字符串. 如果Body存在, 则在Header中会有一个
Content-Length属性来标识Body的长度;
如果服务器返回了一个html页面, 那么html页面内容就是在body中.

HTTP中的方法

其中 GRT 方法和 POST 方法最常用.

HTTP状态码

常见的状态码
比如 200(OK), 404(Not Found), 403(Forbidden), 302(Redirect, 重定向), 504(Bad Gateway)
最常见的就是 404 , 未找到!

HTTP常见Header
- Content-Type: 数据类型(text/html等)
- Content-Length: Body的长度
- Host: 客户端告知服务器, 所请求的资源是在哪个主机的哪个端口上
- User-Agent: 声明用户的操作系统和浏览器版本信息
- referer: 当前页面是从哪个页面跳转过来的
- location: 搭配3xx状态码使用, 告诉客户端接下来要去哪里访问
- Cookie: 用于在客户端存储少量信息. 通常用于实现会话(session)的功能

实现一个最简单的HTTP服务器

#include <stdio.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <unistd.h>
#include <string.h>
#include <stdlib.h>

// 实现一个简单的 http服务器
int main(int argc, char *argv[])
{
    if(argc != 3)
    {
        printf("Usage: ./server [ip] [port]\n");
        return -1;
    }

    //1, 创建套接字

    //int socket(int domain, int type, int protocol);
    //因为http是基于tcp的, 所以用SOCK_STREAM, 可靠的
    int fd = socket(AF_INET, SOCK_STREAM, 0);
    if(fd < 0)
    {
        perror("socket");
        return -1;
    }
    struct sockaddr_in addr;
    addr.sin_family = AF_INET;
    // inet_addr 将一个点分十进制的IP转换成一个长整数型数（u_long类型）等同于inet_addr()。
    addr.sin_addr.s_addr = inet_addr(argv[1]);
    // htons是将整型变量从主机字节顺序转变成网络字节顺序
    // 就是整数在地址空间存储方式变为高位字节存放在内存的低地址处。
    addr.sin_port = htons(atoi(argv[2]));

    //2, 绑定

    //int bind(int sockfd, const struct sockaddr *addr,
    //         socklen_t addrlen);
    int ret = bind(fd, (struct sockaddr *)&addr, sizeof(addr));
    if(ret < 0)
    {
        perror("bind");
        return -1;
    }

    //3, 监听
    // int listen(int sockfd, int backlog);
    ret = listen(fd, 5);
    if(ret < 0)
    {
        perror("listen");
        return -1;
    }

    //4, 连接
    while(1)
    {
        struct sockaddr_in client_addr;
        socklen_t len;
        //int accept(int sockfd, struct sockaddr *addr, socklen_t *addrlen);
        int client_fd = accept(fd, (struct sockaddr *)&client_addr, &len);
        if(client_fd < 0)
        {
            perror("accept");
            continue; //不断获取连接
        }
        char input_buf[10240] = {0};
        ssize_t read_size = read(client_fd, input_buf, sizeof(input_buf) - 1);
        if(read_size < 0)
        {
            perror("read");
            return -1;
        }
        printf("[request] %s\n", input_buf);
        char buf[1024] = {0};
        const char *web_str = "<h1>hello, world</h1>";
        // int sprintf(char *str, const char *format, ...);
        int ret = sprintf(buf, "HTTP/1.0 200 OK\nContent-Length:%d\n\n%s", strlen(web_str), web_str);
        if(ret < 0)
        {
            perror("sprintf");
            return -1;
        }
        // ssize_t write(int fd, const void *buf, size_t count);
        ssize_t i = write(client_fd, buf, sizeof(buf));
        if(i < 0)
        {
            perror("write");
            return -1;
        }
    }
    return 0;
}

此处我们使用 9090 端口号启动HTTP服务器. 虽然HTTP服务器一般使用80端口, 但这只是一个通用的习惯. 并不是说HTTP服务器就不能使用其他的端口号.
使用chrome测试我们的服务器时, 可以看到服务器打出的请求中还有一个
GET /favicon.ico HTTP/1.1 这样的请求.
favicon.ico图标是网站的缩略标志，可以显示在浏览器标签、地址栏左边和收藏夹，是展示网站个性的缩略logo标志，也可以说是网站头像，如果要让网站看起来更专业、更美、更有个性，favicon.ico是必不可少的.

传输层

负责数据能够从发送端传输到接收端.

端口号

端口号(Port)标识了一个主机上进行通信的不同应用程序.

每个主机上都有很多用来通信的应用程序, 它们都有不同的端口号, 以标识数据该传给哪个应用程序.
例如一些常见的: http的端口号是80, ssh是22 …

在TCP/IP协议中, 用 “源IP”, “源端口号”, “目的IP”, “目的端口号”, “协议号” 这样一个五元组来标识一个通信(可以通过netstat -n查看).

端口号范围划分
0 - 1023: 知名端口号, HTTP, FTP, SSH等这些广为使用的应用层协议, 他们的端口号都是固定的.
1024 - 65535: 操作系统动态分配的端口号. 客户端程序的端口号, 就是由操作系统从这个范围分配的.

知名端口号
有些服务器是很常用的, 为了使用方便, 人们约定一些常用的服务器, 都是用以下这些固定的端口号:

• ssh服务器, 使用22端口
• ftp服务器, 使用21端口
• telnet服务器, 使用23端口
• http服务器, 使用80端口
• https服务器, 使用443端口

查看知名端口号的命令: cat /etc/services

我们自己写程序时, 要避开这些端口号.
两个问题:
1, 一个进程是否可以绑定多个端口号?
- 答案: 可以.因为只要能找到这个进程就可以了.

2, 一个端口号是否能被多个进程绑定?
- 答案: 不可以.因为这样根据一个端口号就不能找到唯一一个进程了, 不知道数据该给谁了.

netstat工具
用来查看网络状态的重要工具
常用选项:
- n 拒绝显示别名，能显示数字的全部转化成数字
- l 仅列出有在 Listen (监听) 的服務状态
- p 显示建立相关连接的程序名
- t (tcp)仅显示tcp相关选项
- u (udp)仅显示udp相关选项
- a (all)显示所有选项，默认不显示LISTEN相关

pidof命令
用来查看进程pid很方便

pidof [进程名]


UDP协议

UDP协议端格式

所以UDP的头部一共占 8 字节;
16位UDP长度, 表示整个数据报(UDP首部+UDP数据)的最大长度;
如果校验和出错, 就会直接丢弃.

UDP的特点
- 无连接: 知道对端的IP和端口号就直接进行传输, 不需要建立连接;
- 不可靠: 没有确认机制, 没有重传机制; 如果因为网络故障该段无法发到对方, UDP协议层也不会给应用层返回任何错误信息;
- 面向数据报: 不能够灵活的控制读写数据的次数和数量;

解释: 面向数据报

应用层交给UDP多长的报文, UDP原样发送, 既不会拆分, 也不会合并; 用UDP传输100个字节的数据: 如果发送端调用一次sendto, 发送100个字节, 那么接收端也必须调用对应的一次recvfrom, 接收100 个字节; 而不能循环调用10次recvfrom, 每次接收10个字节.

UDP的缓冲区

UDP没有真正意义上的发送缓冲区.
调用sendto会直接交给内核, 由内核将数据传给网络层协议进行后续的传输动作;
UDP具有接收缓冲区.
但是这个接收缓冲区不能保证收到的UDP数据报的顺序和发送UDP数据报的顺序一 致;
如果缓冲区满了, 再到达的UDP数据就会被丢弃;

UDP的socket既能读, 也能写, 这个概念叫做 全双工

UDP使用注意事项

UDP协议首部中有一个16位的最大长度.
也就是说一个UDP能传输的数据最大长度是64K(包含 UDP首部).
然而64K在当今的互联网环境下, 是一个非常小的数字.
如果我们需要传输的数据超过64K, 就需要在应用层手动的分包, 多次发送, 并在接收端手动拼装

基于UDP的应用层协议

NFS: 网络文件系统
TFTP: 简单文件传输协议
DHCP: 动态主机配置协议
BOOTP: 启动协议(用于无盘设备启动)
DNS: 域名解析协议