学习大数据架构的第一天

1、什么是数据？

2、什么是大数据？海量数据，2013习大大提出，海量，高增长率，多样化

Linux是芬兰人编写出来的林纳斯.托瓦兹，多任务

1、开源；

2、多用户（各个用户之间互相不影响）；

3、多线程（听歌，写文档）

4、良好界面（cmd,字符界面和图像界面），字符界面建议使用

5、虚拟机可以换平台（小米，三星，oppo等品牌）

红帽redcat企业级Linux，商业化产品，centos

绝对路径：以/开头是绝对路径，

相对路径：相对于当前目录所在的路径

• ll : 第一个字符代表文件/文件夹r-read w-write x-执行，前三位用户权限，中间三位是用户组，后三位是其他权限
• 第一个root所属用户
• 第二个代表所属用户组
• d：代表文件夹
• -：代表文件
• r-read w-write x-执行
• rwx:第一组，表示文件/文件夹所属用户权限
• r-x:第二组，表示文件所属用户组的权限
• r-x:第三组，表示其他用户的权限

命令centos

命令格式：命令 选项 参数 举例：ls -l/home,显示/home所有的文件和文件夹

ls： 显示当前目录下所有文件和文件夹

• ls -l/home,显示/home所有的文件和文件夹
• whatis ls：

ll：查看目录下文件

cd ：切换目录

• cd /home ： 切换目录 /绝对路径
• cd /root （对于root用户来说，/root目录就是root用户的home目录，对于普通用户来说，/home用户名字就是普通用户的home目录）
• cd . ： 表示当前目录，（切换到当前目录）
• cd … ：代表上一级目录
• ~:代表当前用户的home目录（对于root用户来说，/root目录就是root用户的home目录，对于普通用户来说，/home用户名字就是普通用户的home目录）
• cd ~:进入家目录
• cd teacher:在home目录下无需加/

mkdir：创建目录

• mkdir teacher:在当前目录下创建teacher
• mkdir /teacher:在根目录下创建teacher目录

pwd:查看当前所在目录

练习：创建一个/home/demo目录 mkdir /home/demo

       创建一个/home/demo01/abc  cd..        mkdir /demo01/abc

       切换到当前用户的家目录  cd ~

      切换到/home/demo目录 cd /home/demo

      查看当前所在目录 pwd

cp拷贝命令

• cp 文件 目标目录 ：拷贝…文件到目标目录，文件之间用空格空开
• cp -f 目录 目标目录：拷贝目录到指定目录
• cp ./teacher/a.txt ./demo01
• cp -r:拷贝目录

touch 创建一个文件/修改文件的时间戳。举例：touch a.txt

mv命令（移动命令）：移动文件/目录

• mv /home/teacher/a.txt /home：移动a.txt到/home下
• Linux没有专门改名字的命令，mv 兼职改名 mv a.txt b.txt

rm命令：删除文件/文件夹 rm /home/b.txt

• rm -r :递归删除
• rm -f :强制删除 rm -f /home/b.txt

练习：查看当前用户家目录的路径

    进入/home目录在home目录下创建目录student

  在teacher目录下创建空文件score.txt

在student目录系啊创建新目录tom.liming.jerry

在tom目录下新建文件infor.txt并拷贝到liming和jerry目录下

递归查询student下所有文件及文件详细信息

将student目录拷贝到teacher目录下，并重命名为Mystudent

删除/home/teacher/Mystudent下的liming目录

shutdown -h now立马关机

• shutdown -h 16:00会在16点关机
• shutdown - h+10十分钟之后关机
• shutdown - h now立马重启
• shutdown -r+10十分钟后重启
• reboot 重启

root:用户和用户组

每一个用户都有一个用户组，系统可以对一个用户组中所有的用户进行集中管理，不同的Linux系统对用户组的规定有所不同，入Linux下的用户属于与它同名的用户组，这个用户组会在用户创建的时候同时创建

对用户的添加，删除，修改其实就是修改cat /etc/group的修改

• root用户：超级管理员，UID是0
• 系统用户：uid是1到499
• 自定义的用户：uid是从500开始
• 账户信息存储于/etc/passwd
• 密码信息：etc/shutdown cat /etc/shutdown

useradd 添加用户，举例useradd tom

• id 用户：查看用户信息，例如id tom

-c 指定一段注释性的描述

-b指定用户的home目录

-g 指定用户所属的用户组

-G指定用户所属的附加组

-u用户号，指定用户的用户号

usermod :修改用户uid usermod [选项] 例如：usermod -u 504 tom

userdel :删除用户

groupadd：添加用户组 groupadd[选项] 组名

• -g：指定组id

-o:一般与-g一起使用，表示新用户组的gid可以和系统已在gid相同

groupdel:删除用户组

groupmod:修改用户组（modify）

4：代表连接数，root代表所属用户，第二个root代表所属用户组，4096代表文件大小

r=4，chmod 777 score.txt 修改权限

w=2

x=1

练习：创建一个文件夹，aaa,在文件夹下创建一个空文件b.txt

     创建一个文件夹bbb,将b.txt拷贝到该文件夹下

    删除aaa文件夹 rm -rf /home/aaa

   将b.txt改名为a.txt，并修改为用户可读可写，用户组可读，其他没有权限

   创建一个zhang用户修改uid510

cat [文件的目录]文件名字,查看指定文件

cat /etc/passwd：进入/etc目录查看不需要再输/etc

tail -5 passwd :查看文件的命令，后5行

vim类似vi的文本编辑器，被公认为最好用的文本编辑器

vim a.txt insert : wq

• vim的三种模式：
• 1、一般模式，默认模式，使用上下左右来移动光标，也可以使用删除字符/复制粘贴来处理文件
• 2、编辑模式：在一般模式下可以删除、复制粘贴、但无法编辑文件内容，按i/o/a/r任何一个字母进入编辑模式，在左下角出现insert进入编辑模式，按esc返回编辑模式
• 3、命令模式：在一般模式：下输入“： / ？”三个字符中的任何一个，就可以将光标移动到最下边，在这个模式下可以提供查询，同时可以保存
• 编辑模式下
  yy ：复制； p：粘贴 dd:删除一行
• 命令模式下
  ：wq保存退出 :!q 强制不保存退出
  ：s/a/n/g 替换命令 替换字符将当前光标行所有a替换称n
  ????%/word1/word2/g 替换文件将word1替换称word2
  ：w a.txt 文件另存为a.txt
  ：set nu 显示行号
  ：set no nu 不显示行号，取消显示
  练习：创建c.txt
  插入数据：张老师
  保存退出，吧z替换称H

ifconfig ip地址，网络位+主机位：

1、相同网络，网络位相同，主机位不一样，不同的网络，网络位肯定不同，主机位可能一样

2、子网掩码又叫网络掩码，是一个32位的地址，用来屏蔽IP地址的一部分以区别网络表示和主机标识，并说明该IP地址是在局域网上还是远程网上

3、网关：网络关口：从一个房间想走到另一个房间，必须要经过门口

从一个网络走向另一个网络，发送信息，也需要经过一个关口，也叫做网络关卡

4、域名服务器：将IP地址和域名地址进行转换

inet addr:192.168.205.128IP地址

Bcast:192.168.205.255网关

虚拟机的3个模式：

1、桥接模式，通常网卡名字VMnet0，VMvare虚拟出来的操作系统，相当于局域网中独立的一台主机，也就是说，（主机和虚拟机处于对等地位），可以访问局域网内任何一台机器，也可以访问外网

优点：自动获取IP地址，可以连接外网

缺点：IP自动获取，一旦主机IP发生变化，虚拟机IP也将发生变化

2、NAT地址；名称位VMware，通过nat的连接方式可以作为路由器访问互联网

3、仅主机模式：VMnet1,缺点：不能和外界通信，只能和本机网卡通信

远程管理

远程拷贝：scp用于在Linux下进行跨服务器拷贝任务，和cp类似，cp只能在本机进行拷贝，不能跨服务器，scp不占用资源，不会加重系统负荷

命令格式：scp 【 参数 】【用户名】@IP地址：远程目录 -r 递归复制整个目录

将第一台/home/teacher拷贝到第二台/home下

scp -r /home/teacher [email protected]:/home

关闭防火墙service iptables stop一次性关闭

永久关闭防火墙：chkconfig iptables off

远程免密登陆ssh

扩展：分布式集群

集群：是一种物理形态

分布式：是一种工作方式，就是一个活，多个人干；把一个任务拆分称多个子任务

为什么要有远程免密登陆：当我们想在一台/多台机器上启动登陆进程，很麻烦，如果在一台机器上就可以连接登陆其他机器，就可以在本台机器上，本台机器启动部署在其他机器上的其他服务；

Hadoop集群在启动的时候，通常是一个指令就启动了整个集群上的所有进程，如果没有远程免密登陆，每启动一个进程，就得输入一个密码，麻烦

ssh是常用的Linux远程免密工具，采用rsa非堆成加密算法，由公钥和私钥组合一对**，通过公钥加密的信息，只有私钥才能解密

原理

在A机器上生成一对**，公钥（锁头），私钥（钥匙）

非对称加密算法

A将公钥拷贝一份给B，A向B发送一个连接请求，B得到A的信息后，随机生成一个字符串，并用A的公钥进行加密，把加密之后的字符串，还给A，A接收到B发送过来的信息之后，用私钥打开它(解密) A将解密后的字符串再发送给B，B进行比对，如果字符串一样，那么就成功连接。总之A要免密登陆到B，B首先要拥有A的公钥，然后B做一次加密，A要进行一次解密，B要做验证，如果字符串一样，B就允许，这叫做非堆成加密算法，公钥加密，私钥解密