WebSocket、FTP、RESTful、SMTP、IMAP、POP等协议很多人可能仅仅听说过,但没有了解过。
一、ARP/RARP/ICMP
ARP(Address Resolution Protocol),地址解析协议。
- 通过IP地址获取MAC地址。
RARP(Reverse Address Resolution Protocol),逆地址解析协议。
- 使用与ARP相同的报头结构
- 作用与ARP相反,用于将MAC地址转换为IP地址
- 后来被BOOTP、DHCP所取代
ICMP(Internet Control Message Protocol),互联网控制消息协议。
- IPV4中的ICMP被称作ICMPv4,IPV6中的ICMP则被称作ICMPv6
- 通常用于返回错误信息,比如TTL值过期,目的不可达
- ICMP的错误消息总是包括了源数据并返回给发送者
二、WebSocket
WebSocket是基于TCP的支持全双工通信的应用层协议(全双工:客户端和服务器均可主动发消息给对方)。在2011年由IETF标准化为RFC_6455,后由RFC_7936补充规范。
WebSocket的应用场景很多:社交订阅、股票基金报价、体育实况更新、多媒体聊天、多玩家游戏等。
Socket是一套网络编程API,几乎所有的网络应用协议(HTTP/FTP/SMTP等)都是基于Socket实现的。而WebSocket是Web端的一个应用层通信协议。
2.1. HTTP和WebSocket
HTTP请求的特点:通信只能由客户端发起,所以早期很多网站为了实现推送技术,使用的技术都是轮询。
轮询是指由浏览器每隔一段时间(如每秒)向服务器发出HTTP请求,然后服务器返回最新的数据给客户端。为了能更好的节省服务器资源和带宽,并且能够更实时地进行通讯,HTML5规范中出现了WebSocket协议。
WebSocket和HTTP属于平级关系,都是应用层的协议。其实TCP本身就是支持全双工通信的,只是HTTP的“请求-应答”模式限制了TCP的能力。
WebSocket使用80(ws://
)、443(wss://
)端口,可以绕过大多数防火墙的限制(http默认使用80端口,https默认使用443端口)。
与HTTP不同的是,WebSocket需要先建立连接(应用层连接)。这就使得WebSocket成为一种有状态的协议,之后通信时可以省略部分状态信息。而HTTP请求可能需要在每个请求都额外携带状态信息(如身份认证等)。
2.2. 建立连接
WebSocket需要借助HTTP协议来建立连接(也叫作握手,Handshake)。
由客户端(浏览器)主动发出握手请求:
1 | GET /chat |
服务器响应:
1 | 101 Switching Protocols |
Connection:必须设置Upgrade,表示客户端希望连接升级。
Upgrade:必须设置websocket,表示希望升级到WebSocket协议。
Sec-WebSocket-Version:表示支持的WebSocket版本,RFC_6455要求使用的版本是13。
Sec-WebSocket-Key:客户端生成的随机字符串(比如例子中的dGhlIHNhbXBsZSBub25jZQ==)。
服务器接收到客户端的Sec-WebSocket-Key后,会进行以下操作:
Sec-WebSocket-Key拼接一个固定的GUID值(258EAFA5-E914-47DA-95CA-C5AB0DC85B11)。例:
dGhlIHNhbXBsZSBub25jZQ==258EAFA5-E914-47DA-95CA-C5AB0DC85B11
。将1的结果进行SHA-1摘要计算
,结果:b37a4f2cc0624f1690f64606cf385945b2bec4ea
。将2的结果进行Hex to Base64编码,结果:
s3pPLMBiTxaQ9kYGzzhZRbK+xOo=
。将3的结果作为Sec-WebSocket-Accept响应头的值,返回给客户端。
如此操作,可以尽量避免普通HTTP请求被误认为WebSocket协议。
2.3. 使用
WebSocket体验和演示:https://www.websocket.org/echo.html
W3C标准化了一套WebSocket API,可以直接使用JS调用。
1 | let ws = new WebSocket('wss://example.com') |
三、WebService
WebService(Web服务)是一种跨编程语言和跨操作系统平台的远程调用技术标准。
WebService使用场景举例:
- 天气预报、手机归属地查询、航班信息查询、物流信息查询等。
- 比如天气预报,是气象局把自己的服务以WebService形式暴露出来,让第三方程序可以调用这些服务功能(http://www.webxml.com.cn/zh_cn/index.aspx)。
事实上,WebService完全可以用普通的Web API取代(比如HTTP + JSON),现在很多企业的开放平台都是直接采用Web API。
3.1. WebService - 核心概念
SOAP(Simple Object Access Protocol),简单对象访问协议。很多时候,SOAP = HTTP + XML。WebService使用SOAP协议来封装传递数据。
SOAP其实就是正常的HTTP请求和有规范格式的XML,请求和响应都是XML文件。
WSDL(Web Services Description Language),Web服务描述语言。一个XML文档,用以描述WebService接口的细节(比如参数、返回值等)。一般在WebService的URL后面跟上?wsdl
获取WSDL信息。比如:http://ws.webxml.com.cn/WebServices/WeatherWS.asmx?wsdl
四、RESTful
REST(Representatioanl State Transfer),表现层状态转移。
REST是一种互联网软件架构设计风格,定义了一组用于创建Web服务的约束。符合REST架构的Web服务,称为RESTful Web服务器。
RESTful后面的ful表示形容词,例如wonder -> wonderful 。
实践建议:
URL中使用名词(建议用复数形式),不使用动词。
- 推荐:
/users
、/users/6
- 不推荐:
listUsers
、/getUser?id=6
、/user/list
、/user/get?id=6
- 推荐:
使用HTTP的方法表达动作:
一个资源连接到其他资源,使用子资源的形式
- GET:
/users/6/cars/88
- POST:
/users/8/cars
- GET:
API版本化
idbeny.com/v1/users
idbeny.com/v2/users/66
返回JSON格式的数据
发生错误时,不要返回200状态码
五、HTTPDNS
HTTPDNS是基于HTTP协议向DNS服务器发送域名解析请求。替代了基于DNS协议向运营商Local DNS发起解析请求的传统方式,可以避免Local DNS造成的域名劫持和跨网访问问题。常用在移动互联网中(比如Android、iOS开发中)。
市面上已经有现成的解决方案,移动端集成相关的SDK即可使用HTTPDNS服务。
六、FTP
FTP(File Transport Protocol),文件传输协议。RFC_959定义了此规范,是基于TCP的应用层协议。在RFC_1738中有定义,FTP的URL格式为:ftp://[user[:password]@]host:[:port]/url-path
。
6.1. 连接模式
FTP有2种连接模式:主动(Active)和被动(Passive)。
不管是哪种方式,都需要客户端和服务器建立2个连接:
- 控制连接:用于传输状态信息(指令)
- 数据连接:用于传输文件和目录信息(数据)
6.1.1. 主动模式
主动模式是服务器主动,客户端被动。
- 客户端打开一个随机的命令端口
- 端口号大于1024,假设为N。同时连接至服务器的命令端口21(固定)
- 客户端开始监听N+1数据端口
- 同时向服务器发送一个Port命令给服务器的命令端口21
- 此命令告诉服务器,客户端正在监听的数据端口是N+1,并且已准备好从此端口接收数据
- 服务器打开20号数据端口(固定),并且创建和客户端数据端口(N+1)的连接
6.1.2. 被动模式
被动模式是客户端主动,服务器被动。
客户端通过两个随机的端口与服务器建立连接:命令端口N、数据端口N+1。
- 客户端的命令端口N用于连接服务器的命令端口21(固定)
- 客户端通过命令端口N发送PASV命令给服务器的命令端口21
- 服务器打开一个随机的数据端口P,并告知客户端该端口号是P
- 客户端数据端口N+1发起与服务器数据端口P的连接
七、邮件相关的协议
发邮件使用的协议:
- SMTP(Simple Mail Transfer Protocol),简单邮件传输协议。
- 基于TCP,标准参考RFC_5321
- 服务器默认使用25端口,SSL/TLS使用465端口
- SMTP(Simple Mail Transfer Protocol),简单邮件传输协议。
收邮件使用的协议:
7.1. 收发邮件的过程
不同邮箱服务是不同直接通信的,例如腾讯邮箱(@qq.com)要想发邮件给网易邮箱(@163.com),客户端通过SMTP协议发送至腾讯邮箱服务,腾讯邮箱服务器通过SMTP协议转发给网易邮箱服务器,网易邮箱用户通过POP/IMAP协议拉取网易邮箱服务器上的邮件。
7.2. POP的特点
- 客户端连接服务器时,将会从服务器下载所有邮件。
- 可以设置下载完后,立即或一段时间后删除服务器邮件。
- 客户端的操作(比如删除邮件、移动到文件夹)不会跟服务器同步。
- 每个客户端都是独立的,都可以获得其自己的电子邮件副本。
7.3. IMAP的特点
- 客户端连接服务器时,获取的是服务器上邮件的基本信息,并不会下载邮件。
- 等打开邮件时,才开始下载邮件。
- 客户端的操作(比如删除邮件、移动到文件夹)会跟服务器同步。
- 所有客户端始终会看到相同的邮件和相同的文件夹。