独角兽企业重金招聘Python工程师标准>>>
网关
网关（gateway）：资源和应用程序之间的粘合剂。应用程序可以（通过HTTP或其它已定义的接口）请求网关来处理某条请求，网关可以提供一条响应。网关可以向数据库发送查询语句，或者生成动态的内容，像一扇门一样，进去一个请求，出来一个响应。
严格的来说，代理连接的是两个或多个使用同样协议的程序，而网关连接的是连接两个或多个不同协议的程序，网关负责的是协议的转换。
客户端和服务器端网关：
Web网关在一侧使用HTTP协议，在另一侧使用另一种协议；可以用一个斜杠来分隔客户端和服务器端协议，并以此对网关进行描述；<客户端协议> / <服务器端协议>客户端网关：（client – side gateway）通过其它协议与客户端对话，通过HTTP与服务器通信；服务器端网关（server – side gateway） 通过HTTP与客户端对话，通过其它协议与服务器通信；
通用网关接口：
通用网关接口（common gateway interface CGI）：CGI是一个标准接口集，Web服务器可以用它来装载程序以响应。对特定URL的HTTP请求，并收集程序的输出数据，将其放在HTTP响应中回送。
隧道：
Web隧道允许用户通过HTTP连接发送非HTTP流量，这样就可以在HTTP附带其它协议数据，也就是说，可以在HTTP连接中嵌入非HTTP流量，非HTTP流量就可以穿过只允许Web流量通过的防火墙了。
Web机器人
Web机器人是能够在无需人类干预的情况下自动进行一系列Web事物处理的软件程序。很多机器人会从一个Web站点逛到另一个Web站点，获取内容，跟踪超链接，并对它们找到的数据进行处理。如果一个Web站点有robots.txt文件，那么在访问这个Web站点上的任意URL之前，机器人都必须去获取它并对其进行处理。由主机名和端口号定义的整个Web站点仅有一个robots.txt资源。如果站点是虚拟主机，每个虚拟的docroot都可以有一个robots.txt文件。
获取robots.txt
机器人会用HTTP的GET方法来获取robots.txt资源，就像获取Web服务器上所有其他资源一样，机器人应该在From首部和User-Agent首部中传输标识信息，以帮助站点管理员对机器人的访问进行跟踪。
# 例子：GET / robots.txt HTTP / 1.0HOST：User-Agent：Slurp / 2.0Date：Web Oct 3 23:30:EST
响应码和状态码：
机器人会根据对robots.txt检索结果采取不同方案。
2xx：机器人对内容进行解析，并使用排斥规则从那个站点上获取内容；404：（没找到文件）机器人认为服务器没有任何排斥规则，对次站点的访问不受robots.txt限制；401 / 403：机器人认为对此站点访问完全受限；503：机器人会推迟对此站点的访问，直到可以获取资源为止；3xx：如果服务器相应说明是重定向，机器人就应该跟着重定向，直到找到资源为止；
robots.txt文件格式：
文件中有三种类型行：空行、注释行和规则行。
User - Agent：Slurp 允许机器人Slurp访问；User - Agent：Webcrawler 允许机器人Webcrawler访问；DisAllow： / private 访问除了private子目录；DisAllow： 阻止其它机器人访问该站点任何内容
## 例子：robots.txt for Discuz! X3#User-agent: *Disallow: /api/Disallow: /data/Disallow: /source/Disallow: /install/Disallow: /template/Disallow: /config/Disallow: /uc_client/Disallow: /uc_server/Disallow: /static/Disallow: /admin.phpDisallow: /search.phpDisallow: /member.phpDisallow: /api.phpDisallow: /misc.phpDisallow: /connect.phpDisallow: /forum.php?mod=redirect*Disallow: /forum.php?mod=post*Disallow: /home.php?mod=spacecp*Disallow: /userapp.php?mod=app&*Disallow: /*?mod=misc*Disallow: /*?mod=attachment*Disallow: /*mobile=yes*
机器人的META标签：
NOINDEX：告诉机器人不要对页面的内容进行处理；
<META NAME = "ROBOTS" CONTENT = "NOINDEX">
NOFOLLOW：告诉机器人不要爬行这个页面的任务外链；
<META NAME = "ROBOTS" COMEN = "NOFOLLOW">
