《深入理解计算机系统》官网：http://csapp.cs.cmu.edu/3e/labs.html
该篇文章是
实验八Proxy Lab的Writeup(proxylab.pdf)机翻
原文：http://csapp.cs.cmu.edu/3e/proxylab.pdf
在官网点击下方即可下载实验八的文件
Web代理是在Web浏览器和终端服务器之间充当中间人的程序。浏览器不直接与终端服务器联系以获得Web页面，而是与代理联系，后者将请求转发到终端服务器。当终端服务器回复代理时，代理将回复发送给浏览器。
代理在很多方面都很有用。有时在防火墙中使用代理，因此防火墙后的浏览器只能通过代理与防火墙外的服务器联系。代理还可以充当匿名者:通过剥离请求中的所有标识信息，代理可以使浏览器对Web服务器是匿名的。代理甚至可以用来缓存web对象，通过存储来自服务器的对象的本地副本，然后通过从缓存中读取它们来响应未来的请求，而不是再次与远程服务器通信。
在本实验中，您将编写一个简单的HTTP代理来缓存web对象。对于本实验的第一部分，您将设置代理来接受传入的连接、读取和解析请求、将请求转发到web服务器、读取服务器的响应，并将这些响应转发到相应的客户机。第一部分将学习基本的HTTP操作，以及如何使用套接字编写通过网络连接进行通信的程序。在第二部分中，您将升级代理以处理多个并发连接。本文将向您介绍如何处理并发，这是一个重要的系统概念。在第三部分和最后一部分，您将使用一个简单的主内存缓存最近访问的web内容添加缓存到您的代理。
这是一个个人项目。
特定地点:在这里插入一段解释教师将如何向学生分发proxylab-handout.tar文件。
将讲义文件复制到您计划工作的Linux机器上的受保护目录中，然后发出以下命令:
这将生成一个名为proxylab-handout的分发目录。README文件描述了各种文件。
第一步是实现处理HTTP/1.0 GET请求的基本顺序代理。其他请求类型(如POST)是严格可选的。
启动后，您的代理应该在一个端口上侦听传入的连接，该端口的编号将在命令行中指定。一旦建立了连接，代理就应该从客户端读取请求的全部内容并解析请求。它应该确定客户端是否发送了有效的HTTP请求;如果是，它可以建立自己的连接到适当的web服务器，然后请求客户端指定的对象。最后，代理应该读取服务器的响应，并将其转发给客户机。
当终端用户在web浏览器的地址栏中输入一个URL(例如http://www.cmu.edu/hub/index.html)时，浏览器会向代理发送一个HTTP请求，请求的开头可能是这样的:
在这种情况下，代理应该将请求解析为至少以下字段:hostname，www.cmu.edu;还有path或查询以及它后面的所有东西，/hub/index.html。这样，代理就可以确定它应该打开到www.cmu.edu的连接，并发送自己的HTTP请求，请求的开头行如下所示
请注意，HTTP请求中的所有行都以回车符’ \r ‘结尾，后面跟着换行符’ \n '。同样重要的是，每个HTTP请求都以空行结束:“\r\n”。
你应该注意在上面的例子中，web浏览器的请求行以HTTP/1.1结束，而代理的请求行以HTTP/1.0结束。现代的web浏览器会生成HTTP/1.1请求，但你的代理应该处理它们，并将它们作为HTTP/1.0请求转发。
重要的是要考虑HTTP请求，即使只是HTTP/1.0 GET请求的子集，也可能非常复杂。教科书描述了HTTP事务的某些细节，但你应该参考RFC 1945以获得完整的HTTP/1.0规范。理想情况下，根据RFC 1945的相关章节，您的HTTP请求解析器应该是完全健壮的，除了一个细节:虽然规范允许多行请求字段，但不需要您的代理来正确处理它们。当然，您的代理永远不应该由于错误的请求而过早中止。
本实验室的重要请求头是Host、User-Agent、Connection和Proxy-Connection头:
为了方便起见，所描述的User-Agent头的值在proxy.c中作为字符串常量提供给您。
最后，如果浏览器发送任何附加的请求头作为HTTP请求的一部分，您的代理应该不加更改地转发它们。
本实验室有两类重要的端口号：HTTP请求端口和代理的侦听端口。
HTTP请求端口是HTTP请求URL中的可选字段。也就是说，URL的形式可能是http://www.cmu.edu:8080/hub/index.html，在这种情况下，您的代理应该连接到端口8080上的主机www.cmu.edu，而不是默认的HTTP端口80。无论URL中是否包含端口号，代理都必须正常工作。
侦听端口是代理侦听传入连接的端口。您的代理应该接受一个命令行参数，指定代理的监听端口号。例如，使用以下命令，您的代理应该监听端口15213上的连接:
您可以选择任何非特权侦听端口(大于1024小于65,536)，只要它不被其他进程使用。由于每个代理必须使用一个惟一的侦听端口，而且许多人将同时在每台机器上工作，因此提供了脚本port-for-user.pl来帮助您选择自己的端口号。使用它来根据用户ID生成端口号:
port-for-user.pl返回的端口p总是偶数。因此，如果您需要一个额外的端口号，例如对于Tiny服务器，您可以安全地使用端口p和p+1。
一旦您有了一个工作的顺序代理，您应该修改它以同时处理多个请求。实现并发服务器的最简单方法是生成一个新线程来处理每个新连接请求。其他的设计也是可能的，比如课本12.5.5节中描述的预线程服务器。
对于实验的最后一部分，您将向代理添加一个缓存，该缓存将最近使用的Web对象存储在内存中。HTTP实际上定义了一个相当复杂的模型，通过这个模型，web服务器可以给出指令，说明它们服务的对象应该如何缓存，而客户端可以指定缓存应该如何代表它们使用。然而，您的代理将采用一种简化的方法。
当你的代理从服务器接收到一个web对象时，它应该在向客户端发送对象时将其缓存在内存中。如果另一个客户端从相同的服务器请求相同的对象，您的代理不需要重新连接到服务器;它可以简单地重新发送缓存的对象。
显然，如果您的代理要缓存每一个被请求的对象，它将需要无限数量的内存。此外，由于某些web对象比其他对象大，可能会出现这样的情况:一个巨大的对象将消耗整个缓存，从而完全阻止其他对象被缓存。为了避免这些问题，代理应该同时具有最大缓存大小和最大缓存对象大小。
整个代理的缓存应该有以下最大大小:
在计算缓存大小时，代理必须只计算用于存储实际web对象的字节数；应忽略任何无关字节，包括元数据。
你的代理应该只缓存不超过以下最大大小的web对象:
为了方便起见，这两个大小限制都在proxy.c中以宏的形式提供。
实现正确缓存的最简单方法是为每个活动连接和从服务器接收到的累计数据分配一个缓冲区。如果缓冲区的大小超过了最大对象大小，则可以丢弃该缓冲区。如果在超过对象的最大大小之前，整个web服务器的响应被读取，那么对象就可以被缓存。使用这个方案，你的代理将使用的web对象的最大数据量如下，其中T是活动连接的最大数量:
代理的缓存应该采用类似于最近最少使用(least-recently-used, LRU)的驱逐策略。它并不一定是严格意义上的LRU，但应该是相当接近的。注意，读取和写入对象都算作使用对象。
对缓存的访问必须是线程安全的，确保缓存访问不存在竞争条件可能是实验室这一部分更有趣的方面。事实上，有一个特殊的要求，即多个线程必须能够同时从缓存读取数据。当然，一次只能允许一个线程写缓存，但是对于读线程不能有这个限制。
因此，用一个大的独占锁保护对缓存的访问不是一个可接受的解决方案。您可能希望探索一些选项，例如对缓存进行分区、使用Pthreads readers writers锁，或者使用信号量来实现自己的readers writers解决方案。在任何一种情况下，您都不必执行严格的LRU驱逐政策，这将为您提供支持多个读者的一些灵活性。
这项作业的评分标准为总分70分:
你们的讲义材料包括一个名为driver.sh的自动评分器，你们的老师将用它来为基本正确性、并发性和缓存打分。proxylab-handout目录:
您必须在Linux机器上运行驱动程序。
与往常一样，您必须交付一个对错误、甚至畸形或恶意输入都很健壮的程序。服务器通常是长时间运行的流程，web代理也不例外。仔细考虑长时间运行的流程应该如何对不同类型的错误作出反应。对于许多类型的错误，代理立即退出肯定是不合适的。
健壮性还意味着其他需求，包括对错误情况(如分段错误)的无懈可击以及缺乏内存泄漏和文件描述符泄漏。
除了简单的自动分级器，你不会有任何样本输入或测试程序来测试你的实现。你必须想出你自己的测试，甚至你自己的测试工具来帮助你调试你的代码，并决定什么时候你有一个正确的实现。在现实世界中，这是一项很有价值的技能，因为在现实世界中，精确的操作条件很少为人所知，通常也没有参考解决方案。
幸运的是，有许多工具可以用来调试和测试代理。一定要测试所有的代码路径，并测试一组具有代表性的输入，包括基本用例、典型用例和边缘用例。
您的讲义目录的源代码CS:APP Tiny web服务器。虽然不如thttpd强大，CS:APP Tiny web服务器将很容易为你修改你认为合适的。对于代理代码来说，这也是一个合理的起点。驱动程序代码使用服务器来获取页面。
如课本(11.5.3)所述，您可以使用telnet打开到代理的连接，并向其发送HTTP请求。
您可以使用curl生成到任何服务器的HTTP请求，包括您自己的代理。它是一个非常有用的调试工具。例如，如果你的代理和Tiny都在本地机器上运行，Tiny监听的端口是15213，而代理监听的端口是15214，那么你可以通过你的代理使用以下curl命令从Tiny请求一个页面:
Netcat，也称为nc，是一个通用的网络工具。您可以像使用telnet一样使用netcat来打开到服务器的连接。因此，假设你的代理使用12345端口运行在catshark上，你可以像下面这样手动测试你的代理:
除了能够连接到Web服务器之外，netcat本身也可以作为服务器运行。使用如下命令，可以将netcat作为监听12345端口的服务器:
设置netcat服务器后，可以通过代理向其上的虚假对象生成请求，并且可以检查代理发送给netcat的确切请求。
最后，您应该使用最新版本的Mozilla Firefox来测试代理。Firefox会自动更新您的浏览器到最新版本。
要配置Firefox使用代理，请访问
看到您的代理通过真正的Web浏览器工作将是非常令人兴奋的。虽然你的代理的功能将是有限的，你会注意到，你可以浏览绝大多数网站通过你的代理。
一个重要的警告是，在使用Web浏览器测试缓存时必须非常小心。所有现代Web浏览器都有自己的缓存，在尝试测试代理的缓存之前应该禁用这些缓存。
所提供的Makefile包含构建最终提交文件的功能。从你的工作目录发出以下命令:
输出是 …/proxylab-handin.tar文件，然后您可以将其提交。
特点地点:在这里插入一段话，告诉每个学生如何提交他们的proxylab-hand.tar解决方案文件。
祝你好运
