网站总结报告书文档内容简介:
一、体系结构
由清华大学计算机系高性能计算研究所开发的校园网格工具包(Campus Grid Toolkit,简称CG)由若干软件包组成,目的在于将分布于校园网内的集群、高性能服务器、超级计算机以及计算软件等计算资源有机地聚集起来,通过Web方式为校园网用户提供方便实用的计算服务。
CG的指导思想是:利用CG工具包,经过简单的安装、部署和配置,即可以在校园网内方便地搭建一个计算网格平台,其所提供的基本功能为:硬件资源的共享和使用。同时,计算网格平台还提供了软件资源共享及使用的高级功能,即用户可以将其所有的计算软件贡献出来,提交给整个网格平台,系统将根据计算软件对宿主机器的要求将其部署到系统中某个符合条件的节点上,从而实现该计算软件在校园网范围内的共享和使用。
通过CG工具包搭建的校园网格平台的结构如图所示:
图1 通过CG工具包搭建的校园网格平台的结构图
二、工具包构成
网站设计报告
整个CG软件包主要由三个部分组成:1)服务器(Web Portal)端相关软件包;2)前端机(Site Front-End)相关软件包;3)其他相关软件包(第三方软件,开放源代码)。
服务器(Web Portal)端相关软件包包括 Jakarta-tomcat-4.1.27.tar.gz , root.tar, info.tar.gz:
Jakarta-tomcat-4.1.27.tar.gz: 搭建Web服务器的软件工具。清华大学在开放源代码的tomcat包中加入了一个已网站分析报告 网站建设报告 网站测试报告 网站需求分析报告
经建好的网站的所有文件,用户可根据实际需要进行修改。这个网站就是用户登录Web Portal后看到的网站页面。
root.tar: 借助于这个包,管理员可以在Web服务器上构建资源贡献者和资源使用者之间的交互接口,负责处理用户提交的计算任务、共享软件,并对计算请求进行解析、分配和调度。
info.tar.gz: 软件共享注册服务的软件包,负责对用户共享的软件服务信息进行管理。
前端机(Site Front-End)相关软件包括 sitefe.tar, softservices.tar.gz。各软件包的功能说明如下:
sitefe.tar: 该软件包被安装在集群或者大型机的前端机上,作为这些资源贡献者和整个Grid环境的交互接口。主要功能包括接收服务器分配来的任务,调用本地的资源管理软件(如OpenPBS)进行调度、执行,并返回结果等。
softservices.tar.gz:需要提供软件注册和软件共享服务的机器可以通过在其前端机上安装该软件包来启动这两项服务.
其他相关软件包都是第三方软件,公开源代码的:
OpenPBS:集群管理软件。安装于集群、超级计算机等实际计算节点上,基于集群资源进行任务调度。
Ganglia:集群监控软件,安装于集群节点上,用于对集群资源进行监控,并提供可视化工具。
LAM-MPI: 并行程序接口MPI的一种实现,7.0版本支持在集群任务调度模块下运行。
MySQL: 数据库软件。安装于Web服务器上,用于对相关数据进行管理。
Apache & PHP: 构建Web服务器所需的基本软件。
4月30日清华大学已经公开了一小部分源代码,由root和sitefe以及数据库等部分组成。但这些源代码不包括Web Portal中使用的JSP网页中调用的所有类的定义和说明,不包括软件服务部分。前端机和节点机上的程序,除了第三方软件,所有源代码都未公开。
CG提供的资料表明,他们的主要工作集中在Web Portal这一端。
三、实验环境
4月11日我们测试组拿到CG的安装光盘,按照说明文档开始搭建CG环境,用到南一楼节点机器5台,用其中node216(外部IP为211.69.193.56)作为我们CG试验环境的服务器(Web Portal),同时其他4台机器作为集群,其中node215作为集群的前端机。我们西边的机器作为客户端通过访问南一楼的Web Portal来使用CG。5月2日,清华大学发布新版本0.2,我们重新按照新版本的内容进行了调整。新版本没有太大的改动,就是对一些非常明显的小Bug做了修改,诸如将原先的JSP网页中固定的内部IP地址修改正确了。
四、CG的分析
CG整个系统由纯Java组成。在整个计算网格平台中,它将参与者共分为三类:硬件资源的所有者(贡献者)、软件资源的所有者(贡献者)以及最终客户。对最终客户而言,CG希望只要通过简单易用的Web界面,就可以申请注册、向系统提交计算任务,利用校园网内众多的计算资源进行计算,并可对任务的执行情况进行实时监控。它目前所能够提供的功能主要有两个:1)运行MPI并行任务,用户可以通过编译好的可执行码或者未编译的MPI源程序两种形式提交MPI程序;2)软件共享。
1、作业的调度
作业调度需要解决的是,如何将用户提交的新任务分配到后端的集群节点上,实现资源优化利用。由于没有Web Portal端的源代码,根据我们的测试尝试,我们推测CG是通过两步来实现这个目的的:
第一步,集群间的调度。
Web Portal将任务按照某种策略划分多个子任务,然后分派给各个集群的前端机。
第二步,集群内部的调度。
在集群的内部,前端机上安装有OpenPBS服务器,在其他节点上安装有OpenPBS客户端。前端机接收从Web Portal派分下来的子任务,然后将任务递交给OpenPBS服务器,由OpenPBS服务器和客户端之间通信来完成集群内的子任务划分,从而实现资源优化利用。
从以上两步来看,CG主要是利用了集群管理软件OpenPBS来做到集群内部的作业调度。而对于在Web Portal端如何将各个子任务以什么样的策略调度到不同的集群上(集群间的调度),由于缺少相关资料,我们暂时无从知道。。
2、作业的管理
CG中提供了对于作业状态的监控。这个监控是通过OpenPBS提供的API来获取OpenPBS服务器的相关信息,结合Ganglia的信息收集工具Gmond而得到的。
另外,CG目前只为应用提供了MPI并行运算环境(通过开源系统LAM/MPI 工具来实现并行计算环境),其他的应用没有环境。
3、计算结点
计算节点就是集群中的节点,其上需要安装的组件包括OpenPBS监控端、Ganglia的信息收集工具Gmond以及LAM-MPI-7.0。这些组件安装好之后组成一个资源节点的“运行时系统”,模块结构图如下:
图1 运行时系统的模块图
资源管理器负责与其它计算资源上的资源管理器联系,传递任务分配消息和资源状况信息。运行器动态获取并行任务并生成运行时对象执行,同时维护存储任务代码的两层哈希映射。所有并行任务之间的数据通信、资源管理器之间的管理消息以及运行器获取代码都通过调用MPLW API交由MPLW统一处理。
我们提交的任务最终是有计算节点来承担完成的。在测试中,我们可以成功的提交MPI任务,但是例子程序运行会出错,没有任何错误报告。
4、软件共享服务
软件共享服务的目的是为了实现不同集群(单位,团体)之间软件的共享。通过向软件注册服务中心注册软件,而其他用户想使用软件,可以查询Web Portal,获取当前可用软件资源的列表,从而达到软件共享。在这一部分,主要是利用GT3的思想,将软件的发布功能封装为一个服务的形式。
在测试中我们发现,利用CG所提供的一个共享软件例子为例,软件注册可以成功,但是软件使用会出错,系统没有说明提示。
5、界面
CG仅提供了用户的Web Portal界面,没有提供管理员界面。
6、安全
CG的资料中宣称提供了可定制的面向资源的安全机制。在节点注册和登录时,利用JSSE为程序员提供了封装好的类和加密引擎,并将SSL封装在设计中,在SSL会话的帮助下,安全的处理节点身份认证中的消息传递以及收到ID和密码后查找的问题。代码认证通过专门的字节码加载器完成。代码授权由自定义的类加载器来完成。
五、总结
经过接近一个月的运行使用,前后经历两个版本,我们觉得整个CG主要是在Web Portal端做了大量工作,提供了一个网站,调用了很多支撑类库;在前端机方面主要是提供了一个与服务器通信的接口;在节点机上则完全使用第三方的工具了。集群的管理和任务调度都依赖OpenPBS和Ganglia来完成。
CG的安装的确非常简单,但是装完之后,它的很多功能均无法实现。估计可能是版本的原因。
点击下载大学校园网格总结报告文档
网页总结报告文档关联:
网络公司业务员的年度总结 年度报告
政府网站评估报告 政府网站建设 分析报告
电子商务网站设计报告与分析