摘要:目前大学校园中，学生的网络流量不足、信息共享不便利、移动设备易损坏，需要一个高速、安全、大容量、方便的存储空间。考虑利用云存储技术解决这一问题。

-本文通过研究hadoop的HDFS分布式文件系统，在此基础上使用java语言架构出一个云存储平台，实现了文件上传、下载、删除、分类、共享等功能。采用三台电脑的分布式模式，并行读写文件，提高了文件操作的效率。后台再通过hadoop提供的接口对接HDFS文件系统，将实际文件储存在hadoop集群中并对文件进行冗余备份，防止数据丢失。

--校园云存储平台适用于各高校对学生有校外流量限制的学校，用户使用该产品进行数据交互走的是局域网，不占用校外流量，而且服务器集群可以用学校闲置的电脑搭建，并能无限扩容，将资源利用最大化。

关键词：云存储；hadoop；HDFS；分布式

 

目录

摘要

Abstract

1 绪论-1

1.1 云计算的基础知识-1

1.1.1 什么是云计算-1

1.1.2 云计算部署模型-1

1.1.3 云计算服务-2

1.2 什么是HDFS-3

2 开发技术-3

2.1 开发语言-3

2.2 开发框架-4

2.3 其他技术及工具-4

3 云存储平台的设计与实现-4

3.1 需求分析-4

3.1.1 前台部分功能列表-4

3.1.2 后台部分功能列表-5

3.2 数据库设计-5

3.2.1 文件表-5

3.2.2 文件类型表-5

3.2.3 文件类型关联表-5

3.2.4 系统配置表-6

3.2.5 用户表-6

3.2.6 用户关联表-7

3.2.7 用户操作日志表-7

3.3 Hadoop集群设计-8

3.4 云存储平台的功能实现-9

3.4.1 HDFS文件结构体系-9

3.4.2 文件上传-11

3.4.3 文件下载-11

3.4.4 文件共享-11

3.4.5 文件分类-11

3.4.6 文件搜索-12

3.4.7 文件删除-12

3.4.8 文件操作功能代码封装-hdfsOperation.java-13

3.5 云存储平台后台功能实现-16

3.5.1 用户信息的增删改查-16

3.5.2 用户行为分析-17

4 系统运行以及功能测试-18

4.1 测试环境-18

4.2 系统运行情况-18

4.3 测试结果-21

5 系统的待完善之处-22

5.1 界面的优化-22

5.2 浏览器兼容问题-23

5.3 Hadoop中HDFS自身的不足-23

5.3.1 单一namenode将造成性能瓶颈-23

5.3.2 处理大文件效率，处理小文件反而不行-23

结    论-24

参 考 文 献-25

致    谢-26