1 Hadoop包总量（15个包）
15个包，分下面几类：
（1） 配置文件：这是一个多方共享的话，让每个人可以告诉群里每个人我想干啥，由控制者根据配置文件去找相应的实体指向。
（2） 共用工具：基础功能的提供者
（3） 通讯工具：大家是基于通讯进行工作的
（4） 基础运算：MR
（5） 基本读写：IO
（6） 文件处理：HDFS
（7） 文件系统：FS
（8） 文件缓存：FILECACHE
（9） 安全机制：
（10）统计处理：
（11）类型释义：RECORD
（12）用户外壳：TOOL
（13）管控工具：HTTP
两个目的：（1）满足管理者的需要；HTTP（2）满足使用者的需要;
1.1 包的列表
1.2 包的作用
|
包名
|
作用
|
|
tool
|
提供一些命令行工具，如DistCp，archive
|
|
mapreduce
|
Hadoop的Map/Reduce实现
|
|
filecache
|
提供HDFS文件的本地缓存，用于加快Map/Reduce的数据访问速度
|
|
fs
|
文件系统的抽象，可以理解为支持多种文件系统实现的统一文件访问接口
|
|
hdfs
|
HDFS，Hadoop的分布式文件系统实现
|
|
ipc
|
一个简单的IPC的实现，依赖于io提供的编解码功能
|
|
io
|
表示层。将各种数据编码/解码，方便于在网络上传输
|
|
net
|
封装部分网络功能，如DNS，socket
|
|
security
|
用户和用户组信息
|
|
conf
|
系统的配置参数
|
|
metrics
|
系统统计数据的收集，属于网管范畴
|
|
util
|
工具类
|
|
record
|
根据DDL（数据描述语言）自动生成他们的编解码函数，目前可以提供C++和Java
|
|
http
|
基于Jetty的HTTP Servlet，用户通过浏览器可以观察文件系统的一些状态信息和日志
|
|
log
|
提供HTTP访问日志的HTTP Servlet
|
1.3 包的数量
|
包名
|
数量
|
|
tool
|
3
|
|
mapreduce
|
211
|
|
filecache
|
3
|
|
fs
|
69
|
|
hdfs
|
106
|
|
ipc
|
8
|
|
io
|
84
|
|
net
|
13
|
|
security
|
3
|
|
conf
|
3
|
|
metrics
|
23
|
|
util
|
30
|
|
record
|
50
|
|
http
|
3
|
|
log
|
1
|
|
15个
|
610个类
|
1.4 端口定义
|
端口名
|
位置
|
描述信息
|
|
8020
|
namenode RPC交互端口
|
|
|
8021
|
JT RPC交互端口
|
|
|
8649
|
查看运行状态的端口
|
|
|
50070
|
dfs.http.address
|
NAMENODE的HTTP服务器和端口
|
|
50010
|
dfs.datanode.address
|
DATANODE控制端口，主要用于DATANODE初始化时向NAMENODE提出注册和应答请求
|
|
50020
|
dfs.datanode.ipc.address
|
DATANODE的RPC服务器地址和端口
|
|
50075
|
dfs.datanode.http.address
|
DATANODE的HTTP服务器和端口
|
|
50090
|
dfs.secondary.http.address
|
辅助DATANODE的HTTP服务器和端口
|
|
50030
|
mapred.job.tracker.http.address
|
JOBTRACKER的HTTP服务器和端口
|
|
50060
|
mapred.task.tracker.http.address
|
TASKTRACKER的HTTP服务器和端口
|
|
|
|
|
1.4.1 与HDFS有关的地址及端口属性
任何一个系统具有内部协调职能、和对外职能服务、以级管控服务三部分组成。内部协调主要用于使系统内部提供一个统一的运营基础，对外职能是系统对外提供的主要服务。管控服务是使管者者对整个系统运行状况有一个整体的了解。
1.4.1.1 Namenode相关端口
(1) fs.default.name
位置：conf/core-site.xml
必须项：是
常用值：hdfs:// [域名或IP地址] :9000
说明：NameNode 主服务器的地址
•必须在所有master及slave上的conf/core-site.xml中设置此项。并且因为Hadoop架构是主master模式，所以在一个集群中的所有master及slave上设置的fs.default.name值应该是唯一一个NameNode 主服务器的地址。
(2) dfs.http.address
位置：conf/hdfs-site.xml
必须项：否
默认值：0.0.0.0:50070
说明：NameNode HTTP状态监视地址
(3) dfs.secondary.http.address
位置：conf/hdfs-site.xml
必须项：否
默认值：0.0.0.0:50090
说明：SecondaryNameNode HTTP状态监视地址
1.4.1.2 Datanode相关端口
(1) dfs.datanode.address
位置：conf/hdfs-site.xml
必须项：否
默认值：0.0.0.0:50010
说明：DataNode 服务的地址
(2) dfs.datanode.ipc.address
位置：conf/hdfs-site.xml
必须项：否
默认值：0.0.0.0:50020
说明：DataNode IPC服务的地址
(3) dfs.datanode.http.address
位置：conf/hdfs-site.xml
必须项：否
默认值：0.0.0.0:50075
说明：DataNode HTTP状态监视地址
1.4.2 与MapReduce 有关的地址及端口属性
1.4.2.1 JOBTACKER相关端口
(1) mapred.job.tracker
位置：conf/mapred-site.xml
必须项：是
常用值：[域名或IP地址] :9001
说明：JobTracker 主服务器地址及端口
•必须在所有master及slave上的conf/mapred-site.xml中设置此项。并且因为Hadoop架构是主master模式，所以在一个集群中的所有master及slave上设置的mapred.job.tracker的值应该是唯一一个JobTracker 主服务器的地址。
(2) mapred.job.tracker.http.address
位置：conf/mapred-site.xml
必须项：否
默认值：0.0.0.0:50030
说明：JobTracker HTTP状态监视地址
1.4.2.2 TASKTACKER相关端口
(1) mapred.task.tracker.report.address
位置：conf/mapred-site.xml
必须项：否
默认值：127.0.0.1:0
说明：提交报告用TaskTracker 服务地址
(2) mapred.task.tracker.http.address
位置：conf/mapred-site.xml
必须项：否
默认值：0.0.0.0:50060
说明：TaskTracker HTTP状态监视地址
2 IO包的分析（84个类）
2.1 IO基础包分析（45个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
AbstractMapWritable
|
Class名与序号的读写抽象实现
|
抽象实现类
|
|
2
|
ArrayFile
|
数组到文件和读写实现
|
继承实现类
|
|
3
|
ArrayWritable
|
对象实例数组与文件间的读写实现
|
继承实现类
|
|
4
|
BinaryComparable
|
字节集的比较抽象类
|
抽象实现类
|
|
5
|
BooleanWritable
|
布尔值的读写
|
抽象实现类
|
|
6
|
BytesWritable
|
字节数组的读写
|
抽象实现类
|
|
7
|
ByteWritable
|
字节的读写
|
抽象实现类
|
|
8
|
Closeable
|
Closable的集合方法的呢称定义
|
接口类
|
|
9
|
CompressedWritable
|
压缩数组的读写
|
抽象实现类
|
|
10
|
DataInputBuffer
|
对内存缓冲区的读操作实现
|
继承实现类
|
|
11
|
DataOutputBuffer
|
对内存缓冲区的写操作实现
|
继承实现类
|
|
12
|
DefaultStringifier
|
缺省的对象转字串，字串转对象
|
继承实现类
|
|
13
|
DoubleWritable
|
双精度浮点数的读写
|
继承实现类
|
|
14
|
FloatWritable
|
浮点数的读写
|
继承实现类
|
|
15
|
GenericWritable
|
通用读写的代理类
|
继承实现类
|
|
16
|
InputBuffer
|
对过滤数据内存缓冲区的读操作实现
|
继承实现类
|
|
17
|
IntWritable
|
整数的读写
|
继承实现类
|
|
18
|
IOUtils
|
IO操作的工具类
|
独立内存类
|
|
19
|
LongWritable
|
长整数的读写
|
继承实现类
|
|
20
|
MapFile
|
键值文件的拷贝
|
独立内存类
|
|
21
|
MapWritable
|
Map集合的读写
|
继承实现类
|
|
22
|
MD5Hash
|
MD5的值的读写
|
继承实现类
|
|
23
|
MultipleIOException
|
多类出错信息的扩展
|
继承实现类
|
|
24
|
NullWritable
|
空读写类
|
继承实现类
|
|
25
|
ObjectWritable
|
对象读写
|
继承实现类
|
|
26
|
OutputBuffer
|
对过滤数据内存缓冲区的写操作实现
|
继承实现类
|
|
27
|
RawComparator
|
原始比较接口定义
|
接口类
|
|
28
|
SequenceFile
|
流式文件读写KV
|
独立内存类
|
|
29
|
SetFile
|
集合文件读写
|
继承实现类
|
|
30
|
SortedMapWritable
|
排序后集合文件读写
|
继承实现类
|
|
31
|
Stringifier
|
方法集定义
|
接口类
|
|
32
|
Text
|
UTF8文本格式读写
|
继承实现类
|
|
33
|
TwoDArrayWritable
|
二维数组的读写
|
继承实现类
|
|
34
|
UTF8
|
UTF8格式读写
|
继承实现类
|
|
35
|
VersionedWritable
|
版本读写
|
继承实现类
|
|
36
|
VersionMismatchException
|
版本出错信息扩展
|
继承实现类
|
|
37
|
VIntWritable
|
可变长整型值读写
|
继承实现类
|
|
38
|
VLongWritable
|
可变长长整型值读写
|
继承实现类
|
|
39
|
Writable
|
多字段读写方法集定义
|
接口类
|
|
40
|
WritableComparable
|
带比较方法多字段读写方法集定义
|
接口类
|
|
41
|
WritableComparator
|
带比较读写的实现类
|
继承实现类
|
|
42
|
WritableFactories
|
读写类实例化的工厂类代理
|
独立内存类
|
|
43
|
WritableFactory
|
生成读写类的接口
|
接口类
|
|
44
|
WritableName
|
根据符号名称找到读写的类型名
|
独立内存类
|
|
45
|
WritableUtils
|
读写类的方法汇总工具类
|
独立内存类
|
2.2 Compress包的分析(16个类)
|
序号
|
类名
|
作用
|
备注
|
|
1
|
CompressionOutputStream
|
压缩数据输出方法集合定义类
|
抽象类
|
|
2
|
CompressorStream
|
压缩数据输出方法实现类
|
继承实现类
|
|
3
|
BlockCompressorStream
|
块数据压缩输出扩展实现类
|
继承实现类
|
|
4
|
CompressionInputStream
|
压缩数据读取方法集合定义类
|
抽象类
|
|
5
|
DecompressorStream
|
解压缩数据读取方法集合实现类
|
继承实现类
|
|
6
|
BlockDecompressorStream
|
块数据解压缩读取扩展实现类
|
继承实现类
|
|
7
|
Compressor
|
压缩数据接口方法定义
|
接口类
|
|
8
|
Decompressor
|
解压缩数据接口方法定义
|
接口类
|
|
9
|
CompressionCodec
|
压缩和解压数据格式接口方法定义
|
接口类
|
|
10
|
BZip2Codec
|
BZIP2压和解压格式实现类
|
继承实现类
|
|
11
|
DefaultCodec
|
缺省压和解压格式实现类
|
继承实现类
|
|
12
|
GzipCodec
|
GZIP压和解压格式实现类
|
继承实现类
|
|
13
|
LzoCodec
|
LZO压和解压格式实现类
|
继承实现类
|
|
14
|
LzopCodec
|
Lzop压和解压格式实现类
|
继承实现类
|
|
15
|
CodecPool
|
压缩和解压类的管理代理类
|
独立内存类
|
|
16
|
CompressionCodecFactory
|
根据文件名找到对应的压缩和解压格式类
|
独立内存类
|
2.3 Compress.bzip2包的分析（4个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
BZip2Constants
|
BZIP2压和解压的固定参数
|
接口类
|
|
2
|
CBZip2InputStream
|
按格式进行流式读取到内存中
|
继承实现类
|
|
3
|
CBZip2OutputStream
|
按格式进行流式写入到内存中组成写入数据集
|
继承实现类
|
|
4
|
CRC
|
加校验的工具类
|
独立内存类
|
2.4 Compres.lzo包的分析（2个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
LzoCompressor
|
LZO格式压缩数据表定义及实现类
|
继承实现类
|
|
2
|
LzoDecompressor
|
LZO格式解压数据表定义及实现类
|
继承实现类
|
2.5 Compress.zlib包的分析（5个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
BuiltInZlibDeflater
|
压缩实现类
|
继承实现类
|
|
2
|
BuiltInZlibInflater
|
解压实现类
|
继承实现类
|
|
3
|
ZlibCompressor
|
Zlib格式压数据表定义及实现类
|
继承实现类
|
|
4
|
ZlibDecompressor
|
Zlib格式解压数据表定义及实现类
|
继承实现类
|
|
5
|
ZlibFactory
|
压或解压实例生成代理类
|
独立内存类
|
2.6 Compress.retry包的分析（4个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
RetryInvocationHandler
|
按重试策略调取压缩方法
|
继承实现类
|
|
2
|
RetryPolicies
|
重试策略集定义类
|
独立内存类
|
|
3
|
RetryPolicy
|
重试策略方法定义
|
接口类
|
|
4
|
RetryProxy
|
重试策略集实例化工具类
|
独立内存类
|
2.7 Serializer包的分析（8个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
Deserializer
|
反序列化接口定义
|
接口类
|
|
2
|
Serializer
|
序列化接口定义
|
接口类
|
|
3
|
DeserializerComparator
|
反序例化实现类
|
继承实现类
|
|
4
|
Serialization
|
序列和反序列实例访问方法集定义
|
接口类
|
|
5
|
JavaSerialization
|
JAVA序列和反序列实例访问方法实现类
|
继承实现类
|
|
6
|
JavaSerializationComparator
|
JAVA反序列实现类
|
继承实现类
|
|
7
|
SerializationFactory
|
序列和反序列实例的创建和组织类
|
继承实现类
|
|
8
|
WritableSerialization
|
读写数据时经序列或反序列转换工具
|
继承实现类
|
3 IPC包的分析（8个类）
3.1 IPC包的简介
3.1.1 基础分析
RPC采用客户机/服务器模式。请求程序就是一个客户机，而服务提供程序就是一个服务器。当我们讨论HDFS的，通信可能发生在：
•Client-NameNode之间，其中NameNode是服务器
•Client-DataNode之间，其中DataNode是服务器
•DataNode-NameNode之间，其中NameNode是服务器
•DataNode-DateNode之间，其中某一个DateNode是服务器，另一个是客户端
如果我们考虑Hadoop的Map/Reduce以后，这些系统间的通信就更复杂了。为了解决这些客户机/服务器之间的通信，Hadoop引入了一个RPC框架。该RPC框架利用的Java的反射能力，避免了某些RPC解决方案中需要根据某种接口语言（如CORBA的IDL）生成存根和框架的问题。但是，该RPC框架要求调用的参数和返回结果必须是Java的基本类型，String和Writable接口的实现类，以及元素为以上类型的数组。
既然是RPC，当然就有客户端和服务器，当然，org.apache.hadoop.rpc也就有了类Client和类Server。但是类Server是一个抽象类，类RPC封装了Server，利用反射，把某个对象的方法开放出来，变成RPC中的服务器。
3.1.2 应用分析
由于Client可能和多个Server通信，典型的一次HDFS读，需要和NameNode打交道，也需要和某个/某些DataNode通信。这就意味着某一个Client需要维护多个连接。同时，为了减少不必要的连接，现在Client的做法是拿ConnectionId（图中最右侧）来做为Connection的ID。ConnectionId包括一个InetSocketAddress（IP地址+端口号或主机名+端口号）对象和一个用户信息对象。这就是说，同一个用户到同一个InetSocketAddress的通信将共享同一个连接。
3.2 基础包的分析（5个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
Client
|
通讯客户端实现类
|
独立内存类
|
|
2
|
RemoteException
|
IO出错信息类型扩展
|
继承实现类
|
|
3
|
RPC
|
根据类符号调用相应的类方法
|
独立内存类
|
|
4
|
Server
|
通讯服务器实现
|
抽象类
|
|
5
|
VersionedProtocol
|
根据通讯客户端参数来返回服务端协议版本
|
接口类
|
3.3 Metrics包的分析（7个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
RpcMetrics
|
RPC调用对象时的信息记录表
|
继承实现类
|
|
2
|
RpcMgt
|
RPC信息表填充的实现类
|
继承实现类
|
|
3
|
RpcMgtMBean
|
RPC运行时的各信息应用方法定义
|
接口类
|
4 HDFS包的分析（106个类）
4.2 基础包的分析（6个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
ChecksumDistributedFileSystem
|
分布式文件系统校验
|
继承实现类
|
|
2
|
DFSClient
|
客户端访问分布式文件系统的代理实现类,代理公司的对外服务，生产厂的各个包含。
|
独立内存类
|
|
3
|
DFSUtil
|
校验路径的分隔符存在有(: /)
|
独立内存类
|
|
4
|
DistributedFileSystem
|
分布式文件系统功能的实现
|
继承实现类
|
|
5
|
HftpFileSystem
|
采用HTTP协议来访问HDFS文件
|
继承实现类
|
|
6
|
HsftpFileSystem
|
采用HTTPs协议来访问HDFS文件
|
继承实现类
|
4.3 protocol包的分析（13个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
AlreadyBeingCreatedException
|
文件已存在的异常信息抛出扩展
|
继承实现类
|
|
2
|
Block
|
Bolck内存基本块结构定义与读写访问
|
继承实现类
|
|
3
|
BlockListAsLongs
|
Bolck块的索引构成数组
|
独立内存类
|
|
4
|
ClientDatanodeProtocol
|
Datanode的协议结构的字段、值及方法
|
接口类
|
|
5
|
ClientProtocol
|
客户协议方法集定义
|
接口类
|
|
6
|
DatanodeID
|
DatanodeID组成部分的定义及访问读写类
|
继承实现类
|
|
7
|
DatanodeInfo
|
Datanode状态信息结构定义及访问读写类
|
继承实现类
|
|
8
|
DataTransferProtocol
|
数据传输状态或方法值定义
|
接口类
|
|
9
|
FSConstants
|
HDFS文件系统的规则值定义
|
接口类
|
|
10
|
LocatedBlock
|
已定位到的块的说明信息表的定义及读写
|
继承实现类
|
|
11
|
LocatedBlocks
|
一组数据块及文件长度说明信息表的定义及读写
|
继承实现类
|
|
12
|
QuotaExceededException
|
引用出错信息扩展
|
继承实现类
|
|
13
|
UnregisteredDatanodeException
|
未在索引块中定义的数据块中的出错信息定义
|
继承实现类
|
4.4 server.balancer包的分析（1个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
Balancer
|
负载均衡进程，各节点基于他来进行任务量的平衡
|
独立内存类
|
4.5 server.common包的分析（12个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
GenerationStamp
|
生成时间戳的功能及读写访问类
|
继承实现类
|
|
2
|
HdfsConstants
|
Hdfs常量字段及取值的定义
|
接口类
|
|
3
|
InconsistentFSStateException
|
文件状态检查出错提示信息
|
继承实现类
|
|
4
|
IncorrectVersionException
|
版本不正确检查时提示信息
|
继承实现类
|
|
5
|
Storage
|
内存中以扩展表记录方式记录当前namenode索引信息及状态信息（文件是否在打开）
|
继承实现类
|
|
6
|
StorageInfo
|
内存中文件索引信息基本表
|
独立内存类
|
|
7
|
Upgradeable
|
对象升级接口方法集定义
|
接口类
|
|
8
|
UpgradeManager
|
管理职责的定义
|
独立内存类、抽象
|
|
9
|
UpgradeObject
|
可升级对象的接口方法实现
|
继承实现类
|
|
10
|
UpgradeObjectCollection
|
可升级对象的集合容器实现
|
独立内存类
|
|
11
|
UpgradeStatusReport
|
升级过程状态信息表定义
|
继承实现类
|
|
12
|
Util
|
取系统时间的实现
|
独立内存类
|
4.6 server.datanode包的分析（14个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
BlockMetadataHeader
|
数据块头部结构定义及实现
|
独立内存类
|
|
2
|
BlockReceiver
|
数据块接收容器信息结构及实现写入到盘中
|
继承实现类
|
|
3
|
BlockSender
|
从磁盘中读数据块并发送到相应接收者
|
继承实现类
|
|
4
|
BlockTransferThrottler
|
块传送时的调节参数配置表
|
独立内存类
|
|
5
|
DataBlockScanner
|
数据块的扫描工具实现
|
继承实现类
|
|
6
|
DataNode
|
数据块的核心管理器
|
继承实现类
|
|
7
|
DatanodeBlockInfo
|
数据块的基本信息维护表
|
独立内存类
|
|
8
|
DataStorage
|
数据存贮文件信息的定义与实现
|
继承实现类
|
|
9
|
DataXceiver
|
与数据读写通讯服务器的客户端实现
|
继承实现类
|
|
10
|
DataXceiverServer
|
读写的通讯服务器实现
|
继承实现类
|
|
11
|
FSDataset
|
数据块集合定义与实现
|
继承实现类
|
|
12
|
FSDatasetInterface
|
数据块操作的职能定义
|
接口类
|
|
13
|
UpgradeManagerDatanode
|
升级数据块管理者的实现
|
继承实现类
|
|
14
|
UpgradeObjectDatanode
|
升级数据块对象的实现
|
继承实现类
|
4.7 server.datanode.metrics包的分析（4个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
DataNodeMetrics
|
数据块的量度信息输出实现类
|
继承实现类
|
|
2
|
DataNodeStatistics
|
数据块统计功能实现类
|
继承实现类
|
|
3
|
DataNodeStatisticsMBean
|
统计职能的定义
|
接口类
|
|
4
|
FSDatasetMBean
|
数据集的职能定义
|
接口类
|
4.8 server.namenode包的分析（40个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
BlocksMap
|
数据块的索引信息定义及索引文件定义
|
独立内存类
|
|
2
|
CheckpointSignature
|
存贮信息的签名信息表定义
|
继承实现类
|
|
3
|
CorruptReplicasMap
|
损坏块的复制集合定义及实现
|
独立内存类
|
|
4
|
DatanodeDescriptor
|
数据节点的状态信息定义及实现
|
继承实现类
|
|
5
|
DfsServlet
|
Web方式操作DFS的代理接口
|
继承实现类
|
|
6
|
EditLogInputStream
|
读取日志数据的类方法定义及实现
|
继承实现类
|
|
7
|
EditLogOutputStream
|
写日志数据的类方法定义及实现
|
继承实现类
|
|
8
|
FileChecksumServlets
|
文件较验web操作命令的代理实现
|
继承实现类
|
|
9
|
FileDataServlet
|
文件数据web操作命令的代理实现
|
继承实现类
|
|
10
|
FsckServlet
|
文件系统检查web操作命令的代理实现
|
继承实现类
|
|
11
|
FSDirectory
|
文件目录结构的定义及实现
|
继承实现类
|
|
12
|
FSEditLog
|
文件系统日志表的定义
|
独立内存类
|
|
13
|
FSImage
|
文件系统的目录、文件、数据的索引及关系信息定义
|
继承实现类
|
|
14
|
FSNamesystem
|
为数据节点命名的信息结构定义
|
继承实现类
|
|
15
|
GetImageServlet
|
文件索引信息获取web操作命令的代理实现
|
继承实现类
|
|
16
|
Host2NodesMap
|
数据节点表集合的管理实现类
|
继承实现类
|
|
17
|
INode
|
节点基础信息结构定义
|
继承实现类
|
|
18
|
INodeDirectory
|
目录节点信息结构定义
|
继承实现类
|
|
19
|
INodeDirectoryWithQuota
|
带标记录的目录节点信息结构定义
|
继承实现类
|
|
20
|
INodeFile
|
文件节点信息结构定义
|
继承实现类
|
|
21
|
INodeFileUnderConstruction
|
在创建之下的文件节点信息结构定义
|
继承实现类
|
|
22
|
JspHelper
|
JSP文件生成工具
|
独立内存类
|
|
23
|
LeaseExpiredException
|
契约到期出错提示信息扩展
|
继承实现类
|
|
24
|
LeaseManager
|
契约信息结构定义及实现
|
独立内存类
|
|
25
|
ListPathsServlet
|
文件目录信息web操作命令的代理实现
|
继承实现类
|
|
26
|
NameNode
|
名称节点的核心服务器类
|
继承实现类
|
|
27
|
NamenodeFsck
|
名称节点的系统检测类
|
独立内存类
|
|
28
|
NotReplicatedYetException
|
未完成复制的出错提示信息扩展
|
继承实现类
|
|
29
|
PendingReplicationBlocks
|
正在复制数据块的信息表定义
|
独立内存类
|
|
30
|
PermissionChecker
|
权限检查表结构定义及实现
|
独立内存类
|
|
31
|
ReplicationTargetChooser
|
数据块复制策略设定
|
独立内存类
|
|
32
|
SafeModeException
|
安全模式下的提示信息扩展类定义
|
继承实现类
|
|
33
|
SecondaryNameNode
|
名称节点的热备节点核心线程类
|
继承实现类
|
|
34
|
SerialNumberManager
|
为用户或组设定基于名的一个编号关系
|
独立内存类
|
|
35
|
StreamFile
|
数据块流式读取web操作命令的代理实现
|
继承实现类
|
|
36
|
StringBytesWritable
|
字串转utf8字节工具
|
继承实现类
|
|
37
|
TransferFsImage
|
通过http方式来获取文件的镜像信息
|
继承实现类
|
|
38
|
UnderReplicatedBlocks
|
复制完成后的块信息表定义
|
继承实现类
|
|
39
|
UpgradeManagerNamenode
|
升级名称节点的管理信息
|
继承实现类
|
|
40
|
UpgradeObjectNamenode
|
升级名称节点的对象信息
|
继承实现类
|
4.9 server.namenode.metrics包的分析（5个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
FSNamesystemMBean
|
取名称节点的文件状态信息
|
接口类
|
|
2
|
FSNamesystemMetrics
|
名称节点的文件命名度量信息设定
|
继承实现类
|
|
3
|
NameNodeMetrics
|
名称节点的自身度量信息设定
|
继承实现类
|
|
4
|
NameNodeStatistics
|
名称节点的统计信息读取
|
继承实现类
|
|
5
|
NameNodeStatisticsMBean
|
名称节点的统计信息方法集的定义
|
接口类
|
4.10 server.protocol包的分析（11个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
BlockCommand
|
数据块命令定义及实现类
|
继承实现类
|
|
2
|
BlockMetaDataInfo
|
数据块的元数据信息定义及实现
|
继承实现类
|
|
3
|
BlocksWithLocations
|
带位置的块信息的读写
|
继承实现类
|
|
4
|
DatanodeCommand
|
数据节点基本信息定义及实现
|
继承实现类
|
|
5
|
DatanodeProtocol
|
数据节点的操作方法和基础配置信息定义
|
接口类
|
|
6
|
DatanodeRegistration
|
数据节点的注册信息读写方法定义及实现
|
独立内存类
|
|
7
|
DisallowedDatanodeException
|
与名称节点通讯出错的提示信息扩展
|
继承实现类
|
|
8
|
InterDatanodeProtocol
|
升级数据块信息的方法定义
|
接口类
|
|
9
|
NamenodeProtocol
|
名称节点方法集定义
|
接口类
|
|
10
|
NamespaceInfo
|
返回数据节点与名称节点关联信息定义
|
继承实现类
|
|
11
|
UpgradeCommand
|
升级数据块命名实现
|
继承实现类
|
4.11 tools包的分析（2个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
DFSAdmin
|
管理员命令的实现
|
继承实现类
|
|
2
|
DFSck
|
文件系统检查命令的实现
|
继承实现类
|
5 UTIL包的分析（30个类）
|
序号
|
名称
|
作用
|
备注
|
|
1
|
Daemon
|
各种线程实例的集合存放处
|
|
|
2
|
DataChecksum
|
数据检查和统计类
|
|
|
3
|
DiskChecker
|
文件或目录是否在存检查
|
|
|
4
|
GenericOptionsParser
|
操作命令正确性检查器
|
|
|
5
|
GenericsUtil
|
取类型和数组转换
|
|
|
6
|
HeapSort
|
堆栈排序
|
|
|
7
|
HostsFileReader
|
宿主机上文件读取
|
|
|
8
|
IndexedSortable
|
索引排序基础端接口
|
接口
|
|
9
|
IndexedSorter
|
索引排序客户端接口
|
接口
|
|
10
|
LineReader
|
读取一行到内存中
|
|
|
11
|
MergeSort
|
合并后排序
|
|
|
12
|
NativeCodeLoader
|
系统程序加载类程序
|
|
|
13
|
PlatformName
|
取平台名称
|
|
|
14
|
PrintJarMainClass
|
列出jar文件中的类
|
|
|
15
|
PriorityQueue
|
队列优先级设置
|
|
|
16
|
ProcfsBasedProcessTree
|
进程树
|
|
|
17
|
ProgramDriver
|
有main类的驱动
|
|
|
18
|
Progress
|
进度计算
|
|
|
19
|
Progressable
|
进度方法接口
|
接口
|
|
20
|
QuickSort
|
快速排序
|
|
|
21
|
ReflectionUtils
|
类属性提取
|
|
|
22
|
RunJar
|
运行JAR包
|
|
|
23
|
ServletUtil
|
Servlet的工具类
|
|
|
24
|
Shell
|
运行操作系统命令类
|
|
|
25
|
StringUtils
|
字串处理类
|
|
|
26
|
Tool
|
Run方法接口
|
接口
|
|
27
|
ToolRunner
|
Run方法驱动
|
|
|
28
|
UTF8ByteArrayUtils
|
Utf8的字节数组比较
|
|
|
29
|
VersionInfo
|
系统版本信息
|
|
|
30
|
XMLUtils
|
XML解析类
|
|
6 TOOLS包的分析（3个类）
客户端用的工具命令
|
序号
|
类名
|
作用
|
备注
|
|
1
|
DistCp
|
不同文件之间位移
|
|
|
2
|
HadoopArchives
|
Hadoop文件打包
|
|
|
3
|
Logalyzer
|
日志分析
|
|
7 SERCURITY包的分析（3个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
AccessControlException
|
权限检查提示信息
|
|
|
2
|
UnixUserGroupInformation
|
用户组信息unix系统上的读取实现
|
|
|
3
|
UserGroupInformation
|
用户组信息的存贮类和形式类
|
|
8 RECORD包的分析（50个类）
中介类是继承了接口的,中介类有三种（1）有委托中介类，即内部包含另一个存放地，此类只是规则中介;（2）无委托中介类，即自身就是一个存贮类；（3）控制委托中介类，即参数中介类,由控制提供该类具体的空间。
8.1 自身包下（13个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
BinaryRecordInput
|
类型字段的读取
|
有委托中介类
|
|
2
|
BinaryRecordOutput
|
类型字段的写入
|
有委托中介类
|
|
3
|
Buffer
|
字节集存放类
|
无委手中介类
|
|
4
|
CsvRecordInput
|
推回类型方式字段读取
|
有委托中介类，推回输入流PushbackInputStream和PushbackReader带有一个推回缓冲区
|
|
5
|
CsvRecordOutput
|
推回类型方式字段写入
|
有委托中介类
|
|
6
|
Index
|
索引接口
|
接口类
|
|
7
|
Record
|
资源record方式读取抽象
|
抽象参数中介类，控制委托
|
|
8
|
RecordComparator
|
抽象类
|
参数委托中介类
|
|
9
|
RecordInput
|
原子读方法集
|
接口类
|
|
10
|
RecordOutput
|
原字写方法集
|
接口类
|
|
11
|
Utils
|
字串转XML，字串转字节等
|
独立功能类,基本内存类
|
|
12
|
XmlRecordInput
|
XML的记录方式读
|
有委托中介类
|
|
13
|
XmlRecordOutput
|
XML的记录方式写
|
有委托中介类
|
8.2 compiler包（21个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
CGenerator
|
C语言代码生成
|
继承实现类
|
|
2
|
CodeBuffer
|
生成代码字串
|
独立内存类
|
|
3
|
CodeGenerator
|
代码生成方法抽象类
|
抽象类
|
|
4
|
CppGenerator
|
Cpp语言代码生成
|
继承实现类
|
|
5
|
JavaGenerator
|
JAVA语言代码生成
|
继承实现类
|
|
6
|
Consts
|
常量定义类
|
独立内存类
|
|
7
|
JBoolean
|
Boolean类型代码的描述文本生成
|
类继承实现类
|
|
8
|
JBuffer
|
buffer类型代码的描述文本生成
|
类继承实现类
|
|
9
|
JByte
|
byte类型代码的描述文本生成
|
类继承实现类
|
|
10
|
JCompType
|
comp类型代码的描述文本生成
|
类继承实现类
|
|
11
|
JDouble
|
double类型代码的描述文本生成
|
继承实现类
|
|
12
|
JField
|
名和类型键值对内存类
|
独立内存类
|
|
13
|
JFile
|
File名的定义类
|
独立内存类
|
|
14
|
JFloat
|
float类型代码的描述文本生成
|
继承实现类
|
|
15
|
JInt
|
int类型代码的描述文本生成
|
继承实现类
|
|
16
|
JLong
|
long类型代码的描述文本生成
|
继承实现类
|
|
17
|
JMap
|
map类型代码的描述文本生成
|
继承实现类
|
|
18
|
JRecord
|
Record类型代码的描述文本生成
|
继承实现类
|
|
19
|
JString
|
string类型代码的描述文本生成
|
继承实现类
|
|
20
|
JType
|
基本属性定义类
|
抽象定义类
|
|
21
|
JVector
|
Vector类型代码的描述文本生成
|
继承实现类
|
8.3 compiler.ant包（1个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
RccTask
|
Ant文件定义及运行类
|
继承实现类
|
8.4 compiler.generate包（8个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
ParseException
|
分析出错时的各类提示信息
|
继承实现类
|
|
2
|
Rcc
|
Rcc工具类
|
继承接口实现类
|
|
3
|
RccConstants
|
Rcc常量定义
|
独立内存类
|
|
4
|
RccTokenManager
|
JJ模板实现类
|
常量继承实现类
|
|
5
|
SimpleCharStream
|
简单字符流工具类
|
独立内存类
|
|
6
|
Token
|
间定义类
|
独立内存类
|
|
7
|
TokenMgrError
|
错误类型扩展定义类
|
继承实现类
|
|
8
|
rcc.jj
|
|
|
8.5 meta包（7个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
FieldTypeInfo
|
字段类型定义类
|
独立内存类
|
|
2
|
MapTypeID
|
键值二列表定义类
|
继承实现类
|
|
3
|
RecordTypeInfo
|
记录类型定义类
|
继承实现类
|
|
4
|
StructTypeID
|
结构类型定义类
|
继承实现类
|
|
5
|
TypeID
|
字节与类型定义类
|
独立内存类
|
|
6
|
Utils
|
根据类型读取相应值
|
独立内存类
|
|
7
|
VectorTypeID
|
数组类型定义类
|
继承实现类
|
9 NET包的分析（13个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
CachedDNSToSwitchMapping
|
内存DNS信息对
|
接口继承实现类
|
|
2
|
DNS
|
DNS功能实现类
|
独立内存类
|
|
3
|
DNSToSwitchMapping
|
解析DNS接口定义
|
接口类
|
|
4
|
NetUtils
|
网络功能调用类
|
独立内存类
|
|
5
|
NetworkTopology
|
网络拓朴关系类
|
独立内存类
|
|
6
|
Node
|
节点接口定义
|
接口类
|
|
7
|
NodeBase
|
节点接口实现类
|
接口继承实现类
|
|
8
|
ScriptBasedMapping
|
从脚本文件中读DNS信息
|
继承实现类
|
|
9
|
SocketInputStream
|
基于套接字的读
|
中介委托类
|
|
10
|
SocketIOWithTimeout
|
时间设置类
|
独立内存类
|
|
11
|
SocketOutputStream
|
基于套接字的写
|
中介委托类
|
|
12
|
SocksSocketFactory
|
套接字接口实现类
|
中介委托类
|
|
13
|
StandardSocketFactory
|
标准套接字实现类
|
继承实现类
|
10 Metrics包的分析（23个类）
10.1 自身类的分析（6个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
ContextFactory
|
上下文数据采集类
|
独立内存类
|
|
2
|
MetricsContext
|
度量数据访问接口
|
接口类
|
|
3
|
MetricsException
|
度量出错信息类型扩展
|
继承实现类（纵向值扩展）
|
|
4
|
MetricsRecord
|
度量记录格式定义类
|
接口类
|
|
5
|
MetricsUtil
|
度量上下文访问类
|
对外访问独立类
|
|
6
|
Updater
|
度量上下文更新方法
|
接口类
|
10.2 Metrics.file包的分析（1个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
FileContext
|
将度量信息写到文件中
|
继承实现类
|
10.3 Metrics.gangli包的分析（2个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
GangliaContext
|
将度量信息写到map中
|
继承实现类
|
10.4 Metrics.jvm包的分析（2个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
EventCounter
|
四种事件发生计数器
|
继承实现类
|
|
2
|
JvmMetrics
|
虚拟机度量信息管理
|
继承实现类
|
10.5 Metrics.spi包的分析（7个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
AbstractMetricsContext
|
度量信息采集实现类
|
抽象继承实现类
|
|
2
|
MetricsRecordImpl
|
度量信息格式化记录类
|
继承实现类
|
|
3
|
MetricValue
|
度量值总量的定义类
|
独立内存类
|
|
4
|
NullContext
|
缺省信息采集实现类
|
继承实现类
|
|
5
|
NullContextWithUpdateThread
|
带采集周期的实现类
|
继承实现类
|
|
6
|
OutputRecord
|
度量信息的VO类
|
独立内存类
|
|
7
|
Util
|
采集目的地的指向类
|
独立内存类
|
10.6 Metrics.util包的分析（5个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
MBeanUtil
|
度量服务对象的管理
|
独立内存类
|
|
2
|
MetricsIntValue
|
度量信息的值是整型的类
|
独立内存类
|
|
3
|
MetricsLongValue
|
度量信息的值是长整型的类
|
独立内存类
|
|
4
|
MetricsTimeVaryingInt
|
度量信息的值是随时间变化的整型的类
|
独立内存类
|
|
5
|
MetricsTimeVaryingRate
|
度量信息的值随时间变化的频率
|
独立内存类
|
11 LOG包的分析（1个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
LogLevel
|
日志信息按类型输出管理
|
独立内存类
|
12 HTTP包分析（3个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
FilterContainer
|
过滤器的填加方法
|
接口类
|
|
2
|
FilterInitializer
|
过滤器集合的设置方法
|
接口类
|
|
3
|
HttpServer
|
Jetty通讯容器工具
|
独立内存类
|
13 Conf包的分析（3个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
Configurable
|
配置信息读写方法集合
|
接口类
|
|
2
|
Configured
|
配置信息读写实现类
|
继承实现类
|
|
3
|
Configuration
|
配置信息的VO类
|
独立内存类
|
14 FileCache包的分析（3个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
Configurable
|
配置信息读写方法集合
|
接口类
|
|
2
|
Configured
|
配置信息读写实现类
|
继承实现类
|
|
3
|
Configuration
|
配置信息的VO类
|
独立内存类
|
15 FS包的分析（69个类）
15.1 自身包的分析（36个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
BlockLocation
|
存贮块数据的空间索引信息
|
继承实现类
|
|
2
|
BufferedFSInputStream
|
从buffer内存中读取数据到字节数组中
|
继承实现类
|
|
3
|
ChecksumException
|
出错信息扩展类
|
继承实现类
|
|
4
|
ChecksumFileSystem
|
带校验文件的创建增删操作
|
继承实现类
|
|
5
|
ContentSummary
|
文件或目录统计信息数据类
|
继承实现类
|
|
6
|
DF
|
磁盘空间统计信息访问类
|
继承实现类
|
|
7
|
DU
|
磁盘空间统计信息访问类
|
继承实现类
|
|
8
|
FileChecksum
|
文件校验信息方法定义类
|
抽象继承实现类
|
|
9
|
FileStatus
|
文件当前状况结构定义及读写数据类
|
继承实现类
|
|
10
|
FileSystem
|
文件功能集的抽象实现实义类
|
继承实现类
|
|
11
|
FileUtil
|
文件操作的组织代理类。
|
独立内存类
|
|
12
|
FilterFileSystem
|
文件系统过滤实现类
|
继承实现类
|
|
13
|
FSDataInputStream
|
文件数据读入到用户内存定义空间中
|
继承实现类
|
|
14
|
FSDataOutputStream
|
用户内存数据写入到文件中
|
继承实现类
|
|
15
|
FSError
|
ERRO信息扩展类
|
继承实现类
|
|
16
|
FSInputChecker
|
带校验数据读入类
|
继承实现类
|
|
17
|
FSInputStream
|
从FS中读取数据
|
继承实现类
|
|
18
|
FSOutputSummer
|
写入数据到FS中
|
继承实现类
|
|
19
|
FsShell
|
FS功能的集合代理类
|
继承包含委托执行类实现
|
|
20
|
FsShellPermissions
|
文件操作权限检查
|
独立内存类
|
|
21
|
FsUrlConnection
|
远程FS文件的读取行为连接类
|
继承实现类
|
|
22
|
FsUrlStreamHandler
|
远程FS文件的读取行为连接驱动类
|
继承实现类
|
|
23
|
FsUrlStreamHandlerFactory
|
连接驱动类的工厂类
|
继承实现类
|
|
24
|
GlobExpander
|
全局扩展类
|
独立内存类
|
|
25
|
HarFileSystem
|
FS压缩文件操作实现类
|
继承实现类
|
|
26
|
InMemoryFileSystem
|
内存文件系统的操作实现类
|
继承实现类
|
|
27
|
LocalDirAllocator
|
本地目录文件块操作类
|
独立内存类
|
|
28
|
LocalFileSystem
|
本地文件系统操作类
|
继承实现类
|
|
29
|
MD5MD5CRC32FileChecksum
|
MD5格式的文件较验
|
继承实现类
|
|
30
|
Path
|
FS文件路径信息操作类
|
继承实现类
|
|
31
|
PathFilter
|
FS文件路径过滤
|
接口类
|
|
32
|
PositionedReadable
|
指定位置读方法定义
|
接口类
|
|
33
|
RawLocalFileSystem
|
无较验本地文件操作
|
继承实现类
|
|
34
|
Seekable
|
偏移地址方法定义
|
接口类
|
|
35
|
Syncable
|
异步操作方法定义
|
接口类
|
|
36
|
Trash
|
文件移动到垃圾箱操作
|
独立内存类
|
15.2 Fs.ftp包的分析（3个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
FTPException
|
FTP出错信息扩展
|
独立内存继承类
|
|
2
|
FTPFileSystem
|
FTP远程文件在HDFS存贮中的创建
|
继承实现类
|
|
3
|
FTPInputStream
|
FTP文件的读入后并写入到FS中
|
继承实现类
|
15.3 Fs. kfs包的分析（5个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
IFSImpl
|
KFS的方法集合
|
接口类
|
|
2
|
KFSImpl
|
KFS的方法实现类
|
继承实现类
|
|
3
|
KFSInputStream
|
从KFS读取数据写入到FS
|
继承实现类
|
|
4
|
KFSOutputStream
|
从FS读取数据写入到KFS
|
继承实现类
|
|
5
|
KosmosFileSystem
|
FKS的系统功能中介类
|
继承实现类
|
15.4 Fs.s3包的分析（12个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
Block
|
块记录表定义（序号，度量）
|
独立内存类
|
|
2
|
FileSystemStore
|
FS系统读写的接口
|
接口类
|
|
3
|
INode
|
目录或文件的节点定义类
|
独立内存类
|
|
4
|
Jets3tFileSystemStore
|
S3文件系统的访问接口
|
继承实现类
|
|
5
|
MigrationTool
|
S3文件数据的迁移工具
|
继承实现类
|
|
6
|
S3Credentials
|
S3凭证验证
|
独立内存类
|
|
7
|
S3Exception
|
S3出错信息扩展
|
继承实现类
|
|
8
|
S3FileSystem
|
S3文件系统的统一代理使者
|
继承实现类
|
|
9
|
S3FileSystemException
|
S3文件操作时出错信息扩展
|
继承实现类
|
|
10
|
S3InputStream
|
S3文件读入到FS中
|
继承实现类
|
|
11
|
S3OutputStream
|
FS文件写入到S3中
|
继承实现类
|
|
12
|
VersionMismatchException
|
版本出错信息扩展
|
继承实现类
|
15.5 Fs.s3native包的分析（5个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
FileMetadata
|
文件元数据（文件名、长度、状态）定义类
|
独立内存类
|
|
2
|
Jets3tNativeFileSystemStore
|
S3文件本地访部问实现类
|
继承实现类
|
|
3
|
NativeFileSystemStore
|
S3文件读写方法集定义
|
接口类
|
|
4
|
NativeS3FileSystem
|
S3文件读写到本地实现类
|
继承实现类
|
|
5
|
PartialListing
|
组成部分定义表
|
独立内存类
|
15.6 Fs.permission包的分析（4个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
AccessControlException
|
出错信息的扩展，具有的记录定义
|
继承实现类
|
|
2
|
FsAction
|
行为枚举键值类
|
独立内存类
|
|
3
|
FsPermission
|
文件访问行为权限信息记录的中介类
|
继承实现类
|
|
4
|
PermissionStatus
|
文件访问的用户和组信息记录的中介类
|
继承实现类
|
15.7 Fs.shell包的分析（4个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
Command
|
命令执行代理类
|
继承实现类
|
|
2
|
CommandFormat
|
命令格式检查类
|
独立内存类
|
|
3
|
CommandUtils
|
命令语句生成工具类
|
独立内存类
|
|
4
|
Count
|
数量统计功能类
|
继承实现类
|
16 MapRed包的分析（211个类）
16.1 基础类包的分析（135个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
BasicTypeSorterBase
|
基本k-v的元数据信息定义类（K数量、度量等）
|
继承实现类
|
|
2
|
BufferSorter
|
排序方法接口定义
|
扩展接口类
|
|
3
|
Child
|
启动子线程管理类
|
独立内存类
|
|
4
|
ClusterStatus
|
MR集群的总量定义类
|
继承实现类
|
|
5
|
CommitTaskAction
|
置任务状态为确认
|
继承实现类
|
|
6
|
CompletedJobStatusStore
|
已完成作业的事后管理类
|
线程实现类
|
|
7
|
Counters
|
作业数量管理器
|
继承实现类
|
|
8
|
DefaultJobHistoryParser
|
作业历史文件读写
|
独立内存类
|
|
9
|
DisallowedTaskTrackerException
|
不充许任务者与作业连接时出错信息扩展
|
继承实现类
|
|
10
|
EagerTaskInitializationListener
|
作业创建事件发生时的监听类，生成大量任务线程
|
继承实现类
|
|
11
|
FileAlreadyExistsException
|
文件已存在出错信息扩展类
|
继承实现类
|
|
12
|
FileInputFormat
|
从文件中按KV格式的信息定义
|
继承实现类
|
|
13
|
FileOutputCommitter
|
指定输出到文件的确认
|
继承实现类
|
|
14
|
FileOutputFormat
|
从KV格式读取信息输出到文件的规则信息定义
|
继承实现类
|
|
15
|
FileSplit
|
文件分割器
|
继承实现类
|
|
16
|
HeartbeatResponse
|
心跳信息的定义类
|
继承实现类
|
|
17
|
HistoryViewer
|
Job历史文件的查看
|
独立内存类
|
|
18
|
ID
|
ID记录的访问
|
继承实现类
|
|
19
|
IFile
|
文件的读取与生成代理组织
|
独立内存类
|
|
20
|
IFileInputStream
|
带校验的文件读取执行
|
继承实现类
|
|
21
|
IFileOutputStream
|
带校验的文件写入执行
|
继承实现类
|
|
22
|
IndexCache
|
索引缓冲区的创建与访问
|
独立内存类
|
|
23
|
IndexRecord
|
索引记录格式定义类
|
独立内存类
|
|
24
|
InputFormat
|
切割份数和读取记录的方法定义
|
接口类
|
|
25
|
InputSplit
|
切割度量和切割位置的方法扩展
|
接口扩展类
|
|
26
|
InterTrackerProtocol
|
内部任务协议方法定义
|
接口扩展类
|
|
27
|
InvalidFileTypeException
|
非法文件类型错误信息扩展
|
继承实现类
|
|
28
|
InvalidInputException
|
无效输入类型错误信息扩展
|
继承实现类
|
|
29
|
InvalidJobConfException
|
JOB配置出错信息扩展
|
继承实现类
|
|
30
|
IsolationRunner
|
独立执行某个作业的程序
|
独立可执行类
|
|
31
|
JobChangeEvent
|
作业事件定义的抽象类
|
抽象类
|
|
32
|
JobClient
|
作业的逻辑策略执行管理类，是服务的注册入口
|
继承实现类
|
|
33
|
JobConf
|
MR的输入、输出、规则的值配置定义和存贮类
|
继承实现类
|
|
34
|
JobConfigurable
|
MR配置文件的接口方法定义
|
接口类
|
|
35
|
JobContext
|
作业和进程的关系定义类
|
独立内存类
|
|
36
|
JobEndNotifier
|
任务结束事件的监测和发送管理器
|
独立内存类
|
|
37
|
JobHistory
|
作业历史记录格式定义与记录读取和写入类
|
独立内存类
|
|
38
|
JobID
|
JOBID的定义类
|
继承扩展类
|
|
39
|
JobInProgress
|
作业和进程的所有信息的定义类
|
独立内存类
|
|
40
|
JobInProgressListener
|
作业相关进程的临听事件定义
|
抽象类
|
|
41
|
JobPriority
|
作业优先级符号枚举定义
|
枚举类
|
|
42
|
JobProfile
|
作业基本信息表定义类
|
继承扩展类
|
|
43
|
JobQueueClient
|
列出正在执行的作业队列的工具类
|
继承扩展类
|
|
44
|
JobQueueInfo
|
作业队列信息表的定义管理类
|
继承实现类
|
|
45
|
JobQueueJobInProgressListener
|
作业队例的所有作业的事件监听器定义
|
继承实现类
|
|
46
|
JobQueueTaskScheduler
|
作业队列关联的任务执行计划管理类
|
继承实现类
|
|
47
|
JobShell
|
作业的命令行执行工具
|
继承实现类
|
|
48
|
JobStatus
|
作业状态表定义管理类
|
继承实现类
|
|
49
|
JobStatusChangeEvent
|
作业状态事件变化前后表定义
|
继承实现类
|
|
50
|
JobSubmissionProtocol
|
作业的各类查询命令和状态控制命令集合
|
接口定义类
|
|
51
|
JobTracker
|
作业命令的实现
|
继承实现类
|
|
52
|
JobTrackerInstrumentation
|
作业命令执行状态方法定义（提交、完成）
|
独立内存类
|
|
53
|
JobTrackerMetricsInst
|
作业命令执行状态方法的计数实现
|
继承实现类
|
|
54
|
JSPUtil
|
处理JSP提交指令和生成JSP格式的报告
|
独立内存类
|
|
55
|
JVMId
|
虚拟机ID信息表定义及访问方式实现
|
继承实现类
|
|
56
|
JvmManager
|
虚拟机与作业的MR 任务关系管理
|
独立内存类
|
|
57
|
JvmTask
|
任务与虚拟机关系表定义及管理
|
继承实现类
|
|
58
|
KeyValueLineRecordReader
|
以行为单位的KV表的定义及KV记录的生成
|
继承实现类
|
|
59
|
KeyValueTextInputFormat
|
文本文件按行方式读取到内存中写入到KV记录表中
|
继承实现类
|
|
60
|
KillJobAction
|
被kill的作业的记录表定义
|
继承实现类
|
|
61
|
KillTaskAction
|
被kill的任务的记录表定义
|
继承实现类
|
|
62
|
LaunchTaskAction
|
已调装的任务的记录表定义
|
继承实现类
|
|
63
|
LimitTasksPerJobTaskScheduler
|
每作业最少任务计划表定义
|
继承实现类
|
|
64
|
LineRecordReader
|
行记录表的记录创建与读取
|
继承实现类
|
|
65
|
LocalJobRunner
|
本地作业的命令应用实现
|
继承实现类
|
|
66
|
MapFileOutputFormat
|
MAP文件输出格式定义（顺序）
|
继承实现类
|
|
67
|
MapOutputFile
|
获取MAP输出文件的路径信息
|
独立内存类
|
|
68
|
Mapper
|
文件内容分拆成N个KV键值对文件
|
接口类
|
|
69
|
MapReduceBase
|
扩展方法的空实现类
|
继承实现类
|
|
70
|
MapRunnable
|
客户继承该接口可以实现局部的文件映射
|
接口类
|
|
71
|
MapRunner
|
70接口的实现类
|
继承实现类
|
|
72
|
MapTask
|
MAP任务的任务定义表和任务执行实现类
|
继承实现类
|
|
73
|
MapTaskCompletionEventsUpdate
|
MAP任务完成事件通知表定义及记录读写
|
继承实现类
|
|
74
|
MapTaskRunner
|
Map作务的线程实现类
|
继承实现类
|
|
75
|
MapTaskStatus
|
MAP任务的执行状态访问方法实现
|
继承实现类
|
|
76
|
Merger
|
合并文件实现类
|
独立内存类
|
|
77
|
MergeSorter
|
合并前的排序实现类
|
继承实现类
|
|
78
|
MRConstants
|
MR常量定义
|
接口类
|
|
79
|
MultiFileInputFormat
|
多个文件输入时的处理方式定义类
|
继承实现类
|
|
80
|
MultiFileSplit
|
多文件分隔表的定义与记录处理
|
继承实现类
|
|
81
|
OutputCollector
|
KV记录收集方法定义
|
接口类
|
|
82
|
OutputCommitter
|
KV记录输出的确认抽象类方法定义
|
抽象类
|
|
83
|
OutputFormat
|
KV输出格式的类型定义接口
|
接口类
|
|
84
|
OutputLogFilter
|
输出日志过滤类实现
|
继承实现类
|
|
85
|
Partitioner
|
按K值进行分类块多少的方法定义
|
接口类
|
|
86
|
QueueManager
|
所有队列表的集合管理类
|
独立内存类
|
|
87
|
RamManager
|
预留内存块大小方法定义
|
接口类
|
|
88
|
RawKeyValueIterator
|
KEY的递归关系接口定义
|
接口类
|
|
89
|
RecordReader
|
KV读取类方法定义
|
接口类
|
|
90
|
RecordWriter
|
KV写入类方法定义
|
接口类
|
|
91
|
Reducer
|
归并接口定义
|
接口类
|
|
92
|
ReduceTask
|
归并任务表的定义与访问驱动类
|
继承实现类
|
|
93
|
ReduceTaskRunner
|
归并任务的线程实现类
|
继承实现类
|
|
94
|
ReduceTaskStatus
|
归并任务的状态表定义及记录管理类
|
继承实现类
|
|
95
|
ReinitTrackerAction
|
重新初始化跟踪器类型增加实现类
|
继承实现类
|
|
96
|
Reporter
|
控制报告的接口定义
|
接口类
|
|
97
|
ResourceEstimator
|
资源估计量的实现类
|
独立内存类
|
|
98
|
RunningJob
|
正在运行作业的操作方法集合定义
|
接口类
|
|
99
|
SequenceFileAsBinaryInputFormat
|
以二进制格式KV顺序读取流式文件
|
继承实现类
|
|
100
|
SequenceFileAsBinaryOutputFormat
|
以二进制格式KV顺序定入流式文件
|
继承实现类
|
|
101
|
SequenceFileAsTextInputFormat
|
以文本格式KV顺序读取流式文件
|
继承实现类
|
|
102
|
SequenceFileAsTextRecordReader
|
生成文件格式KV记录
|
继承实现类
|
|
103
|
SequenceFileInputFilter
|
读取流式文件的过滤条件设置
|
继承实现类
|
|
104
|
SequenceFileInputFormat
|
流式文件读取时的参数设置
|
继承实现类
|
|
105
|
SequenceFileOutputFormat
|
流式文件输出时的参数设置
|
继承实现类
|
|
106
|
SequenceFileRecordReader
|
流式文件MR记录的读取工具类实现
|
继承实现类
|
|
107
|
SkipBadRecords
|
跳过坏的记录类的工具实现
|
独立内存类
|
|
108
|
SortedRanges
|
指定范围形成排序的工具类
|
继承实现类
|
|
109
|
StatusHttpServer
|
生成各种状态图
|
继承实现类
|
|
110
|
Task
|
任务表的字段定义及设置方法实现类
|
独立内存类
|
|
111
|
TaskAttemptContext
|
任务上下文内存表定义及设置方法实现类
|
继承扩展子表实现类
|
|
112
|
TaskAttemptID
|
任务偿试ID定义类
|
继承扩展子表实现类
|
|
113
|
TaskCompletionEvent
|
任务完成事件表字段定义及设置类
|
继承实现类
|
|
114
|
TaskID
|
任务ID定义类
|
继承扩展子表实现类
|
|
115
|
TaskInProgress
|
在进程中的任务所有信息的内存表定义类
|
独立内存类
|
|
116
|
TaskLog
|
任务日志表定义及表记录生成实现类
|
独立内存类
|
|
117
|
TaskLogAppender
|
任务日志追加实现类
|
继承实现类
|
|
118
|
TaskLogServlet
|
任务日志文件的html页面生成
|
继承实现类
|
|
119
|
TaskMemoryManagerThread
|
任务内存管理线程实现类
|
继承实现类
|
|
120
|
TaskReport
|
任务报告表字段定义及设置类
|
继承实现类
|
|
121
|
TaskRunner
|
任务执行线程实现类
|
继承实现类
|
|
122
|
TaskScheduler
|
任务计划数据及方法定义类
|
抽象类
|
|
123
|
TaskStatus
|
任务状态表字段定义及设置方法类
|
继承实现类
|
|
124
|
TaskTracker
|
任务执行的各种方法实现类
|
继承实现类
|
|
125
|
TaskTrackerAction
|
任务跟踪的代理实现类
|
继承实现类
|
|
126
|
TaskTrackerInstrumentation
|
各类任务的状态信息访问方法集定义
|
独立内存类
|
|
127
|
TaskTrackerManager
|
任务跟踪管理者的职能工作定义
|
接口类
|
|
128
|
TaskTrackerMetricsInst
|
任务状态的度量值处理类
|
继承实现类
|
|
129
|
TaskTrackerStatus
|
任务跟踪器的状态表字段定义及存取类
|
继承实现类
|
|
130
|
TaskUmbilicalProtocol
|
任务与父类间方法定义
|
接口类
|
|
131
|
TextInputFormat
|
从文件切片内存中以字串的形式生成KV键值表
|
继承实现类
|
|
132
|
TextOutputFormat
|
以字串的形式输出KV键值表
|
继承实现类
|
|
133
|
JobInProgress_Counter.properties
|
作业次数概念的定义文件
|
|
|
134
|
Task_Counter.properties
|
任务次数概念的定义文件
|
|
|
135
|
Task_FileSystemCounter.properties
|
任务文件系统次数概念的定义文件
|
|
16.2 Mapred.jobcontrol包的分析（2个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
Job
|
Job内存表的定义
|
独立内存类
|
|
2
|
JobControl
|
Job状态的全程监测类
|
继承实现类
|
16.3 Mapred.join包的分析（16个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
ArrayListBackedIterator
|
用数组管理多模递归树
|
继承实现类
|
|
2
|
ComposableInputFormat
|
按照组合设定格式创建KV键值
|
继承实现类
|
|
3
|
ComposableRecordReader
|
组合格式KV创建与读写的方法接口定义
|
接口类
|
|
4
|
CompositeInputFormat
|
合成格式的KV键值的创建和读写实现
|
继承实现类
|
|
5
|
CompositeInputSplit
|
按照合成格式要求进行文件拆分
|
继承实现类
|
|
6
|
CompositeRecordReader
|
组合记录表的定义及记录管理
|
继承实现类
|
|
7
|
InnerJoinRecordReader
|
KV记录内存合成实现
|
继承实现类
|
|
8
|
JoinRecordReader
|
组合KV记录的创建与读取
|
继承实现类
|
|
9
|
MultiFilterRecordReader
|
多重过滤的KV记录读取
|
继承实现类
|
|
10
|
OuterJoinRecordReader
|
外部组合KV记录
|
继承实现类
|
|
11
|
OverrideRecordReader
|
KV记录重载读取
|
继承实现类
|
|
12
|
Parser
|
语法符号定义类
|
独立内存类
|
|
13
|
ResetableIterator
|
全状态递归集合的方法定义
|
接口类
|
|
14
|
StreamBackedIterator
|
字节流构成的递归集合
|
继承实现类
|
|
15
|
TupleWritable
|
序列化数据类的读写表定义及实现
|
继承实现类
|
|
16
|
WrappedRecordReader
|
有包装的KV记录的创建与加工处理
|
继承实现类
|
16.4 Mapred.lib包的分析（27个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
Chain
|
组织MR的执行链集合类
|
独立内存类
|
|
2
|
ChainMapper
|
一个map任务多个执行活动组织
|
继承实现类
|
|
3
|
ChainReducer
|
一个reduce任务多个执行活动组织
|
继承实现类
|
|
4
|
DelegatingInputFormat
|
代理输入方式的处理类（切割策略和KV组织策略）
|
继承实现类
|
|
5
|
DelegatingMapper
|
Map任务的代理实现类
|
继承实现类
|
|
6
|
FieldSelectionMapReduce
|
内存字段的的MR实现类
|
继承实现类
|
|
7
|
HashPartitioner
|
Hash方式实现分类
|
继承实现类
|
|
8
|
IdentityMapper
|
KV不变输出到out中
|
继承实现类
|
|
9
|
IdentityReducer
|
KV不变输出到out中
|
继承实现类
|
|
10
|
InputSampler
|
输入的处理范例
|
继承实现类
|
|
11
|
InverseMapper
|
KV互换map实现
|
继承实现类
|
|
12
|
KeyFieldBasedComparator
|
按key字段进行比较
|
继承实现类
|
|
13
|
KeyFieldBasedPartitioner
|
按key字段进行v值的组合
|
继承实现类
|
|
14
|
KeyFieldHelper
|
Key字段的属性表定义与管理
|
独立内存类
|
|
15
|
LongSumReducer
|
长整型V值合加实现
|
继承实现类
|
|
16
|
MultipleInputs
|
多个输入路径的指定
|
独立内存类
|
|
17
|
MultipleOutputFormat
|
指定多种不同的文件输出方式
|
继承实现类
|
|
18
|
MultipleOutputs
|
输出值多种附加输出方式设定
|
独立内存类
|
|
19
|
MultipleSequenceFileOutputFormat
|
指定多种不同的流式文件输出方式
|
继承实现类
|
|
20
|
MultipleTextOutputFormat
|
指定多种不同的文本文件输出方式
|
继承实现类
|
|
21
|
MultithreadedMapRunner
|
多线程并发的MAP任务管理器
|
继承实现类
|
|
22
|
NLineInputFormat
|
指定N行V值读取方式
|
继承实现类
|
|
23
|
NullOutputFormat
|
空输出KV值
|
继承实现类
|
|
24
|
RegexMapper
|
带正则式的KV值处理
|
继承实现类
|
|
25
|
TaggedInputSplit
|
带标签的输入切分方式指定
|
继承实现类
|
|
26
|
TokenCountMapper
|
带缺省分隔符的KV生成类
|
继承实现类
|
|
27
|
TotalOrderPartitioner
|
分割后的文件排序
|
继承实现类
|
16.5 Mapred.lib.aggregate包的分析（17个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
DoubleValueSum
|
计算浮点数的总和
|
独立内存类
|
|
2
|
LongValueMax
|
长整数中的最大值
|
独立内存类
|
|
3
|
LongValueMin
|
长整数中的最小值
|
独立内存类
|
|
4
|
LongValueSum
|
计算长整数的总和
|
独立内存类
|
|
5
|
StringValueMax
|
字串中最长的
|
独立内存类
|
|
6
|
StringValueMin
|
字串中最短的
|
独立内存类
|
|
7
|
UniqValueCount
|
消除重复值
|
独立内存类
|
|
8
|
UserDefinedValueAggregatorDescriptor
|
用户指定的一个聚合的格式表
|
继承实现类
|
|
9
|
ValueAggregator
|
聚合操作方法定义
|
接口类
|
|
10
|
ValueAggregatorBaseDescriptor
|
值聚合的总体介绍（有多少种），代理类
|
继承实现类
|
|
11
|
ValueAggregatorCombiner
|
聚合类的组合输出
|
继承实现类
|
|
12
|
ValueAggregatorDescriptor
|
描述接口方法定义
|
接口类
|
|
13
|
ValueAggregatorJob
|
聚合任务主类
|
独立内存类
|
|
14
|
ValueAggregatorJobBase
|
聚合的MR的公共数据基类
|
继承实现类
|
|
15
|
ValueAggregatorMapper
|
聚合的KV值生成算法
|
继承实现类
|
|
16
|
ValueAggregatorReducer
|
聚合的KV值聚类算法
|
继承实现类
|
|
17
|
ValueHistogram
|
计算字串的柱状图
|
继承实现类
|
16.6 Mapred.lib.db包的分析（4个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
DBConfiguration
|
数据库访问参数逻辑标识符定义类及数据库访问操作
|
独立内存类
|
|
2
|
DBInputFormat
|
数据库表读取表名和字段名及查询条件设定与操作
|
继承实现类
|
|
3
|
DBOutputFormat
|
输出到指定的表中
|
继承实现类
|
|
4
|
DBWritable
|
数据库类的读写方法定义
|
接口类
|
16.7 Mapred.pipes包的分析（10个类）
|
序号
|
类名
|
作用
|
备注
|
|
1
|
Application
|
任务执行的进程启动管理类，启动相应任务
|
独立内存类
|
|
2
|
BinaryProtocol
|
二进制读取通讯实现类，调用MR相应的类
|
继承实现类
|
|
3
|
DownwardProtocol
|
进程中任务的时序方法定义
|
接口类
|
|
4
|
OutputHandler
|
输出的响应处类实现
|
继承实现类
|
|
5
|
PipesMapRunner
|
接收管道信息进行KV数组生成
|
继承实现类
|
|
6
|
PipesNonJavaInputFormat
|
从管道中设定KV的组成方式
|
继承实现类
|
|
7
|
PipesPartitioner
|
管道KV的分类整理
|
继承实现类
|
|
8
|
PipesReducer
|
管道KV的归类整理输出
|
|
|
9
|
Submitter
|
管道方式作业的执行策略代理类
|
继承实现类
|
|
10
|
UpwardProtocol
|
同步管道进程间信息传递处理方法
|
接口类
|
(责任编辑：IT) |
