当前位置: > Linux集群 > Hadoop >

hadoop0.19.0版的包和类的分析

时间:2016-03-11 23:20来源:linux.it.net.cn 作者:IT

1       Hadoop包总量(15个包)

15个包,分下面几类:

(1)    配置文件:这是一个多方共享的话,让每个人可以告诉群里每个人我想干啥,由控制者根据配置文件去找相应的实体指向。

(2)    共用工具:基础功能的提供者

(3)    通讯工具:大家是基于通讯进行工作的

(4)    基础运算:MR

(5)    基本读写:IO

(6)    文件处理:HDFS

(7)    文件系统:FS

(8)    文件缓存:FILECACHE

(9)    安全机制:

(10)统计处理:

(11)类型释义:RECORD

(12)用户外壳:TOOL

(13)管控工具:HTTP

两个目的:(1)满足管理者的需要;HTTP(2)满足使用者的需要;

1.1  包的列表

 

1.2  包的作用

包名

作用

tool

提供一些命令行工具,如DistCp,archive

mapreduce

Hadoop的Map/Reduce实现

filecache

提供HDFS文件的本地缓存,用于加快Map/Reduce的数据访问速度

fs

文件系统的抽象,可以理解为支持多种文件系统实现的统一文件访问接口

hdfs

HDFS,Hadoop的分布式文件系统实现

ipc

一个简单的IPC的实现,依赖于io提供的编解码功能

io

表示层。将各种数据编码/解码,方便于在网络上传输

net

封装部分网络功能,如DNS,socket

security

用户和用户组信息

conf

系统的配置参数

metrics

系统统计数据的收集,属于网管范畴

util

工具类

record

根据DDL(数据描述语言)自动生成他们的编解码函数,目前可以提供C++和Java

http

基于Jetty的HTTP Servlet,用户通过浏览器可以观察文件系统的一些状态信息和日志

log

提供HTTP访问日志的HTTP Servlet

1.3  包的数量

包名

数量

tool

3

mapreduce

211

filecache

3

fs

69

hdfs

106

ipc

8

io

84

net

13

security

3

conf

3

metrics

23

util

30

record

50

http

3

log

1

15个

610个类

1.4  端口定义

端口名

位置

描述信息

8020

namenode RPC交互端口

 

8021

JT RPC交互端口

 

8649

查看运行状态的端口

 

50070

dfs.http.address

NAMENODE的HTTP服务器和端口

50010 

dfs.datanode.address

DATANODE控制端口,主要用于DATANODE初始化时向NAMENODE提出注册和应答请求

50020

dfs.datanode.ipc.address

DATANODE的RPC服务器地址和端口

50075

dfs.datanode.http.address

DATANODE的HTTP服务器和端口

50090

dfs.secondary.http.address

辅助DATANODE的HTTP服务器和端口

50030

mapred.job.tracker.http.address

JOBTRACKER的HTTP服务器和端口

50060

mapred.task.tracker.http.address

TASKTRACKER的HTTP服务器和端口

 

 

 

 

1.4.1       与HDFS有关的地址及端口属性

任何一个系统具有内部协调职能、和对外职能服务、以级管控服务三部分组成。内部协调主要用于使系统内部提供一个统一的运营基础,对外职能是系统对外提供的主要服务。管控服务是使管者者对整个系统运行状况有一个整体的了解。


1.4.1.1         Namenode相关端口

(1)     fs.default.name

位置:conf/core-site.xml

必须项:是

常用值:hdfs:// [域名或IP地址] :9000

说明:NameNode 主服务器的地址

•必须在所有master及slave上的conf/core-site.xml中设置此项。并且因为Hadoop架构是主master模式,所以在一个集群中的所有master及slave上设置的fs.default.name值应该是唯一一个NameNode 主服务器的地址。

(2)     dfs.http.address

位置:conf/hdfs-site.xml

必须项:否

默认值:0.0.0.0:50070

说明:NameNode HTTP状态监视地址

(3)     dfs.secondary.http.address

位置:conf/hdfs-site.xml

必须项:否

默认值:0.0.0.0:50090

说明:SecondaryNameNode HTTP状态监视地址

1.4.1.2         Datanode相关端口

(1)     dfs.datanode.address

位置:conf/hdfs-site.xml

必须项:否

默认值:0.0.0.0:50010

说明:DataNode 服务的地址

(2)     dfs.datanode.ipc.address

位置:conf/hdfs-site.xml

必须项:否

默认值:0.0.0.0:50020

说明:DataNode IPC服务的地址

(3)     dfs.datanode.http.address

位置:conf/hdfs-site.xml

必须项:否

默认值:0.0.0.0:50075

说明:DataNode HTTP状态监视地址

1.4.2       与MapReduce 有关的地址及端口属性

1.4.2.1         JOBTACKER相关端口

(1)     mapred.job.tracker

位置:conf/mapred-site.xml

必须项:是

常用值:[域名或IP地址] :9001

说明:JobTracker 主服务器地址及端口

•必须在所有master及slave上的conf/mapred-site.xml中设置此项。并且因为Hadoop架构是主master模式,所以在一个集群中的所有master及slave上设置的mapred.job.tracker的值应该是唯一一个JobTracker 主服务器的地址。

(2)     mapred.job.tracker.http.address

位置:conf/mapred-site.xml

必须项:否

默认值:0.0.0.0:50030

说明:JobTracker HTTP状态监视地址

1.4.2.2         TASKTACKER相关端口

(1)     mapred.task.tracker.report.address

位置:conf/mapred-site.xml

必须项:否

默认值:127.0.0.1:0

说明:提交报告用TaskTracker 服务地址

(2)     mapred.task.tracker.http.address

位置:conf/mapred-site.xml

必须项:否

默认值:0.0.0.0:50060

说明:TaskTracker HTTP状态监视地址

 

2       IO包的分析(84个类)

2.1  IO基础包分析(45个类)

序号

类名

作用

备注

1

AbstractMapWritable

Class名与序号的读写抽象实现

抽象实现类

2

ArrayFile

数组到文件和读写实现

继承实现类

3

ArrayWritable

对象实例数组与文件间的读写实现

继承实现类

4

BinaryComparable

字节集的比较抽象类

抽象实现类

5

BooleanWritable

布尔值的读写

抽象实现类

6

BytesWritable

字节数组的读写

抽象实现类

7

ByteWritable

字节的读写

抽象实现类

8

Closeable

Closable的集合方法的呢称定义

接口类

9

CompressedWritable

压缩数组的读写

抽象实现类

10

DataInputBuffer

对内存缓冲区的读操作实现

继承实现类

11

DataOutputBuffer

对内存缓冲区的写操作实现

继承实现类

12

DefaultStringifier

缺省的对象转字串,字串转对象

继承实现类

13

DoubleWritable

双精度浮点数的读写

继承实现类

14

FloatWritable

浮点数的读写

继承实现类

15

GenericWritable

通用读写的代理类

继承实现类

16

InputBuffer

对过滤数据内存缓冲区的读操作实现

继承实现类

17

IntWritable

整数的读写

继承实现类

18

IOUtils

IO操作的工具类

独立内存类

19

LongWritable

长整数的读写

继承实现类

20

MapFile

键值文件的拷贝

独立内存类

21

MapWritable

Map集合的读写

继承实现类

22

MD5Hash

MD5的值的读写

继承实现类

23

MultipleIOException

多类出错信息的扩展

继承实现类

24

NullWritable

空读写类

继承实现类

25

ObjectWritable

对象读写

继承实现类

26

OutputBuffer

对过滤数据内存缓冲区的写操作实现

继承实现类

27

RawComparator

原始比较接口定义

接口类

28

SequenceFile

流式文件读写KV

独立内存类

29

SetFile

集合文件读写

继承实现类

30

SortedMapWritable

排序后集合文件读写

继承实现类

31

Stringifier

方法集定义

接口类

32

Text

UTF8文本格式读写

继承实现类

33

TwoDArrayWritable

二维数组的读写

继承实现类

34

UTF8

UTF8格式读写

继承实现类

35

VersionedWritable

版本读写

继承实现类

36

VersionMismatchException

版本出错信息扩展

继承实现类

37

VIntWritable

可变长整型值读写

继承实现类

38

VLongWritable

可变长长整型值读写

继承实现类

39

Writable

多字段读写方法集定义

接口类

40

WritableComparable

带比较方法多字段读写方法集定义

接口类

41

WritableComparator

带比较读写的实现类

继承实现类

42

WritableFactories

读写类实例化的工厂类代理

独立内存类

43

WritableFactory

生成读写类的接口

接口类

44

WritableName

根据符号名称找到读写的类型名

独立内存类

45

WritableUtils

读写类的方法汇总工具类

独立内存类

 

2.2  Compress包的分析(16个类)

序号

类名

作用

备注

1

CompressionOutputStream

压缩数据输出方法集合定义类

抽象类

2

CompressorStream

压缩数据输出方法实现类

继承实现类

3

BlockCompressorStream

块数据压缩输出扩展实现类

继承实现类

4

CompressionInputStream

压缩数据读取方法集合定义类

抽象类

5

DecompressorStream

解压缩数据读取方法集合实现类

继承实现类

6

BlockDecompressorStream

块数据解压缩读取扩展实现类

继承实现类

7

Compressor

压缩数据接口方法定义

接口类

8

Decompressor

解压缩数据接口方法定义

接口类

9

CompressionCodec

压缩和解压数据格式接口方法定义

接口类

10

BZip2Codec

BZIP2压和解压格式实现类

继承实现类

11

DefaultCodec

缺省压和解压格式实现类

继承实现类

12

GzipCodec

GZIP压和解压格式实现类

继承实现类

13

LzoCodec

LZO压和解压格式实现类

继承实现类

14

LzopCodec

Lzop压和解压格式实现类

继承实现类

15

CodecPool

压缩和解压类的管理代理类

独立内存类

16

CompressionCodecFactory

根据文件名找到对应的压缩和解压格式类

独立内存类

 

2.3  Compress.bzip2包的分析(4个类)

序号

类名

作用

备注

1

BZip2Constants

BZIP2压和解压的固定参数

接口类

2

CBZip2InputStream

按格式进行流式读取到内存中

继承实现类
 

3

CBZip2OutputStream

按格式进行流式写入到内存中组成写入数据集

继承实现类

4

CRC

加校验的工具类

独立内存类

 

2.4  Compres.lzo包的分析(2个类)

序号

类名

作用

备注

1

LzoCompressor

LZO格式压缩数据表定义及实现类

继承实现类

2

LzoDecompressor

LZO格式解压数据表定义及实现类

继承实现类

 

2.5  Compress.zlib包的分析(5个类)

序号

类名

作用

备注

1

BuiltInZlibDeflater

压缩实现类

继承实现类

2

BuiltInZlibInflater

解压实现类

继承实现类

3

ZlibCompressor

Zlib格式压数据表定义及实现类

继承实现类

4

ZlibDecompressor

Zlib格式解压数据表定义及实现类

继承实现类

5

ZlibFactory

压或解压实例生成代理类

独立内存类

 

2.6  Compress.retry包的分析(4个类)

序号

类名

作用

备注

1

RetryInvocationHandler

按重试策略调取压缩方法

继承实现类

2

RetryPolicies

重试策略集定义类

独立内存类

3

RetryPolicy

重试策略方法定义

接口类

4

RetryProxy

重试策略集实例化工具类

独立内存类

 

2.7  Serializer包的分析(8个类)

序号

类名

作用

备注

1

Deserializer

反序列化接口定义

接口类

2

Serializer

序列化接口定义

接口类

3

DeserializerComparator

反序例化实现类

继承实现类

4

Serialization

序列和反序列实例访问方法集定义

接口类

5

JavaSerialization

JAVA序列和反序列实例访问方法实现类

继承实现类

6

JavaSerializationComparator

JAVA反序列实现类

继承实现类

7

SerializationFactory

序列和反序列实例的创建和组织类

继承实现类

8

WritableSerialization

读写数据时经序列或反序列转换工具

继承实现类

 

 

 

3       IPC包的分析(8个类)

3.1  IPC包的简介

3.1.1       基础分析

RPC采用客户机/服务器模式。请求程序就是一个客户机,而服务提供程序就是一个服务器。当我们讨论HDFS的,通信可能发生在:

•Client-NameNode之间,其中NameNode是服务器

•Client-DataNode之间,其中DataNode是服务器

•DataNode-NameNode之间,其中NameNode是服务器

•DataNode-DateNode之间,其中某一个DateNode是服务器,另一个是客户端

如果我们考虑Hadoop的Map/Reduce以后,这些系统间的通信就更复杂了。为了解决这些客户机/服务器之间的通信,Hadoop引入了一个RPC框架。该RPC框架利用的Java的反射能力,避免了某些RPC解决方案中需要根据某种接口语言(如CORBA的IDL)生成存根和框架的问题。但是,该RPC框架要求调用的参数和返回结果必须是Java的基本类型,String和Writable接口的实现类,以及元素为以上类型的数组。

既然是RPC,当然就有客户端和服务器,当然,org.apache.hadoop.rpc也就有了类Client和类Server。但是类Server是一个抽象类,类RPC封装了Server,利用反射,把某个对象的方法开放出来,变成RPC中的服务器。

 

3.1.2       应用分析

   由于Client可能和多个Server通信,典型的一次HDFS读,需要和NameNode打交道,也需要和某个/某些DataNode通信。这就意味着某一个Client需要维护多个连接。同时,为了减少不必要的连接,现在Client的做法是拿ConnectionId(图中最右侧)来做为Connection的ID。ConnectionId包括一个InetSocketAddress(IP地址+端口号或主机名+端口号)对象和一个用户信息对象。这就是说,同一个用户到同一个InetSocketAddress的通信将共享同一个连接。

 

3.2  基础包的分析(5个类)

序号

类名

作用

备注

1

Client

通讯客户端实现类

独立内存类

2

RemoteException

IO出错信息类型扩展

继承实现类

3

RPC

根据类符号调用相应的类方法

独立内存类

4

Server

通讯服务器实现

抽象类

5

VersionedProtocol

根据通讯客户端参数来返回服务端协议版本

接口类

 

 

3.3  Metrics包的分析(7个类)

序号

类名

作用

备注

1

RpcMetrics

RPC调用对象时的信息记录表

继承实现类

2

RpcMgt

RPC信息表填充的实现类

继承实现类

3

RpcMgtMBean

RPC运行时的各信息应用方法定义

接口类

 

 

 

4        HDFS包的分析(106个类)

4.2  基础包的分析(6个类)

序号

类名

作用

备注

1

ChecksumDistributedFileSystem

分布式文件系统校验

继承实现类

2

DFSClient

客户端访问分布式文件系统的代理实现类,代理公司的对外服务,生产厂的各个包含。

独立内存类

3

DFSUtil

校验路径的分隔符存在有(: /)

独立内存类

4

DistributedFileSystem

分布式文件系统功能的实现

继承实现类

5

HftpFileSystem

采用HTTP协议来访问HDFS文件

继承实现类

6

HsftpFileSystem

采用HTTPs协议来访问HDFS文件

继承实现类

 

 

4.3  protocol包的分析(13个类)

序号

类名

作用

备注

1

AlreadyBeingCreatedException

文件已存在的异常信息抛出扩展

继承实现类

2

Block

Bolck内存基本块结构定义与读写访问

继承实现类

3

BlockListAsLongs

Bolck块的索引构成数组

独立内存类

4

ClientDatanodeProtocol

Datanode的协议结构的字段、值及方法

接口类

5

ClientProtocol

客户协议方法集定义

接口类

6

DatanodeID

DatanodeID组成部分的定义及访问读写类

继承实现类

7

DatanodeInfo

Datanode状态信息结构定义及访问读写类

继承实现类

8

DataTransferProtocol

数据传输状态或方法值定义

接口类

9

FSConstants

HDFS文件系统的规则值定义

接口类

10

LocatedBlock

已定位到的块的说明信息表的定义及读写

继承实现类

11

LocatedBlocks

一组数据块及文件长度说明信息表的定义及读写

继承实现类

12

QuotaExceededException

引用出错信息扩展

继承实现类

13

UnregisteredDatanodeException

未在索引块中定义的数据块中的出错信息定义

继承实现类

 

4.4  server.balancer包的分析(1个类)

序号

类名

作用

备注

1

Balancer

负载均衡进程,各节点基于他来进行任务量的平衡

独立内存类

 

4.5  server.common包的分析(12个类)

序号

类名

作用

备注

1

GenerationStamp

生成时间戳的功能及读写访问类

继承实现类

2

HdfsConstants

Hdfs常量字段及取值的定义

接口类

3

InconsistentFSStateException

文件状态检查出错提示信息

继承实现类

4

IncorrectVersionException

版本不正确检查时提示信息

继承实现类

5

Storage

内存中以扩展表记录方式记录当前namenode索引信息及状态信息(文件是否在打开)

继承实现类

6

StorageInfo

内存中文件索引信息基本表

独立内存类

7

Upgradeable

对象升级接口方法集定义

接口类

8

UpgradeManager

管理职责的定义

独立内存类、抽象

9

UpgradeObject

可升级对象的接口方法实现

继承实现类

10

UpgradeObjectCollection

可升级对象的集合容器实现

独立内存类

11

UpgradeStatusReport

升级过程状态信息表定义

继承实现类

12

Util

取系统时间的实现

独立内存类

 

4.6  server.datanode包的分析(14个类)

序号

类名

作用

备注

1

BlockMetadataHeader

数据块头部结构定义及实现

独立内存类

2

BlockReceiver

数据块接收容器信息结构及实现写入到盘中

继承实现类

3

BlockSender

从磁盘中读数据块并发送到相应接收者

继承实现类

4

BlockTransferThrottler

块传送时的调节参数配置表

独立内存类

5

DataBlockScanner

数据块的扫描工具实现

继承实现类

6

DataNode

数据块的核心管理器

继承实现类

7

DatanodeBlockInfo

数据块的基本信息维护表

独立内存类

8

DataStorage

数据存贮文件信息的定义与实现

继承实现类

9

DataXceiver

与数据读写通讯服务器的客户端实现

继承实现类

10

DataXceiverServer

读写的通讯服务器实现

继承实现类

11

FSDataset

数据块集合定义与实现

继承实现类

12

FSDatasetInterface

数据块操作的职能定义

接口类

13

UpgradeManagerDatanode

升级数据块管理者的实现

继承实现类

14

UpgradeObjectDatanode

升级数据块对象的实现

继承实现类

 

4.7  server.datanode.metrics包的分析(4个类)

序号

类名

作用

备注

1

DataNodeMetrics

数据块的量度信息输出实现类

继承实现类

2

DataNodeStatistics

数据块统计功能实现类

继承实现类

3

DataNodeStatisticsMBean

统计职能的定义

接口类

4

FSDatasetMBean

数据集的职能定义

接口类

 

4.8  server.namenode包的分析(40个类)

序号

类名

作用

备注

1

BlocksMap

数据块的索引信息定义及索引文件定义

独立内存类

2

CheckpointSignature

存贮信息的签名信息表定义

继承实现类

3

CorruptReplicasMap

损坏块的复制集合定义及实现

独立内存类

4

DatanodeDescriptor

数据节点的状态信息定义及实现

继承实现类

5

DfsServlet

Web方式操作DFS的代理接口

继承实现类

6

EditLogInputStream

读取日志数据的类方法定义及实现

继承实现类

7

EditLogOutputStream

写日志数据的类方法定义及实现

继承实现类

8

FileChecksumServlets

文件较验web操作命令的代理实现

继承实现类

9

FileDataServlet

文件数据web操作命令的代理实现

继承实现类

10

FsckServlet

文件系统检查web操作命令的代理实现

继承实现类

11

FSDirectory

文件目录结构的定义及实现

继承实现类

12

FSEditLog

文件系统日志表的定义

独立内存类

13

FSImage

文件系统的目录、文件、数据的索引及关系信息定义

继承实现类

14

FSNamesystem

为数据节点命名的信息结构定义

继承实现类

15

GetImageServlet

文件索引信息获取web操作命令的代理实现

继承实现类

16

Host2NodesMap

数据节点表集合的管理实现类

继承实现类

17

INode

节点基础信息结构定义

继承实现类

18

INodeDirectory

目录节点信息结构定义

继承实现类

19

INodeDirectoryWithQuota

带标记录的目录节点信息结构定义

继承实现类

20

INodeFile

文件节点信息结构定义

继承实现类

21

INodeFileUnderConstruction

在创建之下的文件节点信息结构定义

继承实现类

22

JspHelper

JSP文件生成工具

独立内存类

23

LeaseExpiredException

契约到期出错提示信息扩展

继承实现类

24

LeaseManager

契约信息结构定义及实现

独立内存类

25

ListPathsServlet

文件目录信息web操作命令的代理实现

继承实现类

26

NameNode

名称节点的核心服务器类

继承实现类

27

NamenodeFsck

名称节点的系统检测类

独立内存类

28

NotReplicatedYetException

未完成复制的出错提示信息扩展

继承实现类

29

PendingReplicationBlocks

正在复制数据块的信息表定义

独立内存类

30

PermissionChecker

权限检查表结构定义及实现

独立内存类

31

ReplicationTargetChooser

数据块复制策略设定

独立内存类

32

SafeModeException

安全模式下的提示信息扩展类定义

继承实现类

33

SecondaryNameNode

名称节点的热备节点核心线程类

继承实现类

34

SerialNumberManager

为用户或组设定基于名的一个编号关系

独立内存类

35

StreamFile

数据块流式读取web操作命令的代理实现

继承实现类

36

StringBytesWritable

字串转utf8字节工具

继承实现类

37

TransferFsImage

通过http方式来获取文件的镜像信息

继承实现类

38

UnderReplicatedBlocks

复制完成后的块信息表定义

继承实现类

39

UpgradeManagerNamenode

升级名称节点的管理信息

继承实现类

40

UpgradeObjectNamenode

升级名称节点的对象信息

继承实现类

 

4.9  server.namenode.metrics包的分析(5个类)

序号

类名

作用

备注

1

FSNamesystemMBean

取名称节点的文件状态信息

接口类

2

FSNamesystemMetrics

名称节点的文件命名度量信息设定

继承实现类

3

NameNodeMetrics

名称节点的自身度量信息设定

继承实现类

4

NameNodeStatistics

名称节点的统计信息读取

继承实现类

5

NameNodeStatisticsMBean

名称节点的统计信息方法集的定义

接口类

 

4.10         server.protocol包的分析(11个类)

序号

类名

作用

备注

1

BlockCommand

数据块命令定义及实现类

继承实现类

2

BlockMetaDataInfo

数据块的元数据信息定义及实现

继承实现类

3

BlocksWithLocations

带位置的块信息的读写

继承实现类

4

DatanodeCommand

数据节点基本信息定义及实现

继承实现类

5

DatanodeProtocol

数据节点的操作方法和基础配置信息定义

接口类

6

DatanodeRegistration

数据节点的注册信息读写方法定义及实现

独立内存类

7

DisallowedDatanodeException

与名称节点通讯出错的提示信息扩展

继承实现类

8

InterDatanodeProtocol

升级数据块信息的方法定义

接口类

9

NamenodeProtocol

名称节点方法集定义

接口类

10

NamespaceInfo

返回数据节点与名称节点关联信息定义

继承实现类

11

UpgradeCommand

升级数据块命名实现

继承实现类

 

4.11         tools包的分析(2个类)

序号

类名

作用

备注

1

DFSAdmin

管理员命令的实现

继承实现类

2

DFSck

文件系统检查命令的实现

继承实现类

 

 

 

5       UTIL包的分析(30个类)

 

 

序号

名称

作用

备注

1

Daemon

各种线程实例的集合存放处

 

2

DataChecksum

数据检查和统计类

 

3

DiskChecker

文件或目录是否在存检查

 

4

GenericOptionsParser

操作命令正确性检查器

 

5

GenericsUtil

取类型和数组转换

 

6

HeapSort

堆栈排序

 

7

HostsFileReader

宿主机上文件读取

 

8

IndexedSortable

索引排序基础端接口

接口

9

IndexedSorter

索引排序客户端接口

接口

10

LineReader

读取一行到内存中

 

11

MergeSort

合并后排序

 

12

NativeCodeLoader

系统程序加载类程序

 

13

PlatformName

取平台名称

 

14

PrintJarMainClass

列出jar文件中的类

 

15

PriorityQueue

队列优先级设置

 

16

ProcfsBasedProcessTree

进程树

 

17

ProgramDriver

有main类的驱动

 

18

Progress

进度计算

 

19

Progressable

进度方法接口

接口

20

QuickSort

快速排序

 

21

ReflectionUtils

类属性提取

 

22

RunJar

运行JAR包

 

23

ServletUtil

Servlet的工具类

 

24

Shell

运行操作系统命令类

 

25

StringUtils

字串处理类

 

26

Tool

Run方法接口

接口

27

ToolRunner

Run方法驱动

 

28

UTF8ByteArrayUtils

Utf8的字节数组比较

 

29

VersionInfo

系统版本信息

 

30

XMLUtils

XML解析类

 

 

6       TOOLS包的分析(3个类)

客户端用的工具命令

序号

类名

作用

备注

1

DistCp

不同文件之间位移

 

2

HadoopArchives

Hadoop文件打包

 

3

Logalyzer

日志分析

 

7       SERCURITY包的分析(3个类)

序号

类名

作用

备注

1

AccessControlException

权限检查提示信息

 

2

UnixUserGroupInformation

用户组信息unix系统上的读取实现

 

3

UserGroupInformation

用户组信息的存贮类和形式类

 

 

8       RECORD包的分析(50个类)

中介类是继承了接口的,中介类有三种(1)有委托中介类,即内部包含另一个存放地,此类只是规则中介;(2)无委托中介类,即自身就是一个存贮类;(3)控制委托中介类,即参数中介类,由控制提供该类具体的空间。

8.1  自身包下(13个类)

序号

类名

作用

备注

1

BinaryRecordInput

类型字段的读取

有委托中介类

2

BinaryRecordOutput

类型字段的写入

有委托中介类

3

Buffer

字节集存放类

无委手中介类

4

CsvRecordInput

推回类型方式字段读取

有委托中介类,推回输入流PushbackInputStream和PushbackReader带有一个推回缓冲区

5

CsvRecordOutput

推回类型方式字段写入

有委托中介类

6

Index

索引接口

接口类

7

Record

资源record方式读取抽象

抽象参数中介类,控制委托

8

RecordComparator

抽象类

参数委托中介类

9

RecordInput

原子读方法集

接口类

10

RecordOutput

原字写方法集

接口类

11

Utils

字串转XML,字串转字节等

独立功能类,基本内存类

12

XmlRecordInput

XML的记录方式读

有委托中介类

13

XmlRecordOutput

XML的记录方式写

有委托中介类

 

8.2  compiler包(21个类)

序号

类名

作用

备注

1

CGenerator

C语言代码生成

继承实现类

2

CodeBuffer

生成代码字串

独立内存类

3

CodeGenerator

代码生成方法抽象类

抽象类

4

CppGenerator

Cpp语言代码生成

继承实现类

5

JavaGenerator

JAVA语言代码生成

继承实现类

6

Consts

常量定义类

独立内存类

7

JBoolean

Boolean类型代码的描述文本生成

类继承实现类

8

JBuffer

buffer类型代码的描述文本生成

类继承实现类

9

JByte

byte类型代码的描述文本生成

类继承实现类

10

JCompType

comp类型代码的描述文本生成

类继承实现类

11

JDouble

double类型代码的描述文本生成

继承实现类

12

JField

名和类型键值对内存类

独立内存类

13

JFile

File名的定义类

独立内存类

14

JFloat

float类型代码的描述文本生成

继承实现类

15

JInt

int类型代码的描述文本生成

继承实现类

16

JLong

long类型代码的描述文本生成

继承实现类

17

JMap

map类型代码的描述文本生成

继承实现类

18

JRecord

Record类型代码的描述文本生成

继承实现类

19

JString

string类型代码的描述文本生成

继承实现类

20

JType

基本属性定义类

抽象定义类

21

JVector

Vector类型代码的描述文本生成

继承实现类

 

8.3  compiler.ant包(1个类)

序号

类名

作用

备注

1

RccTask

Ant文件定义及运行类

继承实现类

 

 

 

8.4  compiler.generate包(8个类)

序号

类名

作用

备注

1

ParseException

分析出错时的各类提示信息

继承实现类

2

Rcc

Rcc工具类

继承接口实现类

3

RccConstants

Rcc常量定义

独立内存类

4

RccTokenManager

JJ模板实现类

常量继承实现类

5

SimpleCharStream

简单字符流工具类

独立内存类

6

Token

间定义类

独立内存类

7

TokenMgrError

错误类型扩展定义类

继承实现类

8

rcc.jj

 

 

 

8.5  meta包(7个类)

序号

类名

作用

备注

1

FieldTypeInfo

字段类型定义类

独立内存类

2

MapTypeID

键值二列表定义类

继承实现类

3

RecordTypeInfo

记录类型定义类

继承实现类

4

StructTypeID

结构类型定义类

继承实现类

5

TypeID

字节与类型定义类

独立内存类

6

Utils

根据类型读取相应值

独立内存类

7

VectorTypeID

数组类型定义类

继承实现类

 

9       NET包的分析(13个类)

序号

类名

作用

备注

1

CachedDNSToSwitchMapping

内存DNS信息对

接口继承实现类

2

DNS

DNS功能实现类

独立内存类

3

DNSToSwitchMapping

解析DNS接口定义

接口类

4

NetUtils

网络功能调用类

独立内存类

5

NetworkTopology

网络拓朴关系类

独立内存类

6

Node

节点接口定义

接口类

7

NodeBase

节点接口实现类

接口继承实现类

8

ScriptBasedMapping

从脚本文件中读DNS信息

继承实现类

9

SocketInputStream

基于套接字的读

中介委托类

10

SocketIOWithTimeout

时间设置类

独立内存类

11

SocketOutputStream

基于套接字的写

中介委托类

12

SocksSocketFactory

套接字接口实现类

中介委托类

13

StandardSocketFactory

标准套接字实现类

继承实现类

 

10    Metrics包的分析(23个类)

10.1         自身类的分析(6个类)

序号

类名

作用

备注

1

ContextFactory

上下文数据采集类

独立内存类

2

MetricsContext

度量数据访问接口

接口类

3

MetricsException

度量出错信息类型扩展

继承实现类(纵向值扩展)

4

MetricsRecord

度量记录格式定义类

接口类

5

MetricsUtil

度量上下文访问类

对外访问独立类

6

Updater

度量上下文更新方法

接口类

 

10.2         Metrics.file包的分析(1个类)

序号

类名

作用

备注

1

FileContext

将度量信息写到文件中

继承实现类

 

10.3         Metrics.gangli包的分析(2个类)

序号

类名

作用

备注

1

GangliaContext

将度量信息写到map中

继承实现类

 

10.4         Metrics.jvm包的分析(2个类)

序号

类名

作用

备注

1

EventCounter

四种事件发生计数器

继承实现类

2

JvmMetrics

虚拟机度量信息管理

继承实现类

 

10.5         Metrics.spi包的分析(7个类)

序号

类名

作用

备注

1

AbstractMetricsContext

度量信息采集实现类

抽象继承实现类

2

MetricsRecordImpl

度量信息格式化记录类

继承实现类

3

MetricValue

度量值总量的定义类

独立内存类

4

NullContext

缺省信息采集实现类

继承实现类

5

NullContextWithUpdateThread

带采集周期的实现类

继承实现类

6

OutputRecord

度量信息的VO类

独立内存类

7

Util

采集目的地的指向类

独立内存类

 

10.6         Metrics.util包的分析(5个类)

序号

类名

作用

备注

1

MBeanUtil

度量服务对象的管理

独立内存类

2

MetricsIntValue

度量信息的值是整型的类

独立内存类

3

MetricsLongValue

度量信息的值是长整型的类

独立内存类

4

MetricsTimeVaryingInt

度量信息的值是随时间变化的整型的类

独立内存类

5

MetricsTimeVaryingRate

度量信息的值随时间变化的频率

独立内存类

 

11    LOG包的分析(1个类)

序号

类名

作用

备注

1

LogLevel

日志信息按类型输出管理

独立内存类

 

 

 

 

12    HTTP包分析(3个类)

序号

类名

作用

备注

1

FilterContainer

过滤器的填加方法

接口类

2

FilterInitializer

过滤器集合的设置方法

接口类

3

HttpServer

Jetty通讯容器工具

独立内存类

 

13    Conf包的分析(3个类)

序号

类名

作用

备注

1

Configurable

配置信息读写方法集合

接口类

2

Configured

配置信息读写实现类

继承实现类

3

Configuration

配置信息的VO类

独立内存类

 

14    FileCache包的分析(3个类)

序号

类名

作用

备注

1

Configurable

配置信息读写方法集合

接口类

2

Configured

配置信息读写实现类

继承实现类

3

Configuration

配置信息的VO类

独立内存类

 

15    FS包的分析(69个类)

15.1         自身包的分析(36个类)

序号

类名

作用

备注

1

BlockLocation

存贮块数据的空间索引信息

继承实现类

2

BufferedFSInputStream

从buffer内存中读取数据到字节数组中

继承实现类

3

ChecksumException

出错信息扩展类

继承实现类

4

ChecksumFileSystem

带校验文件的创建增删操作

继承实现类

5

ContentSummary

文件或目录统计信息数据类

继承实现类

6

DF

磁盘空间统计信息访问类

继承实现类

7

DU

磁盘空间统计信息访问类

继承实现类

8

FileChecksum

文件校验信息方法定义类

抽象继承实现类

9

FileStatus

文件当前状况结构定义及读写数据类

继承实现类

10

FileSystem

文件功能集的抽象实现实义类

继承实现类

11

FileUtil

文件操作的组织代理类。

独立内存类

12

FilterFileSystem

文件系统过滤实现类

继承实现类

13

FSDataInputStream

文件数据读入到用户内存定义空间中

继承实现类

14

FSDataOutputStream

用户内存数据写入到文件中

继承实现类

15

FSError

ERRO信息扩展类

继承实现类

16

FSInputChecker

带校验数据读入类

继承实现类

17

FSInputStream

从FS中读取数据

继承实现类

18

FSOutputSummer

写入数据到FS中

继承实现类

19

FsShell

FS功能的集合代理类

继承包含委托执行类实现

20

FsShellPermissions

文件操作权限检查

独立内存类

21

FsUrlConnection

远程FS文件的读取行为连接类

继承实现类

22

FsUrlStreamHandler

远程FS文件的读取行为连接驱动类

继承实现类

23

FsUrlStreamHandlerFactory

连接驱动类的工厂类

继承实现类

24

GlobExpander

全局扩展类

独立内存类

25

HarFileSystem

FS压缩文件操作实现类

继承实现类

26

InMemoryFileSystem

内存文件系统的操作实现类

继承实现类

27

LocalDirAllocator

本地目录文件块操作类

独立内存类

28

LocalFileSystem

本地文件系统操作类

继承实现类

29

MD5MD5CRC32FileChecksum

MD5格式的文件较验

继承实现类

30

Path

FS文件路径信息操作类

继承实现类

31

PathFilter

FS文件路径过滤

接口类

32

PositionedReadable

指定位置读方法定义

接口类

33

RawLocalFileSystem

无较验本地文件操作

继承实现类

34

Seekable

偏移地址方法定义

接口类

35

Syncable

异步操作方法定义

接口类

36

Trash

文件移动到垃圾箱操作

独立内存类

 

15.2         Fs.ftp包的分析(3个类)

序号

类名

作用

备注

1

FTPException

FTP出错信息扩展

独立内存继承类

2

FTPFileSystem

FTP远程文件在HDFS存贮中的创建

继承实现类

3

FTPInputStream

FTP文件的读入后并写入到FS中

继承实现类

 

 

15.3         Fs. kfs包的分析(5个类)

序号

类名

作用

备注

1

IFSImpl

KFS的方法集合

接口类

2

KFSImpl

KFS的方法实现类

继承实现类

3

KFSInputStream

从KFS读取数据写入到FS

继承实现类

4

KFSOutputStream

从FS读取数据写入到KFS

继承实现类

5

KosmosFileSystem

FKS的系统功能中介类

继承实现类

 

 

 

15.4         Fs.s3包的分析(12个类)

序号

类名

作用

备注

1

Block

块记录表定义(序号,度量)

独立内存类

2

FileSystemStore

FS系统读写的接口

接口类

3

INode

目录或文件的节点定义类

独立内存类

4

Jets3tFileSystemStore

S3文件系统的访问接口

继承实现类

5

MigrationTool

S3文件数据的迁移工具

继承实现类

6

S3Credentials

S3凭证验证

独立内存类

7

S3Exception

S3出错信息扩展

继承实现类

8

S3FileSystem

S3文件系统的统一代理使者

继承实现类

9

S3FileSystemException

S3文件操作时出错信息扩展

继承实现类

10

S3InputStream

S3文件读入到FS中

继承实现类

11

S3OutputStream

FS文件写入到S3中

继承实现类

12

VersionMismatchException

版本出错信息扩展

继承实现类

 

15.5         Fs.s3native包的分析(5个类)

序号

类名

作用

备注

1

FileMetadata

文件元数据(文件名、长度、状态)定义类

独立内存类

2

Jets3tNativeFileSystemStore

S3文件本地访部问实现类

继承实现类

3

NativeFileSystemStore

S3文件读写方法集定义

接口类

4

NativeS3FileSystem

S3文件读写到本地实现类

继承实现类

5

PartialListing

组成部分定义表

独立内存类

 

15.6         Fs.permission包的分析(4个类)

序号

类名

作用

备注

1

AccessControlException

出错信息的扩展,具有的记录定义

继承实现类

2

FsAction

行为枚举键值类

独立内存类

3

FsPermission

文件访问行为权限信息记录的中介类

继承实现类

4

PermissionStatus

文件访问的用户和组信息记录的中介类

继承实现类

 

 

15.7         Fs.shell包的分析(4个类)

序号

类名

作用

备注

1

Command

命令执行代理类

继承实现类

2

CommandFormat

命令格式检查类

独立内存类

3

CommandUtils

命令语句生成工具类

独立内存类

4

Count

数量统计功能类

继承实现类

 

 

 

 

16    MapRed包的分析(211个类)

16.1         基础类包的分析(135个类)

序号

类名

作用

备注

1

BasicTypeSorterBase

基本k-v的元数据信息定义类(K数量、度量等)

继承实现类

2

BufferSorter

排序方法接口定义

扩展接口类

3

Child

启动子线程管理类

独立内存类

4

ClusterStatus

MR集群的总量定义类

继承实现类

5

CommitTaskAction

置任务状态为确认

继承实现类

6

CompletedJobStatusStore

已完成作业的事后管理类

线程实现类

7

Counters

作业数量管理器

继承实现类

8

DefaultJobHistoryParser

作业历史文件读写

独立内存类

9

DisallowedTaskTrackerException

不充许任务者与作业连接时出错信息扩展

继承实现类

10

EagerTaskInitializationListener

作业创建事件发生时的监听类,生成大量任务线程

继承实现类

11

FileAlreadyExistsException

文件已存在出错信息扩展类

继承实现类

12

FileInputFormat

从文件中按KV格式的信息定义

继承实现类

13

FileOutputCommitter

指定输出到文件的确认

继承实现类

14

FileOutputFormat

从KV格式读取信息输出到文件的规则信息定义

继承实现类

15

FileSplit

文件分割器

继承实现类

16

HeartbeatResponse

心跳信息的定义类

继承实现类

17

HistoryViewer

Job历史文件的查看

独立内存类

18

ID

ID记录的访问

继承实现类

19

IFile

文件的读取与生成代理组织

独立内存类

20

IFileInputStream

带校验的文件读取执行

继承实现类

21

IFileOutputStream

带校验的文件写入执行

继承实现类

22

IndexCache

索引缓冲区的创建与访问

独立内存类

23

IndexRecord

索引记录格式定义类

独立内存类

24

InputFormat

切割份数和读取记录的方法定义

接口类

25

InputSplit

切割度量和切割位置的方法扩展

接口扩展类

26

InterTrackerProtocol

内部任务协议方法定义

接口扩展类

27

InvalidFileTypeException

非法文件类型错误信息扩展

继承实现类

28

InvalidInputException

无效输入类型错误信息扩展

继承实现类

29

InvalidJobConfException

JOB配置出错信息扩展

继承实现类

30

IsolationRunner

独立执行某个作业的程序

独立可执行类

31

JobChangeEvent

作业事件定义的抽象类

抽象类

32

JobClient

作业的逻辑策略执行管理类,是服务的注册入口

继承实现类

33

JobConf

MR的输入、输出、规则的值配置定义和存贮类

继承实现类

34

JobConfigurable

MR配置文件的接口方法定义

接口类

35

JobContext

作业和进程的关系定义类

独立内存类

36

JobEndNotifier

任务结束事件的监测和发送管理器

独立内存类

37

JobHistory

作业历史记录格式定义与记录读取和写入类

独立内存类

38

JobID

JOBID的定义类

继承扩展类

39

JobInProgress

作业和进程的所有信息的定义类

独立内存类

40

JobInProgressListener

作业相关进程的临听事件定义

抽象类

41

JobPriority

作业优先级符号枚举定义

枚举类

42

JobProfile

作业基本信息表定义类

继承扩展类

43

JobQueueClient

列出正在执行的作业队列的工具类

继承扩展类

44

JobQueueInfo

作业队列信息表的定义管理类

继承实现类

45

JobQueueJobInProgressListener

作业队例的所有作业的事件监听器定义

继承实现类

46

JobQueueTaskScheduler

作业队列关联的任务执行计划管理类

继承实现类

47

JobShell

作业的命令行执行工具

继承实现类

48

JobStatus

作业状态表定义管理类

继承实现类

49

JobStatusChangeEvent

作业状态事件变化前后表定义

继承实现类

50

JobSubmissionProtocol

作业的各类查询命令和状态控制命令集合

接口定义类

51

JobTracker

作业命令的实现

继承实现类

52

JobTrackerInstrumentation

作业命令执行状态方法定义(提交、完成)

独立内存类

53

JobTrackerMetricsInst

作业命令执行状态方法的计数实现

继承实现类

54

JSPUtil

处理JSP提交指令和生成JSP格式的报告

独立内存类

55

JVMId

虚拟机ID信息表定义及访问方式实现

继承实现类

56

JvmManager

虚拟机与作业的MR 任务关系管理

独立内存类

57

JvmTask

任务与虚拟机关系表定义及管理

继承实现类

58

KeyValueLineRecordReader

以行为单位的KV表的定义及KV记录的生成

继承实现类

59

KeyValueTextInputFormat

文本文件按行方式读取到内存中写入到KV记录表中

继承实现类

60

KillJobAction

被kill的作业的记录表定义

继承实现类

61

KillTaskAction

被kill的任务的记录表定义

继承实现类

62

LaunchTaskAction

已调装的任务的记录表定义

继承实现类

63

LimitTasksPerJobTaskScheduler

每作业最少任务计划表定义

继承实现类

64

LineRecordReader

行记录表的记录创建与读取

继承实现类

65

LocalJobRunner

本地作业的命令应用实现

继承实现类

66

MapFileOutputFormat

MAP文件输出格式定义(顺序)

继承实现类

67

MapOutputFile

获取MAP输出文件的路径信息

独立内存类

68

Mapper

文件内容分拆成N个KV键值对文件

接口类

69

MapReduceBase

扩展方法的空实现类

继承实现类

70

MapRunnable

客户继承该接口可以实现局部的文件映射

接口类

71

MapRunner

70接口的实现类

继承实现类

72

MapTask

MAP任务的任务定义表和任务执行实现类

继承实现类

73

MapTaskCompletionEventsUpdate

MAP任务完成事件通知表定义及记录读写

继承实现类

74

MapTaskRunner

Map作务的线程实现类

继承实现类

75

MapTaskStatus

MAP任务的执行状态访问方法实现

继承实现类

76

Merger

合并文件实现类

独立内存类

77

MergeSorter

合并前的排序实现类

继承实现类

78

MRConstants

MR常量定义

接口类

79

MultiFileInputFormat

多个文件输入时的处理方式定义类

继承实现类

80

MultiFileSplit

多文件分隔表的定义与记录处理

继承实现类

81

OutputCollector

KV记录收集方法定义

接口类

82

OutputCommitter

KV记录输出的确认抽象类方法定义

抽象类

83

OutputFormat

KV输出格式的类型定义接口

接口类

84

OutputLogFilter

输出日志过滤类实现

继承实现类

85

Partitioner

按K值进行分类块多少的方法定义

接口类

86

QueueManager

所有队列表的集合管理类

独立内存类

87

RamManager

预留内存块大小方法定义

接口类

88

RawKeyValueIterator

KEY的递归关系接口定义

接口类

89

RecordReader

KV读取类方法定义

接口类

90

RecordWriter

KV写入类方法定义

接口类

91

Reducer

归并接口定义

接口类

92

ReduceTask

归并任务表的定义与访问驱动类

继承实现类

93

ReduceTaskRunner

归并任务的线程实现类

继承实现类

94

ReduceTaskStatus

归并任务的状态表定义及记录管理类

继承实现类

95

ReinitTrackerAction

重新初始化跟踪器类型增加实现类

继承实现类

96

Reporter

控制报告的接口定义

接口类

97

ResourceEstimator

资源估计量的实现类

独立内存类

98

RunningJob

正在运行作业的操作方法集合定义

接口类

99

SequenceFileAsBinaryInputFormat

以二进制格式KV顺序读取流式文件

继承实现类

100

SequenceFileAsBinaryOutputFormat

以二进制格式KV顺序定入流式文件

继承实现类

101

SequenceFileAsTextInputFormat

以文本格式KV顺序读取流式文件

继承实现类

102

SequenceFileAsTextRecordReader

生成文件格式KV记录

继承实现类

103

SequenceFileInputFilter

读取流式文件的过滤条件设置

继承实现类

104

SequenceFileInputFormat

流式文件读取时的参数设置

继承实现类

105

SequenceFileOutputFormat

流式文件输出时的参数设置

继承实现类

106

SequenceFileRecordReader

流式文件MR记录的读取工具类实现

继承实现类

107

SkipBadRecords

跳过坏的记录类的工具实现

独立内存类

108

SortedRanges

指定范围形成排序的工具类

继承实现类

109

StatusHttpServer

生成各种状态图

继承实现类

110

Task

任务表的字段定义及设置方法实现类

独立内存类

111

TaskAttemptContext

任务上下文内存表定义及设置方法实现类

继承扩展子表实现类

112

TaskAttemptID

任务偿试ID定义类

继承扩展子表实现类

113

TaskCompletionEvent

任务完成事件表字段定义及设置类

继承实现类

114

TaskID

任务ID定义类

继承扩展子表实现类

115

TaskInProgress

在进程中的任务所有信息的内存表定义类

独立内存类

116

TaskLog

任务日志表定义及表记录生成实现类

独立内存类

117

TaskLogAppender

任务日志追加实现类

继承实现类

118

TaskLogServlet

任务日志文件的html页面生成

继承实现类

119

TaskMemoryManagerThread

任务内存管理线程实现类

继承实现类

120

TaskReport

任务报告表字段定义及设置类

继承实现类

121

TaskRunner

任务执行线程实现类

继承实现类

122

TaskScheduler

任务计划数据及方法定义类

抽象类

123

TaskStatus

任务状态表字段定义及设置方法类

继承实现类

124

TaskTracker

任务执行的各种方法实现类

继承实现类

125

TaskTrackerAction

任务跟踪的代理实现类

继承实现类

126

TaskTrackerInstrumentation

各类任务的状态信息访问方法集定义

独立内存类

127

TaskTrackerManager

任务跟踪管理者的职能工作定义

接口类

128

TaskTrackerMetricsInst

任务状态的度量值处理类

继承实现类

129

TaskTrackerStatus

任务跟踪器的状态表字段定义及存取类

继承实现类

130

TaskUmbilicalProtocol

任务与父类间方法定义

接口类

131

TextInputFormat

从文件切片内存中以字串的形式生成KV键值表

继承实现类

132

TextOutputFormat

以字串的形式输出KV键值表

继承实现类

133

JobInProgress_Counter.properties

作业次数概念的定义文件

 

134

Task_Counter.properties

任务次数概念的定义文件

 

135

Task_FileSystemCounter.properties

任务文件系统次数概念的定义文件

 

 

16.2         Mapred.jobcontrol包的分析(2个类)

序号

类名

作用

备注

1

Job

Job内存表的定义

独立内存类

2

JobControl

Job状态的全程监测类

继承实现类

 

 

16.3         Mapred.join包的分析(16个类)

序号

类名

作用

备注

1

ArrayListBackedIterator

用数组管理多模递归树

继承实现类

2

ComposableInputFormat

按照组合设定格式创建KV键值

继承实现类

3

ComposableRecordReader

组合格式KV创建与读写的方法接口定义

接口类

4

CompositeInputFormat

合成格式的KV键值的创建和读写实现

继承实现类

5

CompositeInputSplit

按照合成格式要求进行文件拆分

继承实现类

6

CompositeRecordReader

组合记录表的定义及记录管理

继承实现类

7

InnerJoinRecordReader

KV记录内存合成实现

继承实现类

8

JoinRecordReader

组合KV记录的创建与读取

继承实现类

9

MultiFilterRecordReader

多重过滤的KV记录读取

继承实现类

10

OuterJoinRecordReader

外部组合KV记录

继承实现类

11

OverrideRecordReader

KV记录重载读取

继承实现类

12

Parser

语法符号定义类

独立内存类

13

ResetableIterator

全状态递归集合的方法定义

接口类

14

StreamBackedIterator

字节流构成的递归集合

继承实现类

15

TupleWritable

序列化数据类的读写表定义及实现

继承实现类

16

WrappedRecordReader

有包装的KV记录的创建与加工处理

继承实现类

 

16.4         Mapred.lib包的分析(27个类)

序号

类名

作用

备注

1

Chain

组织MR的执行链集合类

独立内存类

2

ChainMapper

一个map任务多个执行活动组织

继承实现类

3

ChainReducer

一个reduce任务多个执行活动组织

继承实现类

4

DelegatingInputFormat

代理输入方式的处理类(切割策略和KV组织策略)

继承实现类

5

DelegatingMapper

Map任务的代理实现类

继承实现类

6

FieldSelectionMapReduce

内存字段的的MR实现类

继承实现类

7

HashPartitioner

Hash方式实现分类

继承实现类

8

IdentityMapper

KV不变输出到out中

继承实现类

9

IdentityReducer

KV不变输出到out中

继承实现类

10

InputSampler

输入的处理范例

继承实现类

11

InverseMapper

KV互换map实现

继承实现类

12

KeyFieldBasedComparator

按key字段进行比较

继承实现类

13

KeyFieldBasedPartitioner

按key字段进行v值的组合

继承实现类

14

KeyFieldHelper

Key字段的属性表定义与管理

独立内存类

15

LongSumReducer

长整型V值合加实现

继承实现类

16

MultipleInputs

多个输入路径的指定

独立内存类

17

MultipleOutputFormat

指定多种不同的文件输出方式

继承实现类

18

MultipleOutputs

输出值多种附加输出方式设定

独立内存类

19

MultipleSequenceFileOutputFormat

指定多种不同的流式文件输出方式

继承实现类

20

MultipleTextOutputFormat

指定多种不同的文本文件输出方式

继承实现类

21

MultithreadedMapRunner

多线程并发的MAP任务管理器

继承实现类

22

NLineInputFormat

指定N行V值读取方式

继承实现类

23

NullOutputFormat

空输出KV值

继承实现类

24

RegexMapper

带正则式的KV值处理

继承实现类

25

TaggedInputSplit

带标签的输入切分方式指定

继承实现类

26

TokenCountMapper

带缺省分隔符的KV生成类

继承实现类

27

TotalOrderPartitioner

分割后的文件排序

继承实现类

 

16.5         Mapred.lib.aggregate包的分析(17个类)

序号

类名

作用

备注

1

DoubleValueSum

计算浮点数的总和

独立内存类

2

LongValueMax

长整数中的最大值

独立内存类

3

LongValueMin

长整数中的最小值

独立内存类

4

LongValueSum

计算长整数的总和

独立内存类

5

StringValueMax

字串中最长的

独立内存类

6

StringValueMin

字串中最短的

独立内存类

7

UniqValueCount

消除重复值

独立内存类

8

UserDefinedValueAggregatorDescriptor

用户指定的一个聚合的格式表

继承实现类

9

ValueAggregator

聚合操作方法定义

接口类

10

ValueAggregatorBaseDescriptor

值聚合的总体介绍(有多少种),代理类

继承实现类

11

ValueAggregatorCombiner

聚合类的组合输出

继承实现类

12

ValueAggregatorDescriptor

描述接口方法定义

接口类

13

ValueAggregatorJob

聚合任务主类

独立内存类

14

ValueAggregatorJobBase

聚合的MR的公共数据基类

继承实现类

15

ValueAggregatorMapper

聚合的KV值生成算法

继承实现类

16

ValueAggregatorReducer

聚合的KV值聚类算法

继承实现类

17

ValueHistogram

计算字串的柱状图

继承实现类

 

 

16.6         Mapred.lib.db包的分析(4个类)

序号

类名

作用

备注

1

DBConfiguration

数据库访问参数逻辑标识符定义类及数据库访问操作

独立内存类

2

DBInputFormat

数据库表读取表名和字段名及查询条件设定与操作

继承实现类

3

DBOutputFormat

输出到指定的表中

继承实现类

4

DBWritable

数据库类的读写方法定义

接口类

 

16.7         Mapred.pipes包的分析(10个类)

序号

类名

作用

备注

1

Application

任务执行的进程启动管理类,启动相应任务

独立内存类

2

BinaryProtocol

二进制读取通讯实现类,调用MR相应的类

继承实现类

3

DownwardProtocol

进程中任务的时序方法定义

接口类

4

OutputHandler

输出的响应处类实现

继承实现类

5

PipesMapRunner

接收管道信息进行KV数组生成

继承实现类

6

PipesNonJavaInputFormat

从管道中设定KV的组成方式

继承实现类

7

PipesPartitioner

管道KV的分类整理

继承实现类

8

PipesReducer

管道KV的归类整理输出

 

9

Submitter

管道方式作业的执行策略代理类

继承实现类

10

UpwardProtocol

同步管道进程间信息传递处理方法

接口类




(责任编辑:IT)
------分隔线----------------------------