PerfectHadoop: MapReduce 历史服务器

本项目封装了MapReduce 历史服务器 REST API：

• MapReduceHistory(): 用于访问 MapReduce 历史服务器获取应用程序的 Swift 对象

连接到MapReduce历史服务器

如果希望连接到 Hadoop 的 Map Reduce 历史服务器，请初始化一个MapReduceHistory()对象，并确保参数准确无误：

// 该连接只能保证基本的操作权限
let history = MapReduceHistory(host: "mapReduceHistory.somedomain.com", port: 19888)

或者连接到 Hadoop Map / Reduce 历史服务器时包括一个有效的用户名：

// 如有需要，在此处增加用户名
let history = MapReduceHistory(host: "mapReduceHistory.somedomain.com", port: 19888, user: "your user name")

用户身份验证

如果您的服务器需要 Kerberos 验证，请增加身份验证选项：

// 设置当前验证方式为 Kerberos
let history = MapReduceHistory(host: "mapReduceHistory.somedomain.com", port: 19888, user: "username", auth: .krb5)

MapReduceHistory 对象参数详解

获取服务器基本配置信息

调用 checkInfo() 能够获得历史服务器的基本信息，返回的数据将保存在一个 MapReduceHistory.Info 结构之内：

guard let inf = try history.checkInfo() else {
    // 获取信息不成功
}
print(inf.startedOn)
print(inf.hadoopVersion)
print(inf.hadoopBuildVersion)
print(inf.hadoopVersionBuiltOn)

MapReduceHistory.Info 数据结构

MapReduce 作业历史档案

调用 checkJobs() 可以返回一个以 Job 数据结构为元素的数组。 该数组列出了所有执行完毕的 MapReduce 作业清单；⚠️注意⚠️，受限于Hadoop的版本，目前暂时不能返回任务有关的所有参数。最简单的形式是调用 checkJobs()，不带任何参数即可。此时将返回所有变量:

let jobs = try history.checkJobs()
// 如果不希望把有用的没用的都抓过来，可以通过设置下列参数筛选结果：
// let jobs = try his.checkJobs(state: .SUCCEEDED, queue: "default", limit: 10)
jobs.forEach { j in
  print(j.id) // 作业编号
  print(j.name) // 作业名称
  print(j.queue) // 作业队列
  print(j.state) // 作业状态
}

checkJobs() 参数说明

Job （作业）数据结构

访问控制列表对象 ACL 数据结构

检查特定作业（Job）

可以通过作业代码（Job ID）检查历史服务器上的特定作业信息：

let job = try history.checkJob(jobId: "job_1484231633049_0005")

详见 作业（Job）数据结构。

作业尝试 JobAttempt

以下命令能够获得关于某个作业的尝试列表信息：

guard let attempts = try history.checkJobAttempts(jobId: "job_1484231633049_0005") else {
    // 出错了
}
attempts.forEach { attempt in
    print(attempt.id)
    print(attempt.containerId)
    print(attempt.nodeHttpAddress)
    print(attempt.nodeId)
    print(attempt.startTime)
}

JobAttempt 数据结构

作业指标统计（JobCounter）

使用作业指标函数库，您可以获得关于该作业的所有指标信息。

guard let js = try his.checkJobCounters(jobId: "job_1484231633049_0005") else {
    // 出错了
}//end guard
js.counterGroup.forEach{ group in
  print(group.counterGroupName)
  group.counters.forEach { counter in
    print(counter.name)
    print(counter.mapCounterValue)
    print(counter.reduceCounterValue)
    print(counter.totalCounterValue)
  }//next counter
}//next group

JobCounter 作业指标对象

CounterGroup 指标分组对象

Counter 指标对象

查看作业配置

函数 checkJobConfig() 可以用来检查作业配置情况：

guard let config = try his.checkJobConfig(jobId: "job_1484231633049_0005") else {
    /// 出错了
}
// 打印配置目录
print(config.path)
// check properties of configuration file
for p in config.property {
  print(p.name)
  print(p.value)
  print(p.source)
}

JobConfig 作业配置对象

作业配置对象包含了该作业的资源使用信息。

Property 属性对象

作业子任务（Tasks of A Job）

方法 checkJobTasks() 用于获取特定作业的子任务信息：

// 获得特定作业的所有子任务信息
let tasks = try his.checkJobTasks(jobId: "job_1484231633049_0005")

// 打印每个子任务的属性
for t in tasks {
  print(t.progress)
  print(t.elapsedTime)
  print(t.state)
  print(t.startTime)
  print(t.id)
  print(t.type)
  print(t.successfulAttempt)
  print(t.finishTime)
}//next t

checkJobTasks() 函数参数

调用 checkJobTasks() 总是需要一个作业编码 jobId ，但是也可以指定第二个附加参数，即子任务类型用于进一步过滤查询结果：

• jobId: 作业编码
• taskType: 可选的子任务类型，即 .MAP 映射任务或者 .REDUCE 归并任务

JobTask 作业子任务对象

函数checkJobTasks()用于返回一个作业子任务数组 JobTask 对象，包括下列属性：

查询特定的作业子任务 JobTask

如果已经获取了有效的 jobId 作业编码和 jobTaskId 作业子任务编码，那么可以使用函数 checkJobTask() 检查特定的作业子任务：

guard let task = try his.checkJobTask(jobId: "job_1484231633049_0005", taskId: "task_1326381300833_2_2_m_0") else {
    // 出错了
}
print(task.progress)

该函数 checkJobTask 返回值为一个 JobTask 作业子任务 对象，如上所述。

作业子任务统计指标

方法 checkJobTaskCounters() 用于返回特定作业子任务的统计指标信息，如以下范例所示：

guard let js = try his.checkJobTaskCounters(jobId: "job_1484231633049_0005", taskId: "task_1326381300833_2_2_m_0") else {
    // 出错了
}
// 打印作业子任务指标编码
print(js.id)
// 检查每个统计指标编组
js.taskCounterGroup.forEach{ group in
  print(group.counterGroupName)
  // 打印每个分组中的详细指标信息
  group.counters.forEach { counter in
    print(counter.name)
    print(counter.value)
  }
}

JobTaskCounter 作业子任务指标对象

Task Attempts 作业子任务尝试

函数 checkJobTaskAttempts() 用于检查特定作业子任务的尝试信息。

let jobTaskAttempts = try his.checkJobTaskAttempts(jobId: "job_1484231633049_0005", taskId: "task_1326381300833_2_2_m_0")
for attempt in jobTaskAttempts {
  print(attempt.id)
  print(attempt.diagnostics)
  print(attempt.assignedContainerId)
  print(attempt.rack)
  print(attempt.state)
  print(attempt.progress)
}//next

一旦成功调用 checkJobTaskAttempts() 会返回一个 TaskAttempt 作业子任务尝试对象，如下所述：

TaskAttempt 作业子任务尝试对象

作业子任务尝试对象 TaskAttempt 包括下列属性：

另外，对于 reduce （归并）作业子任务尝试来说，还可以包括下列属性：

查询特定的 TaskAttempt 作业子任务尝试

如果作业子任务尝试编码有效，则可以执行checkJobTaskAttempt()查询该作业子任务的尝试信息，如下所述：

guard let jobTaskAttempts = try his.checkJobTaskAttempt(jobId: "job_1484231633049_0005", taskId: "task_1326381300833_2_2_m_0", "attempt_1326381300833_2_2_m_0_0") else {
    // 出错了
}//end guard
print(attempt.id)
print(attempt.diagnostics)
print(attempt.assignedContainerId)
print(attempt.rack)
print(attempt.state)
print(attempt.progress)

函数checkJobTaskAttempt() 调用后会返回一个 TaskAttempt 作业子任务尝试对象 如上文所述。

作业子任务尝试指标统计

方法 checkJobTaskAttemptCounters() 可以获得关于特定作业子任务尝试的详细指标统计，如下文所述：

guard let counters = try his.checkJobTaskAttemptCounters(jobId: "job_1484231633049_0005", taskId: "task_1326381300833_2_2_m_0", "attempt_1326381300833_2_2_m_0_0") else {
    // 出错了
}
// 打印指标计数编码
print(counters.id)
// 遍历所有指标分组
for group in counters.taskAttemptCounterGroup {
  // 打印分组名称
  print(group.counterGroupName)
  // 打印该分组下的所有详细指标
  for counter in group.counters {
    print(counter.name)
    print(counter.value)
  }//next counter
}//next group