TSV2CCF

java.lang.Object
- edu.sysu.pmglab.ccf.TSV2CCF

所有已实现的接口:

edu.sysu.pmglab.easytools.Parallelizable
```
public class TSV2CCF
extends java.lang.Object
implements edu.sysu.pmglab.easytools.Parallelizable
```
tab-separated values (tsv) 格式转换为 chunked columnar storage format (ccf) 格式提供了一组标准程序 API 方法, 用于快速构建 CCF 文件

字段概要
- 从接口继承的字段 edu.sysu.pmglab.easytools.Parallelizable
  AVAILABLE_PROCESSORS, INIT_THREADS, MIN_THREADS

方法概要

所有方法静态方法实例方法具体方法
限定符和类型	方法和说明
`TSV2CCF`	`addField(java.lang.String fieldName, FieldType fieldType)` 添加 CCF 文件的列名及其类型
`TSV2CCF`	`addFields(java.util.Map<java.lang.String,FieldType> fields)` 添加 CCF 文件的列名及其类型
`TSV2CCF`	`addMeta(edu.sysu.pmglab.container.ByteCode key, edu.sysu.pmglab.container.ByteCode value)` 从外部直接注入注释字段
`TSV2CCF`	`addMeta(CCFMeta meta)` 从外部直接注入注释字段
`TSV2CCF`	`addMeta(java.lang.String key, java.lang.String value)` 从外部直接注入注释字段
`TSV2CCF`	`addMetaLineListener(java.util.function.Consumer<edu.sysu.pmglab.container.VolumeByteStream> listener)` 设置注释行数据监听器通常用于监听注释数据, 并使用 addMeta 进行数据注入
`TSV2CCF`	`addRecordFilter(java.util.function.Function<IRecord,java.lang.Boolean> filter)` 按照 CCF 记录进行过滤, 它在一条记录读取结束后执行过滤
`TSV2CCF`	`addRecordListener(java.util.function.Consumer<IRecord> recordListener)` 记录映射器在数据填充进 IRecord 之后, 根据更复杂的列元之间的相互规则重新赋予数据
`TSV2CCF`	`addTSVFilter(java.util.function.Function<java.util.Map<java.lang.String,edu.sysu.pmglab.container.ByteCode>,java.lang.Boolean> tsvFilter)` 按照 TSV 记录进行过滤, 它在一条记录读取之前执行过滤
`TSV2CCF`	`addValueConverter(java.util.function.BiConsumer<java.util.Map<java.lang.String,edu.sysu.pmglab.container.ByteCode>,IRecord> function)` 添加字段转换器
`CCFTable`	`convert()` 文件转换
`edu.sysu.pmglab.container.File`	`getOutputFile()` 获取输出文件对象
`int`	`getThreads()`
`static TSV2CCF`	`of(java.io.File inputFile)` 构造器方法
`static TSV2CCF`	`of(java.io.File inputFile, java.io.File outputFile)` 构造器方法
`static TSV2CCF`	`of(java.lang.String inputFileName)` 构造器方法
`static TSV2CCF`	`of(java.lang.String inputFileName, java.io.File outputFile)` 构造器方法
`TSV2CCF`	`renameField(java.lang.String oldFieldName, java.lang.String newFieldName)` 重命名字段
`TSV2CCF`	`renameFields(java.util.Map<java.lang.String,java.lang.String> renameFields)` 重命名字段
`TSV2CCF`	`setAutoMeta(boolean autoMeta)` 自动识别数据段模式. ## 识别为注释行, # 识别为标题行
`TSV2CCF`	`setCCFFormat(CCFFormat ccfFormat)` 设置 CCF文件格式
`TSV2CCF`	`setElementSep(byte elementSep)` 设置不同列的元素分隔符
`TSV2CCF`	`setHeader(boolean noHeaderLine, int skipLineNums, java.lang.String validTsvStartsWith)` 设置标题行的识别方式首先通过 skipLineNums 跳过指定个数的行; 接着寻找满足 validTsvStartsWith 的行, 该行将被识别为标题行; 如果设置了 noHeaderLine, 则 inputHeaderStartsWith 被识别为数据行
`TSV2CCF`	`setThreads(int nThreads)`
`TSV2CCF`	`storeOriginMeta(boolean storeOriginMeta)` 是否储存文件自带的 meta 信息
`TSV2CCF`	`throwExceptionWhenParsingFailed(boolean throwExceptionWhenParsingFailed)` 当一行解析错误时抛出异常 true 时一行错误则程序结束，false 则跳过错误的行
`java.lang.String`	`toString()`

从类继承的方法 java.lang.Object
equals, getClass, hashCode, notify, notifyAll, wait, wait, wait

从接口继承的方法 edu.sysu.pmglab.easytools.Parallelizable
addThreads, reduceThreads, verify

- 方法详细资料
  - of
```
public static TSV2CCF of(java.lang.String inputFileName)
                  throws java.io.IOException
```
    构造器方法
    
    参数:
    
    inputFileName - 输入文件名
    
    返回:
    
    格式化对象
    
    抛出:
    
    java.io.IOException - 输入文件不存在时抛出 IO 异常
  - of
```
public static TSV2CCF of(java.io.File inputFile)
                  throws java.io.IOException
```
    构造器方法
    
    参数:
    
    inputFile - 输入文件对象
    
    返回:
    
    格式化对象
    
    抛出:
    
    java.io.IOException - 输入文件不存在时抛出 IO 异常
  - of
```
public static TSV2CCF of(java.lang.String inputFileName,
                         java.io.File outputFile)
                  throws java.io.IOException
```
    构造器方法
    
    参数:
    
    inputFileName - 输入文件名
    
    outputFile - 输出文件对象
    
    返回:
    
    格式化对象
    
    抛出:
    
    java.io.IOException - 输入文件不存在时抛出 IO 异常
  - of
```
public static TSV2CCF of(java.io.File inputFile,
                         java.io.File outputFile)
                  throws java.io.IOException
```
    构造器方法
    
    参数:
    
    inputFile - 输入文件对象
    
    outputFile - 输出文件对象
    
    返回:
    
    格式化对象
    
    抛出:
    
    java.io.IOException - 输入文件不存在时抛出 IO 异常
  - addField
```
public TSV2CCF addField(java.lang.String fieldName,
                        FieldType fieldType)
```
    添加 CCF 文件的列名及其类型
    
    参数:
    
    fieldName - 列名
    
    fieldType - 列类型
    
    返回:
    
    本类
  - addFields
```
public TSV2CCF addFields(java.util.Map<java.lang.String,FieldType> fields)
```
    添加 CCF 文件的列名及其类型
    
    参数:
    
    fields - 列名及其类型
    
    返回:
    
    本类
  - addMeta
```
public TSV2CCF addMeta(java.lang.String key,
                       java.lang.String value)
```
    从外部直接注入注释字段
    
    参数:
    
    key - 注释键
    
    value - 注释值
    
    返回:
    
    本类
  - addMeta
```
public TSV2CCF addMeta(edu.sysu.pmglab.container.ByteCode key,
                       edu.sysu.pmglab.container.ByteCode value)
```
    从外部直接注入注释字段
    
    参数:
    
    key - 注释键
    
    value - 注释值
    
    返回:
    
    本类
  - setAutoMeta
```
public TSV2CCF setAutoMeta(boolean autoMeta)
```
    自动识别数据段模式. ## 识别为注释行, # 识别为标题行
    
    参数:
    
    autoMeta - 自动设置注释字段
    
    返回:
    
    本类
  - addMeta
```
public TSV2CCF addMeta(CCFMeta meta)
```
    从外部直接注入注释字段
    
    参数:
    
    meta - 注释字段前缀树
    
    返回:
    
    本类
  - storeOriginMeta
```
public TSV2CCF storeOriginMeta(boolean storeOriginMeta)
```
    是否储存文件自带的 meta 信息
    
    参数:
    
    storeOriginMeta - 储存 meta 信息
    
    返回:
    
    本类
  - addMetaLineListener
```
public TSV2CCF addMetaLineListener(java.util.function.Consumer<edu.sysu.pmglab.container.VolumeByteStream> listener)
```
    设置注释行数据监听器通常用于监听注释数据, 并使用 addMeta 进行数据注入
    
    参数:
    
    listener - 注释行数据转换器
    
    返回:
    
    本类
  - addValueConverter
```
public TSV2CCF addValueConverter(java.util.function.BiConsumer<java.util.Map<java.lang.String,edu.sysu.pmglab.container.ByteCode>,IRecord> function)
```
    添加字段转换器
    
    参数:
    
    function - 字段转换函数, Entry 的 key 对应该字段的值, Record 则是当前行的记录细节
    
    返回:
    
    本类
  - renameField
```
public TSV2CCF renameField(java.lang.String oldFieldName,
                           java.lang.String newFieldName)
```
    重命名字段
    
    参数:
    
    oldFieldName - 旧字段名
    
    newFieldName - 新字段名
    
    返回:
    
    本类
  - renameFields
```
public TSV2CCF renameFields(java.util.Map<java.lang.String,java.lang.String> renameFields)
```
    重命名字段
    
    参数:
    
    renameFields - 重命名字段信息
    
    返回:
    
    本类
  - setCCFFormat
```
public TSV2CCF setCCFFormat(CCFFormat ccfFormat)
```
    设置 CCF文件格式
    
    参数:
    
    ccfFormat - 设置 CCF 文件格式, 包含块大小、压缩级别、并行线程数 3 个参数
    
    返回:
    
    本类
  - addRecordFilter
```
public TSV2CCF addRecordFilter(java.util.function.Function<IRecord,java.lang.Boolean> filter)
```
    按照 CCF 记录进行过滤, 它在一条记录读取结束后执行过滤
    
    参数:
    
    filter - 记录过滤器
    
    返回:
    
    本类
  - addTSVFilter
```
public TSV2CCF addTSVFilter(java.util.function.Function<java.util.Map<java.lang.String,edu.sysu.pmglab.container.ByteCode>,java.lang.Boolean> tsvFilter)
```
    按照 TSV 记录进行过滤, 它在一条记录读取之前执行过滤
    
    参数:
    
    tsvFilter - TSV 字段过滤器
    
    返回:
    
    本类
  - setHeader
```
public TSV2CCF setHeader(boolean noHeaderLine,
                         int skipLineNums,
                         java.lang.String validTsvStartsWith)
```
    设置标题行的识别方式首先通过 skipLineNums 跳过指定个数的行; 接着寻找满足 validTsvStartsWith 的行, 该行将被识别为标题行; 如果设置了 noHeaderLine, 则 inputHeaderStartsWith 被识别为数据行
    
    参数:
    
    noHeaderLine - 无标题行模式
    
    skipLineNums - 跳过的行数
    
    validTsvStartsWith - 标题行以指定的字段作为开始
    
    返回:
    
    本类
  - setElementSep
```
public TSV2CCF setElementSep(byte elementSep)
```
    设置不同列的元素分隔符
    
    参数:
    
    elementSep - 元素分隔符
    
    返回:
    
    本类
  - addRecordListener
```
public TSV2CCF addRecordListener(java.util.function.Consumer<IRecord> recordListener)
```
    记录映射器在数据填充进 IRecord 之后, 根据更复杂的列元之间的相互规则重新赋予数据
    
    参数:
    
    recordListener - 记录映射器
    
    返回:
    
    本类
  - setThreads
```
public TSV2CCF setThreads(int nThreads)
```
    指定者:
    
    setThreads 在接口中 edu.sysu.pmglab.easytools.Parallelizable
  - throwExceptionWhenParsingFailed
```
public TSV2CCF throwExceptionWhenParsingFailed(boolean throwExceptionWhenParsingFailed)
```
    当一行解析错误时抛出异常 true 时一行错误则程序结束，false 则跳过错误的行
    
    参数:
    
    throwExceptionWhenParsingFailed - 当一行解析错误时抛出异常
    
    返回:
    
    本类
  - getThreads
```
public int getThreads()
```
    指定者:
    
    getThreads 在接口中 edu.sysu.pmglab.easytools.Parallelizable
  - getOutputFile
```
public edu.sysu.pmglab.container.File getOutputFile()
```
    获取输出文件对象
    
    返回:
    
    输出文件对象
  - convert
```
public CCFTable convert()
                 throws java.io.IOException
```
    文件转换
    
    返回:
    
    转换后的 CCF 文件对象
    
    抛出:
    
    java.io.IOException - 文件读取过程中产生的 IO 异常 (包括占用、指针异常、不存在等)
  - toString
```
public java.lang.String toString()
```
    覆盖:
    
    toString 在类中 java.lang.Object

类 TSV2CCF

字段概要

从接口继承的字段 edu.sysu.pmglab.easytools.Parallelizable

方法概要

从类继承的方法 java.lang.Object

从接口继承的方法 edu.sysu.pmglab.easytools.Parallelizable

方法详细资料

of

of

of

of

addField

addFields

addMeta

addMeta

setAutoMeta

addMeta

storeOriginMeta

addMetaLineListener

addValueConverter

renameField

renameFields

setCCFFormat

addRecordFilter

addTSVFilter

setHeader

setElementSep

addRecordListener

setThreads

throwExceptionWhenParsingFailed

getThreads

getOutputFile

convert

toString