sequence文件存储格式
1.txt
纯文本格式，若干行记录。默认用字符编码存储
2.SequenceFile格式（顺序文件格式，可进行切割）
key-value 格式进行存储，最终形成的是一个二进制文件， 需用hadoop提供的api进行写入存储。
编写 写入 seq文件案例。
Configuration configuration = new Configuration();
configuration.set("fs.defaultFS","hdfs://s100:8020");
FileSystem fileSystem = FileSystem.get(configuration);
Path path = new Path("hdfs://s100:8020/user/seqmyfile.seq");
SequenceFile.Writer writer = SequenceFile.createWriter(fileSystem, configuration, path, IntWritable.class, Text.class);
writer.append(new IntWritable(1),new Text("gg1"));
writer.append(new IntWritable(1),new Text("gg2"));
writer.append(new IntWritable(1),new Text("gg3"));
writer.append(new IntWritable(1),new Text("gg4"));
writer.close();
3.编写读取 seq 文件案例
Configuration configuration = new Configuration();
configuration.set("fs.defaultFS","hdfs://s100:8020");
FileSystem fileSystem = FileSystem.get(configuration);
Path path = new Path("hdfs://s100:8020/user/seqmyfile.seq");
SequenceFile.Reader sr = new SequenceFile.Reader(fileSystem,path,configuration);
IntWritable key = new IntWritable();
Text value = new Text();
while (sr.next(key,value)){
System.out.println(key +":"+value );
}
4.查看文件内容
$> hdfs dfs -text /user/myfile.seq $> hdfs dfs -cat /user/myfile.seq （此命令查看会出现乱码）
seq 文件格式解析
顺序文件由文件头和随后的一条或多条记录组成
---文件头------ --key-value----sync --key-value---- --key-value---- --key-value---- --key-value----sync --key-value---- --key-value---- --key-value----sync
文件头格式
SEQ+版本号+key类型class+value类型class + 压缩格式类型
代码案例
/**
* 读取文件位置
*/
public void seekSeq() throws IOException {
Configuration configuration = new Configuration();
configuration.set("fs.defaultFS","hdfs://s100:8020");
FileSystem fileSystem = FileSystem.get(configuration);
Path path = new Path("hdfs://s100:8020/user/seqmyfile.seq");
SequenceFile.Reader sr = new SequenceFile.Reader(fileSystem,path,configuration);
IntWritable key = new IntWritable();
Text value = new Text();
sr.seek(253); // 定位到第253字节的位置，告诉指针下一次要定位的位置。
sr.next(key,value); // 定位到第253字节的位置，并取出相应的值。
System.out.println(key +" : " + value);
sr.close();
}
/**
* 读取seqfile 同步点
*/
public void sync() throws IOException {
/**
* -----文件头-------
128byte* --key-value----sync
153byte* --key-value----
.* --key-value----
.* --key-value----
.* --key-value----sync
* --key-value----
* --key-value----
* --key-value----sync
*/
Configuration configuration = new Configuration();
configuration.set("fs.defaultFS","hdfs://s100:8020");
FileSystem fileSystem = FileSystem.get(configuration);
Path path = new Path("hdfs://s100:8020/user/seqmyfile.seq");
SequenceFile.Reader sr = new SequenceFile.Reader(fileSystem,path,configuration);
IntWritable key = new IntWritable();
Text value = new Text();
int syncPos = 12;
sr.sync(syncPos);//如上图在写入文件的时候可一指定多少条记录写入一个同步点
long pos = sr.getPosition();//获取下次要定位的字节位置。
sr.next(key,value);
System.out.println("syncPos : " + syncPos + "pos : " + pos +"key : "+key+"value : " + value);
}
MapFile文件格式
1.是排序的seqfie，具有索引。要求key按照大小顺序添加
2.包含两个文件
- index 文件：索引和偏移量的映射，可以设置间隔，默认128（解释：第128key位置--->第256字节 指存入128个key 对应的 第128key的末尾位置是第128字节的位置。）
- data 文件：存放真实的数据。格式为key -value 。和seqfile文件类似
总结
以上所述是小编给大家介绍的Hadoop文件的存储格式实例详解，希望对大家有所帮助，如果大家有任何疑问欢迎给我留言，小编会及时回复大家的！
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！
如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
内蒙古资源网 Copyright www.nmgbbs.com
暂无“Hadoop文件的存储格式实例详解”评论...
苹果官宣WWDC 2024！预计会有大批AI功能 - 2024/12/21
3月27日消息，苹果宣布2024年全球开发者大会（WWDC）将于6月10日至6月14日举行，巧合的是，这次大会与端午假期重合。
苹果官方表示：
在线参加 Apple 每年规模最大的开发者盛会。亲眼见证 Apple 最新平台、技术和工具的发布。了解如何创建和改进你的 App 和游戏。与 Apple 设计师和工程师互动交流，与全球开发者社区建立联系。以上活动均免费在线举行。
探索各种新的工具、框架和功能，助力你打造出理想的 App 和游戏。通过视频讲座学习新技能，与 Apple 专家进行一对一会面，以推进你的项目，完善你的构思。
Swift Student Challenge 旨在支持和鼓舞下一代开发者、创作者和企业家。太平洋时间 3 月 28 日，我们将公布今年的获奖者名单。获奖者将有资格参加在 Apple Park 举办的特别活动。我们还会选出 50 名杰出获胜者，他们将受邀前往库比提诺，获得为期三天的非凡体验，包括参加 Apple Park 的特别活动。
3月27日消息，苹果宣布2024年全球开发者大会（WWDC）将于6月10日至6月14日举行，巧合的是，这次大会与端午假期重合。
苹果官方表示：
在线参加 Apple 每年规模最大的开发者盛会。亲眼见证 Apple 最新平台、技术和工具的发布。了解如何创建和改进你的 App 和游戏。与 Apple 设计师和工程师互动交流，与全球开发者社区建立联系。以上活动均免费在线举行。
探索各种新的工具、框架和功能，助力你打造出理想的 App 和游戏。通过视频讲座学习新技能，与 Apple 专家进行一对一会面，以推进你的项目，完善你的构思。
Swift Student Challenge 旨在支持和鼓舞下一代开发者、创作者和企业家。太平洋时间 3 月 28 日，我们将公布今年的获奖者名单。获奖者将有资格参加在 Apple Park 举办的特别活动。我们还会选出 50 名杰出获胜者，他们将受邀前往库比提诺，获得为期三天的非凡体验，包括参加 Apple Park 的特别活动。
RTX 5090要首发 性能要翻倍！三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB，每个模块容量为2GB。其速度预设为32 Gbps（PAM3），但也可以降至28 Gbps，以提高产量和初始阶段的整体性能和成本效益。
据三星表示，GDDR7内存的能效将提高20%，同时工作电压仅为1.1V，低于标准的1.2V。通过采用更新的封装材料和优化的电路设计，使得在高速运行时的发热量降低，GDDR7的热阻比GDDR6降低了70%。