Hadoop学习--上传文件指定复制因子--day04
import java.io.ByteArrayOutputStream;
创新互联专注于驿城企业网站建设,自适应网站建设,电子商务商城网站建设。驿城网站建设公司,为驿城等地区提供建站服务。全流程按需网站开发,专业设计,全程项目跟踪,创新互联专业和态度为您提供的服务
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.InputStream;
import java.net.URL;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileUtil;
import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.junit.Test;
public class modify_replication {
@Test
public void modirepli() throws Exception {
// 创建configuration对象,有个默认的加载顺序,先从core-default.xml,再到src目录中的文件,这
//里我们给定了
Configuration conf = new Configuration();
//修改当前文件的块大小
conf.set("dfs.blocksize", "20480");
// 从配置文件中得到该分布式文件系统的对象
FileSystem fs = FileSystem.get(conf);
//修改复制因子,其实是通过创建新的流,在上传新的数据的过程中指定了新的文件副本数的意思,并不
//是真正修改了原有的文件副本数
FSDataOutputStream out = fs.create(new Path("/user/hadoop/data2/kaola-copy2.jpg"), (short)2);
IOUtils.copyBytes(new FileInputStream("E:/zhaopian.jpg"), out, 1024);
out.close();
}
}
名称栏目:Hadoop学习--上传文件指定复制因子--day04
本文链接:http://azwzsj.com/article/gosihd.html