大数据学习系列之三-----HBaseJavaApi图文详解
引言
在上一篇中大数据学习系列之二 ----- HBase环境搭建(单机) 中，成功搭建了Hadoop+HBase的环境，本文则主要讲述使用Java 对HBase的一些操作。
集美网站建设公司创新互联,集美网站设计制作，有大型网站制作公司丰富经验。已为集美超过千家提供企业网站建设服务。企业网站搭建\外贸营销网站建设要多少钱，请找那个售后服务好的集美做网站的公司定做！
一、事前准备
1.确认hadoop和hbase成功启动
三、代码示例
工具类
import java.io.IOException;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Delete;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.client.Table;
import org.apache.hadoop.hbase.util.Bytes;
import com.alibaba.fastjson.JSONObject;
/**
*
* Title: HBaseUtil
* Description: HBase工具类
* Version:1.0.0
* @author pancm
* @date 2017年12月6日
*/
public class HBaseUtil {
/** hadoop 连接 */
private static Configuration conf = null;
/** hbase 连接 */
private static Connection con = null;
/** 会话 */
private static Admin admin = null;
private static String ip ="master";
private static String port ="2181";
private static String port1 ="9001";
// 初始化连接
static {
// 获得配制文件对象
conf = HBaseConfiguration.create();
// 设置配置参数
conf.set("hbase.zookeeper.quorum", ip);
conf.set("hbase.zookeeper.property.clientPort", port);
//如果hbase是集群，这个必须加上
//这个ip和端口是在hadoop/mapred-site.xml配置文件配置的
conf.set("hbase.master", ip+":"+port1);
}
/**
* 获取连接
*
* @return
*/
public synchronized static Connection getConnection() {
try {
if (null == con || con.isClosed()) {
// 获得连接对象
con = ConnectionFactory.createConnection(conf);
}
} catch (IOException e) {
System.out.println("获取连接失败!");
e.printStackTrace();
}
return con;
}
/**
* 连接关闭
*/
public static void close() {
try {
if (admin != null) {
admin.close();
}
if (con != null) {
con.close();
}
} catch (IOException e) {
System.out.println("连接关闭失败！");
e.printStackTrace();
}
}
/**
* 创建表
*
* @param tableName
* 表名
* @param columnFamily
* 列族
*/
public static void creatTable(String tableName, String[] columnFamily) {
if(null==tableName||tableName.length()==0){
return;
}
if(null==columnFamily||columnFamily.length==0){
return;
}
// 创建表名对象
TableName tn = TableName.valueOf(tableName);
// a.判断数据库是否存在
try {
// 获取会话
admin = getConnection().getAdmin();
if (admin.tableExists(tn)) {
System.out.println(tableName + " 表存在，删除表....");
// 先使表设置为不可编辑
admin.disableTable(tn);
// 删除表
admin.deleteTable(tn);
System.out.println("表删除成功.....");
}
// 创建表结构对象
HTableDescriptor htd = new HTableDescriptor(tn);
for (String str : columnFamily) {
// 创建列族结构对象
HColumnDescriptor hcd = new HColumnDescriptor(str);
htd.addFamily(hcd);
}
// 创建表
admin.createTable(htd);
System.out.println(tableName + " 表创建成功！");
} catch (IOException e) {
e.printStackTrace();
} finally {
close();
}
}
/**
* 数据单条插入或更新
*
* @param tableName
* 表名
* @param rowKey
* 行健 (主键)
* @param family
* 列族
* @param qualifier
* 列
* @param value
* 存入的值
* @return
*/
public static void insert(String tableName, String rowKey, String family,
String qualifier, String value) {
Table t = null;
try {
t = getConnection().getTable(TableName.valueOf(tableName));
Put put = new Put(Bytes.toBytes(rowKey));
put.addColumn(Bytes.toBytes(family), Bytes.toBytes(qualifier),
Bytes.toBytes(value));
t.put(put);
System.out.println(tableName + " 更新成功!");
} catch (IOException e) {
System.out.println(tableName + " 更新失败!");
e.printStackTrace();
} finally {
close();
}
}
/**
* 数据批量插入或更新
*
* @param tableName
* 表名
* @param list
* hbase的数据
* @return
*/
public static void insertBatch(String tableName, List list) {
if (null == tableName ||tableName.length()==0) {
return;
}
if( null == list || list.size() == 0){
return;
}
Table t = null;
Put put = null;
JSONObject json = null;
List puts = new ArrayList();
try {
t = getConnection().getTable(TableName.valueOf(tableName));
for (int i = 0, j = list.size(); i < j; i++) {
json = (JSONObject) list.get(i);
put = new Put(Bytes.toBytes(json.getString("rowKey")));
put.addColumn(Bytes.toBytes(json.getString("family")),
Bytes.toBytes(json.getString("qualifier")),
Bytes.toBytes(json.getString("value")));
puts.add(put);
}
t.put(puts);
System.out.println(tableName + " 更新成功!");
} catch (IOException e) {
System.out.println(tableName + " 更新失败!");
e.printStackTrace();
} finally {
close();
}
}
/**
* 数据删除
* @param tableName 表名
* @param rowKey 行健
* @return
*/
public static void delete(String tableName, String rowKey) {
delete(tableName,rowKey,"","");
}
/**
* 数据删除
* @param tableName 表名
* @param rowKey 行健
* @param family 列族
* @return
*/
public static void delete(String tableName, String rowKey, String family) {
delete(tableName,rowKey,family,"");
}
/**
* 数据删除
* @param tableName 表名
* @param rowKey 行健
* @param family 列族
* @param qualifier 列
* @return
*/
public static void delete(String tableName, String rowKey, String family,
String qualifier) {
if (null == tableName ||tableName.length()==0) {
return;
}
if( null == rowKey || rowKey.length() == 0){
return;
}
Table t = null;
try {
t = getConnection().getTable(TableName.valueOf(tableName));
Delete del = new Delete(Bytes.toBytes(rowKey));
// 如果列族不为空
if (null != family && family.length() > 0) {
// 如果列不为空
if (null != qualifier && qualifier.length() > 0) {
del.addColumn(Bytes.toBytes(family),
Bytes.toBytes(qualifier));
} else {
del.addFamily(Bytes.toBytes(family));
}
}
t.delete(del);
} catch (IOException e) {
System.out.println("删除失败!");
e.printStackTrace();
} finally {
close();
}
}
/**
* 查询该表中的所有数据
*
* @param tableName
* 表名
*/
public static void select(String tableName) {
if(null==tableName||tableName.length()==0){
return;
}
Table t = null;
List> list=new ArrayList>();
try {
t = getConnection().getTable(TableName.valueOf(tableName));
// 读取操作
Scan scan = new Scan();
// 得到扫描的结果集
ResultScanner rs = t.getScanner(scan);
if (null == rs ) {
return;
}
for (Result result : rs) {
// 得到单元格集合
List cs = result.listCells();
if (null == cs || cs.size() == 0) {
continue;
}
for (Cell cell : cs) {
Map map=new HashMap();
map.put("rowKey", Bytes.toString(CellUtil.cloneRow(cell)));// 取行健
map.put("timestamp", cell.getTimestamp());// 取到时间戳
map.put("family", Bytes.toString(CellUtil.cloneFamily(cell)));// 取到列族
map.put("qualifier", Bytes.toString(CellUtil.cloneQualifier(cell)));// 取到列
map.put("value", Bytes.toString(CellUtil.cloneValue(cell)));// 取到值
list.add(map);
}
}
System.out.println("查询的数据:"+list);
} catch (IOException e) {
System.out.println("查询失败!");
e.printStackTrace();
} finally {
close();
}
}
/**
* 根据表名和行健查询
* @param tableName
* @param rowKey
*/
public static void select(String tableName, String rowKey) {
select(tableName,rowKey,"","");
}
/**
* 根据表名、行健和列族查询
* @param tableName
* @param rowKey
* @param family
*/
public static void select(String tableName, String rowKey, String family) {
select(tableName,rowKey,family,"");
}
/**
* 根据条件明细查询
*
* @param tableName
* 表名
* @param rowKey
* 行健 (主键)
* @param family
* 列族
* @param qualifier
* 列
*/
public static void select(String tableName, String rowKey, String family,
String qualifier) {
Table t = null;
List> list=new ArrayList>();
try {
t = getConnection().getTable(TableName.valueOf(tableName));
// 通过HBase中的 get来进行查询
Get get = new Get(Bytes.toBytes(rowKey));
// 如果列族不为空
if (null != family && family.length() > 0) {
// 如果列不为空
if (null != qualifier && qualifier.length() > 0) {
get.addColumn(Bytes.toBytes(family),
Bytes.toBytes(qualifier));
} else {
get.addFamily(Bytes.toBytes(family));
}
}
Result r = t.get(get);
List cs = r.listCells();
if (null == cs || cs.size() == 0) {
return;
}
for (Cell cell : cs) {
Map map=new HashMap();
map.put("rowKey", Bytes.toString(CellUtil.cloneRow(cell)));// 取行健
map.put("timestamp", cell.getTimestamp());// 取到时间戳
map.put("family", Bytes.toString(CellUtil.cloneFamily(cell)));// 取到列族
map.put("qualifier", Bytes.toString(CellUtil.cloneQualifier(cell)));// 取到列
map.put("value", Bytes.toString(CellUtil.cloneValue(cell)));// 取到值
list.add(map);
}
System.out.println("查询的数据:"+list);
} catch (IOException e) {
System.out.println("查询失败!");
e.printStackTrace();
} finally {
close();
}
}
} | | 测试代码
import java.util.ArrayList;
import java.util.List;
import com.alibaba.fastjson.JSONObject;
/**
*
* Title: hbaseTest
* Description: HBase 相关测试
* Version:1.0.0
* @author pancm
* @date 2017年11月23日
*/
public class hbaseTest {
public static void main(String[] args) {
test();
}
/**
* 一些测试
*/
private static void test() {
String tableName1="t_student",tableName2="t_student_info";
String []columnFamily1={"st1","st2"};
String []columnFamily2={"stf1","stf2"};
HBaseUtil.creatTable(tableName1, columnFamily1);
HBaseUtil.creatTable(tableName2, columnFamily2);
HBaseUtil.insert(tableName1, "1001", columnFamily1[0], "name", "zhangsan");
HBaseUtil.insert(tableName1, "1002", columnFamily1[0], "name", "lisi");
HBaseUtil.insert(tableName1, "1001", columnFamily1[1], "age", "18");
HBaseUtil.insert(tableName1, "1002", columnFamily1[1], "age", "20");
HBaseUtil.insert(tableName2, "1001", columnFamily2[0], "phone", "123456");
HBaseUtil.insert(tableName2, "1002", columnFamily2[0], "phone", "234567");
HBaseUtil.insert(tableName2, "1001", columnFamily2[1], "mail", "123@163.com");
HBaseUtil.insert(tableName2, "1002", columnFamily2[1], "mail", "234@163.com");
HBaseUtil.select(tableName1); //查询该表所有数据
HBaseUtil.select(tableName1, "1001"); //根据表名和行健查询
HBaseUtil.select(tableName2, "1002",columnFamily2[0]); //根据表名、行健和列族查询
HBaseUtil.select(tableName2, "1002",columnFamily2[1],"mail"); //根据表名、行健、列族、和列查询
HBaseUtil.select(tableName1, "1002"); //根据表名和行健查询
HBaseUtil.delete(tableName1, "1002", columnFamily1[0]);//删除数据
HBaseUtil.select(tableName1, "1002"); //根据表名和行健查询
}
}其他
版权声明:
作者：虚无境
博客园出处：http://www.cnblogs.com/xuwujing
CSDN出处：http://blog.csdn.net/qazwsxpcm
个人博客出处：http://www.panchengming.com
原创不易，转载请标明出处，谢谢！
分享题目：大数据学习系列之三-----HBaseJavaApi图文详解
当前地址：http://azwzsj.com/article/pgoood.html
