ITeye博客

xq0804200134的博客

xq0804200134 · 共 159 篇文章

大数据挑战与NoSQL数据库技术 试读有感

大数据挑战与NoSQL数据库技术 试读有感 大数据,nosql可以说是互联网的一个新时代,对于像我们这样在IT界混的‘码农’来说还是很重要的。废话不多说,先说书...... 在我看来书分三种: 1.入门级书 2.api式的书 3.深入原理的书 大数据挑战与NoSQL数据库技术这本我个人觉得属于(1)+(3)类。不过这确实是一本很好的入门书。这本书应该说理论和实践都有,这点很好。该书把该领域的很多理论都讲的非常详细,像cap,base理论.....这是我很喜欢这本书的原因。一开始在学习nosql时,貌似没有一本很全的书来讲解这个。 在来说说书的内容.....第一章很详细介绍了nosql领域很重…

2013-07-05 09:38 · 其他 · 评论(0)

Hive-0.5中SerDe概述

Hive-0.5中SerDe概述 propertiesobjecttablestringnullstructure 一、背景 1、当进程在进行远程通信时,彼此可以发送各种类型的数据,无论是什么类型的数据都会以二进制序列的形式在网络上传送。发送方需要把对象转化为字节序列才可在网络上传输,称为对象序列化;接收方则需要把字节序列恢复为对象,称为对象的反序列化。 2、Hive的反序列化是对key/value反序列化成hive table的每个列的值。 3、Hive可以方便的将数据加载到表中而不需要对数据进行转换,这样在处理海量数据时可以节省大量的时间。 二、技术细节 1、SerDe是Serializ…

2013-04-19 09:23 · hive · 评论(0)

hive bucket

hive bucket hive中table可以拆分成partition,table和partition可以通过‘CLUSTERED BY ’进一步分bucket,bucket中的数据可以通过‘SORT BY’排序。 bucket主要作用: 1. 数据sampling 2. 提升某些查询操作效率,例如mapside join 需要特别注意的是:clustered by和sorted by不会影响数据的导入,这意味着,用户必须自己负责数据如何如何导入,包括数据的分桶和排序。 'set hive.enforce.bucketing = true' 可以自动控制上一轮reduce的数量从而适配bu…

2013-04-18 09:19 · hive · 评论(0)

Java性能优化技巧

Java性能优化技巧 在JAVA程序中,性能问题的大部分原因并不在于JAVA语言,而是程序本身。养成良好的编码习惯非常重要,能够显著地提升程序性能。 1. 尽量使用final修饰符。 带有final修饰符的类是不可派生的。在JAVA核心API中,有许多应用final的例子,例如 java.lang.String。为String类指定final防止了使用者覆盖length()方法。另外,如果一个类是final的,则该类所有方法都是final的。java编译器会寻找机会内联(inline)所有的final方法(这和具体的编译器实现有关)。此举能够使性能平均提高 50%。 2.尽量重用对象。 特别…

2013-03-30 11:19 · java常用 · 评论(0)

java内部类的作用

java内部类的作用 一、 定义 放在一个类的内部的类我们就叫内部类。 二、 作用 1.内部类可以很好的实现隐藏 一般的非内部类,是不允许有 private 与protected权限的,但内部类可以 2.内部类拥有外围类的所有元素的访问权限 3.可是实现多重继承 4.可以避免修改接口而实现同一个类中两种同名方法的调用。 三、 例子 1.实现隐藏 平时我们对类的访问权限,都是通过类前面的访问修饰符来限制的,一般的非内部类,是不允许有 private 与protected权限的,但内部类可以,所以我们能通过内部类来隐藏我们的信息。可以看下面的例子 接口 package insidecategor…

2013-03-30 11:06 · java常用 · 评论(0)

StringTokenizer 用法

StringTokenizer是一个用来分隔String的应用类,相当于VB的split函数。 1.构造函数 public StringTokenizer(String str) public StringTokenizer(String str, String delim) public StringTokenizer(String str, String delim, boolean returnDelims) 第一个参数就是要分隔的String,第二个是分隔字符集合,第三个参数表示分隔符号是否作为标记返回,如果不指定分隔字符,默认的是:”\t\n\r\f” 2.核心方法 public …

2013-03-25 09:29 · java常用 · 评论(0)

dom4j例子

/** * 解析包含有DB连接信息的XML文件 * 格式必须符合如下规范: * 1. 最多三级,每级的node名称自定义; * 2. 二级节点支持节点属性,属性将被视作子节点; * 3. CDATA必须包含在节点中,不能单独出现。 * * 示例1——三级显示: * <db-connections> * <connection> * <name>DBTest</name> * <jndi></jndi> * <url> * <![CDATA[jdbc:mysql://localhost:3306/db_test?useUnicode=true&characterEncoding=UTF8]]>…

2013-03-25 09:27 · xml · 评论(0)

SAX,DOM,JAXP,JDOM,DOM4J

第一:首先介绍一下SAX,DOM,JAXP,JDOM,DOM4J的基本知识: (注意:至于 JAXP | JAXB | JAXM | JAXR | JAX-RPC 分别指什么,查看 http://gceclub.sun.com.cn/staticcontent/html/xml/faq/#jaxr _) 1、sax、dom是两种对xml文档进行分析的方法(没有具体的实现,只有接口) 所以不是解释器,如果光有他们,你是完成不了对xml文档的处理的。 sax的包是org.xml.sax dom的包是org.w3c.dom 包的名称很重要,它有助于你理解他们之间的关系。 2、jaxp是api,他封…

2013-03-25 09:25 · xml · 评论(0)

浅谈CSRF攻击方式

一.CSRF是什么? CSRF(Cross-site request forgery),中文名称:跨站请求伪造,也被称为:one click attack/session riding,缩写为:CSRF/XSRF。 二.CSRF可以做什么? 你这可以这么理解CSRF攻击:攻击者盗用了你的身份,以你的名义发送恶意请求。CSRF能够做的事情包括:以你名义发送邮件,发消息,盗取你的账号,甚至于购买商品,虚拟货币转账......造成的问题包括:个人隐私泄露以及财产安全。 三.CSRF漏洞现状 CSRF这种攻击方式在2000年已经被国外的安全人员提出,但在国内,直到06年才开始被关注,08年,国内外的…

2013-03-18 15:03 · web安全 · 评论(0)

Java日志框架

Java日志框架 Log4j Apache的一个开放源代码项目,通过使用Log4j,我们可以控制日志信息输送的目的地是控制台、文件、GUI组件、甚至是套接口服务器、NT的事件记录器、UNIX Syslog守护进程等;用户也可以控制每一条日志的输出格式;通过定义每一条日志信息的级别,用户能够更加细致地控制日志的生成过程。这些可以通过一个配置文件来灵活地进行配置,而不需要修改程序代码。 配置文件log4j.properties or log4j.xml,Logger的由低到高级别如下: ALL<DEBUG<INFO<WARN<ERROR<FATAL<OFF java -Dlog4j.config…

2013-03-17 17:17 · java常用 · 评论(0)

java nio Buffer 中 compact的作用

java nio Buffer 中 compact的作用 该方法的作用是将 position 与 limit之间的数据复制到buffer的开始位置,复制后 position = limit -position,limit = capacity 但如果position 与limit 之间没有数据的话发,就不会进行复制 下面举个例子: 将数据从一个channel 读取出来,然后写入另外一个channel ByteBuffer buffer = ByteBuffer.allocate(4); while((len=channelSrc.read(buffer))>0) { buffer.flip(…

2013-03-12 17:29 · java常用 · 评论(0)

Next-Key锁定

Next-Key锁定:避免幽灵问题 在行级锁定中,InnoDB 使用一个名为 next-key locking 的算法。InnoDB以这样一种方式执行行级锁定:当它搜索或扫描表的索引之时,它对遇到的索引记录设置共享或独占锁定。因此,行级锁定事实上是索引记录锁定。 InnoDB对索引记录设置的锁定也映像索引记录之前的“间隙”。如果一个用户对一个索引上的记录R有共享或独占的锁定,另一个用户 不能紧接在R之前以索引的顺序插入一个新索引记录。这个间隙的锁定被执行来防止所谓的“幽灵问题”。假设你想要从有一个标识符值大于100的子表读并锁定所有子记录,并想着随后在选定行中更新一些列: SELECT * …

2013-03-11 11:23 · mysql · 评论(0)

java annotation 入门

一. 最常见的annotation @Override:用在方法之上,用来告诉别人这一个方法是改写父类的 @De PR ecated:建议别人不要使用旧的API的时候用的,编译的时候会用产生警告信息,可以设定在程序里的所有的元素上. @SuppressWarnings:暂时把一些警告信息消息关闭 @Entity:表示该类是可持久化的类 二. 设计一个自己的Annotation 先看代码再讲话 1. 只有一个参数的Annotation实现 view plaincopy to clipboardprint? package chb.test.annotation; import java .la…

2013-03-11 11:23 · java常用 · 评论(0)

MySQL优化GROUP BY-松散索引扫描与紧凑索引扫描

MySQL优化GROUP BY-松散索引扫描与紧凑索引扫描 满足GROUP BY子句的最一般的方法是扫描整个表并创建一个新的临时表,表中每个组的所有行应为连续的,然后使用该临时表来找到组并应用累积函数(如果有)。在某些情况中,MySQL能够做得更好,即通过索引访问而不用创建临时表。 为GROUP BY使用索引的最重要的前提条件是所有GROUP BY列引用同一索引的属性,并且索引按顺序保存其关键字。是否用索引访问来代替临时表的使用还取决于在查询中使用了哪部分索引、为该部分指定的条件,以及选择的累积函数。 由于GROUP BY 实际上也同样会进行排序操作,而且与ORDER BY 相比,GROUP…

2013-03-10 14:34 · mysql · 评论(0)

MySQL Explain功能各种信息的解释

我们先看一下在MySQLExplain功能中给我们展示的各种信息的解释: ◆ID:QueryOptimizer所选定的执行计划中查询的序列号; ◆Select_type:所使用的查询类型,主要有以下这几种查询类型 ◇DEPENDENTSUBQUERY:子查询中内层的第一个SELECT,依赖于外部查询的结果集; ◇DEPENDENTUNION:子查询中的UNION,且为UNION中从第二个SELECT开始的后面所有 SELECT,同样依赖于外部查询的结果集; ◇PRIMARY:子查询中的最外层查询,注意并不是主键查询; ◇SIMPLE:除子查询或者UNION之外的其他查询; ◇SUBQUERY…

2013-03-10 13:21 · mysql · 评论(0)