Java NIO2:缓冲区

什么是缓冲区

一个缓冲区对象是固定数量的数据的容器, 其作用是一个存储器,或者分段运输区,在这里数据可被存储并在之后用于检索。缓冲区像前篇文章讨论的那样被写满和释放,对于每个非布尔原始数据类型都有一 个缓冲区类,尽管缓冲区作用于它们存储的原始数据类型,但缓冲区十分倾向于处理字节,非字节缓冲区可以再后台执行从字节或到字节的转换,这取决于缓冲区是 如何创建的。

缓冲区的工作与通道紧密联系。 通道是I/O传输发生时通过的入口,而缓冲区是这些数据传输的来源或目标。对于离开缓冲区的传输,待传递出去的数据被置于一个缓冲区,被传送到通道;待传 回的缓冲区的传输,一个通道将数据放置在所提供的缓冲区中。这种在协同对象之间进行的缓冲区数据传递时高效数据处理的关键。

Buffer类的家谱

下图是Buffer的类层次图。在顶部是通用Buffer类,Buffer定义所有缓冲区类型共有的操作,无论是它们所包含的数据类型还是可能具有的特定行为:

缓冲区基础

概念上,缓冲区是包在一个对象内的基本数据元素数组。Buffer类相比一个简单数组的优点是它将关于数据的数据内容和信息包含在一个单一的对象中,Buffer类以及它专有的子类定义了一个用于处理数据缓冲区的API。下面来看一下Buffer类所具有的属性和方法:

1、属性

所有的缓冲区都具有四个属性来提供关于其所包含的数据元素的信息,它们是:

属      性 作      用
capacity 容量,指缓冲区能够容纳的数据元素的最大数量,这一容量在缓冲区创建时被设定,并且永远不能被改变
limit 上界,指缓冲区的第一个不能被读或写的元素,或者说是,缓冲区中现存元素的计数
position 位置,指下一个要被读或写的元素的索引,位置会自动由相应的get()和put()函数更新
mark 标记,指一个备忘位置,调用mark()来设定mark=position,调用reset()来设定postion=mark,标记未设定前是未定义的

这四个属性总是遵循以下的关系:0 <= mark <= position <= limit <= capacity

2、方法

下面看一下如何使用一个缓冲区,Buffer中提供了以下的一些方法:

方      法 作      用
Object array() 返回此缓冲区的底层实现数组
int arrayOffset() 返回此缓冲区的底层实现数组中第一个缓冲区还俗的偏移量
int capacity() 返回此缓冲区的容量
Buffer clear() 清除此缓冲区
Buffer flip() 反转此缓冲区
boolean hasArray() 告知此缓冲区是否具有可访问的底层实现数组
boolean hasRemaining() 告知在当前位置和限制之间是否有元素
boolean isDirect() 告知此缓冲区是否为直接缓冲区
boolean isReadOnly() 告知此缓冲区是否为只读缓存
int limit() 返回此缓冲区的上界
Buffer limit(int newLimit) 设置此缓冲区的上界
Buffer mark() 在此缓冲区的位置设置标记
int position() 返回此缓冲区的位置
Buffer position(int newPosition) 设置此缓冲区的位置
int remaining() 返回当前位置与上界之间的元素数
Buffer reset() 将此缓冲区的位置重置为以前标记的位置
Buffer rewind() 重绕此缓冲区

关于这个API有一点值得注意的,像clear()这类函数,通常应当返回的是void而不是Buffer引用。这些函数将引用返回到它们在(this)上被引用的对象,这是一个允许级联调用的类设计方法。级联调用允许这种类型的代码:

buffer.mark();
buffer.position(5);
buffer.reset();

被简写成:

buffer.mark().position(5).reset();

缓冲区代码实例

对缓冲区的使用,先看一段代码,然后解释一下:

 1 public class TestMain
 2 {
 3     /**
 4      * 待显示的字符串
 5      */
 6     private static String[] strs =
 7     {
 8         "A random string value",
 9         "The product of an infinite number of monkeys",
10         "Hey hey we‘re the monkees",
11         "Opening act for the Monkees:Jimi Hendrix",
12         "Scuse me while I kiss this fly",
13         "Help Me! Help Me!"
14     };
15
16     /**
17      * 标识strs的下标索引
18      */
19     private static int index = 0;
20
21     /**
22      * 向Buffer内放置数据
23      */
24     private static boolean fillBuffer(CharBuffer buffer)
25     {
26         if (index >= strs.length)
27             return false;
28
29         String str = strs[index++];
30         for (int i = 0; i < str.length(); i++)
31         {
32             buffer.put(str.charAt(i));
33         }
34
35         return true;
36     }
37
38     /**
39      * 从Buffer内把数据拿出来
40      */
41     private static void drainBuffer(CharBuffer buffer)
42     {
43         while (buffer.hasRemaining())
44         {
45             System.out.print(buffer.get());
46         }
47         System.out.println("");
48     }
49
50     public static void main(String[] args)
51     {
52         CharBuffer cb = CharBuffer.allocate(100);
53         while (fillBuffer(cb))
54         {
55             cb.flip();
56             drainBuffer(cb);
57             cb.clear();
58         }
59     }
60 }

逐一解释一下:

1、第52行,CharBuffer是一个抽象类,它不能被实例化,因此利用allocate方法来实例化,相当于是一个工厂方法。实例化出来的是HeapCharBuffer,默认大小是100。根据上面的Buffer的类家族图谱,可以看到每个Buffer的子类都是使用allocate方法来实例化具体的子类的,且实例化出来的都是Heap*Buffer

2、第24行~第36行,每次取String数组中的一个,利用put方法放置一个数据进入CharBuffer中

3、第55行,调用flip方法,这是非常重要的。在缓冲区被写满后,必须将其清空,但是如果现在在通道上直接执行get()方法,那么它将从我们刚刚插入的有用数据之外取出未定义数据;如果此时将位置重新设置为0,就会从正确的位置开始获取数据,但是如何知道何时到达我们所插入数据末端呢?这就是上界属性被引入的目的----上界属性指明了缓冲区有效内容的末端。因此,在读取数据的时候我们需要做两件事情:

(1)将上界属性limit设置为当前位置    (2)将位置position设置为0

这两步操作,JDK API给开发者提供了一个filp()方法来完成,flip()方法将一个能够继续添加数据元素的填充状态的缓冲区翻转成一个准备读出元素的释放状态,因此每次准备读出元素前,都必须调用一次filp()方法

4、第41行~第48行,每次先判断一下是否已经达到缓冲区的上界,若存在则调用get()方法获取到此元素,get()方法会自动移动下标position

5、第57行,对Buffer的操作完成之后,调用clear()方法将所有属性回归原位,但是clear()方法并不会改变缓冲区中的任何数据

缓冲区比较

缓冲区的比较即equals方法,缓冲区的比较并不像我们想像得这么简单,两个缓冲区里面的元素一样就是相等,两个缓冲区相等必须满足以下三个条件:

1、两个对象类型相同,包含不同数据类型的buffer永远不会像等,而且buffer绝不会等于非buffer对象

2、两个对象都剩余相同数量的元素,Buffer的容量不需要相同,而且缓冲区中剩余数据的索引也不必相同。但每个缓冲区中剩余元素的数目(从position到limit)必须相同

3、在每个缓冲区中应被get()函数返回的剩余数据元素序列必须一致

如果不满足上面三个条件,则返回false。下面两幅图演示了两个缓冲区相等和不相等的场景,首先是两个属性不同的缓冲区也可以相等:

然后是两个属性相同但是被等为不相等的缓冲区:

批量移动数据

缓冲区的设计目的就是为了能够高效地传输数据。一次移动一个数据元素,其实并不高效,如在下面的程序清单中所看到的那样,Buffer API提供了向缓冲区内外批量移动数据元素的函数:

public abstract class CharBuffer
    extends Buffer
    implements Comparable<CharBuffer>, Appendable, CharSequence, Readable
{
    ...
    public CharBuffer get(char[] dst){...}
    public CharBuffer get(char[] dst, int offset, int length){...}
    public final CharBuffer put(char[] src){...}
    public CharBuffer put(char[] src, int offset, int length){...}
    public CharBuffer put(CharBuffer src){...}
    public final CharBuffer put(String src){...}
    public CharBuffer put(String src, int start, int end){...}
    ...
}

其实这种批量移动的合成效果和前文的循环在底层实现上是一样的,但是这些方法可能高效得多,因为这种缓冲区实现能够利用本地代码或其他的优化来移动数据。

字节缓冲区

字节缓冲区和其他缓冲区类型最明显的不同在于,它们可能成为通道所执行I/O的源头或目标,如果对NIO有了解的朋友们一定知道,通道只接收ByteBuffer作为参数。

如我们所知道的,操作系统在内存区域进行I/O操作,这些内存区域,就操作系统方面而言,是相连的字节序列。于是,毫无疑问,只有字节缓冲区有资格参与I/O操作。也请回想一下操作系统会直接存取进程----在本例中是JVM进程的内存空间,以传输数据。这也意味着I/O操作的目标内存区域必须是连续的字节序列,在JVM中,字节数组可能不会在内存中连续存储,或者无用存储单元收集可能随时对其进行移动。在Java中,数组是对象,而数据存储在对象中的方式在不同的JVM实现中各有不同。

出于这一原因,引入了直接缓冲区的概念。直接缓冲区被用于与通道和固有I/O线程交互,它们通过使用固有代码来告知操作系统直接释放或填充内存区域,对用于通道直接或原始存取的内存区域中的字节元素的存储尽了最大的努力。

直接字节缓冲区通常是I/O操作最好的选择。在设计方面,它们支持JVM可用的最高效I/O机制,非直接字节缓冲区可以被传递给通道,但是这样可能导致性能损耗,通常非直接缓冲不可能成为一个本地I/O操作的目标,如果开发者向一个通道中传递一个非直接ByteBuffer对象用于写入,通道可能会在每次调用中隐含地进行下面的操作:

1、创建一个临时的直接ByteBuffer对象

2、将非直接缓冲区的内容复制到临时缓冲中

3、使用临时缓冲区执行低层次I/O操作

4、临时缓冲区对象离开作用于,并最终成为被回收的无用数据

这可能导致缓冲区在每个I/O上复制并产生大量对象,而这种事都是我们极力避免的。

直接缓冲区是I/O的最佳选择,但可能比创建非直接缓冲区要花费更高的成本。直接缓冲区使用的内存是通过调用本地操作系统的代码分配的,绕过了标准JVM堆栈。建立和销毁直接缓冲区会明显比具有堆栈的缓冲区更极爱破费,这取决于主操作系统以及JVM实现。直接缓冲区的内存区域不受无用存储单元收集支配,因为它们位于标准JVM堆栈之外。

直接ByteBuffer是通过调用具有所需容量的ByteBuffer.allocateDirect()函数产生的:

public abstract class ByteBuffer
    extends Buffer
    implements Comparable<ByteBuffer>
{
    ...
    public static ByteBuffer allocateDirect(int capacity)
    {
        return new DirectByteBuffer(capacity);
    }
    ...
}

时间: 05-19

Java NIO2:缓冲区的相关文章

java nio 缓冲区(一)

  本文来自于我的个人博客:java nio 缓冲区(一) 我们以Buffer类开始对java.nio包的浏览历程.这些类是java.nio的构造基础.这个系列中,我们将跟随<java NIO>书籍一起深入研究缓冲区,了解各种不同的类型,并学会怎样使用. 一个Buffer对象是固定数量的数据容器.其作用是一个存储器,或者分段运输区,在这里数据可被存储并在之后用于检索. Buffer类的家谱: 一,缓冲区基础 1.缓冲区的属性: 容量(capacity):缓冲区能够容纳的数据元素的最大数量,这一

Java NIO2:NIO概述

一.概述 从JDK1.4开始,Java提供了一系列改进的输入/输出处理的新特性,被统称为NIO(即New I/O).新增了许多用于处理输入输出的类,这些类都被放在java.nio包及子包下,并且对原java.io包中的很多类进行改写,新增了满足NIO的功能.NIO采用内存映射文件的方式来处理输入输出,NIO将文件或文件的一段区域映射到内存中,这样就可以像访问内存一样访问文件了. NIO 与原来的 I/O 有同样的作用和目的,但是它使用不同的方式?  块I/O.块 I/O 的效率可以比流 I/O

java nio2

Buffer的基本用法 使用Buffer读写数据一般遵循以下四个步骤: 写入数据到Buffer 调用flip()方法 从Buffer中读取数据 调用clear()方法或者compact()方法 当向buffer写入数据时,buffer会记录下写了多少数据.一旦要读取数据,需要通过flip()方法将Buffer从写模式切换到读模式.在读模式下,可以读取之前写入到buffer的所有数据. 一旦读完了所有的数据,就需要清空缓冲区,让它可以再次被写入.有两种方式能清空缓冲区:调用clear()或comp

java Io缓冲区复制文件

//直接写代码了  类和包自己导入创建 ,手打很累的 public static void main(String args[]){ FileReader fr=null;   //文件输入流 FileWriter fw=null;  //文件输出流 BufferedReader br=null;  //字符缓冲区输入流 BufferedWriter bw=null;    //字符缓冲区输出流 try{ File  f = new File("f:\\ha.txt"); fr =ne

java nio 学习

1,nio概述 NIO主要有三大核心部分:Channel(通道),Buffer(缓冲区), Selector.传统IO基于字节流和字符流进行操作,而NIO基于Channel和Buffer(缓冲区)进行操作,数据总是从通道读取到缓冲区中,或者从缓冲区写入到通道中.Selector(选择区)用于监听多个通道的事件(比如:连接打开,数据到达).因此,单个线程可以监听多个数据通道. NIO和传统IO(一下简称IO)之间第一个最大的区别是,IO是面向流的,NIO是面向缓冲区的. Java IO面向流意味着

java 1.7 1.8新特性

在JDK1.7的新特性方面主要有下面几方面的增强:1.jdk7语法上1.1二进制变量的表示,支持将整数类型用二进制来表示,用0b开头.1.2 Switch语句支持string类型1.3 Try-with-resource语句 注意:实现java.lang.AutoCloseable接口的资源都可以放到try中,跟final里面的关闭资源类似: 按照声明逆序关闭资源 ;Try块抛出的异常通过Throwable.getSuppressed获取1.4 Catch多个异常 说明:Catch异常类型为fi

Android NDK开发篇(五):Java与原生代码通信(数据操作)

尽管说使用NDK能够提高Android程序的运行效率,可是调用起来还是略微有点麻烦.NDK能够直接使用Java的原生数据类型,而引用类型,由于Java的引用类型的实如今NDK被屏蔽了,所以在NDK使用Java的引用类型则要做对应的处理. 一.对引用数据类型的操作 尽管Java的引用类型的实如今NDK被屏蔽了,JNI还是提供了一组API,通过JNIEnv接口指针提供原生方法改动和使用Java的引用类型. 1.字符串操作 JNI把Java的字符串当作引用来处理,在NDK中使用Java的字符串,须要相

支撑Java NIO 与 NodeJS的底层技术

支撑Java NIO 与 NodeJS的底层技术 众所周知在近几个版本的Java中增加了一些对Java NIO.NIO2的支持,与此同时NodeJS技术栈中最为人称道的优势之一就是其高性能IO,那么我们今天要讨论的话题就是支撑这些技术的底层技术. 开始之前先要提出的一个问题是: 为什么NodeJS和Java NIO2没有在更早的时间出现? 答案:个人认为是底层的支撑技术还不成熟. 那么,底层技术指的是什么呢?对的,我想很多人已经猜到,是操作系统技术.本文提出的两个概念Java NIO2和Node

jdk1.7和jdk1.8区别

转自:http://www.2cto.com/kf/201307/225968.html 本文是我学习了解了jdk7和jdk8的一些新特性的一些资料,有兴趣的大家可以浏览下下面的内容. 官方文档:http://www.oracle.com/technetwork/java/javase/jdk7-relnotes-418459.html 在jdk7的新特性方面主要有下面几方面的增强: 1.jdk7语法上    1.1二进制变量的表示,支持将整数类型用二进制来表示,用0b开头.    // 所有整

jdk7的新特性

在jdk7的新特性方面主要有下面几方面的增强: 1.jdk7语法上 1.1二进制变量的表示,支持将整数类型用二进制来表示,用0b开头. // 所有整数 int, short,long,byte都可以用二进制表示 // An 8-bit 'byte' value: byte aByte = (byte) 0b00100001; // A 16-bit 'short' value: short aShort = (short) 0b1010000101000101; // Some 32-bit '