Nio实例与分析

1.Java NIO 基本介绍

  1. Java NIO 全称 java non-blocking IO,是指 JDK 提供的新 API。从 JDK1.4 开始,Java 提供了一系列改进的输入/输出的新特性,被统称为 NIO(即 New IO),是同步非阻塞

  2. NIO 相关类都被放在 java.nio 包及子包下,并且对原 java.io 包中的很多类进行改写。【基本案例】

  3. NIO 有三大核心部分:Channel( 通道)Buffer( 缓冲区), Selector( 选择器)

  4. NIO 是面向缓冲区 ,或者面向块 编程的。数据读取到一个它稍后处理的缓冲区,需要时可在缓冲区中前后移动,这就增加了处理过程中的灵活性,使用它可以提供非阻塞式的高伸缩性网络

  5. Java NIO 的非阻塞模式,使一个线程从某通道发送请求或者读取数据,但是它仅能得到目前可用的数据,如果目前没有数据可用时,就什么都不会获取,而不是保持线程阻塞,所以直至数据变的可以读取之前,该线程可以继续做其他的事情。 非阻塞写也是如此,一个线程请求写入一些数据到某通道,但不需要等待它完全写入,这个线程同时可以去做别的事情。【后面有案例说明】

  6. 通俗理解:NIO 是可以做到用一个线程来处理多个操作的。假设有 10000 个请求过来,根据实际情况,可以分配50 或者 100 个线程来处理。不像之前的阻塞 IO 那样,非得分配 10000 个。

  7. HTTP2.0 使用了多路复用的技术,做到同一个连接并发处理多个请求,而且并发请求的数量比 HTTP1.1 大了好几个数量级

2. 案例说明 NIO 的 Buffer

import java.nio.IntBuffer;

public class BasicBuffer {
    public static void main(String[] args){

        //举例说明Buffer 的使用(简单说明)
        //创建一个Buffer,大小使用5,即可以存放5个int 😊
        IntBuffer intBuffer = IntBuffer.allocate(5);

        //向Buffer中存放数据
//        intBuffer.put(10);
//        intBuffer.put(11);
//        intBuffer.put(12);
//        intBuffer.put(13);
//        intBuffer.put(14);
        for(int i=0;i<intBuffer.capacity();i++){
            intBuffer.put(i*2);
        }

        //如何从buffer中取数据
        //将buffer转换,读写切换
        intBuffer.flip();
        
        //设置从第几个读
        intBuffer.position(1);
        while(intBuffer.hasRemaining()){
            System.out.println(intBuffer.get());
        }

    }
}

3.NIO 和 BIO 的比较

  1. BIO 以的方式处理数据,而 NIO 以的方式处理数据,块 I/O 的效率比流 I/O 高很多

  2. BIO 是阻塞的,NIO 则是非阻塞的

  3. BIO 基于字节流和字符流进行操作,而 NIO 基于 Channel(通道)和 Buffer(缓冲区)进行操作,数据总是从通道读取到缓冲区中,或者从缓冲区写入到通道中。Selector(选择器)用于监听多个通道的事件(比如:连接请求,数据到达等),因此使用单个线程就可以监听多个客户端通道

4. NIO 三大核心原理示意图

Selector 、 Channel 和 Buffer 的关系图(简单版)

  1. 每个 channel 都会对应一个 Buffer

  2. Selector 对应一个线程, 一个线程对应多个 channel(连接)

  3. 该图反应了有三个 channel 注册到 该 selector //程序

  4. 程序切换到哪个 channel 是有事件决定的, Event 就是一个重要的概念

  5. Selector 会根据不同的事件,在各个通道上切换

  6. Buffer 就是一个内存块 , 底层是有一个数组

  7. 数据的读取写入是通过 Buffer, 这个和 BIO , BIO 中要么是输入流,或者是输出流, 不能双向,但是 NIO 的 Buffer 是可以读也可以写,需要 flip 方法切换

  8. channel 是双向的, 可以返回底层操作系统的情况, 比如 Linux , 底层的操作系统通道就是双向的

5. 缓冲区

a.基本介绍

缓冲区(Buffer):缓冲区本质上是一个 可以读写数据的内存块,可以理解成是一个 容器对象( 含数组),该对象提供了一组方法,可以更轻松地使用内存块,,缓冲区对象内置了一些机制,能够跟踪和记录缓冲区的状态变化情况。Channel 提供从文件、网络读取数据的渠道,但是读取或写入的数据都必须经由 Buffer 。

b.Buffer 类及其子类
  1. 在 NIO 中,Buffer 是一个顶层父类,它是一个抽象类, 类的层级关系图:


2) Buffer 类定义了所有的缓冲区都具有的四个属性来提供关于其所包含的数据元素的信息:


3) Buffer 类相关方法一览

c.ByteBuffer

从前面可以看出对于 Java 中的基本数据类型(boolean 除外),都有一个 Buffer 类型与之相对应,最常用的自然是 ByteBuffer 类(二进制数据),该类的主要方法如下:

6.通道(Channel)

  1. NIO 的通道类似于流,但有些区别如下:
     通道可以同时进行读写,而流只能读或者只能写
     通道可以实现异步读写数据
     通道可以从缓冲读数据,也可以写数据到缓冲:

  2. BIO 中的 stream 是单向的,例如 FileInputStream 对象只能进行读取数据的操作,而 NIO 中的通道(Channel)是双向的,可以读操作,也可以写操作。

  3. Channel 在 NIO 中是一个接口
    public interface Channel extends Closeable{}

  4. 常 用 的 Channel 类 有 : FileChannel 、 DatagramChannel 、 ServerSocketChannel 和 SocketChannel 。
    【ServerSocketChanne 类似 ServerSocket , SocketChannel 类似 Socket】

  5. FileChannel 用于文件的数据读写,DatagramChannel 用于 UDP 的数据读写,ServerSocketChannel 和SocketChannel 用于 TCP 的数据读写。

  6. 图示

7.FileChannel 类

FileChannel 主要用来对本地文件进行 IO 操作,常见的方法有

  • public int read(ByteBuffer dst) ,从通道读取数据并放到缓冲区中
  • public int write(ByteBuffer src) ,把缓冲区的数据写到通道中

  • public long transferFrom(ReadableByteChannel src, long position, long count),从目标通道中复制数据到当前通道

  • public long transferTo(long position, long count, WritableByteChannel target),把数据从当前通道复制给目标通道

实例

  1. 使用前面学习后的 ByteBuffer(缓冲) 和 FileChannel(通道), 将 “hello,尚硅谷” 写入到 file01.txt 中

  2. 文件不存在就创建

实例一:写入文件的程序
import java.io.FileOutputStream;
import java.io.IOException;
import java.nio.ByteBuffer;
import java.nio.channels.FileChannel;

public class NioFileChannel01 {

    public static void main(String[] args) throws IOException {
        String str = "hello,尚硅谷";
        //创建一个输出流-> channel
        FileOutputStream fileOutputStream = new FileOutputStream("D:\\1 Java项目\\12.fuwu\\NettyTempPro\\file01.txt");

        //通过 fileOutputStream (输出流)获取对应的FileChannel
        // 这个 fileChannel 真实 类型是 fileChannelImpl
        FileChannel fileChannel = fileOutputStream.getChannel();

        //创建一个缓存区 ByteBuffer
        ByteBuffer byteBuffer = ByteBuffer.allocate(1024);

        //将 str 放入 byteBuffer
        byteBuffer.put(str.getBytes());

        //对byteBuffer进行反转
        byteBuffer.flip();

        //将byteBuffer,数据写入到 fileChannel
        fileChannel.write(byteBuffer);
        fileOutputStream.close();

    }
}
实例二:读取文件的程序
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.nio.ByteBuffer;
import java.nio.channels.FileChannel;

public class NioFileChannel02 {

    public static void main(String[] args) throws IOException {

        //创建一个输出流
        File file = new File("D:\\1 Java项目\\12.fuwu\\NettyTempPro\\file01.txt");
        FileInputStream fileInputStream = new FileInputStream(file);

        //通过 fileInputStream 获取对应的FileChannel
        // 这个 FileChannel 真实 类型是fileChannelImpl
        FileChannel fileChannel = fileInputStream.getChannel();

        //创建一个缓存区
        ByteBuffer byteBuffer = ByteBuffer.allocate((int) file.length());

        //将数据放入 byteBuffer
        fileChannel.read(byteBuffer);

        //将byteBuffer 的 字节数据 转成 String
        System.out.println(new String(byteBuffer.array()));
        fileInputStream.close();
    }
}
案例三:使用一个 buffer 进行读写
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.nio.ByteBuffer;
import java.nio.channels.FileChannel;

public class NioFileChannel03 {

    public static void main(String[] args) throws IOException {

        FileInputStream fileInputStream = new FileInputStream("D:\\1 Java项目\\12.fuwu\\NettyTempPro\\1.txt");
        FileChannel fileChannel1 = fileInputStream.getChannel();

        FileOutputStream fileOutputStream = new FileOutputStream("D:\\1 Java项目\\12.fuwu\\NettyTempPro\\2.txt");
        FileChannel fileChannel2 = fileOutputStream.getChannel();

        ByteBuffer byteBuffer = ByteBuffer.allocate(5);

        while (true){ // 循环读取

            //清空缓存区
            byteBuffer.clear();

            int read = fileChannel1.read(byteBuffer);
            if(read == -1){ //读取完成
                break;
            }
            byteBuffer.flip();
            int write = fileChannel2.write(byteBuffer);
        }

        //关闭流
        fileInputStream.close();
        fileOutputStream.close();

    }
}
实例四 拷贝文件 transferFrom 方法
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.nio.channels.FileChannel;

public class NioFileChannel04 {
    public static void main(String[] args) throws IOException {

        //创建相关流
        FileInputStream fileInputStream = new FileInputStream("D:\\1 Java项目\\12.fuwu\\NettyTempPro\\a.jpg");
        FileOutputStream fileOutputStream = new FileOutputStream("D:\\1 Java项目\\12.fuwu\\NettyTempPro\\b.jpg");

        //获取各个流的fileChannel
        FileChannel sourceCh = fileInputStream.getChannel();
        FileChannel destch = fileOutputStream.getChannel();

        // 使用transferForm 完成拷贝
        destch.transferFrom(sourceCh,0,sourceCh.size());

        //关闭
        sourceCh.close();
        destch.close();
        fileInputStream.close();
        fileOutputStream.close();
    }
}
实例五 只读Buffer
import java.nio.ByteBuffer;

public class ReadOnlyBuffer {
    public static void main(String[] args){

        //创建一个buffer
        ByteBuffer buffer = ByteBuffer.allocate(64);

        for(int i=0;i<64;i++){
            buffer.put((byte)i);
        }

        //反转
        buffer.flip();

        //得到一个只读的Buffer
        ByteBuffer readOnlyBuffer = buffer.asReadOnlyBuffer();
        System.out.println(readOnlyBuffer.getClass());

        //读取
        while (readOnlyBuffer.hasRemaining()){
            System.out.println(readOnlyBuffer.get());
        }
    }
}
实例六 MappedByteBuffer修改文件内容
import java.io.IOException;
import java.io.RandomAccessFile;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;

/*
    1. MappedByteBuffer 可让文件直接在内存(修改),操作系统不需要拷贝一次
 */
public class MappedByteBufferTest {
    public static void main(String[] args) throws IOException {

        RandomAccessFile randomAccessFile = new RandomAccessFile("D:\\1 Java项目\\12.fuwu\\NettyTempPro\\1.txt","rw");
        //获取对应的通道
        FileChannel channel = randomAccessFile.getChannel();

        /*
        参数1:FileChannel.MapMode.READ_WRITE 使用读写参数
        参数2: 0:可以直接修改的起始位置
        参数3: 5:是映射到内存的大小,即将 1.txt的多少个字节映射到内存

         */
        MappedByteBuffer mappedByteBuffer = channel.map(FileChannel.MapMode.READ_WRITE, 0, 5);

        mappedByteBuffer.put(0,(byte)'H');
        mappedByteBuffer.put(3,(byte)'9');

        randomAccessFile.close();
        System.out.println("修改成功");
    }
}
实例七 NIO 还支持 通过多个 Buffer (即 Buffer 数组) 完成读写操作,即 Scattering 和 Gathering,当然这个也是需要使用telnet进行连接,和Bio那个操作一样
import java.io.IOException;
import java.net.InetSocketAddress;
import java.nio.ByteBuffer;
import java.nio.channels.ServerSocketChannel;
import java.nio.channels.SocketChannel;
import java.util.Arrays;

/*
Scattering:将数据写入到buffer时,可以采用buffer数组,依次写入 [分散]
Gathering:从buffer读取数据时,可以采用buffer数组,依次读
 */
public class ScatteringAndGatheringTest {
    public static void main(String[] args) throws IOException {

        // 使用ServerSocketChannel 和 SocketChannel 网络
        ServerSocketChannel serverSocketChannel = ServerSocketChannel.open();
        InetSocketAddress inetSocketAddress = new InetSocketAddress(7000);

        //绑定端口到Socket,并启动
        serverSocketChannel.socket().bind(inetSocketAddress);

        //创建buffer数组
        ByteBuffer[] byteBuffers = new ByteBuffer[2];
        byteBuffers[0] = ByteBuffer.allocate(5);
        byteBuffers[1] = ByteBuffer.allocate(3);

        //等待客户端连接(telent)
        SocketChannel socketChannel = serverSocketChannel.accept();
        int messageLength = 8;  // 假定从客户端接收8个字节

        //循环的读取
        while(true){
            int byteRead = 0;
            while(byteRead < messageLength){
                long l = socketChannel.read(byteBuffers);
                byteRead += l;  //累计读取的字节数
                System.out.println("byteRead = "+byteRead);

                //使用流打印,看看当前这个buffer的 position 和 limit
                Arrays.asList(byteBuffers).stream().map(buffer -> "position = "+
                        buffer.position()+". limit="+buffer.limit())
                        .forEach(System.out::println);
            }

            //将所有的buffer进行flip
            Arrays.asList(byteBuffers).forEach(buffer -> buffer.flip());

            //将数据读出显示到客户端
            long byteWrite = 0;
            while (byteWrite < messageLength){
                long l = socketChannel.write(byteBuffers);
                byteWrite += l;

            }

            //将所有的buffer 进行clear
            Arrays.asList(byteBuffers).forEach(buffer ->{
                buffer.clear();
            });

            System.out.println("byteRead = "+byteRead+
                    ", byteWrite = "+byteWrite+", messagelength = "+messageLength);

        }

    }
}