大数据为什么可以这么快？

在数据为王的时代，对于海量数据的存储、传输、分析变得尤为重要。在数据的存储上有clickhouse、Hbase等大数据库来完成，在数据的分析上一般也是借助clickhouse或hbase的特性将数据分维度进行，而在数据的传输上，大家都不约而同使用了Kafka。高并发、高性能、快速成为了Kafka的代名词。

Kafka+clickhouse+zookeeper成为了大数据分析处理行业的三件套，不过今天我们只聊Kafka，你所知道的一线大厂，如阿里、百度、腾讯、头条、美团、滴滴等，均在Kafka上做了二次开发，集合业务扩展了它的能力，你所不知道的互联网企业则利用了Kafka的原生能力来辅助做业务处理。那么Kafka为什么可以做到这么快呢？今天我们就来聊一聊。

在第一点便是Kafka的特性，使用partition分区来做并行处理。Kafka作为一个发布-订阅系统，它所操作的最小单元便是topic主题消息，而每一个topic可以划分为多个partition。不同partition一般位于不同的机器中，利用集群的优势就可以实现机器间的并行处理。另外因为一个partition在机器上对应一个文件夹，即使存在多个partition位于同一个机器节点，也可以配置同一个机器节点的partition处于不同的磁盘，实现磁盘间的并行处理，提高速度。

第二点便是顺序写入磁盘，我们知道Kafka数据是存储在磁盘上的，磁盘读取数据的时间主要由寻道时间（正确的找到磁道）、旋转延迟（读写磁头旋转）、数据传输时间组成。如果磁盘是顺序读写数据，磁头只要找到正确的磁道就可以不断的旋转获取数据了，而如果磁盘是随机读写数据，最差的情况每一份数据都在不同的磁道上，那么就需要每次寻道、旋转磁头，非常的耗时，性能也很差。在Kafka中每个分区的数据是有序的、不可变的消息队列，新的消息来到分区就会追加在最末尾，顺序写的方式就提高了速度。当我们要去删除数据的时候，也是通过把partition分为多个segment，直接删除segment即可，也是非常的快。

第三点是利用pagecache。我们知道Kafka一般都是装在Linux系统使用的，在Linux系统的设计中，为了提高对磁盘访问的性能，将文件的cache分为pagecache、buffercache两部分，在pagecache模块缓存文件系统的数据，支持进程对文件的读写，在buffercache缓存块数据，支持系统对块设备的读写。在Kafka中，服务器节点broker收到数据后，在写磁盘时把数据写入pagecache，把连续的小块组装成大块的物理写提高了性能，在读磁盘数据时从pagecache读，不通过物理磁盘获取，提高了速度。

第四点是Kafka的零拷贝机制。我们知道操作系统的核心是内核，为了避免用户直接操作内核，操作系统一般把内核划分成两部分，即内核空间、用户空间。在Linux系统中，读取数据操作都是基于数据拷贝完成的，也就是说数据会在内核地址空间的缓冲区和用户地址空间的缓冲区进行拷贝，正常的数据读取流程一般包含四部分。

1、操作系统需要先从磁盘里读取文件到内核页面的缓存；

2、用户态的应用程序从内核态读取数据到用户空间缓存区，由于内核态的资源比较宝贵会经常释放；

3、用户态的应用程序还需要将数据写回内核空间并放入socket缓冲区；

4、最后操作系统将数据从socket缓冲区复制到网卡接口，再经由网络发送给到消费者进程。

在消费者consumer读取Kafka消息队列的数据时，按理说也要经过这四次copydata的流程，但是Kafka内置了零拷贝技术，将磁盘文件的数据复制到页面缓存中，然后将数据从页面缓存直接发送到网络给到不同的订阅者，避免了重复拷贝操作，极大的提高了速度。

第五点是压缩批处理。在Kafka的producer往broker服务器节点发送数据时，会累积多条消息压缩后一起发送，通过批处理和压缩的方式提高了速度，也提高了网络带宽使用率。

通过本文的介绍，你对Kafka的速度了解了吗？在日常技术开发或者业务选型当中，Kafka无疑都是你最好的选择噢。在金九银十的面试中，如果面试官问你用什么消息队列或者你对消息队列有什么了解时，把这些知识点咔咔讲出来，直接让面试官眼前一亮，最佳候选人说不定就是你了～加油鸭！

麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。