每日一题之 Kafka

2年前 (2022) 程序员胖胖胖虎阿

213 0 0

点击上方 Java后端，选择设为星标

优质文章，及时送达

为什么需要消息队列

解耦，异步处理，削峰/限流

Kafka的文件存储机制

Kafka中消息是以topic进行分类的，生产者通过topic向Kafka broker发送消息，消费者通过topic读取数据。然而topic在物理层面又能以partition为分组，一个topic可以分成若干个partition。partition还可以细分为segment，一个partition物理上由多个segment组成，segment文件由两部分组成，分别为“.index”文件和“.log”文件，分别表示为segment索引文件和数据文件。

这两个文件的命令规则为：partition全局的第一个segment从0开始，后续每个segment文件名为上一个segment文件最后一条消息的offset值。

Kafka 如何保证可靠性

如果我们要往 Kafka 对应的主题发送消息，我们需要通过 Producer 完成。前面我们讲过 Kafka 主题对应了多个分区，每个分区下面又对应了多个副本；为了让用户设置数据可靠性， Kafka 在 Producer 里面提供了消息确认机制。

也就是说我们可以通过配置来决定消息发送到对应分区的几个副本才算消息发送成功。可以在定义 Producer 时通过 acks 参数指定。这个参数支持以下三种值：

acks = 0：意味着如果生产者能够通过网络把消息发送出去，那么就认为消息已成功写入 Kafka 。在这种情况下还是有可能发生错误，比如发送的对象无能被序列化或者网卡发生故障，但如果是分区离线或整个集群长时间不可用，那就不会收到任何错误。在 acks=0 模式下的运行速度是非常快的（这就是为什么很多基准测试都是基于这个模式），你可以得到惊人的吞吐量和带宽利用率，不过如果选择了这种模式，一定会丢失一些消息。
acks = 1：意味若 Leader 在收到消息并把它写入到分区数据文件（不一定同步到磁盘上）时会返回确认或错误响应。在这个模式下，如果发生正常的 Leader 选举，生产者会在选举时收到一个 LeaderNotAvailableException 异常，如果生产者能恰当地处理这个错误，它会重试发送悄息，最终消息会安全到达新的 Leader 那里。不过在这个模式下仍然有可能丢失数据，比如消息已经成功写入 Leader，但在消息被复制到 follower 副本之前 Leader发生崩溃。
acks = all（这个和 request.required.acks = -1 含义一样）：意味着 Leader 在返回确认或错误响应之前，会等待所有同步副本都收到悄息。如果和min.insync.replicas 参数结合起来，就可以决定在返回确认前至少有多少个副本能够收到悄息，生产者会一直重试直到消息被成功提交。不过这也是最慢的做法，因为生产者在继续发送其他消息之前需要等待所有副本都收到当前的消息。

Kafka消息是采用Pull模式，还是Push模式

Kafka最初考虑的问题是，customer应该从brokes拉取消息还是brokers将消息推送到consumer，也就是pull还push。在这方面，Kafka遵循了一种大部分消息系统共同的传统的设计：producer将消息推送到broker，consumer从broker拉取消息。push模式下，当broker推送的速率远大于consumer消费的速率时，consumer恐怕就要崩溃了。最终Kafka还是选取了传统的pull模式。

Pull模式的另外一个好处是consumer可以自主决定是否批量的从broker拉取数据。Pull有个缺点是，如果broker没有可供消费的消息，将导致consumer不断在循环中轮询，直到新消息到t达。为了避免这点，Kafka有个参数可以让consumer阻塞知道新消息到达。

Kafka是如何实现高吞吐率的

顺序读写：kafka的消息是不断追加到文件中的，这个特性使kafka可以充分利用磁盘的顺序读写性能
零拷贝：跳过“用户缓冲区”的拷贝，建立一个磁盘空间和内存的直接映射，数据不再复制到“用户态缓冲区”
文件分段：kafka的队列topic被分为了多个区partition，每个partition又分为多个段segment，所以一个队列中的消息实际上是保存在N多个片段文件中
批量发送：Kafka允许进行批量发送消息，先将消息缓存在内存中，然后一次请求批量发送出去
数据压缩：Kafka还支持对消息集合进行压缩，Producer可以通过GZIP或Snappy格式对消息集合进行压缩

Kafka判断一个节点还活着的两个条件

节点必须可以维护和 ZooKeeper 的连接，Zookeeper 通过心跳机制检查每个节点的连接
如果节点是个 follower,他必须能及时的同步 leader 的写操作，延时不能太久

  - END -


       
       
       
 
        
        
        最近整理一份面试资料《Java技术栈学习手册》，覆盖了Java技术、面试题精选、Spring全家桶、Nginx、SSM、微服务、数据库、数据结构、架构等等。

       
       
       

       
       
       
 
        
        
        获取方式：点“ 在看，关注公众号 Java后端 并回复 777 领取，更多内容陆续奉上。

       
       
       

       
       
       
 
        
        
        推
 
        
        
        荐
 
        
        
        阅
 
        
        
        读 

       
       
       

       
       
       
 
        
        
        1. 每日一题之 ZooKeeper

       
       
       

       
       
       
 
        
        
        
  
         
         
         2. 每日一题之 Redis
 
        
        
        

       
       
       

       
       
       
 
        
        
        
  
         
         
         3. 
 
        
        
        
 
        
        
        
  
         
         
         每日一题之 MySQL
 
        
        
        
 
        
        
        
  
         
         
         

 
        
        
        

       
       
        
        
        
        
  
         
         
         
   
          
          
          4. 
  
         
         
         
  
         
         
         
   
          
          
          每日一题之 JVM-01
  
         
         
         
  
         
         
         
   
          
          
          

  
         
         
         
 
        
        
        
 
        
        
        
  
         
         
         
   
          
          
          5.
   
          
          
           每日一题之 JVM-02
  
         
         
         
 
        
        
        
 
        
        
        
  
         
         
         ‍
  
         
         
         
   
          
          
          

  
         
         
         
  
         
         
         
   
          
          
          

  
         
         
         
  
         
         
         
   
          
          
          

  
         
         
         
  
         
         
         
   
          
          
          
    
           
           
           
     
            
            
            
      
             
             
              
              6 
             
     
            
            
            
    
           
           
           
   
          
          
          
  
         
         
         
  
         
         
         
   
          
          
          
    
           
           
           ‍
   
          
          
          
  
         
         
         
  
         
         
         
   
          
          
          
    
           
           
           
   
          
          
          
  
         
         
         
  
         
         
         
   
          
          
          
    
           
           
           
     
            
            
            
      
             
             
              
              . 
             
     
            
            
            
    
           
           
           
   
          
          
          
  
         
         
         
  
         
         
         
   
          
          
          
    
           
           
           
     
            
            
            

    
           
           
           
   
          
          
          
  
         
         
         
  
         
         
         
          
          
          
    
  
         
         
         
  
         
         
         
   
          
          
          每日一题之 JVM-03
  
         
         
         
 
        
        
        
 
        
        
        
  
         
         
         
   
          
          
          

  
         
         
         
  
         
         
         
   
          
          
          

  
         
         
         
  
         
         
         
   
          
          
          7. 
  
         
         
         
  
         
         
         
   
          
          
          

  
         
         
         
  
         
         
         
   
          
          
          每日一题之线程
  
         
         
         
 
        
        
        
 
        
        
        
  
         
         
         
   
          
          
          

  
         
         
         
  
         
         
         
   
          
          
          

  
         
         
         
  
         
         
         
   
          
          
          8.
  
         
         
         
  
         
         
         
   
          
          
          

  
         
         
         
  
         
         
         
   
          
          
           
   
          
          
          每日一题之 HashMap
  
         
         
         
  
         
         
         
   
          
          
          

  
         
         
         
 
        
        
        
  
         
         
         
   
          
          
          
    
           
           
           9.
   
          
          
          
   
          
          
          
    
           
           
            每日一题之 HashMap - 02
   
          
          
          
  
         
         
         
  
         
         
         
   
          
          
          
    
           
           
           
     
            
            
            10.
    
           
           
           
    
           
           
           
     
            
            
             每日一题之 ThreadLocal
    
           
           
           
   
          
          
          
  
         
         
         
  
         
         
         
   
          
          
          
    
           
           
           
     
            
            
            

    
           
           
           
   
          
          
          
   
          
          
          
    
           
           
           
     
            
            
            

    
           
           
           
   
          
          
          
   
          
          
          
    
           
           
           
     
            
            
            11.
    
           
           
           
   
          
          
          
   
          
          
          
    
           
           
           
     
            
            
            

    
           
           
           
   
          
          
          
   
          
          
          
    
           
           
           
     
            
            
             
     
            
            
            每日一题之 Spring
    
           
           
           
   
          
          
          
  
         
         
         







         



        喜欢文章，点个
        在看