Release Notes – Kafka – Version 2.7.0

下面是Kafka的2.7.0版本中解决的JIRA问题的摘要。有关该版本的完整文档、入门指南和项目信息，请参见Kafka项目网站。

关于升级的注意事项： 在升级你的集群之前，请仔细查看该版本的升级文档。升级说明讨论了任何关于不兼容的关键信息和突破性变化、性能变化以及可能影响你的Kafka生产部署的任何其他变化。

最新版本的文档可以在kafka.apache.org/documentati…找到。

新特性

[kafka-9893] – 可配置的TCP连接超时和改进初始元数据的获取
[kafka-9915] – 节制创建主题、创建分区和删除主题的操作
[kafka-10054] – 为流添加TRACE级别的端到端延迟指标
[kafka-10259] – KIP-554：增加经纪商侧SCRAM配置API
[kafka-10338] – 支持PEM格式的SSL证书和私钥

改进

[kafka-5636] – 为聚合添加滑动窗口支持
[kafka-6585] – 整合重置工具上的重复逻辑
[kafka-6733] – 支持在DefaultMessageFormatter中打印额外的ConsumerRecord字段
[kafka-7334] – 建议在出现FileNotFoundException时改变state.dir的配置。
[kafka-8360] – 文档中没有提到RequestQueueSize JMX metric。
[kafka-8836] – 添加经纪商之间的协议来改变ISR
[kafka-9018] – Kafka Connect – 在序列化错误时抛出更清晰的异常
[kafka-9076] – MirrorMaker 2.0自动化消费者偏移同步
[kafka-9194] – 缺少replicaMaxWaitTimeMs配置值的文档
[kafka-9439] – 为KafkaProducer添加更多公共API测试
[kafka-9450] – 将内部状态刷新与提交解耦
[kafka-9587] – 文档中省略了生产者的配置
[kafka-9924] – 在RocksDB指标中添加RocksDB内存消耗量
[kafka-9929] – 支持WindowStore上的反向迭代器
[kafka-10002] – 改善StopReplicaRequest在有大量分区需要删除时的表现
[kafka-10020] – KIP-616：重命名kafka-streams-scala中隐含的Serdes实例
[kafka-10023] – 强制执行整个经纪商和每个听众的连接创建率（KIP-612，第1部分）。
[kafka-10033] – 如果改变不存在的主题的配置，AdminClient应该抛出UnknownTopicOrPartitionException而不是UnknownServerException。
[kafka-10035] – 改进AbstractResetIntegrationTest
[kafka-10040] – 让PreferredReplicaImbalanceCount指标的计算更加高效
[kafka-10077] – 过滤state-store下游的虚假墓碑的结果
[kafka-10098] – 删除SaslAuthenticatorTest.java中正则表达式中不必要的转义。
[kafka-10106] – 记录处理LeaderAndIsr请求的时间
[kafka-10122] – 消费者在重新平衡期间也应该允许心跳。
[kafka-10126] – 废弃ConsumerPerformance中未使用的选项。
[kafka-10131] – 尽量减少ducktape测试中的–zookeeper标记的使用。
[kafka-10135] – 将Task#executeAndMaybeSwallow提取为一个通用的工具。
[kafka-10135] – 将Task#executeAndMaybeSwallow提取出来，成为TaskManager的一个通用函数。
[kafka-10141] – 为日志段的删除信息添加更多细节
[kafka-10143] – 增加集成测试，确保重新分配工具可以在重新平衡过程中改变复制配额
[kafka-10168] – 重新命名公共StreamsConfig变量
[kafka-10186] – 终止有待处理数据的事务应该抛出非致命性的异常
[kafka-10205] – StreamTask中的NullPointerException
[kafka-10211] – 添加DirectoryConfigProvider
[kafka-10225] – 增加系统测试的默认zk会话超时时间
[kafka-10232] – MirrorMaker2内部主题格式化
[kafka-10277] – 放宽对KStream-GlobalKTable连接的非空键要求。
[kafka-10279] – 允许动态更新带有额外SubjectAltNames的证书
[kafka-10305] – 当解析ConsumerPerformance失败时打印用法
[kafka-10316] – 考虑重新命名交互式查询的getter方法
[kafka-10355] – 将意外删除源主题作为特殊故障处理
[kafka-10367] – 允许使用配置文件运行Streams演示应用程序
[kafka-10403] – 在生成MBeans属性时用java集合代替scala集合。
[kafka-10407] – 为KafkaLog4jAppender添加linger.ms参数支持
[kafka-10418] – 通过kafka-topics与–bootstrap-server改变主题配置时，不完整的错误/文档
[kafka-10458] – 需要一种方法来更新用Sensor注册的TokenBucket的配额。
[kafka-10459] – 文档IQ API，其中存储之间的顺序不成立
[kafka-10478] – 广告.监听器应该允许重复的端口
[kafka-10494] – 流：如果节点本身是物化的，enableSendingOldValues不应该调用父节点。
[kafka-10503] – 当主题没有分区时，MockProducer不会抛出ClassCastException。
[kafka-10509] – 添加指标以跟踪因触及连接速率配额而导致的节流时间
[kafka-10521] – 移除完成分区重新分配的ZK手表
[kafka-10584] – IndexSearchType应该使用密封的trait而不是Enumeration
[kafka-10611] – 合并日志错误以避免双重错误
[kafka-10801] – 关于配置的文档有多处使用相同的HTML锚标签
[kafka-10802] – 启动消费者时出现虚假的日志信息

Bug

[kafka-6078] – 调查ReassignPartitionsClusterTest.shouldExpandCluster的失败。
[kafka-7970] – 缺少主题导致服务关闭而没有例外
[kafka-8033] – 摇摆不定的测试PlaintextConsumerTest#testFetchInvalidOffset
[kafka-8098] – 明显的测试AdminClientIntegrationTest#testConsumerGroups
[kafka-8264] – 诡异的测试PlaintextConsumerTest#testLowMaxFetchSizeForRequestAndPartition
[kafka-8334] – 偶尔会出现OffsetCommit超时
[kafka-8362] – 日志目录之间的分区移动后，LogCleaner会卡住。
[kafka-8630] – 使用WindowStore对流处理器进行单元测试时，出现了ClassCastException。
[kafka-9066] – Kafka Connect JMX : 失败状态的任务的源和汇任务指标丢失
[kafka-9381] – Javadocs + Scaladocs未在maven中心发布
[kafka-9514] – 当一个字段被设置为空时，协议生成器产生了无用的条件，并使用了灵活的版本
[kafka-9516] – 摇摆不定的测试PlaintextProducerSendTest#testNonBlockingProducer
[kafka-9584] – 删除头文件会导致并发修改异常。
[kafka-9666] – 事务性生产者的Epoch无法被重置
[kafka-9769] – ReplicaManager Partition.makeFollower 在ZooKeeper断开连接时增加LeaderEpoch
[kafka-9845] – plugin.path属性与config provider不起作用。
[kafka-10014] – 总是尝试在Selector#close中关闭所有通道
[kafka-10048] – 使用MM2时，消费者在故障转移后可能会出现数据缺口
[kafka-10079] – 改善有状态任务的线程级粘性
[kafka-10109] – kafka-acls.sh/AclCommand打开多个AdminClients
[kafka-10120] – DescribeLogDirsResult暴露了内部类
[kafka-10133] – 无法用MM2压缩目的地集群中的消息
[kafka-10134] – 升级到2.5后，Kafka消费者在重新平衡时出现高CPU问题
[kafka-10140] – 增量配置api不包括插件配置的变化
[kafka-10147] – MockAdminClient#describeConfigs(Collection

)无法处理经纪人资源。
[kafka-10158] – 修复闪烁的kafka.admin.TopicCommandWithAdminClientTest#testDescribeUnderReplicatedPartitionsWhenReassignmentIsInProgress。
[kafka-10160] – Kafka MM2消费者配置
[kafka-10179] – State Store将错误的Changelog主题传递给Serde，以获得优化的源表
[kafka-10180] – TLSv1.3系统测试不应该在Java 8下运行
[kafka-10188] – 水槽任务preCommit方法在任务停止后被调用
[kafka-10189] – 重置公制EventQueueTimeMs
[kafka-10192] – 摇摆不定的测试 BlockingConnectorTest#testBlockInConnectorStop
[kafka-10193] – 为有回调的控制器事件添加优先权
[kafka-10200] – MockProcessorContext与WindowStores不起作用
[kafka-10215] – MockProcessorContext不能与SessionStores一起工作
[kafka-10218] – DistributedHerder的canReadConfigs字段从未被重置为true。
[kafka-10220] – 描述资源时的NPE
[kafka-10224] – 关于球衣的许可条款不正确
[kafka-10235] – 修复闪烁的transactions_test.py
[kafka-10240] – 水槽任务不应该在关闭时抛出WakeupException
[kafka-10243] – 处理连接设置超时时的ConcurrentModificationException
[kafka-10268] – 像”–delete-config log.retention.ms “这样的动态配置不起作用。
[kafka-10271] – 从一个分区获取一个密钥时的性能退步
[kafka-10272] – kafka-server-stop.sh在IBM i上失败。
[kafka-10282] – 如果一个日志被快速删除并重新创建，日志指标会被删除
[kafka-10284] – 由于静态成员重新加入而导致的组成员更新应该被持久化
[kafka-10300] – 修理飘忽不定的core/group_mode_transactions_test.py
[kafka-10312] – MetadataCache.getPartitionMetadata在分区领导不在MetadataCache时可能会返回不正确的错误代码。
[kafka-10314] – 当离线日志目录存在时，重新分配的KafkaStorageException
[kafka-10321] – shouldDieOnInvalidOffsetExceptionDuringStartup在JDK11上会永远阻塞。
[kafka-10326] – 串行器和反串行器都应该能够看到生成的客户端ID。
[kafka-10332] – 如果先创建了远程主题，MirrorMaker2就无法检测主题。
[kafka-10340] – 当试图向不存在的主题生成记录时，源连接器应报告错误，而不是永远挂起。
[kafka-10362] – 当用EOS恢复Streams活动任务时，检查点文件应该被删除。
[kafka-10384] – 将转换器与生成的消息分开
[kafka-10387] – 不能将SMT配置与使用topic.creation.*属性的源连接器一起包含。
[kafka-10391] – 流应该覆盖检查点，排除损坏的分区
[kafka-10395] – TopologyTestDriver在动态主题路由中不工作
[kafka-10401] – GroupMetadataManager忽略了GROUP_METADATA_VALUE_SCHEMA_V3的current_state_timestamp域。
[kafka-10426] – KafkaConfigBackingStore的死锁问题
[kafka-10439] – Connect的Values类对大于64位的整数失去了精度
[kafka-10454] – 当流<>表连接分区不匹配时，Kafka流卡在了无限的REBALANCING循环中
[kafka-10455] – 探测再平衡不能保证由非领导成员触发
[kafka-10463] – Dockerfile中的必要工具应包括git
[kafka-10477] – 当试图将空键的Kafka记录转换为连接记录时，Sink Connector出现了DataException故障。
[kafka-10479] – 如果用户试图更新现有监听器的配置，则抛出异常。
[kafka-10502] – 线程本地不能设置null，因为它可能会产生内存泄漏。
[kafka-10515] – NPE：如果应用程序是分布式的，外键连接serde可能不会被初始化为默认serde。
[kafka-10520] – 如果最少加载的节点没有准备好发送，InitProducerId可能会被阻止。
[kafka-10531] – KafkaBasedLog可以对负值进行休眠
[kafka-10557] – 描述主题配置时缺少文档，包括文档
[kafka-10559] – 在内部主题验证时，不要在出现TimeoutException时关闭整个应用程序
[kafka-10564] – 持续记录关于删除过时的状态目录的情况
[kafka-10574] – SimpleHeaderConverter和Values类中的无限循环
[kafka-10598] – KafkaStreams为IQ报告不适当的错误信息
[kafka-10600] – 如果连接器没有定义属性，Connect会在验证结果中为该属性添加错误。
[kafka-10602] – 当从不同线程报告时，DLQ Reporter会抛出NPE。
[kafka-10606] – 在获取所有主题的元数据时自动创建不存在的主题
[kafka-10613] – 如果list-offset请求的版本<4，Broker不应该设置leader epoch
[kafka-10616] – StreamThread被 “IllegalStateException: 处理器已经关闭了”
[kafka-10631] – ProducerFencedException在Offest Commit上没有被处理。
[kafka-10638] – 由于更严格的存储检查，QueryableStateIntegrationTest失败。
[kafka-10647] – 只有当消费者协议版本>=0时，才会序列化拥有的分区
[kafka-10651] – 指派者报告来自未初始化任务的偏移量
[kafka-10664] – Streams无法覆盖损坏的偏移量，导致无限的OffsetOutOfRangeException循环。
[kafka-10687] – 生产请求应针对新的错误代码PRODUCE_FENCED进行碰撞。
[kafka-10755] – 在计算下一次提交时间戳时，应考虑提交延迟。
[kafka-10758] – 当添加一个新的主题时，从模式中消耗的Kafka流会进入PENDING_SHUTDOWN。
[kafka-10799] – AlterIsr路径不更新ISR的收缩/扩展表。
[kafka-10811] – 系统退出MirrorConnectorsIntegrationTest#testReplication
[kafka-10813] – StreamsProducer应该捕获InvalidProducerEpoch并在所有情况下抛出TaskMigrated。

##任务

[kafka-10068] – 验证HighAvailabilityTaskAssignor在大型集群和拓扑结构下的性能
[kafka-10084] – 系统测试失败。StreamsEosTest.test_failure_and_recovery_complex
[kafka-10153] – 连接文档中的错误报告
[kafka-10341] – 为流和系统测试添加2.6版本
[kafka-10456] – kafka-console-producer.sh帮助中的错误描述
[kafka-10556] – 如果sasl.mechanism未被识别，则出现NPE。
[kafka-10592] – python3合并后系统测试无法运行
[kafka-10669] – ListOffsetRequest: make CurrentLeaderEpoch field ignorable and set MaxNumOffsets field to 1

##测试

[kafka-9273] – 重构AbstractJoinIntegrationTest和子类
[kafka-9943] – 在系统测试中启用TLSv.1.3 “运行所有 “执行。
[kafka-10191] – 修复闪烁的StreamsOptimizedTest
[kafka-10255] – 修理易碎的testOneWayReplicationWithAutorOffsetSync1测试
[kafka-10286] – 连接系统测试应等待工作者加入小组
[kafka-10295] – ConnectDistributedTest.test_bounce应该等待优雅的停止。
[kafka-10351] – 为GlobalStateManagerImpl添加缺失的IOExceptions测试
[kafka-10404] – Flaky Test kafka.api.SaslSslConsumerTest.testCoordinatorFailover