书接上回：仿牛客技术博客项目常见问题及解答（二）_李孛欢的博客-CSDN博客
13 项目中的kafka是怎么用的？
Apache Kafka是一个分布式流平台。一个分布式的流平台应该包含3点关键的能力：
-应用：消息系统、日志收集、用户行为跟踪、流式处理
·kafka特点
-高吞吐量：处理TB级的海量数据
-消息持久化：持久化，将数据存储到硬盘上，而不仅仅存储在内存中，长久保存消息，存到硬盘中的读取速度远远小于内存，读写硬盘的效率高低取决于读取硬盘的方式，硬盘的顺序读写的效率是很高的，kafka保证对硬盘消息的读写都是顺序的；
-高可靠性：kafka是分布式部署，一台服务器挂了，还有别的，有容错机制
-高拓展性：集群的服务器不够时，可以扩展服务器，只需简单的配置
·kafka术语
-Broker：卡夫卡的服务器，卡夫卡集群中的每一台服务器称为一个Broker
-Zookeeper：管理集群的软件，在使用卡夫卡时可以单独安装zookeeper或是内置zookeeper
消息队列的实现方式：
点对点的实现方式：BlockingQueue，生产者将消息放入队列中，消费者从队列中取出数据，每个消息只会被一个消费者消费；
消息发送者生产消息发送到消息队列中，然后消息接收者从消息队列中取出并且消费消息。消息被消费以后，消息队列中不再有存储，所以消息接收者不可能消费到已经被消费的消息。
发布订阅模式：生产者将消息发布到某个位置，多个消费者可以同时订阅这个位置，该消息可以被多个消费者读取，
卡夫卡使用的就是发布订阅模式：生产者将消息发布到的区域就叫做topic，可以理解为一个文件夹
-Partition：对主题的分区
-Offset：消息在分区内存放的索引
-Leader Replica：副本，卡夫卡是分布式的，所以会对分区进行多个副本的重复
主副本：可以处理获取消息的请求
-Follower Replica：从副本只是备份数据，不会产生响应，当主副本挂了时，分布式会在所有的从副本中选择一个作为新的主副本
·触发事件
定义三种不同的主题，将不同的触发事件包装成不同的消息，发布到对应的主题中，这样生产者线程可以继续发布消息，
此时消费者线程可以并发的读取消息，进行存储
-评论后，发布通知
-点赞后，发布通知
-关注后，发布通知
·处理事件
-封装事件对象
-开发事件的生产者
-开发事件的消费者
生产者：触发Event，封装了Topic以及userId、Entity等信息，调用sendMsg时，提取出event.Topic和JSONObject.toJSONString(Event)以content形式发送，进行调用即可； （主动触发，在添加评论、关注和点赞时触发）
消费者：监听Topic，如果有新消息，就读取，record中获得到的是event里的json串，再恢复成event即可JSONObject.paresObject(record.value().toString,Event.class)；然后将相关属性，封装成message私信的形式，保存到数据库中，供给前端页面调用并显示。（这里的消费就是将数据从消息队列存入数据库，被动触发，kafka监听主题，有消息就自动消费）
14 消息队列放到内存还是磁盘？放磁盘为什么还这么快？
Kafka的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka的特性之一就是高吞吐率。
从数据写入和读取两方面分析，为什么Kafka速度这么快
写入数据：磁盘读写的快慢取决于你怎么使用它，也就是顺序读写或者随机读写。在顺序读写的情况下，磁盘的顺序读写速度和内存持平。因为硬盘是机械结构，每次读写都会寻址->写入，其中寻址是一个“机械动作”，它是最耗时的。所以硬盘最讨厌随机I/O，最喜欢顺序I/O。为了提高读写硬盘的速度，Kafka就是使用顺序I/O。
即便是顺序写入硬盘，硬盘的访问速度还是不可能追上内存。所以Kafka的数据并不是实时的写入硬盘 ，它充分利用了现代操作系统分页存储来利用内存提高I/O效率。
读取数据：实现了零拷贝
15 TrieTree前缀树介绍一下
前缀树 是一种多叉树的树形数据结构，在项目中用于对敏感词进行过滤。
构造前缀树：第一层就存所有敏感词的第一个字符
前缀树特点是：1.根节点不包含任何信息 除了根节点的每个节点只包含一个字符，2.从根节点到某一个节点经过的路径，字符所连接的字符串就是这个节点所对应的字符串 3.每个节点的所有子节点包含的字符不同
如下图：
过滤敏感词算法：
三个指针，一个指向树根（node），另两个指针（begin和position），都指向文本首，其中一个一直向后移动（begin），另一个跟着动，发现不是敏感词，就说明以begin开头的字符不可能组成敏感词，将其存入StringBuilder，begin后移，然后再返回至begin。若是敏感词，则替换，并另两个指针都后移，树指针指向根节点。
public String filter(String text) {
if (StringUtils.isBlank(text)) {
return null;
}
// 指针1
TrieNode tempNode = rootNode;
// 指针2
int begin = 0;
// 指针3
int position = 0;
// 结果
StringBuilder sb = new StringBuilder();
while (position < text.length()) {
char c = text.charAt(position);
// 跳过符号
if (isSymbol(c)) {
// 若指针1处于根节点,将此符号计入结果,让指针2向下走一步
if (tempNode == rootNode) {
sb.append(c);
begin++;
}
// 无论符号在开头或中间,指针3都向下走一步
position++;
continue;
}
// 检查下级节点
tempNode = tempNode.getSubNode(c);
if (tempNode == null) {
// 以begin开头的字符串不是敏感词
sb.append(text.charAt(begin));
// 进入下一个位置
position = ++begin;
// 重新指向根节点
tempNode = rootNode;
} else if (tempNode.isKeywordEnd()) {
// 发现敏感词,将begin~position字符串替换掉
sb.append(REPLACEMENT);
// 进入下一个位置
begin = ++position;
// 重新指向根节点
tempNode = rootNode;
} else {
// 检查下一个字符
position++;
}
}
// 将最后一批字符计入结果
sb.append(text.substring(begin));
return sb.toString();
}