2020/05/01 -
引言
之前总是看到各种威胁情报，各种乱七八糟的定义，各种什么高级的词汇，什么上下文，什么攻击，统统看不懂。
但是你去搜索威胁情报，国内几家比较知名的，或者说国外的，发现他们的网站提供的服务，就是IP，域名，文件检测这些内容。
这个时候就非常疑惑了？那么威胁情报就是这些东西吗？这些东西不就是沙箱，或者爬虫爬取IP进行标注吗？
360关于威胁情报[2]的网站上，会给出一些报告，汇报某个APT组织的活动，包括他们病毒样本的分析等，我觉得，这整个内容更像是情报，而前面那些，就感觉不像是情报。（水平有限，估计理解不了）
这就是我非常疑惑的地方，这已经不能从学术和工程上简单的来解释了。
搭建威胁情报系统
文章[1]中给出了搭建威胁情报的一个范例，不过我看了一下，相对来说比较简单。首先，文章对比了提供威胁情报服务的国内外厂商。他们主要信息来源，就是爬虫、沙箱（这个沙箱我不理解是什么意思，感觉沙箱是做分析用的啊），蜜罐，部署的设备（这个设备估计可能类似沙箱，或者说类似某流量口的监听一样）
在文中，威胁情报类型主要有两个：IP信誉库，文件信誉库。IP主要就是说，这个IP可能的属性，比如C2，TOR节点等；文件信誉库，就是通过分析文件得来的。
他构建自己的威胁情报系统主要就是通过3个手段。
1）通过部署蜜罐来捕获威胁行为
2）通过部署NIDS来捕获一些攻击行为
3）通过部署沙箱来获取文件情报。
其实，还是开头那些话，威胁情报这个东西到底是什么，仅仅部署这些东西就能形成威胁情报？我不是非常理解。
威胁情报的作用当然是帮助企业进行相关的防御，但是一个IP就是威胁情报？
收集威胁情报的动机
文章[3]中的解释就感觉更通俗一点，这篇文章是对国外一篇文章的翻译。
官方定义：威胁情报是一种基于证据的知识，这种知识涵盖了对现有的威胁或风险的内容，指标，可操作的建议等。
而基于这种威胁情报，企业可以达到以下目的（这部分直接抄录了原文）
- 采取积极地措施，而不是只能采取被动地措施；你可以建立计划来打击当前和未来的威胁
- 形成组织安全预警机制，在攻击到达前就已经知晓
- 提供更完善的安全事件响应方案
- 使用网络情报源来得到安全技术的最新进展，以阻止新出现的威胁
- 更好的风险投资和收益分析
那么从这个角度，企业应该收集哪些信息来实现威胁情报的目的呢？
- 恶意 IP 地址
- 域名 / 网站
- 文件哈希（恶意软件分析）
- 受害的产业/国家
按照这个思路，就能理解了：既然企业需要收集情报来完成帮助自己提高抵御威胁的能力，那么在网络空间安全中，重要的情报就是IP（是否连接了恶意的IP）、文件（是否下载了恶意的文件）、域名（是否连接了恶意的域名）等了。
2020/05/05 -
我觉得，我前面的描述还是不够准确，还是没有具体把这个东西给说明出来。文章[4]中也没有给出详细的定义，他只是说，威胁情报并不是IP或者其他内容的列表。但是，这篇文章也没有提出威胁情报的实例是什么。我把它队这部分的形容给摘录下来了。
Since threat intelligence first became a new buzzword in information security some years back, many companies have espoused features friendly to this seemingly new technology. Unfortunately, threat intelligence was not a concept easily understood by typical IT security types. Early players in the threat intelligence space didn’t help the spread of misconceptions by implying that a list of IP addresses or domains was in itself, intelligence. Fortunately, the industry has mostly matured beyond this but some of these misconceptions still persist.
In order to truly get value from threat intelligence, it’s important to start out on the right foot. Understanding what threat intelligence is and isn’t is a fundamental component of knowing how it can benefit an organization. Threat intelligence is not a list of anything. It’s not IP addresses or domains or hashes or URLs. These are just information. Granted, intelligence can be derived from lists, but the lists and the objects in the lists themselves are not intelligence. Intelligence is taking available data (perhaps from lists) and extracting meaning from that data for the purpose of providing insight into decision-making. Threat intelligence is performing this process around threats, either real or perceived.
As I discussed with Stephen in the webinar, since an organization is going to be concerned with threats to itself, it makes sense then that any threat intelligence program should start with internally available data that can support intelligence analysis. Mostly this should be attacks observed by that organization. Information from the SOC and incident response efforts are the perfect place to start.
所以，这里就提出了另外一个问题，那么威胁情报到底是什么，它有没有实体承载？目前给我的感觉，就是，能够有实体载体的，就是前面说的，ip，文件等。但是，结合目前学习到的各种内容，就感觉根本没有这种东西，然后各种文章说ip列表不是情报。到底什么是情报？
参考文献
[1]实战公有云威胁情报系统构建
[2]奇安信威胁情报中心
[3]开源威胁情报工具和技术
[4]Building a Threat Intelligence Environment
以下是之前整理的内容
2020/01/02 -
文章[1]提供了收集情报的范例，主要是两个方面，一个是IP标记，从一些网站上得到；另外一个是从安全网站上来弄。主要是这两个方面。并且给出了脚本，但是他给的脚本里面并没有提供多少数据的来源。
我们关注的是威胁情报中的域名、URL、IP等数据，这些数据的来源主要有两类。
一、开源的黑名单，在网上有大量的开源黑名单FireHOL、sans.edu等。这些黑名单更新迅速、可信度高，是我们所关注的信息的一个很好的来源。且十分容易处理。
二、安全咨询类网站上的文章，在这些文章中往往包含了很多的特定主题下的IoC信息，这些信息具有针对性强的特点，即一个IP或域名可以对应到某一具体的事件。这也是威胁情报收集中非常重要的一类来源，但其最大的问题是这些信息一般都在文章中出现，其间夹杂了大量的冗余信息，使得提取这些数据具有一定的困难。
关于来源，我们正努力搜集其他的威胁情报来源。因为收集的情报越全面，越能发挥威胁情报的作用。目前在这一领域的先驱者国内有360威胁情报中心和微步在线。
文章[2]是都一些威胁情报平台的介绍，其中据说做的比较好的就是：360网络安全研究和微步威胁平台。
晚上弄了弄，还是感觉没有弄清楚，就是这个东西我到底要干什么；说白了就是没有具体的目标。
首先来说一下，我最开始想弄的一个东西。
我最开始的时候，就是想通过网上采集一些IP信息的东西，然后配合上校园网的DNS流量，来展示一定的IP信息；然后配合上一些其他的例如host及sni等信息，实现这个校园网中，其面向出口的IP信息；其次，再分析每个客户端他链接的东西，然后进行用户的行为分析。
通过这种信息，配合上整体的一些情报信息，来查看是否有各种乱七八糟的东西。
但是，后来我发现，有些尴尬的地方就是，我又在找探针，我又在找一个能适用于我这个东西的插件。
（而不是说，我想办法利用现有的数据来进行我现在的工作，这他妈你说怎么办。真是操了。）
同时，因为我暂时还没有对这个ES和hadoop原生的大数据这两个东西弄明白，就是这么回事，你看我利用ela进行查询的话，我可以忽略很多底层的细节，利用ki上的可操作的东西，进行展示就可以了。但是我不知道ES这个东西是不是支持大数量；
然后如果是Hadoop的话，他是可以存储很多数据量，但是对他进行查询的过程，我基本上不知道什么东西，处理的过程基本上也都是利用批处理来完成的。这里是一个问题。
说完这个困难，那么我来想一下，我先不管这个，我先看我的数据应该怎么储存。
或者说，我现在整理一下，我有的原始数据，然后应该怎么处理才能满足后面的需求，特别是说，我肯定是逐步进行处理，那么也就是后面的过程可能会用到很多这些步骤的中间产物。
2020/01/03
最后的时候我想明白了，我的威胁情报，除非我自己分析我自己的流量，得到恶意的IP，否则我不可能得到相关的信息，那么威胁IP的来源也就只有从网上采集这一种方式，那么这种采集方式的话，我通过更新suricata的库就可以了，这样应该是能得到非常大的信息源的，再加上我自己匹配的一些规则。这种就是自己IP情报的来源。
然后，我就要考虑这种东西的大数据储存了，这种数据量的东西并非需要使用大数据的东西。只不过，我希望借助这个机会，把事件日志也给整合到这里面来。这样的话，就必然是大数据日志了。而且，因为这部分日志都是json格式的，我完全可以直接将这部分日志写入到hadoop中，但是处理的流程我并不是非常清楚，需要花费时间来学习。
其实还是那个问题，目前为了实现数据的可视化，我都是利用ELK的方式，但是采用这种我目前想不到与hadoop进行配合的方式，同时还有在web上对大数据信息进行查询的一些方式，我感觉利用mapreduce肯定是不行的，那么也就是利用spark。
不过， 我倒是觉得， 我可能理解错了，因为实时查询，这种操作过程可取，但是他的等待时间可能会很长，当然你资源多了可能也没有这种感觉；我是觉得， 相对来说，比较快的方式，就是我把处理好的结果直接放置到一些地方， 比如sql中，比如es中，这样的话，也就是我只需要去查询这个地方就行了，然后通过频繁的后台自动运行批处理，保证数据的更新。我是这样想的。所以这部分我需要的是，调研大数据的一些操作方式，他们都是怎么操作的，然后他们的数据是怎么显示的，然后整体的流程是怎么做到实时的。
2020/01/04 -
文章[3]是一个自己实践出来的模型，有点简陋。
参考文献
[1]企业如何有效收集公开来源的威胁情报
[2]值得推荐的威胁情报平台--持续更新
[3]基于大数据企业网络威胁发现模型实践
