我心里也打鼓，是不是应该把这个文章写出来，因为这个项目里面的代码不能拿来就用，需要做修改（其实后端API监控本来就和业务相关，应该没有一个成品可以做到对每一个业务的API都能监控).其次文章里面涉及的知识点比较多，Prometheus,Prometheus-Operator,K8S,Python ,如果你已经具备这些基础，也愿意花时间来读这篇文章，请继续。如果按照步骤做了有问题，可以留言，我会回复的。
目前公司有一个项目，使用前后端分离。前端采样VUE，后端使用Java Spring全家桶，后端的接口为Restful API.为了能第一时间发现后端服务的故障和检测后端API的响应时间，自己使用Python+Prometheus_Client（python sdk) 写了一个exporter,然后对接prometheus,并配置告警。后端有故障的时候，可以第一时间发现，而不是等用户有感觉来才发现。
后端项目的接口认证采用在header中附加token的形式，用户第一次登录的时候会返回token。
PS: 前端项目运行在nginx容器中，已经使用blackbox的http模块监控
实施步骤:
1. 将代码克隆到本地，或者使用pycharm导入
git clone https://gitee.com/kevinliu_CQ/api-monitoring.git2. 修改代码中的配置
a. 修改config_dir 下面的app.yaml文件。里面的域名和接口地址都需要修改，以我的项目为例，请查看描述信息
config:
testset: 'APP API monitoring' #描述性信息，代码中未使用
timeout: 15 #调用API的超时时间
scrape_interval: 15 #检测API的时间间隔，单位为秒
base_url: 'https://app.×××.com/app' #API接口的URL，我的项目是微服务，这个app是微服务的url前缀
token:
base_url: 'https://app.××××.com/app' #获取token的URL地址
url: '/login/pwdLogin' #获取token的接口地址
method: "POST" #获取接口的HTTP方法
body: '' #获取接口时在post请求的payload内容
params: {"mobile": "17320491234","pwd": "your_password"} #这个是在请求的URL中的参数列表，HTTP请求的参数可以放在URL里面，也可以放在payload里面，我的应用时放在URL里面的
headers: {} # POST请求的header
token_key_in_request: 'authKey' # 在post请求中后端认证时在header里面读取的值名字，后面截图说明
token_key_in_response: 'token' #在用户第一次登录后返回数据里面token的值的名字，
verify:
base_url: 'https://app.****.com/app' #验证token的URL,因为token一般都有较长时间的有效期，不能监控一次就取一次token
url: '/user/userAddress/list' #验证token的接口地址
method: "GET" #验证token的HTTP方法
token_key_in_request: 'authKey' # header里面token值的名字
headers: {'Content-Type': 'application/json'} #HTTP请求的header
cases: #所有需要监控的API接口地址
- UserAddress: #接口名字
url: '/user/userAddress/list' #接口地址，相对于config段里base_url
method: "GET" #请求方式
headers: {'Content-Type': 'application/json'} # HTTP headers
- UserBalance:
url: '/user/getBalance'
method: "GET"
headers: {'Content-Type': 'application/json'}
- UserRecord:
url: '/user/userRecord/getTypeList'
method: "GET"
headers: {'Content-Type': 'application/json'}
- UserBankCard:
url: '/user/bankCard/payList'
method: "GET"
headers: {'Content-Type': 'application/json'}b. 如果有多个微服务API需要监控，直接添加另外一个文件就可以了，比如我的im.yaml这个文件，im是另外一个微服务
3. 制作Docker镜像，我这里的镜像上传到私有habor仓库中。
docker build -t harbor.***.work/monitor/api-monitoring:latest .
docker push harbor.***.work/monitor/api-monitoring:latest4.修改k8s.yaml文件中的镜像地址，镜像地址和步骤3里面的地址一致
5. 在k8s中部署服务
kubectl apply -f k8s.yaml
6. 查看运行的容器
[root@controller ~]# kubectl get po -n monitoring
NAME READY STATUS RESTARTS AGE
api-monitoring-5584fb9bbb-l2xb8 1/1 Running 0 32h
[root@controller ~]# kubectl get svc -n monitoring
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
api-monitoring ClusterIP 192.168.180.128 <none> 80/TCP 3d8h
[root@controller ~]# 7. 查看prometheus采集到的数据，API 和API_ResponseTime，这两个Metrics分别代表API是否可用（1正常，0不正常)以及API的响应时间，单位是秒
[root@controller ~]# curl 192.168.180.128
# HELP python_gc_objects_collected_total Objects collected during gc
# TYPE python_gc_objects_collected_total counter
python_gc_objects_collected_total{generation="0"} 113122.0
python_gc_objects_collected_total{generation="1"} 10240.0
python_gc_objects_collected_total{generation="2"} 987.0
# HELP python_gc_objects_uncollectable_total Uncollectable object found during GC
# TYPE python_gc_objects_uncollectable_total counter
python_gc_objects_uncollectable_total{generation="0"} 0.0
python_gc_objects_uncollectable_total{generation="1"} 0.0
python_gc_objects_uncollectable_total{generation="2"} 0.0
# HELP python_gc_collections_total Number of times this generation was collected
# TYPE python_gc_collections_total counter
python_gc_collections_total{generation="0"} 7069.0
python_gc_collections_total{generation="1"} 642.0
python_gc_collections_total{generation="2"} 58.0
# HELP python_info Python platform information
# TYPE python_info gauge
python_info{implementation="CPython",major="3",minor="6",patchlevel="1",version="3.6.1"} 1.0
# HELP process_virtual_memory_bytes Virtual memory size in bytes.
# TYPE process_virtual_memory_bytes gauge
process_virtual_memory_bytes 9.0904576e+08
# HELP process_resident_memory_bytes Resident memory size in bytes.
# TYPE process_resident_memory_bytes gauge
process_resident_memory_bytes 3.485696e+07
# HELP process_start_time_seconds Start time of the process since unix epoch in seconds.
# TYPE process_start_time_seconds gauge
process_start_time_seconds 1.5912509406e+09
# HELP process_cpu_seconds_total Total user and system CPU time spent in seconds.
# TYPE process_cpu_seconds_total counter
process_cpu_seconds_total 967.65
# HELP process_open_fds Number of open file descriptors.
# TYPE process_open_fds gauge
process_open_fds 7.0
# HELP process_max_fds Maximum number of open file descriptors.
# TYPE process_max_fds gauge
process_max_fds 1.048576e+06
# HELP request_process_sencods Time spent processing request
# TYPE request_process_sencods summary
request_process_sencods_count 15472.0
request_process_sencods_sum 637.3630767939612
# HELP request_process_sencods_created Time spent processing request
# TYPE request_process_sencods_created gauge
request_process_sencods_created 1.5912509420943658e+09
# HELP API API Status
# TYPE API gauge
API{apiModule="IMFriend"} 1.0
API{apiModule="IMQrcode"} 1.0
API{apiModule="UserRecord"} 1.0
API{apiModule="UserBankCard"} 1.0
API{apiModule="UserBalance"} 1.0
API{apiModule="UserAddress"} 1.0
# HELP API_ResponseTime API Response Time
# TYPE API_ResponseTime gauge
API_ResponseTime{apiModule="IMFriend"} 0.0
API_ResponseTime{apiModule="IMQrcode"} 0.0
API_ResponseTime{apiModule="UserRecord"} 0.0
API_ResponseTime{apiModule="UserBankCard"} 0.0
API_ResponseTime{apiModule="UserBalance"} 0.0
API_ResponseTime{apiModule="UserAddress"} 0.0
[root@controller ~]# 8.接下来就是在Prometheus中配置监控target和告警规则，我的集群里面使用Prometheus-Operator部署的Prometheus，所以我使用CRD来配置告警规则。
kubectl create secret generic prometheus-operator-prometheus-scrape-confg --from-file=additional-scrape-configs.yaml --dry-run -oyaml -nmonitoring > additional.yaml && kubectl apply -f additional.yaml
kubectl apply -f alertrule.yaml
9.在prometheus中查看监控target和告警规则已经生效
10.Prometheus的告警会发送给Alertmanager,告警的媒介就自己配置了。 我配置了一个阿里云的电话告警,也是自己写的一个服务
