开发技术
前端开发:vue.js、element-ui、echarts、websocket
后端开发:springboot+mybatis
数据库:mysql关系系数据库、neo4j图数据库
大数据分析:hadoop+spark+flink
算法/深度学习:mlp神经网络模型、lstm情感分析模型、svd混合神经网络推荐算法、协同过滤算法、KNN+CNN+GNN卷积神经+Kmeans线性回归预测算法
爬虫技术:python、chrome_driver、selenium、requests
爬虫代码分析
def deleteDate():
sql = "DELETE FROM news "
try:
# 执行SQL语句
cursor.execute(sql)
# 提交修改
db.commit()
except:
# 发生错误时回滚
db.rollback()
def saveDate(title,content,time,recourse,url):
try:
cursor.execute("INSERT INTO news(news_title, news_content, type_id, news_creatTime, news_recourse,news_link) VALUES ('%s', '%s', '%s', '%s', '%s' ,'%s')" % \
(title, content, random.randint(1,8), time, recourse,url))
db.commit()
print("执行成功")
except:
db.rollback()
print("执行失败")
def getLink(baseurl):
html = requests.get(baseurl, headers=hea)
html.encoding = 'utf8'
soup = BeautifulSoup(html.text, 'html.parser')
for item in soup.select('div.content_list > ul > li'):
# 对不符合的数据进行清洗
if (item.a == None):
continue
data = []
type = item.div.text[1:3] # 类型
link = item.div.next_sibling.next_sibling.a['href']
data.append(type)
data.append(link)
links.append(data)
if __name__ == '__main__':
main()
java代码分析
package com.bigdata.storm.kafka.util;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.JedisPoolConfig;
/**
* @program: storm-kafka-api-demo
* @description: redis工具类
* @author: 小毕
* @company: 清华大学深圳研究生院
* @create: 2019-08-22 17:23
*/
public class JedisUtil {
/*redis连接池*/
private static JedisPool pool;
/**
*@Description: 返回redis连接池
*@Param:
*@return:
*@Author: 小毕
*@date: 2019/8/22 0022
*/
public static JedisPool getPool(){
if(pool==null){
//创建jedis连接池配置
JedisPoolConfig jedisPoolConfig = new JedisPoolConfig();
//最大连接数
jedisPoolConfig.setMaxTotal(20);
//最大空闲连接
jedisPoolConfig.setMaxIdle(5);
pool=new JedisPool(jedisPoolConfig,"node03.hadoop.com",6379,3000);
}
return pool;
}
public static Jedis getConnection(){
return getPool().getResource();
}
/* public static void main(String[] args) {
//System.out.println(getPool());
//System.out.println(getConnection().set("hello","world"));
}*/
}
scala大数据分析代码分析
package com.bigdata.spark.reducebykey_sort
import org.apache.spark.{SparkConf, SparkContext}
/**
* @program: spark-api-demo
* @description: 类作用描述
* @author: 小毕
* @company: 清华大学深圳研究生院
* @create: 2019-09-02 18:00
*/
object ReduceByKeySortRddDemo {
def main(args: Array[String]): Unit = {
val conf=new SparkConf()
.setAppName("MapFilterApp")
.setMaster("local")
val sc=new SparkContext(conf)
val rdd1=sc.parallelize(List(("tom", 1), ("jerry", 3), ("kitty", 2), ("shuke", 1)))
val rdd2=sc.parallelize(List(("jerry", 2), ("tom", 3), ("shuke", 2), ("kitty", 5)))
val rdd3=rdd1.union(rdd2)
//按key进行聚合
val rdd4=rdd3.reduceByKey(_+_)
rdd4.collect.foreach(println(_))
//按value的降序排序
val rdd5=rdd4.map(t=>(t._2,t._1)).sortByKey(false).map(t=>(t._2,t._1))
rdd5.collect.foreach(println)
}
}
创新点
深度学习预测-K线图(预测算法)
4种推荐算法实现(机器学习+深度学习)
大屏可视化大数据分析(hadoop+spark+flink)
用户修改密码使用阿里云短信接口
百度AI身份证自动识别认证
支付宝沙箱模拟支付
Python爬虫实时数据爬取采集
评论情感分析(lstm模型)
演示截图
视频
计算机毕业设计吊打导师Python+Spark股票基金推荐与预测系统 股票基金可视化 股票基金推荐系统 股票基金可视化系统 股票基金数据分析 股票基金爬虫大数据