【技术经验分享】计算机毕业设计Python+SparkML知识图谱新闻推荐系统 新闻数据分析 新闻爬虫 新闻大数据 新闻可视化 大数据毕业设计 大数据毕设 机器学习 深度学习

开发技术

Python爬虫

springboot

vue.js

SparkML

SparkALS

机器学习

深度学习

协同过滤算法

说明

1. 后端使用SpringBoot+Mybatis-Plus框架

2. 前端使用Vue.js+Element-Plus+Windi CSS框架

3. 数据爬虫使用Python+Scrapy框架

4. 大数据推荐功能使用Scala+Spark实现协同过滤算法，采用余弦相似度计算。

5. 使用Docker+Maven打包部署服务器

import openpyxl
import requests
import pymysql
from lxml import etree
from tqdm import tqdm

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36'
}


# 组合日期链接
def cnew_url():
    f = open(r'e:/spark_news_rec2024/spider/cnew_url.txt', 'w', encoding='utf8')
    for i in range(6, 11):
        if i < 10:

import java.io.File
import org.apache.log4j.{Level, Logger}
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.mllib.recommendation.{ALS, Rating}
import org.apache.spark.rdd.{JdbcRDD, RDD}

import java.sql.{Connection, DriverManager}

object Train {
  //屏蔽不必要的日志显示在终端上
  Logger.getLogger("org").setLevel(Level.WARN)

  def main(args: Array[String]): Unit = {
    // 配置Spark
    val conf = new SparkConf().setMaster("local").setAppName("alsMoudleTrain")
    val sc = new SparkContext(conf)
    // 定义模型
    val myModelPath = "alsMoudle"
    // 获取数据
    def getCon(): Connection = {

运行截图

视频