项目介绍
独立设计并实现端到端视频质量评价系统，采集约 1500 个 B 站视频及 34 万条评论数据，覆盖 13 个内容分区。
技术亮点
- 基于 PySpark 与 Hadoop HDFS 构建数据清洗与特征工程流水线，使用 Parquet 作为中间存储格式，相比原始 JSON 节省约 70% 存储空间，Spark 读取速度提升约 5 倍。
- 集成 Erlangshen-RoBERTa 模型完成评论情感分析，采用分块批处理与断点续传机制，完成 34 万条评论推理。
- 构建基于评论质量系数 Q 的动态权重综合评分模型，从加权情感得分、评论一致性、讨论深度三个维度量化评论区质量，使情感分数标准差从 0.629 提升至 0.783，模型区分度提升约 24%。
- 使用 Flask 构建 10 余个 RESTful 接口，使用 Vue 3 + ECharts 实现排行榜、Q 雷达图、情感分布、模型对比等可视化页面，并支持用户输入任意视频链接，约 10 秒内返回完整分析结果。