图片

本篇文章将介绍如何搭建一套基于 XXL-JOB + Deepseek 的定时数据分析系统,帮你做一个智能的金融理财助手。

概述

AI 大模型火了几年了,不知不觉中,已经普及到千家万户中,常见的应用场景有:

  • 内容创作:比如通过你的名字给你作一首诗。比如给你生成吸引人的广告文案。
  • 聊天机器人:比如客服答疑,比如英语口语陪练。
  • 逻辑推理:比如辅助医生分析病例、生成诊断建议。比如帮你做一道数学题目。

大部分的交互方式,都是通过自然语言和大模型进行对话,由人主动发起,如下:

图片

也有许多的业务场景,不是由人主动发起的,通过定时任务在后台不停运行,也可以结合大模型做增强,场景如下:

  • 风险监控:定时监控系统指标,由大模型进行智能分析,发现潜在的风险。
  • 数据分析:定时采集在线金融数据,由大模型进行智能分析,给出投资者建议。

本篇文章将介绍如何搭建一套基于 XXL-JOB + Deepseek 的定时数据分析系统,帮你做一个智能的金融理财助手。XXL-JOB[1] 是一个国内流行的开源分布式任务调度平台,简单易用,并且功能丰富。支持单机任务、分布式任务的定时调度,可以做到秒级别调度。有多种路由策略、堵塞处理策略可供选择。提供任务的报警监控、手动运维、监控大盘等能力。

如何搭建系统

搭建Deepseek

大模型选择Deepseek,出于以下考虑:

  • Deepseek以推理能力出圈,适合做数据分析。并且Deepseek的母公司幻方量化就是做量化交易的,我们相信Deepseek在金融分析上有着显著的优势。
  • Deepseek开源并且很轻量,可以很方便部署起来。

也可以选择阿里云最新开源的QwQ模型,推理能力比肩Deepseek-r1,在做复杂数据分析上同样能力出众。以下图表展示了QwQ-32B 与其他领先模型在数学推理、编程能力和通用能力上的对比:

方案一:本地部署

本地部署Deepseek、QwQ或者其他模型,步骤都是差不多的,下面以Deepseek为例:

  1. 安装ollama:https://ollama.com/download

  2. 安装Deepseek r1模型:r1模型专注于复杂逻辑推理,更适合做金融数据分析

根据机器规格大小选择一个模型,比如我的电脑有16G内存,选择7b,就在命令行输入如下命令安装:

不同模型对应的硬件要求如下表:

模型名称模型大小显存内存
deepseek-r1:1.5b1.1GB4GB+8GB+
deepseek-r1:7b4.7GB8GB+16GB+
deepseek-r1:8b4.9GB10GB+18GB+
deepseek-r1:14b9.0GB16GB+32GB+
deepseek-r1:32b20GB24GB+64GB+
  1. 部署完成后,我们通过api进行测试(使用兼容openai的api,端口默认是11434),方便后续写代码。

方案二:使用云产品

我们也可以直接使用云产品,以阿里云百炼[2]为例,只需要开通即可使用,并且有海量的免费额度。使用云产品的话还有个好处,就是可以随时切换模型,体验不同模型的优劣。

搭建XXL-JOB

使用XXL-JOB有如下好处:

  • 可以定时发起AI任务请求。
  • 可以把prompt和返回格式放在任务参数上,动态修改。
  • 可以使用广播分片任务,把大任务拆分成多个小任务,加快AI任务运行速度。
  • 可以使用任务依赖编排,构建一个AI数据分析的流程。

方案一:本地部署

XXL-JOB 部署很简单,详细的步骤可以参考官网[3],大概步骤如下:

  1. 准备一个数据库并初始化数据库表结构

  2. 把代码导入到IDEA中,配置xxl-job-admin的配置文件

  3. 运行XxlJobAdminApplication这个类,然后浏览器输入 http://127.0.0.1:8080/xxl-job-admin 就可以登录了(密码默认是 admin/123456)

方案二:使用云产品

我们也可以使用托管XXL-JOB的云产品,比如阿里云MSE产品任务调度XXL-JOB版[4],一键部署,并且可以免费试用[5]。

定时推送财经新闻

接下来先以定时推送财经新闻这个demo来热热身,流程图如下

  1. XXLJOB-Admin 通过定时调度或者手动触发,配置好对应任务的prompt信息,运行某个任务执行。
  2. 先去互联网拉取财经新闻,可以简单的做一下过滤。
  3. 把网页内容丢给Deepseek,让他提炼最热门的N个新闻。

下面以使用阿里云百炼托管的deepseek-r1为例,获取新浪财经的热点新闻,通过XXL-JOB配置prompt如下:

实现代码参考如下(该demo也集成在了云产品快速体验示例[6]中):

@Componentpublic class AIJob {    @Value("${dashscope.api.key}")    private String apiKey;    @XxlJob(value = "sinaNews")    public ReturnT<String> sinaNews() throws Exception {        String url = "https://finance.sina.com.cn/topnews/";        String model = "deepseek-r1";        // prompt        String jobParam = XxlJobContext.getXxlJobContext().getJobParam();                ReturnT<String> rtn = ReturnT.SUCCESS;        Document document = Jsoup.connect(url).get();        // 定位到“汇总榜”部分        Element summaryBlock = document.selectFirst("div.lbti:has(h2:containsOwn(汇总榜))");        if (summaryBlock != null) {            // 找到该块中的<script>标签            Element scriptTag = summaryBlock.parent().selectFirst("script[src]");            if (scriptTag != null) {                // 提取src属性值        String srcValue = scriptTag.attr("src");        HttpResponse<String> httpResponse = Unirest.get(srcValue).asString();        String news = httpResponse.getBody();        Map<String, Object> bodyMap = new HashMap<>();        bodyMap.put("model", model);        List<Map<String, String>> messagesList = new ArrayList<>();        Map<String, String> message = new HashMap<>();        message.put("role", "system");        message.put("content", jobParam);        messagesList.add(message);        message = new HashMap<>();        message.put("role", "user");        message.put("content", "这是今天的财经新闻,帮我按规则解析:" + news );        messagesList.add(message);        bodyMap.put("messages", messagesList);        String bodyJson = new Gson().toJson(bodyMap);        Unirest.setTimeouts(120000, 120000); //加大timeout,防止超时退出        HttpResponse<JsonNode> jsonHttpResponse =            Unirest.post("https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions")                .header("Authorization", "Bearer " + apiKey)                .header("Content-Type", "application/json")                .body(bodyJson)                .asJson();        OpenAIResponse openAIResponse =            new Gson().fromJson(jsonHttpResponse.getBody().getObject().toString(), OpenAIResponse.class);        rtn.setContent(openAIResponse.getChoices().get(0).getMessage().getContent());        XxlJobHelper.log(openAIResponse.getChoices().get(0).getMessage().getContent());                //TODO 通过钉钉发送分析总结        sendMessage(openAIResponse);            } else {                rtn.setCode(ReturnT.FAIL_CODE);                rtn.setMsg("未找到汇总榜的<script>标签");            }        } else {            rtn.setCode(ReturnT.FAIL_CODE);            rtn.setMsg("未找到汇总榜部分");        }        return rtn;    }    private void sendMessage(OpenAIResponse message){        //TODO    }}

手动运行一次任务,收到钉钉通知如下:

定时做金融数据分析

在上面一个例子中,我们只拉取了新浪财经的新闻,如果想准实时拉取国内外金融新闻和数据,快速做出决策,一个单机任务的时效性肯定是不够的。我们可以使用XXL-JOB的广播分片任务,将大任务拆分成小任务,不同的小任务去拉取不同的数据。再通过XXL-JOB的任务编排能力组成一个流程,一步步去完成我们的任务。流程如下:

  1. 在XXL-JOB上新建3个任务,并建立依赖关系,拉取金融数据->数据分析->生成报告。其中拉取金融数据任务的路由策略是广播分片。
  2. 拉取金融数据任务开始执行的时候,通过广播分片派发多个子任务给不同的执行器,去获取各大国内外财经新闻和金融数据,把结果存储起来(比如数据库、Redis或者对象存储)。
  3. 数据分析任务开始执行的时候,去获取当前的金融数据,再调用Deepseek进行分析,将结果存储起来。
  4. 数据分析完,再通过报告生成任务,将分析完的数据生成一个报告或者报表,通过钉钉或者邮件推送给用户,进行投资建议。

总结

通过上面的示例,你是不是觉得在Deepseek的加持下,做金融分析变得如此简单,自己也可以做一个量化交易系统,实现财富自由?实际上真正的量化交易系统是非常复杂的,除了上面示例中的数据收集、数据清洗、数据分析步骤,还有策略回测、风险监控等模块,也可以使用这套架构实现智能化。

除了在金融领域做数据分析,其他任何领域有数据分析的需求,都可以基于这套架构做智能化,我相信 XXL-JOB + Deepseek 一定是你做数据分析的一大利器。

AI大模型学习福利

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

大模型&AI产品经理如何学习

求大家的点赞和收藏,我花2万买的大模型学习资料免费共享给你们,来看看有哪些东西。

1.学习路线图

在这里插入图片描述

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

2.视频教程

网上虽然也有很多的学习资源,但基本上都残缺不全的,这是我自己整理的大模型视频教程,上面路线图的每一个知识点,我都有配套的视频讲解。

在这里插入图片描述

在这里插入图片描述

(都打包成一块的了,不能一一展开,总共300多集)

因篇幅有限,仅展示部分资料,需要点击下方图片前往获取

3.技术文档和电子书

这里主要整理了大模型相关PDF书籍、行业报告、文档,有几百本,都是目前行业最新的。
在这里插入图片描述

4.LLM面试题和面经合集

这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。
在这里插入图片描述

👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
在这里插入图片描述

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

在这里插入图片描述

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐