Market Insights Server
jashchawla8
README
市场洞察服务器
一个使用 Apache Spark、OpenAI GPT 和 MCP 协议生成可操作市场洞察的实时商品追踪系统。
特性
- 从 Reddit、新闻 API 和 Yahoo Finance 实时收集数据
- 使用 Apache Spark (PySpark 3.5.0) 进行可扩展处理
- 由 GPT-4 提供支持的自然语言洞察
- 可配置用于任何商品市场:能源、金属、农业等
- 内置动态配置生成和 subreddit 发现
- 准备好部署,具有错误处理、重试和异步收集功能
要求
- Python 3.x
- PySpark 3.5.0
- Spark NLP 4.4.0
- aiohttp
- yfinance
- openai
- beautifulsoup4
安装依赖项:
pip install -r requirements.txt
用法
python spark_market_insights_server.py --commodity "nickel"
输出:
- 来自 Reddit 和新闻来源的清理后的文本数据
- TF-IDF 特征
- 由 GPT-4 提供支持的洞察报告
- 洞察的 JSON 导出
架构
-
数据收集层
- 异步抓取 Reddit 和新闻文章
- Yahoo Finance 提供实时价格信息
-
处理层 (Apache Spark)
- 分词 → 停用词删除 → TF-IDF 向量化
- 支持 Spark NLP 管道
-
AI 洞察层
- 使用 OpenAI GPT-4 总结和合成市场叙述
-
配置层
- 自动识别每个商品相关的 subreddit 和关键词
🔍 示例输出
“在印度尼西亚新的出口禁令之后,镍价大幅上涨。Reddit 情绪看涨,帖子预计供应受限。市场数据显示,与电动汽车相关的股票(如 NIO 和 LI)出现相关上涨。”
🛠 故障排除
问题 | 修复 |
---|---|
Spark 阶段卡住 | 检查内存设置,重新分区输入 |
API 返回 429 | 添加退避/重试逻辑,轮换 API 密钥 |
GPT 返回空 | 使用最新模型,调整提示 |
即将推出
- 也将分析 Youtube 视频以获取商品信息
- 在 Smithery.ai 上的公共仪表板
贡献
有新的数据源或洞察模型吗?欢迎提交 PR!
许可证
MIT 许可证
推荐服务器
Crypto Price & Market Analysis MCP Server
一个模型上下文协议 (MCP) 服务器,它使用 CoinCap API 提供全面的加密货币分析。该服务器通过一个易于使用的界面提供实时价格数据、市场分析和历史趋势。 (Alternative, slightly more formal and technical translation): 一个模型上下文协议 (MCP) 服务器,利用 CoinCap API 提供全面的加密货币分析服务。该服务器通过用户友好的界面,提供实时价格数据、市场分析以及历史趋势数据。
MCP PubMed Search
用于搜索 PubMed 的服务器(PubMed 是一个免费的在线数据库,用户可以在其中搜索生物医学和生命科学文献)。 我是在 MCP 发布当天创建的,但当时正在度假。 我看到有人在您的数据库中发布了类似的服务器,但还是决定发布我的服务器。
mixpanel
连接到您的 Mixpanel 数据。 从 Mixpanel 分析查询事件、留存和漏斗数据。

Sequential Thinking MCP Server
这个服务器通过将复杂问题分解为顺序步骤来促进结构化的问题解决,支持修订,并通过完整的 MCP 集成来实现多条解决方案路径。

Nefino MCP Server
为大型语言模型提供访问德国可再生能源项目新闻和信息的能力,允许按地点、主题(太阳能、风能、氢能)和日期范围进行筛选。
Vectorize
将 MCP 服务器向量化以实现高级检索、私有深度研究、Anything-to-Markdown 文件提取和文本分块。
Mathematica Documentation MCP server
一个服务器,通过 FastMCP 提供对 Mathematica 文档的访问,使用户能够从 Wolfram Mathematica 检索函数文档和列出软件包符号。
kb-mcp-server
一个 MCP 服务器,旨在实现便携性、本地化、简易性和便利性,以支持对 txtai “all in one” 嵌入数据库进行基于语义/图的检索。任何 tar.gz 格式的 txtai 嵌入数据库都可以被加载。
Research MCP Server
这个服务器用作 MCP 服务器,与 Notion 交互以检索和创建调查数据,并与 Claude Desktop Client 集成以进行和审查调查。

Cryo MCP Server
一个API服务器,实现了模型补全协议(MCP),用于Cryo区块链数据提取,允许用户通过任何兼容MCP的客户端查询以太坊区块链数据。