Market Insights Server

🚀 市場洞察服務器

市場洞察服務器是一個即時大宗商品追蹤系統，它結合了 Apache Spark、OpenAI GPT 和 MCP 協議，能夠生成可操作的市場見解，助力用戶把握大宗商品市場動態。

🚀 快速開始

運行以下命令啟動系統：

python spark_market_insights_server.py --commodity "nickel"

輸出內容包括：

• 來自 Reddit 和新聞來源的清理文本數據
• TF-IDF 特徵
• GPT-4 支持的見解報告
• 見解 JSON 導出

✨ 主要特性

• 🌐 即時數據收集：從 Reddit、新聞 API 和雅虎財經收集即時數據。
• 🚀 可擴展處理：使用 Apache Spark（PySpark 3.5.0）進行可擴展的數據處理。
• 🧠 AI 見解支持：由 GPT-4 提供自然語言見解。
• 📈 多市場配置：可配置用於任何大宗商品市場，如能源、金屬、農業等。
• 🎯 動態配置：具備動態配置生成和子論壇發現功能。
• 🚀 易於部署：準備好部署，帶有錯誤處理、重試和異步收集機制。

📦 安裝指南

依賴項

• Python 3.x
• PySpark 3.5.0
• Spark NLP 4.4.0
• aiohttp
• yfinance
• openai
• beautifulsoup4

安裝命令

pip install -r requirements.txt

📚 詳細文檔

架構

1. 數據採集層
   • 異步抓取 Reddit 和新聞文章。
   • 從雅虎財經獲取即時價格 feed。
2. 處理層（Apache Spark）
   • 進行分詞、停用詞移除和 TF-IDF 向量化處理。
   • 支持 Spark NLP 管道。
3. AI 洞察層
   • 使用 OpenAI GPT-4 總結並綜合市場敘述。
4. 配置層
   • 根據大宗商品自動識別相關 subreddit 和關鍵字。

示例輸出

“鎳價因印度尼西亞的新出口禁令而大幅上漲。Reddit 情緒看漲，帖子預測供應限制。市場數據顯示 EV 相關股票如 NIO 和 LI 出現同步上漲。”

故障排除

即將推出

• 分析 YouTube 視頻中的大宗商品內容。
• 公共儀表板在 Smithery.ai 上線。

🤝 貢獻

有新的數據源或見解模型嗎？歡迎提交 PR！

📄 許可證

本項目採用 MIT License。