Lionscraper MCP + CLI + HTTP API Bridge
L

Lionscraper MCP + CLI + HTTP API Bridge

LionScraper是一個瀏覽器擴展,通過MCP、CLI和HTTP API橋接工具,實現網頁數據採集。
2分
7.3K

什麼是 LionScraper?

LionScraper 是一個瀏覽器擴展配套的 MCP (Model Context Protocol) 服務器。它的核心作用是作為“橋樑”,將你的AI應用(如 Cursor)與瀏覽器擴展連接起來。你只需在AI應用中用自然語言下達指令,MCP服務器就會將這些指令傳遞給瀏覽器擴展,從而實現對網頁數據的自動化採集,如收集列表、文章、鏈接、圖片、郵箱和電話號碼等。它就像是AI助手的“眼睛和手”,幫助AI從網頁中獲取你需要的具體信息。

如何使用 LionScraper?

使用LionScraper主要分為三步: 1. 基礎準備:在你的電腦上安裝 Chrome 或 Edge 瀏覽器,並從官方商店安裝 LionScraper 擴展。 2. 部署服務器:在電腦上安裝Node.js或Python運行環境,然後通過 npm 或 pip 安裝 LionScraper 包,並啟動它的“守護進程 (daemon)”。 3. 配置連接:將AI應用(如Cursor)的MCP配置指向已安裝的LionScraper,並在瀏覽器擴展的設置中確保“橋接端口”與服務器配置一致。完成這些後,你就可以在AI應用中通過自然對話來抓取網頁內容了。

適用場景

LionScraper 非常適合需要從網頁批量提取結構化數據的場景。例如: - 市場調研時,從競爭對手網站收集產品列表和價格。 - 內容創作時,從多個資訊網站篩選並整理文章標題和鏈接。 - 數據研究時,從公開數據的網頁中導出表格信息。 - 日常辦公時,快速抓取網頁上的聯繫人信息(如郵箱、電話)。 它通過自然語言交互,極大地降低了傳統爬蟲的門檻,讓不熟悉編程的用戶也能輕鬆完成網頁數據採集任務。

主要功能

三合一接口支持
提供MCP(用於AI應用)、CLI(命令行工具)和HTTP API三種訪問方式,滿足不同用戶和技術棧的需求。無論你是使用AI編程助手,還是習慣在終端操作,或是想集成到自己的腳本中,都能找到合適的方式。
自然語言驅動採集
跨運行環境支持
同時支持 Node.js 和 Python 兩種運行環境,用戶可以根據自己的喜好或項目需求選擇安裝 npm 包或 PyPI 包,兩者提供相同的功能和命令行接口。
多種內容採集類型
能夠從網頁中智能採集多種類型的數據,包括列表、文章正文、超鏈接、圖片URL、電子郵件地址和電話號碼等,基本覆蓋了日常網頁數據提取的絕大部分需求。
HTTP 回退模式
當無法連接Chrome或Edge瀏覽器及擴展時,MCP服務器仍能啟動,並使用“http_fetch”模式進行基本的服務器端HTTP GET請求,確保基本功能可用,同時向用戶提示更強大的瀏覽器擴展模式。
後臺守護進程模式
CLI工具提供 `daemon` 命令,可以以後臺服務(守護進程)的形式運行,持續監聽端口,方便與瀏覽器擴展或其他HTTP客戶端長期協同工作。
優勢
使用自然語言交互,操作門檻低,即使不懂複雜的技術命令也能輕鬆進行網頁數據採集。
接口類型豐富,同時具備MCP、CLI和HTTP API,能適應AI應用、終端和編程腳本等多種使用場景。
跨平臺兼容性好,同時提供Node.js和Python兩種安裝包,可以無縫融入用戶現有的技術環境。
具備HTTP回退模式,即使在瀏覽器不可用或擴展未連接的情況下,核心功能依然可用,保證了系統的健壯性。
抓取功能由瀏覽器擴展實現,能夠執行JavaScript,可以處理現代動態網頁,比純服務端抓取能力更強。
侷限性
完全依賴瀏覽器擴展實現高級抓取功能,如果瀏覽器未安裝或未啟用擴展,則無法處理複雜的單頁面應用或交互式網頁。
安裝和初始配置相對繁瑣,用戶需要分別安裝瀏覽器、瀏覽器擴展、Node.js或Python環境以及MCP服務器包,並確保端口配置一致。
性能受限於瀏覽器擴展和本地網絡,抓取速度可能不如專業的、分佈式的雲端爬蟲高,不適合大規模、高併發的數據採集任務。

如何使用

安裝瀏覽器和擴展
確保你已安裝 Chrome 或 Edge 瀏覽器。然後,在瀏覽器的擴展商店中安裝 LionScraper 擴展。
安裝運行環境和MCP包
安裝Node.js 18+ 或 Python 3.10+,然後通過 npm 或 pip 安裝 LionScraper 包。安裝後,你的系統將獲得 `lionscraper` 和 `lionscraper-mcp` 兩個命令。
啟動守護進程
在終端中運行 `lionscraper daemon` 命令啟動後臺服務。這個服務會監聽一個端口(默認為13808),用於與瀏覽器擴展和AI應用通信。
配置瀏覽器擴展端口
打開 LionScraper 擴展的設置或選項頁面,找到“橋接端口”(Bridge Port)設置,將其值修改為與MCP服務器一致的端口(例如 13808)。如果必要,點擊“重新連接”或重啟瀏覽器。
在AI應用中配置MCP
在你使用的AI應用(如 Cursor)的MCP配置文件中,添加一個名為 `lionscraper` 的新服務器,並將 `command` 設置為 `lionscraper-mcp`。
開始使用
完成以上配置後,在你的AI應用對話界面中,你就可以直接使用自然語言來指揮AI進行網頁數據採集了。比如:“連接到LionScraper,然後抓取我當前瀏覽器頁面上所有的照片網址。”

使用案例

收集競爭對手的產品信息
市場研究人員想快速瞭解某個競爭對手網站上的所有產品及其價格,以便進行市場分析。通過在AI應用中下達指令,可以一鍵抓取產品列表。
整理行業新聞摘要
內容編輯需要從幾個不同的科技新聞網站上收集今天的頭條新聞標題和鏈接,用於製作每日簡報。
從聯繫方式頁面提取信息
一位銷售人員希望從一家潛在客戶的“聯繫我們”頁面找到公司電話和郵箱,以便聯繫。
備份博客文章內容
想將自己博客上的一篇長篇文章完整地保存到本地,包括其正文內容。

常見問題

為什麼我能在AI應用中看到MCP工具,但抓取仍然失敗?
我需要安裝 Node.js 還是 Python?
如何更改 LionScraper 的端口?
不使用瀏覽器擴展,LionScraper 還能工作嗎?
我可以在多臺電腦上運行 LionScraper 嗎?

相關資源

官方網站
LionScraper 項目的官方網站,可以獲取最新信息和動態。
npm 包
Node.js 版本的 LionScraper 包,可通過 npm 安裝。
PyPI 項目
Python 版本的 LionScraper 項目,可通過 pip 安裝。
GitHub 倉庫
GitHub上的源代碼倉庫,包含詳細的 Node.js 和 Python 包說明文檔。
Chrome 擴展商店
在 Chrome 瀏覽器中安裝 LionScraper 擴展。
Microsoft Edge 擴展商店
在 Edge 瀏覽器中安裝 LionScraper 擴展。

安裝

複製以下命令到你的Client進行配置
{
  "mcpServers": {
    "lionscraper": {
      "command": "lionscraper-mcp"
    }
  }
}

{
  "mcpServers": {
    "lionscraper": {
      "command": "lionscraper-mcp",
      "env": {
        "PORT": "13808",
        "TIMEOUT": "120000",
        "LANG": "en-US",
        "TOKEN": "",
        "DAEMON": ""
      }
    }
  }
}

{
  "mcpServers": {
    "lionscraper": {
      "command": "npx",
      "args": ["-y", "lionscraper", "lionscraper-mcp"]
    }
  }
}

{
  "mcpServers": {
    "lionscraper": {
      "command": "npx",
      "args": ["-y", "lionscraper", "lionscraper-mcp"],
      "env": {
        "PORT": "13808",
        "TIMEOUT": "120000",
        "LANG": "en-US",
        "TOKEN": "",
        "DAEMON": ""
      }
    }
  }
}

{
  "mcpServers": {
    "lionscraper": {
      "command": "python",
      "args": ["-m", "lionscraper"]
    }
  }
}
注意:您的密鑰屬於敏感信息,請勿與任何人分享。

替代品

P
Paperbanana
PaperBanana是一個自動化生成學術圖表和統計圖的智能框架,支持從文本描述生成高質量的論文插圖,採用多智能體管道和迭代優化,提供CLI、Python API和MCP服務器等多種使用方式。
Python
8.9K
5分
F
Finlab Ai
FinLab AI是一個金融量化分析平臺,通過AI技術幫助用戶發現投資策略中的超額收益(alpha)。它提供豐富的數據集、回測框架和策略示例,支持自動化安裝與集成到主流AI編程助手。
8.8K
4分
A
Apify MCP Server
Apify MCP服務器是一個基於模型上下文協議(MCP)的工具,允許AI助手通過數千個現成的爬蟲、抓取器和自動化工具(Apify Actor)從社交媒體、搜索引擎、電商等網站提取數據。它支持OAuth和Skyfire代理支付,可通過HTTPS端點或本地stdio方式集成到Claude、VS Code等MCP客戶端中。
TypeScript
8.9K
5分
P
Praisonai
PraisonAI是一個生產就緒的多AI智能體框架,具有自反思功能,旨在創建AI智能體來自動化解決從簡單任務到複雜挑戰的各種問題。它通過將PraisonAI智能體、AG2和CrewAI集成到一個低代碼解決方案中,簡化了多智能體LLM系統的構建和管理,強調簡單性、定製化和有效的人機協作。
Python
16.7K
5分
M
Maverick MCP
MaverickMCP是一個基於FastMCP 2.0的個人股票分析服務器,為Claude Desktop等MCP客戶端提供專業級的金融數據分析、技術指標計算和投資組合優化工具。它預置了520只標普500股票數據,支持多種技術分析策略和並行處理,無需複雜認證即可本地運行。
Python
11.9K
4分
K
Klavis
Klavis AI是一個開源項目,提供在Slack、Discord和Web平臺上簡單易用的MCP(模型上下文協議)服務,包括報告生成、YouTube工具、文檔轉換等多種功能,支持非技術用戶和開發者使用AI工作流。
TypeScript
34.9K
5分
S
Scrapling
Scrapling是一個自適應網頁抓取庫,能自動學習網站變化並重新定位元素,支持多種抓取方式和AI集成,提供高性能解析和開發者友好體驗。
Python
24.9K
5分
A
Apple Health MCP
一個用於通過SQL查詢蘋果健康數據的MCP服務器,基於DuckDB實現高效分析,支持自然語言查詢和自動報告生成。
TypeScript
11.2K
4.5分
B
Baidu Map
已認證
百度地圖MCP Server是國內首個兼容MCP協議的地圖服務,提供地理編碼、路線規劃等10個標準化API接口,支持Python和Typescript快速接入,賦能智能體實現地圖相關功能。
Python
41.4K
4.5分
M
Markdownify MCP
Markdownify是一個多功能文件轉換服務,支持將PDF、圖片、音頻等多種格式及網頁內容轉換為Markdown格式。
TypeScript
35.2K
5分
F
Firecrawl MCP Server
Firecrawl MCP Server是一個集成Firecrawl網頁抓取能力的模型上下文協議服務器,提供豐富的網頁抓取、搜索和內容提取功能。
TypeScript
141.9K
5分
S
Sequential Thinking MCP Server
一個基於MCP協議的結構化思維服務器,通過定義思考階段幫助分解複雜問題並生成總結
Python
34.2K
4.5分
N
Notion Api MCP
已認證
一個基於Python的MCP服務器,通過Notion API提供高級待辦事項管理和內容組織功能,實現AI模型與Notion的無縫集成。
Python
20.4K
4.5分
C
Context7
Context7 MCP是一個為AI編程助手提供即時、版本特定文檔和代碼示例的服務,通過Model Context Protocol直接集成到提示中,解決LLM使用過時信息的問題。
TypeScript
89.0K
4.7分
M
Magic MCP
Magic Component Platform (MCP) 是一個AI驅動的UI組件生成工具,通過自然語言描述幫助開發者快速創建現代化UI組件,支持多種IDE集成。
JavaScript
21.3K
5分
E
Edgeone Pages MCP Server
EdgeOne Pages MCP是一個通過MCP協議快速部署HTML內容到EdgeOne Pages並獲取公開URL的服務
TypeScript
26.9K
4.8分
AIBase
智啟未來,您的人工智慧解決方案智庫
© 2026AIBase