Lionscraper MCP + CLI + HTTP API Bridge
什麼是 LionScraper?
LionScraper 是一個瀏覽器擴展配套的 MCP (Model Context Protocol) 服務器。它的核心作用是作為“橋樑”,將你的AI應用(如 Cursor)與瀏覽器擴展連接起來。你只需在AI應用中用自然語言下達指令,MCP服務器就會將這些指令傳遞給瀏覽器擴展,從而實現對網頁數據的自動化採集,如收集列表、文章、鏈接、圖片、郵箱和電話號碼等。它就像是AI助手的“眼睛和手”,幫助AI從網頁中獲取你需要的具體信息。如何使用 LionScraper?
使用LionScraper主要分為三步: 1. 基礎準備:在你的電腦上安裝 Chrome 或 Edge 瀏覽器,並從官方商店安裝 LionScraper 擴展。 2. 部署服務器:在電腦上安裝Node.js或Python運行環境,然後通過 npm 或 pip 安裝 LionScraper 包,並啟動它的“守護進程 (daemon)”。 3. 配置連接:將AI應用(如Cursor)的MCP配置指向已安裝的LionScraper,並在瀏覽器擴展的設置中確保“橋接端口”與服務器配置一致。完成這些後,你就可以在AI應用中通過自然對話來抓取網頁內容了。適用場景
LionScraper 非常適合需要從網頁批量提取結構化數據的場景。例如: - 市場調研時,從競爭對手網站收集產品列表和價格。 - 內容創作時,從多個資訊網站篩選並整理文章標題和鏈接。 - 數據研究時,從公開數據的網頁中導出表格信息。 - 日常辦公時,快速抓取網頁上的聯繫人信息(如郵箱、電話)。 它通過自然語言交互,極大地降低了傳統爬蟲的門檻,讓不熟悉編程的用戶也能輕鬆完成網頁數據採集任務。主要功能
三合一接口支持
提供MCP(用於AI應用)、CLI(命令行工具)和HTTP API三種訪問方式,滿足不同用戶和技術棧的需求。無論你是使用AI編程助手,還是習慣在終端操作,或是想集成到自己的腳本中,都能找到合適的方式。
自然語言驅動採集
跨運行環境支持
同時支持 Node.js 和 Python 兩種運行環境,用戶可以根據自己的喜好或項目需求選擇安裝 npm 包或 PyPI 包,兩者提供相同的功能和命令行接口。
多種內容採集類型
能夠從網頁中智能採集多種類型的數據,包括列表、文章正文、超鏈接、圖片URL、電子郵件地址和電話號碼等,基本覆蓋了日常網頁數據提取的絕大部分需求。
HTTP 回退模式
當無法連接Chrome或Edge瀏覽器及擴展時,MCP服務器仍能啟動,並使用“http_fetch”模式進行基本的服務器端HTTP GET請求,確保基本功能可用,同時向用戶提示更強大的瀏覽器擴展模式。
後臺守護進程模式
CLI工具提供 `daemon` 命令,可以以後臺服務(守護進程)的形式運行,持續監聽端口,方便與瀏覽器擴展或其他HTTP客戶端長期協同工作。
優勢
使用自然語言交互,操作門檻低,即使不懂複雜的技術命令也能輕鬆進行網頁數據採集。
接口類型豐富,同時具備MCP、CLI和HTTP API,能適應AI應用、終端和編程腳本等多種使用場景。
跨平臺兼容性好,同時提供Node.js和Python兩種安裝包,可以無縫融入用戶現有的技術環境。
具備HTTP回退模式,即使在瀏覽器不可用或擴展未連接的情況下,核心功能依然可用,保證了系統的健壯性。
抓取功能由瀏覽器擴展實現,能夠執行JavaScript,可以處理現代動態網頁,比純服務端抓取能力更強。
侷限性
完全依賴瀏覽器擴展實現高級抓取功能,如果瀏覽器未安裝或未啟用擴展,則無法處理複雜的單頁面應用或交互式網頁。
安裝和初始配置相對繁瑣,用戶需要分別安裝瀏覽器、瀏覽器擴展、Node.js或Python環境以及MCP服務器包,並確保端口配置一致。
性能受限於瀏覽器擴展和本地網絡,抓取速度可能不如專業的、分佈式的雲端爬蟲高,不適合大規模、高併發的數據採集任務。
如何使用
安裝瀏覽器和擴展
確保你已安裝 Chrome 或 Edge 瀏覽器。然後,在瀏覽器的擴展商店中安裝 LionScraper 擴展。
安裝運行環境和MCP包
安裝Node.js 18+ 或 Python 3.10+,然後通過 npm 或 pip 安裝 LionScraper 包。安裝後,你的系統將獲得 `lionscraper` 和 `lionscraper-mcp` 兩個命令。
啟動守護進程
在終端中運行 `lionscraper daemon` 命令啟動後臺服務。這個服務會監聽一個端口(默認為13808),用於與瀏覽器擴展和AI應用通信。
配置瀏覽器擴展端口
打開 LionScraper 擴展的設置或選項頁面,找到“橋接端口”(Bridge Port)設置,將其值修改為與MCP服務器一致的端口(例如 13808)。如果必要,點擊“重新連接”或重啟瀏覽器。
在AI應用中配置MCP
在你使用的AI應用(如 Cursor)的MCP配置文件中,添加一個名為 `lionscraper` 的新服務器,並將 `command` 設置為 `lionscraper-mcp`。
開始使用
完成以上配置後,在你的AI應用對話界面中,你就可以直接使用自然語言來指揮AI進行網頁數據採集了。比如:“連接到LionScraper,然後抓取我當前瀏覽器頁面上所有的照片網址。”
使用案例
收集競爭對手的產品信息
市場研究人員想快速瞭解某個競爭對手網站上的所有產品及其價格,以便進行市場分析。通過在AI應用中下達指令,可以一鍵抓取產品列表。
整理行業新聞摘要
內容編輯需要從幾個不同的科技新聞網站上收集今天的頭條新聞標題和鏈接,用於製作每日簡報。
從聯繫方式頁面提取信息
一位銷售人員希望從一家潛在客戶的“聯繫我們”頁面找到公司電話和郵箱,以便聯繫。
備份博客文章內容
想將自己博客上的一篇長篇文章完整地保存到本地,包括其正文內容。
常見問題
為什麼我能在AI應用中看到MCP工具,但抓取仍然失敗?
我需要安裝 Node.js 還是 Python?
如何更改 LionScraper 的端口?
不使用瀏覽器擴展,LionScraper 還能工作嗎?
我可以在多臺電腦上運行 LionScraper 嗎?
相關資源
官方網站
LionScraper 項目的官方網站,可以獲取最新信息和動態。
npm 包
Node.js 版本的 LionScraper 包,可通過 npm 安裝。
PyPI 項目
Python 版本的 LionScraper 項目,可通過 pip 安裝。
GitHub 倉庫
GitHub上的源代碼倉庫,包含詳細的 Node.js 和 Python 包說明文檔。
Chrome 擴展商店
在 Chrome 瀏覽器中安裝 LionScraper 擴展。
Microsoft Edge 擴展商店
在 Edge 瀏覽器中安裝 LionScraper 擴展。

Baidu Map
已認證
百度地圖MCP Server是國內首個兼容MCP協議的地圖服務,提供地理編碼、路線規劃等10個標準化API接口,支持Python和Typescript快速接入,賦能智能體實現地圖相關功能。
Python
41.4K
4.5分

Markdownify MCP
Markdownify是一個多功能文件轉換服務,支持將PDF、圖片、音頻等多種格式及網頁內容轉換為Markdown格式。
TypeScript
35.2K
5分

Firecrawl MCP Server
Firecrawl MCP Server是一個集成Firecrawl網頁抓取能力的模型上下文協議服務器,提供豐富的網頁抓取、搜索和內容提取功能。
TypeScript
141.9K
5分

Sequential Thinking MCP Server
一個基於MCP協議的結構化思維服務器,通過定義思考階段幫助分解複雜問題並生成總結
Python
34.2K
4.5分

Notion Api MCP
已認證
一個基於Python的MCP服務器,通過Notion API提供高級待辦事項管理和內容組織功能,實現AI模型與Notion的無縫集成。
Python
20.4K
4.5分

Context7
Context7 MCP是一個為AI編程助手提供即時、版本特定文檔和代碼示例的服務,通過Model Context Protocol直接集成到提示中,解決LLM使用過時信息的問題。
TypeScript
89.0K
4.7分

Magic MCP
Magic Component Platform (MCP) 是一個AI驅動的UI組件生成工具,通過自然語言描述幫助開發者快速創建現代化UI組件,支持多種IDE集成。
JavaScript
21.3K
5分

Edgeone Pages MCP Server
EdgeOne Pages MCP是一個通過MCP協議快速部署HTML內容到EdgeOne Pages並獲取公開URL的服務
TypeScript
26.9K
4.8分



