Imagerecog

🚀 BenBox

BenBoxは、SSEに基づくMCPツールの代理AIシステムであり、モバイル用のAngularアプリケーションも含まれています。

🚀 クイックスタート

BenBoxは、SSEに基づくMCPツールの代理AIシステムで、モバイルアプリケーションも備えています。このシステムを使用することで、画像認識などのタスクを効率的に実行できます。

✨ 主な機能

• MCPサーバーとクライアントが解耦された構成で、「クラウドネイティブ」なユースケースに適しています。
• 画像のバイトデータやURLを使用してテストできます。
• Streamlitを使用したクライアントアプリケーションを提供しています。
• OllamaやOpenAIのモデルを使用できます。

📦 インストール

必要なパッケージをインストールし、MCPサーバーとクライアントをダウンロードします。

# LinuxでNode.jsをインストール
sudo apt install nodejs npm

# MacでNode.jsをインストール
brew install nodejs npm

# mcpをインストール
conda install -c conda-forge mcp 

# リポジトリをクローン
git clone https://github.com/DrBenjamin/imagerecog

💻 使用例

基本的な使用法

画像のバイトデータやURLを使用してテストします。

"iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAQAAAC1HAwCAAAAC0lEQVR4nGNgYAAAAAMAAWgmWQ0AAAAASUVORK5CYII="

https://www.seriousbenentertainment.org/R/Image.png
http://212.227.102.172:9000/templategenerator/subfolder/City.Golf.jpg

高度な使用法

MCPサーバーとStreamlitクライアントアプリケーションを実行します。

# environment.ymlファイルを使用してconda環境を作成
conda env create -f environment.yml

# conda環境をアクティブ化
conda activate imagerecog
python -m pip install "mcp[cli]"

# 1. MCP開発サーバーを実行
mcp dev src/server.py

# 2. MCPサーバーを実行
python src/server.py

# 3. Streamlitアプリケーションを実行
python -m streamlit run mobile/app.py

# またはスクリプトを実行
sudo chmod 755 run.sh
./run.sh
lsof -i :6274
lsof -i :8080
lsof -i :8501

📚 ドキュメント

設定

設定を変更し、.streamlit/st.secrets.tomlファイルにOpenAI APIキーを追加します。

# LLMプロバイダー
LLM_LOCAL = "False"  # `False`はローカルのOllamaモデルを使用、`True`はOpenAI APIを使用

# MCP API
[MCP]
MCP_URL = "http://127.0.0.1:8080"
MCP_SYSTEM_PROMPT = "<画像認識用のシステムプロンプト>"
MCP_USER_PROMPT = "<画像認識用のユーザープロンプト>"

# Ollama API
[OLLAMA]
OLLAMA_URL = "http://127.0.0.1:11434"
OLLAMA_MODEL = "<ollamaモデル>" # 例: llava または "llama3.2-vision"

# OpenAI API
[OPENAI]
OPENAI_API_KEY = "sk-..."
OPENAI_MODEL = "<モデル>" # 例: "o4-mini" または "gpt-4.1" または "gpt-4o" または "gpt-4-turbo"

Ollamaの使用

Ollamaモデルをインストールして実行するには、以下のコマンドを使用します。

# Ollamaサーバーを実行
conda install -n ollama -y --strict-channel-priority python=3.8.10
git clone https://github.com/ollamaai/ollama.git
cd ollama/
pip install -r requirements.txt
python server.py

# モデルをインストール
ollama pull mistral-7b-instruct

モバイルデバイス用のビルド

モバイルデバイス用にアプリケーションをビルドするには、以下のコマンドを使用します（Capacitorのバージョンが一致していることを確認してください）。

# プロジェクトのルートディレクトリでCapacitorプロジェクトを初期化
cd mobile
npm install @capacitor/core@5.7.8 @capacitor/cli@5.7.8
npm install @capacitor/ios@5.7.8
npm install @capacitor/browser@^5 --save
npx cap init BenBox org.benbox.benbox --webDir=../browser
npx cap add ios
# または
npx cap sync ios
cd ios/App
pod install

# アプリケーションをビルド（プロジェクトのルートディレクトリから）
npm install --prefix mobile
npm run build --prefix mobile
npm run cap:copy --prefix mobile
npm run cap:open:ios --prefix mobile