Fast Pyairbyte

🚀 Fast PyAirbyte

Fast-PyAirbyteを使用すると、「source-xxx から destination-xxx へのデータパイプラインを作成する」といった1つのプロンプトで、任意のAirbyteコネクタに対してデータパイプラインをコードとして生成できます。

🚀 クイックスタート

✨ ワンクリックインストール

もし上のボタンが機能しない場合は、このリンクをブラウザにコピーして貼り付けてください。

cursor://anysphere.cursor-deeplink/mcp/install?name=fast-pyairbyte&config=eyJjb21tYW5kIjoibnB4IiwiYXJncyI6WyJmYXN0LXB5YWlyYnl0ZSJdLCJlbnYiOnsiT1BFTkFJX0FQSV9LRVkiOiJ5b3VyLW9wZW5haS1hcGkta2V5LWhlcmUifX0=

または、以下の手順で手動インストールすることもできます。

📦 インストール

手動インストール

最も簡単な始め方は、npxを使用してMCPサーバーを直接実行することです。

npx fast-pyairbyte

これにより以下のことが行われます。

1. パッケージが自動的にダウンロードされ、インストールされます。
2. Pythonのチェックと依存関係のインストールが行われます。
3. ローカルでMCPサーバーが起動します。
4. 設定手順が表示されます。

✨ 主な機能

• 自動コード生成：完全なPyAirbyteパイプラインスクリプトを作成します。
• 設定管理：環境変数と資格情報を安全に扱います。
• ドキュメント統合：OpenAIを使用して、文脈に応じた指示を提供します。
• 複数の出力形式：宛先コネクタとDataFrame出力の両方をサポートします。
• ベストプラクティス：エラーハンドリング、ロギング、適切なプロジェクト構造を含みます。
• 600以上のコネクタ：Airbyteコネクタレジストリに登録されているコネクタであれば、パイプラインを作成できます。
• 簡単なインストール：ローカル設定は不要で、npxを使用するだけです。
• クロスプラットフォーム：macOS、Linux、Windowsで動作します。

📚 ドキュメント

MCP設定

MCP設定ファイルに以下を追加してください。

Cursor用（.cursor/mcp.json）

{
  "mcpServers": {
    "fast-pyairbyte": {
      "command": "npx",
      "args": ["fast-pyairbyte"],
      "env": {
        "OPENAI_API_KEY": "your-openai-api-key-here"
      }
    }
  }
}

Claude Desktop用（~/.config/claude/claude_desktop_config.json）

{
  "mcpServers": {
    "fast-pyairbyte": {
      "command": "npx",
      "args": ["fast-pyairbyte"],
      "env": {
        "OPENAI_API_KEY": "your-openai-api-key-here"
      }
    }
  }
}

Cline用（~/.config/cline/mcp_settings.json）

{
  "mcpServers": {
    "fast-pyairbyte": {
      "command": "npx",
      "args": ["fast-pyairbyte"],
      "env": {
        "OPENAI_API_KEY": "your-openai-api-key-here"
      }
    }
  }
}

必要条件

• OpenAI Platformから取得した独自のOpenAI APIキー
• システムにPython 3.7以上がインストールされていること
• npxを実行するためのNode.js 14以上

設定手順

1. OpenAI PlatformからOpenAI APIキーを取得します。
2. MCP設定ファイルを作成または編集します。
3. 上記の設定を実際のOpenAI APIキーで追加します。
4. MCPクライアント（Cursor/Claude/Cline）を再起動します。
5. PyAirbyteパイプラインの生成を開始します！

💻 使用例

設定が完了したら、AIアシスタントでMCPサーバーを使用して、PyAirbyteパイプラインを生成することができます。

1. 接続の確認

• クライアントのインターフェイスでMCPサーバーの状態を確認します。
• 「fast-pyairbyte」が1つのツールを利用可能な状態で表示されるはずです。
• ツールが0と表示されるか、赤色になっている場合は、設定を確認してください。

2. 自然言語でのパイプライン生成

AIアシスタントにPyAirbyteパイプラインの生成を依頼するだけです！以下は例のプロンプトです。

基本的な例

Generate a PyAirbyte pipeline from source-postgres to destination-snowflake

Create a pipeline to move data from source-github to dataframe

Build a PyAirbyte script for source-stripe to destination-bigquery

Generate a data pipeline from source-salesforce to destination-postgres

Create a pipeline that reads from source-github to a dataframe, and then visualize the results using Streamlit

Help me set up a data pipeline from source-salesforce to destination-postgres

3. 利用可能なソース/宛先オプション

• ソース：任意のAirbyteソースコネクタ（例：source-postgres, source-github, source-stripe, source-mysql, source-salesforce）
• 宛先：任意のAirbyte宛先コネクタ（例：destination-snowflake, destination-bigquery, destination-postgres）または、Pandasでの分析用のdataframe

4. プロのヒント

• Python/Pandasでデータを分析したい場合は、宛先に「dataframe」を使用してください。
• ソースと宛先の名前を明確に指定してください（source- または destination- の接頭辞を付けた公式のAirbyteコネクタ名を使用）。
• 特定の設定やセットアップについてヘルプが必要な場合は、フォローアップの質問をしてください。

このツールは、自動的にMCP設定で構成されたOpenAI APIキーを使用して、ベストプラクティスと詳細なセットアップ手順を含む、充実した文書化されたパイプラインコードを生成します！

利用可能なツール

fast_pyairbyte

PyAirbyteとfast-pyairbyteを使用して、ソースと宛先の間でデータを抽出、変換、ロードする完全なデータパイプラインを作成します。

パラメータ

• source_name：公式のAirbyteソースコネクタ名（例：'source-postgres', 'source-github'）
• destination_name：公式のAirbyte宛先コネクタ名（例：'destination-postgres', 'destination-snowflake'）または、Pandas DataFrameに出力する場合は'dataframe'

返り値

• 完全なPythonパイプラインコード
• セットアップとインストール手順
• 環境変数テンプレート
• ベストプラクティスと使用ガイドライン

開発

ローカル開発

サーバーに貢献したり、変更を加えたい場合は、以下の手順に従ってください。

1. リポジトリをクローンする

git clone https://github.com/quintonwall/fast-pyairbyte.git
cd fast-pyairbyte

2. 依存関係をインストールする

npm install

3. ローカルでテストする

npm start

プロジェクト構造

fast-pyairbyte/
├── package.json              # npmパッケージ構成
├── bin/
│   └── fast-pyairbyte.js     # Node.js起動スクリプト
├── python/
│   ├── main.py               # Python MCPサーバー
│   ├── telemetry.py          # 使用分析
│   └── requirements.txt      # Python依存関係
├── README.md                 # このファイル
└── docs/                     # ドキュメント

公開

npmに新しいバージョンを公開するには、以下のコマンドを実行します。

npm version patch  # またはminor/major
npm config set strict-ssl false
npm publish

セキュリティとプライバシー

• APIキーのセキュリティ：OpenAI APIキーは、MCP環境変数を通じて安全に渡されます。
• データ保存なし：サーバーは、ユーザーデータや資格情報を保存しません。
• 匿名テレメトリ：基本的な使用分析が収集されます（DO_NOT_TRACK=1 で無効にできます）。
• オープンソース：完全なソースコードが閲覧可能です。

トラブルシューティング

一般的な問題

1. 「Python not found」エラー
   • python.orgからPython 3.7以上をインストールしてください。
   • PythonがシステムのPATHに含まれていることを確認してください。
2. 「Dependencies failed to install」エラー
   • インターネット接続を確認してください。
   • 最初に pip install --upgrade pip を実行してみてください。
3. 「OpenAI API key not found」エラー
   • MCP設定でAPIキーが正しく設定されていることを確認してください。
   • 有効なOpenAI APIキーを使用していることを確認してください。
4. MCPサーバーが0個のツールを表示する
   • MCP設定ファイルの構文を確認してください。
   • 設定を変更した後、MCPクライアントを再起動してください。
   • サーバーログにエラーメッセージがないか確認してください。

ヘルプの取得

• 問題報告：GitHub Issuesでバグを報告してください。
• ディスカッション：GitHub Discussionsで会話に参加してください。
• Slack：Airbyte Slackで質問してください。

📄 ライセンス

MITライセンス - 詳細についてはLICENSEファイルを参照してください。

貢献

貢献は大歓迎です！PyAirbyte MCPサーバーを改善するために、貢献ガイドラインを読み、プルリクエストを送信してください。