Sail

🚀 帆船（Sail）

Sailの使命は、ストリーム処理、バッチ処理、および計算集約型（AI）ワークロードを統一することです。現在、SailはSpark SQLとSpark DataFrame APIの代替手段を提供しており、単一ノード環境と分散環境の両方で使用できます。

✨ニュース✨：私たちがリリースしたMCPサーバーをご覧ください。これはSparkのデータ分析をLLMエージェントと人間に提供します！

🚀 クイックスタート

Sailサーバーの起動

オプション1：コマンドラインインターフェース sail コマンドを使用して、ローカルのSailサーバーを起動できます。

sail spark server --port 50051

オプション2：Python API Python APIを使用して、ローカルのSailサーバーを起動できます。

from pysail.spark import SparkConnectServer

server = SparkConnectServer(port=50051)
server.start(background=False)

オプション3：Kubernetes SailをKubernetesにデプロイし、クラスターモードで実行して、分散処理を実現できます。 Kubernetesデプロイメントガイドを参照して、Dockerイメージの構築方法とKubernetes拡張ファイルYAMLファイルの作成方法を確認してください。

kubectl apply -f sail.yaml
kubectl -n sail port-forward service/sail-spark-server 50051:50051

Sailサーバーへの接続

実行中のSailサーバーがあれば、PySparkを使用して接続できます。 PySparkのコードを変更する必要はありません！

from pyspark.sql import SparkSession

spark = SparkSession.builder.remote("sc://localhost:50051").getOrCreate()
spark.sql("SELECT 1 + 1").show()

クイックスタートガイドを参照して、詳細を確認してください。

📦 インストール

SailはPythonパッケージとしてPyPIで利用可能です。pip を使用してインストールできます。

pip install "pysail[spark]"

または、ハードウェアアーキテクチャに合わせたより良いパフォーマンスを得るために、ソースコードからインストールすることもできます。 インストールガイドを参照して、詳細を確認してください。

📚 ドキュメント

ドキュメントリンク

さらなる参考資料

• 統一データ処理：なぜSailが必要なのか？
• MCPサーバー：Sparkのデータ分析をLLMエージェントと人間に提供する

貢献

私たちはコミュニティからの貢献を歓迎します！ 以下の方法で参加できます。

• GitHubリポジトリで問題やプルリクエストを提出する。
• Slackコミュニティに参加して議論する。

サポート

商用サポートが必要な場合は、LakeSailにお問い合わせください。

© 2024 LakeSail. 全著作権所有。