大規模な AI モデルを実行するということは、たいてい誰か他人のハードウェアを借り、その人たちの料金体系を受け入れ、自分が依存しているモデルが一晩でひっそりと変わってしまわないことを祈る、という意味になります。Mesh LLM はまったく異なる前提に基づいて構築されています。つまり、すでに自分が所有しているマシン同士で分散 AI コンピューティングを行うことで、そうした仕組み全体を置き換え、しかもそれをすべて単一で馴染みのある APIとして公開できる、という考え方です。
Summary
主なポイント
- Mesh LLM は複数マシンの GPU とメモリを 1 つの分散 AI コンピューティングメッシュとしてプールし、localhost:9337/v1 の 1 つの OpenAI 互換 API からアクセスできるようにします。
- モデルはローカルで実行することも、ピアにルーティングすることも、「Skippy」 と呼ばれるパイプラインモードを使ってマシン間に分割することもでき、クライアント側はその違いを意識する必要がありません。
- ネットワーキングは iroh エンドポイント に依存しており、中央サーバー不要で公開鍵認証付きの NAT 越え QUIC 接続を確立します。
- モデルカタログには、10 億パラメータ未満のモデルから 2,350 億パラメータの Mixture-of-Experts アーキテクチャまで、40 を超えるモデルが同梱されています。
- パブリックメッシュへの参加とプライベートデプロイの両方をサポートしており、iroh の Swift SDK を用いたモバイルアプリも開発中です。
Mesh LLM は GPU をプールして分散 AI コンピューティングを実現する
中核となるアイデアは、一見すると非常にシンプルです。Mesh LLM は、追加したいだけのマシンにまたがって存在するGPU とメモリをプールします — ある部屋のワークステーション、別の部屋のサーバー、オフィスの向こう側にあるマシンなど — そしてそれら全体を 1 つの一貫した計算リソースとして提示します。そこへ接続するクライアントアプリケーション側では、特別な再設定は不要です。
それが重要なのは、ハードウェア自体はすでに存在しているからです。AI ワークロードを運用しているチームは、多くの場合、GPU をオフィス中に分散させ、机の下や小さなサーバールームに置いています。これまで欠けていたのは、それらのマシンを 1 つのものとして振る舞わせるレイヤーでした。
OpenAI 互換 API による抽象化
Mesh LLM が公開するインターフェースは、あえて馴染みのあるものになっています。任意の OpenAI 互換クライアントは http://localhost:9337/v1 を指すように設定し、ホスト型クラウドサービスに対して行うのとまったく同じリクエストを送信できます。クライアントの視点からは、何も変わりません。実際にどこで処理が走るのか — ローカルなのか、ピアマシンなのか、あるいは複数マシンにまたがっているのか — は完全に不可視です。
これは意味のある設計上の選択です。既存のツール、ワークフロー、統合を作り直す必要がないことを意味します。メッシュが分散しているという事実は、クライアントが意識する必要のない実装の詳細にとどまります。
「Skippy」パイプラインを含む柔軟な実行モード
リクエストが到着すると、Mesh LLM にはそれを処理する 3 つの方法があります。受信マシンの GPU でモデルをローカル実行する、対象モデルをすでにロードしているピアにリクエストをルーティングする、あるいは — どの単一マシンにも収まりきらないほど大きなモデルの場合 — ワークロードを複数ノードに順番に分割する、という方法です。この 3 つ目のパスが 「Skippy」モードと呼ばれます。
Skippy はどのように大規模モデルをマシン間で分割するか
Skippy はモデルをレイヤー範囲ごとに分割し、パイプラインステージとして構成します。たとえばレイヤー 0〜15 を 1 つのノードで、16〜31 を次のノードで、という具合にチェーン上に並べていきます。活性化はメッシュ全体でステージからステージへと流れていきます。その実際的な結果として、控えめなマシンのクラスターでも、単体ではメモリに載せられないモデルを協調して実行できるようになります。
ここで Mesh LLM のアーキテクチャ上の野心がはっきりします。2,350 億パラメータの Mixture-of-Experts モデルは、ほとんどのチームにとって、単一のコンシューマー向けまたはプロシューマー向け GPU で動かせるようなものではありません。Skippy は、すでに購入済みで遊んでいるハードウェアを使って、まさにそれに挑戦できるようにします。そのような構成のレイテンシやスループット特性はここでは定量化されていませんが、その能力自体がセルフホスト型 AI の到達範囲を大きく広げていると言えます。
iroh エンドポイントを用いた安全なピアツーピアネットワークアーキテクチャ
メッシュを調整する中央サーバーは存在しません。すべてのノードは iroh エンドポイントを起動します。これは、そのノードのアイデンティティであると同時に唯一のネットワークインターフェースとなる公開鍵です。この基盤の上で、iroh はホールパンチング、NAT 越え、そしてリレーフォールバックを処理し、場所を問わず任意の 2 ノード間に直接の認証付き QUIC 接続を確立します。
トラフィック分離のための QUIC ALPN プロトコル
プロトコルスタックは意図的にセグメント化されています。3 つの異なる QUIC ALPN 識別子が、異なる種類のトラフィックを分離します。
- mesh-llm/1 — メインのメッシュチャネルで、ゴシップ、ルーティング、HTTP トンネル、プラグインイベントを運ぶ
- mesh-llm-control/1 — オーナー用コントロールプレーンで、設定同期と所有権の証明を処理する
- skippy-stage/2 — パイプラインステージ間を流れる活性化データ向けの、レイテンシに敏感な専用トランスポート
メイン接続の内部では、すべてのストリームに先頭バイトでタイプがタグ付けされます — ゴシップ、推論プロキシ、ルートクエリ、ピアのライフサイクルイベント、プラグインの RPC チャネルなど — それらすべてが単一の接続上で多重化されます。その効果として、各関心事ごとに別々の接続を張るオーバーヘッドなしに、クリーンなトラフィック分離が実現されます。
ノードアイデンティティと NAT 越え
オープンインターネット越しに互いへ直接到達できないノードをサポートするために、Mesh LLM は地理的に異なる 2 つの iroh リレーサーバーを運用しています。直接パスを確立できるノードはそうし、できないノードは常に近くのフォールバックを利用できます。言い換えれば、このネットワークレイヤーは、ファイアウォール設定や固定アドレス指定を慎重に行わなくても「そのまま動く」ように設計されています。
このアーキテクチャが実際にもたらすのは、一種のネットワークの一様性です。リクエストが localhost にルーティングされる場合でも、Skippy パイプラインを通じて別大陸のマシンへ活性化がストリーミングされる場合でも、基盤となるプリミティブは同じです。すなわち、公開鍵でアドレス指定された認証付き QUIC 接続です。物理トポロジーの複雑さは、一貫した抽象化の背後に隠れます。
ノート PC 向けから 2,350 億パラメータ級までを網羅するモデルカタログ
Mesh LLM には、最初から 40 を超えるモデルが同梱されています。その範囲は、ノート PC でも動かせる 5 億パラメータ級の小型モデルから、上限側に位置する 2,350 億パラメータの Mixture-of-Experts アーキテクチャまで多岐にわたります。アーキテクチャはプラガブルであり、プラグインはマニフェスト内で自らの機能を宣言し、ランタイムは MCP、HTTP、推論、メッシュイベントを通じて呼び出しをルーティングし、機能を公開します。
その実務的な意味として、ユーザーは開始時にモデルを個別に調達・設定する必要がありません。カタログは、控えめなハードウェアでの軽量かつ高速な推論から、メッシュ全体に分散された大規模ワークロードまで、ユースケースの全スペクトルをカバーしています。
分散コンピュートというカウンタームーブメント
Mesh LLM の設計は、目に見える背景の上に位置しています。集中型 AI インフラは、現実的な摩擦に直面しています。5 月の調査では、アメリカ人の 70% 以上が、自分たちのコミュニティ近くでの新たなデータセンター建設に反対していることが分かりました。その理由として、汚染、騒音、エネルギーおよび水消費への懸念が挙げられています。太陽光発電と家庭用エネルギー企業の Sunrun は最近、顧客の自宅に小型コンピュートノードを設置し、その分散コンピュートパワーをエンタープライズ向け AI バイヤーに販売することを目指すパイロットプログラムを開始しました。これは、業界自体が大規模で集約されたデータセンターに代わる選択肢を模索している兆候です。
Mesh LLM は、同じ圧力に対して別の角度からアプローチします。ゼロから新しい分散インフラを構築するのではなく、すでに存在するコンピュートを活性化するのです — チームが所有していながら、統一的なレイヤーが存在しないために十分に活用できていない GPU です。中央プロバイダーへのロックインを取り除き、コストを下げ、モデルがどこで動作しデータがどこへ行くのかに対するユーザーのコントロールを維持することへの重視は、既存のクラウド API では埋めきれていない本物のギャップを反映しています。
iroh の Swift SDK を用いたモバイルアプリが開発中であり、新たに登場しつつある ACP エージェント標準のサポートも計画されています。これにより、他のクライアントがメッシュに直接参加できるようになり、オンラインになる各ノードのネットワーク効果が拡大します。長期的な方向性は明確です。より多くのピアツーピア実行、より少ない仲介者、そして誰かの中央サーバーを経由しない、エージェント相互運用性のためのオープンスタンダードです。
FAQ
Mesh LLM はどのように分散 AI コンピューティングを実現しますか？
Mesh LLM は複数マシンの GPU とメモリをメッシュネットワークとしてプールし、その分散構成全体を 1 つの OpenAI 互換 API として公開します。クライアントは localhost:9337/v1 に接続して通常どおりにやり取りし、その間にメッシュ側が、リクエストをローカルで実行するか、ピアにルーティングするか、マシン間で分割するかを判断します。
Mesh LLM は AI モデル向けにどのような実行モードをサポートしていますか？
モデルはマシンの GPU 上でローカル実行することも、すでにモデルをロードしているピアにルーティングすることも、あるいは「Skippy」パイプラインモードを使って複数マシンに分割することもできます。このモードでは、モデルがレイヤー範囲ごとに分割され、活性化がメッシュ全体でステージからステージへと流れていきます。
Mesh LLM では安全なネットワーキングはどのように処理されますか？
各ノードは iroh エンドポイントを実行し、中央サーバーに依存することなく、NAT 越えとリレーフォールバック付きの公開鍵認証 QUIC 接続を確立します。2 つの地域別 iroh リレーが、直接接続できないノード向けのフォールバックパスを提供します。
Mesh LLM ではどのようなモデルが利用できますか？
Mesh LLM には 40 を超えるモデルが同梱されており、ノート PC に適した 5 億パラメータ級の小型モデルから、複数マシンの Skippy デプロイメント向けに設計された 2,350 億パラメータの非常に大きな Mixture-of-Experts モデルまでを網羅しています。
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”Mesh LLM はどのように分散 AI コンピューティングを実現しますか？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Mesh LLM は複数マシンの GPU とメモリをメッシュネットワークとしてプールし、その分散構成全体を 1 つの OpenAI 互換 API として公開します。クライアントは localhost:9337/v1 に接続して通常どおりにやり取りし、その間にメッシュ側が、リクエストをローカルで実行するか、ピアにルーティングするか、マシン間で分割するかを判断します。”}},{“@type”:”Question”,”name”:”Mesh LLM は AI モデル向けにどのような実行モードをサポートしていますか？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”モデルはマシンの GPU 上でローカル実行することも、すでにモデルをロードしているピアにルーティングすることも、あるいは「Skippy」パイプラインモードを使って複数マシンに分割することもできます。このモードでは、モデルがレイヤー範囲ごとに分割され、活性化がメッシュ全体でステージからステージへと流れていきます。”}},{“@type”:”Question”,”name”:”Mesh LLM では安全なネットワーキングはどのように処理されますか？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”各ノードは iroh エンドポイントを実行し、中央サーバーに依存することなく、NAT 越えとリレーフォールバック付きの公開鍵認証 QUIC 接続を確立します。2 つの地域別 iroh リレーが、直接接続できないノード向けのフォールバックパスを提供します。”}},{“@type”:”Question”,”name”:”Mesh LLM ではどのようなモデルが利用できますか？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Mesh LLM には 40 を超えるモデルが同梱されており、ノート PC に適した 5 億パラメータ級の小型モデルから、複数マシンの Skippy デプロイメント向けに設計された 2,350 億パラメータの非常に大きな Mixture-of-Experts モデルまでを網羅しています。”}}]}
本記事は人工知能の支援を受けて作成され、編集チームによるレビューを経ています。
