models

必要条件： Docker Compose 2.38.0 およびそれ以降

トップレベルの models セクションは AI モデルを宣言するものであり、Compose アプリケーションにおいて利用されます。このモデルは通常 ACI アーティファクトとしてプルされて、モデルランナーによって実行されます。またサービスコンテナーとして利用できる API として公開されます。

サービスがモデルにアクセスできるのは、トップレベル要素 services 内の models 属性によって明示的に許可された場合のみです。

例

例１

services:
  app:
    image: app
    models:
      - ai_model


models:
  ai_model:
    model: ai/model

この基本的な例は以下を示しています。

app サービスが ai_model を利用します。
ai_model は OCI アーティファクト (ai/model) として定義されます。これはモデルランナーによってプルされて提供されます。
Docker Compose は AI_MODEL_URL といった接続情報をコンテナーに設定します。

例２

services:
  app:
    image: app
    models:
      my_model:
        endpoint_var: MODEL_URL

models:
  my_model:
    model: ai/model
    context_size: 1024
    runtime_flags:
      - "--a-flag"
      - "--another-flag=42"

この応用的な設定は以下を示しています。

サービス app は長い文法形式を使って my_model を参照しています。
Compose は環境変数 MODEL_URL に示されるモデルランナーの URL を設定しています。

属性

model (必須): モデルに対する OCI アーティファクト識別子。これにより Compose がモデルランナーを通じてプルと実行を行います。
context_size: モデル用のトークンコンテキストの最大サイズを定義します。
runtime_flags: モデルが起動した際に推論エンジンに受け渡されるコマンドラインフラグのリストです。

さらなる情報

model の利用例や詳しい情報については Compose における AI モデルの利用を参照してください。