Exécuter des commandes dans un sandbox

W&B Sandboxes est en aperçu privé, disponible uniquement sur invitation. Pour demander l’accès, contactez l’assistance ou votre AISE.

Exécutez des commandes dans un sandbox, lisez leur sortie et leur code de sortie et vérifiez les erreurs. Utilisez ces fonctionnalités pour exécuter des scripts, des tâches d’entraînement et d’autres processus dans un sandbox, puis vérifier les résultats par programmation.

Selon votre cas d’usage, utilisez l’une de ces approches pour exécuter des commandes dans un sandbox :

Commande unique : transmettez la commande à Sandbox.run() et appelez Sandbox.wait_until_complete() pour attendre la fin de l’exécution. Idéal pour les traitements par lot, les tests ou les entraînements.
Commandes multiples : appelez Sandbox.run() sans argument, puis utilisez Sandbox.exec() pour chaque étape. Idéal pour les flux de travail qui combinent la configuration, l’exécution et la récupération des résultats.

Exécuter une seule commande

Passez la commande à Sandbox.run(), puis appelez Sandbox.wait_until_complete() pour attendre que le sandbox atteigne un état terminal. L’exemple suivant démarre un sandbox qui exécute python train.py, puis attend au maximum 3 600 secondes que le sandbox se termine.

from wandb.sandbox import Sandbox

sandbox = Sandbox.run("python", "train.py")
sandbox.wait_until_complete(timeout=3600.0).result()
print(f"Exit code: {sandbox.returncode}")

Exécuter plusieurs commandes à la suite

Exécutez plusieurs commandes dans le même sandbox pour les flux de travail comportant plusieurs étapes. Par exemple, installez des dépendances, créez des fichiers, exécutez des scripts et lisez les résultats. Pour exécuter plusieurs commandes dans un sandbox, démarrez le sandbox sans commande principale. Utilisez une série de Sandbox.exec() pour exécuter chaque commande et attendre qu’elle se termine. L’exemple suivant démarre un sandbox sans commande principale, puis exécute deux commandes à la suite dans le même sandbox.

from wandb.sandbox import Sandbox

with Sandbox.run() as sandbox:
    result = sandbox.exec(["pip", "install", "torch"]).result()
    print(result.stdout)

    result = sandbox.exec(["python", "train.py"]).result()
    print(result.stdout)

Sandbox.exec() exécute une commande dans le sandbox et renvoie un objet Process. Vous pouvez utiliser l’objet renvoyé pour attendre la fin de l’exécution, lire la sortie et vérifier le code de sortie. Pour plus d’informations sur Sandbox.exec() et ses paramètres, voir Sandbox.exec() dans la documentation de référence de CoreWeave Sandboxes.

Maintenir le sandbox actif pour des commandes supplémentaires

Dans certains cas, vous souhaiterez peut-être démarrer le sandbox avec un processus principal de longue durée afin de le maintenir disponible pendant que vous exécutez d’autres commandes avec Sandbox.exec(). L’exemple suivant démarre un sandbox avec sleep infinity comme processus principal, puis exécute un script d’entraînement dans le sandbox avec Sandbox.exec().

from wandb.sandbox import Sandbox

with Sandbox.run("sleep", "infinity") as sandbox:
    result = sandbox.exec(["python", "train.py"]).result()
    print(result.stdout)

Lire la sortie et les codes de sortie

Sandbox.exec() renvoie un objet Process. Appelez Process.result() pour attendre la fin de la commande et obtenir son résultat. Process.result() inclut la sortie standard (stdout), la sortie d’erreur standard (stderr) et le code de sortie (returncode). Utilisez le code de sortie pour déterminer si la commande a réussi. Par convention, un code de sortie de 0 indique un succès. Les codes de sortie possibles et leur signification dépendent de la commande. Par exemple, l’extrait de code suivant exécute une commande Python qui affiche la sortie standard (stdout) et le code de sortie (returncode). Une fois la commande terminée, il affiche la sortie standard, la sortie d’erreur standard et le code de sortie dans la console.

from wandb.sandbox import Sandbox

with Sandbox.run() as sandbox:
    result = sandbox.exec(["python", "-c", "print('hello')"]).result()
    print(result.stdout)      # "hello\\n"
    print(result.returncode)  # 0

Vérifiez les erreurs d’exécution du sandbox

Spécifiez check=True (Sandbox.exec(check=True)) pour lever une erreur si la commande se termine avec un code de sortie non nul. Une SandboxExecutionError est levée si la commande se termine avec un code de sortie non nul. Cet exemple exécute le script might_fail.py et vérifie le résultat.

from wandb.sandbox import Sandbox, SandboxExecutionError

with Sandbox.run() as sandbox:
    try:
        sandbox.exec(["python", "might_fail.py"], check=True).result()
    except SandboxExecutionError as e:
        print(f"La commande a échoué avec le code de sortie {e.exec_result.returncode}")
        print(e.exec_result.stderr)