跳到主要内容
版本:0.6.4

Starwhale Standalone入门指南

Starwhale Client(swcli)安装完成后,您就可以使用Starwhale Standalone。

我们也提供对应的Jupyter Notebook例子,可以在 Google Colab 或本地的 vscode/jupyterlab 中试用。

下载例子

通过以下方式克隆Starwhale项目来下载Starwhale示例:

GIT_LFS_SKIP_SMUDGE=1 git clone https://github.com/star-whale/starwhale.git --depth 1
cd starwhale

为了节省例子的下载时间,我们执行git clone命令时,忽略了git-lfs,并只保留最近一次的commit信息。我们选用ML/DL领域的HelloWorld程序-MNIST来介绍如何从零开始构建数据集、模型包和运行环境,并最终完成模型评测。接下来的操作都在 starwhale 目录中进行。

核心工作流程

构建 Pytorch 运行时

运行时示例代码位于example/runtime/pytorch目录中。

  • 构建Starwhale运行时包:

    swcli runtime build --yaml example/runtime/pytorch/runtime.yaml
    提示

    当首次构建Starwhale Runtime时,由于需要创建venv或conda隔离环境,并下载相关的Python依赖,命令执行需要花费一段时间。时间长短取决与所在机器的网络情况和runtime.yaml中Python依赖的数量。建议合理设置机器的 ~/.pip/pip.conf 文件,填写缓存路径和适合当前网络环境的pypi mirror地址。

    处于中国大陆网络环境中的用户,可以参考如下配置:

    [global]
    cache-dir = ~/.cache/pip
    index-url = https://pypi.tuna.tsinghua.edu.cn/simple
    extra-index-url = https://mirrors.aliyun.com/pypi/simple/
  • 检查您本地的Starwhale运行时:

    swcli runtime list
    swcli runtime info pytorch

构建模型

模型示例代码位于 example/mnist 目录中。

  • 下载预训练模型文件:

    cd example/mnist
    CN=1 make download-model
    # 非中国大陆网络用户,可以省略 CN=1 环境变量
    cd -
  • 构建一个Starwhale模型:

    swcli model build example/mnist --runtime pytorch
  • 检查您本地的Starwhale模型:

    swcli model list
    swcli model info mnist

构建数据集

数据集示例代码位于 example/mnist 目录中。

  • 下载MNIST原始数据:

    cd example/mnist
    CN=1 make download-data
    # 非中国大陆网络用户,可以省略 CN=1 环境变量
    cd -
  • 构建Starwhale数据集:

    swcli dataset build --yaml example/mnist/dataset.yaml
  • 检查您本地的Starwhale数据集:

    swcli dataset list
    swcli dataset info mnist
    swcli dataset head mnist

运行评估作业

  • 创建评估工作

    swcli -vvv model run --uri mnist --dataset mnist --runtime pytorch
  • 检查评估结果

    swcli job list
    swcli job info $(swcli job list | grep mnist | grep success | awk '{print $1}' | head -n 1)

恭喜! 您已完成Starwhale Standalone的入门指南。