VMware虚拟机中部署千问3.5-2B：隔离的AI实验环境搭建

本文介绍了如何在星图GPU平台上自动化部署千问3.5-2B镜像，快速搭建隔离的AI实验环境。该平台简化了部署流程，用户可轻松实现大语言模型的本地化测试与应用，特别适用于文本生成、智能问答等场景，为开发者提供高效便捷的AI开发体验。

未知方程无解

321人浏览 · 2026-04-06 05:11:42

未知方程无解 · 2026-04-06 05:11:42 发布

VMware虚拟机中部署千问3.5-2B：隔离的AI实验环境搭建

1. 为什么选择虚拟机部署AI模型

在本地机器上直接部署AI模型可能会面临环境冲突、依赖混乱等问题。使用VMware虚拟机可以创建一个完全隔离的Ubuntu环境，既能保证宿主机系统的干净整洁，又能自由地进行各种AI实验而不用担心搞乱系统配置。

这种方法特别适合：

需要测试不同版本CUDA和驱动的情况
想尝试各种AI模型但担心依赖冲突
企业环境中需要隔离开发和生产环境
学习AI部署但不想影响日常使用的主系统

2. 环境准备与VMware安装

2.1 硬件要求

在开始之前，请确保你的电脑满足以下最低配置：

至少16GB内存（推荐32GB）
100GB可用磁盘空间
支持虚拟化的CPU（Intel VT-x或AMD-V）
独立NVIDIA显卡（CUDA支持）

2.2 安装VMware Workstation

从VMware官网下载最新版Workstation Player（免费版）或Workstation Pro
运行安装程序，按照向导完成安装
安装完成后重启电脑

2.3 创建Ubuntu虚拟机

打开VMware，点击"创建新虚拟机"
选择"自定义(高级)"安装
选择稍后安装操作系统
选择Linux > Ubuntu 64位
设置虚拟机名称和存储位置
分配至少4个CPU核心和16GB内存
创建新虚拟磁盘，大小至少80GB
完成虚拟机创建

3. 安装Ubuntu系统

3.1 下载Ubuntu镜像

从Ubuntu官网下载最新的LTS版本（如22.04 LTS）ISO镜像文件。

3.2 配置虚拟机并安装Ubuntu

右键新建的虚拟机，选择"设置"
在CD/DVD选项中选择"使用ISO镜像文件"，浏览选择下载的Ubuntu ISO
启动虚拟机，开始Ubuntu安装
选择语言后点击"安装Ubuntu"
选择"最小安装"和"安装第三方软件"选项
分区选择"清除整个磁盘并安装Ubuntu"
设置时区、键盘布局和用户账户
等待安装完成，重启虚拟机

3.3 安装VMware Tools（增强功能）

在VMware菜单选择"虚拟机" > "安装VMware Tools"
在Ubuntu中会自动挂载VMware Tools ISO

打开终端，执行以下命令：

tar -xzf /media/$USER/VMware\ Tools/VMwareTools-*.tar.gz -C /tmp/
cd /tmp/vmware-tools-distrib/
sudo ./vmware-install.pl

按照提示完成安装，重启虚拟机

4. 配置AI开发环境

4.1 安装NVIDIA驱动和CUDA

首先更新系统：
```
sudo apt update && sudo apt upgrade -y
```
安装NVIDIA驱动：
```
sudo ubuntu-drivers autoinstall
```
重启后验证驱动安装：
```
nvidia-smi
```

安装CUDA Toolkit（以11.7为例）：

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/3bf863cc.pub
sudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/ /"
sudo apt-get update
sudo apt-get -y install cuda-11-7

4.2 安装Python和必要工具

安装Python和pip：

sudo apt install python3 python3-pip python3-venv -y

创建虚拟环境：

python3 -m venv qwen-env
source qwen-env/bin/activate

安装PyTorch（与CUDA版本匹配）：

pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117

5. 部署千问3.5-2B模型

5.1 下载模型权重

从官方渠道获取千问3.5-2B模型权重
创建模型目录：
```
mkdir -p ~/models/Qwen-3.5-2B
```
将下载的模型文件放入该目录

5.2 安装依赖库

在虚拟环境中安装必要的Python包：

pip install transformers sentencepiece accelerate

5.3 编写简单的推理脚本

创建一个inference.py文件：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "~/models/Qwen-3.5-2B"  # 修改为你的模型路径
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    device_map="auto",
    trust_remote_code=True
).eval()

while True:
    prompt = input("请输入问题(输入quit退出): ")
    if prompt.lower() == "quit":
        break
    response, _ = model.chat(tokenizer, prompt, history=None)
    print("回答:", response)