千问3.5-2B Node.js后端服务开发：从环境配置到API部署

本文介绍了如何在星图GPU平台上自动化部署千问3.5-2B镜像，快速搭建Node.js后端AI服务。通过该平台，开发者可轻松实现自然语言处理API的部署，应用于智能客服、问答系统等场景，显著提升开发效率。

一只爪子

250人浏览 · 2026-04-06 05:10:29

一只爪子 · 2026-04-06 05:10:29 发布

千问3.5-2B Node.js后端服务开发：从环境配置到API部署

1. 开篇：为什么选择Node.js搭建AI服务

如果你正在寻找一个轻量高效的方案来部署千问3.5-2B模型，Node.js绝对是个不错的选择。作为JavaScript的运行时环境，Node.js特别适合处理高并发的I/O密集型任务——这正是AI服务接口的典型场景。

用Node.js搭建AI服务有这些优势：

事件驱动架构天然适合处理模型推理这类异步任务
丰富的npm生态能快速集成各种中间件
单线程+事件循环机制在高并发场景下表现优异
与Python生态良好互通，方便调用各类AI库

接下来，我会手把手带你完成从零搭建一个完整的千问3.5-2B API服务。即使你是Node.js新手，跟着步骤走也能顺利完成。

2. 开发环境准备

2.1 Node.js安装与配置

首先确保你的开发机满足这些基础要求：

操作系统：Linux/macOS/Windows均可（推荐Linux）
内存：至少8GB（模型推理较吃内存）
存储：20GB可用空间

安装Node.js的最新LTS版本（当前是18.x）：

# 使用nvm管理Node版本（推荐）
curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.5/install.sh | bash
nvm install --lts
nvm use --lts

# 验证安装
node -v  # 应显示v18.x.x
npm -v   # 应显示9.x.x

建议配置npm淘宝镜像加速依赖下载：

npm config set registry https://registry.npmmirror.com

2.2 项目初始化

创建项目目录并初始化：

mkdir qianwen-api && cd qianwen-api
npm init -y

安装基础依赖：

npm install express @koa/cors koa-router body-parser

3. 基础服务搭建

3.1 Express框架快速入门

我们先创建一个最简单的HTTP服务：

// server.js
const express = require('express')
const app = express()
const PORT = 3000

app.use(express.json())

app.get('/', (req, res) => {
  res.json({ status: 'API服务运行中' })
})

app.listen(PORT, () => {
  console.log(`服务已启动: http://localhost:${PORT}`)
})

启动服务测试：

node server.js

访问 http://localhost:3000 应该能看到JSON响应。

3.2 集成千问3.5-2B模型

首先安装必要的AI依赖：

npm install @pipcook/pipcook-core transformers

创建一个简单的模型加载模块：

// model.js
const { Pipeline } = require('@pipcook/pipcook-core')
const { BertTokenizer, BertForSequenceClassification } = require('transformers')

let tokenizer, model

async function loadModel() {
  tokenizer = await BertTokenizer.fromPretrained('qwen/qwen-3.5-2B')
  model = await BertForSequenceClassification.fromPretrained('qwen/qwen-3.5-2B')
  console.log('模型加载完成')
}

async function predict(text) {
  const inputs = await tokenizer(text)
  const outputs = await model(inputs)
  return outputs
}

module.exports = { loadModel, predict }

4. API接口开发

4.1 基础问答接口

现在我们开发第一个真正的AI接口：

// 在server.js中添加
const { loadModel, predict } = require('./model')

// 先加载模型
loadModel().then(() => {
  console.log('模型准备就绪')
})

app.post('/api/ask', async (req, res) => {
  try {
    const { question } = req.body
    if (!question) {
      return res.status(400).json({ error: '请提供question参数' })
    }
    
    const result = await predict(question)
    res.json({
      question,
      answer: result[0].label,
      confidence: result[0].score
    })
  } catch (err) {
    console.error('推理错误:', err)
    res.status(500).json({ error: '模型处理失败' })
  }
})

测试这个接口：

curl -X POST http://localhost:3000/api/ask \
  -H "Content-Type: application/json" \
  -d '{"question":"如何学习Node.js?"}'

4.2 异步任务队列实现

为防止高并发压垮服务，我们引入Bull队列：

npm install bull

创建队列处理器：

// queue.js
const Queue = require('bull')
const { predict } = require('./model')

const taskQueue = new Queue('qianwen_tasks', {
  redis: { host: '127.0.0.1', port: 6379 }
})

taskQueue.process(async (job) => {
  const { question } = job.data
  return await predict(question)
})

module.exports = taskQueue

改造API接口使用队列：

// server.js修改
const taskQueue = require('./queue')

app.post('/api/ask', async (req, res) => {
  const { question } = req.body
  if (!question) {
    return res.status(400).json({ error: '请提供question参数' })
  }

  const job = await taskQueue.add({ question })
  const result = await job.finished()
  
  res.json({
    question,
    answer: result[0].label,
    confidence: result[0].score
  })
})

5. 容器化部署

5.1 Docker化你的服务

创建Dockerfile：

# Dockerfile
FROM node:18-slim

WORKDIR /app
COPY package*.json ./
RUN npm install --production

COPY . .

# 安装Python和必要的AI依赖
RUN apt-get update && apt-get install -y python3-pip && \
    pip3 install torch transformers

EXPOSE 3000
CMD ["node", "server.js"]

构建并运行容器：

docker build -t qianwen-api .
docker run -p 3000:3000 -d qianwen-api

5.2 生产环境优化

对于生产环境，建议使用PM2管理进程：

npm install pm2 -g

创建ecosystem.config.js：

module.exports = {
  apps: [{
    name: 'qianwen-api',
    script: 'server.js',
    instances: 'max',
    exec_mode: 'cluster',
    env: {
      NODE_ENV: 'production'
    }
  }]
}

启动服务：