1、下载AISBench安装包

1.1、下载安装包
git clone https://gitee.com/aisbench/benchmark.git

1.2、安装
cd benchmark

执行以下命令安装
pip3 install -e ./ --use-pep517 \
  --timeout 600 \
  --default-timeout=600 \
  -i http://mirrors.aliyun.com/pypi/simple/ \
  --trusted-host mirrors.aliyun.com

2、修改配置文件
ais_bench --models vllm_api_general_chat --datasets demo_gsm8k_gen_4_shot_cot_chat_prompt --search

修改 /home/openlab/shaojing/benchmark/ais_bench/benchmark/configs/models/vllm_api/vllm_api_general_chat.py 文件

3、数据集下载：

进入以下路径
cd  benchmark/ais_bench/datasets/
wget http://opencompass.oss-cn-shanghai.aliyuncs.com/datasets/data/gsm8k.zip
unzip gsm8k.zip
rm -rf gsm8k.zip

4、执行测试命令
ais_bench --models vllm_api_general_chat \
  --datasets demo_gsm8k_gen_4_shot_cot_chat_prompt \
  --mode perf \
  --num-prompts 8 \
  --debug