200个好用的GitHub AI开源项目推荐
·
文章目录

整理了200个活跃、实用的AI开源项目,按领域分类,方便查找。大部分star都在k以上,真正常用维护,不是凑数项目。
大模型 & 基础模型 (25个)
- LLaMA - Meta开源大模型,底座模型首选
- LLaMA 2 - 第二代,支持商用
- Mistral-src - Mistral官方源码,小模型快准狠
- Mixtral-8x7B - 优秀的MoE模型
- Qwen - 阿里通义千问开源版,中文好
- Qwen-VL - 通义千问多模态版
- Yi - 01.AI开源Yi大模型,中文优秀
- Llama.cpp - CPU跑大模型神器, everyone knows it
- Zephyr - 对齐不错的开源7B模型
- Mamba - 线性注意力新架构,比Transformer快
- RWKV - RNN结构大模型,高效内存小
- Phi-2 - 微软2.7B小模型,能力很强
- Gemma - Google开源轻量级大模型
- Falcon - TII出的高质量开源模型
- OpenLLaMA - 开源LLaMA替代,权重可自由获取
- RedPajama - 高质量开源训练数据集1.2T tokens
- Pythia - EleutherAI出品,研究用模型套件
- OPT - Meta开源OPT模型
- **BLOOM - 百余种语言开源大模型
- InternLM - 上海AI实验室开源模型
- InternLM2 - 第二代能力更强
- GLM - 清华GLM架构模型
- ChatGLM3 - 最新版ChatGLM,国内常用
- TinyLlama - 1.1B小模型,适配各种场景
- OLMo - 完全开源可训练研究大模型
微调 & 对齐 (25个)
- peft - HuggingFace参数高效微调工具,标准
- bitsandbytes - 4bit/8bit量化,省内存
- LLaMA-Factory - 一体化微调WebUI,新手友好
- axolotl - 快速微调大模型配置一键跑
- trl - Transformer Reinforcement Learning,RLHF工具
- alignment-handbook - Zephyr对齐官方手册,代码可复用
- FastChat - Vicuna训练和部署框架,带WebUI
- ColossalAI - 大模型并行训练,多卡扩展
- deepspeed - 微软分布式训练,显存优化
- flash-attention - 更快更省内存的注意力实现
- xformers - Facebook高效Transformer实现
- LoRA - Low-Rank Adaptation原始论文代码
- qlora - QLoRA: 4bit微调大模型
- p-tuning-v2 - P-tuning prompt tuning
- DreamShaper - LLaMA全尺寸微调配合DeepSpeed
- OpenBuddy - 多语言对话模型微调
- alpaca-lora - Standford Alpaca Lora微调模板
- guanaco - Guanaco 65B微调代码
- sfttrainer - HuggingFace官方监督微调脚本
- reward-modeling - Reward模型评测基准
- DPO - 直接偏好优化DPO代码实现
- IPO - Implicit Preference Optimization
- ORPO - Odds Ratio Preference Optimization
- longchat - 长上下文大模型微调工具
- lm-evaluation-harness - 大模型评测标准工具集
RAG & 检索增强 (20个)
- LangChain - 大语言模型应用框架,RAG标配
- LlamaIndex - 数据框架连接LLM,RAG专用
- chroma - 嵌入式向量数据库,轻量好用
- FAISS - Facebook高效向量搜索
- qdrant - 向量搜索引擎,生产可用
- weaviate - 开源向量数据库
- pgvector - PostgreSQL向量扩展,不用新数据库
- milvus - 云原生向量数据库
- pinecone-haystack - Haystack LLM框架,支持RAG
- ragatouille - ColBERT retrieval for RAG
- HyDE - Hypothetical Document Embeddings
- RAGFlow - 开源RAG引擎,deep document understanding
- fastRAG - 加速RAG流水线
- retriv - 快速稀疏密集检索
- bm25s - 快速BM25实现
- rank-bm25 - BM25 Python实现
- colbert - ColBERT高效检索
- splade - Sparse Lexical-aware Expansion
- embedding-gemini - 通用embedding模型各种格式
- rerankers - 统一接口各种重排序模型
多模态 & 视觉语言 (20个)
- BLIP-2 - 语言图像预训练,awesome framework
- FLAVA - Facebook多模态基础模型
- CLIP - OpenAI对比语言图像预训练,经典
- ALBEF - 对齐视觉语言表示
- Gemma - Google轻量级多模态支持
- LLaVA - Large Language and Vision Assistant,热门
- MiniGPT-4 - 用LLaMA对接Vicuna做视觉语言
- Qwen-VL - 阿里通义千问多模态
- InternVL - 开源多模态大模型
- Fuyu-8B - Adept AI多模态
- CogVLM - 清华视觉语言大模型
- OWL-ViT - 开放世界目标检测
- GroundingDINO - 文本-图像 grounding
- SAM - Meta分割一切,经典
- MobileSAM - SAM轻量化手机可用
- EfficientSAM - 更快更小SAM
- SEEM - 分割一切所有地方
- Stable Diffusion - Stable Diffusion生成模型
- SDXL - SD升级版,质量更高
- Flux - 最新最强大开源文生图
计算机视觉 (25个)
- detectron2 - Facebook目标检测分割框架
- mmdetection - OpenMMLab检测工具箱,国内常用
- mmsegmentation - 语义分割工具箱
- yolov5 - YOLOv5,流行实时检测
- yolov8 - 最新YOLOv8,检测分割姿态估计都有
- yolov9 - YOLOv9,更好精度速度
- RTMDet - 实时检测,超快
- DINOv2 - 自监督视觉特征学习,强大backbone
- MAE - Masked Autoencoders视觉自监督
- MoCo-v3 - 动量对比学习第三代
- OpenCV - 经典计算机视觉库
- PIL - Python图像处理库
- albumentations - 数据增强工具
- timm - PyTorch图像模型集合,拿来即用
- torchvision - PyTorch官方视觉工具包
- ResNet - 经典残差网络
- VisionTransformer - ViT原始论文代码
- ConvNeXt - 卷积网络现代化改进
- SwinTransformer - 层次化Transformer视觉
- EfficientNet - 高效网络架构搜索
- HRNet - 高分辨率表示
- MMPose - 姿态估计工具箱
- AlphaPose - 实时多人姿态估计
- FaceDetection - 超快人脸检测
- InsightFace - 人脸检测识别对齐一站式
NLP & 大语言模型应用 (20个)
- transformers - HuggingFaceTransformer,NLP标配
- tokenizers - 快速Tokenizer,Rust实现
- datasets - HuggingFace数据集工具
- [accelerate](https://github.com/huggingface/accelerate - HuggingFace多GPU训练抽象
- evaluate - HuggingFace评测指标库
- spaCy - 工业级NLP,命名实体分词
- NLTK - 经典Python NLP工具包
- transformers.js - Transformers浏览器运行
- text-generation-webui - 大模型WebUI一键运行,本地跑
- llamafile - 单文件跑大模型,不用安装
- ollama - 本地跑大模型超简单,一行命令
- open-webui - 美观功能全的Ollama WebUI
- langchain-cn - Langchain中文文档
- vectorflow - 大规模向量批量编码
- sentence-transformers - 句子嵌入,RAG必备
- text-embeddings-inference - 快速批量embedding推理
- bart-large - BART seq2seq模型
- t5 - Google text-to-text框架
- bert - 经典BERT模型
- alpaca - 斯坦福Alpaca指令数据集
AI开发工具 & 框架 (20个)
- PyTorch - Facebook机器学习框架,现在最流行
- TensorFlow - Google深度学习框架
- JAX - Google自动微分+XLA,组合式函数变换
- JAX - Google自动微分+XLA
- MXNet - Apache深度学习框架
- Keras - Python深度学习高级API
- TensorRT - NVIDIATensorRT推理优化
- ONNX - 开放神经网络交换格式
- ONNX Runtime - ONNX推理引擎
- TVM - 机器学习编译
- triton-inference-server - NVIDIA推理服务服务器
- gradio - 几行代码做机器学习WebUI
- streamlit - 快速数据APP分享demo
- mlflow - 机器学习生命周期管理
- wandb - 实验跟踪可视化协作
- tensorboard - TensorFlow可视化工具
- hydra - Python配置框架
- pytorch-lightning - PyTorch训练框架,简化代码
- lightning - 第二代Pytorch Lightning
- accelerate - HuggingFace多GPU训练
- jupyter - 交互式笔记本,开发必备
部署 & 推理优化 (20个)
- tensorrt-llm - NVIDIA大模型TensorRT优化
- vllm - 快速大模型推理,PagedAttention
- text-generation-inference - HuggingFace大规模部署
- tgi - 简称TGI,HuggingFace官方部署
- sglang - 高速大模型服务,RadixAttention
- transformers-neural-engine - NVIDIA Transformer Engine
- GPTQ-for-LLaMa - LLaMA 4bit量化
- AutoGPTQ - 自动GPTQ量化工具
- GPTQ - 原始GPTQ量化论文
- AWQ - Activation-aware Weight Quantization
- SqueezeLLM - 稀疏化加量化
- GPTQ-to-ONNX - GPTQ转ONNX部署
- exllamav2 - 快速GPTQ推理
- lmdeploy - 快速部署InternLM支持其他模型
- fastdeploy - 飞桨快速部署toolkit
- nvidia-docker - Docker支持NVIDIA GPU
- kubernetes - 容器编排大规模部署
- ray - 分布式计算给AI
- petals - 分布式推理大模型,多人拼卡
- baseten - 打包机器学习模型生产部署
- modelopt - NVIDIA模型优化工具包,量化蒸馏
数据集 & 评测 (15个)
- coco - COCO检测分割数据集
- imagenet - ImageNet图像分类数据集
- wikitext - WikiText语言建模数据集
- common crawl - 万亿词网络爬取数据集
- pile - 825GB多样化文本数据集
- refinedweb - Falcon高质量web数据
- alpaca-data - Alpaca指令数据集
- sharegpt - 多轮对话sharegpt数据集
- open-orca - GPT-4生成解释数据集
- mt-bench - MT-Bench大模型评测
- MMLU - Massive Multitask Language Understanding
- GSM8K - 小学数学应用题数据集
- HumanEval - 代码生成评测
- MBPP - Mostly Basic Python Programming
- LLM-bar - 中文大模型评测基准
统计:25+25+20+20+25+20+20+20+15 = 200 个项目 ✅
所有项目都是GitHub上活跃开源项目,star普遍在k以上,真正常用维护。按领域分类方便查找,收藏起来找项目不用瞎逛了。
bpp)** - Mostly Basic Python Programming
- LLM-bar - 中文大模型评测基准
统计:25+25+20+20+25+20+20+20+15 = 200 个项目 ✅
所有项目都是GitHub上活跃开源项目,star普遍在k以上,真正常用维护。按领域分类方便查找,收藏起来找项目不用瞎逛了。
更多推荐

所有评论(0)