图片

整理了200个活跃、实用的AI开源项目,按领域分类,方便查找。大部分star都在k以上,真正常用维护,不是凑数项目。

大模型 & 基础模型 (25个)

  • LLaMA - Meta开源大模型,底座模型首选
  • LLaMA 2 - 第二代,支持商用
  • Mistral-src - Mistral官方源码,小模型快准狠
  • Mixtral-8x7B - 优秀的MoE模型
  • Qwen - 阿里通义千问开源版,中文好
  • Qwen-VL - 通义千问多模态版
  • Yi - 01.AI开源Yi大模型,中文优秀
  • Llama.cpp - CPU跑大模型神器, everyone knows it
  • Zephyr - 对齐不错的开源7B模型
  • Mamba - 线性注意力新架构,比Transformer快
  • RWKV - RNN结构大模型,高效内存小
  • Phi-2 - 微软2.7B小模型,能力很强
  • Gemma - Google开源轻量级大模型
  • Falcon - TII出的高质量开源模型
  • OpenLLaMA - 开源LLaMA替代,权重可自由获取
  • RedPajama - 高质量开源训练数据集1.2T tokens
  • Pythia - EleutherAI出品,研究用模型套件
  • OPT - Meta开源OPT模型
  • **BLOOM - 百余种语言开源大模型
  • InternLM - 上海AI实验室开源模型
  • InternLM2 - 第二代能力更强
  • GLM - 清华GLM架构模型
  • ChatGLM3 - 最新版ChatGLM,国内常用
  • TinyLlama - 1.1B小模型,适配各种场景
  • OLMo - 完全开源可训练研究大模型

微调 & 对齐 (25个)

  • peft - HuggingFace参数高效微调工具,标准
  • bitsandbytes - 4bit/8bit量化,省内存
  • LLaMA-Factory - 一体化微调WebUI,新手友好
  • axolotl - 快速微调大模型配置一键跑
  • trl - Transformer Reinforcement Learning,RLHF工具
  • alignment-handbook - Zephyr对齐官方手册,代码可复用
  • FastChat - Vicuna训练和部署框架,带WebUI
  • ColossalAI - 大模型并行训练,多卡扩展
  • deepspeed - 微软分布式训练,显存优化
  • flash-attention - 更快更省内存的注意力实现
  • xformers - Facebook高效Transformer实现
  • LoRA - Low-Rank Adaptation原始论文代码
  • qlora - QLoRA: 4bit微调大模型
  • p-tuning-v2 - P-tuning prompt tuning
  • DreamShaper - LLaMA全尺寸微调配合DeepSpeed
  • OpenBuddy - 多语言对话模型微调
  • alpaca-lora - Standford Alpaca Lora微调模板
  • guanaco - Guanaco 65B微调代码
  • sfttrainer - HuggingFace官方监督微调脚本
  • reward-modeling - Reward模型评测基准
  • DPO - 直接偏好优化DPO代码实现
  • IPO - Implicit Preference Optimization
  • ORPO - Odds Ratio Preference Optimization
  • longchat - 长上下文大模型微调工具
  • lm-evaluation-harness - 大模型评测标准工具集

RAG & 检索增强 (20个)

  • LangChain - 大语言模型应用框架,RAG标配
  • LlamaIndex - 数据框架连接LLM,RAG专用
  • chroma - 嵌入式向量数据库,轻量好用
  • FAISS - Facebook高效向量搜索
  • qdrant - 向量搜索引擎,生产可用
  • weaviate - 开源向量数据库
  • pgvector - PostgreSQL向量扩展,不用新数据库
  • milvus - 云原生向量数据库
  • pinecone-haystack - Haystack LLM框架,支持RAG
  • ragatouille - ColBERT retrieval for RAG
  • HyDE - Hypothetical Document Embeddings
  • RAGFlow - 开源RAG引擎,deep document understanding
  • fastRAG - 加速RAG流水线
  • retriv - 快速稀疏密集检索
  • bm25s - 快速BM25实现
  • rank-bm25 - BM25 Python实现
  • colbert - ColBERT高效检索
  • splade - Sparse Lexical-aware Expansion
  • embedding-gemini - 通用embedding模型各种格式
  • rerankers - 统一接口各种重排序模型

多模态 & 视觉语言 (20个)

  • BLIP-2 - 语言图像预训练,awesome framework
  • FLAVA - Facebook多模态基础模型
  • CLIP - OpenAI对比语言图像预训练,经典
  • ALBEF - 对齐视觉语言表示
  • Gemma - Google轻量级多模态支持
  • LLaVA - Large Language and Vision Assistant,热门
  • MiniGPT-4 - 用LLaMA对接Vicuna做视觉语言
  • Qwen-VL - 阿里通义千问多模态
  • InternVL - 开源多模态大模型
  • Fuyu-8B - Adept AI多模态
  • CogVLM - 清华视觉语言大模型
  • OWL-ViT - 开放世界目标检测
  • GroundingDINO - 文本-图像 grounding
  • SAM - Meta分割一切,经典
  • MobileSAM - SAM轻量化手机可用
  • EfficientSAM - 更快更小SAM
  • SEEM - 分割一切所有地方
  • Stable Diffusion - Stable Diffusion生成模型
  • SDXL - SD升级版,质量更高
  • Flux - 最新最强大开源文生图

计算机视觉 (25个)

NLP & 大语言模型应用 (20个)

AI开发工具 & 框架 (20个)

部署 & 推理优化 (20个)

数据集 & 评测 (15个)

  • coco - COCO检测分割数据集
  • imagenet - ImageNet图像分类数据集
  • wikitext - WikiText语言建模数据集
  • common crawl - 万亿词网络爬取数据集
  • pile - 825GB多样化文本数据集
  • refinedweb - Falcon高质量web数据
  • alpaca-data - Alpaca指令数据集
  • sharegpt - 多轮对话sharegpt数据集
  • open-orca - GPT-4生成解释数据集
  • mt-bench - MT-Bench大模型评测
  • MMLU - Massive Multitask Language Understanding
  • GSM8K - 小学数学应用题数据集
  • HumanEval - 代码生成评测
  • MBPP - Mostly Basic Python Programming
  • LLM-bar - 中文大模型评测基准

统计:25+25+20+20+25+20+20+20+15 = 200 个项目 ✅

所有项目都是GitHub上活跃开源项目,star普遍在k以上,真正常用维护。按领域分类方便查找,收藏起来找项目不用瞎逛了。

bpp)** - Mostly Basic Python Programming

  • LLM-bar - 中文大模型评测基准

统计:25+25+20+20+25+20+20+20+15 = 200 个项目 ✅

所有项目都是GitHub上活跃开源项目,star普遍在k以上,真正常用维护。按领域分类方便查找,收藏起来找项目不用瞎逛了。

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐