Blog Posts
AI开发
这篇文章介绍了关于AI开发的基础资料，包括开发工具LangChain和LlamaIndex，以及LangGraph框架。还讨论了LLMs微调的挑战和提示工程技术的应用。此外，还介绍了RAG（增强检索）的基本原理和优化方法，以及向量数据库和Agent的相关内容。
LLM
RAG
Prompt
2024/09/02
LangGraph实战 子图、流响应
记录Langgraph使用过程中遇到的问题以及解决方法
LangGraph
2024/09/11
Chroma使用和服务端docker部署
介绍Chroma服务端部署，客户端基本的使用
RAG
Vector Store
2024/08/27
如何选择大模型(榜单+指标)
在选择大模型之前，需要明确自己对语言、通识、推理、数学、代码、长文本和工具等七大能力的偏好。评测指标包括MMLU、C Eval、ARC-C、BBH、GSM8K、MBPP、Human Eval、L-Eval和T-Eval。常用榜单包括OpenCompass司南榜单、Huggingface榜单和MTEB榜单。
LLM
2024/06/25
LLM部署(docker+fastchat+vllm+embedding) 支持工具调用
该文档介绍了关于LLM模型部署的内容，包括模型选择、模型下载、模型部署方案以及模型使用和加速方法。推荐的部署方案是使用docker部署，同时提供了本地环境部署的方法。模型加速方面介绍了vllm和flash-attention两种方法。
LLM
2024/08/23
Prompt编写
该文档是关于Prompt编写指南的，介绍了26种技巧与效果，以及进阶的CoT、类推提示法、PoT、ToT和GoT等方法，用于提升大模型的推理能力。
LLM
Prompt
2024/08/08
修改FastChat使支持工具调用(LangGraph适配FastChat)
本文介绍了如何修改FastChat以支持工具调用和LangGraph适配FastChat的问题。针对
with_structured_output方法返回None的问题，提供了两种解决方案：使用chain替换该方法或继承ChatOpenAI并重写该方法。对于LangGraph的create_react_agent不能调用工具的问题，也提供了两种解决方案：修改FastChat接口以支持tools参数或替换create_react_agent方法。LLM
LangChain
LangGraph
2024/06/20
LLM Knowledge Base
需要关注的LLM 相关知识或论文
LLM
Knowledge
2024/06/15
K8S+Rancher搭建
K8S 搭建
K8S
Rancher
2024/06/15
Airflow使用
Airflow使用心得
Install
Airflow
2024/06/15
企业级知识库选择
知识库选择
Knowledge
2024/06/15
QQ Bot+notion实现随手记
小玩具
Notion
Script
2024/06/15