NSDT工具推荐： Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器 - REVIT导出3D模型插件 - 3D模型语义搜索引擎 - Three.js虚拟轴心开发包 - 3D模型在线减面 - STL模型在线切割

Tabby是一个自托管 AI 编码助手。 GitHub Copilot 的开源/本地替代方案。

1、主要特性

  • 自包含，不需要 DBMS 或云服务
  • 用于可视化、配置模型和 MLOps 的 Web UI。
  • OpenAPI 接口，易于与现有基础架构（例如 Cloud IDE）集成。
  • 消费级 GPU 支持（具有各种优化的 FP-16 权重加载）。

2、Tabby演示

Demo

3、Docker安装Tabby

# Create data dir and grant owner to 1000 (Tabby run as uid 1000 in container)
mkdir -p data/hf_cache && chown -R 1000 data

docker run \
  -it --rm \
  -v ./data:/data \
  -v ./data/hf_cache:/home/app/.cache/huggingface \
  -p 5000:5000 \
  -e MODEL_NAME=TabbyML/J-350M \
  tabbyml/tabby

要使用 GPU 后端 (triton) 获得更快的推理速度：

docker run \
  --gpus all \
  -it --rm \
  -v ./data:/data \
  -v ./data/hf_cache:/home/app/.cache/huggingface \
  -p 5000:5000 \
  -e MODEL_NAME=TabbyML/J-350M \
  -e MODEL_BACKEND=triton \
  tabbyml/tabby

注意：要使用 GPU，你需要安装 NVIDIA Container Toolkit。 我们还建议使用带有 CUDA 11.8 或更高版本的 NVIDIA 驱动程序。

然后，可以使用 /v1/completions 端点查询服务器：

curl -X POST http://localhost:5000/v1/completions -H 'Content-Type: application/json' --data '{
    "prompt": "def binarySearch(arr, left, right, x):\n    mid = (left +"
}'

我们还在管理面板 localhost:5000/_admin 中提供了一个交互式练习环境：

原文链接：Tabby - Github

BimAnt翻译整理，转载请标明出处