前言

Jan 是一款开源的的本地 AI 部署软件,利用开源 AI 模型和自己的硬件(CPU、显卡),让我们可以在本地运行大语言模型,实现 100% 完全离线、免费的 ChatGPT。目前支持 Windows、macOS、Linux三个平台安装运行各大开源的AI大模型。

几天使用下来,真的感觉很香😍😍😍!!!

项目地址:janhq/jan:Jan 是 ChatGPT 的开源替代品

Jan 可在任何硬件上运行,算力越大,速度越快。

软件下载

前提条件

以 Windows 系统部署为例进行演示,其他平台设备部署安装参考项目主页的说明。

  • Windows 10 或更高版本
  • 要启用 GPU 支持:
    • 带有 CUDA 工具包 11.7 或更高版本的 Nvidia GPU
    • Nvidia 驱动程序 470.63.01 或更高版本

检查 NVIDIA 驱动和CUDA

首先检查是否安装NVIDIA 驱动,打开 PowerShell 或 cmd 终端并输入以下命令:

nvidia-smi

如果看到类似以下结果,则说明您已成功安装 NVIDIA 驱动程序:

NVIDIA 驱动程序

其次检查是否安装CUDA 工具包,打开 PowerShell 或 cmd 终端并输入以下命令:

nvcc --version

如果看到类似以下结果,则说明您已成功安装 CUDA:

CUDA 工具包

若没有安装CUDA ,可以直接【点击下载】进行安装即可。

一般情况会自动加入环境变量,否则可以手动将 CUDA 的 bin 目录添加到 PATH 环境变量中。

CUDA 工具包默认路径: C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA

如果上述条件都满足了,就可以进行下面的下载。

在【官网下载】下载最新版本的 Jan,或访问 【GitHub 版本】以下载任何以前的版本。

官网下载

软件使用

Jan 的使用界面很简单,选择并下载模型后,就可以直接对话了。

除了从**Jan** 提供的 Hub 选择模型,也支持手动导入模型、使用在线模型。

效果展示

Tip:若是模型下载失败,如下图打开设置找到Advanced Settings中的HTTPS Proxy选项,添加自己的代理服务器地址和端口即可正常下载。

设置代理