PocketPal是一款AI 聊天应用AI助手。它允许用户直接在设备上与先进的 AI 模型进行互动，无需互联网连接，确保了对话的私密性和安全性。用户可以通过简单的操作，在界面上添加和管理不同的语言模型，支持从多个平台（如 Hugging Face）添加模型，也能加载本地模型使用。
软件特点
- 离线运行：无需互联网连接，用户即可在设备上与 AI 进行互动，随时随地享受 AI 服务，不受网络限制
- 模型多样性：支持 Danube、Phi、Gemma、Qwen 等多个小型语言模型，满足用户不同的使用需求，用户还可自由切换和下载
- 智能内存管理：当应用切换至后台时，会自动卸载模型以节省内存，再次打开应用时，模型会自动重新加载，确保应用流畅运行
- 自定义参数：用户能够调整系统提示、温度、BOS 令牌和聊天模板等模型参数，获得更个性化的对话体验
- 实时性能分析：显示每秒生成的令牌数量以及每个令牌的响应时间，帮助用户了解模型表现，以便根据需求调整设置。
- Hugging Face 集成：可在应用内直接搜索、收藏和下载 Hugging Face 上的 GGUF 格式模型，方便用户获取丰富的模型资源
使用方法
- 进入菜单，点击 Models ，加载模型首次使用时需要添加模型，点击右下角加号，可以“从 Hugging Face 添加”和“添加本地模型“
*从 Hugging Face 添加 需要连接国际网络，否则可能无法加载内容 - 模型名称中，1.5B、7B、32B表示模型的参数量，单位为B（Billion，十亿）。参数量越大，模型通常越复杂，能力越强，但计算资源需求也更高
- Q2、Q4表示量化位数。例如，Q2表示2位量化，Q4表示4位量化。量化通过降低参数精度来减少模型大小和计算需求，但可能影响性能。XS、M、L表示模型规模。例如，XS（Extra Small）可能是最小配置，M（Medium）为中等配置
- 这里提供一个DeepSeek-R1-Distill-Qwen-7B-IQ3_M.gguf（基于DeepSeek-R1蒸馏的Qwen小模型）下载地址： https://hf-mirror.com/matrixportal/DeepSeek-R1-Distill-Qwen-7B-IQ3_M-GGUF/blob/main/deepseek-r1-distill-qwen-7b-iq3_m-imat.gguf
- 下载gguf文件后可以通过”Add Local Model”选择此文件导入模型
- 模型文件添加完成（下载完成）后，点击对应模型的Load按钮加载模型，等待加载后即可使用。受限于模型的参数量以及移动端性能等各种因素，响应速度较慢，质量不高。目前仅供娱乐