pip安装open webui报错 报错信息 Defaulting to user installation because normal site-packages is not writeable Looking in indexes: https://mirrors.a…
小红书笔记
查看全部 →胡思乱想
查看全部 →Blog
OpenWebui只支持Python 3.11版本
在zola博客里面增加搜索功能
在zola主题博客中,引入搜索功能 html添加搜索按钮,并引入css,js文件 {% if config.build_search_index -%} <li> <span id="search-ico" class="ms-Icon…
Quivr + Ollama 本地部署知识库
部署环境:Windows 安装 supabase向量数据库 安装Windows下的包管理器scoop set-executionpolicy remotesigned -scope currentuse iex (new-object net.webclient).downloadstring(…
调用本地ollama api服务
用程序调用api搭建自己的ollama ollama api /api/tags:罗列本地模型 /api/show:显示模型信息 /api/copy /api/delete /api/pu…
关于大模型的使用成本计算
虽然日常用不了,但是可以简单了解下 预训练成本 $预训练成本 = ( 模型参数量 ✖️ 6 /A100 卡每秒的计算次数) ✖️ 显卡的租用成本 ✖️ 训练数据的 token 量$ 常量 A100 卡每秒的计算次数 = 312 TFLOPS/Watt (官方公布,每秒可以进行 312T 次浮点…
Prompt学习
学习资料:提示工程指南 1、模型设置 Temperature:值越小,结果越准确;反之,更具有想象力。 Top_p:和Temperature一样的效果。 Max Length:大模型生成的Token数。(Token太长,容易冗余且成本高) Stop Sequences:阻止模型生成 token…
windows下open webui+ollama+sd webui
说明:安装使用环境是在Windows下 1、给ollama一个好看的交互界面(open webui) 1.1、ollama安装 安装:在ollama官网下载windows版本进行安装 模型列表:支持的模型列表可以在ollama模型仓库查看 模型下载:使用ollama pull …
ollama+one api+fastgpt+微信,实现微信机器人
之前使用的微秘书对微信接口收费了,没法免费接入大模型。只能换成chatgpt-on-wechat接入了 往期参考文章 1、 FastGPT,ChatGLM2,WeChat本地化部署实战 2、obsidian中使用ollama部署llama3,实现本地对话 1、ollama安装 ollama安装参…
obsidian中使用ollama部署llama3,实现本地对话
1、ollama安装使用 1.1、ollama Get up and running with large language models locally. 1.2、支持的模型列表 1.3、下载安装 1.4、使用(基于终端操作) 1.4.1、下载模型(以llama3为例) ollama p…
Linux中docker使用
安装(Ubuntu) sudo apt install docker.io 使用 sudo docker ps -a //查看所有运行的容器 sudo docker stop {容器ID} //停止{容器ID} sudo docker stop $(dock…
git push报错解决
1、git push报错 remote: Permission to {xxx} denied to {xxx}. 致命错误:无法访问 '{xxx}':The requested URL returned error: 403 2、解决 修改.git -> config…
Windows下如何用命令打开虚拟环境(venv)
1、问题 Linux下的虚拟环境执行命令 source activate 而在Windows的Power Shell中却会报错 source : 无法将“source”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。请检查名称的拼写,如果包括路径,请确保路径 正确,然后再试一次。 所在位…
FastGPT,ChatGLM2,WeChat本地化部署实战
没有微信限制 先看效果 左:单人回复;右:社群回复 ChatGLM2-6B-int4本地部署 本地部署教程之前写过,按照这个来即可:https://wangguo.site/posts/9d8c1768.html 这个是运行web_demo.py的效果 这次运行openai_api.p…
LLM中的一些基本概念
逐步系统化地了解一下 ☝ 基本概念 1、预训练(Pre-training) 预训练是指在特定任务前,让模型在大规模数据上进行训练的过程。预训练可以使模型学习到数据中的通用特征,从而在后续任务中取得更好的性能 2、微调(Fine-Tuning) 微调是在预训练模型的基础上,使用标注数据对模型进行进…
HF大模型下载利器
用种子协议下载Huggingface模型 多年后提起 2023 时,一个不可避免的关键词肯定是「大模型」。在各种大模型科研如火如荼展开的同时,大模型下载也成为了很多人的烦恼。Huggingface 每月仅模型的下载流量就超过了 10PB。 为此,MIT 的朱力耕博士开发了一个叫做 HF-Tor…