前言
ollama serve -h 去查看相关的环境变量
然后 sudo systemctl edit ollama.service 编辑相关的环境变量
比较重要的环境变量就是监听地址了
- 例如 context_length 就是模型启动时初始化的上下文大小,上下文大小越大,占用的显存就越多
- Environment=“OLLAMA_KEEP_ALIVE=-1”,就是让模型持久保存在显存之中,下次调用时速度更快。而不是超时被销毁
- 监听地址0.0.0.0,就是支持其他主机访问和本机访问
然后在 Marginnote 的设置里设置自定义 AI,并且测试自定义 AI
题外话
测试失败了,可能与 9B模型不太聪明导致的。但是 qwen 3.5 9b 确实有多模态能力
让我们分析一下测试
分析一下的数据流吧
打开 wireshark-然后添加显示过滤器
接着添加显示过滤器过滤掉无关的数据流
接着启用过滤器开始抓包,随后发送对话查看数据流
抓到包之后接着右键其中一个数据包,然后选择follow(追踪流)选择 HTTP 流或者 TCP 流
然后选择显示为 UTF-8 以正确显示中文
这样就分析了模型的思考链了
© 版权声明
文章版权归作者所有,未经允许请勿转载。
THE END







暂无评论内容