如何使用ollama 部署的本地 AI 供给 Marginnote 学习工具,并且分析内嵌的提示词

前言

ollama serve -h 去查看相关的环境变量
然后 sudo systemctl edit ollama.service 编辑相关的环境变量
比较重要的环境变量就是监听地址了
Pasted image 20260820133954.png

  • 例如 context_length 就是模型启动时初始化的上下文大小,上下文大小越大,占用的显存就越多
  • Environment=“OLLAMA_KEEP_ALIVE=-1”,就是让模型持久保存在显存之中,下次调用时速度更快。而不是超时被销毁
  • 监听地址0.0.0.0,就是支持其他主机访问和本机访问

Pasted image 20260820134255.png
然后在 Marginnote 的设置里设置自定义 AI,并且测试自定义 AIPasted image 20260820134400.png

题外话

测试失败了,可能与 9B模型不太聪明导致的。但是 qwen 3.5 9b 确实有多模态能力

Pasted image 20260820134707.png让我们分析一下测试

分析一下的数据流吧

打开 wireshark-然后添加显示过滤器


Pasted image 20260820183343.png

接着添加显示过滤器过滤掉无关的数据流
Pasted image 20260820183540.png
接着启用过滤器开始抓包,随后发送对话查看数据流
Pasted image 20260820184147.png
抓到包之后接着右键其中一个数据包,然后选择follow(追踪流)选择 HTTP 流或者 TCP 流
Pasted image 20260820184608.png
Pasted image 20260820184952.png
然后选择显示为 UTF-8 以正确显示中文

这样就分析了模型的思考链了

© 版权声明
THE END
喜欢就支持一下吧
点赞13赞赏 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容