ollama 部署的本地 AI 供给 Marginnote 学习工具,并且分析内嵌的提示词

前言

ollama serve -h 去查看相关的环境变量
然后 sudo systemctl edit ollama.service 编辑相关的环境变量
比较重要的环境变量就是监听地址

图片[1]-ollama 部署的本地 AI 供给 Marginnote 学习工具,并且分析内嵌的提示词 - 胡宗胜的个人博客👤-胡宗胜的个人博客👤
  • 例如 context_length 就是模型启动时初始化的上下文大小,上下文大小越大,占用的显存就越多
  • Environment=“OLLAMA_KEEP_ALIVE=-1”,就是让模型持久保存在显存之中,下次调用时速度更快。而不是超时被销毁
  • 监听地址0.0.0.0,就是支持其他主机访问和本机访问
图片[2]-ollama 部署的本地 AI 供给 Marginnote 学习工具,并且分析内嵌的提示词 - 胡宗胜的个人博客👤-胡宗胜的个人博客👤

然后在 Marginnote 的设置里设置自定义 AI,并且测试自定义 AI

图片[3]-ollama 部署的本地 AI 供给 Marginnote 学习工具,并且分析内嵌的提示词 - 胡宗胜的个人博客👤-胡宗胜的个人博客👤

题外话

提示测试失败了,可能与 9B模型不太聪明导致的。但是没关系 qwen 3.5 9b 确实有多模态能力

图片[4]-ollama 部署的本地 AI 供给 Marginnote 学习工具,并且分析内嵌的提示词 - 胡宗胜的个人博客👤-胡宗胜的个人博客👤

让我们分析一下测试

分析一下的数据流吧

打开 wireshark-然后添加显示过滤器

图片[5]-ollama 部署的本地 AI 供给 Marginnote 学习工具,并且分析内嵌的提示词 - 胡宗胜的个人博客👤-胡宗胜的个人博客👤

接着添加显示过滤器过滤掉无关的数据流

图片[6]-ollama 部署的本地 AI 供给 Marginnote 学习工具,并且分析内嵌的提示词 - 胡宗胜的个人博客👤-胡宗胜的个人博客👤


接着启用过滤器开始抓包,随后发送对话查看数据流

图片[7]-ollama 部署的本地 AI 供给 Marginnote 学习工具,并且分析内嵌的提示词 - 胡宗胜的个人博客👤-胡宗胜的个人博客👤


抓到包之后接着右键其中一个数据包,然后选择follow(追踪流)选择 HTTP 流或者 TCP 流

图片[8]-ollama 部署的本地 AI 供给 Marginnote 学习工具,并且分析内嵌的提示词 - 胡宗胜的个人博客👤-胡宗胜的个人博客👤


图片[9]-ollama 部署的本地 AI 供给 Marginnote 学习工具,并且分析内嵌的提示词 - 胡宗胜的个人博客👤-胡宗胜的个人博客👤


然后选择显示为 UTF-8 以正确显示中文。这样就分析了模型的思考链了

© 版权声明
THE END
喜欢就支持一下吧
点赞13赞赏 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容