社区 发现 AI 国产AI - DeepSeek本地化部署...
国产AI - DeepSeek本地化部署详细指南分享
发帖19次
被置顶14次
被推荐8次
质量分0星
回帖互动165次
历史交流热度16.71%
历史交流深度0%
前言
过年春节最火的技术新闻应该就是Deepseek了，黑神话悟空公司 游戏科学CEO冯骥甚至直接称之为
国运级别技术突破！
刚开始还没太关注，但是黑猴玩挺多的，相信冯总也是认真做事的人，能拿到他的信任背书，肯定值得关注了，遂开始了解相关信息：抖音、知乎、B站的相关核心内容消化。
后面发现幻方的创始人梁文峰也是吴川的，作为老乡与有荣焉，对创始人的成长经历、过往分享、价值观又做深层次的挖掘，不由得感慨：小镇做题家真是中国独有的财富，同时对“国运”这种玄学真的不得不信。
OpenAI（CloseAI）现在带领的方向是通过堆算力设备，玩大力出奇迹，同时对高端显卡做出口管制，就是要限制国内的AI技术发展，但是总是有理想主义的天才能够另辟蹊径找到破局的方法，通过算法的方式优化训练成本，从训练成本到API价格都可以看到极致的成本控制，看到AI应用真的能成为水电的普惠性质的应用，做到科技改变生活。
ChatGPT的内容自己在论坛上分享也较早，但是不得不说还是有巨大的门槛，我是因为兴趣+行业才有心思钻研，但是对于普通人来说，要搞定 网络配置（科学）+ 账号注册 + SMS接码 + 防feng号处理，基本上已经劝退90%以上人群了。
现在这个门槛已经被拉平了，只要一个86手机号，就可以获得这种神器，我认为这种通用AGI简直就是古时候人们认为的全知全能的“圣人”，而且是有求必应的圣人，推荐大家也思考怎么结合行业进行落地应用，尽可能加强频率（也有一种焦虑：非核心工种的代替性太强了，电商领域更是，所以要有足够的敏感度，积极拥抱变化）
因为现在Deepseek太火了，直接给服务器干爆了，同时还承载了很多恶意攻击，API调用申请入口也直接关了，但是DeepSeek身上能看到伟大公司的基因就是：拥有这种核心技术（可以带来巨大的经济回报），但是还愿意直接开源。
要说幻方还是有理想主义的，公司是国内顶级量化私募机构，肯定有对这个DS这个项目做过商业化经济回报进行评估，舍弃巨大的利益，但是对全球的AI生态发展有巨大正向推动，之前都是要超级巨大的资金资源投入，但是开源之后大家都有了上牌桌的机会。
上面分享了一些基本信息，每次讲核心内容总会讲一下认识背景（doge）
==============================分割线=====================================
今天分享的内容是：DeepSeek本地化部署（技术向）本地化部署方案
后面有机会再跟大家分享应用层面的相关信息：
1.亚马逊运营的AI应用（基础应用）
2.公司层面知识库建立（宏观应用）
一、本地Ollama部署
打开Ollama官网，根据自己的系统点击下载
https://ollama.com/
下载之后按照默认设置完成安装即可，之后回到Ollama主页，点击model子页面
Ollama已经聚合了一些热门的开源模型，我们直接找到DeepSeek-r1模型
可以发现这里有很多不同的版本，选择自己电脑配置符合的（年后回去立马买4090）
具体配置可以参照这个表格
选好对应的模型，然后复制这串代码
Mac用户在电脑本地打开【终端】
Windows用户在电脑本地打开【命令行cmd】
接着Mac用户在电脑本地打开【终端】
Windows用户在电脑本地打开【cmd】
把刚才复制的代码，粘贴过来，回车，然后开始下载模型
下载进度条走完之后，会自行安装，全部完成之后，我们就可以直接在终端开始使用了。
PS. 一定要留意选择符合自己电脑配置的模型，我的Mac装了7B的，背板温度直线升高
安装完成之后，我们就可以直接在终端框进行使用了，但是实际使用的时候肯定还是不太方便的
所以我们下面介绍2种方法，给本地化部署增加交互界面，更符合我们的使用习惯
二、Chatbox创建智能体
打开chatbox官网，启动网页版，chatbox也提供客户端，看自己的使用习惯
https://chatboxai.app/zh
然后点左下角【设置】
模型提供方选择Ollama
然后要根据这个教程设置一下
https://chatboxai.app/zh/help-center/connect-chatbox-remote-ollama-service-guide
就可以看到对应系统的教程了
然后回到Chatbox的官网，再点一下【设置】
选择我们下载的模型，点击保存，就可以开始使用了
PS. 如果这里没有显示模型，多是忘记重开Ollama的
Chatbox也提供创建智能体选项，可以帮我们处理特定的工作内容：如listing优化
后面有空再更新Docker的方案，docker的玩法更加丰富，可以创建语音智能体，但是相对而言更复杂，上面Chatbox已经可以满足多数人的使用需求了，看大家的反馈再决定是否更新这部分内容。
==============================分割线=====================================
到这里已经大功告成了，快去试试吧！
祝论坛的各位朋友新年快乐，2025出海顺利~
感觉有用可以帮我点点关注和赞? 谢谢大家～
Hello大家好，我是Andy
深耕跨境领域6年，擅长电商+技术应用挖掘蓝海市场，我会分享很多关于跨境出海，技术相关分析，如果大家对这个方向感兴趣，可以关注我。
一些不方便拍成视频的内容，我会写成图文SOP，更加方便大家去进行操作。
今年打算认真最准备做一个社群，吸引更多同频的同学一起交流，感兴趣的同学可以直接私信我。
过年春节最火的技术新闻应该就是Deepseek了，黑神话悟空公司 游戏科学CEO冯骥甚至直接称之为
国运级别技术突破！
刚开始还没太关注，但是黑猴玩挺多的，相信冯总也是认真做事的人，能拿到他的信任背书，肯定值得关注了，遂开始了解相关信息：抖音、知乎、B站的相关核心内容消化。
后面发现幻方的创始人梁文峰也是吴川的，作为老乡与有荣焉，对创始人的成长经历、过往分享、价值观又做深层次的挖掘，不由得感慨：小镇做题家真是中国独有的财富，同时对“国运”这种玄学真的不得不信。
OpenAI（CloseAI）现在带领的方向是通过堆算力设备，玩大力出奇迹，同时对高端显卡做出口管制，就是要限制国内的AI技术发展，但是总是有理想主义的天才能够另辟蹊径找到破局的方法，通过算法的方式优化训练成本，从训练成本到API价格都可以看到极致的成本控制，看到AI应用真的能成为水电的普惠性质的应用，做到科技改变生活。
ChatGPT的内容自己在论坛上分享也较早，但是不得不说还是有巨大的门槛，我是因为兴趣+行业才有心思钻研，但是对于普通人来说，要搞定 网络配置（科学）+ 账号注册 + SMS接码 + 防feng号处理，基本上已经劝退90%以上人群了。
现在这个门槛已经被拉平了，只要一个86手机号，就可以获得这种神器，我认为这种通用AGI简直就是古时候人们认为的全知全能的“圣人”，而且是有求必应的圣人，推荐大家也思考怎么结合行业进行落地应用，尽可能加强频率（也有一种焦虑：非核心工种的代替性太强了，电商领域更是，所以要有足够的敏感度，积极拥抱变化）
因为现在Deepseek太火了，直接给服务器干爆了，同时还承载了很多恶意攻击，API调用申请入口也直接关了，但是DeepSeek身上能看到伟大公司的基因就是：拥有这种核心技术（可以带来巨大的经济回报），但是还愿意直接开源。
要说幻方还是有理想主义的，公司是国内顶级量化私募机构，肯定有对这个DS这个项目做过商业化经济回报进行评估，舍弃巨大的利益，但是对全球的AI生态发展有巨大正向推动，之前都是要超级巨大的资金资源投入，但是开源之后大家都有了上牌桌的机会。
上面分享了一些基本信息，每次讲核心内容总会讲一下认识背景（doge）
==============================分割线=====================================
今天分享的内容是：DeepSeek本地化部署（技术向）本地化部署方案
后面有机会再跟大家分享应用层面的相关信息：
1.亚马逊运营的AI应用（基础应用）
2.公司层面知识库建立（宏观应用）
一、本地Ollama部署
打开Ollama官网，根据自己的系统点击下载
https://ollama.com/
下载之后按照默认设置完成安装即可，之后回到Ollama主页，点击model子页面
Ollama已经聚合了一些热门的开源模型，我们直接找到DeepSeek-r1模型
可以发现这里有很多不同的版本，选择自己电脑配置符合的（年后回去立马买4090）
具体配置可以参照这个表格
选好对应的模型，然后复制这串代码
Mac用户在电脑本地打开【终端】
Windows用户在电脑本地打开【命令行cmd】
接着Mac用户在电脑本地打开【终端】
Windows用户在电脑本地打开【cmd】
把刚才复制的代码，粘贴过来，回车，然后开始下载模型
下载进度条走完之后，会自行安装，全部完成之后，我们就可以直接在终端开始使用了。
PS. 一定要留意选择符合自己电脑配置的模型，我的Mac装了7B的，背板温度直线升高
安装完成之后，我们就可以直接在终端框进行使用了，但是实际使用的时候肯定还是不太方便的
所以我们下面介绍2种方法，给本地化部署增加交互界面，更符合我们的使用习惯
二、Chatbox创建智能体
打开chatbox官网，启动网页版，chatbox也提供客户端，看自己的使用习惯
https://chatboxai.app/zh
然后点左下角【设置】
模型提供方选择Ollama
然后要根据这个教程设置一下
https://chatboxai.app/zh/help-center/connect-chatbox-remote-ollama-service-guide
就可以看到对应系统的教程了
然后回到Chatbox的官网，再点一下【设置】
选择我们下载的模型，点击保存，就可以开始使用了
PS. 如果这里没有显示模型，多是忘记重开Ollama的
Chatbox也提供创建智能体选项，可以帮我们处理特定的工作内容：如listing优化
后面有空再更新Docker的方案，docker的玩法更加丰富，可以创建语音智能体，但是相对而言更复杂，上面Chatbox已经可以满足多数人的使用需求了，看大家的反馈再决定是否更新这部分内容。
==============================分割线=====================================
到这里已经大功告成了，快去试试吧！
祝论坛的各位朋友新年快乐，2025出海顺利~
感觉有用可以帮我点点关注和赞? 谢谢大家～
倒计时：
43 个回复
XuanZan - 90hou
赞同来自: 热心市民陈先森1205 、 Andy聊跨境 、 AML111 、 Monkey123 、 Albert666 、 Enjoychris 、 布咕咕咕 、 东东丶 、 大勉强家 、 新新新韭菜 、 努力成为大麦 、 Austin01 、 明天过后啊 、 JosephGan 、 跨境小白online 、 羊非鱼 、 假设我是好人 、 9你的名字 、 温皮皮sir 、 咿呀嘿努力打工 、 菜鸟Peter 、 LyleTeng 、 不可以吃咸鱼 、 鸣瑜nice 、 怎么想都奇怪 、 Typhine 、 昨夜碧树过西风 、 BeautifulGirl 、 肖小小cici 、 德鲁大树 、 黑色的 、 eee123 、 dog6638 、 想昵称好难啊 、 JamesGodson 、 KennyL 、 阿四AIR 、 菜园源泉 、 入门中ing 、 lEtmIheArU 、 13710212591 、 谁不喜欢鸡腿 更多 »
Ollama和Chatbox是做什么的？
Ollama：可以理解为一个工具箱，里面有许多预先训练好的AI“模型”。你可以把它想象成一个装有各种“机器人大脑”的盒子。每个大脑都有不同的特长，比如理解文字、生成图片、回答问题等。你通过Ollama将这些大脑带到你自己的电脑上，让它们在本地工作。安装好后，你可以在电脑上直接控制这些“机器人”，就像把它们从一个虚拟的实验室带回家一样。
Chatbox：可以看作是一个“操作面板”或者“遥控器”，你通过它来更方便地和Ollama的AI模型进行交流。这个操作面板让你不用每次都输入复杂的命令，直接通过图形界面和AI互动，甚至还可以设置AI做一些专门的任务，比如自动优化产品页面内容。
和网页端AI工具（如ChatGPT）的区别？
网页端AI工具（如ChatGPT）：ChatGPT是通过浏览器直接连接到服务器上的AI模型，你只需要输入问题，AI会即时给出答案。它类似于你去网吧玩游戏，所有的硬件和软件都在远程的服务器上，你通过网络和它互动。
Ollama + Chatbox：是本地化的AI工具。也就是说，所有的“计算”是在你自己的电脑上完成的。你不再依赖外部服务器，只要电脑够强大，你可以随时离线使用这些AI“模型”。这就像你买了一个个人的游戏主机，不再需要每次都连网才能玩。
什么是“模型”？
在AI中，“模型”就像是一个“专家”，它经过大量学习后，变得非常擅长某种任务。比如：
有的模型是专门学会了如何理解文字和回答问题（像ChatGPT就是这样的模型）。
有的模型学会了如何生成艺术作品、图片等。
你可以把模型想象成一个特定技能的专家。就像你找一位厨师做菜，找一位医生看病，找一位程序员写代码。每个模型都是经过训练，在某个领域非常专业的人物。