沉浸式阅读
Beta
转载

Llama3本地部署及API接口本地调试,15分钟搞定最新Meta AI开源大模型本地Windows电脑部署,人人都可玩的AI大模型

©著作权     黑土 Ai 助手 订阅 Ai领域       07-28 19:25       97      0      0      0      08-04 23:28
学习要点:你知道国内大模型多少是基于Llama2改造的,你就知道Llama模型有多厉害了,那么现在Llama3刚出来,搞自媒体的赶紧蹭Llama3的流量,搞技术的程序员赶紧抓住研究一下,看能否技术变现一下,尤其搞技术的,再不动到时年龄大了被裁员了不要怨天怨地的!

Llama3介绍

目的

你知道国内大模型多少是基于Llama2改造的,你就知道Llama模型有多厉害了,那么现在Llama3刚出来,搞自媒体的赶紧蹭Llama3的流量,搞技术的程序员赶紧抓住研究一下,看能否技术变现一下,尤其搞技术的,再不动到时年龄大了被裁员了不要怨天怨地的!


口号

不需要key 和账号 ,主打一个安全


操作难度等级

非程序员的普通人及产品经理都可以按此文章说来本地部署


15分钟本地Windows电脑部署Llama3 开源大模型,支持 Llama3大模型  通义千问大模型 不需要key 和账号 ,主打一个安全。


安装步骤

1、下载安装Ollama

访问https://ollama.com,下载Ollama客户端,下载Windows版本,如果你的电脑是MacOs,下载对应的版本即可。


如果觉得 他们网站慢,可以在这里下载(Ollama安装包)

链接:https://pan.quark.cn/s/f99d43a376d9

提取码:Lhat


安装完成后,打开Windows命令窗口,输入ollama,出现如下提示,说明安装成功,可以使用了:


2、使用Ollama的命令下载Llama3模型文件

在ollama命令窗口输入:


ollama run llama3


按回车后就开始自动下载Llama3模型文件,默认下载最新的8B版本,模型文件大小4.7G。


等待5到10分钟即可下载完成(下载文件途中可以去上个厕所或者关注一下我的账号)


3、使用Llama3聊天对话功能

下载完成后出现send a message提示时,就可以直接与它进行对话了。看看我和它的对话:


4、本地Llama3 API接口调用

ollama会自动生成Llama3的API接口访问地址,API文档地址:https://github.com/ollama/ollama/blob/main/docs/api.md


请求地址:

curl http://localhost:11434/api/chat -d '{
  "model": "llama3",
  "messages": [
    {
      "role": "user",
      "content": "why is the sky blue?"
    }
  ],
  "stream": false
}'


不会写代码的,使用Postman去调试:


上述需要有简单的基础才能部署。


觉得 Postman 不方便 ,也可以下载  open-webui 来结合使用, 界面如图:

下载地址(open-webui整合环境包):

链接:https://pan.quark.cn/s/1fd83e93d21e

提取码:U3XJ


本地访问网址是 http://127.0.0.1:8080

邮箱:123123123@qq.com

密码:123123




如果不想用网页版,也可以使用  Chatbox 软件版(Chatbox-1.3.17-Setup

软件下载链接

链接:https://pan.quark.cn/s/31765643a6f0

提取码:Ggf7


软件截图

1、模型设置


2、效果展示



本文标题: Llama3本地部署及API接口本地调试,15分钟搞定最新Meta AI开源大模型本地Windows电脑部署,人人都可玩的AI大模型

本文链接: https://mbkfw.com/course/1275.html (转载时请注明来源链接)

本文说明: 本文来源于网络转载,有问题请发送至: 邮箱/kf@dtmuban.com 进行修改或删除

特别鸣谢: 如果您觉得本文对您有帮助,请给我们一个小小的赞,收藏本文更利于反复学习哦!

 
destoon程序前端开发标签生成器

下班PC阅读不方便?

手机也可以随时学习开发

微信关注公众号“商企云服”
"模板开发网前端开发教学"
每日干货技术分享
 
0

圈友点评

文明上网理性发言,请遵守网络评论服务协议
更多>

猜您需要

 
【ECS精选特惠】新用户上云低至1折起


色彩
×

《客户实名在线注册登记》售后一直都在!

关注

微信
关注

微信扫一扫
不同的环境体验

幸运大转盘,好礼等您拿

模板开发网公众号

模板开发网微信小程序

代授权

程序
授权

黑小二

联系
客服

很高兴为您服务
尊敬的用户,欢迎您咨询,我们为新用户准备了优惠好礼。咨询客服

联系客服:

在线QQ: 290948585

客服电话: 18605917465

E_mail邮箱: kf@dtmuban.com

微信公众号: 商企云服

微信小程序: 模板开发

QQ客服 微信客服DT授权代办 在线交谈 智能小云 黑土AI

工作时间:

周一至周五: 09:00 - 18:00

APP下载

安卓
APK

模板开发网安卓版APP

反馈

我要
反馈