首页 文章 精选 留言 我的

精选列表

搜索[本地推理],共10010篇文章
优秀的个人博客,低调大师

本地环境运行 Llama 3 大型模型

简介: Llama 是由 Meta(前身为 Facebook)的人工智能研究团队开发并开源的大型语言模型(LLM),它对商业用途开放,对整个人工智能领域产生了深远的影响。继之前发布的、支持4096个上下文的Llama 2模型之后,Meta 进一步推出了性能更卓越的 Meta Llama 3系列语言模型,包括一个8B(80亿参数)模型和一个70B(700亿参数)模型。Llama 3 70B 的性能媲美 Gemini 1.5 Pro,全面超越 Claude 大杯,而 400B+ 的模型则有望与 Claude 超大杯和新版 GPT-4 Turbo 掰手腕 在各种测试基准中,Llama 3系列模型展现了其卓越的性能,它们在实用性和安全性评估方面与市场上其他流行的闭源模型相媲美,甚至在某些方面有所超越。Meta Llama 3系列的发布,不仅巩固了其在大型语言模型领域的竞争地位,而且为研究人员、开发者和企业提供了强大的工具,以推动语言理解和生成技术的进一步发展。 项目地址: https://github.com/meta-llama/llama3 llama2和llama3的差异 llama3和GPT4的差异 指标 Llama 3 GPT-4 模型规模 70B、400B+ 100B、175B、500B 参数类型 Transformer Transformer 训练目标 Masked Language Modeling、Perplexity Masked Language Modeling、Perplexity 训练数据 Books、WebText Books、WebText 性能 SOTA(问答、文本摘要、机器翻译等) SOTA(问答、文本摘要、机器翻译等) 开源 是 否 Llama 3 的亮点 面向所有人开放:Meta 通过开源 Llama 3 的轻量版本,让前沿的 AI 技术变得触手可及。无论是开发者、研究人员还是对 AI 技术好奇的小伙伴,都可以自由地探索、创造和实验。 Llama 3 提供了易于使用的 API,方便研究人员和开发者使用。 模型规模大:Llama 3 400B+ 模型的参数规模达到了 4000 亿,属于大型语言模型。 即将融入各种应用: Llama 3 目前已经赋能 Meta AI,Meta AI体验地址:https://www.meta.ai/ 在 Windows 上使用 Ollama,运行Llama3模型 访问https://ollama.com/download/windows页面,下载OllamaSetup.exe安装程序。 安装后,根据自身电脑配置,选择对应模型参数安装(运行 7B 至少需要 8GB 内存,运行 13B 至少需要 16GB 内存) 我这里运行的是Llama3:8b,可以看出,中文还是有点问题 Model Parameters Size Download Llama 3 8B 4.7GB ollama run llama3 Llama 3 70B 40GB ollama run llama3:70b Mistral 7B 4.1GB ollama run mistral Dolphin Phi 2.7B 1.6GB ollama run dolphin-phi Phi-2 2.7B 1.7GB ollama run phi Neural Chat 7B 4.1GB ollama run neural-chat Starling 7B 4.1GB ollama run starling-lm Code Llama 7B 3.8GB ollama run codellama Llama 2 Uncensored 7B 3.8GB ollama run llama2-uncensored Llama 2 13B 13B 7.3GB ollama run llama2:13b Llama 2 70B 70B 39GB ollama run llama2:70b Orca Mini 3B 1.9GB ollama run orca-mini LLaVA 7B 4.5GB ollama run llava Gemma 2B 1.4GB ollama run gemma:2b Gemma 7B 4.8GB ollama run gemma:7b Solar 10.7B 6.1GB ollama run solar Hugging Face 使用 访问:https://huggingface.co/chat/ 然后切换Models Replicate 使用 8B 模型:https://replicate.com/meta/meta-llama-3-8b 70B 模型:https://replicate.com/meta/meta-llama-3-70b 本文是转载文章 珩小派,版权归原作者所有。建议访问原文,转载本文请联系原作者。

优秀的个人博客,低调大师

手机端webApp开发本地调试环境搭建

背景 这是本人在字节跳动工作时,学习到的经验,记录下来,和大家一起共同学习,有错误的地方往提出宝贵意见。手机端WebApp开发阶段,用chrome devtools模拟手机设备,很多兼容性问题不能提前发现。考虑到很多同学在开发时不便经常发版,方便设备可通过ip地址直接在移动端调试,提前发现问题,且不用发版到 test/pre 环境。 环境 开发机与移动测试机需要在同一网段下。 配置步骤 睁开双眼,找到vue目录中的config里的index.js文件(根据实际文件目录情况)。 抬起左手,伸出兰花指,往下翻,找到host配置,若配置为'localhost',改成'0.0.0.0'即可。 保存,重新启动服务。 查询虚拟机ip地址:在桌面上打开Powershell命令窗口,输入ipconfig,回车。 说明:此方法适合vue-cli 3.0以下的项目,3.0运行后会自动生成Network地址,在测手机上可直接调试。 验证 前提:(手机wifi需要与项目在同一个网络下才可以调试) 拿出一部可以打王者荣耀的手机,打开一个浏览器,输入你的ip,不要忘记加上项目的端口号,有的项目是需要加上入口名称的: 例如:http://10.1.104.230:8080 或加入入口名:http://10.1.104.230:8080/passager.html#/home 这样每次更改代码,保存后,页面就会自动刷新,这样就提高了修改bug的效率,降低了加班引起家暴的风险,多么神奇!!! 祝你早日成为大牛!

优秀的个人博客,低调大师

如何本地安装ApiPost接口调试工具

ApiPost简介: ApiPost是一个支持团队协作,并可直接生成文档的API调试、管理工具。它支持模拟POST、GET、PUT等常见请求,是后台接口开发者或前端、接口测试人员不可多得的工具 。 下载地址: https://www.apipost.cn/#download 如何安装ApiPost 的Chrome拓展: 如果您选择安装ApiPost的window或者Mac客户端,您就可以直接关闭本文了。 因为ApiPost客户端不需要安装chrome拓展就能使用。 本文主要讲在谷歌应用商店不能访问(不可描述的原因)的情况下,如何安装apipost拓展。 1、官网下载chrome拓展并解压 2、打开谷歌浏览器,点击右上角三个点-更多工具-拓展程序 进入拓展程序管理页码。如图 3、右上角打开开发者模式,然后点击 加载已解压的拓展程序,选择刚刚解压的apitpost拓展文件夹即可。如图 4、出现图中界面即为安装成功

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册