首页 文章 精选 留言 我的

精选列表

搜索[创业扶持],共6105篇文章
优秀的个人博客,低调大师

vLLM 团队成立创业公司 Inferact,目标打造世界领先的 AI 推理引擎

最流行的开源 LLM 推理引擎 —— vLLM 创建者和核心维护者宣布成立 AI Infra 初创公司:Inferact。 根据彭博社的报道,Inferact 在最新一轮种子融资中获得 1.5 亿美元资金,公司估值约 8 亿美元。该轮融资由顶级风投Andreessen Horowitz(a16z)和 Lightspeed Venture Partners 联投,多家知名机构包括 Sequoia Capital、Altimeter Capital、Redpoint Ventures 及真格基金等参与跟投。 vLLM 目前支持 500 多种模型架构,可在 200 多种加速器上运行,并支持全球规模的推理。Inferact 公司称其目标是将 vLLM 发展成为世界领先的 AI 推理引擎,并通过降低推理成本、加快推理速度来加速 AI 的发展。 在 AI 全生命周期中,推理(inference)是指将已训练的模型应用于实际任务的阶段。随着大模型和生成式 AI 应用的普及,这一阶段占用了 AI 系统中越来越多的计算资源和成本。相比过去投资集中在模型训练,现在投资者正在转向优化模型运行效率、降低推理成本的技术。Inferact 正是瞄准这一行业痛点。 许多 AI 基础设施公司在这一领域快速募集资金,反映了行业对推理技术的高度关注。优化推理性能不仅可以提升实时响应速度,还能降低云部署费用,是 AI 大规模商业化的关键一环。Inferact 此次融资不仅验证了开源技术在商业转化中的价值,也表明 AI 基础设施市场正在从训练阶段转移到推理与部署阶段。

优秀的个人博客,低调大师

干货篇| 阿里云RPA如何帮助创业型公司解决企业内耗(下)?

导读:本文是阿里云RPA(机器人流程自动化)干货系列之二,主要介绍了RPA的发展齐纳经和主要使用场景有哪些,目前国内外主流的RPA厂商以及RPA的未来在哪。一、RPA的发展前景根据Gartner的最新研究,2018年全球机器人流程自动化(RPA)软件的开支预计将达到6.8亿美元,同比增长57%,到2022年支出达到24亿美元。Gartner副总裁CathyTornbohm表示:“最终用户组织把RPA技术作为手动任务自动化的一种快速简便的方法。一些员工将继续执行那些要求他们手动剪切、粘贴和更改数据的日常任务。但是当RPA工具执行这些操作时,误差率会降低,数据质量会提高。”如今,RPA最主要的应用领域包括电商、财务/税务、银行、制造业、新零售、保险、物流、政府、公安等各行各业。Tornbohm表示:“通常,这些组织很难将财务和HR系统

优秀的个人博客,低调大师

架构师之路-创业互联网公司如何搭建自己的技术架构

适用范围 本文主要针对中小型互联网公司,特别适用于手机APP或者pc的后台架构,基本可以支撑5万日活 本文会对可能用到的相关技术进行技术选型的说明,以及技术的架构介绍,技术架构的介绍课程后面有地址,可以点进去查看。 技术指标 说一下一些技术指标的计算过程可以作为其他同学的参考 QPS, 如果是5万日活,使用集中在每天的4小时,每个用户大概产生100的请求,那么平均下来,我们系统大概应该支撑的请求为:50000 100 / (4 60 * 60) = 350 qps/s 业务数据 业务量,我们自己是新闻业务,可能会有其他的业务,比如游戏,商城等等,基本每天新增的业务数据都会在同一个量级, 每日10000, 另外跟用户相关的信息也是比较大的一块,比如用户的订阅等行为,一共5万的用户,保存相关信息可能大概需要100条的数据。 缓存大小 主要业务数据和用户相关的热点数据限时保存在缓存中, 大概需要5个G左右。 日志大小 用户日志和请求日志。 大概每天3个G左右 技术架构 整体架构因为是小公司,我们基于阿里云来搭建,对图中的内容和技术选型进行一下说明: 负载均衡 可选方案: SLB, Nginx. SLB要收钱,但是比较便宜,有保证,不会挂。 但是可配置的很少,不能根据域名做ip映射Nginx, 没啥缺点,需要一定的知识。建议: SLB + Nginx, SLB绑定域名作为统一的入口,然后每个服务器上再搭建Nginx. CDN 用于缓存静态文件等等。 七牛和阿里的都还可以。 七牛要做的久一点, 各种图片处理的接口要完善一些阿里的CDN要稍微好一点点, 但是没有不安全的访问方式,访问稍微没有那么灵活。 图片处理功能弱一点。 分布式调用框架 目前可选的有ZK + dubbo. ZK + Motan, ZK + dubbox, edas。 dubbo, 阿里的服务治理框架,已经不维护了,切换反应有点慢dubboX, 当当基于dubbo搞的,还在维护可以一用,推荐。Motan, 微博的服务治理矿建, 刚开源,需要学习一下, 推荐。Edas, 阿里云服务,要收钱,侵入型很强,不推荐 MQ 可选的有: ActiveMQ, rocketMQ, robbitMQ,Kafka各有好处, 但是考虑到运维的难度,推荐rocketMQ。 Redis 用来做缓存, 自建成本有点高,需要Codis, 分片,集群,主从等等,很麻烦。 建议直接用阿里的 数据库 主要基于读写分离和主从复制考虑,目前可以自建和选用阿里的DRDS。 DRDS 要花钱,成本较高,没有必要自建, 不用中间件,直接1写2只读, 然后配置读写分离的数据源,内网SLB进行读集群。解决之。 搜索 建议ELK, 可以自动同步数据库,除了搜索引擎的功能外,还可以做日志搜索,监控系统。 一些典型的业务场景说明把业务底层做成SOA模块,通过分布式调用框架对外提供服务。 后期进行SOA到微服务的改造都会涉及。单独做一个小的系统来运行定时任务热点数据放缓存,然后通过MQ来更新缓存日志等数据有必要可以考虑上个Mongo 参考内容:http://www.roncoo.com/course/view/ae1dbb70496349d3a8899b6c68f7d10b

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册