首页 文章 精选 留言 我的

精选列表

搜索[基因多效性],共10000篇文章
优秀的个人博客,低调大师

哈啰集团全面接入通义灵码,AI 生成代码占比 20%,研发提效 12%

6 月 21 日,在阿里云 AI 智领者峰会上海站,哈啰集团算法总监贾立宣布, 哈啰集团已全面接入阿里云通义灵码专属版, 不仅提升了内部研发效率,实现 AI 代码采用率超过 20%,还将灵码接入了哈啰自研 Copilot "海螺机器人"共同帮助用户实现智能代码补全、进行 CodeReview(代码评审)等。 据贾立介绍,哈啰集团当前已有超两成研发人员在日常开发环境中使用通义灵码,实现研发效率提升 12 %,预计 7 月研发人员覆盖率将达到70%。 在海螺机器人中,代码助手补全响应速度平均 1.3 秒,代码补全准确率为 80%。在代码评审方面,每周 180 个应用通过 AI 完成评审,平均每周发现 140 个 bug。 贾立表示:"通过和通义灵码合作,哈啰内部的 AI 代码采纳率已经达到 20%,我们也正在构建一套更全面的评估体系,包含'真实效率提升'等指标,来看每个使用 AI 代码的同学代码到底产生了什么变化。未来,随着大模型的进一步发展,AI 一定会为编程带来全方位、多层次的提升,让开发进入更加智能化的创作时代。" 除此以外,哈啰集团已与阿里云达成深度合作,全方位接入阿里云通义大模型。 在智能客服场景,哈啰集团已接入通义,用于提升客户回答质量及售后场景,预计日均调用量将达近 10 万次。 在营销场景,通过 AIGC 技术的应用,也提升了广告运营的效率。哈啰还将与阿里云百炼联合, 在模型训练、模型推理等方面展开全方位合作,共建一站式大模型基础平台,服务哈啰集团全部本地出行业务。 目前,哈啰主要提供移动出行服务及新兴本地服务,累计注册用户超 6 亿。

优秀的个人博客,低调大师

记录TritonServer部署多模型到多GPU踩坑 | 京东云技术团队

一、问题是怎么发现的 部署chatglm2和llama2到一个4*V100的GPU机器上遇到问题 config.pbtxt 中设置模型分别在指定gpu上部署实例配置不生效 如以下配置为在gpu0上部署本模型,部署count=1个实例,在gpu1上部署本模型,部署count=2个实例 instance_group [ { count: 1 kind: KIND_GPU gpus: [ 0 ] }, { count: 2 kind: KIND_GPU gpus: [ 1 ] } ] 部署时发现,所有模型实例都会被部署到gpu0上面, 由于gpu只有16g显存,在部署第一个模型实例成功后,第二个模型实例也会往gpu0上进行加载,最终导致cuda out of memery. 网上搜索发现有人遇到同样的问题,链接: https://github.com/triton-inference-server/server/issues/6124 二、排查问题的详细过程 大佬回答解决方案: 三、如何解决问题 1.在model.py手动获取config.pbtxt配置的gpu编号gpus:[0] instance_group [ { count: 1 kind: KIND_GPU gpus: [ 0 ] } ] 2.设置可用的GPU编号 os.environ["CUDA_VISIBLE_DEVICES"] = str(device_id) 3.启动成功 四、总结反思:是否可以更快发现问题?如何再次避免等。 triton启动的使用使用 nvidia-smi -l 2 监控显卡想显存, 可以发现所有模型都在往第一个gpu,gpu[0]内加载,发现配置config.pbtxt不生效 作者:京东科技 杨建 来源:京东云开发者社区 转载请注明来源

资源下载

更多资源
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册