首页 文章 精选 留言 我的

精选列表

搜索[趋势探讨]，共10000篇文章
优秀的个人博客,低调大师

Forrester 发布 2024 年十大新兴技术趋势

分析公司Forrester 发布了最新的2024 年十大新兴技术报告。 GenAI for visual content 先进的机器学习模型可以根据文本、音频或视频提示生成图像或视频，这项技术将帮助公司为营销、体验和产品生成视觉内容。 GenAI for language GenAI for language已经在客户支持和内容创建方面实现了价值，并将继续以惊人的速度向前发展。它正在加速许多其他技术的发展。 TuringBots 图灵机器人是由人工智能驱动的软件机器人，可帮助开发人员构建应用程序。随着语言 genAI 技术的进步，这些由人工智能驱动的软件机器人可以帮助开发人员构建不仅仅提供代码生成的应用程序。 物联网安全 ​​​​​​​设备的激增导致安全攻击呈指数级增长，提高了物联网设备安全性的重要性。供应商们争相提供各种功能，相互竞争。 AI agents ​​​​​​​自主工作场所助理或 AI agents的作用已从后台办公室和员工协助扩展到面向客户的自动化。这些 AI agents将变得越来越复杂，以更好地理解和响应细微差别和背景。 自动驾驶 ​​​​​​​该技术将加速商业和城市交通生态系统的协作，为客户和企业提供个性化的出行体验。 边缘智能（Edge intelligence） 尽管许多基础元素（如 Apple 基础模型）正在逐渐普及，但边缘机器学习等高级边缘智能功能仍不常见。 量子安全 ​​​​​​​这项技术将彻底改革本地和云计算、存储和网络基础设施、商用现成软件、商业软件即服务产品和内部开发软件的安全系统。 扩展现实（XR） ​​​​​​​​​​​​​​一种将计算机图像覆盖在用户视野上的技术，采用增强现实、混合现实和虚拟现实技术，并由相同的开发工具、传感器和相机以及模拟引擎支持。虽然 XR 在培训和入职方面取得了进展，但公司在看到广泛采用之前，仍在抵制投资此类工具。 零信任边缘（ZTE） 该解决方案使用零信任访问原则在远程站点内外安全地连接和传输数字信息，主要使用基于云的安全和网络服务。ZTE 技术具有保护远程员工、零售店和分支机构的潜力，可提供嵌入式本地安全保护，但目前真正的 ZTE 解决方案屈指可数，而且传统设备增加了额外的管理复杂性。 报告将这十大技术划分成了短期受益期限（两年以内）、中期受益期限（两到五年）、长期受益期限（五年以上）三个部分。其中，短期技术包括 GenAI for visual content、GenAI for language、物联网安全、以及图灵机器人（TuringBots），这些技术可以迅速带来效益。Forrester 此前曾预测 TuringBots 的价值时间线为 5-10 年，但现在他们将其缩短为 1-2 年。 中期技术包括 AI agents、自动驾驶、边缘智能和量子安全，这些技术还需要两到五年的时间才能实现预期效益。扩展现实、和零信任边缘则继续被归为长期分类，Forrester认为这两项技术都具有巨大的潜在效益和巨大的风险。
2024-06-27
优秀的个人博客,低调大师

你应该了解的 NLP发展新趋势（实现方法总结）

云智慧 AIOps 社区是由云智慧发起，针对运维业务场景，提供算法、算力、数据集整体的服务体系及智能运维业务场景的解决方案交流社区。该社区致力于传播 AIOps 技术，旨在与各行业客户、用户、研究者和开发者们共同解决智能运维行业技术难题，推动 AIOps 技术在企业中落地，建设健康共赢的AIOps 开发者生态。 本期我们有幸邀请到南加州大学硕士生、云智慧智能研究院算法实习生蔺同学，为我们介绍 NLP 是如何走向了 prompt 与 adapter，在讲述 prompt 与 adapter 的原理、具体实现方法及优点后，还对它们进行了区分对比。下面让我们一起来学习吧~ 一、NLP 如何发展走向了 prompt 与 adapter 模型训练的发展 NLP（自然语言处理）模型通常用监督学习的方法训练。监督学习指模型仅在标注好的目标任务数据集上进行训练，由于带标记的样本数量不足以支撑模型学习到高质量的潜在特征，早期的 NLP 模型依赖于特征工程。特征工程指人们根据领域先验知识预先定义特征，这些特征帮助模型具有一定程度的归纳偏置（inductive biases），如下图中 a 所示。 深度神经网络模型的出现，推动特征学习与模型训练共同进行，因此研究的焦点转移到模型的结构上，模型具有的归纳偏置由其结构决定，例如 RNN 与 CNN 根据归纳偏置的不同，分别适用于文本与图像领域（下图 b） BERT（Bidirectional Encoder Representations from Transformers）的出现，令 NLP 模型的学习方式发生了巨大变化，全监督的方法不再流行，取而代之的方法是预训练（pre-train）与微调（fine-tuning）。 预训练是用一个固定的模型结构作为语言模型(Language Model, LM)并进行预训练，训练方式是对句子中的一部分词语进行遮掩（mask）或替换，再用模型预测正确的词语（BERT）。预训练是一种无监督的方法，可直接在没有标注的数据集上训练并建模语言的通用特征。通过预训练得到的语言模型会进一步适配到不同下游任务，根据任务特定的目标函数进行微调。在预训练与微调的方法下，研究的重点转为如何设计一个合理的目标函数，使得模型在预训练阶段和微调阶段能够更好地学习到语言的通用特征（下图 c）。 预训练语言模型的局限性 尽管在预训练语言模型上以微调的方式适应下游任务，已经是一种非常流行且效果非常好的方法，但是这种方法在微调阶段需要更新并存储所有语言模型的参数。当我们构建并实际使用预训练语言模型的 NLP 系统时，每一个下游任务都需要存储一份原语言模型微调过后的参数。考虑到预训练语言模型的参数都非常大，例如 GPT-2 有 774M 参数，BERT-base 也有 110M 参数，为每个下游任务都保存一个模型将需要不小的空间开销（如下图所示）。 二、prompt 的原理与实现方法 受 GPT 模型启发，学者们提出了 prompt 方法，避免不同下游任务都对预训练语言模型中参数进行调整。具体来说，通过对下游任务的输入进行修改形成统一形式的 prompt，prompt 再作为预训练语言模型输入，使得不同下游任务可以共用一个固定不变的参数预训练语言模型。其思路是，通过构建适合下游任务与语言模型的 prompt，尽可能发挥语言模型在预训练过程中学习到的知识。例如，BERT 在预训练过程中学习到的知识是合理补全不完整句子的能力，GPT-3 学习到的知识是根据已有句子进行合理续写的能力。 下面以一个具体例子来说明 prompt 是如何实现的。如上图所示，当进行情感分类任务时，输入是”I Love Paris”，通过在输入的后面添加”I am ____”构成一个 prompt，再将其输入到预训练语言模型中，因为 prompt 的形式与模型预训练输入的形式相同，这就要求模型完成预训练任务——补全句子或续写句子，这里的 prompt 要求模型选择可能性最大的词（通常是情感类的词，例如 good）补全句子，之后可以根据模型填充的词进一步进行分类。 通过选择合适的 prompt，就能控制模型的行为，即控制模型对于可能性最大的词的判断。一个合理的 prompt 是得到正确结果的前提，如下图所示，三种不同的 prompt 虽然语义相似，但是第一个却不能得到正确的结果。通过 prompt，预训练语言模型自身就可以完成下游任务的预测，从而不同下游任务可以共用一个预训练语言模型的参数。 同时，prompt 还能更好地适应 few-shot（小样本），甚至 zero-shot（零样本）的情况。当我们仅给模型输入以自然语言形式的任务描述和示例时，模型依然可以进行预测，而这一过程没有梯度的更新，如下图所示。 prompt 虽然在参数共享和 few-shot 方面有着很好的表现，但其在下游任务的表现上较差。对于 SuperGLUE 任务，使用 prompt 方法的 GPT-3 模型得分是 71.8，而参数量仅是其十分之一的 T5-XXL 模型却能取得 89.3 的得分。归根到底，不对预训练语言模型中的参数进行调整只能取得相对不错的成绩，而无法使模型完全学习到不同下游任务。那么，有没有什么办法是 prompt 和微调两个方法的折中呢？ 三、adapter 的原理与实现方法 为了在 prompt 与 fine-tuning（微调）方法之间找到一个平衡，adapter 被提了出来。adapter 主要通过在预训练语言模型中添加额外参数的方式适配下游任务，不需要为每一个下游任务都训练一个全新的模型。具体来说，如果我们希望用 BERT 适配一个任务，首先在 BERT 的每一层中添加 adapter，作为特定下游任务的可训练参数，然后将原本 BERT 的参数冻结不进行训练。这样，在具体下游任务微调过程中，只有 adapter 的参数进行了修改，原本属于 BERT 的参数则保持不变。 adapter 的结构有很多，最简单的结构由一个下采样层和一个上采样层组成。为了限制参数量，通常下采样的维度很小，如果将模型原本 d 维的特征下采样为 m 维，则每个 adapter 中的参数量为 2md+d+m。如果 m<<d，< span="">则 adapter 的参数量仅为原模型的 0.5%-8%。我们还可以通过调整 m 的大小，对模型表现和性能进行取舍。 adapter 的具体形式与添加位置可以有多个变种，这里选择最简单的一种进行介绍。如上图所示，adapter 只包含两层全连接层，首先对输入进行下采样，再对下采样后的数据上采样回原始维度，需要注意的是这里还使用了残差连接。BERT 中每层 transformer encoder 添加两个 adapter，分别位于自注意力机制后面与 FFN（feedforward network）后面。这样就构成了一个包含 adapter 的 BERT 模型，可以用于下游任务的微调了。实验证明，adapter 中的参数非常高效：只需要 adapter 中少量的可训练参数，就可以达到 fine-tuning 方式中训练大量参数的效果，如下图所示。 adapter 的优势在于，因为只有少量参数被修改，adapter-based tuning 得到的模型参数与原预训练语言模型的参数很相似，避免了适配下游任务过程中的过拟合和泛化性差两个问题。固定原 BERT 的参数还极大的缓解了遗忘问题，实验表明，adapter-based tuning 得到的模型相比于 fine-tuning 得到的模型，每层的输出都更接近于原始 BERT 中对应层的输出，从而更好地规则化（regularization）数据。 除了效果好外，adapter-based tuning 过程更加稳定，对学习率的变化不敏感。下图对比了不同学习率下模型最终效果的分布，可以看到 adapter 方法的结果更加稳定，方差更小。 四、prompt 与 adapter 的区分 prompt 与 adapter 的核心都在于将预训练语言模型适配到不同下游任务的同时，尽量减少预训练参数的修改，毕竟预训练语言模型的参数量都非常大。两者的区别主要在于如何改变模型原本的行为。 prompt 方式将模型视为一个黑盒，不对模型进行修改，而是通过构建新的输入，将原始输入包含起来作为其子序列，通过模型的自注意力机制改变模型对于原始输入的表示，可以形象的理解为，prompt 不改变模型，而是告诉模型一些额外信息，让模型的行为发生变化。 adapter 方式则将模型拆开来，为其添加新的组件，新的组件只针对一个特定的下游任务，而其他部分则可以共享。可以形象的理解为，BERT 是吸尘器的主机，更换不同的吸头就如同更换不同的 adapter，以此实现不同的功能。 五、总结 虽然 BERT 的出现开启了 NLP 的新时代，但巨大的参数量使其难以扩展到不同的下游任务。在这样的背景下，prompt 与 adapter 的出现了顺应发展的要求，同时，prompt 还展现了预训练语言模型的惊人潜力，极有可能成为后 BERT 时代一个新的发展方向。 开源福利 云智慧已开源数据可视化编排平台 FlyFish 。通过配置数据模型为用户提供上百种可视化图形组件，零编码即可实现符合自己业务需求的炫酷可视化大屏。 同时，飞鱼也提供了灵活的拓展能力，支持组件开发、自定义函数与全局事件等配置， 面向复杂需求场景能够保证高效开发与交付。 点击下方地址链接，欢迎大家给 FlyFish 点赞送 Star。参与组件开发，更有万元现金等你来拿。 GitHub 地址： https://github.com/CloudWise-OpenSource/FlyFish Gitee 地址：https://gitee.com/CloudWise/fly-fish 万元现金福利： http://bbs.aiops.cloudwise.com/t/Activity 微信扫描识别下方二维码，备注【飞鱼】加入AIOps社区飞鱼开发者交流群，与 FlyFish 项目 PMC 面对面交流～
2022-05-18
优秀的个人博客,低调大师

2022年大数据工程师薪资和工作趋势

如果您对数字、数据和技术有浓厚的兴趣，那么数据工程师的职业就是您的最佳选择! Gartner 2021 年 4 月的一份报告预测，到 2022 年，全球超自动化经济将达到近6000亿美元，而帮助实现这一目标的方法就是从组织拥有的大量数据中获取洞察力。这就产生了对数据工程专业人士的需求。因此，数据工程领域正在迅速发展。这意味着什么呢?这意味着越来越多的组织，无论大小，市场新面孔或老牌企业，都准备支付高额的数据工程薪水和增长机会。 但是，有几个因素会影响数据工程师的平均工资，其中一些包括： 技能 国家 - 通常也是特定地点 经验 行业 组织的类型和规模 通常也包括教育和培训 影响大数据工程师薪资的技能 以下是影响大数据工程师收入的八项关键技能: 数据库系统(SQL 和 NoSQL) 数据仓库解决方案 ETL 工具 机器学习 数据 API Python、Java 和 Scala 编程语言 了解分布式系统的基础知识 算法和数据结构的知识 那么，大数据工程师在不同地域的收入是多少呢? 印度大数据工程师的薪资待遇 印度数据工程师的平均年薪超过 833,000 卢比。该国的许多数据工程工作岗位都在班加罗尔，亚马逊、IBM 和 Autodesk 等公司经常招聘该职位。 英国大数据工程师薪资待遇 在英国，数据工程师的平均年薪为 48,481 英镑。 Shop Direct 和 Tessian 只是在利物浦和伦敦等城市积极寻找数据工程师的众多公司中的一小部分。 加拿大多伦多大数据工程师薪资待遇 在多伦多，数据工程师的平均收入为 88,000 加元。 该市的几家公司目前正在寻找数据工程职位，包括 ScotiaBank 和 IBM。 美国大数据工程师薪资待遇 美国市场数据工程师的平均工资为112,493美元，这意味着大数据工程师的月薪接近9,400美元! 但是，如下所述，该数字可能因州甚至城市而异。 纽约：在纽约，年薪平均为 118,168 美元。像 CapitalOne这样的大公司和品牌几乎总是在寻找大数据专业人士。 洛杉矶：略低于纽约市的是洛杉矶，其数据工程师的平均年薪为114,138 美元，Target、Hulu和GumGum只是目前正在招聘数据工程师的少数几家公司。 西雅图：在西雅图，数据工程师的平均年薪为120,903 美元。目前有几家公司希望将数据工程师添加到他们的工资列表中，包括亚马逊和微软。 其他地区大数据工程师薪资待遇 根据Payscale，澳大利亚数据工程师的平均工资为98,753澳元/年。 根据Payscale，加拿大数据工程师的平均年薪为80,610加元。 根据Payscale，新加坡数据工程师的平均年薪为61,688新元。 据 SalaryExpert 称，墨西哥大数据工程师的平均工资为483,598墨西哥比索/年。 根据Indeed，南非数据工程师的平均工资为544,145兰特/年。 据 Glassdoor 称，西班牙数据工程师的平均工资为 35,439欧元/年。 据 Glassdoor 称，德国数据工程师的平均工资为 62,145欧元/年。 根据Payscale，瑞典数据工程师的平均工资为457,645kr/年。 据LinkedIn 称，法国数据工程师的平均工资为42,500欧元/年。 按经验水平和职位划分的大数据工程师薪水 在讨论数据工程师的平均工资时，位置并不是唯一需要考虑的因素。资格、经验水平和职位也会影响数据工程师一年的收入。如前所述，根据这些因素，平均年薪可能会有很大差异。 例如，美国专业人士的入门级数据工程师年薪为116,079美元。初级专业人员的平均年薪为 70,357 美元。 超越这个水平意味着更多的经验，这反过来意味着更多的收入潜力。大数据工程师的平均年收入为 119,246 美元。该领域的最高职位之一是高级数据工程师，不出所料，该职位的平均工资更高。美国高级大数据工程师的平均工资为 135,961 美元。在印度，具有 5-9 年数据工程工作经验的职业中期专业人员的基本工资超过 883,000 卢比。另一方面，拥有10年以上数据工程经验的人的收入约为 160 万卢比。 大数据工程师薪资：亚马逊和Facebook 对于许多数据工程师来说，在亚马逊或 Facebook 工作是最终目标。凭借巨大的增长机会、丰厚的福利和薪酬，原因显而易见。但与 Facebook的待遇相比，亚马逊提供的大数据工程师的平均工资是多少?虽然这取决于具体的角色、资格和其他因素，但 Glassdoor报告称，亚马逊数据工程师的平均年薪为 121,567 美元，这是根据 281名亚马逊数据工程师的平均工资计算得出的。同一消息来源报告称，Facebook的平均年薪从 97,000 美元到197,773美元不等。 【责任编辑：未丽燕 TEL：（010）68476606】
2022-01-05
优秀的个人博客,低调大师

2021·云栖大会 邀请你探索未来前沿发展趋势

看云原生最新进展，来云原生峰会 2020 年我们认为是云原生实战的元年，越来越多的企业开始关注云原生在企业的落地。这个词在云计算领域逐步走到聚光灯下，成为当前的热词之一。各行各业正在切实通过云原生将企业的数字化转型带入“快车道”。 2020 年，阿里云提出“云原生是企业数字创新的最短路径”，自从该理念被提出以后，深受产业界关注和讨论。今年5月，阿里云提出云原生推动全云开发与实践，开启了全云开发的时代。 阿里云在云原生领域有哪些重要的技术、产品、方案的最新发布？10 月 21 日，云栖大会-云原生峰会将全面介绍云原生产业动态、云原生产品进展、云原生行业实践等，为大家带来一场年度最全面的云原生盛宴。 展馆指引 10 月 21日，2021 云栖大会 · 云原生峰会即将开幕！欢迎各位扫码观看云原生峰会直播现场，共同见证阿里巴巴云原生在发展历程中的新兴亮点！
2021-10-21
优秀的个人博客,低调大师

RSA大会趋势聚焦：最危险的新型攻击方式

按照每年RSA大会的传统，最后的小组活动是最危险的五大新攻击技术会议，虽然2021年RSA大会转为了全线上形式，但依旧沿袭了这个传统。 软件完整性的危机 SANS研究所的研究员兼主任Ed Skoudis指出，破坏软件完整性是他在如今看到的最大攻击载体之一。软件完整性包括构成现代应用程序的所有嵌入式库和组件的供应链安全。 Skoudis表示我们今天的软件开发和分销过程的重点全在速度上，一味追求更快地推出新代码和功能。开发商们不注重可靠性和安全性，而这是一个相当严重的问题。 对此，Skoudis同时表示，对于软件完整性和软件供应链管理的问题，并没有单一的解决方案，企业需要根据自身情况来制定计划。首先需要做的就是，组织要知道他们的环境中有哪些软件，以便他们能够对其进行防御。下一步就是要有一个软件材料清单，这基本上可以确定构成一组特定软件应用程序的所有组件。Skoudis还建议企业将威胁狩猎也纳入其工作流程，以帮助寻找潜在的风险。 会话处理不当的风险 SANS研究所的数字情报总监Heather Mahalik认为会话处理不当是最大的风险。 Mahalik警告说每次用户登录一个应用程序或服务时，都会授予某种形式的访问令牌，以便能够访问会话。但有些会话没有很好地保护令牌，从而导致数据可能会遭泄露或滥用。 不过，通过一些简单的步骤，就可以减少会话处理不当的风险。Mahalik所建议的最简洁有效的措施是，用户在完成工作后就退出设备和应用会话。 Mahalik表示，现在的大部分用户都喜欢保持屏幕打开状态，喜欢自己的设备随时可用，喜欢勾选未来七天内免密登录，但这其实都是不安全的。并且她还鼓励开发者们制作有期限限制的令牌，把用户“踢出”网络。 警惕人工智能 SANS技术研究所所长Johannes Ullrich警告说，被用于恶意目的的人工智能和机器学习是一个潜在的风险。 Ullrich警告说，攻击者可以影响或操纵机器学习训练数据集，这将影响人工智能系统将采取的行动。用户的训练数据十分重要，我们需要了解这些模型。明白他们在做什么，并知道如何调整它们。 勒索软件不仅仅是一个可用性问题 SANS研究所的认证讲师和情报总监Katie Nickels表示，虽然勒索软件不是一个新威胁，但事实上2021年的勒索软件正在造成新的风险。 她指出，从历史上看，勒索软件一直被作为一个可用性问题来讨论，即数据被攻击者加密之后，而用户无法继续访问、使用这些数据。在她看来，勒索软件如今已不再仅仅是一个可用性问题，它开始与数据泄露联系在一起。Nickels解释说，攻击者现在还会窃取数据，然后将其用于不同的目的，再对数据进行加密并索取赎金。 "事实上，在2020年第四季度，我们发现超过70%的勒索软件案件涉及某种泄露和勒索，" 并且，Nickels还表示这种危险的新攻击会成为新常态。此后，我们不仅要考虑到数据的可用性，还要考虑到数据的保密性，并意识到攻击者非常有可能会窃取并导出我们的数据。 由于勒索软件已经不仅仅是一个可用性问题，所以关于组织如何保护自己的建议也随之转变。Nickels表示，仅仅拥有一个离线备份是不够的，企业还应该采取预防措施，如禁止任何非必要的文件共享工具。 面对疫情的压力和似乎永无止境的网络安全威胁，Nickels提供了一个鼓舞人心的建议。她指出，前美国总统罗斯福曾经说过，"用你所拥有的东西，在你所处的地方做你能做的事"。在她看来，这个建议对IT安全专业人员来说同样适用。 "你可能无法解决每一个挑战，但不要被压垮，试着从某个地方重新开始。比如从提高你的检测能力开始，不管这对你的组织到底能贡献多少。"Nickels说，"无论在网络安全还是在生活中，用你所拥有的和你所处的位置，做你能做的。 来源：https://www.infosecurity-magazine.com/news/rsac-most-dangerous-new-attack/
2021-05-21

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

时间: 2026-08-21 大小: 1MB 下载: 10次
Spring

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

时间: 2026-08-21 大小: 5MB 下载: 2次
Rocky Linux

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

时间: 2026-08-21 大小: 1.42GB 下载: 6次
Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2026-08-21 大小: 9.84MB 下载: 40次
热门标签
DeepSeek Jdk25 OpenAi HarmonyOS6 Nacos3 SpringBoot4 SpringCloud Docker Kubernetes Service Mesh Redis Gemini3 Rocky

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册