首页 文章 精选 留言 我的

精选列表

搜索[意图智算],共10000篇文章
优秀的个人博客,低调大师

智于技而胜在云:智胜企业互联网大数据系统上云实践

本文正在参加“最佳上云实践”评选,来给我们投票吧:https://yq.aliyun.com/activity/158(编号6) 我们背靠北京大学,业务范围覆盖印刷、传媒、大数据、出版、字库、数字教育等领域,致力于为客户提供先进的信息处理技术、产品、解决方案及增值服务,使最终用户能随时随地通过各种终端设备体会移动互联网时代的信息化生活。自2006年以来,我们一直专注于大数据产品的研发与应用,并取得了大数据相关专利上百余项,拥有强大的技术研发能力。多年来,我们秉承着“技术为本、应用为先”的经营理念,为各行各业的用户提供先进的大数据整体解决方案,有力地提升了政府管理能力、机构决策水平以及企业市场竞争力。截至目前,我们大数据整体解决方案已服务国内外用户超过200家。 智胜企业互联网大数据系统实现对互联网信息进行精准提炼,以事实为依据、用数据说话,帮助企业倾听互联网声音,想(分析)消费者之所想、做(决策支持)企业之所需,以品牌为核心,实现行业趋势、负面舆情感知,危机公关监测和商业情报挖掘分析。 从自建平台到混合云 我们于2003年率先进行信息检索与文本挖掘等基础技术的研究。相继推出互联网舆情监控系统、微博监测分析系统,形成全面成熟的舆情整体解决方案,完成多个大型项目的建设,持续领跑舆情行业。并且在2011年率先尝试以多租户方式(SaaS)服务于不同行业。致力于云计算、大数据技术的研究与应用,完成自有大数据服务中心建设(机房内服务器数量达300台之多),搭建了自己的Hadoop、Spark、Storm等对应的大数据处理平台;在数据库方面,采用MySQL、MongoDB等主流数据库,研制并推出了互联网大数据信息服务平台,为不同行业用户提供大数据应用解决方案。 在2015年,接触阿里云之后,逐渐采用阿里云的产品,从ECS、RDS、OTS到MaxCompute等等,目前我们形成了混合云的模式,既我们的大数据服务中心数据推送+阿里云系统应用部署模式。 云端迁移之路 智胜企业互联网大数据系统中的前端程序基于java语言编写,可直接部署在阿里云的ECS中。此外,前端程序使用的Redis和MySQL服务,可直接替换为阿里云的云数据库Redis版和RDS版,并且不需要定制的客户端连接程序。因此,我们的前端程序直接部署在了阿里云的ECS中,未进行端服务连接方式修改。 由于阿里云RDS兼容MySQL客户端,结构化数据在迁移中未遇到任何困难,非常平滑的完成了迁移。对于非结构化数据,我们将其统一进行格式化之后,存储于阿里云的TableStore实例中。基于TablesStore存取方式,以及我们数据接收、上载程序定义的数据存取接口,快速完成了数据读取操作的过度。 通过阿里云OpenSearch同TableStore配合使用,可直接对存储在TableStore中的海量数据建立全文索引,方便对海量的数据进行搜索操作。 我们基于MapReduce编程模型的机器学习程序,直接部署在了阿里云的MaxCompute大数据开发套件和机器学习平台上,完成舆情数据自然语言处理、聚类、分类等操作。 架构分析 下面是智胜企业互联网大数据系统架构图: 通过智胜企业互联网大数据系统中,将企业用户配置的关键词、微博主等信息,同步到我们的数据中心以及阿里云的公众趋势分析系统后,我们的数据中心会持续向相关的数据推送到指定的阿里云服务器中,并且我们还会定时从公众趋势分析系统中获取数据,完成相关数据的原始积累。原始数据转换为数据上载程序要求的格式,从而开始进行数据上载操作。 数据上载主要任务是,完成数据的预处理过程,比如使用机器学习平台完成自然语言处理、文本聚类、分类等操作,以及数据TableStore保存,历史数据保留指定天数后即删除。 对于热点事件的挖掘、相关事件的发现等功能,由机器学习模块完成。通过对于数据进行自然语言处理、分类、聚类以及情感度分析,可及时发现热点事件以及相关数据,并对此事件进行持续跟踪和数据挖掘。 智胜企业互联网大数据系统的前端模块,通过调用TableStore服务和OpenSearch服务,完成大数据的查询功能。通过MySQL数据库完成业务数据的操作功能,最终以Web交互页面的形式展示给用户,供用户使用。Redis主要完成缓存功能。 微博、微博用户相关的分析功能,通过定时调取公众趋势分析系统的接口,完成数据的获取并存储到MySQL数据库中,供智胜企业互联网大数据系统的前端模块使用。 智胜企业互联网大数据系统目前已接入阿里云市场,我们作为阿里云市场的isv,可通过阿里云市场对用户购买我们产品的付费行为做出响应,以账号的形式供用户使用,而阿里云市场则为我们提供了交易管理界面,方便后续的用户运营等。 目前数据上载每小时处理数据量约1GB左右,TableStore平均写延时在15ms左右,读延时在5ms左右,可以满足需求。MySQL数据库容量使用保持在20GB左右。 目前业务中大量的计算操作集中在数据的统计方面。在目前数据量下,机器学习模块利用已有的数据模型以及算法,可以满足每小时约1GB左右数据量的处理工作。在目前数量下,OpenSearch响应时间约为100ms左右,通过定期将数据导入MySQL进行更加细致的统计操作,以统计结果的形式保存,减少重复检索行为和压力。此外通过对SQL脚本的持续改进,使得系统响应延时基本保持在一个可用范围内,并随时可通过服务器数量的横向扩展,应对访问容量的增加。 上云前后 单从性能上讲一方面阿里云服务器安全和易维护,并且由于基于虚拟化技术和阿里强大的云服务器硬件资源,云主机的磁盘IO性能相比我们自己的大数据中心机房更有优势,能够应付互联网海量数据采集与分析环节频繁的随机读写和连续读写,满足上层数据全文检索和大数据分析等应用。另一方面云服务器硬件配置升级方便,性价比高,另外阿里云BGP多线技术和分发缓存技术,对于互联网大数据SAAS应用,在成本方面优势非常明显,灵活的收费方式可以节约很多成本,同时也为不同细分用户市场提供更加灵活价格区间及应用功能。 最后 由于阿里云操作的便捷性,在上云过程中并未遇到太多的问题,主要时间花费在了各项服务的初始化以及各个系统的部署、调试上。此外,依靠阿里云提供的性能监测、报警功能,方便了运维人员及时发现系统异常,并及时采取措施。

优秀的个人博客,低调大师

企业所得税税负率怎么算?税负率波动大,是经营异常还是政策变化?

前阵子看到中国税务报报道的一个案例:某纸业公司(H纸业)近3年的增值税税负率从1.97%降至0.07%,第二年直接归零,降幅呈断崖式。税务人员核查后发现,该公司生产稳定、销售未增,但原材料进项税额大幅增加——大量囤积纸浆等原材料,并在集团内部通过关联交易低价销售,最终被确认少缴税款789.8万元。

优秀的个人博客,低调大师

算力直追 T5000、体积减半!Jetson Thor 重塑人形机器人边缘计算新标准

机器人行业正迎来关键拐点:设备从预设程序驱动的专用机械,进化为由大语言模型(LLM)、视觉语言模型(VLM)、视觉语言动作模型(VLA)驱动的自适应自主智能体,也就是物理 AI系统。新一代机器人依靠自然语言交互、物理环境感知、轨迹预测、自主推理完成复杂作业,人形机器人、工业机械臂、自主移动机器人、无人机、智能交通设备均在此浪潮中快速落地。

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册