首页 文章 精选 留言 我的

精选列表

搜索[环境],共10000篇文章
优秀的个人博客,低调大师

OpenAI发布“宇宙”平台,用1000+训练环境赋予AI“类人智力”

当人工智能领域大牛在西班牙NIPS会议酒店吃早餐的时候,Open AI 宣布开源了其新平台“宇宙”(Universe)。这家由伊隆·马斯克资助的非赢利性AI开源组织,在周一的上午搞了个大新闻,相信NIPS的餐桌上一定热闹非凡。当然,Open AI后续也在NIPS的会场展示了自己的成果。 Open AI 联合创始人Greg Brockman 在Twitter上说道,“这个AI 训练架构,是我们从Open AI建立之初就在计划着的”。可见Open AI对这个平台的重视。 那么这个敢以“宇宙”命名的 Universe是个什么东西呢? 掌握人类的“普通智力” OpenAI官网的介绍是:Universe软件平台,通过全世界的游戏、网页和其它应用,来测量和训练AI的普通智力。 在Universe上,AI智能体像人一样使用电脑:观看视频,并操作键盘和鼠标

优秀的个人博客,低调大师

物联网环境下的大吞吐量下消息服务集群设计

1、基于IBM MQ产品来实施JMS技术的消息服务应用服务器。 2、物联网消息采用MQTT协议,WebSphere MQ Telemetry Transport (MQTT) 是一项专为受限设备和受限网络设计的异步消息通信协议,以轻量、精简、开放和易于实现为主要特点。 3、MQTT 规范是开放并且免版税使用的,这有助于更好地推广。提供开源的实现,在 http://eclipse.org/paho/上有各种客户端的开源实现 4、发布 - 订阅的消息通信协议,允许一条消息只发布一次,便可被多个消费端(应用程序 / 设备)所接收 5、提供多种消息服务质量,包括 MQ 的黄金准则 -- 保证传递且仅有一次传递 0 :消息最多被传递一次 1 :消息会被传递但可能会重复传递 2 :消息保证传递且仅有一次传递 6、为受限的设备所设计 : 预期客户端应用程序 / 设备有可能仅具备非常有限的处理能力和资源 占用空间极小的 MQTT 客户端 ( 和服务器 ) 类库 7、易于使用(和实现) 简单的动词集合,包括 connect, publish, subscribe 和 disconnect 内建结构支持处理客户端和服务器之间的连接丢失 如果客户端意外掉线,使用“遗愿和遗嘱”发布一条消息 8、WebSphere MQ Telemetry 由 Telemetry 服务和 Telemetry 客户端组成。其中 Telemetry 服务作为 Queue Manager 的一部分,可作为 MQTT 连接的服务器,Telemetry 客户端可用来测试 MQTT 连接的可用性。 9、在传统的开放平台 WebSphere MQ 应用架构中,每个队列管理器都是独立的。当一个 QM 给另一个 QM 发送消息时,需要定义一个传输队列(transmission queue), 一个连接到目的端 QM 的通道,并且需要在发送消息的客户端上定义远程队列定义(remote queue definition)。为了简化 MQ 系统配置,可以通过 MQ 集群的使用,减少队列管理器上的对象数量,使得不同的 QM 可以互相通信而不需要定义众多的传输队列、通道以及远程队列定义。当集群中含有一个以上的同一队列实例时,WebSphere® MQ 会根据负载均衡算法选择最佳的队列进行消息路由。 10、MQ 集群中的完全存储仓库存储集群中队列管理器的元数据信息,一个集群不建议使用超过两个完全存储仓库 11、完全存储仓库建议不做业务应用,具体业务应用使用不完全存储仓库 12、在 MQ 集群中使用 MQTT Telemetry 服务时,只需要在集群中建立集群主题(Cluster Topic),并且只需要在集群中的一个队列管理器创建,不需要创建共享队列,默认使用 SYSTEM.MQTT.TRANSMIT.QUEUE 13、使用 MQ Telemetry 不需要手动创建订阅对象(Subscriptions),MQXR 服务默认使用 client ID :topic string 为名字自动创建订阅对象 14、完整的MQTT协议规范pdf下载:http://public.dhe.ibm.com/software/dw/webservices/ws-mqtt/MQTT_V3.1_Protocol_Specific.pdf 15、 java -Xms50M -Xmx50M -Djava.ext.dirs=/root/mq/lib -cp mqttperf.jar SingleTopicSub -b 9.119.154.235 -c 1000 -m 50000 -t TestTopic -s 1 即一共创建了 1000 个订阅者,无差错情况下会接收到 50000 条消息。命令中参数 -Xms 指程序的初始化内存大小,-Xmx 指程序占用的最大内存,-Djava.ext.dirs 指引用包路径,该路径文件夹中应该包含有 org.eclipse.paho.client.mqttv3.jar。注意:其中 -m 参数主要用来标记所有客户端应该收到的消息总数,其值为所有客户端数与发布程序发布的消息数之乘积,用来和实际接收到的消息总数做比较,判断所有消息是否被可靠传输。 作者:jaminwm 来源:51CTO

优秀的个人博客,低调大师

利用硬链接和truncate降低drop table对线上环境的影响

作者简介 肖鹏 微博研发中心数据库技术负责人,主要负责微博数据库(MySQL/Reids/HBase/Memcached)相关的业务保障,性能优化,架构设计以及周边的自动化系统建设。10年互联网数据库架构和管理经验,专注于数据库的高性能和高可用技术保障方向。 众所周知drop table会严重的消耗服务器IO性能,如果被drop的table容量较大,甚至会影响到线上的正常。 首先,我们看一下为什么drop容量大的table会影响线上服务 直接执行drop table,mysql会将表定义和表数据全都删除,包括磁盘上的物理文件,也包括buffer pool中的内存数据。 这就分两步,第一步从buffer pool中删除,这会涉及到table_cache的lock,如果持有table_cache的lock,这将导致其他查询都无法执行。这种情况在没有innodb_per_table之前尤为严重。另外,mysql 5.5.23之后添加lazy drop table功能,这个功能用来解决mutex on the LRU list。其中心思想就是加锁,找到需要被删除的page,删除1024个page之后释放锁让其他thread工作,之后loop。 而percona的lazy drop处理起来更优雅一些,其会先加锁,然后找到需要被删除的page,标记,释放锁,后台慢慢删除。 之后就是第二步,这步在大容量表的时候更为消耗时间,那就是在os上删除物理文件。大家都知道在ext3上rm一个200G的文件会非常耗时,这是由于ext3存储数据的结构导致,如果一个很大的文件,ext3的i_block无法直接存放,需要多层嵌套才能完全存储下,在这种情况下由于映射的层次多,并且由于多层映射也不会是顺序存储的,就导致了很大的随机IO,这就导致了删除物理文件非常慢的现象。在这种情况下,建议升级到ext4,这是由于ext4比ext3使用extent分配存储空间,其最大的优势就是顺序存储。 ext3: ext4: 知道了原因,我们来说说如何解决。具体步骤如下: 1、建立硬链接。 ln table.ibd table.idb.hdlk 2、mysql执行drop table操作。 drop table if exists tablename; 3、使用truncate删除物理文件。 truncate -s 1024*1024*4 filename 其实硬链接和drop table就不用多说了,在建立硬链接之后,mysql会认为rm了硬链接文件之后就算操作完毕,不会真正去删除物理文件从而提高了速度。但是对于服务器来说,实际的物理文件还在,如果手动rm,还是会产生很多的io影响,这时候就用到了truncate这个工具。这个工具会根据指定的size大小进行逐步删除,会将对IO造成的影响降到最低。 本文出自数据和云公众号,原文链接

优秀的个人博客,低调大师

全球首个NB-IoT监测设备完成油田生产环境监测测试

9月8日消息,在中移动研究院统一统筹下,北京资信物联科技公司(以下简称“北京资信物联”)协同华为公司相关技术人员,赴某石油新疆油田准东采油厂开展NB-IoT技术应用试点实地测试工作。 据了解,此次实验测试目标是在真实油田路基采油设备和计量站中获取RTU监测数据,并通过NB-IoT协议实现数据传输和后台处理,同时针对目前NB-IoT的覆盖效果实施路测工作。 据昌吉移动提供资料表明,理论上,在保证信号强度不小于-110dbm的情况下,NB-IoT模块的信号覆盖有效半径约为100km;华为公司则预测,在保证信号强度不小于-130dbm的情况下,有效覆盖半径可达40km。为了进步一验证NB-IoT模块的信号有效覆盖范围,资信物联利用自主研发的NB-IoT模块在准东采油厂沙南作业区进行RTU数据监测。 资信物联工程师于准东采油厂进行移动NB-IoT基站与NB-IoT终端设备覆盖范围测试 经过为期8天测试,北京资信物联生产全球首批NB-IoT测试终端顺利完成了油田网络接入和数据采集传输工作,实测NB-IoT基站覆盖范围超过35km。 业内人士分析认为,这一测试数据取得对未来NB-IoT技术在物联网的有效应用和推广提供了充分技术数据和丰富的业务可能。不仅有利于突破长期以来油田数据不能及时采集的窘境,减少由此引发的资源浪费和经济损失,更验证了NB-IoT技术得天独厚的优势。此次测试所取得的数据,一方面彰显了NB-IoT所具有的广覆盖、低功耗、多连接、安全性高、抗干扰等技术优势是目前其他技术难以望其项背的。 据资信物联相关负责人在接受记者采访时表示,未来NB-IoT技术将在油田、矿井作业、智能公用事业、智能农业等信号覆盖、数据收集等领域发挥巨大作用,成为减少资源消耗、拉动经济增长的新引擎。NB-IoT技术的广泛运用将推动物联网时代进入高速发展的新阶段,正如谷歌公司执行董事长Eric Schmidt所说,“一个高度个性化、互动化的有趣世界——物联网时代正向我们走来。” 本文转自d1net(转载)

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

用户登录
用户注册