首页 文章 精选 留言 我的

精选列表

搜索[请求头],共10000篇文章
优秀的个人博客,低调大师

[IOS]UIWebView 请求网络页面或者加载本地资源页面

UIWebView是一个能够显示网页的IOS视图控件,我们可以用它来访问一个网站。下面是具体的实例: 操作步骤: 1.首先在xib文件中拖放一个UIWebView控件到view中 2.将下载的页面以及页面资源加载到项目中,但必须选择Create folder references for any added folders,然后知道文件在项目中是蓝色显示,而不是黄色显示 3.将webView的Delegate拖到File's Owner,继承UIWebView的Delegate协议,并且实现他的协议 ViewController.h: #import <UIKit/UIKit.h> @interface DXWViewController : UIViewController<UIWebViewDelegate> @property (retain, nonatomic) IBOutlet UIWebView *webview; @property(nonatomic,retain) UIAlertView *alert; @end ViewController.m: #import "DXWViewController.h" @interface DXWViewController () @end @implementation DXWViewController - (void)viewDidLoad { [super viewDidLoad]; NSURL *url = [NSURL URLWithString:@"http://www.baidu.com"]; NSURLRequest *request = [NSURLRequest requestWithURL:url]; //[self.webview loadRequest:request]; //加载本地资源,html页面 NSString *str = [[NSBundle mainBundle] pathForResource:@"百度图片—全球最大中文图片库" ofType:@"html"]; str = [NSString stringWithContentsOfFile:str encoding:NSUTF8StringEncoding error:nil]; NSLog(@"%@",str); [self.webview loadHTMLString:str baseURL:[[NSBundle mainBundle] bundleURL]]; } - (void)didReceiveMemoryWarning { [super didReceiveMemoryWarning]; // Dispose of any resources that can be recreated. } - (void)dealloc { [_webview release]; [_alert release]; [super dealloc]; } -(void)webViewDidFinishLoad:(UIWebView *)webView { [self.alert dismissWithClickedButtonIndex:0 animated:YES]; } -(void)webViewDidStartLoad:(UIWebView *)webView { self.alert = [[UIAlertView alloc] initWithTitle:@"Loading..." message:nil delegate:nil cancelButtonTitle:nil otherButtonTitles:nil]; [self.alert show]; UIActivityIndicatorView *aiv = [[UIActivityIndicatorView alloc] initWithActivityIndicatorStyle:UIActivityIndicatorViewStyleWhiteLarge]; aiv.center = CGPointMake(self.alert.bounds.size.width/2, self.alert.bounds.size.height/2); [aiv startAnimating]; [self.alert addSubview:aiv]; } @end 本文转蓬莱仙羽51CTO博客,原文链接:http://blog.51cto.com/dingxiaowei/1366417 ,如需转载请自行联系原作者

优秀的个人博客,低调大师

不用狂卷摄像头了,手机行业的大模型比武还有多少惊喜?

从“快”到“远”,OPPO大模型的新发力 “天下武功,唯快不破”——在大模型这里可能要打上一个问号。 在一条漫长的赛道上,不是“快”就是最好,也许“远”才是王道。 11 月 16 日,在 OPPO 开发者大会(ODC)上,OPPO 正式推出自主训练的个性专属大模型与智能体—— 安第斯大模型AndesGPT,并宣布开源以 AndesGPT 为核心打造的智能体框架。 作为驱动 OPPO 公司 AI 战略的核心引擎,AndesGPT 全面赋能 OPPO 智慧终端,持续构建知识、记忆、工具、创作能力,并通过与终端结合的 AI 智能体和多模态对话范式,将给用户带来全新的个性专属智能体验。 本次大会,人们能够看到 OPPO 不仅在大模型技术层面进行了创新和突破,同时在构建大模型应用生态方面也有着自己的思考。当前,国内一线手机厂商已经正式进入大模型应用的公开竞速赛道,谁跑得快可能已经分出结果,但是跑得远还要拭目以待。 那,在AI 这条赛道上,OPPO 将如何发力呢? 智慧终端的领头羊,入局就带来两大组合创新 在智能终端领域,OPPO 一直都是佼佼者。这几年在 AI 领域的探索和突破,OPPO 也充分结合了自身优势,因而此次推出的大模型 AndesGPT,也有其独特之处。 据了解, AndesGPT 由 OPPO 自主训练,有三种模型规格:AndesGPT-Tiny、AndesGPT-Turbo 和 AndesGPT-Titan,参数规模从十亿至千亿以上不等,其推理成本、性能和效益也都各有不同,可能根据不同场景灵活选择。 AndesGPT 在采用主流网络架构的基础上,进行了组合优化和创新,主要体现在两个方面。 我们知道,当用户与模型对话轮次越来越多,模型需要处理的文档长度就越来越大,那么模型固有的上下文长度自然就无法满足需求。 旋转位置编码(RoPE)是大模型中最常见的位置编码之一,具有良好的外推性和远程衰减的特性,应用到大模型中,则体现出较好的处理长文本的能力。此外,RoPE 还是目前唯一一种可用于线性 Attention 的相对位置编码,在不引入爆炸计算量的前提下能够接受更长的输入。 因此,AndesGPT 采用了 RoPE 位置编码,并探索了 base 最优值,结合 log-scale 和 attention 加 bias,极大地提升了大模型上下⽂扩展能⼒,从而提高模型的理解能力。 另一方面,对于大模型而言,随着上下文窗口的增加,采用何种类型的注意力机制,关系着 KV 缓存大小及内存成本,进而影响大模型推理的速度和质量。 OPPO 为 AndesGPT 选择了分组查询注意力(GQA)机制,在结合复杂移动窗口(Dilated Attention)之后,加速了训练和推理,实现了O (Nd)的线性计算复杂度,不仅有效降低了计算开销,也提高了推理速度。 总之,大模型对上下文长度的支持以及是否采用 GQA,在推理能力及推理速度方面起着至关重要的作用。而 OPPO 在这两方面的创新,是 AndesGPT 能力突破的一个关键。 “咏春”武功三板斧—— 对话增强、个性专属和端云协同 对于用户而言, AndesGPT 能带来什么更加优质的体验呢?这就要谈谈 AndesGPT 的三大特性了:对话增强、个性专属和端云协同。 AndesGPT 相较于其他大模型,强化了知识问答的精准性,更能理解用户意图,多轮对话更加自然流畅,在对话的连贯性、合理性和逻辑性方面有了显著增强。如今,随着全新小布的问世以及诸多功能的陆续上线,用户将明显体会到有 AndesGPT 加持的智慧助手有何独特之处。 其次,AndesGPT 着力打造记忆能力,并融合用户画像和个人数据,强化个性专属体验。如何让用户切身感受到大模型是为其专属定制的呢?每一位手机用户的年龄、性别、如对话和操作习惯等等,都会影响其与大模型的交互体验。基于手机端场景的用户画像,OPPO 对 AndesGPT 进行了控制和微调,使得大模型与用户交互时的反馈能够更加符合用户偏好。 端云协同是 OPPO 非常看重的一大技术演进方向。大模型同时部署在端、云两侧,充分发挥端和云各自优势。基于端侧模型,可以带来更低时延、更低功耗,更好地保障用户隐私安全,甚至弱网或无网环境下也可使用。基于云端模型,可获得更加强大的计算能力支撑,同时获得基于海量数据的大模型训练与快速进化能力。这样通过端云分工、 互补、协作方式,就能够实现全场景智能调度。 从「用户体验为先」看四大核心能力:知识、记忆、工具和创作 在技术驱动体验的新时代,大模型正在全面革新智能终端交互体验。是什么让 OPPO 智慧终端给用户带来有用、专业、专属的智能体验呢?那就不得不提到 AndesGPT 的四大核心能力:知识、记忆、工具、创作。 在知识能力上,AndesGPT 提供了“融合知识库、知识图谱及通用搜索,提供更专业的问答”的能力,同时也通过“⾃动识别知识依赖模块、准确判别引⼊外部知识实际、引⼊精准召回机制”来将外部知识与模型融合⽣成结果,降低“幻觉”的产生。 在记忆能力上,AndesGPT 具备了⻓时记忆机制,可以⽀持⽆限⻓度的上下⽂。长时记忆主要包括用户交互过程中产生的交互历史、个人数据,以及从中提取的结构化信息等。 在工具使用上,AndesGPT 在训练阶段引⼊代码和⻓⽂本进⾏强化训练,并通过指令构建和微调,提升模型遵循指令的效果。同时还⽀持“系统设置、⼀⽅应⽤、三⽅服务、代码解释器”等各类⼯具。 在创作能力上,除了不断提升的“对话”能力,AndesGPT 还具备“文生图、图生图、写真、高清壁纸”等能力,并且已经全流程支持音乐生成。此前小布刚发布的单曲《专属于你: 小布永相伴》,其歌词、旋律、音色等元素均由 AndesGPT 生成。 其中,OPPO 为 AndesGPT 塑造的记忆能力是独树一帜的。为了解决长时记忆引入的首字推理时长的问题,OPPO 创新了名为 SwappedAttention 的机制。 众所周知,Attention 计算占据了模型推理阶段的绝大部分资源。当前,大模型普遍都通过引入 PagedAttention 算法来实现内存的高效利用,从而突破性能瓶颈,加速推理。而 SwappedAttention 在 PagedAttention 基础上做了进一步的技术演进和扩展,这也是 AndesGPT 的独特之处。 那么,SwappedAttention 机制是如何发挥作用的呢? 一方面, SwappedAttention 机制让 AndesGPT 极大地节省了内存空间,实现了高效的计算交换。在多轮对话场景中,随着聊天轮次累积,Prompt 越来越长。在这个过程中,大模型需要对历史序列进行编码计算,然而当历史序列较长时,就容易出现计算瓶颈,也就是表现为每个 Query 的首字时耗越来越长,并发度低。 由于 SwappedAttention 可缓存历史 KV 值,能够大幅降低首字计算量,使得用户获得更快的系统响应。另外,在非首字的推理过程中,SwappedAttention 可以动态压缩 KV 值,进一步降低显存占用,提升整体吞吐。 另一方面, AndesGPT 使用 GPU 显存、主机内存、GDS 连接外部存储等多层级缓存方式,根据缓存时长、对话频率等策略进行分级存储与交换,不仅加快了内存访问速度,计算资源也得以合理利用,从而实现计算加速。 据悉,OPPO 对 SwappedAttention 的对话级 Session Cache 、主机内存版本以及多层级存储 GDS 连接外部存储版本都进行了详细的规划,预计很快将在未来几个月实现落地。 从开源智能体的“扎马步”,构建大模型应用生态的“每一步” 此番 OPPO 积极拥抱 AI,并不是一股脑儿地跟风。事实上,AndesGPT 的能力早已扎下了生长的根,并且也在更深地“落地”于系统的土壤中。 无论算力和数据的演进、还是终端产品,OPPO 都在进行智能化升级,并且这些升级都是以 AndesGPT 大模型为基础,以智能体 Agent 为桥梁。融合了 AndesGPT 的新一代 ColorOS 用机助手,已经可以做到约 400 项能力覆盖,目标“用更简单的方式解决用户基础用机需求”;并与潘塔纳尔系统正深度协同,共同升级 ColorOS 智慧体验。 但这远远不够,对 OPPO 来说,发布 AndesGPT 只是一个开始。目前在 AI 这条赛道上,OPPO 如何才能跑得远?唯有构建自己的大模型应用生态。 但俗话说,独木难成林。仅仅依靠 OPPO 自己的力量,还不足以支撑一个繁荣的大模型应用生态,更遑论去推动我国 AI 产业的发展呢?这是 OPPO 一直在思考的问题。 最终 OPPO 给出的答案是:开源智能体框架,让大模型为人所用。如果能让所有人都参与到 OPPO 的大模型应用生态的共创与建设中来,那么 AndesGPT 将在更多领域和场景实现落地,OPPO 也能筑造起自己的护城河。 此次 OPPO 开源的智能体框架,在降低 AI 应用的开发门槛的同时,也致力于在未来让更多的参与者都可以便捷地发挥自己的创意,甚至可以零代码、低代码的方式,来构建自己的个性专属应用。满足每个人的“个性化需求”和“便捷可用、可定制”,真正实现“千人千面”,一起推动大模型产业发展的进程。 当然,为了降低开发门槛,OPPO 在智能体框架方面的设计上也下了一番心思。 一是扩展智能开发的边界。OPPO 基于自身积累的技术优势,在智能体框架上对外提供丰富的开发工具——尤其是跟手机应用开发相关的工具,开发者可以更加便捷地构建以手机为核心的应用生态。当然,如果开发 B 端应用,智能体框架也能帮助开发者解构和处理复杂任务。 二是智能体框架可将大模型与指令集更多地相结合,将大模型使用工具的能力进行强化,使得指令操作、系统控制、服务调用更加智能、灵活。 三是提供丰沛的云类资源。无论是文档存储、向量数据库搜索召回,还是数据分析类工具,都要占用大量的云类资源。OPPO 将传统云类资源进行统一封装,然后对外提供,提高了智能体框架调用和处理数据的能力。 除此之外,OPPO 还将会发布相应的 SDK ,让开发者更方便地在智能体框架集成端侧应用,把安第斯智能云、AndesGPT 的能力植入到终端中。 从内功到外功,OPPO大模型技术边界上的探索从未停止 从内部应用到构建生态,OPPO 在 AI 领域的探索愈发深入,技术边界不断向外延伸。目前已经看到,OPPO 在对话增强、个性专属、端云协同的可信通信、大模型幻觉、内容安全可控等问题上取得了不错的进展。 如今,大模型技术发展虽然日新月异,但从行业整体发展来看,还处于初期阶段,其面临的诸多难题和挑战还有待解决。 比如训练和部署成本问题。有人认为,大模型的成功建立在“巨资+巨头+人才”的强势资源联合基础上,资源投入巨大。确实如此。“从零开始”研发训练和部署推广大模型,需要强大的算力支持,以及大量的技术精英。据测算,ChatGPT自建算力平台的固定成本约为 8 亿美元,训练 1 次耗时 1 个月,成本超过 1200 万美元。如此高额的成本,非巨头企业难以为之。 此外,大模型技术演进路径仍未定型,应用场景还主要面向互联网产业,同时还面临监管治理等问题。不过,正是因为这些挑战,我们更加期待,有一天 OPPO 能依靠其构建的大模型应用生态中的新生力量,来共同突破那些未知却又终将到来的挑战。 这应该就是OPPO赢下这次“大模型比武”的内功与外功。

优秀的个人博客,低调大师

与吴恩达创办Coursera后,她一头扎进数字生物学

来源|wandb.ai 翻译|刘畅 随着新药研发难度越来越大,机器学习成为了该领域的重要破局工具。2020年年底,在国际蛋白质结构预测赛中,DeepMind公司研发的AlphaFold 2摘得桂冠,并破解了蛋白质折叠这个困扰人类50年的难题,轰动一时,新药研发也成为热点话题。不过,这个领域早有不少开拓者。 2018年2月,AI新药研发公司Insitro成立,2021年完成C轮融资后累积资金额达7.43亿美元。该公司致力于利用大数据、机器学习以及生命科学领域的融合创新技术,重新构建药物设计过程,他们希望以一种新范式改变这一领域。创始人兼首席执行官Daphne Koller称“数字生物学”将成为下一个科学新时代的大机遇。 作为AI领域的知名学者,Daphne Koller在18岁就从耶路撒冷希伯来大学获得硕士学位,26岁成为斯坦福大学计算机系助理教授,曾获麦克阿瑟“天才奖”,是美国工程院院士、美国艺术与科学院院士,并在Science、Cell等顶尖学术期刊发表论文200多篇,H因子高达145。想必很多机器学习从业者应该读过她的概率图模型经典著作《Probabilistic Graphical Models: Principles and Techniques》。 不止于此,在2012年,Daphne与吴恩达共同创立了世界上最大的在线教育平台之一Coursera,目前市值超30亿美元。2020年,她还创立了高等教育数字学习平台Engageli。 在机器学习节目Gradient Dissent中,Lukas Biewald与他这位曾经的斯坦福大学老师聊了聊由“数字生物学”开启的科学新纪元,以及机器学习在药物发现中的作用及其面临的挑战。 以下为对话内容,OneFlow社区做了不改变原意的编译。 1 倒摩尔定律、机器学习与新药研发 Lukas:很激动再一次和你交流,我最想跟你聊的是Insitro,它看起来非常有趣且激动人心。 Daphne: Insitro是一家药物研发公司。如果你在过去50年里一直关注药物发现,会发现我们为东北亚地区的患者提供药物方面取得了巨大进步。但与此同时,根据“倒摩尔定律”(Eroom's Law,摩尔定律的扩展),药物研发的生产率呈指数级下降。这是因为发现和研发药物的过程非常复杂和漫长。实际研发时,可能需要数月甚至数年的时间,以及耗费数百万美元甚至数千万美元才能意识到我们走错了方向。 因此,我们所要做的是使用机器学习的方式来构建公司,毕竟,这是帮助我们在其它许多领域做出真正有效地预测的技术,并将其作为一种在完全不同的基础上构建药物发现和开发过程的方法。这就是我们真正想要做的,给患者带来更好的药物,并且更快地完成研发。 Lukas:高水平的药物发现标准过程是什么?机器学习的适用性或可改进的地方有哪些? Daphne: 我不知道人们是否真的可以谈论出一个标准的过程,因为在过去几年里,这是一个不断发展的过程。药物发现的研究在学术中心进行,它是一系列生物学方面的研究,旨在揭示与疾病有关的基因和生物学机制、途径。然后有人提出了一个假设,如果对基因进行干预,它可能会治愈或至少有助于疾病治疗,而治愈是一个非常宽泛且雄心勃勃的词,我们治愈了一些罕见疾病,这也有助于治疗其他某些疾病。 首先,你必须确认目标。通常是用动物实验来模拟疾病的某些方面。对于我们今天所患的许多疾病来说,动物并不是自然患病的。所以你必须在动物身上制造疾病,然后尝试在动物身上解决它。通常情况下,你所解决的并不是真正的疾病,因为有些模拟非常不精确,有时甚至是完全错误的。 然后,一旦有了目标,通常会寻找一种帮助调节目标的化学物质。它有不同的治疗方式,也就是不同的干预方式。不管怎样,30、40年前我们的主要治疗方式是使用小分子。然后出现了生物制品,它们是更大的分子。现在基本上是蛋白质和抗体,抗体也是一种蛋白质,它在许多情况下更有用,但目标范围更窄且更难实现。 随着时间的推移,过去两年中出现了更多的治疗方式,帮助干预身体和其他类型的机理。在人们都在谈论基因治疗的情况下,我们可以介入并干预DNA本身。目前为止,只有很少的领域得到了批准,但这是一个不断发展的领域。如今使用的COVID-19疫苗,人们谈论的RNA治疗是对RNA级别的DNA和蛋白质进行干预。 因此,所有这些方法都是在扩大对人体进行智能干预的能力,从而对疾病过程进行干预。通常情况下,它失败的地方在于一开始我们根本不了解生物学。因此,我们在干预目标时的识别能力,对临床的益处实际上非常有限。很多时候,我们猜错了。有时,我们也无法理解干预特定目标可能带来的所有其他影响,比如特定基因在身体里做了其它预料不到的事情,如果我们以一种想象上可能有益于身体的方式进行干预,反而可能是有害的。 这就是我们做出有效预测能力比较欠缺的地方,也是很多药物失败的原因。现在,失败率在90到95%之间,它取决于你把什么当做分母,就像你开始计算什么时候把项目作为一个药物项目。也就是说,每20种药物中只有1种到10种药物中会被批准,而实际上最终对患者产生真正影响的药物甚至更少。 如何才能更好地做出预测,这就是我们想要解决的问题。首先,对于特定患者群体的既定疾病,你希望干预的目标是什么?然后,如果想在这个目标上进行干预,加入什么样的化学物质的副作用更小,可能会有更好的类药特性(drug-like properties)?合适的患者群体有哪些?我认为,我们今天遇到的很多失败都是出于试图去追求更广泛或错误的患者群体。 因此,随着时间的推移,我认为在这个过程中的很多问题,机器学习可以进行干预,比如目标、药物、患者群体以及能告诉我们药物何时起作用的生物标识物,以便我们可以缩短时间。如果没起作用,则将患者转向另一种药物。所有这些都是我认为机器学习可以发挥作用的领域。 Lukas:那机器学习是否试图模拟真实的物理场景?它是否忽略了这一点,而只是回顾过去已经尝试过的实验? Daphne: 我想这些人们都试过了。正如我们在其他应用了机器学习的案例中所看到的那样,整合大量关于世界的先验知识有一些好处,但随着时间推移,这也是局限性所在。所以我以前在计算机视觉领域工作时,那时人们仍然试图创建光如何从表面折射的模型,并为计算机视觉构建几何模型,以及消除模型等等。我们现在不再这样做了。 我们现在要做的是创建非常庞大的训练集,为计算机提供足够的数据,使其在无需了解很多关于世界结构的信息下,就能够学习其中的模式。在大多数生物学问题上,我们还没有达到临界点,因为现有数据还不够充分。所以在很多情况下,整合了我们对生物学的更多理解的模型实际上比信息较少的模型表现得更好。 但在我看来,在过去一年中,一个真正的亮点成就就是DeepMind的AlphaFold算法取得了惊人的成功。该算法使用了与AlphaGo类似的机器学习工具,基本上用来解决蛋白质折叠的问题,也就是,我们已知一个表示蛋白质的氨基酸序列,需要预测它在3D空间中的样子。 在过去多年里,已经有多个小组构建了计算机工具。他们结合了机器学习,但肯定都融合了大量的物理、化学、电子等方面的先验知识,去探索折叠的蛋白质是什么样子。它们都达到了一定的合理的性能水平,但暂时还不可用。 顺便说一句,每两年举办一次的CASP竞赛是为机器学习模型设计的最好的盲盒测试比赛,而且无法作弊。在这种情况下,实验室通过生成特定蛋白质的晶体结构(即3D结构)来对其进行实验,他们会将序列提交给CASP竞赛,并且在竞赛结束之前,他们不会放出已解决的结构模型。所以在CASP比赛中,你可以看到性能有些停滞不前,而去年,DeepMind突破了这个瓶颈,并取得了一项可用于解决实际生物问题的性能。 他们做到这一点的方法是,不在模型中加入很多关于物理和化学以及各种化学键的先验知识,而是给机器学习模型足够多的序列和软结构(soft structures)来训练。这表明我们需要认真思考如何为生物或化学问题生成足够的数据,这样就可以让机器学习突破上限并提高性能。 这就是我们在Insitro所要做的,也就是在我们关心的问题上建立大规模数据生产能力,以便能够根据需求生成足够高质量和足够大的数据,这样就可以训练机器学习模型来解决药物发现过程中想要解决的问题。 Lukas:2004年,你在研究机器学习和生物学的应用,其中一些听起来和你在Insitro所说的非常相似。那么,当你在将近20年后创办这家公司时,是生物学有进展,还是机器学习方法或者数据有所改进?使Inistro成为可能关键因素的是什么? Daphne: 实际上,这是三者结合后的结果。首先是拥有了比以前更多的数据量。因此,在过去十年左右的时间里,在有利于数据创建的生物工具方面取得了巨大的进步,包括DNA、RNA测序可行性的提升,显微镜的吞吐量和性能都有了巨大的提升。在化学方面,DNA编码库可以在一个试管中混合数亿个分子,微流控技术可以让你在微小的液滴中进行实验,可以实现空间分离和扩展。所有这些技术都是十年前不存在的。 当然,不要忘记CRISPR技术,现在可以开始以一种非常精细且快速的方式编辑基因组,然后探索以一种特定的方式编辑基因组时,细胞会发生什么变化,这是我在做的事情。此外,现在机器在图像识别、在测序数据中识别生物模式等方面,机器明显好于人类。 Lukas:在你看来,2004年至2018年间的主要洞察是什么?真正具有变革性的事是什么? Daphne: 我认为那是三件事的结合。 首先,我们有更好的机器学习模型。 我们不只关注简单的模型,而是愿意咬紧牙关地对待非凸模型,它不仅仅是一个单一优化的问题,而是很大程度上依赖于你如何优化它们。 其次是存在足够大的数据集。 尽管空间很复杂,但人们可以训练这样的模型,并且不会从根本上发生过拟合。我认为,像ImageNet和其他网站在这些方面做了足够贡献,它们真的创造了足够大的数据集,这样人们就可以开始训练这些模型,数据集和模型本身一样重要。 最后是按下按钮就能进行计算。 我现在感觉自己真的老了,以前,当我们不得不做需要大量计算的事情时,只能用本地IP人员精心维护的本地计算集群,花六个月的时间来跑结果,并且祈祷没有内存泄漏,因为你一点都不想再冒险去做一次。现在,有了云计算后可以在10000台机器上完成这项工作,一天之内就会有结果。对我来说,这比其他任何事情都更具变革性。 由于我们能够做到这一点,再加上PyTorch和TensorFlow这样的平台,或使用Adam让我们能够更快地编程。 我们现在能在迭代循环中试验和改进模型,这是以前从未能做到的。所以,即使我们让初始模型迭代第二次、第三次、第五次,甚至第二十次,并使其变得更好,而模型它也会随着时间的推移变得越来越好 因此,更好的软件加上更好工具的结合,使得快速的迭代周期成为可能,坦率地说,这比其他任何东西都更具变革性。 Lukas:像视觉数据集那样,生物学中是否也有类似可用的数据集?我猜,那可能有更多的专有数据。 Daphne: 至少从我所做的工作来看,其中一个最具变革性的数据集是英国生物库(UK biobank),它有50万人的基因数据,有临床结果,包括纵向临床结果,以及非常深层的表型(phenotyping),涵盖不同类型的成像、血液生物标志物、尿液生物标志物以及一系列其他协变量,比如环境因素。 这一数据集本身就具有真正的变革性,无论是在新方法的开发方面,还是在它给我们提供的关于人类生物学的见解方面。还有其他一些数据集也非常重要。我认为,它们的数据没有那么大或精的,但仍然相当重要。 还有TCGA,它代表着癌症基因组图谱,这是一个相当大的癌症数据集,涵盖不同的肿瘤类型。还有GTEX数据集,它涉及了不同组织和不同个体的不同基因表达,因此你可以查看个体内不同组织的基因表达差异,也可以查看个体间相同组织的基因表达差异。还有其他比如EndCode,代表不同细胞类型的DNA标记。 数据集是一个挑战,因为生物学中的噪声比其它许多领域中的噪声更重要。 这就是为什么我们要以这样的方式构建Insitro,因为我们有一个重要的组成部分就是生物实验室,其主要目的是生成大量数据,以便我们能够以正确的方式训练模型。 Lukas:在这一领域中,是否有迁移学习的概念,其方式与视觉中的应用是否相同? Daphne: 我认为存在迁移学习,甚至在图像中,也有这样的例子,人们在网络上的图像上训练相应的模型,然后迁移到显微镜图像上。 如果你训练显微镜图像,我希望它会更好。人们已经做了相当多的工作,尤其最近在大量化合物化学结构的图神经网络模型的预训练方面,使用这种类型的编码作为你有较少训练数据领域的预训练模型,比如化合物的具体性质。因此,如何利用那些可能较少监督信息的大型数据集,作为一种能够在小型数据集上构建有用的模型方法,我认为这实际上是未来几年将变得重要的一个大方向。 Lukas:你怎么看蛋白质折叠在药物发现中的重要性? Daphne: 蛋白质折叠是否是药物发现的关键并不是那么重要。它可能是个问题,但肯定不是阻碍药物发现的核心。人们试图用一系列其他方法来解决问题,但机器学习出现后,有了正确类型的模型数据,才能够突破这个问题。对我来说,这才是真正的经验,而不是我们改变了药物发现。 Lukas:你们的抱负应该不是只制造一种药物,而是建立一种制造大量药物的机制,如果看一下“命中率”,在运作企业时压力应该非常大。 Daphne: 压力太大了。尤其是目前每个实验至少花费数千万,甚至数亿美元的时候。我们经常思考该走哪条路,如何使这个过程更快?如何使它成本更少?如何更快试错,这样就不会在即将失败的事情上花费数亿美元?如何更早地认识到某些事情是错误的?这实际上就是机器学习想要做的事情。如何确保有足够的资金?从而在初期不成功的情况下,给自己更多的机会。 2 线上教学:Coursera、Engageli的源起 Lukas:我想问一下你的其它工作。关于Coursera和教学,你不再教书了是吗? Daphne: 是的,我不再是斯坦福大学的教授了,现在是一名兼职教授。 Lukas:我觉得很难过,我只是想说,你是一位非常棒的老师。虽然你不是那种最热情的老师,但过了16年或17年后,会让人很难忘。我觉得我很快就从你那里学到了很多东西,当我做你的助教时,我看到你有多在乎教学,而我所在的数学系却不怎么在乎。就好像有人在这里,真的很想花点时间好好教学,这种感觉真的很好,我真的很感激。所以我对你后来开了一家以教学为中心的公司并不感到惊讶,我想听听关于它早期发生的事情。 Daphne: 教学一直是我的激情所在。作为像斯坦福这样顶尖学术机构、顶尖研究机构的研究人员,在教学上投入太多精力并不必要,但我想在这件事上花点时间。 我一直认为教育只是一个机会之门,而不仅仅只是教学。 如果你在能让学生在相对还很年轻的时候走上正确的道路,教师使学生能够学习并成为他们能成为的人,而他们必须做出投资并想要得到它。教师不用学习别人,而他们却必须学习。这是一个不可思议的驱动因素。 在我的家庭中,我的父母都有接受高等教育的机会,这为我创造了很多其他人没有的机会。我也一直尝试着教育我的孩子们,对我们这些享有如此多机会的人来说,我们有责任回报社会。 在这一点上,我的回馈方式是通过教学。事实上,这也是我最终离开斯坦福大学的原因。因为我觉得,通过创建Coursera,开放教育的人数比我在斯坦福大学教的人数多得多,我有机会以更大规模回报给全世界。 事实上,这也是我之所以选择创办Insitro的原因。我觉得现在是一个不可思议的时刻,能以一种可以彻底改变世界的方式将两种学科结合在一起。这是我义不容辞的责任,如果我能做到的话,实现这一点几乎是道德上的当务之急。这不是很多其他人能做到的。 Lukas:我看到你还创办过另一家公司Engageli,那似乎是一个教学工具。这是你之前希望Coursera要做的事情吗? Daphne: 从某种意义上说,这是由我们在这次疫情中观察的结果所驱动的,当时,我有两个十几岁的孩子开始在Zoom上上课,他们在学业上表现很好,也很勤奋。在某个时刻,我正看着他们,注意到老二在开课几分钟后,确保老师看到她,就会关掉相机和麦克风,用剩下的时间去完善她的模拟人生游戏(Sims game),而老大则会花时间在Netflix上看剧。 我想到,如果这是我的孩子们正在做的事情,是因为他们有这些机会,而其他那些没有同样条件的孩子会发生什么,他们在学校的班级要大得多,老师们花在视频教学上的时间要更少。所以这真的是其中很重要的一部分。 但说实话,当我在斯坦福教学时,最初的目的也不仅是教知识,同时也在努力让斯坦福的教学变得更好。因为我觉得,我至少每周都要花三个小时在课堂上为你这样的人上课。 如果我们利用那段时间,只是站在全班同学面前,对着你们唠叨,重复讲述了一次与我一年前在课堂上没什么不同的一堂课,这真的是利用课堂时间的最佳方式吗?或者我们可以把时间花在参与和互动上做到真正的学习?这是一种积极的努力,而不仅仅是坐在那里看着教授对你说话。 这才是促使我创建这个项目的原因,它最终也成了在Coursera中构建的功能,可以让人们一起学习,即使他们不在同一个地方。 我们发现,无论是否身处同一间教室,网上教学实际上效果更好。 现在的教学方式是,一群人坐在音响效果不太好的大礼堂里,所有人都面朝前坐在固定的座位上看着老师。而线上教学能够灵活地让你与所在团队的人聊天,作为一个团队一起工作。 真正创造一种环境,去促进主动学习是一件非常难做到的事。 我希望,我们正在经历的这场可怕疫情带来的少数好处之一是,虽然我们不能真正回到疫情之前的教学方式,但我们会有更好的教学方法。 3 机器学习的最大挑战与数字生物学 Lukas:当我几年前还是你的学生时,我记得你对概率图模型非常感兴趣,它存在某种因果关系。你似乎可以在数据中发现这一点,这真的很酷,也很令人惊讶。这个领域的发展现在发展怎么样了?我已经没听过什么消息了。 Daphne: 在过去几年里有很多关于深度学习的讨论,因为深度学习能够做的所有重大变革,是因为我们能够摆脱特征工程,而这在我们处理的大多数任务中都是一个痛点。我认为,仍然非常有必要去理解因果关系。 我想到我们在药物发现方面所做的工作,一个基本问题是,如果我对人类进行这种干预,那会带来临床上的变化吗?对人类有益吗?这是一个介入性问题。如果你把这个问题和观察性问题混为一谈,你很容易就会陷入相关性不同于因果关系的各种陷阱,而且从因果关系的角度来看,很多相关性完全朝着错误的方向发展。所以你会发现自己干预了与基本疾病过程无关的症状或后遗症。 我认为,即使在更广泛的机器学习领域,人们也越来越认识到,因果关系是让机器学习进入下一个阶段的一个尚未解决的大问题。我之前参加NeurIPS会议时,Yoshua Bengio强调,这是一个尚未解决的主要问题,不仅在于其内在的重要性,而且也关乎理解因果关系和使你能够用更稀疏的数据进行学习的因果过程,因为你有一个更结构化的表示。我认为可能发生的事情是,钟摆已经转向了深度学习方面,它有巨大的优势,这两条道路正在交汇,在这方面我们将看到有很多有趣的工作。 Lukas:你们正在尝试使用机器学习来发现新药,要实现这一目标,日常挑战是什么? Daphne: 我要强调两个方面:一是生物学真的很难。你处理的是活体,它们有很多变量,取决于房间里的确切温度,取决于技术人员,很多你通常不会想到的事情,以及在更精确的科学中我们不需要处理的事。那么,如何创建足够健壮的数据集和稳健的实验程序,以便噪声不会“压倒”信号,变异性不会“压倒”信号? 二是为了做我们正在做的工作,需要创造一种真正独特的文化,至少在一定程度上,使人们能够与不同学科的人交流。 这是我们在机器学习的许多其他应用中不需要做的事,如果你在为网络推荐的机器学习应用,不需要深入了解亚马逊网站上的商品目录,就可以编写推荐算法。但生物学不是这样的,你需要有足够的理解,才能与生物学家或化学家进行有意义的对话。 因此, 要招募具备跨专业技能或愿意学习足够知识的人进行有意义的对话,并作为真正跨职能团队的一部分与其他学科的人一起工作。 我们没有培训出足够多的这样的人才,我认为用这样的人才和正确文化来创建公司是我一直在考虑的事情。到目前为止,我们在Insitro的工作做得非常出色,但这肯定是一项持续性工作。 Lukas:机器学习中被低估的议题是什么?如果你有更多时间,会研究什么新事物? Daphne: 在纯机器学习前沿,我们之前讨论的一个基本问题是,我们如何利用大量有监督、无监督的数据来学习一种表征,使我们能够非常有效地从更小的数据集学习。当然,人们会说,“好吧,我们已经在ResNet中学到的任何图像表示,还有word2vec等等”,但我不认为我们真的把这个领域推到了极致,如何将这些不同类型的数据集结合在一起?组合目标函数的正确方式是什么?我认为,随着时间的推移,在如何学习和完善一种表征形式方面,将会有很多有趣的进展。 如果从机器学习中拓展一下,问一下真正的大机会在哪里,那就是生物学和数据科学,也许还有工程学的融合。如果你看一下科学史,历史上有过这样一个时代,那就是一个领域在相对较短的时间内真正起飞并对世界产生了巨大影响。在19世纪末,化学与元素周期表有关,然后在20世纪初,物理学与理解物质和能量在空间和时间之间的联系有关。在20世纪50年代,计算机技术和硅晶片的使用成为真正能进行计算的一种方式,甚至能做人都做不到的事情。 然后在20世纪90年代和21世纪初,出现了分叉。数据作为一个领域,它来自计算,也来自运筹学、统计学和神经科学。另一个是我所说的定量生物学,开始以一个非常强大的、可重复的、定量的方法测量生物系统的各个方面。这就有了测序和显微镜以及我之前提到的所有东西。 下一个科学的新纪元将要出现的大机遇是我称之为“数字生物学”的领域。 对我来说,它有以逼真的尺度来测量生物学的能力,使用机器学习和数据科学来解释我们得到的测量结果,然后使用生物工程技术回去干预生物,让它做一些本来不会做的事。这对人类健康会产生影响,对生物材料、农业技术、环境科学和能源科学也有影响。 (本文已获得编译授权,原文: https://wandb.ai/wandb_fc/gradient-dissent/reports/Daphne-Koller-Digital-Biology-and-the-Next-Epoch-of-Science--Vmlldzo2MTYxMDk?galleryTag=gradient-dissent) 其他人都在看 OneFlow实习岗位热招 TVM:成为深度学习领域的“Linux” 深度学习崛起十年:“开挂”的OpenAI革新者 计算机架构新黄金时代,GPU能否继续保持辉煌 芯片设计“花招”已耍完?无指令集架构颠覆旧套路 30年做成三家独角兽公司,AI芯片创业的底层逻辑 OneFlow v0.7.0 最新版本已发布,欢迎下载体验:https://github.com/Oneflow-Inc/oneflow​ 本文分享自微信公众号 - OneFlow(OneFlowTechnology)。 如有侵权,请联系 support@oschina.cn 删除。 本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

优秀的个人博客,低调大师

硬件商抢物联网“头啖汤” 价值链渐向应用平台拓展

物联网时代加速到来,硬件、传感等上游基础设备厂商率先迎来整合潮。联发科近日表示,将自2017年2月13日至3月14日期间,以每股新台币110元的价格,公开收购旗下的转投资射频PA供应商络达科技约15%至40%的股权。此前,高通与TDK株式会社的合资公司RF360刚刚宣布筹备完成。分析认为,物联网正经历从硬件、传感等基础设备向软件平台和垂直行业应用升级的过程,万物互联生态刚起步。中国信息通信研究院此前发布的《2016物联网白皮书》(下称《白皮书》)指出,物联网平台将成为产业发展制高点,平台商用价值逐步显现。 物联网硬件领域整合不断 据估算,联发科此次收购络达的规模接近新台币27亿元。联发科指出,对络达的目标是达成100%收购,未来将比照晨星和立锜模式,以子公司方式独立经营,双方将携手合攻物联网市场。而在本月初,高通和TDK株式会社宣布,合资企业——RF360控股新加坡有限公司已筹备完成。双方将深化技术合作,覆盖下一代移动通信、物联网和汽车应用等前沿技术。 射频器件是无线连接的核心基础,射频业务将对物联网的发展起到重要作用。而近期这两起企业整合只是IT企业围绕物联网硬件基础产业链进行跑马圈地的一个缩影。 据了解,物联网的体系架构可分为感知层、网络层、平台层和应用层四个层次,产业链涉及内部芯片、传感器、无线模组(含天线)、网络运营、平台服务、系统及软件开发、智能硬件厂商、系统集成及应用服务八个环节。目前,从上游的芯片供应到下游的智能终端生产,物联网硬件领域的整合不断。2016年,软银收购ARM、高通并购恩智浦,都剑指物联网。 除了企业之间的并购重组外,企业还加快推出新品,抢占市场先机。目前,高通、英特尔、三星等纷纷布局物联网芯片市场。在国内,华为、中兴通讯的NB-IoT芯片将分别于今年一、二季度量产。中兴微电子将于今年二季度发布NB-IoT商用芯片Wisefone7100;锐迪科方面表示,其NB-IoT产品将于三季度量产。大唐电信也推出了自主研发的面向低功耗和物联网应用的低功耗蓝牙芯片及北斗应用芯片。而产业链下游的物联网元器件制造商,如仪表公司、可穿戴设备公司等,也纷纷加快测试和试用。 平台应用层主导权之争升温 机构认为,未来两年内硬件价值将快速上升,硬件成熟之后,增长极将主要转向软件应用和解决方案端。麦肯锡数据显示,未来物联网价值链的最大份额将在软件和服务方面,至2025年,软件和服务提供商营业收入占比将达到85%,平台将是产业生态的核心,应用支持平台(AEP)和连接管理平台(CMP)领域或出现行业巨头。 GSA最新报告称,目前全球已有21个运营商承诺部署NB-IoT网络,2017年底全球将部署25张NB-IoT商用网络。在国内,三大运营商均加大对NB-IoT商用的投入力度。随着运营商级的NB-IoT网络大规模落地,产业链的发展将步入快车道。智能表计、智能停车、智慧物流和智能可穿戴设备或成为率先落地并形成规模化应用的领域。 随着整个产业链的发展,物联网平台成为科技巨头抢占未来制高点的重心。在国外,谷歌意在构建横跨多种终端平台的融合型物联网OS。而在国内,百度早在2015年就推出了“BAIDU IoT”平台,吹响进军物联网领域的号角。2016年2月,阿里巴巴推出物联网战略,其中包括阿里云、阿里智能、YunOS等事业群组共同打造物联网时代的服务平台。同年9月,腾讯宣布旗下QQ物联平台全面升级为腾讯物联云,向合作伙伴提供基于云端的物联网解决方案。 运营商作为物联网网络运营者,也欲成为平台的打造者,并向下游应用延伸。目前,中国电信将物联网列为“十三五”期间五大业务生态圈之一。在NB-IoT方面,基于800MHz频率做到领先的低频广覆盖物联网,建设全网集约云平台和虚拟移动核心网(vEPC),实现一点接入全网服务;在第二届亚洲消费电子展上,中国移动发布了“物联网开放平台OneNET全球合作伙伴招募计划”,为合作伙伴提供全方位线上线下销售渠道。目前,中移动物联网服务企业客户超2600万家,聚集超过1.5万名创客与开发者,孵化出5000多个物联网与智能制造行业应用。中国联通也于2015年7月发布了物联网平台。 运营商与互联网巨头都拥有可观的用户规模和互联网基础设施。未来谁将成为物联网时代的平台,取决于跨行业的信息整合和资源对接能力。 国内产业链需向中高端升级 统计数据显示,目前我国物联网及相关企业超过3万家,其中,中小企业占比超过85%,初步形成环渤海、长三角、泛珠三角以及中西部地区四大区域集聚发展的空间格局。 《白皮书》称,随着各国政府、产业链上下游主要企业的持续推进,物联网产业正步入跨界融合、开放创新和规模化发展新时期。未来2-3年,将是全球物联网产业生态形成的关键期。但是目前,我国物联网产业仍面临挑战:一是应用向高端智能化的升级将进一步放大我国传感器产业的基础能力薄弱短板。二是物联网在行业中的深度应用面临诸多障碍。三是以平台为核心构建产业生态面临严峻的国际竞争。四是标准在推动产业链协同发展方面的作用不突出。五是边缘计算的兴起带来新的产业机遇,需进一步加强前瞻性布局。六是我国物联网安全保障能力亟需提升。 物联网是碎片化、跨行业的产业,除了政府加强顶层规划外,我国物联网产业要想在全球竞争中拔得头筹,需要整个产业链的不断完善,在芯片、平台等产业生态核心环节更进一步,推动物联网与传统行业深度融合和规模应用

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册