浏览器就能跑大模型了,陈天奇团队发布WebLLM,无需服务器支持
现在,只需一个浏览器,就能跑通“大力出奇迹”的大语言模型(LLjsM)了!
(相关资料图)
不仅如此,基于LLM的类ChatGPT也能引进来,而且还是不需要服务器支持、WebGPU加速的那种。
例如这样:
这就是由陈天奇团队最新发布的项目—aVLjNSGr—Web LLM。
短短数日,已经在github上揽货3.2K颗星。
一切尽在浏览器,怎么搞?
首先,你需要下载Chrome Canary,也就是谷歌浏览器的金丝雀版本:
因为这个开发者版本的Chrome是支持WebGPU的,否则就会出现如下的错误提示:
在安装完毕后,团队建议用“终端”输入如下代码启动Chrome Canary:
启动之后,便可以来到官网的demo试玩处开始体验了。
不过在第一次展开对话的时候,系统还会出现一个初始化的过程(有点漫长,耐心等待)。
机器学习编译(MLC)是关键
接下来,我们来看一看Web LLM如何做到“一切尽在浏览器”的。
根据团队介绍,其核心关键技术是机器学习编译(Machine Learning Compilation,MLC)。
整体方案是站在开源生态系统这个“巨人肩膀”上完成的,包括Hugging Face、来自LLaMA和Vicuna的模型变体,以及wasm和WebGPU等。
并且主要流程是建立在Apache TVM Unity之上。
团队首先在TVM中bake了一个语言模型的IRModule,以此来减少了计算量和内存使用。
TVM的IRModule中的每个函数都可以被进一步转换并生成可运行的代码,这些代码可以被普遍部署在任何最小TVM运行时支持的环境中(JavaScript就是其中之一)。
其次,TensorIR是生成优化程序的关键技术,通过结合专家知识和自动调度程序快速转换TensorIR程序,来提供高效的解决方案。
除此之javascript外,团队还用到了如下一些技术:
启发式算法:用于优化轻量级运编程算符以减轻工程压力。int4量化技术:用来来压缩模型权重。构建静态内存规划优化:来跨多层重用内存。使用Emscripten和TypeScript :构建一个在TVM web运行时可以部署生成的模块。……上述所有的工作流程都是基于python来完成的。
但Web LLM团队也表示,这个项目还有一定的优化空间,例如AI框架如何摆脱对优化计算库的依赖,以及如何规划内存使用并更好地压缩权重等等。
团队介绍
Web LLM背后的团队是MLC.AI社区。
据了解,MLC.AI 社区成立于2022年6月,并由 Apache TVM 主要发明者、机器学习领域著名的青年学者陈天奇,带领团队上线了 MLC 线上课程,系统介绍了机器学习编译的关键元素以及核心概念。
值得一提的是,该团队此前还做过Web Stable Diffusion,链接都放在下面了,赶快去体验吧~
Web LLM体验地址:https://mlc.ai/web-llm/
Web Stable Diffusion体验地址:https://mlc.ai/web-stable-diffusion/
参考链接
[1]https://twitter.com/HongyiJin258/status/1647062309960028160
[2]https://github.com/mlc-ai/web-llm
- 浏览器就能跑大模型了,陈天奇团队发布WebLLM,无需服务器支持
- 深度|自动驾驶:热闹背后的严峻考验_动态焦点
- 批准逮捕313人!最高检通报-每日报道
- 体验传统习俗文化魅力 一起“走谷雨”制谷雨贴_世界最新
- 普华永道胡亮:城农商行逾期率与不良率之间的差距进一步扩大,信贷资产质量仍存在较大压力
- 天天新资讯:中国国贸:选举林明志为公司第九届董事会董事长
- 热点!年赚35万,王源也拉不动品渥食品
- 清凉舒适夏日必备,欧度男装夏季T恤搭配图鉴-环球时快讯
- 呼和浩特:“美丽青城 大黑河之韵”艺术作品展举行 世界即时
- 说出幼儿园打击乐器的种类 乐器的种类_环球快报
- 中消协养老消费调查:适老化消费环境仍需提升
- 【全球时快讯】社评:中国外交很忙,没空接待缺乏诚意的人
- 焦点讯息:合肥城建:拟出资9亿元设立滨润置业
- 重庆市今年一季度GDP达6932.89亿元,同比增长4.7%
- 中证协:一季度共85家券商参与发行地方债 合计中标金额923.47亿元 世界简讯
- 每日速递:比亚迪海洋网首款B+级轿车驱逐舰07亮相上海车展
- 环球观点:焦作出台银行业金融机构评价办法,排名后3位的机构将被约谈负责人
- 一个年轻人很有前途。
- 青年失业率升至19.6% 国家统计局回应:会逐步改善
- 红酒兑啥喝好喝_红酒兑什么一起喝好喝
- 英力特:2022年年预亏3.5亿元,同比盈转亏-当前速递
- 一季度我国造船三大指标市场份额保持全球领先-焦点速看
- 今日cf炸房外挂怎么修复(CF怎么炸房)
- 天天微动态丨国网绵阳供电公司:心系群众办实事 开创供电服务新局面
- 今热点:科学计算器开根号怎么按_科学计算器怎么开4次方
- 一的成语开头祝福语_一的成语
- 荷兰鹿特丹港计划建设1GW绿色氢工厂|世界热资讯
- 精选!英豪前卫_关于英豪前卫的简介
- 石家庄城乡居民医保缴费方式有哪些?可以线上办理吗?|世界微速讯
- 国家发改委:强化就业优先政策,推动消费平稳增长