中国科学院微电子所在多模态数据表示学习方面取得进展

边缘智能硬件系统正日益集成多种视觉传感器（如3d激光雷达、神经形态动态视觉传感器和传统相机）以增强性能。直接在边缘系统上分析这些传感器产生的多模态数据，对于增强现实/虚拟现实和无人机等应用至关重要，但这对软硬件系统提出了严峻挑战，例如多模态数据统一表示、高能效和快速模型训练等。多模态信号的异构数据结构增加了边缘系统开发的复杂性，而传统数字硬件受限于冯·诺依曼瓶颈和摩尔定律放缓。随着模型规模的扩大，复杂的训练过程进一步加剧了这些限制。

中国科学院微电子研究所尚大山研究员和南方科技大学王中锐博士合作，通过软硬件协同设计，开发了一种基于随机阻变存储器的深度极限点云学习机系统(DEPLM)。该系统将多模态数据统一表示为点集，实现通用化处理；软件层面，首次提出深度极限点云学习机，大幅降低训练复杂度；硬件层面，利用阻变存储器实现存储计算一体化，并利用其固有随机性生成DEPLM的随机稀疏权重，抑制读取噪声。研究团队在多种数据类型和学习任务中验证了该系统的普适性和能效优势，降低了训练成本。这项基于随机阻变存储器的深度极限点云学习机，有望为高能效、易训练的跨模态、跨任务边缘智能系统开辟新途径。

该研究成果已发表在《自然-通讯》期刊上，尚大山研究员和王中锐博士为通讯作者。复旦大学、浙江大学、香港大学和香港科技大学等单位参与了该项目，并获得了科技部、国家自然科学基金委、中国科学院和香港研究资助局的支持。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

图1 基于随机阻变存储器的深度极限点云学习机软硬件设计

# 数据类型  # 数据结构  # 传感器  # 中国科学院  # 边缘  # 多模  # 能效  # 香港  # 科技大学  # 大山  # 浙江大学  # 复旦大学  # 提出了 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 网络优化91478 】 【 技术知识72672 】 【 云计算0 】 【 GEO优化84317 】 【 优选文章0 】 【 营销推广36048 】 【 网络运营41350 】 【 案例网站102563 】 【 AI智能45237 】

相关推荐： AI Lead Generation: 解锁未来增长引擎，营销新纪元  百度输入法ai面板怎么关 百度输入法ai面板隐藏技巧  5分钟教你用AI将你的研究数据生成可视化的图表和摘要  如何用AI帮你进行竞品功能对比分析？轻松制作对比矩阵  解读Childish Gambino《This Is America》的深层含义与文化影响  AI赋能建筑合同管理：ChatGPT实用案例深度解析  提升Fortnite OG游戏性能：NVIDIA控制面板最佳设置  豆包AI怎么评价回答的好坏_点赞与反馈功能使用教程  RPGGO AI：颠覆传统！2D游戏创作新纪元  AI 编码助手：提升效率的 5 大工具及应用详解  OpenAI ChatGPT Agent：AI自主任务的未来  斑马AI怎样注册账号_斑马AI注册流程与儿童信息绑定【教程】  AI员工工具详解：添加与移除指南，提升效率  DiagramMagic：AI驱动的在线图表生成器终极指南  怎么用ai生成配色方案 AI设计色彩搭配与灵感获取【技巧】  Google Gemini 在跨时区团队管理中的应用技巧  利用 DeepSeek 提高敏捷开发中的 Sprint 规划效率  Midjourney怎样做PPT模板_MidjourneyPPT模板生成【方法】  Venggage AI Pitch Deck生成器：快速创建投资者演示文稿  想做自媒体？教你用AI批量生成视频脚本，实现内容自由  10平米房间设计终极挑战：人类 vs AI，DIY极简主义胜出！  通义千问网页版怎么切换账号_通义千问账号切换步骤【指南】  AI伴侣：连接还是孤独？真实对话揭秘AI伦理困境  AI驱动的合同审查：Adobe Acrobat AI助手提升效率与准确性  教你用AI将一段旋律扩展成一首完整的曲子  AI写作鱼怎么一键生成论文大纲_AI写作鱼大纲生成与逻辑梳理【技巧】  AI驱动的医学影像器官分割与3D可视化：临床应用的未来  留学文书PS怎么写？教你用AI写出招生官眼前一亮的个人陈述  斑马AI怎样设置专注模式_斑马AI专注时段与干扰屏蔽【指南】  冷邮件营销新策略：工作坊模式助力B2B销售增长  国产开源模型Kimi K2 Thinking上线美应用，挑战美国科技巨头！  豆包AI怎么生成员工成长总结_豆包AI成长指标提取与案例编写【方法】  百度APP的ai助手怎么关闭 百度APP ai功能取消方法  锂提取AI工具：地热数据分析与机器学习建模深度解析  腾讯混元图像3.0上线LiblibAI，80B参数助力创作者高效出图  快手本地生活AI如何预约景区火车票_快手AI本地生活抢票步骤【步骤】  Canva AI终极指南：免费AI聊天机器人，设计、视频、网站全搞定！  谷歌 Gemini AI 助手详解：功能、应用与隐私设置  AMD Ryzen 2025 CPU深度解析：新品发布与选购指南  百度AI助手直接入口 一键直达官网入口  Jasper AI的Recipes是什么 Jasper AI配方功能使用【详解】  批改网ai检测工具怎么设置检测严格度_批改网ai检测工具严格度调整【技巧】  AI电影制作：颠覆传统，引领未来*新纪元  使用AI简化多机位播客视频编辑：Eddie AI全面指南  SEO必备工具：网站分析与优化终极指南  Character AI深度解析：功能、用户反馈与替代方案全攻略  利用 DeepSeek 辅助进行编译器原理课程学习  超频爱好者盛宴：液氮超频Xeon 28核处理器  提升效率的AI工具：Jace、Yutori、Dia等效率神器测评  AI简历泛滥：虚假技能与企业衰落的深度剖析 

 2025-03-08