资源中心

精选的具身智能学习资源库

资源筛选

在线课程

CS285: Deep Reinforcement Learning

中级到高级

UC Berkeley

这门课程深入探讨了深度强化学习的理论基础和实践应用,是具身智能学习的核心课程之一。课程涵盖了从基础的强化学习算法到最新的深度强化学习方法,包括策略梯度、Q学习、演员-评论家方法等。

强化学习 深度学习 决策控制

CS231n: Convolutional Neural Networks

入门到中级

Stanford University

这门课程是计算机视觉和深度学习的经典入门课程,对于理解具身智能的视觉感知部分至关重要。课程详细讲解了卷积神经网络的原理和应用,包括图像分类、目标检测、图像分割等。

计算机视觉 深度学习 感知

CS287: Advanced Robotics

中级到高级

UC Berkeley

这门课程专注于机器人学的高级主题,包括机器人动力学、控制、规划和学习。课程结合了理论基础和实践应用,对于理解具身智能的机器人实现部分非常有价值。

机器人学 控制 规划

CS224n: Natural Language Processing

入门到中级

Stanford University

这门课程深入探讨了自然语言处理的理论和实践,对于理解具身智能中的语言理解和交互部分非常重要。课程涵盖了从词嵌入到Transformer模型的各种NLP技术。

自然语言处理 深度学习 交互

推荐书籍

《深度学习》

入门到中级

Ian Goodfellow, Yoshua Bengio & Aaron Courville

这本书是深度学习领域的经典教材,全面介绍了深度学习的理论基础和实践应用。书中涵盖了从基础的神经网络到高级的深度学习模型,对于理解具身智能中的感知和决策模型非常有价值。

深度学习 神经网络 机器学习

《Reinforcement Learning: An Introduction》

入门到中级

Richard S. Sutton & Andrew G. Barto

这本书是强化学习领域的经典教材,系统介绍了强化学习的基本概念、算法和应用。书中从马尔可夫决策过程开始,逐步讲解了各种强化学习方法,对于理解具身智能的决策和控制部分至关重要。

强化学习 决策控制 智能体

《Probabilistic Robotics》

中级到高级

Sebastian Thrun, Wolfram Burgard & Dieter Fox

这本书详细介绍了机器人学中的概率方法,包括状态估计、定位、地图构建和规划。书中结合了理论和算法实现,对于理解具身智能中的感知和导航部分非常有价值。

机器人学 概率方法 SLAM

《人工智能:一种现代方法》

入门到中级

Stuart Russell & Peter Norvig

这本书是人工智能领域的经典教材,全面介绍了人工智能的各个方面,包括搜索、知识表示、规划、学习和感知。书中的内容为理解具身智能的理论基础提供了重要支持。

人工智能 规划 知识表示

重要研究论文

提示: 以下是具身智能领域的一些重要研究论文,按照主题分类。这些论文代表了该领域的重要进展和前沿研究方向。

  • Learning Dexterous In-Hand Manipulation

    OpenAI, 2019

    这篇论文介绍了如何使用深度强化学习训练机器人手进行灵巧的物体操作,是Sim2Real迁移的重要案例。

    PDF
  • Solving Rubik's Cube with a Robot Hand

    OpenAI, 2019

    这篇论文展示了如何训练机器人手解魔方,结合了自动域随机化和强化学习,是具身智能中复杂操作的典范。

    PDF
  • Learning to Walk in the Real World with Minimal Human Effort

    Berkeley, 2021

    这篇论文介绍了如何使用强化学习训练四足机器人在真实世界中行走,最小化了人类干预。

    PDF

  • PaLM-E: An Embodied Multimodal Language Model

    Google, 2023

    这篇论文介绍了PaLM-E,一个具身多模态语言模型,能够将视觉、语言和动作信息整合到一个统一的框架中。

    PDF
  • RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control

    Google, 2023

    这篇论文介绍了RT-2,一个将视觉语言模型的知识迁移到机器人控制的模型,展示了大型语言模型在具身智能中的应用。

    PDF
  • CLIP-Fields: Weakly Supervised Semantic Fields for Robotic Memory

    Stanford, 2023

    这篇论文介绍了CLIP-Fields,一种利用CLIP模型构建机器人记忆的方法,支持语言查询和交互。

    PDF

  • Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks

    Berkeley, 2017

    这篇论文介绍了MAML,一种模型无关的元学习方法,能够快速适应新任务,对具身智能中的快速适应非常重要。

    PDF
  • Learning to Adapt in Dynamic, Real-World Environments Through Meta-Reinforcement Learning

    Berkeley, 2018

    这篇论文探讨了如何通过元强化学习在动态、真实世界环境中实现快速适应,对具身智能的环境适应性至关重要。

    PDF
  • RL^2: Fast Reinforcement Learning via Slow Reinforcement Learning

    Berkeley, 2016

    这篇论文提出了RL^2,一种通过慢强化学习实现快速强化学习的方法,为具身智能中的快速学习提供了新思路。

    PDF

工具与框架

NVIDIA Isaac Sim

高保真机器人仿真平台,支持物理模拟、传感器模拟和强化学习训练,是具身智能研究的重要工具。

仿真 机器人学 强化学习
免费(需注册) 访问

Meta AI Habitat 3.0

具身AI研究平台,提供高效的3D环境模拟和智能体训练框架,支持导航、交互和视觉语言任务。

具身AI 3D环境 导航
开源 访问

Google Research TF-Agents

基于TensorFlow的强化学习库,提供了丰富的算法实现和工具,支持具身智能中的决策学习。

强化学习 TensorFlow 智能体
开源 访问

PyRobot

Facebook AI Research开发的机器人学习框架,提供了统一的Python接口,简化了机器人控制和学习。

机器人控制 Python 学习
开源 访问

数据集

注意: 使用以下数据集时,请确保遵守相应的许可协议和使用条款。部分数据集可能需要申请访问权限。
数据集名称 描述 规模 应用领域 链接
RoboNet 大规模机器人操作视频数据集,包含多种机器人平台和物体的交互数据 15M帧 机器人操作学习
Gibson Environment 真实世界3D扫描环境数据集,用于具身导航和交互任务 1,400+场景 导航、视觉感知
ALFRED 家庭环境中的语言指令和动作序列数据集,用于视觉语言导航和任务执行 8K+任务 视觉语言导航
RLBench 机器人操作任务基准数据集,包含100多种不同难度的任务 100+任务 机器人操作学习
BEHAVIOR 家庭环境中的人类行为数据集,用于具身智能任务学习 100+任务 家庭服务机器人