本书论述了与此相关的心理学和脑神经学基本概念，通过多模态信息处理来识别和理解体态语言是从非结构化的多模态感测器数据到高层语义的多层次特徵检测和推理过程，也是一个约束不充分的逆向求解问题。本书对觉察上下境计算支撑的视觉处理和理解做了系统的论述，同时也介绍了上下境定义、上下境模型和觉察上下境计算的基本概念。主要包括：基于广义弹性运动跟蹤的人体动作分析，三维空间人体定位与体态估计，容忍视角和距离变化的人体动作识别，日常生活中动作（ADL）识别和理解，基于动态上下境模型的群体互动行为分析，支持觉察上下镜计算的分散式多模态信息处理系统。

第1章 以人为中心的人机互动与体态语言理解 1

1.1 以人为中心的人机互动 1

1.1.1 普适计算和背景智慧型 3

1.1.2 物理—信息对偶空间 4

1.1.3 隐式人机互动和觉察上下境计算 11

1.2 非语言行为和体态语言 16

1.2.1 人际通信中的非语言行为 16

1.2.2 体态语言传递什幺样的信息 19

1.2.3 体态语言与语言通信的关係 20

1.2.4 体态语言的信息集群 21

1.3 非语言通信与社交行为 22

1.3.1 非语言行为线索与社交信号 24

1.3.2 面对面的社交行为 26

1.4 社交信息处理和社交智慧型 27

1.4.1 社交能力与动作理解 27

1.4.2 社交信息处理 28

1.4.3 社交智慧型 30

1.5 以人为中心的人机互动正在走向现实 32

1.5.1 “人—机器人互动” 32

1.5.2 计算机为媒介的远程互动系统 35

1.5.3 背景智慧型和智慧型辅助生活 38

参考文献 38

第2章 动作理解的心理和神经机制基础 48

2.1 动作理解中所涉及的问题 49

2.2 共同编码理论简介 54

2.3 动作的表示和内容 59

2.3.1 动作是什幺和动作的产生 60

2.3.2 运动想像是进入动作表示阶段的视窗 61

2.3.3 动作意图、规划、準备和执行之间的关係 65

2.3.4 人类视觉系统中的子系统 66

2.3.5 动作表示内容 67

2.4 镜面神经系统和它在动作识别中的作用 69

2.4.1 猴子和人体中的镜面神经系统 70

2.4.2 镜面神经系统在动作识别和理解中的功能 71

2.5 动作的共享表示 75

2.5.1 动作表示的不同层次 75

2.5.2 语义表示和实用表示 76

2.5.3 共享的是感知表示还是运动表示 77

2.5.4 动作表示的方式 78

2.6 人体与物体的互动与可承受性 80

2.6.1 Gibson的可承受性理论 81

2.6.2 可承受性与动作理解 83

2.6.3 可承受性和与物体互动 87

2.7 人类动作理解中的功能机理和神经网路 89

2.7.1 视觉理解理论简介 90

2.7.2 对基于计算机视觉的动作理解的启发 92

参考文献 95

第3章 基于觉察上下境计算的体态语言理解 103

3.1 体态语言理解问题的本质 104

3.1.1 体态语言是人类的自然行为 104

3.1.2 体态语言线索、体态语言信号和体态语言 105

3.1.3 体态语言理解需要觉察上下境计算的支持 107

3.2 体态语言线索检测 108

3.3 体态语言信号检测 110

3.4 上下境和上下境模型 112

3.4.1 上下境信息在体态语言理解中的作用 112

3.4.2 上下境的定义 113

3.4.3 上下境模型 116

3.5 觉察上下境计算与系统 119

3.5.1 觉察上下境系统组成 121

3.5.2 觉察上下境系统的套用和性能 124

3.5.3 人体行为理解的研究现状和存在问题 125

3.6 视觉信息处理中上下境的影响 128

3.6.1 人类视觉系统中上下境影响的研究 129

3.6.2 基于上下境的计算机视觉处理 132

3.6.3 觉察上下境的计算机视觉处理 137

3.7 基于觉察上下境计算的体态语言理解 139

3.7.1 基于动态上下文模型的群体互动行为分析 139

3.7.2 基于觉察上下境计算的人体日常活动识别和理解 142

3.7.3 支持觉察上下境计算的分散式多模态信息处理系统 145

参考文献 146

第4章 基于广义弹性运动跟蹤的人体运动分析 155

4.1 研究现状 157

4.1.1 弹性运动跟蹤的研究现状以及本章研究思路的提出 157

4.1.2 与广义弹性运动跟蹤相关的研究工作 158

4.2 基础弹性运动模型 159

4.2.1 弹性运动的纤维束表示 159

4.2.2 基于纤维束的融合思路 160

4.2.3 混合的变换隐马尔科夫模型（MTHMM） 161

4.2.4 模型的推理算法 165

4.2.5 实验结果与讨论 170

4.2.6 小结 176

4.3 具有分类机制的弹性运动模型 177

4.3.1 弹性运动的分段纤维束表示以及分类机制的思路 177

4.3.2 具有分类机制的混合变换隐马尔科夫模型（MTHMM-C） 179

4.3.3 模型的推理算法 181

4.3.4 实验结果与讨论 187

4.3.5 小结 193

4.4 广义弹性运动跟蹤的套用 194

4.4.1 （半）自动建模 194

4.4.2 人头姿态估计 195

4.4.3 基于广义弹性运动跟蹤的运动描述 196

参考文献 198

第5章 人体定位与体态估计 201

5.1 基于多摄像机的人体粗定位 202

5.1.1 多摄像机环境下的几何约束 203

5.1.2 多摄像机人体定位算法 205

5.1.3 实验结果 207

5.1.4 小结 211

5.2 多摄像机下人体头肩部轮廓跟蹤与朝向估计 212

5.2.1 多视角轮廓约束 213

5.2.2 头肩部轮廓的形状表示和机率模型 215

5.2.3 多视角联合跟蹤模型 224

5.2.4 度量表示与图像度量模型 229

5.2.6 实验结果分析 230

5.2.7 小结 233

5.3 基于梯度朝向直方图的头部姿势估计 234

5.3.1 基于梯度朝向直方图的二阶统计特徵 237

5.3.2 线性子空间方法 238

5.3.3 实验结果 239

5.3.4 小结 248

参考文献 249

第6章 可容忍视角、位置变化的人体动作识别 251

6.1 基于时空表示的动作识别研究现状 251

6.1.1 基于多视角样本 255

6.1.2 基于不变数表示和不变数约束 256

6.2 容忍视角变化的体态表示——包容形状 258

6.2.1 动作识别中的视角变化 258

6.2.2 预备分析 259

6.2.3 包容形状的定义和推导 260

6.2.4 动作识别实验 263

6.2.5 非正交下双摄像机配置下的包容形状 268

6.3 容忍位置变化和遮挡的自适应包容形状 271

6.3.1 容忍位置变化的多摄像机系统 272

6.3.2 容忍遮挡的自适应包容形状 279

6.4 动作识别系统 284

6.4.1 动作识别系统流程 284

6.4.2 人体检测和特徵提取 285

6.4.3 体态表示和数据预处理 286

6.5 结论和展望 291

参考文献 292

第7章 日常生活动作识别与行为分析 295

7.1 基于计算机视觉的日常活动（ADL）识别和理解 296

7.1.1 ADL识别和理解所面临的技术挑战 296

7.1.2 ADL识别方法研究的现状 300

7.1.3 基于计算机视觉的ADL识别的关键课题 305

7.1.4 日常生活行为理解 311

7.1.5 上下境信息的建模和使用 316

7.2 容忍视角和距离变化的动作识别 317

7.2.1 分层的动作识别 318

7.2.2 多视角资料库IXMAS 319

7.2.3 关注“焦点运动”的动作识别 321

7.2.4 特徵提取与动作表示 323

7.2.5 基于VSI-Surf表示的动作识别方法 332

7.3 支持觉察上下境计算的活动分析模型 336

7.3.1 日常生活场景中的上下境 338

7.3.2 觉察上下境的行为分析模型 341

7.4 基于ADL-DBN模型的行为线上推理 347

7.4.1 研究平台与套用场景 348

7.4.2 底层视觉特徵的提取 350

7.4.3 环境上下境 353

7.4.4 多层次动态贝叶斯网模型 354

7.4.5 实验结果 359

7.5 结论与展望 364

参考文献 365

第8章 基于动态上下境模型的群体行为分析 376

8.1 群体互动行为分析的关键问题及研究现状 376

8.1.1 会议群体动作分析中的关键问题 377

8.1.2 会议动作自动分析的研究现状 380

8.1.3 基于动态上下境模型的会议动作自动分析 382

8.2 面向群体互动行为分析的动态上下境模型 383

8.2.1 群体互动行为分析中的上下境定义 384

8.2.2 动态上下境的分层结构 385

8.2.3 动态上下境的模型的结构 388

8.2.4 动态上下境模型的运行机制 390

8.3 觉察上下境的多目标检测与跟蹤算法 391

8.3.1 方法概述 393

8.3.2 人体检测 396

8.3.3 人体跟蹤 399

8.3.4 高层上下境推理 402

8.3.5 个体局部特徵检测 403

8.3.6 实验结果 404

8.4 事件驱动的多层次DBN模型 410

8.4.1 群体互动场景中的事件检测 411

8.4.2 事件驱动的多层次DBN模型 412

8.4.3 实验结果 420

8.5 基于动态上下境的多层次事件自适应检测方法 426

8.5.1 群体互动场景中的事件层次与处理粒度 427

8.5.2 多层次事件自适应检测方法 428

8.5.3 多层次事件自适应检测方法在会议分析中的套用 433

8.6 小结 445

参考文献 446

第9章 支持觉察上下境计算的分散式多模态信息系统 451

9.1 引论 451

9.2 面向套用的服务共享模型（A-SSM） 452

9.2.1 模型总体框架 452

9.2.2 模型组成定义 453

9.2.3 基于本体论的计算服务资源管理 455

9.3 基于服务质量（QoS）的计算服务资源选择策略 458

9.3.1 QoS计算参考公式 458

9.3.2 基于层次分析法（AHP）理论估计属性权重 459

9.3.3 计算服务资源选择算法 460

9.4 适应服务共享模型的觉察上下境计算 461

9.4.1 觉察上下境计算的“基元” 461

9.4.2 觉察上下境计算算法的“基元”化组织 466

9.5 分散式觉察上下境计算系统的总体结构设计 467

9.6 分散式处理的总体结构设计 468

9.6.1 数据/信息处理分析 468

9.6.2 服务进程设计 469

9.7 通用化平台的实现 471

9.8 日常行为理解与隐式互动实例研究 473

9.8.1 系统测试实验 473

9.8.2 隐式互动实验环境及硬体配置 475

9.8.3 实验数据的採集 476

9.8.4 实验数据的标注 479

9.8.5 知识辅助行为推理方法的实施 480

9.9 小结 482

参考文献 483

附录A 三维圆柱人体模型 486

附录B 摄像机偏离引起的包容形状误差分析 488