新書推薦:
《
小原流花道技法教程
》
售價:HK$
109.8
《
少女映像室 唯美人像摄影从入门到实战
》
售價:HK$
110.9
《
詹姆斯·伍德系列:不负责任的自我:论笑与小说(“美国图书评论奖”入围作品 当代重要文学批评家詹姆斯·伍德对“文学中的笑与喜剧”的精湛研究)
》
售價:HK$
87.4
《
武当内家散手
》
售價:HK$
50.4
《
诛吕:“诸吕之乱”的真相与吕太后时期的权力结构
》
售價:HK$
99.7
《
炙野(全2册)
》
售價:HK$
78.2
《
女人的胜利
》
售價:HK$
55.9
《
数据有道:数据分析+图论与网络+微课+Python编程(鸢尾花数学大系:从加减乘除到机器学习)
》
售價:HK$
266.6
|
編輯推薦: |
近年来,随着短视频平台和直播带货行业的兴起,通过绘画、3D建模等结合动作捕捉或人工智能的方式建立起来的虚拟偶像和网红越来越多地出现在人们的视野,吸引着越来越多的人参与虚拟偶像/网红的追捧和制作。
虚拟偶像的实现方式主要有两大流派,基于动作捕捉的实现和基于人工智能的方式。由于传统的基于动作捕捉的方式硬件成本昂贵,所以越来越多的人开始采用人工智能的方式制作虚拟偶像或网红的视频进行直播宣传。
本书从实现虚拟人物所需的知识入手,详细地介绍虚拟偶像制作的全流程,包括Python编程知识、2D/3D虚拟偶像的建模、基于TensorFlow和PyTorch人工智能框架的算法实现,如通过视频和实时视频流输入生成表情迁移后的虚拟人物,再结合语音识别、人机对话引擎和口型匹配算法等生成自己专属的带有互动属性的虚拟人物或偶像。
学习门槛低,人人都可以上手。本书是国内首本介绍使用AI技术制作虚拟偶像的专业著作,深入浅出,实例丰富,可操作性强,适合有一定IT背景并对虚拟产业感兴趣的广大读者阅读。
|
內容簡介: |
本书从虚拟偶像的发展历程和制作流程入手,通过通俗的语言和多方位的视角,介绍了2D\\3D建模工具和深度学习框架TensorFlow与Pytorch在虚拟偶像制作中的应用,原理与实践并重,同时结合大量实际范例讲解如何建模、AI表情动作迁移以及人机交互等制作虚拟偶像的完整流程。从拟真人的人物建模到表情动作的实时捕捉,再到传输到动作引擎中驱动人物动作,向读者展现了人工智能技术的强大与魅力。 本书深入浅出,实操性和系统性强,适合有一定IT背景并对虚拟产业关注的广大读者使用。
|
關於作者: |
马健健,上海交通大学软件工程硕士,先后供职于平安、惠普、美国强生等国内外公司,担任软件架构和数据分析技术经理,拥有14年软件开发架构和技术管理经验;目前就职于上海某知名汽车公司担任数据平台技术经理,从事大数据处理、挖掘等研究和实施工作。
张 翔,上海交通大学软件工程硕士,从业十余年,先后就职于巨人网络、诺亚财富、爱奇艺等互联网公司,主要从事移动端开发工作,拥有丰富的软件开发经验。
|
目錄:
|
第1章 虚拟偶像概述 1
1.1 什么是虚拟偶像 1
1.2 虚拟偶像的发展历程 3
1.3 虚拟偶像的现状和行业应用 5
1.4 小结 5
第2章 Python基础入门 7
2.1 搭建Python编程环境 7
2.1.1 Python软件的安装 8
2.1.2 编写个Python程序 9
2.1.3 Python命名规范 10
2.1.4 Python关键字 11
2.2 Python数据类型 11
2.2.1 数字类型 12
2.2.2 运算符 16
2.2.3 字符串 18
2.2.4 容器 19
2.3 Python控制结构 21
2.3.1 选择结构 22
2.3.2 循环结构 23
2.4 Python函数 25
2.4.1 函数定义 25
2.4.2 函数调用 26
2.4.3 匿名函数 27
2.5 Python模块 27
2.5.1 导入模块 28
2.5.2 模块的搜索路径 29
2.6 Python面向对象编程 30
2.6.1 Python类创建和实例 30
2.6.2 Python内置类属性 32
2.6.3 类的继承 33
2.7 小结 35
第3章 常用的机器学习框架介绍 36
3.1 TensorFlow基础及应用 37
3.1.1 TensorFlow概述 37
3.1.2 TensorFlow的安装 38
3.1.3 TensorFlow的使用 41
3.1.4 人脸检测算法 42
3.2 PyTorch基础及应用 55
3.2.1 PyTorch概述 55
3.2.2 PyTorch的安装 56
3.2.3 PyTorch的使用 57
3.2.4 基于PyTorch的动作同步算法 67
3.3 小结 70
第4章 虚拟偶像模型创建工具 71
4.1 Live2D建模 71
4.1.1 Live2D安装 72
4.1.2 Live2D人物建模 75
4.1.3 使用模板功能 87
4.1.4 Live2D Cubism Viewer简介 90
4.2 三维建模 93
4.2.1 三维模型制作流程 94
4.2.2 三维制作软件 94
4.2.3 Blender角色建模流程 95
4.3 小结 100
第5章 如何创造虚拟偶像 101
5.1 虚拟偶像运动和交互的实现方式 101
5.2 基于付费的商业化解决方案 102
5.2.1 建立人物3D模型 103
5.2.2 选择3D动画工具 104
5.2.3 全身动作捕捉系统(硬件) 105
5.2.4 采用iPhone X的面部识别方式 106
5.3 免费的人工智能方案 117
5.3.1 机器学习驱动3D模型——人体动作 117
5.3.2 机器学习驱动图片——面部表情 140
5.4 小结 142
第6章 基于2D的虚拟偶像实现方案 143
6.1 动作捕捉技术 144
6.1.1 ARKit框架面部追踪 146
6.1.2 人脸面部识别 153
6.2 Live2D模型接入 154
6.2.1 Live2D Cubism SDK 155
6.2.2 Live2D模型文件 157
6.2.3 CubismFramework 165
6.3 Cubism SDK ARKit实现 170
6.3.1 Cubism SDK集成 171
6.3.2 ARKit人脸追踪添加 173
6.3.3 Live2D模型添加 176
6.4 Live2D FaceRig方案实现 194
6.4.1 FaceRig概述 194
6.4.2 FaceRig的基本功能 196
6.4.3 导入Live2D模型 198
6.5 小结 199
第7章 基于3D的虚拟偶像实现方案 200
7.1 3D虚拟偶像项目简介 201
7.2 建立人物3D模型 201
7.3 虚拟偶像拟人化——预制表情和动作集 207
7.4 实现和用户交互——构建语音对话机器人 209
7.5 口型对齐算法应用 211
7.6 模型部署 213
7.7 服务调用和测试 225
7.8 小结 226
参考文献 227
|
內容試閱:
|
早在20世纪90年代日本就出现了虚拟偶像并进行专辑发售,后来基于音乐软件制作的3DCG的“初音未来”被称为虚拟偶像的成功典范。近年来,随着短视频平台和直播带货行业的兴起,通过绘画、3D建模等结合动作捕捉或人工智能的方式建立起来的虚拟偶像和网红越来越多地出现在人们的视野,吸引着越来越多的人参与虚拟偶像网红的追捧和制作。目前虚拟偶像实现方式上主要有两大流派,基于动作捕捉的实现和基于人工智能的方式。由于传统的基于动作捕捉的方式硬件成本昂贵,入门门槛较高,普通人难以企及,所以越来越多的人和团队开始采用人工智能的实现方法。
遗憾的是,国内虚拟人物\\偶像书籍的短缺限制了广大普通读者的创作,网络上虽然能够找到一些资料,但大多是一些碎片化的信息,对读者的帮助十分有限。基于此,本书从基本的概念入手,原理结合实践,对虚拟人物\\偶像制作流程及其用到的建模工具和人工智能技术进行详细介绍,包括3D建模的基本方式、基于TensorFlow和PyTorch的人工智能框架以及通过视频和实时视频流输入生成表情迁移后的虚拟人物,结合语音识别、人机对话引擎和口型匹配算法等生成自己专属的带有互动属性的虚拟人物和偶像,旨在达到降低学习门槛、人人都可以上手的效果。
本书主要包含三部分:部分是基础理论部分,从行业现状和发展趋势的角度来介绍什么是虚拟偶像以及应用的行业,同时对目前业界主流的虚拟偶像实现方式进行概述,让读者对此有一个清晰全面的认识;第二部分是应用实践,介绍基于Python的TensorFlow和PyTorch的机器学习框架的算法实现部分,从动作同步、表情迁移以及口型同步等方法介绍作为基础的框架技术;第三部分是项目实践,介绍2D和3D虚拟偶像的实现方式,完整展示从零到一的制作流程。
本书深入浅出,实操性和系统性强,适合有一定IT背景并对虚拟产业关注的广大读者使用。
限于编者水平所限,书中难免存在不当之处,敬请业界专家和广大读者批评指正。
后特别感谢王金柱编辑给予的帮助和指导,以及好友的支持和鼓励。
马健健
2022年1月10日
|
|