一.人脸业务场景综述

（1）生物信息识别

人脸是生物信息识别邻域重要研究方向之一，生物信息识别领域主要包括两大方面：生物特征和行为特征。人脸识别是属于生物特征非常重要的研究内容。行为特征主要包括了姿态的识别，手势的识别，步态的识别等和人的行为模式的识别。

生物特征有手形，指纹，脸型，虹膜，视网膜，脉搏，耳廓等

生物识别技术：基因识别，手形识别，面部识别，掌纹识别，指纹识别，虹膜识别

（2）人脸业务场景

1.人脸检测

检测出图像中人脸所在位置的一项技术，为我们人脸业务提供基础技术支撑。

人脸检测面临的挑战：

.姿态和表情的变化

.不同人的外观差异

.光照，遮挡，视角

.不同大小，位置

2.人脸关键点

定位出人脸上五官等关键点坐标的一项技术，人脸美颜，活体检测等基础

人脸关键点的挑战：

.人脸外观差异

.角度，姿态，遮挡等问题

.实时性要求高

.稠密关键点（>68点）

3.人脸属性

识别出人脸的性别，年龄，姿态，表情等属性值的一项技术，人脸分析的基础

人脸属性的挑战：

.人脸外观差异

.角度.姿态，遮挡等问题

4.人脸对比

计算两个人脸之间的相似度，人脸验证（判断人脸是否为同一人），人脸识别（对当前人脸身份进行判断），人脸检索（对输入的人脸图像与数据库的人脸相似度的排序），人脸聚类（根据人脸相似度，对人脸组织进行分类）的基础

5.其他人脸业务场景

人脸活体检测，；面相分析；明星脸匹配；人脸美妆，美颜；痘痘，皱纹检测；情绪识别；颜值评分；人脸生成；人脸风格化；人脸换脸。

二.人脸业务流程

数据采集->数据预处理->特征提取->模型构建->模型应用->模型评估

人脸采集问题：1.不同性别分布2.不同年龄分布3.不同人种分布4.不同脸型分布5.人脸没有正对摄像头，角度倾斜6.清晰与不清晰照片7.单张人脸，多张人脸8.测试所处的环境，光线变化9.不同场景：室内，室外，车站，超市等

三.人脸资源-----相关数据集

1.PubFig:Public Figures Face Database

2.Large-scale CelebFaces Attributes(CelebA)Dataset

3.Colorferet

4.Multi-Task Facial Landmark(MTFL)dataset

5.BioID Face Database - FaceDB

6.Labeled Faces in the Wild Home(LFW)

7.Person identification in TV series

8.CMUVASC&PIE Face dataset

9.YouTube Faces

10.Wider-face

11.MegaFace

12.CASIA-FaceV5

13.The CNBC Face Database

14.CASIA-3D FaceV1

15.IMDB-WIKI

16.FDDB

17.Caltech人脸数据库

18.The Japanse Female Facial Expression(JAFFE)Database

19./perception_/article/details/80656186

(里面有些数据集可以下载）

四.人脸资源 --相关厂商（能够提供人脸业务相关的接口）

下面列出几家著名的公司，在人脸业务方面都属于国内外都比较顶尖的水平。

1.Face++旷视

2.腾讯优图.AI开放平台

3.商汤

4.百度.AI开放平台

5.迅飞开放平台

6.LINKFACE

7.TUPUTECH

五.人脸检测问题

人脸的位置，我们是通过一个矩形框来表示的，标注出人脸区域的位置信息。对于矩形，我们通过[x,y,w,h]进行表示，x,y表示左上角的坐标，wh表示宽和高。也可以用[x1,y1,x2,y2]来表示矩形，分别表示左上角和右下角的坐标。

人脸检测的目的就是区分人脸和背景，属于二分类。

人脸标注方法：1.通过矩形框标注人脸的位置2.椭圆形进行标注（中心点坐标，长轴和短轴的长度，倾斜角）

人脸检测性能评价指标：

1.检测率（正确检测/真实人脸），误报率（错误检测/总共检测）

.每个标签只允许有一个检测与之相对应.重复检测会被是视为错误检测

2.ROC曲线,PR曲线

3.速度:FPS(1秒中内能够处理多少张图片）

4.IOU（越大越好，A为检测框，B为真实人脸）

A与B的交集/A与B的并集

5.准确度和召回率

P是指当前的样本中正样本的数量 Y是预测为正样本的数量

n是指当前的样本中负样本的数量 N是预测为负样本的数量

True Positives 对于正样本预测为正样本的数量 False Positives 对于负样本预测为正样本的数量

False Negatives对于正样本预测为负样本的数量 True Negatives对于负样本预测为负样本的数量

分类正确的样本数量=TP+TN

accuracy=TP+TN/P+n

（1）对于PR曲线，我们需要计算Precision和Recall

在IOU阈值固定时，PR只是一个值，通过多组阈值，就可以画出PR曲线

（2）对于ROC曲线，我们需要计算tp rate（纵坐标） 和fp rate（横坐标），前提是当前图片中只有一个人脸（FDDB数据集）

（3）AP：计算出当前曲线同坐标轴包围的区域，通常采取11个采样点的平均精度值来代替AP值

六.人脸检测方法介绍

1.传统的人脸检测方法

（1）VJ框架（Haar-like积分图特征,分析纹理特征，转化为统计直方图来表示这个区域的特征向量；然后将特征向量输入到分类器Adaboost中，最后经过NMS进行筛选)

缺点：进行候选框提取的时候，需要提取出非常多的候选框，需要很大的计算量

（2）DPM（对HOG算法进行改进，用SVM作为分类器）

（3)Casecadet(通过构造多个分类器，对图片人脸检测采用分级的方式，每一级对检测出的人脸进行筛选）

2.从粗粒度到细粒度的级联模型

（1）Cascade CNN

采用尺度级联（伴随输入的图片大小由12*12->24*24->48*48不断增大，我们检测到的人脸精度也就越来越高）

（2）Faceness-Net

人脸部件+人脸区域

（3）MTCNN/ICC-CNN/HyperFace

人脸+关键点多任务

3.通用目标检测算法+基于人脸问题的优化

通用目标检测算法发展历程：

人脸检测算法：

相关Paper&资源汇总:/article/284277

七.人脸检测问题挑战及解决思路

1.人脸可能出现在图像中的任何一个位置

2.人脸可能有不同的大小

3.人脸在图像中可能有不同的视角和姿态

4.人脸可能部分被遮挡

小人脸检测问题：

1.下采样倍率很大，人脸区域基本消失（采用尺度不敏感/多尺度的策略）

2.相对于感受野和anchor的尺寸来说，人脸的尺寸太小

3.Anchor匹配策略（IOU小且变化敏感）（改变IOU计算方法）

4.正负样本比例失衡

(利用难例挖掘提高小人脸的准确度，加入更好的loss,标签的平滑，数据增强，采用上下文信息）

下一期：TensorFlow+SSD编程实战及模型优化