一.人脸业务场景综述
(1)生物信息识别
人脸是生物信息识别邻域重要研究方向之一,生物信息识别领域主要包括两大方面:生物特征和行为特征。人脸识别是属于生物特征非常重要的研究内容。行为特征主要包括了姿态的识别,手势的识别,步态的识别等和人的行为模式的识别。
生物特征有手形,指纹,脸型,虹膜,视网膜,脉搏,耳廓等
生物识别技术:基因识别,手形识别,面部识别,掌纹识别,指纹识别,虹膜识别
(2)人脸业务场景
1.人脸检测
检测出图像中人脸所在位置的一项技术,为我们人脸业务提供基础技术支撑。
人脸检测面临的挑战:
.姿态和表情的变化
.不同人的外观差异
.光照,遮挡,视角
.不同大小,位置
2.人脸关键点
定位出人脸上五官等关键点坐标的一项技术,人脸美颜,活体检测等基础
人脸关键点的挑战:
.人脸外观差异
.角度,姿态,遮挡等问题
.实时性要求高
.稠密关键点(>68点)
3.人脸属性
识别出人脸的性别,年龄,姿态,表情等属性值的一项技术,人脸分析的基础
人脸属性的挑战:
.人脸外观差异
.角度.姿态,遮挡等问题
4.人脸对比
计算两个人脸之间的相似度,人脸验证(判断人脸是否为同一人),人脸识别(对当前人脸身份进行判断),人脸检索(对输入的人脸图像与数据库的人脸相似度的排序),人脸聚类(根据人脸相似度,对人脸组织进行分类)的基础
5.其他人脸业务场景
人脸活体检测,;面相分析;明星脸匹配;人脸美妆,美颜;痘痘,皱纹检测;情绪识别;颜值评分;人脸生成;人脸风格化;人脸换脸。
二.人脸业务流程
数据采集->数据预处理->特征提取->模型构建->模型应用->模型评估
人脸采集问题:1.不同性别分布2.不同年龄分布3.不同人种分布4.不同脸型分布5.人脸没有正对摄像头,角度倾斜6.清晰与不清晰照片7.单张人脸,多张人脸8.测试所处的环境,光线变化9.不同场景:室内,室外,车站,超市等
三.人脸资源-----相关数据集
1.PubFig:Public Figures Face Database
2.Large-scale CelebFaces Attributes(CelebA)Dataset
3.Colorferet
4.Multi-Task Facial Landmark(MTFL)dataset
5.BioID Face Database - FaceDB
6.Labeled Faces in the Wild Home(LFW)
7.Person identification in TV series
8.CMUVASC&PIE Face dataset
9.YouTube Faces
10.Wider-face
11.MegaFace
12.CASIA-FaceV5
13.The CNBC Face Database
14.CASIA-3D FaceV1
15.IMDB-WIKI
16.FDDB
17.Caltech人脸数据库
18.The Japanse Female Facial Expression(JAFFE)Database
19./perception_/article/details/80656186
(里面有些数据集可以下载)
四.人脸资源 --相关厂商(能够提供人脸业务相关的接口)
下面列出几家著名的公司,在人脸业务方面都属于国内外都比较顶尖的水平。
1.Face++旷视
2.腾讯优图.AI开放平台
3.商汤
4.百度.AI开放平台
5.迅飞开放平台
6.LINKFACE
7.TUPUTECH
五.人脸检测问题
人脸的位置,我们是通过一个矩形框来表示的,标注出人脸区域的位置信息。对于矩形,我们通过[x,y,w,h]进行表示,x,y表示左上角的坐标,wh表示宽和高。也可以用[x1,y1,x2,y2]来表示矩形,分别表示左上角和右下角的坐标。
人脸检测的目的就是区分人脸和背景,属于二分类。
人脸标注方法:1.通过矩形框标注人脸的位置2.椭圆形进行标注(中心点坐标,长轴和短轴的长度,倾斜角)
人脸检测性能评价指标:
1.检测率(正确检测/真实人脸),误报率(错误检测/总共检测)
.每个标签只允许有一个检测与之相对应.重复检测会被是视为错误检测
2.ROC曲线,PR曲线
3.速度:FPS(1秒中内能够处理多少张图片)
4.IOU(越大越好,A为检测框,B为真实人脸)
A与B的交集/A与B的并集
5.准确度和召回率
P是指当前的样本中正样本的数量 Y是预测为正样本的数量
n是指当前的样本中负样本的数量 N是预测为负样本的数量
True Positives 对于正样本预测为正样本的数量 False Positives 对于负样本预测为正样本的数量
False Negatives对于正样本预测为负样本的数量 True Negatives对于负样本预测为负样本的数量
分类正确的样本数量=TP+TN
accuracy=TP+TN/P+n
(1)对于PR曲线,我们需要计算Precision和Recall
在IOU阈值固定时,PR只是一个值,通过多组阈值,就可以画出PR曲线
(2)对于ROC曲线,我们需要计算tp rate(纵坐标) 和fp rate(横坐标),前提是当前图片中只有一个人脸(FDDB数据集)
(3)AP:计算出当前曲线同坐标轴包围的区域,通常采取11个采样点的平均精度值来代替AP值
六.人脸检测方法介绍
1.传统的人脸检测方法
(1)VJ框架(Haar-like积分图特征,分析纹理特征,转化为统计直方图来表示这个区域的特征向量;然后将特征向量输入到分类器Adaboost中,最后经过NMS进行筛选)
缺点:进行候选框提取的时候,需要提取出非常多的候选框,需要很大的计算量
(2)DPM(对HOG算法进行改进,用SVM作为分类器)
(3)Casecadet(通过构造多个分类器,对图片人脸检测采用分级的方式,每一级对检测出的人脸进行筛选)
2.从粗粒度到细粒度的级联模型
(1)Cascade CNN
采用尺度级联(伴随输入的图片大小由12*12->24*24->48*48不断增大,我们检测到的人脸精度也就越来越高)
(2)Faceness-Net
人脸部件+人脸区域
(3)MTCNN/ICC-CNN/HyperFace
人脸+关键点多任务
3.通用目标检测算法+基于人脸问题的优化
通用目标检测算法发展历程:
人脸检测算法:
相关Paper&资源汇总:/article/284277
七.人脸检测问题挑战及解决思路
1.人脸可能出现在图像中的任何一个位置
2.人脸可能有不同的大小
3.人脸在图像中可能有不同的视角和姿态
4.人脸可能部分被遮挡
小人脸检测问题:
1.下采样倍率很大,人脸区域基本消失(采用尺度不敏感/多尺度的策略)
2.相对于感受野和anchor的尺寸来说,人脸的尺寸太小
3.Anchor匹配策略(IOU小且变化敏感)(改变IOU计算方法)
4.正负样本比例失衡
(利用难例挖掘提高小人脸的准确度,加入更好的loss,标签的平滑,数据增强,采用上下文信息)
下一期:TensorFlow+SSD编程实战及模型优化