AI禁烟可还行！吸烟识别+人脸识别

哈喽，大家好。

今天给大家分享一个吸烟识别+人脸识别的项目。很多公共场所、生产场所和学校，都有禁烟的要求，做一个禁烟的监控，让AI自动识别吸烟行为，并识别是谁在吸烟，还是很有必要的。

用目标检测算法判断吸烟行为，提取吸烟者的人脸，用人脸识别算法判断谁在吸烟。思路比较简单，但细节处理起来还是稍微有些麻烦。

项目用到训练数据和源码，都已经打包好了。还是老样子，评论区获取。

1. 检测香烟

我用了 5k 张抽烟的标记数据，作为训练数据

放在dataset目录下。

训练YOLOv5目标检测模型。

第一步，复制data/coco128.yaml为smoke.yaml，并修改数据集目录和类别配置信息

path: ../dataset/smoke # dataset root dir
train: images/train  # train images (relative to 'path') 128 images
val: images/test  # val images (relative to 'path') 128 images
test:  # test images (optional)

# Classes
names:
  0: smoke

第二步，复制./models/yolov5s.yaml为smoke.yaml​，修改nc

nc: 1  # number of classes

第三步，下载yolov5s.pt​预训练模型，放在{yolov5目录}/weights目录中

执行下面命令，训练即可

python ./train.py --data ./data/smoke.yaml --cfg ./models/smoke.yaml --weights ./weights/yolov5s.pt --batch-size 30 --epochs 120 --workers 8 --name smoke --project smoke_s

训练完成后可以看到如下输出：

准召还凑合。

训练完成后，可以找到best.pt位置，后面用它来做香烟检测。

model = torch.hub.load('../28_people_counting/yolov5', 'custom', './weights/ciga.pt', source='local')

results = self.model(img[:, :, ::-1])
        pd = results.pandas().xyxy[0]
        ciga_pd = pd[pd['class'] == 0]

能识别到烟后，我们还需要判断，当前是否正在吸烟。

可以用香烟检测框与嘴部检测框计算IOU来判断，说白了，就是判断这两框是否有交集，若有，则认为当前正在吸烟。

嘴部检测框，使用人脸关键点来识别。

2. 人脸识别

人脸识别算法有很多成熟的模型，我们不需要自己训练，直接调库即可。

我这里用的是dlib库，它可以识别人脸 68 个关键点，并根据这 68 个关键点，提取人脸特征。

face_detector = dlib.get_frontal_face_detector()
face_sp = dlib.shape_predictor('./weights/shape_predictor_68_face_landmarks.dat')

dets = face_detector(img, 1)

face_list = []
for face in dets:
    l, t, r, b = face.left(), face.top(), face.right(), face.bottom()

    face_shape = face_sp(img, face)

face_detector​可以检测人脸，返回人脸检测框，face_sp基于人脸检测框，识别人脸 68 个关键点。

从这 68 个关键点中，我们便可以获取到嘴部检测框，用于判断是否正在吸烟。

最后，我们还是希望利用人脸识别算法，识别到谁在吸烟。

第一步，提取人脸特征

face_feature_model = dlib.face_recognition_model_v1('./weights/dlib_face_recognition_resnet_model_v1.dat')

face_descriptor = face_feature_model.compute_face_descriptor(img, face_shape)

face_descriptor​根据人脸 68 个关键点之间的位置、距离，维每张脸计算出一个特征向量。这个原理类似于我们之前分享的word2vec​或者将视频映射到N维向量。

第二步，将现有人脸录入人脸库。我准备了 3 个影视剧中的吸烟行为

从视频中裁剪出人脸，向量化后，写入人脸数据库（用文件代替）

第三步，发生吸烟行为后，我们可以裁剪出吸烟者的人脸，并计算人脸向量，与人脸数据库的特征进行比对，找到最相似的人脸，返回对应的名字

def find_face_name(self, face_feat):
    """
    人脸识别，计算吸烟者名称
    :param face_feat:
    :return:
    """
    cur_face_feature = np.asarray(face_feat, dtype=np.float64).reshape((1, -1))

    # 计算两个向量（两张脸）余弦相似度
    distances = np.linalg.norm((cur_face_feature - self.face_feats), axis=1)
    min_dist_index = np.argmin(distances)
    min_dist = distances[min_dist_index]

    if min_dist < 0.3:
        return self.face_name_list[min_dist_index]
    else:
        return '未知'

这个项目还有很多可以扩展的地方，比如：我提供的视频只有单张脸，实际监控中肯定是多张脸。这时候可以用MOT算法进行行人跟踪，然后再对每个人单独做吸烟识别

还有，可以单独做一个统计区，把识别到的吸烟行为保存，用作警告、处罚的证据。