人眼注视检测：识别用户正在看板上的位置[关闭]

我正在开发一个项目，上面有板和相机。目标是识别正在看黑板的学生，并确定他们视线的位置（在黑板上）。

目前，我计划从以下几个方面来应对挑战：

1. 识别学生面孔
2. 从检测到的面部识别他们双眼的投资回报率
3. 识别他们的眼睛瞳孔/虹膜中心的位置和头部姿势
4. 决定这个人是否在看黑板？
5. 如果是，学生正在看黑板的哪个区域？

到目前为止，我能够做以下事情：

1. 识别面部和眼睛标志以及面部位置向量（X、Y、Z）

下面是代码：

from scipy.spatial import distance as dist
from imutils.video import FileVideoStream
from imutils.video import VideoStream
from imutils import face_utils
from gaze_codefiles import get_head_pose,draw_border,iris_center
import numpy as np
import imutils
import time
import dlib
import cv2

line_pairs = [[0, 1], [1, 2], [2, 3], [3, 0],
              [4, 5], [5, 6], [6, 7], [7, 4],
              [0, 4], [1, 5], [2, 6], [3, 7]]


print("[INFO] loading facial landmark predictor...")
detector = dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor('./shape_predictor_68_face_landmarks.dat')

print("[INFO] camera sensor warming up...")
vs = VideoStream(src=0).start()
(lStart, lEnd) = face_utils.FACIAL_LANDMARKS_IDXS["left_eye"]
(rStart, rEnd) = face_utils.FACIAL_LANDMARKS_IDXS["right_eye"]
# vs = VideoStream(usePiCamera=True).start() # Raspberry Pi
time.sleep(2.0)

while True:
    frame = vs.read()
    frame = imutils.resize(frame, width=400)
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    rects = detector(gray,0)

    for rect in rects:
        (bx,by,bw,bh) = face_utils.rect_to_bb(rect)
        draw_border(frame,(bx,by),(bx+bw,by+bh),(127,255,255),1,10,20)

        shape = predictor(gray,rect)

        shape = face_utils.shape_to_np(shape)

        leftEye = shape[lStart:lEnd]

        rightEye = shape[rStart:rEnd]



        leftEyeHull = cv2.convexHull(leftEye)

        rightEyeHull = cv2.convexHull(rightEye)

        cv2.drawContours(frame, [leftEyeHull], -1, (127, 255, 255), 1)

        cv2.drawContours(frame, [rightEyeHull], -1, (127, 255, 255), 1)

        reprojectdst, euler_angle = get_head_pose(shape)

        image_points = np.float32([shape[17], shape[21], shape[22], shape[26], shape[36],
                            shape[39], shape[42], shape[45], shape[31], shape[35],
                            shape[48], shape[54], shape[57], shape[8]])

        #for start, end in line_pairs:
            #cv2.line(frame, reprojectdst[start], reprojectdst[end], (0, 0, 255))

        for p in image_points:
            cv2.circle(frame, (int(p[0]), int(p[1])), 1, (0,0,255), -1)

        #p1 = (int(shape[34][0]), int(shape[34][1]))
        #p2 = (int(reprojectdst[0][0]), int(reprojectdst[0][1]))

        #cv2.line(frame, p1, p2, (255,0,0), 2)

        cv2.putText(frame, "X: " + "{:7.2f}".format(euler_angle[0, 0]), (20, 20), cv2.FONT_HERSHEY_SIMPLEX,
                            0.5, (127, 255, 255), thickness=1)
        cv2.putText(frame, "Y: " + "{:7.2f}".format(euler_angle[1, 0]), (20, 50), cv2.FONT_HERSHEY_SIMPLEX,
                            0.5, (127, 255, 255), thickness=1)
        cv2.putText(frame, "Z: " + "{:7.2f}".format(euler_angle[2, 0]), (20, 80), cv2.FONT_HERSHEY_SIMPLEX,
                            0.5, (127, 255, 255), thickness=1)

        #cv2.putText(frame,"Left Eye Center is:{}".format(tuple(lefteyecenter)),(20,100),cv2.FONT_HERSHEY_SIMPLEX,0.75, (127, 255, 255), thickness=2)

        #cv2.putText(frame,"Left Eye Center is:{}".format(tuple(righteyecenter)),(20,100),cv2.FONT_HERSHEY_SIMPLEX,0.75, (127, 255, 255), thickness=2)

    cv2.imshow("Frame", frame)
    key = cv2.waitKey(1) & 0xFF

    if key == ord("q"):
        break

cv2.destroyAllWindows()
vs.stop()        

这是相同的输出：

我能够获得双眼的注视方向，现在我只需要将这些矢量投影到现实世界中的 3D 空间（白板或笔记本电脑屏幕）。有人可以指导我吗？

我认为你对这个问题有一个很好的方法：你已经将其分解为子问题。

以 3D 方式定位眼睛。之后，您可以创建一个眼睛所在的平面：眼睛之间的矢量及其法线足以定义该平面。看来您已经找到了面部标志。如果您的检测是二维的，您可以尝试类似的方法this https://docs.opencv.org/4.x/dd/d53/tutorial_py_depthmap.html。有关立体对的更多信息 -> 3D 转换here https://medium.com/@dc.aihub/3d-reconstruction-with-stereo-images-part-1-camera-calibration-d86f750a1ade.

底部图片看起来像GazeML https://github.com/swook/GazeML。了解您使用什么算法进行凝视以及它提供什么样的输出将有所帮助。不管怎样，你应该有两个角度来描述眼睛的方向。这些注视向量从我们在上一步中定义的平面开始。现在您已获得 3D 向量的起点和方向。

如果您只知道 3D 凝视向量的 2D 投影，但知道向量的长度，则可以使用数学来求解 3D 凝视向量。请参阅矢量投影 https://en.wikipedia.org/wiki/Vector_projection.

您可能需要先校准相机，因为它们有不同类型的失真。您可以通过在黑板上放置测试图片（例如直线）并让测试对象用眼睛跟随该图片来校准算法。然后您可以计算误差并进行必要的调整。

祝你好运！