【Lecture 5.5】Opecv面部识别 Project

2023-05-16

Hint

要访问zip文件中的 newspapers ，必须首先使用 Zipfile 库打开zip文件，然后使用 .infolist() 遍历zip文件中的对象（newspapers ），尝试编写一个简单的程序以遍历 zipfile，打印出文件名以及使用 display()。请记住，PIL.Image 库可以打开 .open() 文件，并且 zipfile 中的 .infolist() 中的项目每个都像显示文件一样显示在Python中（these are called “file-like” objects）。
您可以不必花费大量时间在 PIL.Image 文件和 byte arrays 之间进行转换。我们可以将PIL.Image对象存储在a global data structure中，比如一个列表或者按名称索引的字典？然后，您可以通过添加诸如在页面上检测到的文本信息或faces的边框之类的信息来进一步处理此数据结构。想想看，一个字典对象的列表，其中列表中的每个元素都有PIL图像、边框和页面上发现的文本（the PIL image, the bounding boxes, and the text discovered on the page），这是存储该数据的一种方便方法。
快速提醒-在Python中，所有字符串就像字符列表一样，但是请记住它们是不可变的列表-更像是元组。但这意味着您可以使用 in 关键字非常轻松地找到子字符串。因此，如果子字符串匹配，以下语句将返回True：
```
if "Christopher" in my_text
```
创建 contact sheet 可能会有些麻烦。但是，如果使用 PIL.Image.thumbnail 函数，则可以调整图像大小而不必担心纵横比。我在创建输出图像时使用了它，也许您也应该使用它！ And check out the lecture on the contact sheet, you want to be careful that you don’t “walk off” the end of the images when creating a row (or column).

The Project

使用前面的模块来深入了解如何完成功能！您必须结合使用Pillow，OpenCV 和 Pytesseract.

The Assignment

输入压缩文件包（ZIP file）里的图像，并使用[内置于python的库]进行处理，以了解如何使用。一个ZIP文件采用几个不同的文件并将其压缩，从而节省空间，成为一个文件。我们提供的ZIP文件中的文件是报纸图像（newspaper images, 就像您在第3周看到的一样）。您的任务是编写python代码，使您可以搜索图像以查找关键字和faces的出现。例如。如果您搜索"pizza"，它将返回报纸页面上所有提及"pizza" 的 faces 的contact sheet。
这将测试您学习新的python库的能力（[library]（https://docs.python.org/3/library/zipfile.html）），您使用OpenCV检测面部的能力，以及使用 tesseract 进行OCR检测的能力，以及使用PIL将图像合成在一起成为contact sheets的能力。
报纸的每一页均作为单个PNG图像保存在名为[images.zip]（https://qcmjfshijgtwgslumfrhpm.coursera-apps.org/notebooks/readonly/images.zip）的文件中。这些报纸是英文的，包含各种故事，广告和图片。注意：此文件很大（〜200 MB），可能需要一些时间才能使用，我鼓励您使用[small_img.zip]（https://qcmjfshijgtwgslumfrhpm.coursera-apps.org/notebooks/readonly/small_img .zip）进行测试。
这是预期输出的示例。使用[small_img.zip]（https://qcmjfshijgtwgslumfrhpm.coursera-apps.org/notebooks/readonly/small_img.zip）文件，如果我搜索字符串“ Christopher”，则应该看到以下图像：

If I were to use the images.zip file and search for “Mark” I should see the following image (note that there are times when there are no faces on a page, but a word is found!):

large_project

Note: That big file can take some time to process - for me it took nearly ten minutes! Use the small one for testing.

import zipfile

from PIL import Image
import pytesseract
import cv2 as cv
import numpy as np

# loading the face detection classifier
face_cascade = cv.CascadeClassifier('readonly/haarcascade_frontalface_default.xml')

# the rest is up to you!

import zipfile

from PIL import Image
import pytesseract
import cv2 as cv
import numpy as np
from IPython.display import display
from PIL import ImageDraw
from PIL import ImageFont
font = ImageFont.truetype('readonly/fanwood-webfont.ttf', 20)

# loading the face detection classifier
face_cascade = cv.CascadeClassifier('readonly/haarcascade_frontalface_default.xml')

# the rest is up to you!



# 1. main 循环读取压缩包里的每一个文件
def main():
    # 1. 获取图片列表
    png_dict = {}
    i = 0
    data_set = input('Please enter dataset(readonly/small_img.zip or readonly/images.zip)')
    z = zipfile.ZipFile(data_set, "r")
    for f in z.infolist():
        key = 'a-'+ str(i) + '.png'
        img_png = z.open(f)
        img = Image.open(img_png)
        png_dict[key] = img
        i = i+1
# 2. -> 对这个页面进行文字检测- 如果存在：进行面部识别 输出faces的坐标
    string_to_srarch = input('Please enter Mark or Chris to test: ')
    
    for png_key in png_dict:
        png = png_dict[png_key]
        png.save('readonly/png.png')
    # 对png 执行OCR 返回字符串, png 是Image object
        png_gray = png.convert('L')
        text = pytesseract.image_to_string(png_gray)
        print("++++++start++++++", png_key)
        if string_to_srarch in text:
            
        # 对图片进行二值化处理
            img_face = cv.imread('readonly/png.png')
            img_face_gray = cv.cvtColor(img_face, cv.COLOR_BGR2GRAY)
            img_face_bin = cv.threshold(img_face_gray, 170, 255, cv.THRESH_BINARY)[1]
            faces_coord = face_cascade.detectMultiScale(img_face_bin,1.315)
            face_list = []
            for x,y,w,h in faces_coord:
                face = png.crop((x,y,x+w,y+h))
            # 缩放
                face.thumbnail((128, 128))
                face_list.append(face)   
            # contact
            txt_back = Image.new('RGB', (128*5, 50), color="white") 
            write_object = ImageDraw.Draw(txt_back)
            write_object.text((0,0), "Result found in file {}".format(png_key), fill="black", font=font)
            # 黑背板
            image_back = Image.new('RGB', (128*5, 128), color="black")
            image_back2 = Image.new('RGB', (128*5, 128), color="black")
            # 黏贴
            if len(face_list) == 0:
                txt_back = Image.new('RGB', (128*5, 50), color="white") 
                write_object = ImageDraw.Draw(txt_back)
                write_object.text((0,0), "Result found in file {}\nBut there were no faces in that file".format(png_key), fill="black", font=font)
                display(txt_back)
            else:    
                x = 0
                y = 0
                for face in face_list[:5]:
                    image_back.paste(face, (x, y))
                    x = x + 128
                contact_sheet = Image.new('RGB', (128*5, 128+50), color="black")
                contact_sheet.paste(txt_back,(0,0))
                contact_sheet.paste(image_back,(0,50))
                if len(face_list) > 5:
                    x = 0
                    y = 0
                    for face in face_list[5:10]:
                        image_back2.paste(face, (x, y))
                        x = x + 128
                    contact_sheet = Image.new('RGB', (128*5, 128+128+50), color="black")
                    contact_sheet.paste(txt_back,(0,0))
                    contact_sheet.paste(image_back,(0,50))
                    contact_sheet.paste(image_back2,(0,128+50))
                display(contact_sheet) 
        else:
            print('no such string in this file, next file...')
main()

import zipfile

from PIL import Image
import pytesseract
import cv2 as cv
import numpy as np
from IPython.display import display
from PIL import ImageDraw
from PIL import ImageFont
font = ImageFont.truetype('readonly/fanwood-webfont.ttf', 40)

# loading the face detection classifier
face_cascade = cv.CascadeClassifier('readonly/haarcascade_frontalface_default.xml')

# the rest is up to you!

z = zipfile.ZipFile("readonly/small_img.zip", "r")
# print(z.namelist())
# for filename in z.namelist():
#     print ('File:', filename)
 
# 1. main 循环读取压缩包里的每一个文件
def main():
    # 1. 获取图片列表
    z = zipfile.ZipFile("readonly/small_img.zip", "r")
    png_dict = {}
    i = 0
    for f in z.infolist():
        key = 'a-'+ str(i) + '.png'
        img_png = z.open(f)
        img = Image.open(img_png)
        png_dict[key] = img
        i = i+1
    print('png_list keys:',list(png_dict.keys()))

# 2. -> 对这个页面进行文字检测- 如果存在：进行面部识别 输出faces的坐标

#     display(png_dict['a-0.png']) 
#     for png_key in png_dict:
    png_key = 'a-0.png'
    png = png_dict[png_key]
    png.save('readonly/png.png')
    # 对png 执行OCR 返回字符串, png 是Image object
    png_gray = png.convert('L')
    # 灰度图
#         png_gray.save('readonly/black_white_noise.jpg')
    text = pytesseract.image_to_string(png_gray)

        
    if "Christopher" in text:
        print('Result found in file', png_key)
        # 对这幅图执行面部检测
        
        # 读取灰度图？
        # 对图片进行二值化处理
        img_face = cv.imread('readonly/png.png')
        img_face_gray = cv.cvtColor(img_face, cv.COLOR_BGR2GRAY)
#         img_face = cv.imread('readonly/black_white_noise.jpg')
        img_face_bin = cv.threshold(img_face_gray, 170, 255, cv.THRESH_BINARY)[1]
        faces_coord = face_cascade.detectMultiScale(img_face_bin,1.389)
#         print(len(faces_coord))
#         print(faces_coord)
        # 存放face的list
        face_list = []
        for x,y,w,h in faces_coord:
            face = png.crop((x,y,x+w,y+h))
            # 缩放
            face.thumbnail((128, 128))
#                 display(face)
            face_list.append(face)   
            
            print(len(face_list))   
        
#         contact
        txt_back = Image.new('RGB', (128*5, 50), color="white") 
        write_object = ImageDraw.Draw(txt_back)
        write_object.text((0,0), "Result found in file {}".format(png_key), fill="black", font=font)
    
        # 黑背板
        image_back = Image.new('RGB', (128*5, 128), color="black")
        image_back2 = Image.new('RGB', (128*5, 128), color="black")
    
        # 黏贴
        if len(face_list) == 0:
            txt_back = Image.new('RGB', (128*5, 50), color="white") 
            write_object = ImageDraw.Draw(txt_back)
            write_object.text((0,0), "Result found in file {}\n But there were no faces in that file".format(png_key), fill="black")
            display(txt_back)
        else:    
            x = 0
            y = 0
            for face in face_list[:5]:
                image_back.paste(face, (x, y))
                x = x + 128
            contact_sheet = Image.new('RGB', (128*5, 128+50), color="black")
            contact_sheet.paste(txt_back,(0,0))
            contact_sheet.paste(image_back,(0,50))
            
            if len(face_list) > 5:
                x = 0
                y = 0
                for face in face_list[5:10]:
                    image_back2.paste(face, (x, y))
                    x = x + 128
                contact_sheet = Image.new('RGB', (128*5, 128+128+50), color="black")
                contact_sheet.paste(txt_back,(0,0))
                contact_sheet.paste(image_back,(0,50))
                contact_sheet.paste(image_back2,(0,128+50))
                display(contact_sheet) 
            else:
                
                print('no such string')
            
                   
main()



# 5. -> 在创建一个大图床把所有png结果黏贴到这个图床上

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Lecture

Opecv

Project

面部识别

【Lecture 5.5】Opecv面部识别 Project 的相关文章

Spring Tool Suite（STS版本3.6.1）没有创建Roo项目的选项

STS 3 6 1 中似乎没有创建 Roo 应用程序的选项在谷歌搜索时我注意到this https stackoverflow com questions 23365784 how to add spring roo on spring
将文件夹添加到 Xcode 项目未正确添加

Team 我创建了新项目在项目文件夹上右键单击在查找器中打开显示我创建了 ViewControllers 文件夹然后再次右键单击将文件添加到 ProjectName 然后添加了创建的文件夹即 ViewControllers 其为蓝
Robotium：如何在 Intellij IDEA 中为现有项目创建测试项目？

我一直在为现有项目创建一个测试项目对于 Eclipse 来说很简单但是对于 IntelliJ 我被迫在工作场所使用它我真的不知道如何使用 Robotium 框架测试项目如果有人可以写一些明确的步骤来解释这一点我将不胜感激在 In
如何在我的 C# 项目中安装“Html Agility Pack”？

我是一名 PHP 程序员对 C 完全陌生我已经从以下位置下载了 Html Agility Pack http html agility pack net http html agility pack net现在我需要将程序集添加到项目中
如何从 Eclipse 项目中排除某些文件夹？

我正在向我们现有的代码库添加一个 eclipse 项目我想知道是否有办法完全排除某些目录被 eclipse 拾取原因是我们的存储库中有一个巨大的第三方目录该目录无法出现在项目中结对编程 https stackoverflow co
如何在不在 RoR 上运行的小型项目中将 HAML 文件自动编译为 HTML 文件？

我今天才开始玩compass and haml 虽然我对路很熟悉sass有效我明白了什么compass is for sass以及如何使用它在使用时我遇到了一些障碍haml有效率的当然我希望这里有人已经知道我的问题的答案并且可以给
在 Visual Studio 中使用 NLog 设置具有多个项目的 C# 解决方案

我在 Visual Studio 2012 中的解决方案当前包含两个项目 DLL WPF 应用程序需要 DLL 的方法 DLL 和 WPF 应用程序都使用NLog用于记录目前每个项目都包含NLogDLL 本身这是我不明白的地方对我来
为什么 IIS 8.0 Express 在 Visual Studio 2012 中重命名后使用旧项目名称

经过一些命名混乱后我的团队决定重命名一些项目以及项目中所有现有代码文件的命名空间在 Visual Studio 2012 中我们改变了项目名称项目属性中的程序集名称默认命名空间标题和产品条目已重命名的每个项目中每个代码文件的
有没有办法在 Eclipse 中查找/替换整个项目？

我正在尝试查找并替换 Eclipse 项目中的许多文件但我似乎找不到方法来做到这一点谷歌搜索显示有一些插件可以完成此任务但是 Eclipse 中有内置功能吗这似乎是一项非常基本的任务令我惊讶的是我找不到方法来完成它 Search
C# / VS2008：向项目添加单独的调试/发布引用

当向 VS 2008 C 项目添加用户控件或项目引用时我只能添加程序集的一种配置是否可以添加单独的配置具体取决于容器项目的配置例如我正在开发一个用户控件并且正在开发一个示例应用程序我想添加用户控件以便示例的调试版本将使用用户
DNA 到 RNA 并使用 Perl 获取蛋白质

我正在开发一个读取 DNA 并找到其 RNA 的项目我必须用 Perl 实现它但我不擅长将该 RNA 分成三联体以获得其等效的蛋白质名称我将解释步骤 1 将以下DNA转录为RNA 然后使用遗传密码将其翻译为氨基酸序列 Example
未找到 ID 为“android”的插件（Android Studio）

我最近刚刚切换到 Android Studio 0 6 1 进行应用程序开发并且遇到了 gradle 问题 I get Error 1 0 Plugin with id android not found 我很新所以任何帮助将不胜感激
在 VS 2008 中为单个项目关闭 Intellisense

我有一个包含大约 1000 个类的项目不没有办法方便地将这个项目分成多个仅加载项目就需要大约 20 分钟因为智能感知会缓慢地浏览所有类并占用近 1GB 内存有没有办法为单个项目关闭 Intellisense 但为解决方案中的所有
在版本控制中维护 Visual Studio vcproj 项目文件的建议

Microsoft Visual Studio 使用 XML 来保存其 vcproj项目文件所以比较 XML 项目文件should很容易不幸的是如果您更改项目文件的任何属性 Visual Studio 会坚持随机打乱项目文件的 XML
如何使用 MSBuild NuGet 将 .csproj 文件加载到 .NET Core 3.0 中

我有一个非常简单的控制台项目 class Program static void Main string args var project new Project FishStory csproj null null new Project
如何在 Eclipse 项目中实现属性页

这是交易我以编程方式在 eclipse rcp 中创建一个项目然后我向它添加一些持久属性现在我想右键单击项目资源管理器视图中的项目然后单击属性选项卡应该有我的属性页这是我所拥有的
项目“ ”的目标位置已存在，无法移动项目

当我尝试与 git 存储库共享我的项目时出现这样的异常项目的目标位置已存在无法移动项目写一个答案是因为我尝试了许多类似问题中建议的许多选项但没有一个起作用然后我按照以下有效步骤手动完成了此操作并且这些步骤适用于任何 Ecli
如何将 QtCreator 项目转换为 Visual Studio 项目

我有一个 QtCreator 项目文件 pro 如何将其转换为Visual Studio 2008项目 sln 您还可以使用 qmake 命令来执行此操作转到项目目录并输入 qmake tp vc
git 项目与存储库，根本区别是什么？

我有两个项目当前使用 SVN 我正在迁移到 git 我注册了 gitorious 并且可以选择创建新项目或添加存储库我刚刚开始使用 git 所以我不知道有什么区别或者更确切地说如果我只是在一个项目下使用存储库这意味着什么如果我这样
emacs 是否有类似 vims 的 NERDtree 之类的东西

对于 vim 有一个名为 NERDtree 的文件系统浏览器 https github com scrooloose nerdtree https github com scrooloose nerdtree Emacs 确实存在替代或更好

随机推荐