C#人脸识别入门篇—静态照片人脸检测(上)
1、建立项目
我们打开Visual Studio,选择C#语言,建立Winfrom项目,项目名称为FaceDetectDemo,路径随便选。立项后,项目结构如图所示:
图片中的AFD和dll文件夹我们后面就会用到,刚建项目时是没有这两个文件夹的。
2、建立视图
通过设计器和工具箱,我们可以建立我们的视图界面,包括一个按钮两个PictureBox. 大的那个我们用来显示完整的图片,小的用来显示识别到的人脸信息。 我们把大PicturesBox的那个命名为pictureBox1,小的命名为pictureBox2,然后设置两个的SizeMode均为Zoom, 以方便我们自动显示照片。
3、下载需要的SDK
这里我们需要虹软提供的SDK中的DLL,找到WIndows版本,填写基本的资料后就可以下载了。 下载的时候有一个版本选择,1:1,1:N之类的,我们选择默认的就可以了,1:N和1:1在人脸识别上是有差别的,但在人脸检测功能上基本上没有差异。 在下载完成的页面上,会显示你申请的APPID和SDK KEY的信息,如下所示(请确保牢记这些Key,因为接下来的程序中你将需要这些Key)
4、我们打开下载的文件,是一个zip格式的压缩包,解压后发现里面还有三个包,我们解压其中名为Face_Detection的包。可以看到下面的目录结构
(lib中的dll是要拷贝到你的运行目录中的,doc中的PDF相当重要,是SDK的入门指南。samplecode和inc是供C++调用时候用到的参考源码和头文件。这些都是比较重要的。)
5、现在,让我们把dll拖入到我们的应用程序的bin目录.在编辑选项时选择始终复制这个文件到输出目录. 另外我们的SDK是32位系统的,所以我们还需要设置编译选项为x86.
6、一步一步,根据人脸识别的SDK代码示例来完善项目
现在我们回到上一章节的四个文件夹,我们打开doc文件夹。这里面的pdf文件是我们接下来课程的基础。通读一遍,发现4个函数,3个结构体,然后2个枚举,两个变量类型,还有一段示例代码。我们来一步步定义它们.
自定义数据类型
C/C++ 可以定义自己的类型,打开SDK文档可以发现,这里面几乎没有我们熟悉的int,long,char*这些类型,取而代之是的Mint以及一些其它AFD开头的类型,SDK文档开篇引入了两个基础类型。
typedef MInt32 AFD_FSDK_OrientPriority; typedef MInt32 AFD_FSDK_OrientCode;
所有基本类型在平台库中有定义。 定义规则是在ANSIC 中的基本类型前加上字母“M”同时将类型的第一个字母改成大写。
例如“long” 被定义成“MLong”
具体到上面的代码,它的意思是在项目中遇到AFD_FSDK_OrientPriority就认为是Mint32,对应C#就是int,全部的定义在inc文件夹afdcommdef.h头文件中
7、定义结构体
由于C并不是面向对象的语言,结构体作为可以自定义的类型,在一定程度的代替了我们C#中的类和对象,我们来一步步定义这些结构体。
AFD_FSDK_FACERES
这个结构体是用来存储脸部信息的,我们可以从文档中得到它的定义如下:
typedef struct{ MRECT * rcFace; MLong nFace; AFD_FSDK_OrientCode * lfaceOrient; } AFD_FSDK_FACERES, * LPAFD_FSDK_FACERES;
根据我们上一节中的内容,可以知道这个MLong类似于long,rcFace和lfaceOrient则是两个指针。那么在C#中如何使用指针呢,直接用unsafe code肯定是可以的,不过这里我们使用IntPtr.
我们根据刚才所说的定义规则,换算成C#语言的定义如下:
public struct AFD_FSDK_FACERES{public int nFace;public IntPtr rcFace;public IntPtr lfaceOrient;}
注意:nface虽然C++中是long,但对应到C#中可不long,而是int.在32位程序中int和long占用的内存大小都是4Byte=32bit,其表示的大小都是:-2147483648~2147483647。
8、MRECT
我们在SDK文档中注意到rcFace的类型是MRect* 这里的* 说明这是一个指针类型,因此我们在定义这个类的时候使用了IntPtr,但是MRect是一个结构体,我们可在inc文件夹下面的amcomdef.h下面找到了它的定义.
typedef struct __tag_rect
{
MInt32 left;
MInt32 top;
MInt32 right;
MInt32 bottom;
} MRECT, *PMRECT;
这个类型比较简单,C#版定义如下:
public struct MRECT { public int left; public int top; public int right; public int bottom; }
9、AFD_FSDK_VERSION
这个结构体定义的是我们API的版本信息,同样的我们来查看一下它的SDK的定义
typedef struct { MInt32 lCodebase;MInt32 lMajor; MInt32 lMinor; MInt32 lBuild; MPChar Version; MPChar BuildDate; MPChar CopyRight; } AFD_FSDK_Version;
根据SDK开始约定,我们可以知道Mint32相当于int,MPChar相当于char*,这些自定义的变量类型可以在inc/comdef.h中查找,因此我们的对应的C#版本如下:
//定义FD的版本号
public struct AFD_FSDK_Version
{
public int lCodebase;
public int lMajor;
public int lMinor;
public int lBuild;
public IntPtr Version;
public IntPtr BuildDate;
public IntPtr CopyRight;
}
10、AFD_FSDK_ORIENTCODE
接下来我们来定义枚举,这里面用到的枚举有以下两个:AFD_FSDK_OrientPriority和AFD_FSDK_OrientCode,枚举比较简单。我们只需要把十六进制转换为10进制就可以了。 根据SDK文档,我们需要定义的类型如下:
//定义人脸检查结果中人脸的角度public enum AFD_FSDK_OrientCode { AFD_FSDK_FOC_0 = 1, AFD_FSDK_FOC_90 = 2, AFD_FSDK_FOC_270 = 3, AFD_FSDK_FOC_180 = 4, AFD_FSDK_FOC_30 = 5, AFD_FSDK_FOC_60 = 6, AFD_FSDK_FOC_120 = 7, AFD_FSDK_FOC_150 = 8, AFD_FSDK_FOC_210 = 9, AFD_FSDK_FOC_240 = 10, AFD_FSDK_FOC_300 = 11, AFD_FSDK_FOC_330 = 12}
11、AFD_FSDK_ORIENTPRIORITY
定义脸部角度的检测范围
public enum AFD_FSDK_OrientPriority { AFD_FSDK_OPF_0_ONLY=1, AFD_FSDK_OPF_90_ONLY=2, AFD_FSDK_OPF_270_ONLY=3, AFD_FSDK_OPF_180_ONLY=4, AFD_FSDK_OPF_0_HIGHER_EXT=5 }
12、ASVLOFFSCREEN
这个结构体是用来进行人脸识别的关键结构,我当初就是在定义函数时才发现这个没有。又跑回来重新定义的。这个在SDK文档中没有,但是我们在示例代码中能够看到。我看来看看一下LPASVLOFFSCREEN的定义。在我们SDK的inc文件夹中,我们找到了一个名为asvloffscreen.h的文件。我们把文件打开,可以发现里面的主要定义
typedef struct __tag_ASVL_OFFSCREEN
{
MUInt32 u32PixelArrayFormat;
MInt32 i32Width;
MInt32 i32Height;
MUInt8* ppu8Plane[4];
MInt32 pi32Pitch[4];
}ASVLOFFSCREEN, *LPASVLOFFSCREEN;
u32PixelArrayFormat:像素数组的格式 ppu8Plane[4]为一个指针数组 pi32Pitch[4]为一整形数组
13、通过P/Invoke Interop Assistant的帮忙,我们可以知道应该这样子定义这个结构体。
使用这个工具时,需要注意的是要把我们结构体中的类型转化为标准的C类型,我们可以在inc的amcomdef.h头文件中找到它们的转换定义。
我们来看一下最终的这个结构体的定义
public struct ASVLOFFSCREEN
{
public int u32PixelArrayFormat;
public int i32Width;
public int i32Height;
[MarshalAs(UnmanagedType.ByValArray, SizeConst = 4, ArraySubType = System.Runtime.InteropServices.UnmanagedType.SysUInt)]
public System.IntPtr[] ppu8Plane;
[MarshalAs(UnmanagedType.ByValArray, SizeConst = 4, ArraySubType = System.Runtime.InteropServices.UnmanagedType.I4)]
public int[] pi32Pitch;}
现在你可以用这个工具来定义我们接来所需要用到的所有数据结构,也可以用来定义API函数。
14、定义API函数
查看SDK文档,可以看到FD共提供了3个方法。我们定义一个类来包含这些方法 新建AFD文件夹,定义AFDFunction类,里面包含SDK中提供的所有方法。
AFD_FSDK_INITIALFACEENGINE
我们先来看一下第一个方法,初始化SDK引擎,在SDK文档中可以看到它的原型定义如下: 原型
MRESULT AFD_FSDK_InitialFaceEngine( MPChar AppId, MPChar SDKKey, MByte *pMem, MInt32 lMemSize, MHandle *pEngine, AFD_FSDK_OrientPriority iOrientPriority, MInt32 nScale, MInt32 nMaxFaceNum );
我们来看一下它的参数列表
AppId [in] 用户申请SDK时获取的App Id
SDKKey [in] 用户申请SDK时获取的SDK Key
pMem [in] 分配给引擎使用的内存地址
lMemSize [in] 分配给引擎使用的内存大小
pEngine [out] 引擎handle
iOrientPriority [in] 期望的脸部检测角度范围
nScale [in] 用于数值表示的最小人脸尺寸 有效值范围[2,50] 推荐值 16。该尺寸是人脸相对于所在图片的长边的占比。例如,如果用户想检测到的最小人脸尺寸是图片长度的1/8,那么这个nScale就应该设置为8
nMaxFaceNum [in] 用户期望引擎最多能检测出的人脸数 有效值范围[1,50]
如果成功返回MOK,失败返回MRCode,MOK是一个int型的值为0,MRCOde是一个定义。可以在inc文件 夹中的merror.h中找到。 通过刚才提供的神器,我们可以定义这个函数如下:
[DllImport("libarcsoft_fsdk_face_detection.dll", EntryPoint = "AFD_FSDK_InitialFaceEngine", CallingConvention = CallingConvention.Cdecl)]
public static extern int AFD_FSDK_InitialFaceEngine(string appId, string sdkKey, IntPtr pMem, int lMemSize, ref IntPtr pEngine, int iOrientPriority, int nScale, int nMaxFaceNum);
15、AFD_FSDK_STILLIMAGEFACEDETECTION
这个方法是我们的核心方法,它的功能如我们所料,就是通过读取输入的图像,检测是否存在人脸内容并输出人脸的结果信息。我们来看一下基础定义。
MRESULT AFD_FSDK_StillImageFaceDetection( MHandle hEngine, LPASVLOFFSCREEN pImgData, LPAFD_FSDK_FACERES pFaceRes );
hEngine [in] 引擎handle pImgData [in] 待检测的图像信息 pFaceRes [out] 人脸检测结果
和初始化类似,第一个参数是hEngine引用,第二个参数pImgData是要检测的图形信息,第三个参数pFaceRes是一个输出参数,获取人脸的检测结果。需要注意的是里面的参数类型,第一个MHandle对应的是引擎的引用,这个没有问题,第二个是LPASVLOFFSCREEN 它是指向ASVLOFFSCREEN的一个结构体指针,同样LPAFD_FSDK_FACERES也是一个指针,我们知道指针对应的都是IntPtr,定义如下:
[DllImport("libarcsoft_fsdk_face_detection.dll", CallingConvention = CallingConvention.Cdecl)]public static extern int AFD_FSDK_StillImageFaceDetection(IntPtr pEngine, IntPtr pImgData, ref IntPtr pFaceRes);