图像识别（多目标）

Note

支持：Android / iOS / Windows

OSX平台注意：VOIDAR_Unity_v1.0_Beta4暂时不支持OSX平台运行，打包iOS正常

一、简介

用多张细节特征丰富的平面静态图像作为标识物（Marker），进行精准识别及跟踪。

二、阅读指南

本教程主要介绍如何在Unity环境下进行操作。

默认读者您拥有一定的软件使用、应用开发经验。

教程中只会对Unity的基础使用进行简要说明，有关Unity使用的更多信息，请访问Unity官网查看。

三、搭建环境

在进行具体操作前，您需要安装下列软件，准备如下环境：

操作系统

  • Windows 7 或更高版本
  • OS X 10.10 或更高版本

Unity版本支持

Unity 3D版本 太虚AR SDK功能
5.6.x 全部支持
2017.x 全部支持
2018.x 全部支持
2019.1.x 全部支持
2019.2.0 全部支持
Note

本教程中使用的Unity版本为：Unity 2017.4.13

Unity 3D下载地址：https://unity3d.com/cn/get-unity/download/archive

四、实现流程

第一步、新建Unity工程

打开Unity，新建一个工程。填写Project name为“ImageTarget_multi”、选择保存的位置，点击[ Create project ]。

1

第二步、导入太虚AR SDK

选中[ Assets ] -> [ Import Package ] -> [ Custom Package... ]，导入太虚AR SDK。

2

选择下载好的SDK文件（.unitypackage），点击[ 打开 ]按钮。

3

弹出界面，点击[ Import ]，导入过程需要耐心等待一段时间。

4

如果弹出“API Update Required”界面，请点击[ I Made a Backup, Go Ahead! ]。

5

第三步、删除Main Camera

Note

Unity3D打开时默认是新的Scene，新的Scene自带一个Main Camera和Directional Light对象，我们需要用SDK的ARCamera，故将默认的Camera删除。

右键选中场景中自带的“Main Camera”，点击[ Delete ] 删除。

6

第四步、拖入预制件“ARCamera”、“ImageTarget”

展开[ Assets ] -> [ VoidAR ] -> [ Prefabs ]目录，

将预制件“ARCamera”和“ImageTarget”分别拖至场景中。

Important

要实现多目标识别，需要拖入对应数量的“ImageTarget”。

本教程将进行2个目标的识别，将2个“ImageTarget”拖入场景。

7

操作成功后显示如下：

8

第五步、设置ARCamera

选中ARCamera，查看右侧的“Inspector”栏，设置“Void AR Behaviour (Script)”组件属性。

  • 设置MarkerType = "Image"，代表识别类型为图像
  • 设置Simultaneous Tracking = "2"，代表本次同时跟踪的识别Marker数量为2个

9

第六步、设置识别图（Marker）

先选中ImageTarget，查看右侧的“Inspector”栏，设置“Image Target Behaviour (Script)”组件属性。

  • 设置Image File Path = "Panda.jpg"，填写时需要包括“文件名”+“后缀jpg”

10

Warning

Marker图片文件，必须放在[ Assets ] -> [ StreamingAssets ]文件夹内，ImageTarget使用的Panda.jpg，是SDK的内置图片。

11

ImageTarget (1)的识别图，设定为竹子图片。

10yuan

右键选中StreamingAssets，点击[ Import New Asset... ]，弹出界面选中Bamboo.jpg并导入。

49

导入完成，如下所示：

50

选中ImageTarget (1)，查看右侧的“Inspector”栏，设置Image File Path = "Bamboo.jpg"。

51

第七步、设置模型

Note

识别后显示的模型，需要分别放在ImageTarget、ImageTarget (1)下。

右键选中场景中的“ImageTarget”，添加一个3D模型“Cube”。

12

选中“Cube”，调整模型的位置和大小。

13

右键选中场景中的“ImageTarget (1)”，添加一个3D模型“Sphere”。

52

选中“Sphere”，调整模型的位置和大小。

53

第八步、保存场景

选中[ File ] -> [ Save Scenes ] ，进行场景保存。

14

设置文件名为“ImageTarget_multi”，点击[ 保存 ]按钮。

15

第九步、进行调试

Warning

确保您的PC已经连接了摄像头。

点击[ 运行 ]按钮。

16

识别成功，完成调试。

17

第十步、打包发布

打包流程分为“Android”、“iOS”、“Windows exe”。

Android

打包Android，需要将Unity切换至Android平台，点击[ File ] -> [ Build Settings... ]。

18

选中Android标签，如果左下的[ Switch Platform ]按钮为灰色，需要下载Unity Android Support，请点击右侧的[ Open Download Page ]按钮，下载并安装。

19

点击[ Switch Platform ]按钮，完成Android平台的切换。

20

切换完成后，先关闭Build Settings界面，继续搭建打包环境。

选中[ Edit ] -> [ Preferences... ]，设置参数。

47

弹出界面选中“External Tools”选项，设置Android SDK和JDK。

Note

如果本地没有SDK和JDK，可以点击后方的[ Download ]，在弹出的网页上进行下载即可。

也可以用链接下载安装：

SDK（要科学上网才能打开）：https://developer.android.com/studio/index.html

JDK：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

安装完成后，设置好SDK和JDK的路径就可以了。

48

选中ARCamera，查看右侧的“Inspector”栏，设置“Void AR Behaviour (Script)”组件属性。

  • 设置Camera = "后置摄像头"

27

选中[ File ] -> [ Build Settings... ]，取消默认场景前方的勾选。然后点击[ Add Open Scenes ]，添加当前的场景。

21

添加完成后，如下所示：

22

设置属性参数

点击[ Player Settings... ]按钮，查看右侧的“Inspector”栏，设置属性参数，您可以自定义。

  • 设置Company = "VOIDAR"

  • 设置Product Name = "ImageTarget_multi"

  • 设置Bundle Identifier= "com.VOIDAR.ImageTargetmulti"（不能使用默认值，否则无法打包）

  • Important

    取消“Multithreaded Rendering”的勾选！

23

完成设置后，点击[ Build ]按钮。

24

设置文件名为“ImageTarget_multi”，点击[ 保存 ]按钮，开始打包。

25

打包过程需要耐心等待一段时间。

26

完成后，将生成一个“ImageTarget_multi.apk”文件，安卓打包完成。

iOS

iOS打包需要在Mac OS系统中完成，需要准备Mac设备（如MacBook Pro、MacBook、iMac、Mac mini等）。

在Unity中，将开发平台切换至iOS，然后Build生成Xcode工程。

Warning

推荐使用Mac设备的Unity软件来生成Xcode工程。如果之前是在Windows环境下编辑的，可以将Unity工程输出成unitypackage，或拷贝至Mac电脑中进行编辑处理。

启动Unity，打开之前保存的、或者拷贝过来的ImageTarget_multi工程文件（工程已经打开的，跳过这步）

28

点击[ Open ]按钮打开工程。

29

将Unity切换至iOS平台，点击[ File ] -> [ Build Settings... ]。

30

选中iOS标签，如果左下的[ Switch Platform ]按钮为灰色，需要下载Unity iOS Support，请点击右侧的[ Open Download Page ]按钮，下载并安装。

31

点击[ Switch Platform ]按钮，完成iOS平台的切换。

32

切换完成后，点击[ Player Settings... ]按钮。

340

Important

取消“Multithreaded Rendering”的勾选！

51

关闭Build Settings界面，选中ARCamera，查看右侧的“Inspector”栏，设置“Void AR Behaviour (Script)”组件属性。

  • 设置Camera = "后置摄像头"

33

选中[ File ] -> [ Build Settings... ]，取消默认场景前方的勾选。然后点击[ Add Open Scenes ]，添加当前的场景。

34

添加完成后，如下所示：

35

完成设置后，点击[ Build ]按钮。

36

准备生成Xcode工程，命名为“Output”，点击[ Save ]。

37

打开生成的Xcode文件。

38

设置属性参数

填写配置，将自己的证书、iOS适应版本都正确选上：

左侧点击[ Unity-iPhone ]，配置参数，您可以自定义。

  • 设置Display Name = "VOIDAR_Test"
  • 设置Bundle Identifier = "com.VOIDAR.Demo"
  • 设置Version = "1.0"
  • 设置Build = “1.0”
  • 设置Team = “您自己的证书”
  • 设置Deployment Target = “8.1”

39

添加Accelerate.framework

General页面往下拉，在Linked Frameworks and Libraries中，点击“+”。

40

弹出界面，选中“Accelerate.framework”，点击[ Add ]。

41

添加完成，Linked Frameworks and Libraries下方出现“Accelerate.framework”。

42

添加摄像机权限

选中“Info”标签，点击Supported interface orientations后面的“+”。在弹出列表中选中“Privacy - Camera Usage Description”。

43

44

设置Enable Bitcode = “No”

选中”Build Settings”标签，设置Enable Bitcode = “No”。

45

打包取消armv7

选中“Build Settings”标签，展开Architectures，选择 “Other...”。

52

弹出界面，选中“armv7”后点击“-”。

53

取消后显示如下即可。

54

数据线连接iphone或者ipad，点击[ 运行 ]，即可打包。

46

完成后，iphone或者ipad上，将生成一个“VOIDAR_Test”的APP，iOS打包完成。

Windows exe

打包Windows exe，需要将Unity切换至PC平台，点击[ File ] -> [ Build Settings... ]。

18

选中PC标签，点击[ Switch Platform ]按钮，完成PC平台的切换。

109

Important

设置Architecture = "x86_64"

341

Warning

确保您的PC已经连接了摄像头。

选中ARCamera，查看右侧的“Inspector”栏，设置“Void AR Behaviour (Script)”组件属性，选择对应的摄像头。

111

选中[ File ] -> [ Build Settings... ]，取消默认场景前方的勾选。然后点击[ Add Open Scenes ]，添加当前的场景。

110

添加完成后，如下所示：

22

设置属性参数

点击[ Player Settings... ]按钮，查看右侧的“Inspector”栏，设置属性参数，您可以自定义。

1

完成设置后，点击[ Build ]按钮。

7

设置文件名为“ImageTarget_multi”，点击[ 保存 ]按钮，开始打包。

Important

文件名不能含有“中文”，否则exe运行时会报错。

113

打包过程需要耐心等待一段时间。

114

完成后，将生成“ImageTarget_multi.exe”文件，Windows exe打包完成。

至此，图像识别（多目标）制作完成。