序号招标规格

一设备名称、数量：

1.1慧检视觉检测设备 1套

二规格及技术参数：

2.1基于铝合金框架的视觉检测设备底座：

1） 材质：4040铝合金型材；

2） 作用：提供实验操作平台；

3） 规格：轻量化（≤20公斤）、小型化（≤1200x600*600mm）

2.2支持远程网络访问的监控高性能摄像头：

1） 供电方式：供电电压范围9-24V，支持USB供电；

2） 最大帧率：≥30fps；

3） 连接方式：USB3.0；

★4） 分辨率：≥1200万（4024*3036p）。

2.3工业级桌面型轻载机械臂：

★1） 基本技术参数：重复定位精度≤0.05mm，负载≥1KG，运动范围≥340mm ，最大运动速度≥ 180°/s，工作环境-10℃-60℃

2） 支持示教再现、离线编程；

3） 适用于轻小型零件的抓取、搬运、检测；

4）通信方式：至少包含以太网口、wifi等；

5）I/O接口：≥5个输入，≥5个输出。

6）控制软件：配套系统，采用图形化编程，轻松上手，学生可通过拖拽、拼接的方式对机器人进行编程；

★7）支持柔性手爪、吸盘、夹笔器等多样的末端工具，即插即用；同时兼备碰撞检测功能，确保学习过程中的安全。

2.4打光系统：

提供多种光源，至少包括环形光源、条形光源、同轴光源、无影光源、四面可调条型光源，可针对不同产品进行更换，学习不同光源的适用范围。

2.5软件系统：

Linux Ubuntu 16.04 LTS系统，64位操作系统；

支持内置环境的更新。

2.6软件环境：

1） 开发环境：完整CUDA开发套件，支持CPU、GPU运算；

2） AI框架：搭载TensorFlow、MXNet、Caffe、CNTK、Theano、DIGITS、Pytorch、Keras等主流深度学习框架和工具，集成主流框架的开发与运行环境；

3） 算法库：搭载OpenCV、OpenCV-Python、Eigen、BLAS、LAPACK、FFTW、Intel MK等主流算法工具包和数学函数库；

★4） 深度学习平台：系统自带镜像，系统支持镜像导入，删除，搜索下载；系统内置tensorflow，caffe，pytorch，tensorboard等镜像。订制版Tensorflow-gpu、Caffe、PyTorch、Mxnet的各个版本镜像，对外提供下载。镜像制作功能允许用户自定义python package。镜像分为公共镜像和私有镜像，公共镜像由管理员维护，所有用户均可读取。用户私有镜像相互隔离，无法相互访问。

编程语言：

支持C++、Python2.7/Python3.5、JavaScripts等主流编程语言。

2.7配套深度学习框架工具的使用样例：

内含详细注释与操作说明

1） 提供具有高度集成性和环境适应性的工件识别算法，能够在不同环境、不同光照条件下使用，用于工件检测、缺陷检测等多种场景下；

2） 提供高精度高实时性的工件识别算法，能够用于流水线上的工件计数，可识别错误工件的识别，可检测流水线上的工件正反面，并可以判断工件是否存在缺陷；

★3） 提供开放的封装接口与部分参数调节，用于二次开发与教科研实验。

2.8 配套实验资源：

至少需要包括以下9个实验的源代码以及实验指导手册等资源。

实验1：基于OpenCV的视频与图像数据获取

基于Python编程语言，利用OpenCV视觉库实现针对彩色相机的视频图像数据的获取与保存。具体为：

1. 离线过程：实现对于本地视频和图像数据的读取、显示与保存，在此基础上完成将多帧图像串联成连续帧视频并保存的任务；

2. 在线过程：了解彩色相机视频流的原理，实现对于彩色相机的视频流获取、显示；

3. 基础交互功能：掌握键盘、鼠标与图像窗口的基本交互操作。

实验2：基于OpenCV的基础图像处理实践

1. 色彩与空间变换：对于给定图像实现亮度对比度调整、灰度化、二值化、色彩空间变换等操作；

2. 线性滤波与非线性滤波：对于给定图像实现方框滤波、均值滤波、高斯滤波等线性滤波以及中值滤波、双边滤波等非线性滤波操作；

3. 形态学滤波：对于给定图像实现腐蚀、膨胀、开运算、闭运算等操作；

4. 梯度与边缘检测：对于给定图像实现基于Canny、Sobel以及Laplacian算子的边缘检测，并对比不同边缘检测算法的异同；

5. 综合实验：基于色彩空间、形态学滤波、边缘检测方法实现对于简单、特定纹理特性目标的检测与分割。

实验3：使用OpenCV实现特定物体寻找实验

1. 首先学习什么是图像的特征定义，以及SIFT、SURF、BRISK、AKAZE、ORB等典型图像特征检测算法，并利用PC机或工控机进行Python编程实现图像特征检测；

2. 了解们将如何将一个图像中的特征与其他图像进行匹配，并在OpenCV中学习使用Brute-Force匹配器和FLANN匹配器，最后利用PC机或工控机进行Python编程实现图像特征匹配任务；

3. 基于实验1中掌握的相机视频流获取和交互技能，利用鼠标选中要寻找的物体，选中后使用ORB提取物体特征，变换相机视角，找到相同的ORB特征后即我找到目标物体，完成物体寻找任务。

★实验4：使用OpenCV实现全景图拼接实验

1. 将彩色相机架设在机械臂末端，学习利用示教器编程，利用机械臂运动带动相机随动实现相机视角变换；

2. 基于实验1中掌握的相机视频流获取和交互技能，通过PC机或工控机驱动相机，拍摄一组环境照片

3. 使用OpenCV中的Stitcher（）函数，将拍摄到的多张照片拼接成一张环境全景图，完成全景图拼接的任务。

实验5：使用SVM对金属加工品表面缺陷进行判定

1. 熟练掌握传统机器学习的流程：原始数据->预处理->特征工程（数据预处理、特征提取、特征描述与变化）->预测或分类模型构建->结果输出；

2. 预处理：金属加工品表面缺陷数据集的标准化与预处理；

3. 特征工程：充分提出关键点、纹理、边缘等人工特征，并进行有效的特征描述

4. 搭建SVM模型利用抽象出的特征进行缺陷的判别；

数据集：金属加工品表面缺陷数据集拼接的任务。

★实验6：基于Yolo的金属表面缺陷异常检测

1. 掌握YOLOV3的基本原理和网络结构：YOLOV3是单阶段深度学习目标检测算法的代表，在一定程度上实现了检测精度和实时性的平衡；

2. 基于Pytorch框架搭建YOLOV3目标检测模型，针对金属表面缺陷的检测与定位任务，实现模型训练、测试、调优。

实验7：单目相机标定、RGBD相机对齐及3D点云可视化

1. 基于OpenCV视觉库实现棋盘格标定板、圆形标定板的制作；

2. 基于OpenCV视觉库实现单目相机的标定（包括相机内参、畸变参数、不同视角下的外参等）；

3. 基于OpenCV视觉库实现结构光RGB-D相机（Real Sense D435）的标定，实现彩色图和深度图的对齐，并能够可视化带有纹理信息的3D点云。

实验8： Aruco码机械臂随动

1. 基于OpenCV视觉库实现单目相机估计Aruco码的6自由度位置和姿态的任务；

2. “眼在手上”和“眼在手外”的机械臂与相机的手眼标定；

3. 在准确估计Aruco相对于相机的位姿变换的基础上，结合手眼标定参数，实现机械臂与Aruco码的随动效果。

★实验9：基于深度学习与视觉的智能机器人自动化缺陷检测系统实现

1. 2D视觉检测模块：实现基于传统视觉方法的图像预处理、位置纠偏，实现基于深度学习的目标检测，从而实现对于金属加工件表面的缺陷检测与定位；

2. 3D视觉模块：若采用视觉伺服闭环抓取策略，则需要准确估计目标物体的6D位姿，实现基于单目视觉或3D视觉方法的目标物体位姿估计，以用于机械臂的抓取；

3. 机械臂控制与抓取模块：熟练掌握机械臂的示教器编程和基于Python SDK的编程；

4. 标定模块：实现相机内参标定、机械臂与相机的手眼标定；

5. 通讯模块：实现机械臂与上位机的通讯；

6. 用户交互界面：实现必要的交互功能和结果输出显示功能。

2.9★基于本设备的视觉检测综合实训案例，至少需要包括以下实训案例的代码以及实验指导手册等资源。

1. 光通讯模块外观缺陷检测：待检工件呈灰色反光，检测内容包含点划伤、线划伤、毛刺、色差、变形、压痕等，难点包含样本少、工件存在景深等问题，以上问题均为工业应用中的常见问题，对于提高科研人员在打光成像、样本收集及训练识别等方面的能力，都将有较大的帮助。

2. 散热铜工件表面缺陷检测：待检工件呈黄铜色，表面光滑反光强烈，检测内容包含毛刺、压痕、打痕、散热片变形等异常，研究难点在于阴影区域的打光成像，散热片导致阴影区域较多，使用多种打光方式相结合的方式，实现阴影区域的高清成像。

3. 手机内屏薄膜外观缺陷检测：待检工件呈透明色，检测内容包含气泡、划痕等缺陷，研究难点在于缺陷样本极少、缺陷不明显等问题，如何在小样本且特征不明显的情况下实现高识别率。

三售后服务及其他

3.1免费安装调试；

3.2合同后45天内到货并进行安装调试，如因卖方责任造成的延期而产生的费用由卖方负担；

3.3设备安装调试后，按确认后的验收大纲及验收标准或相应的国家标准，买方和卖方共同对设备进行验收，达到验收标准后，买卖双方共同签署设备验收合格证书后投入使用；

3.4质保期为自验收合格之日起5年；

3.5投标人提供7*8小时电话咨询服务，质保期内24小时内抵达现场响应服务，质保期外48小时内现场响应服务；

3.6★基于本平台配套使用手册与实训指导书，提供一年两次培训服务，连续提供两年，培训师资来自双一流高校人工智能领域的专家教授。

3.7★配套实验资源需要提供实验的源代码以及实验指导手册等资源。

配套实验资源：至少需要包括以下9个实验的源代码以及实验指导手册等资源。实验1：基于OpenCV的视频与图像数据获取基于Python编程语言，利用OpenCV视觉库实现针对彩色相机的视频图像数据的获取与保存。具体为：1. 离线过程：实现对于本地视频和图像数据的读取、显示与保存，在此基础上完成将多帧图像串联成连续帧视频并保存的任务；2. 在线过程：了解彩色相机视频流的原理，实现对于彩色相机的视频流获取、显示；3. 基础交互功能：掌握键盘、鼠标与图像窗口的基本交互操作。实验2：基于OpenCV的基础图像处理实践1. 色彩与空间变换：对于给定图像实现亮度对比度调整、灰度化、二值化、色彩空间变换等操作；2. 线性滤波与非线性滤波：对于给定图像实现方框滤波、均值滤波、高斯滤波等线性滤波以及中值滤波、双边滤波等非线性滤波操作；3. 形态学滤波：对于给定图像实现腐蚀、膨胀、开运算、闭运算等操作；4. 梯度与边缘检测：对于给定图像实现基于Canny、Sobel以及Laplacian算子的边缘检测，并对比不同边缘检测算法的异同；5. 综合实验：基于色彩空间、形态学滤波、边缘检测方法实现对于简单、特定纹理特性目标的检测与分割。实验3：使用OpenCV实现特定物体寻找实验1. 首先学习什么是图像的特征定义，以及SIFT、SURF、BRISK、AKAZE、ORB等典型图像特征检测算法，并利用PC机或工控机进行Python编程实现图像特征检测；2. 了解们将如何将一个图像中的特征与其他图像进行匹配，并在OpenCV中学习使用Brute-Force匹配器和FLANN匹配器，最后利用PC机或工控机进行Python编程实现图像特征匹配任务；3. 基于实验1中掌握的相机视频流获取和交互技能，利用鼠标选中要寻找的物体，选中后使用ORB提取物体特征，变换相机视角，找到相同的ORB特征后即我找到目标物体，完成物体寻找任务。★实验4：使用OpenCV实现全景图拼接实验1. 将彩色相机架设在机械臂末端，学习利用示教器编程，利用机械臂运动带动相机随动实现相机视角变换；2. 基于实验1中掌握的相机视频流获取和交互技能，通过PC机或工控机驱动相机，拍摄一组环境照片3. 使用OpenCV中的Stitcher（）函数，将拍摄到的多张照片拼接成一张环境全景图，完成全景图拼接的任务。实验5：使用SVM对金属加工品表面缺陷进行判定1. 熟练掌握传统机器学习的流程：原始数据->预处理->特征工程（数据预处理、特征提取、特征描述与变化）->预测或分类模型构建->结果输出；2. 预处理：金属加工品表面缺陷数据集的标准化与预处理；3. 特征工程：充分提出关键点、纹理、边缘等人工特征，并进行有效的特征描述4. 搭建SVM模型利用抽象出的特征进行缺陷的判别；数据集：金属加工品表面缺陷数据集拼接的任务。★实验6：基于Yolo的金属表面缺陷异常检测1. 掌握YOLOV3的基本原理和网络结构：YOLOV3是单阶段深度学习目标检测算法的代表，在一定程度上实现了检测精度和实时性的平衡；2. 基于Pytorch框架搭建YOLOV3目标检测模型，针对金属表面缺陷的检测与定位任务，实现模型训练、测试、调优。实验7：单目相机标定、RGBD相机对齐及3D点云可视化1. 基于OpenCV视觉库实现棋盘格标定板、圆形标定板的制作；2. 基于OpenCV视觉库实现单目相机的标定（包括相机内参、畸变参数、不同视角下的外参等）；3. 基于OpenCV视觉库实现结构光RGB-D相机（Real Sense D435）的标定，实现彩色图和深度图的对齐，并能够可视化带有纹理信息的3D点云。实验8： Aruco码机械臂随动1. 基于OpenCV视觉库实现单目相机估计Aruco码的6自由度位置和姿态的任务；2. “眼在手上”和“眼在手外”的机械臂与相机的手眼标定；3. 在准确估计Aruco相对于相机的位姿变换的基础上，结合手眼标定参数，实现机械臂与Aruco码的随动效果。★实验9：基于深度学习与视觉的智能机器人自动化缺陷检测系统实现1. 2D视觉检测模块：实现基于传统视觉方法的图像预处理、位置纠偏，实现基于深度学习的目标检测，从而实现对于金属加工件表面的缺陷检测与定位；2. 3D视觉模块：若采用视觉伺服闭环抓取策略，则需要准确估计目标物体的6D位姿，实现基于单目视觉或3D视觉方法的目标物体位姿估计，以用于机械臂的抓取；3. 机械臂控制与抓取模块：熟练掌握机械臂的示教器编程和基于Python SDK的编程；4. 标定模块：实现相机内参标定、机械臂与相机的手眼标定；5. 通讯模块：实现机械臂与上位机的通讯；6. 用户交互界面：实现必要的交互功能和结果输出显示功能。