核心技术:AI视觉
模拟人类的视觉系统,使得设备能够像人类一样识别或处理图像和视频中的物体,辅助或替代生产过程中重复性、流程性、判断性的工作,提高制造生产水平及效率。
二维视觉AI
2D

2D识别维度:颜色、图形、字符、位置等;

主要作用:定位、识别、测量、检测。

技术原理
总体来说,深度学习在计算机视觉中的应用,从基本的图像识别到复杂的实例分割,主要通过构建和训练卷积神经网络,层次化地提取并理解图像中的视觉信息。深度学习在计算机视觉领域的应用主要是通过模拟人脑神经网络的工作机制,建立起一个层次化的特征提取框架,用于识别和解析视觉信息。在此框架下,原始图像输入在通过多层卷积神经网络后,将被转换成高级特征,而这些特征对于特定的视觉任务具有高度的区分度。在这个过程中,网络的初级层会对原始输入进行简单的特征如边缘和颜色的提取,高层则会对更复杂的特征如面部和物体形状进行编码。该过程基于梯度下降和反向传播算法进行学习和优化。
  • 图像识别
  • 目标检测
  • 实例分割
  • 图像识别是深度学习在视觉中的基础应用之一,它的主要任务是确定给定图像中的主要内容。在实现过程中,这些网络可以学习到从简单到复杂的一系列视觉特征,进而对输入图像进行分类。

  • 目标检测不仅需要识别图像中的物体类别,还要确定物体在图像中的具体位置。这系列算法通常会生成一系列候选框,然后对每个候选框内的物体进行分类,并优化候选框的位置和大小,以实现对物体的精确定位。

  • 实例分割则是目标检测的延伸,不仅需要确定每个物体的位置,还要对物体的每个像素进行识别,从而获取物体的精确轮廓。这类算法在目标检测的基础上,额外加入一个分割分支,对每个检测到的物体进行像素级的分割。

图像识别
  • 图像识别是深度学习在视觉中的基础应用之一,它的主要任务是确定给定图像中的主要内容。在实现过程中,这些网络可以学习到从简单到复杂的一系列视觉特征,进而对输入图像进行分类。

目标检测
  • 目标检测不仅需要识别图像中的物体类别,还要确定物体在图像中的具体位置。这系列算法通常会生成一系列候选框,然后对每个候选框内的物体进行分类,并优化候选框的位置和大小,以实现对物体的精确定位。

实例分割
  • 实例分割则是目标检测的延伸,不仅需要确定每个物体的位置,还要对物体的每个像素进行识别,从而获取物体的精确轮廓。这类算法在目标检测的基础上,额外加入一个分割分支,对每个检测到的物体进行像素级的分割。

三维视觉AI
3D
2D识别维度:高度、表面积、体积等;主要作用:分类、引导、测量、检测。
技术原理
三维视觉方面,我们常用到PCL点云库。PCL(Point Cloud Library)是一个大型的开源库,主要用于2D/3D图像和点云处理。它为点云处理提供了丰富的算法和工具,包括滤波、特征提取、模型拟合、分割、配准、搜索和可视化等。
  • 滤波
  • 特征提取
  • 聚类算法
  • 定位
  • 滤波是点云处理的重要前期步骤。滤波可以去除噪声,提高数据质量,常见的方法有体素栅格滤波(Voxel Grid Filter)用于降采样,统计滤波(Statistical Outlier Removal)用于移除离群点等。经过滤波处理后,可以减少点云的数据量,并消除误差和噪声。

  • 特征提取在点云处理中非常关键,它能够为点云的识别、配准、聚类等提供基础。在PCL库中,提供了多种特征提取方法,如Normal Estimation用于估计点云的法线,FPFH(Fast Point Feature Histograms)和SHOT(Signature of Histograms of Orientations)用于提取点云的描述符等。

  • 聚类算法用于将点云中的点划分为多个群组,通常基于点间的距离或者密度。PCL库中提供的聚类算法有K-means、DBSCAN和Euclidean Cluster Extraction等,这些算法能够实现点云中的物体分割和识别。

  • 定位则是通过点云的特征匹配或模型拟合实现。PCL中提供了多种配准方法,如ICP(Iterative Closest Point)和NDT(Normal Distribution Transform)等,这些算法可以用于计算点云之间的空间变换关系,实现机器人或传感器的定位。

滤波
  • 滤波是点云处理的重要前期步骤。滤波可以去除噪声,提高数据质量,常见的方法有体素栅格滤波(Voxel Grid Filter)用于降采样,统计滤波(Statistical Outlier Removal)用于移除离群点等。经过滤波处理后,可以减少点云的数据量,并消除误差和噪声。

特征提取
  • 特征提取在点云处理中非常关键,它能够为点云的识别、配准、聚类等提供基础。在PCL库中,提供了多种特征提取方法,如Normal Estimation用于估计点云的法线,FPFH(Fast Point Feature Histograms)和SHOT(Signature of Histograms of Orientations)用于提取点云的描述符等。

聚类算法
  • 聚类算法用于将点云中的点划分为多个群组,通常基于点间的距离或者密度。PCL库中提供的聚类算法有K-means、DBSCAN和Euclidean Cluster Extraction等,这些算法能够实现点云中的物体分割和识别。

定位
  • 定位则是通过点云的特征匹配或模型拟合实现。PCL中提供了多种配准方法,如ICP(Iterative Closest Point)和NDT(Normal Distribution Transform)等,这些算法可以用于计算点云之间的空间变换关系,实现机器人或传感器的定位。

APPLICATION
应用场景
卷库卡车装卸3D视觉辅助
钢卷的装卸对司机的技术有较大的挑战,不小心容易造成钢卷破损等问题。我们视觉团队结合3D点云处理技术,采用高精度激光雷达等点云采集设备,针对钢卷卡车装卸场景,提供3D视觉辅助,实现自动化、无人化装卸钢卷。
吊钩跟踪与吊稳确认系统
冶金行业首个且唯一使用AI算法实现行车吊钩跟踪与吊稳确认的解决方案,通过算法结合自主研发的球机控制策略,针对行车吊钩作业时存在视觉盲区和安全隐患等痛点,提供吊钩跟踪与吊稳确认功能,实现天车司机的安全高效作业。
行车人员防撞与入侵系统
起重机的工作环境较为复杂,一旦有人员或异物干扰,会造成不可忽视的后果,我们通过PDMC系统全天候监测起重机进行路线,周边环境等,针对危险情况,提前上报系统,保障行车安全生产。
传动轴裂缝检测系统
工厂高负荷的运行,容易导致钢械出现裂痕,我们视觉团队训练了具备范围能力的裂纹检测模型,经过深度神经网络,自动分析和判断出钢结构可能出现的异常现象,并且上报到系统,预先发现问题,避免严重事故。