迟到的MU For Maker视觉传感器试用贴

释怀过客 · 发表于 2017-4-7 19:03

本帖最后由释怀过客于 2017-4-7 19:03 编辑

3月中旬收到MU视觉传感器，调试了一段时间，然后一直在忙学校的事情，耽误了试用帖子的发布，在这里对论坛和摩图科技说声抱歉。接下来开始做介绍
一、MU视觉传感器：小MU是一款以STM32为核心的带有视觉处理能力的视觉传感器，其内部嵌入了丰富的视觉识别算法，[size=13.3333px]如人体检测，人脸检测，球体检测和路径检测等，用户可以通过Morpx官网的固件更新以获取更丰富的检测识别功能。

二、到手第一步：官方手册和Arduino库（附件一

VisionSensor库和文档.zip (52.91 KB, 下载次数: 5)

2017-4-7 10:36 上传

点击文件名下载附件）和驱动安装（见附件二

Virtual comport driver Win7.zip (634.47 KB, 下载次数: 2)

2017-4-7 10:40 上传

点击文件名下载附件

Virtual comport driverWin8.zip (634.69 KB, 下载次数: 2)

2017-4-7 10:40 上传

点击文件名下载附件）。根据自己的电脑选择相应的驱动，实物图如下

通过MicroUSB线连接MU视觉模块上的USB接口，此时传感器处于工作状态，通过TR，RX向外不断发送数据（数据格式后面会讲到），
按一下模块上的Mode按钮，模块上的指示灯会转为紫色。这时候电脑才会检测到新硬件，并安装驱动。这个地方要说明一下，64位win7系统会遇到强制驱动签名的问题，开机按F8，选择关闭驱动签名项启动电脑就可以了。

三、对照手册，熟悉指令：对照官方给的手册，掌握它的配置指令。输入：CMD+SENSOR_HELP（加回车），串口会返回所以的指令信息，就不需要对指令的死记硬背，指令数据如下============Welcome!!!============MU - An Intelligent Vision Sensor

All Commands:
CMD+SENSOR_SETUP
CMD+SENSOR_HELP
CMD+SENSOR_RESET
CMD+SENSOR_STATUS
CMD+SENSOR_EXIT
CMD+VISION_STATUS=ENABLE or DISABLE
CMD+VISION_TYPE=LINE or BALL or BODY or FACE
CMD+USB_STATUS=ENABLE or DISABLE
CMD+UART_STATUS=ENABLE or DISABLE
CMD+UART_BAUD=1200~576000
CMD+SERVOX_STATUS=ENABLE or DISABLE
CMD+SERVOX_STEP=-100~100 (integer)
CMD+SERVOX_INITANGLE=0~180 (integer)
CMD+SERVOX_REVERSE=ENABLE or DISABLE
CMD+SERVOY_STATUS=ENABLE or DISABLE
CMD+SERVOY_STEP=-100~100 (integer)
CMD+SERVOY_INITANGLE=0~180 (integer)
CMD+SERVOY_REVERSE=ENABLE or DISABLE

Each Command requires "Carriage Return" and "Line Feed" at the end

Each command can be use "?" to return current setting:
CMD+VISION_TYPE=?
Current Vision Type is: BODY

More information can be found at http://www.morpx.com
============Morpx.Inc.============

更改设置时，必须先进入设置模式，即输入CMD+SENSOR_SETUP（加回车），然后才能更改配置，还有就是修改配置之后需要发送退出保存指令，要不然修改的配置并不会生效，开始不知道的我，吃了一点亏。退出指令：CMD+SENSOR_EXIT（加回车），详细的指令说明见说明文档。

四、如图所示：模块上有一路UART，SPI，4路舵机和一路扬声器接口。
1、首先是UART，连上杜邦线，接上2003等串口，连上电脑，数据会不断的向外发送，识别球.jpg

  FF FE 01 06 49 37 2E 2D 3F
  FF FE 01 0B 23 37 2B 23 2E
  FF FE 01 0B 67 37 2B 26 31
  FF FE 01 0A 45 35 2B 23 2E
  FF FE 01 06 47 34 2B 1E 28
  FF FE 01 07 8F 33 2B 23 2E
  FF FE 01 08 2D 37 2B 23 2E
  FF FE 01 0A 47 35 2C 24 2F
  FF FE 01 0A FB 38 2B 23 2E
  FF FE 01 0B 79 38 2C 24 2F数据协议：| 0xFF | 0xFE | Detected | Score H8 |Score L8 | X | Y | Width | Height |

采用16进制格式，每个报文占9个字节

0xFF：报文头字节1

0xFE：报文头字节2

Detected：是否检测到目标物体，1：检测到，0：没有检测到

ScoreH8：检测结果得分值的高8位

ScoreL8：检测结果得分值的低8位

X：目标中心X坐标系参考值，0～100范围内的整数

Y：目标中心Y坐标系参考值，0～100范围内的整数

Width：目标宽度参考值，0～100范围内的整数

Height：目标高度参考值，0～100范围内的整数

此时我设置的识别模式是球体，明显感觉到识别数据的不稳定。而且确实有前面几个试用师兄所说“近视眼”的意思。识别模式一共有四种，可通过配置选择，CMD+VISION_TYPE=LINE or BALL or BODY or FACE，分为为LINE or BALL or BODY or FACE。

对于这里的串口和前面的USB的串口我想说一下，为什么不可以做到一起，在传数据报文的时候，只用到了TX，这时候的RX是没有任何作用的，而且改变识别方式的时候，只能连接电脑操作，加主控控制的时候没办法修改，后期，摩图公司应该会有所改进。

2、舵机，模块配备四个舵机口，但是目前能用到的只有两路，S1和S2，其中S1是X轴，S2是Y轴。S3和S4暂时没有功能。

我这里将S1和S2接到云台上，这样，摄像头的视觉角度就得到了很大的扩展。见视频http://v.youku.com/v_show/id_XMj ... eed.5!3~5~5~5!3~5~A

3、SPI和扬声器官方暂时没有发布其用处。

五、MU作为一个视觉传感器，但是他并没有显示图像的功能，个人感觉这一点有点违和感，虽然其内部有强大的图像处理功能，但是并看不到，模块只是将处理之后的数据发送出来，这点和Pixy很像，但是Pixy有一个能显示图像的上位机，不知道，这个MU后期会不会有显示功能，我这里用了一个液晶屏，虽然没有办法显示摄像头采集的图像，我将识别到的目标的位置信息在液晶上显示出来，见视频http://v.youku.com/v_show/id_XMj ... eed.5!2~5~5~5!3~5~A

视频里，黄色小球和摄像头静止状态，液晶上的位置也会有晃动，这里又一次说明了数据的不稳定，分析是硬件的级别低了点，导致的。微信图片_20170407170508.jpg

对颜色深一点的物体的识别率相对会高一点。

[kenrobot_code]#include <VisionSensor.h>
#include <SoftwareSerial.h>

// Kalman filter setup拉尔曼滤波参数
float K_P[6] = {1.0,1.0,1.0,1.0,1.0,1.0};
float varP[6] = {pow(1, 2),pow(1, 2),pow(1, 2),pow(1, 2),pow(0.01, 2),pow(0.01, 2)};
float varM[6] = {pow(0.8, 2),pow(0.8, 2),pow(0.8, 2),pow(0.8, 2),pow(0.5, 2),pow(0.5, 2)};
float K[6] = {1.0,1.0,1.0,1.0,1.0,1.0};
float Kalmanq[6] = {50,50,2.5,2.5,2.5,2.5};
float filter[6];

const int BA = 6;//液晶屏一边
const int BB = 9;
const int AA = 3;//驱动一边
const int AB = 5;
const int ENA = 2;
const int ENB = 4;//小车引脚定义

struct
{
  int Score;
  int X;
  int Y;
  int Width;
  int Height;
}MU_Data;//记录MU传感器回来的数据值

//小车相关定义
int v_left,v_right,v_run,v_turn; //左右电机以及前进、转向等四个参数
float kc=1.5;//这三个系数在调试后确定，跟进不同硬件觉定这三个参数
int run_offest  = 0;
int turn_offest = 0;

int Detected_LocationX,Detected_LocationY;//检测到的圆点坐标
int Display_size = 8;//检测到的目标显示的缩放比例
int No_Detected_counter = 0;//未检测到目标次数

SoftwareSerial mySerial(7, 8); // RX, TX
VisionSensor MU(Serial, 115200);

void setup(){
  //串口初始化
  mySerial.begin(115200);
  //边框
  setOutline();
  //MU初始化
  MU.begin();
  pinMode(ENA ,OUTPUT) ;// set pins to output
  pinMode(ENB ,OUTPUT) ;
  digitalWrite(ENA,HIGH);
  digitalWrite(ENB,HIGH);
}
void loop()
{
  MU.search();
  if (MU.valid()>0)
  {
if(MU.detected() == true)
{
   No_Detected_counter = 0;
   setLine((Detected_LocationX -(map(MU_Data.Width, 0,100,1,219))/Display_size),
            (Detected_LocationY -(map(MU_Data.Height,0,100,1,175))/Display_size),
            (Detected_LocationX +(map(MU_Data.Width, 0,100,1,219))/Display_size),
            (Detected_LocationY +(map(MU_Data.Height,0,100,1,175))/Display_size),
            0);//清上次位置显示
   setLine((Detected_LocationX +(map(MU_Data.Width, 0,100,1,219))/Display_size),
            (Detected_LocationY -(map(MU_Data.Height,0,100,1,175))/Display_size),
            (Detected_LocationX -(map(MU_Data.Width, 0,100,1,219))/Display_size),
            (Detected_LocationY +(map(MU_Data.Height,0,100,1,175))/Display_size),
            0);//清上次位置显示

   MU_Data.Score = MU.detectScore();
   MU_Data.X    = MU.getX();
   MU_Data.Y    = MU.getY();
   MU_Data.Width = MU.getWidth();
   MU_Data.Height= MU.getHeight();

//    MU_Data.X = Kalman(MU_Data.X,0);//卡尔曼滤波
//    MU_Data.Width= Kalman(MU_Data.Width,1);

   Detected_LocationX = map(MU_Data.X ,0,100,1,219);
   Detected_LocationY = map(MU_Data.Y,0,100,1,175);
   setLine((Detected_LocationX -(map(MU_Data.Width, 0,100,1,219))/Display_size),
            (Detected_LocationY -(map(MU_Data.Height,0,100,1,175))/Display_size),
            (Detected_LocationX +(map(MU_Data.Width, 0,100,1,219))/Display_size),
            (Detected_LocationY +(map(MU_Data.Height,0,100,1,175))/Display_size),
            5);//显示检测位置
   setLine((Detected_LocationX +(map(MU_Data.Width, 0,100,1,219))/Display_size),
            (Detected_LocationY -(map(MU_Data.Height,0,100,1,175))/Display_size),
            (Detected_LocationX -(map(MU_Data.Width, 0,100,1,219))/Display_size),
            (Detected_LocationY +(map(MU_Data.Height,0,100,1,175))/Display_size),
            5);//显示检测位置
   car();
//    MU_data_uart();
}
else
No_Detected_counter++;
if(No_Detected_counter == 12)//12次未检测，清显示
{
   setLine((Detected_LocationX -(map(MU_Data.Width, 0,100,1,219))/Display_size),
         (Detected_LocationY -(map(MU_Data.Height,0,100,1,175))/Display_size),
         (Detected_LocationX +(map(MU_Data.Width, 0,100,1,219))/Display_size),
         (Detected_LocationY +(map(MU_Data.Height,0,100,1,175))/Display_size),
         0);//清上次位置显示
   setLine((Detected_LocationX +(map(MU_Data.Width, 0,100,1,219))/Display_size),
            (Detected_LocationY -(map(MU_Data.Height,0,100,1,175))/Display_size),
            (Detected_LocationX -(map(MU_Data.Width, 0,100,1,219))/Display_size),
            (Detected_LocationY +(map(MU_Data.Height,0,100,1,175))/Display_size),
            0);//清上次位置显示
   car_stop();
   setOutline();
}
  }
  else
  No_Detected_counter++;
  mySerial.println("No data or too many detected");
  if(No_Detected_counter == 12)//12次未检测，清显示
  {
   setLine((Detected_LocationX - (map(MU_Data.Width, 0,100,1,219))/Display_size),
            (Detected_LocationY - (map(MU_Data.Height,0,100,1,175))/Display_size),
            (Detected_LocationX + (map(MU_Data.Width, 0,100,1,219))/Display_size),
            (Detected_LocationY + (map(MU_Data.Height,0,100,1,175))/Display_size),
            0);//清上次位置显示
   setLine((Detected_LocationX + (map(MU_Data.Width, 0,100,1,219))/Display_size),
            (Detected_LocationY - (map(MU_Data.Height,0,100,1,175))/Display_size),
            (Detected_LocationX - (map(MU_Data.Width, 0,100,1,219))/Display_size),
            (Detected_LocationY + (map(MU_Data.Height,0,100,1,175))/Display_size),
            0);//清上次位置显示
   setOutline();
   void car_stop();
  }
  delay(1);
}[/kenrobot_code]

六、今天就先到这里，后续跟进。最后我在想，既然名字叫MU For Maker，开源是一个比较好的选择，这款视觉传感器，在这样的硬件条件下把图像处理做成这样，已经体现出设计者的强大了，希望后续有没有可以开源出来。

参考链接：

1、http://www.arduino.cn/forum.php? ... B%E8%AF%95%E7%94%A8

2、http://www.arduino.cn/forum.php? ... B%E8%AF%95%E7%94%A8

3、http://www.arduino.cn/forum.php? ... B%E8%AF%95%E7%94%A8

4、http://www.arduino.cn/forum.php? ... B%E8%AF%95%E7%94%A8

5、http://www.arduino.cn/forum.php? ... B%E8%AF%95%E7%94%A8