十四讲之——小萝卜的眼睛和身体运动。

十四讲之——小萝卜的眼睛和身体运动。

我是可以自由移动的机器人，被丢在一个环境里需要知道两件事：
1.我自己在哪个位置？
2.我周围的环境什么样？
这就需要我用“眼睛”观察。即我的眼睛以一定的速率拍摄周围的环境，形成连续的视频流。

一、我需要有眼睛,一只眼睛还是两只眼睛还是怎么样？
1.一只眼睛——单目相机。我只能看到一个二维的画面，如果我想确定这个二维图形的三维结构，判断它的远近和大小，必须通过我自己的移动来估计物体的运动状态。但是近距离的物体，也许很容易看出他的移动。但是如果是很远的物体，即使我移动了，在我的相机上留下的还是在原位置。这就会造成视察。
就像我在大路上朝着太阳的方向走，一路可以看到身边沿途的树木后退并能判断出他们的大小和远近，但是天上的太阳，无论我移动再多，他在我的一只眼睛里总是那么大，那么远。这就是视差。
就算我能判断近处的物体。但是假如电影里一个缩小比例的故宫模型和真实的故宫故宫实拍，我依然可能混淆。因为我无法判断图像内容的真实尺度。
总结：单目相机的麻烦：单张图像不能确定深度，平移才能计算深度，而且存在尺度的不确定性。
2.两只眼睛——双目相机。两只眼睛存在眼距。两个单目相机之间也有一段距离，叫基线baseline。通过基线估计每个像素的空间位置。
两只眼睛获得同一场景的两张不同角度的物体图像。借助基线进行深度的计算。想想都好复杂。
3.深度相机RGB-D。将物体视为障碍物，主动向物体发射光并接受返回的光。通过物理测量手段解决问题。比如某些人脸识别。

二、有了眼睛后，我怎么通过眼睛获得的图像数据定位自己位置和所处的环境呢？——SLAM框架。
1.相机图像信息的读取和预处理——传感器信息读取。
2.估算相邻图像间相机的运动以及局部地图——前端视觉里程计（visual odometry）
3.接受前端测量的相机位姿以及回环检测的信息，并进行优化，得到全局一致的轨迹和地图。
4.回环检测，判断是否再次到达过先前的位置，有回环，则后端处理。
5.根据估计的轨迹，建立相应的任务地图。

视觉里程计——比如我刚到一个新家，需要熟悉周围环境，并在脑海中记住这个环境。那我会先在这个新家里走一走。我的眼睛会随着我的移动拍下相邻时刻的图像，比较两张图像可以得到我移动的方向、角度、距离等。我不会记得前面走了多少，更不在意后面即将去向哪里，我只会对现有记忆里相邻时刻的两张图像做比较，计算相关运动数据，这样就会有我的一段运动轨迹。我就会知道我在哪里。这就是里程计的本质。
但是，计算总会有误差，每一对相邻时刻运动轨迹的误差都会传递给下一时刻，时间久了以后，误差就会变大，运算出来的运动轨迹就不再准确。比如，之前我转了90度，但是通过图像数据计算，只有89度，那么再去估计后边的转角，本来我每次转90度可以回到原点，而你却预计我回不到原点，这就是累计漂移。也因为你预计值和我实际值之间的一度之差，让你建立的地图和我身体行走出的地图不能一致。
前端研究领域——图像的特征提取和匹配
——————————————————————————————————

后端优化——为了让脑海的计算结果和我的实际运动结果相一致。你必须对自己获取的数据进行后端优化，校正估算轨迹。再精确的传感器都会带有噪声，你要做的就是处理噪声。所以你什么都不管，只要前端的所有待优化数据和相关的初始数据。对数据进行处理。
后端研究领域——滤波、非线性优化算法等
——————————————————————————————————
回环检测——为了帮助你更准确地得出预计轨迹，我的身体移动关键数据也会告诉你。比如，我会特意绕一个圈，回到原点，然后告诉你或者让你自己感知到，我现在的数据是原点的数据，那么，你哪些估计值都直接可以拉回到准确位置，漂移的问题就不会再累积啦。传感器是最好的礼物，让你能对现在看到的图像和之前的图像进行比较，识别到相似图像我就知道我来过这里。这样就能够完成回环检测。累计误差就是这样减少的。
视觉回环检测的实质及研究领域——计算图像数据相似性的算法。

检测结果转递给后端优化算法，数据相应调整到符合回环检测的样子，就可以得到和实际一样的轨迹和地图啦。
——————————————————————————————————
关于建图，需求不一样，结果也不一样。有时候我只想知道我A和B的位置关系。有时候我想知道A和B之间能不能直通。所以建图没有固定的形式和算法。
度量地图——由路标组成的地图，往往不在意细节，只要能够定位就行。而如果需要导航的时候，就需要将地图更稠密化，稠密化的地图由二维格子或者三维的方块组成，每个小格子或者方块可以有占据、空闲和未知三种状态来表示该定位是否有物体。通过查询能够获取是否通过的结果信息，就可用作各种导航算法。
拓扑地图——节点和边组成的连通状态描述，不要求位置精确，表达更加紧凑。