Skip to content

Commit

Permalink
course project final changes, fix styling
Browse files Browse the repository at this point in the history
  • Loading branch information
Drapegnik committed Dec 15, 2017
1 parent 9487959 commit 3d44fcd
Show file tree
Hide file tree
Showing 17 changed files with 93 additions and 47 deletions.
9 changes: 9 additions & 0 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -2,6 +2,15 @@

🎓 My science works on FAMCS, BSU

## 4th course project

* You can read rendered report just
[here](https://drapegnik.github.io/bsu-science/4th_course_work.pdf)
* Check report code in
[release `v2.0.0`](https://github.com/Drapegnik/bsu-science/releases/tag/v2.0.0)
* And watch presentation
[here](https://docs.google.com/presentation/d/e/2PACX-1vRFiTfkBQKGjRlOPysUdg21WhlLiT0j5QRBzsHCf-r8sDQl7aIjv2y03xTsnmNKBomY005vewqOjip5/pub?start=false&loop=false&delayms=3000)

## 3th course work

* You can read rendered report just
Expand Down
12 changes: 5 additions & 7 deletions conclusions.tex
Original file line number Diff line number Diff line change
@@ -1,17 +1,15 @@
\chapter*{ЗАКЛЮЧЕНИЕ}
\addcontentsline{toc}{chapter}{ЗАКЛЮЧЕНИЕ}

В процессе выполнения предыдущей работы было выявлено, что метод Structure from Motion не подходит для работы в реальном времени на борту беспилотного летательного аппарата.

В процессе выполнения данной работы были получены следующие результаты:

\begin{itemize}
\item выявлены требования и поставлена задача;
\item изучены и проанализированы основные алгоритмы компьютерного зрения, основанные на особых точках;
\item разработан простейший алгоритм решения задачи поиска;
\item подготовлены тестовые данные, проведены эксперименты;
\item спроектировано и реализовано приложение, позволяющее строить 3D модели и осуществлять поиск по ним.
\item рассмотрен новый метод Simultaneous Localization and Mapping;
\item изучены и проанализированы различные реализации SLAM.
\end{itemize}

Полученные теоретические знания и практические навыки, а также результаты экспериментов являются хорошей основой для будущих исследований.

Выбранная область и проблема позволяют не останавливаться на достигнутом и, в дальнейшем, продолжить работу над задачей.
Полученные теоретические знания и практические навыки, а также результаты экспериментов являются хорошей основой для будущей работы. В результате исследования выявлено, что последние SLAM алгоритмы являются идеальными кандидатами, для решения задачи навигации в режиме реального времени на борту беспилотного летательного аппарата.
\newpage
Binary file added docs/4th_course_project.pdf
Binary file not shown.
2 changes: 1 addition & 1 deletion essay.tex
Original file line number Diff line number Diff line change
Expand Up @@ -16,6 +16,6 @@

\textbf{Области применения:} модели и алгоритмы, работающие на борту беспилотных летательных аппаратов.

\textbf{Результаты:} теоретическая база, сравнительные эксперименты, алгоритм решения.
\textbf{Результаты:} сравнительные эксперименты, алгоритм решения.

\newpage
13 changes: 0 additions & 13 deletions introduction.tex
Original file line number Diff line number Diff line change
Expand Up @@ -10,16 +10,3 @@ \chapter*{ВВЕДЕНИЕ}
Таким образом компьютерное зрение сейчас - это новая, очень популярная и активно развивающаяся область информатики, используемая всеми лидерами отрасли.

Многие проекты, использующие компьютерное зрение, направлены на автоматизацию рутинной работы, уменьшение человеческого труда. Одна из основных задач - улучшение качества жизни путём высвобождения одного из самых дорогих ресурсов - человеческого времени.

\newpage

\chapter*{АКТУАЛЬНОСТЬ И ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ}
\addcontentsline{toc}{chapter}{АКТУАЛЬНОСТЬ И ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ}

Как следует из названия БПЛА не имеют пилота, но это не значит, что они не пилотируемы. Управление беспилотником требует специального обучения, сосредоточенности и является очень утомительным для оператора. Основополагающим необходимым условием для работы дрона является наличие GPS сигнала, что делает его очень уязвимым и зависимым от внешних обстоятельств. В отсутствие сигнала системы глобального позиционирования дрон теряет управление.

В связи с этим возникает задача нахождения и использования альтернативных источников навигации. Так как почти каждый современный беспилотник оснащён камерой, то возможно применение алгоритмов компьютерного зрения.

С помощью разработанного алгоритма и программного обеспечения будет возможна навигация дрона, используя только камеру. Дополнительные возможности применения обширны: патрулирование заданной территории и обнаружение новых объектов, не присутствовавших ранее, возвращение в заданную точку в случае потери gps сигнала, слежение за данным объектом, построение 3D карт местности, навигация по заданной цифровой карте.

\newpage
12 changes: 10 additions & 2 deletions literature.tex
Original file line number Diff line number Diff line change
Expand Up @@ -18,9 +18,17 @@ \chapter*{СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ}

% \item \label{itm:theia} Официальная документация библиотеки с открытым исходным кодом TheiaSfm [Электронный ресурс] / Chris Sweeney - 2016. - Режим доступа: \url{http://www.theia-sfm.org/}. - Дата доступа: 17.04.2017.

% \item \label{itm:last}\label{itm:qt} Официальный сайт C++ фрэймворка QT [Электронный ресурс] / The Qt Company - 2017. - Режим доступа: \url{https://www.qt.io/}. - Дата доступа: 20.04.2017.
% \item \label{itm:qt} Официальный сайт C++ фрэймворка QT [Электронный ресурс] / The Qt Company - 2017. - Режим доступа: \url{https://www.qt.io/}. - Дата доступа: 20.04.2017.

\item \label{itm:cheeseman} Smith, R.C.; Cheeseman, P. On the Representation and Estimation of Spatial Uncertainty // The International Journal of Robotics Research - 1986. - no. 5 (4). - pp. 56–68.
\item \label{itm:cheeseman} Smith R.C., Cheeseman P. On the Representation and Estimation of Spatial Uncertainty // The International Journal of Robotics Research - 1986. - no. 5 (4). - pp. 56–68.

\item \label{itm:ptam} Georg Klein, David Murray. Parallel Tracking and Mapping for Small AR Workspaces // Proc. International Symposium on Mixed and Augmented Reality (ISMAR) [Electronic resource] - 2007. - Mode of access: \url{http://www.robots.ox.ac.uk/~gk/publications/KleinMurray2007ISMAR.pdf}. - Date of access: 17.06.2017.

\item \label{itm:lsd} J. Engel, T. Schöps, D. Cremers. LSD-SLAM: Large-Scale Direct Monocular SLAM // European Conference on Computer Vision (ECCV) [Electronic resource] - 2014. - Mode of access: \url{https://vision.in.tum.de/_media/spezial/bib/engel14eccv.pdf}. - Date of access: 15.10.2017.

\item \label{itm:orbslam} Raúl Mur-Artal, J. M. M. Montiel, Juan D. Tardós ORB-SLAM: A Versatile and Accurate Monocular SLAM System. // IEEE Transactions on Robotics - 2015. - vol. 31, no. 5 - pp. 1147-1163.

\item \label{itm:last}\label{itm:svo} Christian Forster, Matia Pizzoli, Davide Scaramuzza. SVO: Fast Semi-Direct Monocular Visual Odometry // IEEE International Conference on Robotics and Automation (ICRA) [Electronic resource] - 2014. - Mode of access: \url{http://rpg.ifi.uzh.ch/docs/ICRA14_Forster.pdf}. - Date of access: 27.09.2017.
\end{enumerate}

\newpage
6 changes: 3 additions & 3 deletions styles/bsumain.sty
Original file line number Diff line number Diff line change
Expand Up @@ -177,13 +177,13 @@
\renewcommand{\@makechapterhead}[1] {
\vspace{36pt} % Пустое место вверху страницы
{
\centering
% \centering
\parindent=18pt
\normalfont\large\bfseries
% \chaptername ~ \thechapter{} \par % Номер главы
ГЛАВА \thechapter. % Номер главы
#1 \par % Заголовок текста с новой строки
\nopagebreak % Не отрываем заголовок от текста
\vspace{36pt} % Пустое место между заголовком и текстом
\vspace{30pt} % Пустое место между заголовком и текстом
}
}

Expand Down
4 changes: 2 additions & 2 deletions theory/bundle-adjustment.tex
Original file line number Diff line number Diff line change
@@ -1,9 +1,9 @@
\section{Алгоритм \quotes{Bundle adjustment}}

\textbf{Bundle adjustment} (дословно \quotes{\textit{регулировка пучков}}) - алгоритм проективной геометрии который, решая системы нелинейных уравнений (путем минимизации ошибки) находит 3d координаты ключевых точек в пространстве. Используется на последних этапах процесса Structure from Motion.

Одна трёхмерная точка в реконструируемой модели соответствует нескольким двухмерным точкам на исходных изображениях (потому что на снимках изображено одна и та же местность или объект с разных ракурсов). Если спроецировать 3d точку на изображения - лучи должны попасть в соответствующие ей 2d точки. И, в свою очередь, все лучи должны собраться в один \quotes{пучок} в точке на трёхмерной модели.

Суть метода Bundle adjustment:
\begin{enumerate}
\item Представление всех лучей, которые должны сойтись в одной точке как систему алгебраических уравнений;
Expand Down
12 changes: 11 additions & 1 deletion theory/common.tex
Original file line number Diff line number Diff line change
@@ -1,8 +1,18 @@
\chapter{ОБЛАСТЬ КОМПЬЮТЕРНОГО ЗРЕНИЯ}

\section{Актуальность и практическая значимость}

Как следует из названия БПЛА не имеют пилота, но это не значит, что они не пилотируемы. Управление беспилотником требует специального обучения, сосредоточенности и является очень утомительным для оператора. Основополагающим необходимым условием для работы дрона является наличие GPS сигнала, что делает его очень уязвимым и зависимым от внешних обстоятельств. В отсутствие сигнала системы глобального позиционирования дрон теряет управление.

В связи с этим возникает задача нахождения и использования альтернативных источников навигации. Так как почти каждый современный беспилотник оснащён камерой, то возможно применение алгоритмов компьютерного зрения.

С помощью разработанного алгоритма и программного обеспечения будет возможна навигация дрона, используя только камеру. Дополнительные возможности применения обширны: патрулирование заданной территории и обнаружение новых объектов, не присутствовавших ранее, возвращение в заданную точку в случае потери gps сигнала, слежение за данным объектом, построение 3D карт местности, навигация по заданной цифровой карте.

\section{Постановка задачи}

Необходимо изучить и проанализировать различные существующие алгоритмы компьютерного зрения, провести практические эксперименты и впоследствии применить накопленные знания для решения задачи навигации беспилотного летательного аппарата в условиях отсутствия GPS сигнала, с использованием имеющихся с оптических приборов. Ниже будут рассмотрены такие глобальные подходы как Structure from Motion (SFM) и Simultaneous Localization and Mapping (SLAM), с использованием таких алгоритмов как Bundle Adjustment, SIFT, SURF, ORB и их различных реализаций.

\section{Общие теоретические положения}
\section{Основные теоретические понятия}

Люди обладают зрением, что позволяет нам распознавать изображения и объекты на них, сравнивать их между собой и всё это мы делаем бессознательно, автоматически. Однако, для машины изображение — всего лишь закодированные данные, набор нулей и единиц. Одной из больших проблем в сопоставлении изображений является очень большая размерность пространства, которое несёт информацию. Если взять картинку размером хотя бы $100*100$ пикселей, то уже получим размерность равную $10^4$ пикселей. Поэтому методы анализа изображения должны быть быстрыми и эффективными.

Expand Down
7 changes: 0 additions & 7 deletions theory/conclusions.tex

This file was deleted.

5 changes: 2 additions & 3 deletions theory/index.tex
Original file line number Diff line number Diff line change
@@ -1,12 +1,11 @@
\chapter{ОБЗОР СУЩЕСТВУЮЩИХ АЛГОРИТМОВ И МЕТОДОВ НАВИГАЦИИ}

\input{theory/common.tex}
\input{theory/sfm.tex}
\input{theory/sift.tex}
\input{theory/feature-based-comparison.tex}
\input{theory/bundle-adjustment.tex}
\input{theory/sfm-conclusions.tex}
\input{theory/slam.tex}
\input{theory/slams-comparison.tex}
\input{theory/conclusions.tex}
\input{theory/slam-conclusions.tex}

\newpage
5 changes: 5 additions & 0 deletions theory/sfm-conclusions.tex
Original file line number Diff line number Diff line change
@@ -0,0 +1,5 @@
\section{Выводы}

В этой главе был рассмотрен метод построения 3d реконструкции из набора снимков, называемый Structure from Motion. Были подробно разобраны составляющие его этапы и проанализированы различные алгоритмы, которые могут использоваться на каждом шаге метода. Среди рассмотренных дескрипторов и детекторов можно выделить SIFT - как самый точный и надёжный, и современный ORB - как быстрый, но в то же время достаточно устойчивый.

Как показали практические эксперименты Structure from Motion больше применим для офлайн построения больших карт местности и 3d реконструкций, чем для работы в реальном времени на борту. Он точный, но медленный. Так как для успешной навигации требуется онлайн работа, то это приводит к необходимости проведения дальнейших исследований и поиска подходящего метода. Метод SLAM будет рассмотрен в следующей главе.
Loading

0 comments on commit 3d44fcd

Please sign in to comment.