В рамках проекта разработана программа для парсинга датасетов и анализа данных о внутренней миграции населения Российской Федерации по федеральнм округам.
Платформа: OC Windows
- Внутрироссийская миграция по территориям прибытия и выбытия (gks.ru).
- Среднедушевые денежные доходы населения, оперативные данные по субъектам Российской Федерации (gks.ru).
- Численность населения Российской Федерации по муниципальным образованиям (gks.ru).
История наблюдений погодных данных Яндекс.Погода (yandex.ru).
P.S. Так как API платное, то принято было решение взять датасет с сайта http://aisori.meteo.ru/climater.- Характеристики уровня загрязнения атмосферного воздуха в субъектах Российской Федерации (mnr.gov.ru)
- Численность безработных граждан, зарегистрированных в государственных учреждениях службы занятости населения (fedstat.ru)
Архитектура приложения построена на модели "Клиент-сервер". Однако в рамках практической реализации
была реализована только серверная часть (все построенные графики легко интегрируемы в код Javascript сайта).
С помощью библиотек openpyxl, numpy, pandas осуществляется парсинг входных датасетов.
С помощью библиотеки sqlite3 осуществляется запись и выборка данных в/из БД SQLite.
С помощью библиотеки cufflinks, plotly строятся графики, гистограммы для отображения данных датасетов.
Программа состоит из двух основных классов, используемых в main.py:
- UploadFromCSV (обработка датасетов);
- SQLiteInspector (взаимодействие с БД).
Язык программирования:
- Python 3.8
Библиотеки для обработка и формирование данных:
- Pandas;
- Plotly;
- Cufflinks;
- Openpyxl;
- Numpy;
- Sqlite3.
Для хранения записей и работы с ними использована:
- SQLite
Для анализа применены следующие формулы:
Общий итог качества жизни (основан на датасетах - миграция, уровень жизни, безработица):
P.S. Если столбец отрицателен - тогда в данном регионе регрессия уровня жизни, иначе - прогрессия.
Карта отображения общего итога качества жизни:
Если у вас возникли сложности или вопросы, создайте обсуждение в данном репозитории или напишите на электронную почту [email protected].