Дежурный администратор баз данных (junior)

Описание

Влад исл ав С м ирно в Data E ngin eerin g In te rn T G @ ta dzh nahal E m ail th eyca llm enoir @ gm ail. c o m L in ked In lin ke din .c o m /in /v la d-s m ir n ov-in G it H ub git h ub.c o m /ta dzh nahal С туд ент м аги стр ату р ы Ф КН В Ш Э п о  D ata S cie nce с  о пы то м а на л ити ки в  б ухга л те рско м а утс о рсе и  о нл ай н- о б разо ва ни и. С ей ча с в сё г л уб ж е д ви га ю сь в  с то р ону d ata e ngin ee rin g и  д ел аю п р ое кт ы , с в я за нны е с  E TL- па й пл ай на м и, р асп р ед ел ённо й о б раб отко й д анны х, b a cke nd-с е р ви са м и, п р акт и ка м и D evO ps и  S R E. Б ол ьш е в се го м не и нте ресн о р азб ирать ся , к а к d ata -с и сте м ы р аб ота ю т « под  к а пото м », и  у ч и ть ся д ел ать и х у с то й чи вы ми и н а д ёж ны ми. П РО ЕКТЫ ETL E-commerce Clickstream pyth on · p ostg re sq l · c lic kh ouse · a pach e s p ark · o netl · fa sta pi · c e le ry · r e dis · d ocke r · k u bern ete s С об рал E TL-п а й пл ай н д ля д анны х и нте рнет-м ага зи на и  в ы стр о и л п ол ны й м арш рут д анны х о т и сто чн и ка д о а на л ити че ско й ви тр и ны . П роект з а гр уж ает д анны е в  P ostg re S Q L, ч и та ет и х с  п о м ощ ью o nE TL и  S park , о б рабаты ва ет в  S pa rk и  з а пи сы ва ет р езу л ьт а т в  C lic kH ouse . 1. Р азде лил пайплайн на по лный и инкрементальный прохо д, вынес об а режима в о тде льные Spark job и доб авил HWM в YAML-файл. Эт о позволил о отде льно запу скать первый full snapshot, пов торно прог онять весь набор данных и обраб атыв ать т ольк о новые данные после после дней метки. 2. Собрал е диные настройки сервиса чере з config.yaml, .env, ConfigMap и Secret, чт обы один и т от же сервис запу скался лок ально и в Kubernetes б ез р учной правки параме тров перед каждым ст артом. 3. По днял HTTP API на FastAPI и фоновые зада чи на Celery с Redis. Через API можно запу скать full и incremental ETL, смо треть ст ату с к онкре тной зада чи и хранить ист орию последних прогонов. 4. Дорабо тал сл ой обрабо тки, добавил филь тры для бо т-активности и вынес чт ение источник а, трансформации и ист орию задач в о тде льные сервисы, чт обы пайплайн был о проще развив ать и т естиров ать. 5. По дготовил дв а сценария запу ска л окально чере з Docker Compose и в Kubernetes чере з Dockerfile, spark-submit job и набор манифестов для Minikube. github.com/tadzhnahal/etl-ecommerce-clickstream Reliability Lab pyth on · b ash · d ocke r · lin ux · s yste m d Соб ираю у ч е б ны й с те нд в о кр уг н еб ол ьш ого с е рви са , ч то б ы н а  о д но й б азе р азб ирать э кс п л уа та ц ию п р и л ож ени я, т и по вы е с б ои и  б азо вы е S R E-с ц ена ри и. 1. Д об авил Docker-окр ужение для л окальног о запуска, вынес инфрастр укту рные файлы в о тде льные к атал оги и по дготовил ст енд, к оторый мо жно быстро по днять и повторно в оспроизв ести. 2. Оформил о тде льный сц енарий со сбоем systemd, чт обы разбира ть отказ сервиса, чит ать л оги, нах одить причину по ломки и вр учную восстанав ливать рабо ту прил ожения. 3. Р азл ожил проек т по слоям app, config, infra/docker, labs/linux/systemd-failure и scripts, чт обы отде лить к од сервиса, конфиг , инфрастр укту р у и сц енарии. Прод ол ж аю р аб оту н а д  п р оекто м и  п о сте пе нно д оба вл яю н о вы е с ц ена р и и, ч то б ы с о б рать и з н е го ц ел ьн ую у ч е б ную с р ед у по  L in ux, с е тя м , к о нте й не рам , м они то ри нгу и  р азб ору и нц ид енто в. github.com/tadzhnahal/reliability-lab Analytics Impact Map p yth on · s tr e am lit · p ostg re sq l · d ocke r c o m pose С об ираю с е рви с, к о то ры й п о м ога ет в и зу а л изи рова ть ж изн е нны й ц икл д анны х и  у п р а вл ять с в я зя м и м еж ду к о м по не нта м и ч е р ез b acke nd, fr o nte nd и  P ostg re S Q L-с хе м у. 1. Р еализ овал л огику анализа зависимост ей и подготовк у графовых данных, чт обы показыв ать пр ямые св язи между узлами и запу скать ра збор в лияния изменений из инт ерфейса. 2. Дорабо тал инт ерфейс на Streamlit, доб авил графовое представление, по дсветк у за тронутых уз лов, формы для с оздания и у даления к омпонентов и зависимост ей, а также перенес управ ление и анализ в сайдб ар. 3. Настроил локальный запу ск через Docker Compose и св язал frontend, backend и б азу, чт обы сервис был о проще поднима ть и пров ерять после к аждой новой доработки. Прод ол ж аю р аб оту н а д  п р оекто м и  р азв и ва ю и нте рф ей с и  C RUD-с ц ена р и и, ч то б ы к а рта с та л а у д об не е д ля р еа л ьн о го р азб ор а и зм ене ни й в  д анны х и  с е рви са х. github.com/tadzhnahal/analytics-impact-map О ПЫ Т Eduson.tv · Аналитик-ме то до лог ию ль 2 024 — н ояб рь 2 025 E dTe ch · п р од укто вы е и ссл ед ова ни я, м етр и ки и  р азр аб отк а IT -к у р со в Р азрабо тал 150+ час ов IT-конт ента по Python, в еб-ра зрабо тке, ав то тестиров анию и управ лению IT-проектами. В ре зу ль та те за г од к ласт ер по лучил +28% к про дуктов ом у пор тфелю и вырос в двое по выр учке. Пров ел 15+ съемок с эк спертами из Y andex, Sber , Amazon, Booking.com и EP AM. Материалы в ошли во все программы класт ера. Перерабо тал 85% к онтента беспла тного курса по Python по ре зу ль та там A/B-т естов и анализа к онверсии. Ку рс принес окол о 450 тыс. р уб. выр учки чере з неделю после запу ска. Пров ел 7+ про дуктовых иссле дований новых направ лений и помог запу стить разработку дв ух курс ов, к оторые в т ечение дв ух не дель после запу ска сде лали бо лее 400% плана по месячной выр учке. Проанализиров ал процессы поддержки, выявил к лючевые узкие мест а и разработал фреймв орк, который у скорил сре днее время о твета на в опрос ст удент а на 60% и с ократил расх оды на ра зработку к онт ента на 42%. Дорабо тал и запу стил дипл омные проек ты для курс ов по в еб-ра зрабо тке, ав то тестиров анию, а т акже стра тегическ ому управ лению в IT , который ст ал одним из ф лагманов к ластера по выр учке со сре дней оц енкой ст удент ов 4.6/5. ООО «Уче т и Налоги» · Младший аналитик данных ян вар ь 2 024 — и ю ль 2 024 Ф ина нсо вы й а утс о рси нг · 1 С , E xce l, Э ДО и  у п р авл енче ска я о тч е тн о сть Собрал е диный реестр по 30 к лиентам и св язал в нем у слуги, оплаты, документы и ст ату сы о тчетности из 1С, Excel и Э ДО. Рук оводит ель ст ал быстрее виде ть долги, просро чки и клиентов с риск ом ухода, а к оманда с ократила время на поиск данных на 30%. Сост авил пак ет sql-инстр укций с join, group by , case when и подзапросами для св ерки оплат, у слуг и о тчетных перио дов. Команда ст ала быстрее нах одить неопла ченные счета на 60–90 тыс. р уб. в кв артал, а до ля просро ченной де биторки на рабо чем участк е снизилась на 12–15%. Нашел дубли, пу стые по ля и ошибки в к лиентских к арто чк ах и реестрах. Б ухгалт еры ст али тра тить на р учные сверки на 6 часов в не делю меньше и у спевали в ести бо льше клиентских зада ч без по тери к ачеств а. Составил управ ленческий о тчёт для руков одит еля по срок ам сдачи и ст ату сам о тправки о тчетности. Команда ст ала раньше замечать риск срыв а срока, а числ о срочных зада ч в конце месяца снизил ось на 20%. ОБРА ЗО ВА НИЕ НИУ ВШЭ 2025–2027 М аги стр ату р а, п р и кл ад на я м ате м ати ка и  и нф орм ати ка СПбГУ 2 023–2025 М аги стр ату р а, м ед иако м м ун и ка ц ии ВГУ 2018–2023 Б ака л авр и ат, ж ур на л исти ка Д О П. О БРА ЗО ВА НИЕ VK Education · Прик ладная аналитика данных 2026 — н .в . Р азб ираю B ig D ata , E TL, D ata Q ualit y , B I- с и сте м ы , S Q L, P yth on, с ко р и нг, п р и ор и ти за ц ию з а д ач и  р аб оту с  г и поте за м и. К ур с по м ога ет л уч ш е п о ни м ать , к а к д анны е п р охо д ят п уть о т и сто чн и ка д о р еш ени я в  п р од укте . VK Education · DevOps/SRE-инж енер 2026 — н .в . И зу ч а ю L in ux, с е ти , в е б -а рхи те кт у р у, D ocke r, K ubern ete s, м они то ри нг с е р ви со в и  т и по вы е с б ои в  и нф ра стр укт у р е. К ур с п о м ога ет л уч ш е п о ни м ать и нф растр укт у р у п р од а, у в е ренне е д иагн о сти рова ть с б ои и  т о чн е е р аб ота ть с  н а д еж но сть ю с е р ви со в. VK Education · Р аспределенные вычисл ения 2026 — н .в . И зу ч а ю с е те вы е п р ото ко л ы , о пти м иза ц ию з а пр осо в, ш ард ирова ни е и  р епл ика ц ию . Д ал ьш е б уд у и зу ч а ть N oS Q L, A pach e K afk a , S R E, o bse rv a bilit y и  н а гр узо чн о е т е сти рова ни е. К ур с п о м ога ет л уч ш е п о ни м ать , к а к р аб ота ю т в ы со ко на гр уж енны е с и сте м ы и  к а к д ел ать и х у с то й чи вы ми. И Н СТР УМ ЕН ТЫ pyth on bash sq l postg re sq l clic kh ouse excel g oogle s h eets p an das n um py m atp lo tlib s eab orn a p ach e s p ark p ysp ark a p ach e a ir flo w fa sta p i str e am lit c ele ry re d is m in io d ocker ku bern ete s lin ux git п р од укто вая а н ал ити ка п р од укто в ы е и ссл ед ован и я Я ЗЫ КИ English B2 Ру сский род но й