ভিত্তি
- Python আর SQL
- Relational modeling
- Linux আর Git
Data থেকে অর্থ খুঁজে বের করুন · ক্যারিয়ার গাইড
Data Engineering
নির্ভরযোগ্য data pipeline ও model বানানো, যাতে analyst, product team এবং ML system সঠিক data পায় ও সেটির ওপর ভরসা করতে পারে।
এক নজরে ক্যারিয়ার
কাজের চাপ কেমন
তিনটি dot মানে ‘ভালো’ নয়। শুধু বোঝায়—এই ক্যারিয়ারে ওই ধরনের কাজ বেশি আসে।
কোডিং
গণিত
সিস্টেমের গভীরতা
অনুসন্ধান
সৃজনশীলতা
যোগাযোগ
Production-এর দায়িত্ব
আসল কাজ
একটি সত্যিকারের সপ্তাহে যা করতে হতে পারে
- অসম্পূর্ণ source থেকে data ingest করা।
- Warehouse table আর contract model করা।
- Pipeline schedule আর monitor করা।
- Missing, late বা duplicate data investigate করা।
- Cost, freshness আর correctness-এর balance করা।
বাস্তব কথাটা
Tutorial শেষ করা আর production-এর ফলাফলের দায় নেওয়া এক দক্ষতা নয়। এই page-এর কাজ hype তোলা নয়—দুটোর মাঝের ফাঁকটা দেখানো।
ভালো লাগতে পারে যদি
কৌতূহলের ছোট ইঙ্গিত
- Messy system predictable করতে ভালো লাগে।
- SQL boring না, expressive লাগে।
- Data কোথা থেকে এলো আর বিশ্বাসযোগ্য কি না—সেটা গুরুত্বপূর্ণ লাগে।
কঠিন লাগতে পারে যদি
যে অংশটি অস্বস্তিকর হতে পারে
- Invisible infrastructure-এ satisfaction কম।
- নিজের না করা upstream failure investigate অপছন্দ।
- Schema detail আর operational repetition ক্লান্ত করে।
বাস্তবসম্মত একটি দিন
প্রতিদিন এমন হবে না, তবে চাপের স্বাদটা এমন হতে পারে
এই timeline কোনো সাজানো career fantasy নয়; সাধারণ কয়েকটি কাজের সম্ভাব্য মিশ্রণ।
গতকালের order দুইবার কেন এসেছে investigate।
Backend engineer-এর সঙ্গে নতুন event contract review।
Safe backfill আর regression check যোগ।
কীভাবে শিখবেন
Checklist নয়—ধাপে ধাপে এগোনোর পথ
মূল দক্ষতা
- Batch pipeline
- Data quality আর contract
- Warehouse আর file format
হাতে-কলমে কাজ
- Idempotent pipeline build
- Quality check যোগ
- Lineage document
পরে
- Orchestration
- Streaming
- Distributed processing
যেগুলো এখনই না শিখলেও চলবে
এখনই নয়—কারণ কোনটার পর কোনটা শিখছ, সেটি জরুরি
- Reliable batch pipeline-এর আগে streaming।
- Pipeline না বানিয়ে cloud certification।
- একটা architecture diagram-এ দেখা সব warehouse tool।
ভবিষ্যতের আপনি বলছেন
‘পরে’ মানে অপ্রয়োজনীয় নয়। ভিত তৈরি হওয়ার আগে শিখলে শুধু context-টাই থাকবে না।
AI ও এই ক্যারিয়ার
কাজ কতটা automate হতে পারে
এটি replacement-এর শতকরা হিসাব নয়। AI-এর ক্ষমতা বদলাবে; তাই কাজ, বিচারবোধ আর দায়িত্ব—তিনটাকে আলাদা করে দেখুন।
Routine transformation লেখা
Familiar SQL আর mapping pattern-এ AI শক্তিশালী।
আপনার করণীয়: Grain, null behavior আর edge case test দিয়ে validate করুন।
Data-quality failure diagnose
AI clue খুঁজতে পারে, কিন্তু lineage আর business meaning local।
আপনার করণীয়: Profiling, reconciliation আর contract design শিখুন।
Trustworthy data definition-এর ownership
Metric-এর মানে আর accountability team-কে ঠিক করতে হয়।
আপনার করণীয়: Definition আর trade-off communicate করা practice করুন।
বাছাই করা শেখার রিসোর্স
Learn → Practice → Go deeper
কতগুলো resource জমিয়েছেন, সেটি progress নয়। দরকারি অংশটুকু শেষ করে কিছু বানান।
PostgreSQL Tutorial
ORM-এর আড়াল নয়, database থেকেই relational ধারণা শিখুন।
এতটুকু করুন: Table, query, join, aggregate আর transaction।
শেষবার যাচাই:
SQLBolt
SQL syntax-কে কাজে লাগার skill বানাতে দ্রুত feedback দেয়।
এতটুকু করুন: Lesson 1–12 আর exerciseগুলো করুন।
শেষবার যাচাই:
Data Engineering Zoomcamp
Pipeline আর warehouse-এর বাস্তব project-oriented পরিচয়।
এতটুকু করুন: আগে Module 1–3; orchestration আর streaming পরে হলেও চলবে।
শেষবার যাচাই:
এবার কী করবেন
এবার নিজের জন্য কোন evidence বানাবে?
কাছাকাছি আরও কিছু পথ
Skill থেকে গন্তব্য
এই skill নিয়ে কোথায় এগোবেন?
Career roadmap বলে কী শিখবেন। Goal guide বলে সেই skill দিয়ে কীভাবে এগোবেন। একটি পথ দিয়ে শুরু করুন; সব একসঙ্গে নয়।