Koo’s ডাটা প্লেটফৰ্ম — অংশ ১: আপাচি কাফকা আৰু নিফাই
ফণীশ গুৰুৰাজৰ দ্বাৰা, ৩ জানুৱাৰী, ২০২২ তাৰিখে
তেওঁলোকে কোৱাৰ দৰে ডাটা যিকোনো সংস্থাৰ সফলতাৰ মূল কাৰণ বিশেষকৈ Koo ৰ দৰে এটা প্ৰডাক্টৰ বাবে ; আমি বিভিন্ন ডাটা পইণ্ট বাস্তৱ সময়ত ধৰি ৰাখোঁ যিয়ে আমাক আমাৰ ব্যৱহাৰকাৰীসকলৰ যাত্ৰা ভালদৰে বুজিবলৈ সহায় কৰে। আমি সৃষ্টি কৰি অহা বৃদ্ধিৰ লগে লগে আমাৰ ডাটা প্লেটফৰ্মক বিশ্লেষণ আৰু ষ্ট্ৰিমিং দুয়োটা দৃষ্টিকোণৰ পৰা স্কেল কৰাৰ এক নিৰন্তৰ প্ৰত্যাহ্বান আছে। এই টোকাটোত, যেতিয়া আমি আমাৰ ডাটা প্লেটফৰ্ম নিৰ্মাণ কৰাৰ সিদ্ধান্ত লৈছিলো আমি তলত দিয়া স্থাপত্যৰ লক্ষ্যসমূহ মনত ৰাখি এক সামগ্ৰিক পদ্ধতি গ্ৰহণ কৰিছিলো।
এই ব্লগ শৃংখলাৰ ১ম খণ্ডত আমি নিফি আৰু কাফকাক আলোচনা কৰিম।
স্কেলেবল গ্ৰহণৰ পাইপলাইন
- কম খৰচী তথ্য সংৰক্ষণ।
- প্ৰশ্ন কৰাটো সহজ আৰু প্ৰয়োজন অনুসৰি বাহ্যিক তথ্য আনিব পৰা।
- মুক্ত উৎস।
- প্ৰৱেশ নিয়ন্ত্ৰণসমূহ।< /li>
- প্ৰচেছ কৰা তথ্যৰ স্নেপশ্বটসমূহ সংৰক্ষণ কৰক।
আমি আপাচি ষ্টেকৰ ওপৰত নিৰ্মিত কিছুমান সাধাৰণ আৰ্হিৰ মূল্যায়ন কৰিলোঁ — কাফকা, নিফাই, হুডি, পাৰ্কেট, স্পাৰ্ক
আমাৰ ডাটাৰ আকাৰৰ বিষয়ে কিছুমান ষ্টেটাছ দিয়া হ’ল
- > প্ৰতিদিনে ৫০০ জিবি এপ্লিকেচন লগ হয়।
- > ব্যৱহাৰকাৰীসকলৰ ২০ জিবি গঠনমূলক জটিল তথ্য — প্ৰফাইল, যাত্ৰা, প্ৰতিদিনে জটিল কাৰ্য্যসমূহ।
- > প্ৰতিদিনে 3M ইম্প্ৰেছন।
কাফকা
আমাক এটা যুদ্ধ পৰীক্ষা কৰা বাৰ্তা শাৰীবদ্ধ ব্যৱস্থাৰ প্ৰয়োজন আছিল আৰু কাফকা আছিল আদৰ্শ পছন্দ। আমাৰ স্কেলৰ বাবে আমাক এনেকুৱা কিবা এটাৰ প্ৰয়োজন আছিল যিটো অনুভূমিকভাৱে স্কেলেবল আৰু দোষ সহনশীল।
কাফকাত বিষয়ৰ ধাৰণাটোৱে আমাক আমাৰ গ্ৰহণ স্থাপত্যক দক্ষতাৰে স্তৰিত কৰাত সহায় কৰিছিল কাৰণ ইভেণ্টৰ একাধিক উৎপাদক আছে। বহলভাৱে আমি ধৰি ৰাখোঁ
- [Koos ব্যৱহাৰকাৰীসকলে পঢ়া → ছাপ]
- [Koos ভাল পাইছে, পুনৰ kooed → প্ৰতিক্ৰিয়াসমূহ]
- [মানুহে অনুসৰণ কৰে / অনুসৰণ নকৰে → নেটৱাৰ্ক]
- [দৰ্শনসমূহ → প্ৰফাইল, ছবি, Koo-বিৱৰণ, পৰ্দা]
নিফি
প্ৰযোজকসকলৰ পৰা বিভিন্ন ইটিএলসমূহ অৰ্কেষ্ট্ৰেট কৰিবলৈ আৰু ডাটা পাইপলাইনৰ শৃংখলাবদ্ধ কৰিবলৈ, NiFi এটা ভাল প্ৰাৰ্থী। ৰূপান্তৰ আৰু পাইপলাইনসমূহ চিলাই কৰাৰ সময়ত বিভিন্ন বিল্ট-ইন সংযোগকাৰীসমূহ যথেষ্ট সহায়ক আহে।
NiFi ৰ কিছুমান গুৰুত্বপূৰ্ণ বৈশিষ্ট্য, সেইটো ছুপাৰ গুৰুত্বপূৰ্ণ
- চলনসময় প্ৰবাহ ব্যৱস্থাপনা সম্ভৱ।
- গতিশীল অগ্ৰাধিকাৰ।
- তথ্যৰ উৎপত্তি → তথ্য পথ অনুসৰণ কৰা।
- বেক চাপ আৰু স্কেল ফলপ্ৰসূভাৱে ব্যৱস্থাপনা কৰক প্ৰচেছৰসমূহ।
এটা উল্লেখযোগ্য ছ'চিয়েল মিডিয়া সত্তা হিচাপে, Koo আঞ্চলিক ভাষা আৰু স্থানীয় বিষয়বস্তুৰ চাৰিওফালে সৃষ্টিকৰ্তা আৰু ব্যৱহাৰকাৰীৰ সম্প্ৰদায়সমূহক কিউৰেট কৰিব যিয়ে দৈনন্দিন জীৱনত গুৰুত্বপূৰ্ণ অৰ্থপূৰ্ণ, সমৃদ্ধ পাৰস্পৰিক ক্ৰিয়া-কলাপৰ দিশত আগুৱাই লৈ যাব।
তলৰ গ্ৰাফটোৱে আমাৰ ছাপৰ বাবে চাৰ্টটো দেখুৱাইছে (এটা জটিল বিশ্লেষণাত্মক তথ্য যিয়ে আমাৰ বহুতো এম এল পাইপলাইনক শক্তি প্ৰদান কৰে)। তথ্য কাফকাৰ মাজেৰে বৈ যোৱাৰ লগে লগে আৰু অৱশেষত S3 ত থিতাপি লোৱাৰ লগে লগে, ক
- ৰূপান্তৰসমূহৰ গোট প্ৰয়োগ কৰা হয়
- তথ্যক কেতিয়াবা অন্য উৎসৰ পৰা দ্ৰুত প্ৰসংগৰ বাবে টানি অনা হয়
- কিছুমান চৰ্তৰ ওপৰত নিৰ্ভৰ কৰি পাইপলাইনত পৰৱৰ্তী প্ৰচেছৰলৈ তথ্য পঠোৱা হয়< /লি>
আমাৰ NiFi ব্যৱহাৰ কেছে বহুত মাৰ্জিঙৰ দাবী কৰে → ইয়াত অধিক বিৱৰণ। ওপৰৰ গ্ৰাফটোৰ পৰা দেখাৰ দৰে। মাৰ্জিঙৰ rpm যথেষ্ট বেছি। কেতিয়াবা, আমি সাধাৰণতে হোৱা স্থিৰ অৱস্থাৰ তুলনাত কিছুমান অনুৰোধৰ বাবে অধিক সম্পদৰ ব্যৱস্থা কৰি পাইপলাইনসমূহ ত্বৰান্বিত কৰিবলৈ কিছুমান প্ৰবাহ ট্ৰিগাৰ কৰোঁ। এইটো এটা ডাঙৰ সুবিধা যিয়ে আমাক ইনফ্ৰাক অশান্তি নিদিয়াকৈ সম্পদ পৰিচালনা কৰাত সহায় কৰে।
কাফকা আৰু নিফাইয়ে ডাটা পাইপলাইনসমূহ দক্ষতাৰে স্থাপন কৰিবলৈ এক শক্তিশালী সংমিশ্ৰণ গঠন কৰে। দুয়োটা প্ৰযুক্তিৰ অনুভূমিক স্কেলেবল প্ৰকৃতিও এটা অতি জটিল দিশ। NiFi ভালদৰে বুজিবলৈ FlowFiles আৰু প্ৰচেছৰক অলপ বেছি গভীৰভাৱে বুজিব লাগিব।
FlowFiles — এটা flowfile হৈছে Apache NiFi ত এটা মূল প্ৰচেছিং সত্তা। ইয়াৰ ডাটা কন্টেন্ট আৰু এট্ৰিবিউট আছে, যিবোৰ NiFi প্ৰচেছৰসমূহে ডাটা প্ৰচেছ কৰিবলৈ ব্যৱহাৰ কৰে। নথিপত্ৰৰ বিষয়বস্তুত সাধাৰণতে উৎস ব্যৱস্থাপ্ৰণালীৰ পৰা অনা তথ্য থাকে।
প্ৰচেছৰসমূহ — এটা প্ৰচেছৰে এটা Apache NiFi ডাটাফ্ল' সৃষ্টি কৰাৰ বাবে মূল বিল্ডিং ব্লক গঠন কৰে। প্ৰচেছৰসমূহে এটা আন্তঃপৃষ্ঠ প্ৰদান কৰে যাৰ যোগেদি NiFi এ এটা FlowFile, ইয়াৰ বৈশিষ্ট্যসমূহ আৰু ইয়াৰ বিষয়বস্তুলৈ অভিগম প্ৰদান কৰে।
পৰিস্থিতি — অধিসূচনা ইভেন্টৰ সময়ত হঠাতে স্পাইক বা কিছুমান Koo’s ভাইৰেল হোৱা
এই হঠাতে হোৱা স্পাইকবোৰ চম্ভালিবলৈ NiFi এ সঁচাকৈয়ে ভাল কাম কৰে আৰু আমি আমাৰ প্ৰয়োজন অনুসৰি বেক প্ৰেচাৰ ফাইন টিউন কৰিব পাৰো।
P1 → P2 → P3
যেনে: আমাৰ ৩টা প্ৰচেছৰ আছে — P1, P2 আৰু P3। p3 ৰ বাবে বেক প্ৰেচাৰ কনফিগাৰ কৰা হৈছে ধৰক 10K লৈ। এইবোৰ কোমল সীমা আৰু তথ্য পথ আৰু সময়ৰ ওপৰত নিৰ্ভৰ কৰি বিন্যাস কৰিব পাৰি। লগতে, যদি p2 এ 1M প্ৰবাহ নথিপত্ৰ সৃষ্টি কৰে, এই সকলোবোৰ 1M p3 লৈ ডাম্প কৰা হ'ব যি এটা ডাউনষ্ট্ৰিম চিস্টেম । p3 এ ইয়াৰ সকলো বাৰ্তা প্ৰক্ৰিয়াকৰণ সম্পূৰ্ণ নকৰালৈকে, p2 সময়সূচক স্থগিত কৰা হয়। এইদৰে আমি হঠাতে হোৱা স্পাইকটোও নিয়ন্ত্ৰণ কৰিবলৈ সক্ষম হৈছো।
প্ৰাচল প্ৰসংগ
যেনে: ক’ত আমি এনে মাধ্যম লাভ কৰো যিবোৰ অডিঅ’, ভিডিঅ’, ছবিৰ ৰূপত থাকে। আমাৰ এটা বাৰ্তা বস্তু আছে য'ত এটা মিডিয়া বস্তুৰ বিষয়ে কিছু মেটা-ডাটা থাকে → (চিত্ৰ, ভিডিঅ' বা অডিঅ' হ'ব পাৰে), প্ৰাচল প্ৰসংগ এটা ভাল ব্যৱহাৰৰ ক্ষেত্ৰ। যেতিয়া এই বাৰ্তা বস্তুটোৱে NiFi পাইপলাইনত আঘাত কৰে, প্ৰসংগ বস্তুটো প্ৰথমে ট্ৰিগাৰ কৰা হয় আৰু উপযুক্ত প্ৰজেকচন আৰু শৃংখলাবদ্ধকৰণ প্ৰতিষ্ঠা কৰা হয়। অডিঅ’, ইমেজ আৰু ভিডিঅ’ৰ বাবে বিভিন্ন পাইপলাইন নিৰ্মাণ কৰিব পাৰি। লগতে, কিছুমান সাধাৰণ বৈশিষ্ট্যসমূহো মাত্ৰ এবাৰহে এক্সট্ৰেক্ট কৰি পাছ কৰিব পাৰি। এই প্ৰাচল প্ৰসংগ উত্তৰাধিকাৰ NiFi ৰ শেহতীয়া সংস্কৰণত উপলব্ধ — 1.15.0 যি যথেষ্ট কাৰ্যক্ষম। এজন অভিযন্তা হিচাপে এজনে কেনেকৈ দক্ষ ক’ড লিখে তাৰ দৰেই পাইপলাইনবোৰ ভালদৰে ডিজাইন কৰিব পাৰে।
সাৰাংশ
NiFi এটা ডাঙৰ ডাটা পাইপলাইন নিৰ্মাতা। শক্তিশালী পাইপলাইন স্থাপন কৰিবলৈ আৰু একেখিনি দক্ষতাৰে পৰিচালনা কৰিবলৈ আগ্ৰহী এজন ডাটা অভিযন্তাৰ বাবে ই তেওঁৰ/তাইৰ ৰেপাৰ্টৰীত এটা ডাঙৰ সংযোজন। আমি আমাৰ ডাটা প্লেটফৰ্ম দলটো নিযুক্তি দিছো আৰু গঢ়ি তুলিছো। এই দলত যোগদান কৰিবলৈ লোক বিচাৰিছে — অনুগ্ৰহ কৰি আপোনাৰ প্ৰফাইলসমূহ শ্বেয়াৰ কৰক @ ta@kooapp.com
আমাৰ ব্লগৰ পৰৱৰ্তী অংশত আমি আমাৰ s3 আৰ্কিটেকচাৰ, বিভাজন কৌশল আৰু কিছুমান ব্যৱহাৰৰ ক্ষেত্ৰত গভীৰভাৱে যাম।
জনপ্ৰিয় পোষ্ট
2022-05-17 11:26:16
2022-05-17 05:44:40
2022-05-17 07:22:28
2022-05-17 11:12:04