கூவின் தரவு தளம் – பகுதி 1: Apache Kafka and NiFi
ஜனவரி 3, 2022 அன்று ஃபனீஸ் குருராஜ்
அவர்கள் கூறும் தரவுகள் எந்தவொரு நிறுவனத்தின் வெற்றிக்கும் முக்கியமாகும் குறிப்பாக கூ போன்ற தயாரிப்பு ; எங்கள் பயனர்களின் பயணத்தை நன்றாகப் புரிந்துகொள்ள உதவும் பல்வேறு தரவுப் புள்ளிகளை நிகழ்நேரத்தில் கைப்பற்றுகிறோம். நாங்கள் உருவாக்கும் வளர்ச்சியுடன், பகுப்பாய்வு மற்றும் ஸ்ட்ரீமிங் கண்ணோட்டத்தில் எங்கள் தரவு தளத்தை அளவிடுவதற்கு தொடர்ச்சியான சவால் உள்ளது. இந்த குறிப்பில், நாங்கள் எங்கள் தரவு தளத்தை உருவாக்க முடிவு செய்தபோது, பின்வரும் கட்டிடக்கலை இலக்குகளை மனதில் கொண்டு முழுமையான அணுகுமுறையை எடுத்தோம்.
இந்த வலைப்பதிவு தொடரின் பகுதி 1 இல், நாங்கள் நிஃபி மற்றும் காஃப்காவைக் காண்போம்.
அளவிடக்கூடிய உட்செலுத்துதல் பைப்லைன்கள்
- குறைந்த விலை தரவு சேமிப்பு.
- வினவுவது மற்றும் தேவையான வெளிப்புற தரவை கொண்டு வருவது எளிது.
- திறந்த மூல.
- அணுகல் கட்டுப்பாடுகள்.< /li>
- செயல்படுத்தப்பட்ட தரவின் ஸ்னாப்ஷாட்களை சேமிக்கவும்.
காஃப்கா, நிஃபை, ஹுடி, பார்க்வெட், ஸ்பார்க் - அப்பாச்சி அடுக்கின் மேல் கட்டப்பட்ட சில பொதுவான வடிவங்களை மதிப்பீடு செய்தோம்.
எங்கள் தரவின் அளவைப் பற்றிய சில புள்ளிவிவரங்கள் இங்கே உள்ளன
- > தினமும் 500 ஜிபி பயன்பாட்டு பதிவுகள்.
- > பயனர்களின் 20 ஜிபி கட்டமைக்கப்பட்ட முக்கியமான தரவு — சுயவிவரம், பயணம், ஒரு நாளைக்கு முக்கியமான செயல்கள்.
- > ஒரு நாளைக்கு 3M பதிவுகள்.
Kafka
எங்களுக்கு ஒரு போர் சோதனை செய்தி வரிசை அமைப்பு தேவை மற்றும் காஃப்கா சிறந்த தேர்வாக இருந்தது. எங்கள் அளவிற்கு, கிடைமட்டமாக அளவிடக்கூடிய மற்றும் தவறுகளை பொறுத்துக்கொள்ளக்கூடிய ஒன்று எங்களுக்குத் தேவை.
காஃப்காவில் உள்ள தலைப்புகள் என்ற கருத்து, நிகழ்வுகளின் பல தயாரிப்பாளர்கள் இருப்பதால், நமது உள்வாங்கும் கட்டமைப்பை திறம்பட அடுக்கி வைக்க உதவியது. பரந்த அளவில், நாங்கள் கைப்பற்றுகிறோம்
- [பயனர்களால் படிக்கப்பட்ட கூஸ் → இம்ப்ரெஷன்கள்]
- [Koos விரும்பினார், மீண்டும் கூப்பிட்டார் → எதிர்வினைகள்]
- [மக்கள் பின்தொடர்கிறார்கள் / பின்தொடர்வதை நிறுத்துகிறார்கள் → நெட்வொர்க்]
- [வருகைகள் → சுயவிவரம், படம், கூ-விவரங்கள், திரை]
NiFi
தயாரிப்பாளர்களிடமிருந்து பல்வேறு ETLகளை ஒழுங்கமைக்க மற்றும் தரவுக் குழாய்களை இணைக்க, NiFi ஒரு நல்ல வேட்பாளர். உருமாற்றங்கள் மற்றும் பைப்லைன்களை தைக்கும்போது பல்வேறு உள்ளமைக்கப்பட்ட இணைப்பிகள் மிகவும் எளிதாக வருகின்றன.
NiFi இன் சில முக்கியமான பண்புகள், அது மிக முக்கியமானது
- இயக்க நேர ஓட்ட மேலாண்மை சாத்தியம்.
- டைனமிக் முன்னுரிமை.
- தரவு ஆதாரம் → தரவு பாதையை கண்காணித்தல்.
- பின் அழுத்தம் மற்றும் அளவை திறம்பட நிர்வகித்தல் செயலிகள்.
ஒரு குறிப்பிடத்தக்க சமூக ஊடக நிறுவனமாக, அன்றாட வாழ்வில் முக்கியத்துவம் வாய்ந்த, அர்த்தமுள்ள, செறிவூட்டும் தொடர்புகளுக்கு வழிவகுத்து, உள்ளூர் மொழிகள் மற்றும் உள்ளூர் கருப்பொருள்களைச் சுற்றியுள்ள படைப்பாளிகள் மற்றும் பயனர்களின் சமூகங்களை Koo நிர்வகிக்கும்.
கீழேயுள்ள வரைபடம் எங்கள் பதிவுகளுக்கான விளக்கப்படத்தைக் காட்டுகிறது (எங்கள் பல எம்எல் பைப்லைன்களை இயக்கும் முக்கியமான பகுப்பாய்வுத் தரவு). தரவு காஃப்கா வழியாக பாய்ந்து இறுதியாக S3 இல் குடியேறும்போது, a
- மாற்றங்களின் தொகுப்பு பயன்படுத்தப்படுகிறது
- விரைவான குறிப்புக்காக சில நேரங்களில் தரவு பிற மூலங்களிலிருந்து இழுக்கப்படுகிறது
- சில நிபந்தனைகளைப் பொறுத்து பைப்லைனில் உள்ள அடுத்த செயலிக்கு தரவு அனுப்பப்படும்< /li>
எங்கள் NiFi பயன்பாட்டு வழக்குக்கு நிறைய ஒன்றிணைக்க வேண்டும் → மேலும் விவரங்கள் இங்கே. மேலே உள்ள வரைபடத்திலிருந்து நீங்கள் பார்க்கிறீர்கள். இணைப்பின் ஆர்பிஎம் மிகவும் அதிகமாக உள்ளது. சில சமயங்களில், வழக்கமாக இருக்கும் நிலையான நிலையுடன் ஒப்பிடும்போது, குறிப்பிட்ட கோரிக்கைகளுக்கு அதிக ஆதாரங்களை வழங்குவதன் மூலம் குழாய்களை விரைவுபடுத்த சில ஓட்டங்களைத் தூண்டுகிறோம். இது ஒரு பெரிய நன்மையாகும், இது உள்கட்டமைப்பைத் தொந்தரவு செய்யாமல் வளங்களை நிர்வகிக்க உதவுகிறது.
தரவுக் குழாய்களை திறம்பட அமைக்க காஃப்கா மற்றும் நிஃபை ஒரு சக்திவாய்ந்த கலவையை உருவாக்குகின்றன. இரண்டு தொழில்நுட்பங்களின் கிடைமட்ட அளவிடக்கூடிய தன்மையும் மிகவும் முக்கியமான அம்சமாகும். NiFi ஐ நன்கு புரிந்து கொள்ள, ஒருவர் FlowFiles மற்றும் Processors ஆகியவற்றை இன்னும் கொஞ்சம் ஆழமாகப் புரிந்து கொள்ள வேண்டும்.
FlowFiles — Apache NiFi இல் ஒரு ஃப்ளோஃபைல் ஒரு அடிப்படை செயலாக்க நிறுவனம் ஆகும். இது தரவு உள்ளடக்கங்கள் மற்றும் பண்புக்கூறுகளைக் கொண்டுள்ளது, இது தரவை செயலாக்க NiFi செயலிகளால் பயன்படுத்தப்படுகிறது. கோப்பு உள்ளடக்கம் பொதுவாக மூல அமைப்புகளிலிருந்து பெறப்பட்ட தரவைக் கொண்டுள்ளது.
செயலிகள் — ஒரு செயலி Apache NiFi தரவுப்பாய்வு உருவாக்குவதற்கான அடிப்படை கட்டுமானத் தொகுதியாக அமைகிறது. செயலிகள் ஒரு இடைமுகத்தை வழங்குகின்றன, இதன் மூலம் NiFi ஆனது FlowFile, அதன் பண்புக்கூறுகள் மற்றும் அதன் உள்ளடக்கத்திற்கான அணுகலை வழங்குகிறது.
காட்சி - அறிவிப்பு நிகழ்வுகளின் போது திடீர் ஸ்பைக் அல்லது சில கூ வைரலாகிறது
இந்த திடீர் ஸ்பைக்குகளைக் கையாள NiFi நன்றாக வேலை செய்கிறது மற்றும் நமது தேவைகளுக்கு ஏற்றவாறு பின் அழுத்தத்தை நன்றாக சரிசெய்யலாம்.
P1 → P2 → P3
எ.கா: எங்களிடம் 3 செயலிகள் உள்ளன - P1, P2 மற்றும் P3. p3க்கான பின் அழுத்தம் உள்ளமைக்கப்பட்டது 10K என்று சொல்லலாம். இவை மென்மையான வரம்புகள் மற்றும் தரவு பாதை மற்றும் நேரத்தைப் பொறுத்து கட்டமைக்கப்படலாம். மேலும், p2 1M ஃப்ளோ கோப்புகளை உருவாக்கினால், இந்த 1M அனைத்தும் கீழ்நிலை அமைப்பான p3க்கு டம்ப் செய்யப்படும். p3 அதன் அனைத்து செய்திகளையும் செயலாக்கும் வரை, p2 திட்டமிடல் இடைநிறுத்தப்படும். இந்த வழியில், திடீர் ஸ்பைக்கையும் நம்மால் கட்டுப்படுத்த முடிகிறது.
அளவுரு சூழல்
எ.கா: கூவில், ஆடியோ, வீடியோ, படங்கள் வடிவில் இருக்கும் மீடியாவைப் பெறுகிறோம். மீடியா ஆப்ஜெக்ட் → (படம், வீடியோ அல்லது ஆடியோவாக இருக்கலாம்) பற்றிய சில மெட்டா-டேட்டாவைக் கொண்ட ஒரு செய்திப் பொருள் எங்களிடம் உள்ளது, அளவுரு சூழல் ஒரு நல்ல பயன்பாடாகும். இந்த செய்தி பொருள் NiFi பைப்லைனைத் தாக்கும் போது, சூழல் பொருள் முதலில் தூண்டப்பட்டு, பொருத்தமான ப்ரொஜெக்ஷன் மற்றும் சங்கிலி நிறுவப்படும். ஆடியோ, படம் மற்றும் வீடியோவிற்கான வெவ்வேறு பைப்லைன்களை உருவாக்கலாம். மேலும், சில பொதுவான பண்புகளை ஒருமுறை மட்டுமே பிரித்தெடுக்க முடியும் மற்றும் கடந்து செல்லலாம். இந்த அளவுரு சூழல் பரம்பரை நிஃபையின் சமீபத்திய பதிப்பில் கிடைக்கிறது — 1.15.0 இது மிகவும் திறமையானது. ஒரு பொறியியலாளராக ஒருவர் திறமையான குறியீட்டை எவ்வாறு எழுதுகிறாரோ அதைப் போன்றே பைப்லைன்களை நன்றாக வடிவமைக்க முடியும்.
சுருக்கம்
NiFi ஒரு சிறந்த டேட்டா பைப்லைன் பில்டர். வலுவான பைப்லைன்களை அமைத்து, அதைத் திறமையாக நிர்வகிப்பதில் ஆர்வமுள்ள ஒரு தரவுப் பொறியாளருக்கு, அது அவருடைய/அவள் திறமைக்கு ஒரு சிறந்த சேர்க்கையாகும். நாங்கள் எங்கள் தரவு இயங்குதளக் குழுவை பணியமர்த்தி உருவாக்குகிறோம். இந்தக் குழுவில் சேர எல்லோரும் தேடுகிறார்கள் — உங்கள் சுயவிவரங்களைப் @ ta@kooapp.com
எங்கள் வலைப்பதிவின் அடுத்த பகுதியில், எங்கள் s3 கட்டமைப்பு, பகிர்வு உத்தி மற்றும் சில பயன்பாட்டு நிகழ்வுகளுக்குள் ஆழமாகச் செல்வோம்.
பிரபலமான இடுகை
2022-05-20 07:27:19
2022-05-20 05:03:14
2022-05-20 08:54:19
2022-05-20 07:16:42