ਕੂ ਦਾ ਡਾਟਾ ਪਲੇਟਫਾਰਮ — ਭਾਗ 1: ਅਪਾਚੇ ਕਾਫਕਾ ਅਤੇ ਨੀਫਾਈ
ਫਨੀਸ਼ ਗੁਰੂਰਾਜ ਦੁਆਰਾ, 3 ਜਨਵਰੀ, 2022 ਨੂੰ
ਡੇਟਾ ਜਿਵੇਂ ਕਿ ਉਹ ਕਹਿੰਦੇ ਹਨ ਕਿ ਕਿਸੇ ਵੀ ਸੰਗਠਨ ਦੀ ਸਫਲਤਾ ਲਈ ਮੁੱਖ ਹੁੰਦਾ ਹੈ ਖਾਸ ਤੌਰ 'ਤੇ ਕੂ ਵਰਗੇ ਉਤਪਾਦ ਲਈ; ਅਸੀਂ ਰੀਅਲ ਟਾਈਮ ਵਿੱਚ ਵੱਖ-ਵੱਖ ਡੇਟਾ ਪੁਆਇੰਟਸ ਨੂੰ ਕੈਪਚਰ ਕਰਦੇ ਹਾਂ ਜੋ ਸਾਡੇ ਉਪਭੋਗਤਾਵਾਂ ਦੀ ਯਾਤਰਾ ਨੂੰ ਬਿਹਤਰ ਤਰੀਕੇ ਨਾਲ ਸਮਝਣ ਵਿੱਚ ਸਾਡੀ ਮਦਦ ਕਰਦਾ ਹੈ। ਸਾਡੇ ਦੁਆਰਾ ਪੈਦਾ ਕੀਤੇ ਗਏ ਵਾਧੇ ਦੇ ਨਾਲ, ਸਾਡੇ ਡੇਟਾ ਪਲੇਟਫਾਰਮ ਨੂੰ ਵਿਸ਼ਲੇਸ਼ਣ ਅਤੇ ਸਟ੍ਰੀਮਿੰਗ ਦ੍ਰਿਸ਼ਟੀਕੋਣਾਂ ਤੋਂ ਸਕੇਲ ਕਰਨ ਲਈ ਇੱਕ ਲਗਾਤਾਰ ਚੁਣੌਤੀ ਹੈ। ਇਸ ਨੋਟ 'ਤੇ, ਜਦੋਂ ਅਸੀਂ ਆਪਣਾ ਡੇਟਾ ਪਲੇਟਫਾਰਮ ਬਣਾਉਣ ਦਾ ਫੈਸਲਾ ਕੀਤਾ ਤਾਂ ਅਸੀਂ ਹੇਠਾਂ ਦਿੱਤੇ ਆਰਕੀਟੈਕਚਰ ਟੀਚਿਆਂ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਰੱਖਦੇ ਹੋਏ ਇੱਕ ਸੰਪੂਰਨ ਪਹੁੰਚ ਅਪਣਾਈ।
ਇਸ ਬਲੌਗ ਲੜੀ ਦੇ ਭਾਗ 1 ਵਿੱਚ, ਅਸੀਂ ਨਿਫੀ ਅਤੇ ਕਾਫਕਾ ਨੂੰ ਕਵਰ ਕਰਾਂਗੇ।
ਸਕੇਲੇਬਲ ਇੰਜੈਸ਼ਨ ਪਾਈਪਲਾਈਨਾਂ
- ਘੱਟ ਲਾਗਤ ਡੇਟਾ ਸਟੋਰੇਜ।
- ਕਿਊਰੀ ਕਰਨ ਵਿੱਚ ਆਸਾਨ ਅਤੇ ਲੋੜ ਅਨੁਸਾਰ ਬਾਹਰੀ ਡੇਟਾ ਲਿਆਉਣਾ।
- ਓਪਨ ਸੋਰਸ।
- ਪਹੁੰਚ ਕੰਟਰੋਲ।< /li>
- ਪ੍ਰਕਿਰਿਆ ਕੀਤੇ ਡੇਟਾ ਦੇ ਸਨੈਪਸ਼ਾਟ ਸਟੋਰ ਕਰੋ।
ਅਸੀਂ ਕੁਝ ਆਮ ਪੈਟਰਨਾਂ ਦਾ ਮੁਲਾਂਕਣ ਕੀਤਾ ਹੈ ਜੋ ਅਪਾਚੇ ਸਟੈਕ ਦੇ ਸਿਖਰ 'ਤੇ ਬਣੇ ਹੋਏ ਹਨ - ਕਾਫਕਾ, ਨੀਫਾਈ, ਹੁਡੀ, ਪੈਰਕੇਟ, ਸਪਾਰਕ
ਇੱਥੇ ਸਾਡੇ ਡੇਟਾ ਦੇ ਆਕਾਰ ਬਾਰੇ ਕੁਝ ਅੰਕੜੇ ਹਨ
- > 500 GB ਐਪਲੀਕੇਸ਼ਨ ਲੌਗ ਰੋਜ਼ਾਨਾ।
- > ਉਪਭੋਗਤਾਵਾਂ ਦਾ 20 GB ਢਾਂਚਾਗਤ ਨਾਜ਼ੁਕ ਡੇਟਾ — ਪ੍ਰੋਫਾਈਲ, ਯਾਤਰਾ, ਪ੍ਰਤੀ ਦਿਨ ਨਾਜ਼ੁਕ ਕਾਰਵਾਈਆਂ।
- > ਪ੍ਰਤੀ ਦਿਨ 3M ਪ੍ਰਭਾਵ।
Kafka
ਸਾਨੂੰ ਇੱਕ ਲੜਾਈ ਟੈਸਟ ਕੀਤੇ ਸੰਦੇਸ਼ ਕਤਾਰ ਸਿਸਟਮ ਦੀ ਲੋੜ ਸੀ ਅਤੇ ਕਾਫਕਾ ਇੱਕ ਆਦਰਸ਼ ਵਿਕਲਪ ਸੀ। ਸਾਡੇ ਪੈਮਾਨੇ ਲਈ, ਸਾਨੂੰ ਅਜਿਹੀ ਚੀਜ਼ ਦੀ ਲੋੜ ਸੀ ਜੋ ਲੇਟਵੇਂ ਤੌਰ 'ਤੇ ਸਕੇਲੇਬਲ ਅਤੇ ਨੁਕਸ ਸਹਿਣਸ਼ੀਲ ਹੋਵੇ।
ਕਾਫਕਾ ਵਿੱਚ ਵਿਸ਼ਿਆਂ ਦੀ ਧਾਰਨਾ ਨੇ ਸਾਡੀ ਇੰਜੈਸ਼ਨ ਆਰਕੀਟੈਕਚਰ ਨੂੰ ਕੁਸ਼ਲਤਾ ਨਾਲ ਪਰਤਣ ਵਿੱਚ ਮਦਦ ਕੀਤੀ ਕਿਉਂਕਿ ਘਟਨਾਵਾਂ ਦੇ ਕਈ ਉਤਪਾਦਕ ਹੁੰਦੇ ਹਨ। ਮੋਟੇ ਤੌਰ 'ਤੇ, ਅਸੀਂ ਕੈਪਚਰ ਕਰਦੇ ਹਾਂ
- [ਉਪਭੋਗਤਾਵਾਂ ਦੁਆਰਾ ਪੜ੍ਹੇ ਗਏ → ਪ੍ਰਭਾਵ]
- [Koos ਨੂੰ ਪਸੰਦ ਕੀਤਾ ਗਿਆ, ਮੁੜ-ਕੂਡ ਕੀਤਾ ਗਿਆ → ਪ੍ਰਤੀਕਿਰਿਆਵਾਂ]
- [ਲੋਕ → ਨੈੱਟਵਰਕ ਦਾ ਅਨੁਸਰਣ / ਅਣ-ਫਾਲੋ ਕਰਦੇ ਹਨ]
NiFi
ਉਤਪਾਦਕਾਂ ਤੋਂ ਵੱਖ-ਵੱਖ ETLs ਨੂੰ ਆਰਕੇਸਟ੍ਰੇਟ ਕਰਨ ਅਤੇ ਡੇਟਾ ਪਾਈਪਲਾਈਨ ਨੂੰ ਚੇਨ ਕਰਨ ਲਈ, NiFi ਇੱਕ ਚੰਗਾ ਉਮੀਦਵਾਰ ਹੈ। ਪਰਿਵਰਤਨ ਅਤੇ ਪਾਈਪਲਾਈਨਾਂ ਨੂੰ ਸਿਲਾਈ ਕਰਦੇ ਸਮੇਂ ਵੱਖ-ਵੱਖ ਬਿਲਟ-ਇਨ ਕਨੈਕਟਰ ਕਾਫ਼ੀ ਕੰਮ ਆਉਂਦੇ ਹਨ।
NiFi ਦੀਆਂ ਕੁਝ ਮਹੱਤਵਪੂਰਨ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ, ਜੋ ਕਿ ਬਹੁਤ ਮਹੱਤਵਪੂਰਨ ਹਨ
- ਰਨਟਾਈਮ ਵਹਾਅ ਪ੍ਰਬੰਧਨ ਸੰਭਵ ਹੈ।
- ਗਤੀਸ਼ੀਲ ਤਰਜੀਹ।
- ਡਾਟਾ ਪ੍ਰੋਵੇਨੈਂਸ → ਡੇਟਾ ਮਾਰਗ ਨੂੰ ਟਰੈਕ ਕਰਨਾ।
- ਪਿਛਲੇ ਦਬਾਅ ਅਤੇ ਪੈਮਾਨੇ ਨੂੰ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਪ੍ਰਬੰਧਿਤ ਕਰੋ ਪ੍ਰੋਸੈਸਰ।
ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਸੋਸ਼ਲ ਮੀਡੀਆ ਹਸਤੀ ਦੇ ਰੂਪ ਵਿੱਚ, ਕੂ ਖੇਤਰੀ ਭਾਸ਼ਾਵਾਂ ਅਤੇ ਸਥਾਨਕ ਥੀਮਾਂ ਦੇ ਆਲੇ-ਦੁਆਲੇ ਸਿਰਜਣਹਾਰਾਂ ਅਤੇ ਉਪਭੋਗਤਾਵਾਂ ਦੇ ਭਾਈਚਾਰਿਆਂ ਨੂੰ ਸਾਰਥਕ, ਭਰਪੂਰ ਪਰਸਪਰ ਪ੍ਰਭਾਵ ਪ੍ਰਦਾਨ ਕਰੇਗਾ ਜੋ ਰੋਜ਼ਾਨਾ ਜੀਵਨ ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਹਨ।
ਹੇਠਾਂ ਦਿੱਤਾ ਗ੍ਰਾਫ ਸਾਡੇ ਪ੍ਰਭਾਵ ਲਈ ਚਾਰਟ ਦਿਖਾਉਂਦਾ ਹੈ (ਇੱਕ ਨਾਜ਼ੁਕ ਵਿਸ਼ਲੇਸ਼ਣਾਤਮਕ ਡੇਟਾ ਜੋ ਸਾਡੀਆਂ ਬਹੁਤ ਸਾਰੀਆਂ ML ਪਾਈਪਲਾਈਨਾਂ ਨੂੰ ਸ਼ਕਤੀ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ)। ਜਿਵੇਂ ਕਿ ਡੇਟਾ ਕਾਫਕਾ ਵਿੱਚੋਂ ਲੰਘਦਾ ਹੈ ਅਤੇ ਅੰਤ ਵਿੱਚ S3 ਵਿੱਚ ਸੈਟਲ ਹੁੰਦਾ ਹੈ, ਏ
- ਪਰਿਵਰਤਨ ਦੇ ਝੁੰਡ ਨੂੰ ਲਾਗੂ ਕੀਤਾ ਜਾਂਦਾ ਹੈ
- ਡੇਟੇ ਨੂੰ ਕਈ ਵਾਰ ਤੇਜ਼ ਸੰਦਰਭ ਲਈ ਦੂਜੇ ਸਰੋਤਾਂ ਤੋਂ ਖਿੱਚਿਆ ਜਾਂਦਾ ਹੈ
- ਡਾਟਾ ਕੁਝ ਸ਼ਰਤਾਂ ਦੇ ਆਧਾਰ ‘ਤੇ ਪਾਈਪਲਾਈਨ ਵਿੱਚ ਅਗਲੇ ਪ੍ਰੋਸੈਸਰ ਨੂੰ ਭੇਜਿਆ ਜਾਂਦਾ ਹੈ< /li>
ਸਾਡਾ NiFi ਵਰਤੋਂ ਕੇਸ ਬਹੁਤ ਸਾਰੇ ਵਿਲੀਨਤਾ ਦੀ ਮੰਗ ਕਰਦਾ ਹੈ → ਇੱਥੇ ਹੋਰ ਵੇਰਵੇ। ਜਿਵੇਂ ਕਿ ਤੁਸੀਂ ਉਪਰੋਕਤ ਗ੍ਰਾਫ ਤੋਂ ਦੇਖਦੇ ਹੋ. ਰਲੇਵੇਂ ਦੀ rpm ਕਾਫ਼ੀ ਉੱਚੀ ਹੈ। ਕਈ ਵਾਰ, ਅਸੀਂ ਸਥਿਰ ਸਥਿਤੀ ਦੀ ਤੁਲਨਾ ਵਿੱਚ ਕੁਝ ਬੇਨਤੀਆਂ ਲਈ ਵਧੇਰੇ ਸਰੋਤਾਂ ਦਾ ਪ੍ਰਬੰਧ ਕਰਕੇ ਪਾਈਪਲਾਈਨਾਂ ਨੂੰ ਤੇਜ਼ ਕਰਨ ਲਈ ਕੁਝ ਪ੍ਰਵਾਹ ਨੂੰ ਚਾਲੂ ਕਰਦੇ ਹਾਂ ਜੋ ਆਮ ਤੌਰ 'ਤੇ ਹੁੰਦਾ ਹੈ। ਇਹ ਇੱਕ ਵੱਡਾ ਫਾਇਦਾ ਹੈ ਜੋ ਸਾਨੂੰ ਇਨਫਰਾ ਨੂੰ ਪਰੇਸ਼ਾਨ ਕੀਤੇ ਬਿਨਾਂ ਸਰੋਤਾਂ ਦਾ ਪ੍ਰਬੰਧਨ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ।
ਕਾਫਕਾ ਅਤੇ ਨਿਫਾਈ ਡਾਟਾ ਪਾਈਪਲਾਈਨਾਂ ਨੂੰ ਕੁਸ਼ਲਤਾ ਨਾਲ ਸਥਾਪਤ ਕਰਨ ਲਈ ਇੱਕ ਸ਼ਕਤੀਸ਼ਾਲੀ ਸੁਮੇਲ ਬਣਾਉਂਦੇ ਹਨ। ਦੋਵਾਂ ਤਕਨਾਲੋਜੀਆਂ ਦੀ ਹਰੀਜੱਟਲ ਸਕੇਲੇਬਲ ਪ੍ਰਕਿਰਤੀ ਵੀ ਇੱਕ ਬਹੁਤ ਹੀ ਨਾਜ਼ੁਕ ਪਹਿਲੂ ਹੈ। NiFi ਨੂੰ ਬਿਹਤਰ ਢੰਗ ਨਾਲ ਸਮਝਣ ਲਈ FlowFiles ਅਤੇ Processors ਨੂੰ ਥੋੜੀ ਹੋਰ ਡੂੰਘਾਈ ਵਿੱਚ ਸਮਝਣ ਦੀ ਲੋੜ ਹੈ।
FlowFiles — ਇੱਕ ਫਲੋਫਾਈਲ Apache NiFi ਵਿੱਚ ਇੱਕ ਬੁਨਿਆਦੀ ਪ੍ਰੋਸੈਸਿੰਗ ਇਕਾਈ ਹੈ। ਇਸ ਵਿੱਚ ਡੇਟਾ ਸਮੱਗਰੀ ਅਤੇ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਹਨ, ਜੋ ਕਿ ਡੇਟਾ ਨੂੰ ਪ੍ਰੋਸੈਸ ਕਰਨ ਲਈ NiFi ਪ੍ਰੋਸੈਸਰਾਂ ਦੁਆਰਾ ਵਰਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ। ਫਾਈਲ ਸਮੱਗਰੀ ਵਿੱਚ ਆਮ ਤੌਰ 'ਤੇ ਸਰੋਤ ਪ੍ਰਣਾਲੀਆਂ ਤੋਂ ਪ੍ਰਾਪਤ ਕੀਤਾ ਡੇਟਾ ਹੁੰਦਾ ਹੈ।
ਪ੍ਰੋਸੈਸਰ — ਇੱਕ ਪ੍ਰੋਸੈਸਰ ਇੱਕ Apache NiFi ਡੇਟਾਫਲੋ ਬਣਾਉਣ ਲਈ ਬੁਨਿਆਦੀ ਬਿਲਡਿੰਗ ਬਲਾਕ ਬਣਾਉਂਦਾ ਹੈ। ਪ੍ਰੋਸੈਸਰ ਇੱਕ ਇੰਟਰਫੇਸ ਪ੍ਰਦਾਨ ਕਰਦੇ ਹਨ ਜਿਸ ਰਾਹੀਂ NiFi ਇੱਕ FlowFile, ਇਸਦੇ ਗੁਣਾਂ ਅਤੇ ਇਸਦੀ ਸਮੱਗਰੀ ਤੱਕ ਪਹੁੰਚ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।
ਦ੍ਰਿਸ਼ - ਸੂਚਨਾ ਇਵੈਂਟਸ ਜਾਂ ਕੁਝ ਕੁ ਦੇ ਵਾਇਰਲ ਹੋਣ ਦੇ ਦੌਰਾਨ ਅਚਾਨਕ ਵਾਧਾ
ਇਹਨਾਂ ਅਚਾਨਕ ਸਪਾਈਕਸ ਨੂੰ ਸੰਭਾਲਣ ਲਈ NiFi ਅਸਲ ਵਿੱਚ ਵਧੀਆ ਕੰਮ ਕਰਦਾ ਹੈ ਅਤੇ ਅਸੀਂ ਆਪਣੀਆਂ ਜ਼ਰੂਰਤਾਂ ਦੇ ਅਨੁਕੂਲ ਬੈਕ ਪ੍ਰੈਸ਼ਰ ਨੂੰ ਠੀਕ ਕਰ ਸਕਦੇ ਹਾਂ।
P1 → P2 → P3
ਉਦਾਹਰਨ: ਸਾਡੇ ਕੋਲ 3 ਪ੍ਰੋਸੈਸਰ ਹਨ — P1, P2 ਅਤੇ P3। p3 ਲਈ ਬੈਕ ਪ੍ਰੈਸ਼ਰ ਕੌਂਫਿਗਰ ਕੀਤਾ ਗਿਆ ਹੈ ਆਓ ਅਸੀਂ 10K ਕਹੀਏ। ਇਹ ਨਰਮ ਸੀਮਾਵਾਂ ਹਨ ਅਤੇ ਡਾਟਾ ਮਾਰਗ ਅਤੇ ਸਮੇਂ ਦੇ ਆਧਾਰ 'ਤੇ ਸੰਰਚਿਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਨਾਲ ਹੀ, ਜੇਕਰ p2 1M ਫਲੋ ਫਾਈਲਾਂ ਬਣਾਉਂਦਾ ਹੈ, ਤਾਂ ਇਹ ਸਾਰੀਆਂ 1M p3 ਵਿੱਚ ਸੁੱਟ ਦਿੱਤੀਆਂ ਜਾਣਗੀਆਂ ਜੋ ਕਿ ਇੱਕ ਡਾਊਨਸਟ੍ਰੀਮ ਸਿਸਟਮ ਹੈ। ਜਦ ਤੱਕ p3 ਆਪਣੇ ਸਾਰੇ ਸੁਨੇਹਿਆਂ ਦੀ ਪ੍ਰਕਿਰਿਆ ਪੂਰੀ ਨਹੀਂ ਕਰਦਾ, p2 ਸ਼ਡਿਊਲਰ ਨੂੰ ਰੋਕਿਆ ਜਾਂਦਾ ਹੈ। ਇਸ ਤਰ੍ਹਾਂ, ਅਸੀਂ ਅਚਾਨਕ ਸਪਾਈਕ ਨੂੰ ਵੀ ਨਿਯੰਤਰਿਤ ਕਰਨ ਦੇ ਯੋਗ ਹਾਂ।
ਪੈਰਾਮੀਟਰ ਸੰਦਰਭ
ਉਦਾਹਰਨ: ਕੂ ਵਿਖੇ, ਅਸੀਂ ਮੀਡੀਆ ਪ੍ਰਾਪਤ ਕਰਦੇ ਹਾਂ ਜੋ ਆਡੀਓ, ਵੀਡੀਓ, ਚਿੱਤਰਾਂ ਦੇ ਰੂਪ ਵਿੱਚ ਹੈ। ਸਾਡੇ ਕੋਲ ਇੱਕ ਸੁਨੇਹਾ ਆਬਜੈਕਟ ਹੈ ਜਿਸ ਵਿੱਚ ਇੱਕ ਮੀਡੀਆ ਆਬਜੈਕਟ ਬਾਰੇ ਕੁਝ ਮੈਟਾ-ਡਾਟਾ ਸ਼ਾਮਲ ਹੈ → (ਚਿੱਤਰ, ਵੀਡੀਓ ਜਾਂ ਆਡੀਓ ਹੋ ਸਕਦਾ ਹੈ), ਪੈਰਾਮੀਟਰ ਸੰਦਰਭ ਇੱਕ ਵਧੀਆ ਵਰਤੋਂ ਵਾਲਾ ਕੇਸ ਹੈ। ਜਦੋਂ ਇਹ ਸੁਨੇਹਾ ਆਬਜੈਕਟ NiFi ਪਾਈਪਲਾਈਨ ਨੂੰ ਹਿੱਟ ਕਰਦਾ ਹੈ, ਤਾਂ ਸੰਦਰਭ ਆਬਜੈਕਟ ਪਹਿਲਾਂ ਚਾਲੂ ਹੋ ਜਾਂਦਾ ਹੈ ਅਤੇ ਉਚਿਤ ਪ੍ਰੋਜੈਕਸ਼ਨ ਅਤੇ ਚੇਨਿੰਗ ਸਥਾਪਿਤ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਆਡੀਓ, ਚਿੱਤਰ ਅਤੇ ਵੀਡੀਓ ਲਈ ਵੱਖ-ਵੱਖ ਪਾਈਪਲਾਈਨਾਂ ਬਣਾਈਆਂ ਜਾ ਸਕਦੀਆਂ ਹਨ। ਨਾਲ ਹੀ, ਕੁਝ ਸਾਧਾਰਨ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਸਿਰਫ਼ ਇੱਕ ਵਾਰ ਹੀ ਕੱਢਿਆ ਜਾ ਸਕਦਾ ਹੈ ਅਤੇ ਅੱਗੇ ਦਿੱਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਇਹ ਪੈਰਾਮੀਟਰ ਸੰਦਰਭ ਵਿਰਸਾ NiFi — 1.15.0 ਦੇ ਨਵੀਨਤਮ ਸੰਸਕਰਣ ਵਿੱਚ ਉਪਲਬਧ ਹੈ ਜੋ ਕਾਫ਼ੀ ਕੁਸ਼ਲ ਹੈ। ਇੰਜਨੀਅਰ ਹੋਣ ਦੇ ਨਾਤੇ ਕੋਈ ਵੀ ਪਾਈਪਲਾਈਨਾਂ ਨੂੰ ਚੰਗੀ ਤਰ੍ਹਾਂ ਡਿਜ਼ਾਈਨ ਕਰ ਸਕਦਾ ਹੈ ਜਿਵੇਂ ਕਿ ਕੋਈ ਕੁਸ਼ਲ ਕੋਡ ਕਿਵੇਂ ਲਿਖਦਾ ਹੈ।
ਸੰਖੇਪ
NiFi ਇੱਕ ਵਧੀਆ ਡਾਟਾ ਪਾਈਪਲਾਈਨ ਬਿਲਡਰ ਹੈ। ਇੱਕ ਡੇਟਾ ਇੰਜਨੀਅਰ ਲਈ ਜੋ ਮਜ਼ਬੂਤ ਪਾਈਪਲਾਈਨਾਂ ਨੂੰ ਸਥਾਪਤ ਕਰਨ ਅਤੇ ਇਸ ਨੂੰ ਕੁਸ਼ਲਤਾ ਨਾਲ ਪ੍ਰਬੰਧਿਤ ਕਰਨ ਲਈ ਉਤਸੁਕ ਹੈ, ਇਹ ਉਸ ਦੇ ਭੰਡਾਰ ਵਿੱਚ ਇੱਕ ਵਧੀਆ ਵਾਧਾ ਹੈ। ਅਸੀਂ ਆਪਣੀ ਡਾਟਾ ਪਲੇਟਫਾਰਮ ਟੀਮ ਨੂੰ ਭਰਤੀ ਅਤੇ ਬਣਾ ਰਹੇ ਹਾਂ। ਇਸ ਟੀਮ ਵਿੱਚ ਸ਼ਾਮਲ ਹੋਣ ਲਈ ਲੋਕਾਂ ਦੀ ਭਾਲ ਕਰ ਰਹੇ ਹੋ — ਕਿਰਪਾ ਕਰਕੇ ਆਪਣੇ ਪ੍ਰੋਫਾਈਲਾਂ ਨੂੰ ਸਾਂਝਾ ਕਰੋ @ ta@kooapp.com
ਸਾਡੇ ਬਲੌਗ ਦੇ ਅਗਲੇ ਹਿੱਸੇ ਵਿੱਚ, ਅਸੀਂ ਆਪਣੇ s3 ਆਰਕੀਟੈਕਚਰ, ਪਾਰਟੀਸ਼ਨ ਰਣਨੀਤੀ ਅਤੇ ਕੁਝ ਵਰਤੋਂ ਦੇ ਮਾਮਲਿਆਂ ਵਿੱਚ ਡੂੰਘਾਈ ਨਾਲ ਜਾਵਾਂਗੇ।
ਪ੍ਰਸਿੱਧ ਪੋਸਟਾਂ
2022-05-13 10:55:51
2022-05-13 06:17:52
2022-05-13 11:05:50
2022-05-13 07:26:38