last day (15 days later) » 

11:08 AM
سلام
Hi
 
سلام
 
سلام
 
روز بخیر
 
روز شما بخیر
این سناریو رو شما راه انداختین؟
 
جسارتا اول میتونم بپرسم شما کدوم شرکت کار میکنید؟
بله
 
11:16 AM
خواهش ... من تو زیر مجموعه بانک کشاورزی هستم
 
میشه توضیح بدید که چیزی که الان پیاده سازی شده چیه؟
الان توسعه دهنده ها دارند لاگ ها را میریزند توی الاستیک؟
 
ما تو کلودمون یه کلاستر الستیک داریم که الان اونا دارن این تو لاگ میریزن ....
حالا قراره یه سری لاگ خیلی مهم بیاد که ما فکر کردیم و میخ واهیم کیو راه بندازیم
 
با چه ابرازی لاگ ها را میریزنند؟ از کلاینت های جاوایی الاستیک استفاده میکنند؟
 
زیادن ... یه سری با بیت یه سری با جاوا و یه سری با دات نت
 
آها. هر کسی داره مستقیم به الاستیک پست میکنه.
 
11:19 AM
بله
 
حالا اهمیت لاگ ها فرق کرده. و شما میخواید مطمئن بشید که لاگ ها از دست نمیره؟
 
نه ... قبلی ها سرجاش هست فقط یسری سامانه میخواد بیاد که اونا مهم هستن
اونا جاوا و دانت هستن
 
من سوالم اینه که تا الان از دست میرفته؟ و گلوگاه کجا بوده؟
 
دات نت
 
خوب اون سامانه ها لاگ هاشون را کجا میزنند؟
تو فایل میریزند؟
 
11:22 AM
تا الان اوکی بوده ولی گفتن حتی یه لاگ این سامانه های جدید نباید از بین بره ... ما هم فکر کردیم شاید بشه با کیو این کار رو کرد
تو فایل نمیریزن مستقیم میفرستن به الستیک
 
اوکی
الان شما توی الاستیک rejected دارید؟
یا داشتید؟
/_cat/thread_pool/write?v
 
داشتیم ولی بیشتر نگران زیرساخت کلود هستیم که ممکنه دچار مشکل بشه و کلاستر هم کار نکنه
البته برای مدت کوتاهی
 
متوجه شدم
خوب من پیشنهادم اینه
شما باید به تمام توسعه دهنده ها بگید که داده هاشون را بریزنند توی rabbitmq
با کلاینت های مربوط به زبان برنامه نویسی خودشون
پروتکل و تنظیمات صف را شما بهشون باید بگید
یه سری تنظیمات برای rabbitmq هست که بهتره با یه نفر که تجربه داره پیاده سازیش کنید
بعد یه logstash را اندازی کنید که اون داده ها را
از ربیت ام کیو میخونه و میزنه توی الاستیک کلود
این قسمت logstash خیلی ساده است.
 
میگم راه حلی وجود نداره بتونیم کیو راه انداخت بدون اینکه اون ور عوض بشه؟
 
قسمت rabbit هم اگر تجربه داشته باشید خیلی ساده است
شما دارید با کلاینت الاستیک کار میکنید الان.
 
11:28 AM
میگم راه حلی وجود نداره بتونیم کیو راه انداخت بدون اینکه اون ور عوض بشه؟
خب
 
اگر مثلا با کلاینت کار نمیکردید، و توسعه دهنده ها مستقیم توی الاستیک نمیزدن میشد
 
چطوری؟
 
داده ها را با metricbeat میریختیذ توی rabbit
بعد با لاگستش میخوندید
 
فهمیدم
یه سوال دیگه .. با rabbitmq قضیه async چی میشه اونم باید توسعه دهنده اوکی کنه؟
 
اگر توسعه دهنده هاتون راحت توسنتن با client elastic کار کنند.
کار کردن با client rabbit هم راحته براشون
این تنظیمات را شما بهشون میدید. توی کد باید پیاده سازی بشه.
کلا صف ها توی کد ساخته میشند. و تنظیماتشون توی کد پیاده سازی میشه
 
11:32 AM
ba rabbit async mishe?
 
بله
 
in bara developer ha sakht mishe?
 
ربیت همه حالت های صف را پشتیبانی میکنه
ببینید من نظرم اینه که توسعه دهنده ای که تونسته با الاستیک کار کنه، کار کردن با ربیت براش راحت تره. من واقعیتش یه ذره شک دارم که توسعه دهنده هاتون دارند مستقیم میزنند توی الاستیک
 
bulk insert mokonan :/
 
حدس میزنم ممکنه یه ابزاری این وسط باید باشه که مثلا اونها دارند میریزنند توی فایل و اون ابزار فایل را میخونه و میزنه توی الاستیک
 
11:35 AM
نه از اون بابت مطمئنم
 
راه انداختن این معماری به نظرم ساده است. البته برای کسی که قبلا انجام داده باشه.
app --> rabbit --> logstash --> elastic
 
برا ربیت کدوم پروتکل راحت تره
amqp?
 
AMQP 0-9-1
 
اوکی
 
ما اینو استفاده کردیم.
پروتکل هاش رو ببینید. فکر کنم این بهترین گزینه است. 3 4 تا پروتکل داره
فکر کنم
 
11:38 AM
اوکی ... فقط میخواستم بدونم که بدون تغییر مبدا میشه این کار رو کرد که انونم نمیشه
منطقیه
ما کافکا داریم ولی میریم سراغ ربیت
 
اگر کافکا راحتید همونو استفاده کنید
 
راستی خروجی کیو به الستیک چطوری میشه؟
با ربیت؟
 
کافکا مشکلش اینه که comitlog ها را پاک نمیکنه و باید حدس بزنید که چند روز یه بار باید پاکش کنید
نه با logstash
یه pipeline درست میکنید
 
حتما باید لاگ استش باشه؟
 
ابزاریه که با الاستیک سازگاری داره.
چون خیلی راحته
اصلا به غیر از لاگستش سراغ چیز دیگه ای نرید. سعی نکنید خودتون کد بزنید.
 
11:42 AM
پس تو کوبرنتیز لاگ استش باید بیاریم؟
stateless
 
docker image logstash هست.
با docker compose خیلی ساده میشه آورده بالا
این جزو elk است
kibana elastic logstash را راحت میشه توی یه ماشین راه اندازی کرد حتی
میتونید سمت rabbit هم بیارید بالا.
هر موقع وصل شد داده را میخونه میفرسته. وقتی قطع باشه داده را توی خودش نگه میداره
 
bara cloud rabbit behtar nist?
 
یعنی rabbit را ببری سمت کلود؟
این که همون مشکل قطع بودن ارتباط و از دست رفتن داده ها پیش میاد
من فکر کردم ربیت را میخوای بذاری به عنوان یه دیتا استور موقت که ارتباط قطع شد داده ها را توی خودش نگه داره
 
کل این سناریو تو کلود هست
درسته برا همون کار میخواهیم
 
ربیت باید از لحاظ شبکه ای و سخت افزاری نزدیک appها باشه
 
11:47 AM
hamashoon to private cloud khode mast
 
پس من برمیگردم به همون اول صحبت هام. درک نمیکنم که چرا فکر میکنید، داده ها وقتی توی الاستیک ثبت میشند ممکنه از دست برند؟
الان با توجه به این شبکه، لزوم گذاشتن MQ چیه؟
 
برا اینکه ما کلود رو حرفه ای نیستیم ... ممکنه تو آپدیت به مشکل بخوریم
 
آیا thread_pool پر میشه؟
 
برا اطمینان میخواهین این کار رو بکنبم
نه
 
جسارتا عرض میکنم دلیل استفاده از kubernate چیه؟
دلیل استفاده از docker حتی؟
بانک مطمئنا منابع سخت افزار مستقلی داره
چرا پیچیدگی استفاده از docker را اضافه میکنید؟
 
11:51 AM
یسری از برنامه دارن میرن سمت کلود و ما هم شروع کردیم از الان تست و طراحی
آینده قطعا بیشتر خاوهد شد
الان نیازی نبود ها ولی ما رفتیم که بیشتر باهاش آشنا بشیم
 
تنها مزیتی که اینجا میبینم اینه اگر rabit بذارید
باعث میشه توی مراحل بعدی، توی تغییرات ساختار قابل تغییری داشته باشید
scalablity هم بیشتر میشه
 
درسته
خیلی خوشحال شدم و ممنون که کمکم کردید .... با همون ربیت میریم تا راه بندازیم و تست کنیم
 
همچنین. خواهش میکنم
خدانگهدار
 
ممنون خداحافظ
 

last day (15 days later) »