بهترین متد برای انتخاب دیتابیس

با سلام خدمت دوستان عزیز

دوستان دو سه روزی هست درگیر انتخاب یک دیتابیس مناسب برای پروژه هستم ، نظرات متفاوتی شنیدم ، بنچ مارک های متفاوتی دیدم ولی به نتیجه ای نرسیدم خواستم از دوستانی که تو کلاب تجربه کافی دارن راهنمایی بگیرم

پروژه ای که داریم روش کار میکنیم خیلی حساس و ظریف هست و داون شدن سرور بدلایل مختلف برامون هزینه های سنگینی درست میکنه

بحث سر بیگ دیتا هستش که میخوایم الان روش کار کنیم تا اتفاقاتی که . برای شرکتهای رقیب افتاده برای ما نیوفته

میخوام بدونم از چه ابزارهای بنظرتون استفاده کنم (دوستان به من پیشنهاد ابزارها و دیتابیس هایی مانند کوبرنت،کسندرا،پستگرس،داکر ،تام کت ،کافکا و … رو دادن تا از داون شدن سرور جلوگیری کنم )

فعل حال از پستگرس و ردیس دارم استفاده میکنم ! نمیدونم تو رکورد های بالاتر به مشکل میخورم یا نه
واینکه هم اعمال crud رو هم داریم تو این تیبل

2 پسندیده

اول از همه حجم دیتایی که دارین چقدر هست و چجور بردازشی روش انجام می شه؟

نکته بعدی هم اینکه Kubernetes , Docker, Kafka و اینا دیتابیس نیستن و صرفا استفاده از اینا به شما Availability نمی ده.

سوال بعدی هم اینکه چندتا دیتا سنتر دارین ؟

2 پسندیده

این جمع بود Kubernetes , Docker, Kafka گفتم از ابزارها و دیتابیس ها !

سیستم حوله هوش ۳۰۰ تا tps داره (بسته به زمان ) که با سلف دانشگاه تونستیم به این عدد برسیم و سرویس رو داریم گسترش میدیم

سه تا دیتاسنر داریم که فعلا از دوتاش استفاده میکنیم در نظر گرفتم دیتابیس و بک اند رو تقسیم کنم رو این سرورها (همشون رم ۱۶ دارن )

Postgres همیشه انتخاب عالی اول هستش Postgres هم محدودیت هایی داره ولی این محدودیت ها خودشو تا چند میلیون کاربر و چند terabyte داده نشون نمیده
ردیس بیشتر برای caching و داده هایی که در memory میتونن باشن استفاده میشه

اینجا بنده و دوستان یک سری توضیحات دادیم

۳۰۰ tps برای یک نود postgres چیزی نیست اگه replication master slave بگذاری به ۱۰۰۰ tps به راحتی میرسی از کاساندرا فلان دوری کن

1 پسندیده

تو پست اول گفتم داریم جلو گیری میکنیم ما تازه کاری نکردیم به این تعداد رسیدیم اگر چهارتا دیگه سرویس بدیم معلوم نیست چه داستانی پیش میاد میخوایم ازهمین الان اماده باشیم

SLA داده شما چقدره ؟ یعنی از زمانی که کاربر درخواست میده تا داده ذخیره بشه چقدر زمان طول بکشه مطلوبه
هرچه زودتر بهتر
۱-۲ ثانیه
بیشتر از ۲ ثانیه

1 پسندیده

دوستان برای اینکه بهتر جوابتون رو بدم راهی دارید ؟ استرس تست ؟ یا یه راهی تو این مایه ها که اسکیل رو تست کنیم ؟

این حجم دیتا برای دیتا بیسی مثل Postgres چیزی نیست و همون جور که سام عزیز اشاره کرد به راحتی از پسش بر میاد نکته مهم اینه که باید replication داشته باشید و استراتژی replication هم مهم هست. روی هر دیتا سنتر چندتا نود دارین ؟ و اینکه آیا هر دیتا سنترها به صورت مجزا و به کاربرای همون منطقه جغرافیایی سرویس می دن ؟‌یا اینکه همه نود های دیتاسنترهایی که دارین باهم یه سرویس رو به همه می دن ؟ (فارسیم ته کشید :confused:)

من فکر می کنم شما باید بیشتر به فکر طراحی سیستمتون باشید تا انتخاب فن آوری. طراحی درست کمک خواهد کرد که با رشد نرم افزار و ترافیکتون به مشکل بر نخورین

2 پسندیده

ابزار برای این کار زیاده
سترس تست http
Jmeter, Siege, Apache Bench

سترس تست Postgres

PGBench https://www.postgresql.org/docs/devel/static/pgbench.html

1 پسندیده