خطای MemoryError درpandas و numpy

سلام دوستان من توی numpy و pandas این خطای رو دارم

MemoryError: Unable to allocate 31.0 GiB for an array with
shape (82481, 50440) and data type int64

و طبق گفته های وب که سرچ کردم هم به نتیجه نرسیدم نمیشه مثلاً توی برنامه یه بار تعریف کرد و دیگه در ادامه کد ها این خطای رو نداشت

پیشنهاد های اینجا رو انجام دادید ؟

1 پسندیده

اره دیدم و با این روش حل میشه
از یه طرف من توی سیستم روت نیستم و نمیتونم ویرایشش کنم حتما فک کنم با سوده هم نشد باید روت باشی
و چند تا سوال
این کار برای سیستم مشکلی پیش نمیاره؟
الان من توی لپ تاپ شخصی خودم که رم۸ داره و cpu 5 اجراش کردم چند دقیقه میشه هنوز هنگ کرده :upside_down_face:
بعد سرورم که رم ۴ داره با cpu 2 به نظر شما میتونه اینو تحمل کنه
کلا پیشنهاد برای بهینه تر کردنش نیس یا سرعتش بیشتر بشه

و توی سرور هم اجرا کردم به صورت خودکار Killed شد :confused:
الان توی قسمت CountVectorizer sklearn نمیتونه toarray تبدیل بشه

من درمورد python و sklearn زیاد نمیدونم به نظر میرسه کانفیگ خاصی داره برنامه رو میکشه که memory بیش از اندازه استفاده نکنه
توی داکر هم داری اجرا میکنی پس احتمال داره این از docker هم باشه

محدودیت memory
برای docker زیاد کن

1 پسندیده

هنوز نتونستم حلش کنم memoryرو هم افزایش دادم
و داکر هم نگاه که کردم به صورت پیش فرض از کل memoryرو استفاده میکنه بنا به نیاز کانتینر

ولی باز Killed میشه