لود کردن کامل سایت با پایتون

با سلام خدمت همه عزیزان بنده داشتم با کتابخانه BeautifulSoup کار میکردم
و یه مشکل پیش امد
مشکلم اینه وقتی داخل سایت به پایین اسکرول نشه کامل لود نمیشه
میخواهم کل وب سایت لود بشه ممنون میشم اگه راهنمای کنین

دوست عزیز این اطلاعات اصلا مفهوم روشنی نداره، لطفا بهتر و کاملتر توضیح بدین، در ضمن تیتر موضوع اصلا به محتوا نمیخوره

امکان اسکرول کردن وجود نداره.
اصلا crawl کردن وبسایت هیچ ربطی به بروزر و محیط گرافیکی نداره.

وقتی صفحه رو اسکرول میکنید، یه سری event توی js اجرا میشه و به سرور ارسال میشه و سرور یه سری جواب میفرسته که اون جوابها توی صفحه اضافه میشن.
شما باید با استفاده از یه بروزر و با استفاده از ابزارهایی که داره، بفهمید این ریکوئستها چی هستن، بعد با پایتون، اون ریکوئستها رو بفرستید به سرور و جوابی که میاد، یا html هست که باید پردازش بشه، یا (به احتمال زیاد) یه فایل json هست که بدون پردازش میشه از دیتاهاش استفاده کرد (صفحه‌ی وب، این دیتاها رو پردازش میکنه و html رو میسازه)

من نمیدونم چه وبسایتیه، پس نمیتونم دقیقا بگم. ولی به نظرم میرسه مشکل شما اینه.
در کل، نرم‌افزارهای web crawler چیزی رو توی وبسایت میبینن که بروزرهای تحت ترمینال میبینن.
اگه لینوکس دارید، میتونید اون صفحه‌ی وب رو با این ابزارها ببینید:

curl
w3m
lynx

البته این رو هم باید اضافه کنم که بعضی از web crawlerها میتونن js هم اجرا کنن. ولی باهاشون کار نکردم و این کتابخانه‌ای که شما استفاده میکنید، یکی از اونها نیست.

1 پسندیده

منظور شما lazy load و infinite scroll هست .


لینکهایی مثل این رو گوگل کنید مشکلتون رو حل میکنه
راه حل دوم هم اینه کد js صفحه قسمت مورد نظر رو پیدا کنید یا مانیتور کنید ببینید چی رد و بدل میشه تو پایتون همون سازوکار رو پیاده کنید داده ها رو بگیرید

2 پسندیده