Web Scraping

آیا web scraping میتونه درآمد زا باشه؟ برم سراغش؟ جز آشنایی با html و css و javascript دانش خاص دیگه ای در حد بالا نمیخواد دیگه؟

دوستای من با scrapy و pandas کار میکنن و از شغل و درآمدشون راضی هستن.
شناخت وب، بخش اول کاره و برای استخراج دیتا از وب استفاده میشه.
بخش بعدی اینه که با اون دیتا یه کاری انجام بدیم! حداقل باید بتونید دیتا رو تمیز کنید تا برای آنالیز آماده بشه. صرفا خوندن یه سری متن از وب، مهم نیست.

1 پسندیده

مرسی. پس میشه باش پول در آورد. لطفاً اگه ممکنه آدرس ایمیل یا شماره تلفنی از این افرادی که گفتی بم بده. اگه بشه باشون صحبت کنم اطلاعات بیشتری بگیرم.

فکر نمیکنم به این مدل ارتباط علاقه‌مند باشن.
اگه میخواید بیشتر درمورد شغلهای مرتبط با webscrap اطلاعات کسب کنید، سایتهایی مثل jobinja هست که میتونید شرکتهایی که این مدل کارها رو انجام میدن و شرایط کاری رو داخلش ببینید.

1 پسندیده

ممنونم. همین که فهمیدم یه عده دارن باش کار میکنن خودش خیلیه.

دوست عزیزم در مورد استخراج دیتا از وب تجربه ای دارید به اشتراک بزارین ؟ حال حاضر پروژه ای در حال توسعه هستیم که از طریق Selenium python صفحاتی رو لود میکنه و اطلاعاتی ثبت میکنه در سیستم . حالا به این فکر هستم با این ابزارها حین پروسه ، بتونم اطلاعات نتیجه رو ذخیره کنم .

پ . تو این کار از جنگو استفاده شده

والا نه!
پروژه‌ی بزرگ و درست حسابی با این ابزارها نزدم، پس pitfall ها رو نمیشناسم و چیزی بیشتر از داکیومنتشون نمیدونم.
چندتا پروژه‌ی کوچیک زدم ولی اونجا هم هدفم استفاده از این ابزارها نبود. بیشتر هدفم تقلید کردن ازشون و ساختن یه ابزار دیگه بود که فقط برای همین‌کار بهینه شده.