Apache Spark


#1

Apache Spark
یکی از محبوبترین نرم افزارهای داده ها در سطح بالا big data هستش که برای کار با peta byte ها داده ساخته شده spark سه کتابخانه کلی داره
Spark SQL برای اجرای sql
Spark streaming برای پروسه داده ها همزمان از kafka و …
Spark MLIb برای یادگیری ماشینی

Spark به خیلی از دیتابیس ها و یا موتور ها داده به راحتی وصل میشه
و ۴ زبان پشتیبانی میکنه R ,scala python و Java


#2

برای الکسیر هم کتابخونه ها و فریم ورکهای اینطوری وجود داره ؟مثلا چیزی شبیه به سیستم فایل توزیعی هادوپ ؟
این لینک رو نمیدونم مطالعه کردین یا نه :
https://elixirforum.com/t/big-data-with-elixir/154/52

از لینک بالا به این مطلب خوردم :

https://medium.com/@dmitriid/erlang-is-dead-long-live-e-885ccbcbc01f

و نتیجه کلی نشد بگیرم اما انگار الکسیر در حوزه بیگ دیتا و یادگیری ماشین چون هنوز جوانه چنان چنگی به دل نمیزنه .
چندتایی هم کتابخونه پیدا کردم که چنگی به دل نمیزدن .اگر شما اطلاع خاصی دارین ممنون میشم راهنمایی کنید البته خودم اونطوری که فهمیدم تو این زمینه اسکالا اوضاع مناسب تری داره .


#3

در زمینه bigdata
Scala , python Java R پیشتازند
ولی بین کتابخانه های پردازش داده هیچ کتابخانه ای امروز به محبوبیت spark نیست
در الیکسیر کتابخانه flow شبیه spark هستش ولی از نظر قابلیت حتی نزدیک spark نیست


#4

تا وقتی برا یادگیری ماشین پایتون هست چرا سراغ چیز دیگه ای بریم؟؟ (به طور کلی میگم)
خیلی محبوبه و کتابخونه های خوبی هم داره


#5

Spark فقط برای یادگیری داده بکار نمیره و تمام نیاز های پردازش داده رو سعی میکنه برطرف کنه از جمله
SQL query
Stream processing
Machine learning


#6

بله درسته . کلا پایتون تو هر زمینه ای رد پا داره و دور از انصافه گزینه به این خوبی رو نادیده گرفت ولی در بعضی موارد اسکالا و جاوا منابست ترند و تا جایی که من اطلاع دارم اسپارک رو هم با اسکالا نوشتن و جالبش اینه تو جایی خوندم که در بعضی موارد از هادوپ عملکرد خیلی بهتری داره. اکثر این کتابخونه ها و فریم ورکها با جاوا نوشته شدن که باعث میشه زبان های داخل jvm تو این موارد یه سر و گردن نسبت ب بقیه بالاتر باشه


#7

من یه سوال دارم به نسبت مرتبط با همین مبحثه
چرا اغلب کار هایی که apache انجام میده یا با java ست یا java یه نقش اساسی توش داره؟؟


#8

چیزی شبیه به hdfs هادوپ یا هر راه کاری که بشه همچین چیزی رو داخل الکسیر آورد با همون قابلیت ها و حرفه ای باشه وجود داره ؟ یا روشی که بشه استفاده کرد ؟چندتا کتابخونه و پکیج وجود دارن اما تو عمل زیاد بکار نمیان


#9

به دلیل اینکه jvm میلیارد ها دلار روش پول خرج شده و برای هر کاری تقریبا optimize شده و هزاران کتابخانه داره
تو اکثر شرکت‌های برنامه نویسی JVM یک نقشی داره


#10

نه کتابخانه ای که با hdfs کار کنه نمیشناسم