Apache Spark

Посоветуйте, пожалуйста, годные материалы по алгоритмам. Курсы, видео, статьи, без разницы, главное, чтоб объясняли доходчиво, и были примеры реализации в задачах, а не просто сферически-в-вакууме. «Грокаем…» уже читал. - - И по лайвкодингу на Python и SQL. Надо руку понабивать, а то с повторяющимся задачами в работе, и с нейросетями, уже мозг обленился и холодцом покрылся. 🥺 АПДЕЙТ! И ПО ФРЕЙМВОРКУ SPARK! Интересует понимание его внутреннего устройства, на собесах задолбали спрашивать о том, К...

Ребята привет. Подскажите пожалуйста какой-нибудь годный курс по спарку. Всякие знакомства со спарком и все такое не интересует, хочется что нибудь поглубже. А так же с databricks

Catalyst Optimizer в Apache Spark: что это и как работает? Если вы когда‑нибудь работали со Spark SQL или DataFrame API, то наверняка задумывались о том, как под капотом обрабатывается ваш код и выполняется оптимальным образом. За это отвечает встроенный оптимизатор, который берёт ваш SQL-запрос или DataFrame-операции и превращает их в максимально эффективный план исполнения. Что делает Catalyst? Catalyst входит в движок Spark SQL и отвечает за: ➡️разбор и анализ запроса, ➡️построение логическог...

⛈ Шпаргалка для старта в Spark Прочитай, чтобы не пропасть на 23 года, как Купер. 🔢 Минимум по Spark API SparkSession — точка входа .read / .write — чтение и запись файлов .select(), .filter(), .groupBy().agg() — базовые трансформации .withColumn() — добавление новых колонок .join() — объединение таблиц spark.sql() — SQL-запросы внутри Spark 🔢 Архитектура Spark Spark - про распределённую обработку Driver и Executors Transformation vs Action (ленивое выполнение - очень важно) Понимать: Spark не...

https://www.databricks.com/blog/bringing-declarative-pipelines-apache-spark-open-source-project

Hello, this is Telegram Support. Representatives of magnamedia.ru made a complaint https://t.me/spark_ru is infringing on their copyright. We kindly ask you to contact the copyright holder via email copyright@magnamedia.ru to resolve the matter.

во дела!.. 🙈 #todo

https://chatgpt.com/share/696fb2f4-850c-8009-a951-5813d1697236 #from https://t.me/de_zoomcamp/615/863 #talk

В Spark 4.1 появлся ... Airflow В документации версии Spark 4.1-Preview появились так называемые Spark Declarative Pipelines (SDP) На борту: 1️⃣ Несколько видов датасетов: Материализованные, Стриминговые, Временные 2️⃣ Пайплайн как объект. Описывается через…

Выкатили Spark 4.1. Вроде бы он дружит со Scala 3 и более оптимизированный в AQE. #технологии