Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 | 31 |
Tags
- node exporter
- slack
- 오블완
- nginx
- hard delete
- NoSQL
- logstash
- aws ec2
- docker
- redis
- prometheus
- ci/cd
- 계정 관리
- unique constraint
- soft delete
- Locust
- Airflow
- 티스토리챌린지
- JWT
- hive
- Hadoop
- elasticsearch
- grafana
- 물리삭제
- Django
- Next.js
- AWS
- 로그 백업
- 논리삭제
- DAG
Archives
- Today
- Total
목록데이터 엔지니어링/Spark (1)
먹수의 개발일지
[Spark] Spark 기초
Spark 구성요소와 아키텍쳐SparkSession의 생성master과 appName을 필수로 지정해서 사용해보자local[1]에 숫자는 core 개수이며, 로컬에서 띄울때는 local로 지정해야한다. 그 외에 리소스 매니저(yarn, mesos, kubernetes 등)를 지정할 수 있다.val spark = SparkSession.builder() .master("local[1]") // yarn, mesos available .appName("SparkExamples") //UI에서 이름을 찾을 수 있다. .config("spark.sql.warehouse.dir", "/spark-warehouse") .enableHiveSupport() .getOrCreate(); s..
데이터 엔지니어링/Spark
2024. 11. 12. 22:07