2024/12/12 5

Apache Hadoop, Spark, Kafka, Airflow 기본 개념

Big data technologies출처 : https://www.linkedin.com/pulse/100-open-source-big-data-ml-architecture-papers-sequel-anil-madan/Apache 소프트웨어 재단이란?ChatGPT의 답변아파치 소프트웨어 재단(Apache Software Foundation, ASF)은 오픈소스 소프트웨어를 개발, 유지보수, 관리하는 비영리 단체입니다. 아파치 소프트웨어 재단은 1999년에 설립되었으며, 오픈소스 프로젝트의 개발과 커뮤니티 활동을 지원하고 이를 통해 다양한 소프트웨어를 제공합니다.ASF는 전 세계적인 개발자들과 기업들의 참여를 유도하고, 오픈소스 프로젝트의 개발과 유지보수를 위한 인프라 및 지원을 제공합니다. ASF의 목..

[AI School-TIL] SQL(BigQuery) 7일차_23.02.10

배웠던 내용 총정리 -distinct : 중복 제거 (group by하지 않아도 연도별 중복 제거를 해서 볼 수 있음)-where : 조건을 부여해서 원하는 데이터만 구해 옴 (필터처럼)-연산연산자 사용 가능논리 연산 (and, or, not) -> ()괄호를 묶어서 사용 가능between A and B : A와 B를 포함한 사이의 값in A : A 안에 값과 일치하는 값을 조회 (서브쿼리를 써서 조회하기 원하는 브랜드를 불러올 때 사용)like '비교문자' : %(와일드카드), 대소문자를 안 가림, 언더바는 글자의 수를 비교is null : null이라는 아무 것도 없는 값 (0은 값이 있는 것). is를 통해서만 연산 (=, !=은 사용 안 됨)-집계함수, group bycount : count(*)..

[AI School-TIL] SQL(BigQuery) 6일차_23.02.03

[데이터 집계하기 2]rollup : 전체 집계를 구한 다음에, 각 단계에 따른 소계를 해주는 기능 select country, count(id) as count_userfrom `thelook_ecommerce.users`group by rollup(country);  #연습문제 11-1#회원(users) 테이블에서 연령대 별 성별의 소계 및 합계를 조회#일의 자리를 버림 (trunc는 내림)select trunc(age, -1) || '대' as age_group, gender, count(id) as user_countfrom `thelook_ecommerce.users`group by rollup(age_group, gender)order by age_group, gender windo..

[AI School-TIL] SQL(BigQuery) 5일차_23.01.27

Q. JOIN vs UNION ?-join은 테이블 간의 결합-union은 조회 결과를 위아래(세로방향)으로 합치는 것 (필드는 확장되지 않음) [오늘 진도]JOIN이랑 조건문 문제 이어서 풀기 !#날짜포맷 함수 차이#BigQuerySELECT FORMAT_DATE('%Y-%m-%d', DATE '2008-12-25') ;#MySQLSELECT DATE_FORMAT('2009-10-04 22:23:00', '%Y-%m-%d'); 연습문제### SQL 연습문제 8-6#주문상품(order_items) 테이블과 상품정보(products) 테이블을 이용하여 #주문한 상품의 브랜드 별 평균판매가격(brand_avg_sale_price)을 조회하시오.#- 조회 항목# - 브랜드(brand)# - 브랜드 ..

[AI School-TIL] SQL(BigQuery) 4일차_23.01.26

[오늘 진도]조건문case / end -조건을 시작하고, 닫는 것을 먼저 해놓는 습관을 들이는 게 좋다.when then / elseselect order_id, user_id, status, case when status = 'Shipped' then '배송됨' when status = 'Complete' then '완료됨' when status = 'Returned' then '반품됨' when status = 'Cancelled' then '취소됨' when status = 'Processing' then '처리중' else '기타' end as status_textfrom `thelook_ecommerce.orders`order by order_id# ..