본문 바로가기

TechStudy/BigDataTools

TechStudy/BigDataTools 2024. 1. 18.
AWS: instance 만들기, PuTTY로 해당 가상환경 터미널 키기
AWS: instance 만들기, PuTTY로 해당 가상환경 터미널 키기 아이디: ssw pw: 기존에 하나추가 주소: https://891377154789.signin.aws.amazon.com/console https://console.aws.amazon.com/console/home console.aws.amazon.com 기존에 초대한 사람이 내게 권한을 할당했다면, 로그인을 하고 EC2를 검색하여(아마존 가상환경) 시작해보자. 그러면 이런 창이 나온다. instance 이름 마음에 드는걸로 만들고 가상환경 세팅을 무얼로 할지 결정한다. Amazon Linux가 가장 저렴하다. Red Hat은 기업들이 많이 쓴다고한다. 우분투는 딥러닝돌리는 곳에서 쓴다고 한다. 초보 학습자는 나머지는 손대지말고 내린다(괜히 손대면 요금 폭탄 나올 수 있다.) instance type에..
TechStudy/BigDataTools 2023. 12. 8.
Snowflake
Snowflake https://www.coursera.org/learn/spark-hadoop-snowflake-data-engineering Spark, Hadoop, and Snowflake for Data Engineering Duke University에서 제공합니다. e.g. This is primarily aimed at first- and second-year undergraduates interested in engineering or science, along with ... 무료로 등록하십시오. www.coursera.org snowflake: 저장. 연산 플랫폼 (clouds기반), Snowflake SQL 사용. [bigdata 저장구조]: 1) Shared Everything(전통, simple ..
TechStudy/BigDataTools 2023. 12. 4.
Spark and MLLIB (EDA와 머신러닝)
Spark and MLLIB (EDA와 머신러닝) https://www.coursera.org/projects/diabetes-prediction-with-pyspark-mllib [Project] Diabetes Prediction With Pyspark MLLIB | Coursera 2시간 이내에 이 안내 프로젝트를 완료하세요. In this 1 hour long project-based course, you will learn to build a logistic regression model using Pyspark MLLIB to classify ... www.coursera.org 스파크를 통해 EDA를 하고 머신러닝도 해보자. #create a sparksession from pyspark.sql import SparkSession spark..
TechStudy/BigDataTools 2023. 12. 4.
Spark 실습(조작법, 쿼리, 시각화)
Spark 실습(조작법, 쿼리, 시각화) source: https://www.coursera.org/projects/data-analysis-using-pyspark [Project] Data Analysis Using Pyspark | Coursera 2시간 이내에 이 안내 프로젝트를 완료하세요. One of the important topics that every data analyst should be familiar with is the distributed data processing technologies. As a ... www.coursera.org 자료는 컴퓨터 환경 제약을 우려하여 구글 코랩에서 진행하지만 필자는 로컬에서 진행하였다. spark에서 사용할 sql과 시각화 라이브러리를 호출한다. from pyspark.sql i..
TechStudy/BigDataTools 2023. 11. 30.
Apache Spark
Apache Spark https://www.coursera.org/learn/spark-hadoop-snowflake-data-engineering Spark, Hadoop, and Snowflake for Data Engineering Duke University에서 제공합니다. e.g. This is primarily aimed at first- and second-year undergraduates interested in engineering or science, along with ... 무료로 등록하십시오. www.coursera.org 여기서 들은 수업을 바탕으로 정리하는 내용이다. (1주차) Spark: 빅데이터 분석 엔진. RAM 사용. Hadoop보다 빠름. 데이터 분배 저장 필요 장점: Speed(disk..
TechStudy/BigDataTools 2023. 11. 20.
Hadoop 기본 실행
Hadoop 기본 실행 Hadoop: a platform for processing big data, MapReduce programming model HDFS = Hadoop Distributed File System 장점: Scalability(big data처리에 적합), Batch Processing(batch작업 우수), Ecosystem(각종 tools 많음; hive for 쿼리, pig for data processing 등), Data resilience(데이터탄성력.회복력:= node failures로부터 보호), Cost-Effectiveness(오픈소스라서 비용 덜들음) 단점: Latency(실시간 batch처리가 지연될 수 있음), Complexity(설정 관리가 복잡), Programming Model..
728x90
반응형

티스토리툴바