- apache bigdata europe
- Apache ํ๋ก์ ํธ ๋ง๋ค๊ธฐ(1)
- Apache ํ๋ก์ ํธ ๋ง๋ค๊ธฐ(2)
- Projects by category
- Integrating Apache Airflow and Databricks: Building ETL pipelines with Apache Spark
- Apache Airflow์์ REST API๋ฅผ ์ฌ์ฉํ์ฌ Databricks ํด๋ฌ์คํฐ๋ฅผ ๊ด๋ฆฌํ๋ ์๋ฅผ ์๊ฐ
- ๋ฐ์ดํ ์ํฌํ๋ก์ฐ ๊ด๋ฆฌ๋ฅผ ์ํ Apache Airflow #1 - ์๊ฐ
- Airflow Tutorial for Data Pipelines
- Apache Airflow๋ฅผ ์์ํ ๋ ์ฐธ๊ณ ํ ๋งํ ํํ ๋ฆฌ์ผ
- Apache Airflow๋ฅผ ์ด์ฉํ ๋ฐ์ดํฐ ์ํฌํ๋ก์ฐ ์๋ํ
- ETL best practices with Airflow documentation site
- Integrating Apache Airflow with Apacheย Ambari
- Modern Data Pipelines with Apache Airflow (Momentum 2018 talk) Apache Airflow์ ๊ฐ๋ , ๋ช ๊ฐ์ง ์์
- When Airflow isnโt fast enough: Distributed orchestration of multiple small workloads with Celery
- Apache Airflow in the Cloud: Programmatically orchestrating workloads w/ Py - Satyasheel, Kaxil Naik
- Advanced Data Engineering Patterns with Apache Airflow AirBnB ๋ฐ์ดํฐ ์์ง๋์ด๋งํ์ A/B test, AutoDAG, Engagement & Growth metrics, Scaling ๋ฑ์ ๊ตฌํํ๋ Apache Airflow ๊ตฌ์ถ ๋ฐฉ๋ฒ ์๊ฐ
- How to start automating your data pipelines with Airflow
- Building a Big Data Pipeline With Airflow, Spark and Zeppelin
- Airflow: Lesser Known Tips, Tricks, and Best Practises
- Airflow๋ฅผ ์ด์ฉํ ๋ฐ์ดํฐ Workflow ๊ด๋ฆฌ
- ์ฐ๋ถํฌ(Ubuntu)์ ์ํ์น ์์ดํ๋ก์ฐ (Apache Airflow) ์ค์น
- ์ค๋ฌด์ ๋ฐ๋ก ์ฌ์ฉํ๋ Airflow 2.0 ์ค์น
- docker-compose๋ก Airflow ํ๋ฐฉ์ ์ค์นํ๊ธฐ
- jwon.org/tag/airflow
- Getting started with Apache Airflow
- Data pipelines, Luigi, Airflow: everything you need to know
- Cloud Composer ์์ Airflow Web Server REST API ๋ก ์ธ๋ถ์์ DAG ํธ๋ฆฌ๊ฑฐํ๊ธฐ
- ์ ๊ฐ๋ฐ airflow ์ schedule_interval ์ ๋ํด์
- AWS EMR๊ณผ Airflow๋ฅผ ์ด์ฉํ Batch Data Processing | by Min Jo | 101-devs | Aug, 2020 | Medium
- CLASS101์์ Airflow์ Amazon EMR์ ํ์ฉํ ETL ํ์ดํ๋ผ์ธ ๊ตฌ์ถ - ์กฐ๋ฏผ๊ตฌ(CLASS101) :: ์ 32ํ AWSKRUG DataScience๋ชจ์ - YouTube
- Introducing Airflow 2.0 | Astronomer
- Airflow ์คํจ์ฌ๋ถ slack์๋์ผ๋ก ๋ฐ๊ธฐ (python)
- airflow CPU๊ฐ ๋๊ฒ ์ ์ ๋๋ ํ์
- airflow dag์ task๋ฅผ ์คํํ๊ณ ๋์ํ์ง ์๋ ํ์
- Airflow์ execution_date์ ๋ํ์ฌ - NephtywโS Programming Stash
- ๋ฒํทํ๋ ์ด์ค Airflow ๋์ ๊ธฐ - ์ค๋์์ง ๋ธ๋ก๊ทธ
- ์์นด ๋ฐ์ดํฐ ๊ทธ๋ฃน - Airflow์ ํจ๊ปํ ๋ฐ์ดํฐ ํ๊ฒฝ ๊ตฌ์ถ๊ธฐ(feat. Airflow on Kubernetes) - SOCAR Tech Blog
- ์ฒ์์๋ Rundeck ์ด์ฉ, Airflow๋ฅผ ์ฌ์ฉํ๊ธฐ๋ก ํ๋ฉด์ ๋งค๋์ง๋ ์๋น์ค์ธ GCP์ Composer ์ฌ์ฉ, ํ์ฌ์ ๋ฐ์ดํฐ ํ์ด ์ปค์ง๋ฉด์ ๋ฌธ์ ๋ฐ์
- ๊ฒฐ๊ตญ Kubernetes ์์์ Airflow๋ฅผ ๊ตฌ์ถํด์ ์ด์ํ๊ธฐ๋ก ๊ฒฐ์ . Kubernetes ์์์ ์ด์ํ๋ ๋ฐฉ๋ฒ์ ์์ธํ ์ค๋ช
- Hello, Apache Airflow
- ํ๊ธฐ ์ด๋ฏธ์ง ์๋ ๊ฒ์ ๋ชจ๋ธ, ์ด๋ป๊ฒ ์๋น์คํ ๊น? | by MUSINSA tech | Medium | MUSINSA tech
- airflow ํ๋ผ๋ฏธํฐ ํ๋
- ๋๋ง์ Airflow ํด๋ฌ์คํฐ ๋ง๋ค๊ธฐ (feat. k3d)
- Apache Airflow์ Amazon SageMaker Feature Store ์ฐ๋ํ๊ธฐ | by Sungin Lee | Cloud Villains | Sep, 2021 | Medium
- Misconfigured, old Airflow instances leak Slack, AWS credentials | ZDNet
- ETL Pipelines with Airflow: the Good, the Bad and the Ugly | Airbyte
- ๋ฐฐ์น ํ์ดํ๋ผ์ธ ๋์ ์ ์ํ Workflow ๋ฆฌ์์น (Airflow VS Azkaban VS Oozie)
- Apache Airflow Tutorials for Beginner
- ์ฌ๋ฌ ์กฐ์ง์ Airflow ์ ๊ณตํ๊ธฐ 1 - ๋ฉํฐํ ๋์ Airflow ํ๊ฒฝ ์ ๊ณตํ๊ธฐ - LINE ENGINEERING
- ์ฌ๋ฌ ์กฐ์ง์ Airflow ์ ๊ณตํ๊ธฐ 2 - ์ฌ์ฉ์ ํ ์คํธ Airflow ์ ๊ณต ์๋ํ - LINE ENGINEERING
- Airflow2๋ฅผ ์ด์ฉํ ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ ๊ตฌ์ฑ๊ธฐ. ๋ชจ๋ธ ํ์ต, ๋ฐ์ดํฐ ๋ถ์, ์บ ํ์ธ ์ง๊ณ, ์ ํ ๋์๋ณด๋์ ์ฌ์ฉํ๋โฆ | by Sungmin Han | Riiid Teamblog KR | Mar, 2022 | Medium
- Lessons Learned From Running Apache Airflow at Scale โ Data Science & Engineering (2022)
- Build An Airflow Data Pipeline To Download Podcasts Beginner Data Engineer Tutorial - YouTube
- Airflow 2.0 - SLS - SLiPP::์ํค
- ์ฌ์ฅ๋์ฉ ํต๊ณ ๋ฐ์ดํฐ ์๋นํ๊ธฐ | ์ฐ์ํํ์ ๋ค ๊ธฐ์ ๋ธ๋ก๊ทธ
- Airflow k8s ๋ก์ปฌ ๊ฐ๋ฐํ๊ฒฝ ์ ํ
- Airflow Sensor ์ ๋ฆฌ (feat. S3 Sensor)
- ์ ์ฌ ๊ตฌ์ฑ์๋ค์ด ์ฌ์ฉํ๋ ๋ฐฐ์น ๋ฐ์ดํฐ ํ๋ซํผ ๋ง๋ค๊ธฐ - Airflow Advanced - SOCAR Tech Blog
- Airflow Taskflow๋ก DAG refactoringํ๊ธฐ
- Airflow(์์ดํ๋ก์ฐ) could not queue task issue
- Orchestrating Your Data Pipelines with Apache Airflow โข Ricardo Sueiras โข GOTO 2022 - YouTube
- ๋ฐ์ดํฐ ์์ง๋์ด๋ง with R 1๊ฐ. Airflow ์๊ฐ ๋ฐ ๋น๊ต - YouTube
- Apache airflow for beginners - YouTube
- Apache Airflow Tutorials - YouTube
- Apache Airflow with Python - YouTube
- AirFlow ์ค์น(Celery Cluster)
- Orchestrating Hybrid Workflows with Apache Airflow - YouTube
- 3 GREAT REASONS TO TRY APACHE HIVE VIEW 2.0
- Apache Ambari์์ Apache Hive 2.5์ ์ํธ ์์ฉํ ์ ์๋ ์๋ก์ด ๊ธฐ๋ฅ์ ์๊ฐ
- Optimizer๊ฐ ์ฌ์ฉํ๋ ํ ์ด๋ธ๊ณผ ์ปฌ๋ผ ํต๊ณ๋ฅผ ๋ณด๊ณ ์ฐ์ฐ ๊ฐ๋ฅ, Explain pland ์๊ฐํ ํฌํจ
- WHY SHOULD YOU CARE ABOUT AMBARI 2.5?
- Apache Ampari 2.5 ๊ณต๊ฐ. ์๋น์ค ์๋ ์ฌ์์, ๋ก๊ทธ ๋กํ ์ด์ /๋ก๊ทธ ๊ฒ์, ๊ฐ์ ๋ ๊ตฌ์ฑ ๊ด๋ฆฌ์ ์๋ก์ด ๋ชจ๋ํฐ๋ง ๊ธฐ๋ฅ ๋ฑ์ด ํฌํจ
- How to upgrade Apache Ambari 2.6.2 to Apache Ambari 2.7.3
- Apex ์คํธ๋ฆผ ๋ฐ ๋ฐฐ์น ํ๋ก์ธ์ค ์์ง
- Real-time Stream Processing using Apache Apex
- Throughput, Latency, and Yahoo! Performance Benchmarks. Is there a winner? - See more at: https://www.datatorrent.com/blog/throughput-latency-and-yahoo
- SQL on Apache Apex
- Writing to Apache Kudu from Apache Apex
- Apache Apex๋ฅผ ์ฌ์ฉํ์ฌ Apache Kafka์์ Apache Kudu๋ก ๋ฐ์ดํฐ๋ฅผ ์ฐ๋ ๋ฐฉ๋ฒ
- Arrow
- Apache Arrow - Powering Columnar In-Memory Analytics - Arrow is a set of technologies that enable big-data systems to process and move data fast
- Why pandas users should be excited about Apache Arrow
- Feather: A Fast On-Disk Format for Data Frames for R and Python, powered by Apache Arrow
- Introducing Apache Arrow: A Fast, Interoperable In-Memory Columnar Data Structure Standard
- Improving Python and Spark Performance and Interoperability with Apache Arrow
- Apache Arrow ํ๋ก์ ํธ๋ cross-language columnar in-memory alanytics๋ฅผ ๊ตฌํ
- ๋๋ถ๋ถ์ ๊ฐ๋ฐ์๋ Arrow๋ฅผ ์ง์ ๋ค๋ฃจ์ง ์์ง๋ง PySpark์ ๊ฐ์ ์ฌ๋ฌ ๊ฐ์ง ์์ ์ ๋น ๋ฅด๊ฒ ์ฒ๋ฆฌ ๊ฐ๋ฅ(ํ๋ค๊ณ ์ฃผ์ฅ)
- ์ด ํ๋ ์ ํ ์ด์ ์ Arrow๊ฐ ๋ฌด์์ธ์ง, ๊ทธ๋ฆฌ๊ณ ๊ทธ๊ฒ์ด ์ด๋ป๊ฒ ์๋ ํฅ์์ ์ด๋ฃฐ ์ ์๋์ง ์๊ฐ
- Apache Arrow (Python)
- Wes McKinney: Ursa Labs and Apache Arrow in 2019 | PyData Miami 2019
- Apache Arrow and Java: Lightning Speed Big Data Transfer
- Apache Arrow: Read DataFrame With Zeroย Memory | Towards Data Science
- Atlas ๋ฐ์ดํฐ ๊ฑฐ๋ฒ๋์ค, ํ์ค, ๊ณ๋ณด ๊ด๋ฆฌ ํ๋ซํผ
- Apache AtlasโโโUsing the v2 Rest API Atlas์ Rest API๋ฅผ ์ฌ์ฉํ์ฌ ๋ฐ์ดํฐ๋ฅผ ๊ธฐ๋กํ๋ ๋ฐฉ๋ฒ ์๊ฐ
- Apache Atlas on Amazon EMR์ ์ฌ์ฉํ์ฌ Data Lineage ๊ตฌ์ฑํ๊ธฐ | AWS ๊ธฐ์ ๋ธ๋ก๊ทธ
- Apache Beam
- ์ง์ ์ ์ผ๋ก ์คํธ๋ฆผ ์ฒ๋ฆฌ ๊ธฐ๋ฅ์ ์ ๊ณตํ์ง๋ ์์ง๋ง, ๋ฐฐ์น ์ฒ๋ฆฌ์ ์คํธ๋ฆผ ์ฒ๋ฆฌ ๋ชจ๋์ ์ฌ์ฉ ๊ฐ๋ฅํ ํตํฉ๋ ํ๋ก๊ทธ๋๋ฐ ๋ชจ๋ธ ์ ๊ณต
- ์ ์ฒด ์ฒ๋ฆฌ ํ์ดํ๋ผ์ธ์ ์ปดํฌ๋ํธ๋ค์ ์คํํ๊ธฐ ์ํด ์ผ์, ์คํํฌ, ํ๋งํฌ์ ๊ฐ์ ํ๋ซํผ ์ฌ์ฉ
- Former DataFlow
- The Beam Model : Streams & Tables
- ์คํธ๋ฆผ ๋ฐ ํ ์ด๋ธ์ ๊ธฐ๋ฐ์ผ๋ก ์์ฑ๋ Apache Beam ๋ชจ๋ธ์ ๋ํ ๋ด์ฉ
- bcho.tistory.com/search/dataflow
- ๊ตฌ๊ธ ๋ฐ์ดํ ์คํธ๋ฆฌ๋ฐ ๋ฐ์ดํ ๋ถ์ ํ๋ซํผ dataflow - #1 ์๊ฐ
- ๋ฐ์ดํ ์คํธ๋ฆฌ๋ฐ ๋ถ์ ํ๋ซํผ Dataflow ๊ฐ๋ ์ก๊ธฐ #1/2
- ๋ฐ์ดํ ์คํธ๋ฆฌ๋ฐ ๋ถ์ ํ๋ซํผ Dataflow ๊ฐ๋ ์ก๊ธฐ #2/2
- GOOGLE DATA FLOW - Google์ Data Flow ๊ฐ๋ ๋ฐ ํ๋ก๊ทธ๋๋ฐ ๋ฐฉ๋ฒ
- ๋ฐ์ดํ ํ๋ก์ฐ #4 ๊ฐ๋ฐํ๊ฒฝ ์ค์ ํ๊ธฐ
- ๋ฐ์ดํ ํ๋ก์ฐ #5 ํ๋ก๊ทธ๋๋ฐ ๋ชจ๋ธ์ ์ดํด
- Face recognition Image Cropping and Filtering notebook
- Apache Beam ๊ธฐ๋ฐ์ ์ ์ฒ๋ฆฌ ์ฝ๋
- Comparing the Dataflow/Beam and Spark Programming Models
- Type safe BigQuery in Apache Beam with Spotifyโs Scio
- Apache Beam์ผ๋ก ๋จธ์ ๋ฌ๋ ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ ๊ตฌ์ถํ๊ธฐ 1ํธ - ๋์ ๊ณผ ์ฌ์ฉ โ ํํํ ๋ธ๋ก๊ทธ
- Apache Beam์ผ๋ก ๋จธ์ ๋ฌ๋ ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ ๊ตฌ์ถํ๊ธฐ 2ํธ - ๊ฐ๋ฐ ๋ฐ ์ต์ ํ โ ํํํ ๋ธ๋ก๊ทธ
- Apache Beam์ผ๋ก ๋จธ์ ๋ฌ๋ ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ ๊ตฌ์ถํ๊ธฐ 3ํธ - RunInference๋ก ๋ชจ๋ธ ์ถ๋ก ํ๊ธฐ โ ํํํ ๋ธ๋ก๊ทธ
- Alex Merose: Apache Beam on Dask- Portable, Scalable, Scientific Python | PyData NYC 2022 - YouTube
- scio: A Scala API for Apache Beam and Google Cloud Dataflow
- Camel
- Apache Camel ์๊ฐ
- Streaming in the Cloud With Camel and Strimzi
- How Apache Camel simplified our process integrations
- Top 5 Courses to Learn Apache Camel in 2022 - Best of Lot
- 5 Best Apache Camel Courses for Java Developers in 2022 | Java67
- Apache Cordova: after 10 months, I won't be using it anymore
- Cordova ํ๊ฒฝ ๊ตฌ์ฑ & Git Ignore ์ค์
- ionic cordova emulate ์คํ ์ Cannot read property 'replace' of undefined ์๋ฌ ํด๊ฒฐํ๊ธฐ
- Drill
- Apache Drill SQL Query Optimization | Whiteboard Walkthrough
- A Gentle introduction to Apache Drill
- Druid
- druid.io
- ์ํ๋ผ์ด, ๋๋ฃจ์ด๋ ๊ธฐ๋ฐ ์คํ์์ค ๋ถ์ ํ๋ซํผ ๊ณต๊ฐ
- Imply - Exploratory Analytics Powered By Druid
- Druid is a high-performance, column-oriented, distributed data store
- An Introduction to Druid
- Aggregated queries with Druid on terrabytes and petabytes of data
- Combining Druid and Spark: Interactive and Flexible Analytics at Scale
- Time series OLAP
- Scalable Real-time analytics using Druid
- Druid ์ฑ๋ฅ ์ฟ๋ณด๊ธฐ. Spark์ด๋ ๊ฐ์ด ๋ณด์
- JDBC๋ฅผ ํตํ ํ๋ก ์ ์ฌ, ์๋ฉด ๋์๋๋ ์ฝ์ง ์ด์ผ๊ธฐ 1ํธ
- Hive ์ Druid๋ก ์ธํธ๋ผ-๋น ๋ฅธ OLAP ๋ถ์ํ๊ธฐ
- ๋ฒค์น๋งํฌ Apache Hive์ Druid๋ฅผ ํตํ sub-second ๋ถ์ -2ํธ
- Ultra-Fast OLAP Analytics With Apache Hive and Druid (Part 1)
- Ultra-Fast OLAP Analytics With Apache Hive and Druid (Part 2)
- 4th Druid Meetup ์ฐธ์ ํ๊ธฐ
- Comparison of the Open Source OLAP Systems for Big Data: ClickHouse, Druid and Pinot
- Open Source ๋ถ์ฐ ์คํ ๋ฆฌ์ง ์์ง์ธ ClickHouse, Druid, Pinot์ ๋น๊ต
- ์์คํ ๊ฐ์ ์ ์ฌ์ฑ(์: ์ ์ฅ ๋ฐ ์ธ๋ฑ์ค), ์ฑ๋ฅ ํน์ฑ, ๋ฐ์ดํฐ ์ฒ๋ฆฌ, ๋ฐ์ดํฐ ๋ณต์ ๋ฐ ์ฟผ๋ฆฌ ์คํ์ ์ ์ฌ์ฑ๊ณผ ์ฐจ์ด์ ์ค๋ช
- Web analytics at scale with Druid at naver.com
- An introduction to Druid, your Interactive Analytics at (big) Scale
- How Druid enables analytics at Airbnb
- Airbnb์์ ๋ถ์์ ์ํด Druid๋ฅผ ์ฌ์ฉํ ๊ฒฝํ๋ด ์๊ฐ
- Druid๋ฅผ ํตํด ๋ค๋ฅธ ๋น ๋ฐ์ดํฐ ์์คํ ๋ณด์ ๋ฐฉ๋ฒ, Spark Streaming์ผ๋ก ๋ฐ์ดํฐ ์์ง ๋ฐฉ๋ฒ, Presto ํตํฉ ๋ฐฉ๋ฒ, ๋ชจ๋ํฐ๋ง ๊ทธ๋ฆฌ๊ณ ๋ฌธ์ ์ ๋ฐ ํฅํ ๊ฐ์ ์ฌํญ ์ค๋ช
- Realtime Data in Apache Druid โ Choosing the Right Strategy
- How Netflix uses Druid for Real-time Insights to Ensure a High-Quality Experience
- What Makes Apache Druid Great for Realtime Analytics?
- ์ ๊ฐ๋ฐ Druid์์ transform ์ ์์์ผ ํ ํ. | Charsyam's Blog
- PyData Triangle January 2022 Meetup - YouTube
- metatron.app Self-service Solution for Big Data Discovery. All-in-one analytics from easy data preparation to fast visualization
- Flink
- ์คํธ๋ฆผ ์ฒ๋ฆฌ๋ฅผ ๋ชฉ์ ์ผ๋ก ๊ฐ๋ฐ๋ ํ๋ก์ ํธ, ๋์์ ์ง์ฐ์ด ๋งค์ฐ ๋ฎ์
- ์ผ์์ ๋ง์ฐฌ๊ฐ์ง๋ก YARN์ ์ง์ํ์ง๋ง, ๋ฉ์์ค(Mesos), ์ฟ ๋ฒ๋คํฐ์ค(Kubernetes), ํน์ ๋ ๋ฆฝ ์คํ ํด๋ฌ์คํฐ(standalone cluster)๋ ์ง์
- ํ์ด์ฌ์ด๋ R์์ ์ฌ์ฉํ ์ ์๋ ๊ณ ์์ค API ์ญ์ ์ง์
- Apache Flink Training
- Juggling with Bits and Bytes
- ์ค์ฌ๋ชจ ํ ํฌํก - Apache Flink ๋๋ฌ๋ณด๊ธฐ
- Off-heap Memory in Apache Flink and the curious JIT compiler
- Stream Processing with Apache Flink
- High-throughput, low-latency, and exactly-once stream processing with Apache Flink
- Continuous Processing with Apache Flink - Strata London 2016
- Introduction to Flink Streaming
- Part 1 : WordCount
- Part 2 : Discretization of Stream using Window API
- Part 3 : Running Streaming Applications in Flink Local Mode
- Part 4 : Understanding Flink's Advanced Stream Processing using Google Cloud Dataflow
- Part 5 : Window API in Flink
- Part 6 : Anatomy of Window API
- Part 7 : Implementing Session Windows using Custom Trigger
- Part 8 : Understanding Time in Flink Streaming
- Part 9 : Event Time in Flink
- Part 10 : Meetup Talk
- Introduction to Flink Streaming
- Flink Examples
- A Deep Dive into Rescalable State in Apache Flink
- ์ฒดํฌ ํฌ์ธํธ ๊ธฐ๋ฅ์ ์ฌ์ฉํ์ฌ ์์ ์ ์กฐ์ (์ : ๋ณ๋ ฌ ์ฒ๋ฆฌ๋ฅผ ๋๋ฆฌ๊ฑฐ๋ ์ค์ด๊ธฐ)ํ๋ ๋ฐฉ๋ฒ์ ๋ํด ์ค๋ช
- Stream Processing with Apache Flink and DC/OS
- DC/OS๋ฅผ ์ฌ์ฉํ์ฌ Mesos์์ Apache Flink ์คํธ๋ฆฌ๋ฐ ์์ ์ ์คํํ๋ ๋ฐฉ๋ฒ์ ๋ํด ์๊ฐ
- StreamING Machine Learning Models: How ING Adds Fraud Detection Models at Runtime with Apache Flinkยฎ
- ING ์๋ช ์ด ๋ฆฌ์คํฌ ๋ถ์ ์์ง์ผ๋ก Apache Flink๋ฅผ ์ด๋ป๊ฒ ์ฌ์ฉํ๋์ง ์ค๋ช
- Apache Spark, Knime ๋ฐ Apache Zeppelin์ ์ผ๊ด ์ฒ๋ฆฌ ๋ชจ๋ธ๋ก ์ฌ์ฉํ์ง๋ง ์ค์๊ฐ ๊ตฌ์ฑ ์์๋ Flink๋ฅผ ์ฌ์ฉ
- PREDICTIVE MAINTENANCE WITH APACHE FLINK
- Keras๋ก ๋ง๋ time-series prediction model์ Flink์ ์ฐ๋ํ ์ด์ผ๊ธฐ
- python deep learning library(tensorflow, keras)๋ฅผ ์ด์ฉํด์ ๋ง๋ ๋ชจ๋ธ์ JVM์์ ์ด๋ป๊ฒ ์ฌ์ฉํ๋์ง
- Apache Spark์ ๋นํด์ Apache Flink๊ฐ ๊ฐ์ง๋ ์ฅ์ ์๋ ์ด๋ค ๊ฒ๋ค์ด ์๋์ง
- Complex Event Processing with Flink: An Update on the State of Flink CEP
- Flink๋ ์ด๋ฒคํธ ํจํด์ ๊ฐ์งํ๋ ๊ณ ๊ธ API๋ฅผ ์ ๊ณตํ์ฌ ๋ณต์กํ ์ด๋ฒคํธ ์ฒ๋ฆฌ๋ฅผ ์ง์
- API์ ๋ํ ๊ฐ์์ ์จ๋ผ์ธ ์๋งค ์ ์ฒด์ ์ ์ ์ถ์ ์ ๋ํ ์์
- An Overview of End-to-End Exactly-Once Processing in Apache Flinkยฎ (with Apache Kafka, too!)
- Apache Flink Basic Transformation Example ํ์ผ ๋ฐ์ดํฐ๋ฅผ ์ฝ์ด ๋๋ฌธ์๋ก ๋ณํํ ํ ๋ค๋ฅธ ํ์ผ์ ์ฐ๋ ์์
- Flink Forward San Francisco 2018 Videos and Slides
- STREAM ANALYTICS PLATFORM FOR A TELCO
- Flink at netflix paypal speaker series
- Netflix์ (์์ฒ ๋ ๊ท๋ชจ์) ์คํธ๋ฆผ ์ฒ๋ฆฌ ์์คํ ์ ํ๋ฃจ ์ฝ 4์กฐ๊ฐ ์ด์(36GB/sec)์ ์ด๋ฒคํธ๋ฅผ ์ฒ๋ฆฌ
- ์ด ์์คํ ์ Apache Flink์ Apache Kafka ๊ธฐ๋ฐ์ผ๋ก ํ๋ ์ ํ ์๋น์ค ์ธํ๋ผ๋ก ๊ตฌ์ถ
- Flink๋ฅผ ์ฌ์ฉํ๋ ์ด์ ์ ๊ตฌํ๊ณผ ์ด์์ ๋ํด ์ค๋ช
- State TTL for Apache Flink: How to Limit the Lifetime of State Flink 1.6.0 TTL ์ง์
- Flink Forward Berlin 2018: Dongwon Kim - "Real-time driving score service using Flink"
- Automatic Apache Flink deployments in Golang
- Automating Flink Deployments to Kubernetes
- Introduction to Apache Flink
- Flink or Flunk? Why Ele.me Is Developing a Taste for Apache Flink
- Alibaba์ Ele.me ํ์์ ๋ฐ์ดํฐ ์คํธ๋ฆผ ์ฒ๋ฆฌ ์์คํ ์ผ๋ก Apache Flink๋ฅผ ๋์ ํ ์ฌ๋ก
- Apache Storm, Apache Spark์ ๋น๊ตํ์ฌ Flink๋ฅผ ์ ํํ ๋ฐฐ๊ฒฝ ์ค๋ช
- Introduction of apache flink kosscon2018
- Introduction to Flink in 30 minutes - YouTube
- About Flink streaming
- A Brief History of Flink: Tracing the Big Data Engineโs Open-source Development
- Patterns of Streaming Applications
- Better to Give and to Receive: Alibabaโs Open-source Contributions to Flink
- Running Apache Flink on Kubernetes
- ๋ชจ๋ํฐ๋ง(prometheus) ์ฐ๊ฒฐ; flink /opt ์์ ์๋ prometheus jar ํ์ผ์ /lib ์ ์ฎ๊ธฐ๊ณ flink-confi.yaml ์ metrics ๋ถ๋ถ ์ค์ ํด์คํ์ job/task pod annotation ์ prometheus.io/port ์ prometheus.io/scrape ๋ง ์ค์ ํ๋ฉด prometheus sd๊ฐ ์ ์์ง
- Berlin 2019
- europe-2019.flink-forward.org/conference-program
- Flink Forward Global 2021
- Apache Flinkยฎ SQL Training
- Do Flink on Web with FLOW
- 0x90e.github.io/tags/Flink ์ฌ์ฉ์ ์ฝ๋๊ฐ ์ด๋ป๊ฒ Graph๋ก ๋ง๋ค์ด์ง๊ณ JobManager๋ก submit ๋๋์ง ์ฝ๋ ๋จ์๋ก ์ค๋ช ํ ํฌ์คํธ๋ผ๊ณ ํ๋๋ฐ ์ค๊ตญ์ด
- T map์ Flink ์ด์ํ๊ธฐ
- Flink Source ๋ถํฐ Sink ๊น์ง
- Deep dive into flink interval join
- Hereโs What Makes Apache Flink scale A glance at the Memory management and Network flow control
- GC๋ฅผ ์ค์ด๊ธฐ ์ํด ๋ก๋ฉ์ Heap์ ํฌ๊ฒ ์ก์๋๊ณ ๊ด๋ฆฌ (memory manager)
- Operator์์ ๋ฉ๋ชจ๋ฆฌ๊ฐ ํ์ํ ๋ memory manager์ ๋ฉ๋ชจ๋ฆฌ(segment) ์์ฒญํด์ ๊บผ๋ด์ฐ๊ณ ๋ฐํ
- ๋ํ network, disk I/O ์๋ ํฅ์์ ์ํด off-heap์ผ๋ก ๋ณํํ ์ ์๋ ๊ธฐ๋ฅ ์ ๊ณต (stateful)
- ์ปค๋ค๋ segment๋ฅผ Disk์ ์ ์ฅํ๋ค๊ฐ ๋ค์ ์ฝ๊ธฐ ๊ฐ๋ฅ. OOM ๋ฐฉ์ง
- ๋ฐ์ดํฐ ์ด๋ ์ต์ํ Operator chain ์ด์ฉ
- ์์ฒด serialize/deserialize ๊ตฌํ. object, ๊ด๋ จํค(?), ํด์ ๊ฐ์ ์ธ์ ํ๊ฒ ์ ์ฅ ๊ฐ๋ฅ. Data prefetch ๊ฐ๋ฅ
- ๊ฐ์ ์์๋ฅผ ๋ณด์ฅํ๊ธฐ ๋๋ฌธ์ ์ ๋ ฌ์ ser/dser ํ์ ์์. Values๋ก ๋์ด์๋ ์ฝ๋๋ก ์ถ์
- SubTask ์ค ํ๊ณณ์ ์ผ์ด ๋ชฐ๋ ค backpressure๋ก ์ธํด ์์ ์ด block๋๋๊ฒ์ credit-based flow control๋ก ๋ฐฉ์ง
- GC๋ฅผ ์ค์ด๊ธฐ ์ํด ๋ก๋ฉ์ Heap์ ํฌ๊ฒ ์ก์๋๊ณ ๊ด๋ฆฌ (memory manager)
- OptimizedText.java
- Improving throughput and latency with Flink's network stack - Nico Kruber flink flow mechanism
- Apache Flink Virtual Meetup Seoul July 23, 2020 - YouTube
- Enriching your Data Stream Asynchronously with Apache Flink - YouTube
- Keynote | Flink Ahead 2.0: The Sequel - Konstantin Knauf - YouTube
- Flink SQL in 2020: Time to show off! - Fabian Hueske & Timo Walther - YouTube
- Unified APIs for Batch and Stream Processing on Flink - YouTube
- 2021 Apache Flink Meetup - Hosted by Netflix - YouTube
- Flink setup for development (and some IntelliJ Idea cool tricks)
- Flink Concept - Operator ๊ฐ ๋ฐ์ดํฐ ๊ตํ | leeyh0216's devlog
- Flink Concept - Checkpointing(1) | leeyh0216's devlog
- Flink Concept - pipeline.object_reuse | leeyh0216's devlog
- Flink Concept - Flink์ Kafka Consumer ๋์ ๋ฐฉ์(1) | leeyh0216's devlog
- ๊ธ๋ก๋ฒ ๊ธฐ์ ์ด ๋ ์ฃผ๋ชฉํ๋ ์คํธ๋ฆผ ํ๋ก์ธ์ฑ ํ๋ ์์ํฌ - ํ๋งํฌ(Flink) ์ดํดํ๊ธฐ : ๋ค์ด๋ฒ ํฌ์คํธ
- 5 years of Flink at Mux | Mux blog
- Docker๋ฅผ ์ฌ์ฉํ Apache Flink์ Flink Job ์ฌ๋ฆฌ๊ธฐ(1) - Docker Setting | woolog - ๊ฐ๋ฐ์ ์ธ์ด
- Docker๋ฅผ ์ฌ์ฉํ Apache Flink์ Flink Job ์ฌ๋ฆฌ๊ธฐ(2) - Flink Job Example | woolog - ๊ฐ๋ฐ์ ์ธ์ด
- flink-ai-extended
- flink_feature_radar.svg at feature_radar ยท StephanEwen/flink-web flink์์ ์ ๊ฑฐ/์ถ๊ฐ๋ ๊ธฐ๋ฅ๋ค
- Flink Job Listener: Run a task After Flink Job is Completed | CodersTea
- flink-sql-gateway
- HRFS On-demand low-latency feature generation at Hyperconnect - YouTube
- Scaling a flume agent to handle 120K events/sec
- Apache Flume์ฉ ์๋ก์ด channel selector์ธ "Round-Robin Channel Selector" ์ค๋ช
- ์ด ์ ํ๊ธฐ๋ฅผ ์ฌ์ฉํ๋ฉด ๊ธฐ๋ณธ ๋ฐฐ์น ์ฒ๋ฆฌ๋์ ์ฝ 10๋ฐฐ๊น์ง ํ์ฅ
- The Apache Software Foundation Announces Apacheยฎ HAWQยฎ as a Top-Level Project
- Apache HAWQ 2.4.0.0 Release
- Hivemall
- hivemall.incubator.apache.org/userguide/index.html
- Scalable machine learning library for Hive/Hadoop
- Apache Hivemall: Machine Learning Library for Apache Hive/Spark/Pig
- Hello from Apache Hudi | Apache Hudi
- Apache Hudi vs Delta Lake vs Apache Iceberg - Lakehouse Feature Comparison
- Iceberg - a table format for large, slow-moving tabular data
- ๋ทํ๋ฆญ์ค, ๋์ฉ๋ ์๋ฃ ์ ์ฅ๊ณต๊ฐ์ ๋น ๋ฅธ DB ํ ์ด๋ธ์ฒ๋ผ ์ฌ์ฉํ๋ ๊ธฐ์
- Iceberg: a fast table format for S3
- Iceberg: a fast table format for S3
- ํด๋ผ์ฐ๋์ ๋ฐ์ดํฐ ์ง๋ฐฐ์ '์ํ์น ์์ด์ค๋ฒ๊ทธ' - ITWorld Korea
- Ignite - Spark Shared RDDs
- Accelerate Apache Spark SQL Queries
- Performance Tuning of an Apache Kafka/Spark Streaming System
- Impala
- Apache Impala (Incubating)
- Contributing to Impala
- The Impala Cookbook
- Whatโs Next for Impala: More Reliability, Usability, and Performance at Even Greater Scale
- How-to: Prepare Unstructured Data in Impala for Analysis
- New SQL Benchmarks: Apache Impala (incubating) Uniquely Delivers Analytic Database Performance
- Announcing hs2client, A Fast New C++ / Python Thrift Client for Impala and Hive
- Build a Prediction Engine Using Spark, Kudu, and Impala
- Visualize your massive data with Impala and Redash
- Latest Impala Cookbook
- Ibis on Impala: Python at Scale for Data Science
- SQL-on-Hadoop: Impala vs Drill
- Apache Impala์ Apach Drill์ ์ฃผ์ ๊ตฌ์ฑ ์์์ ์ฟผ๋ฆฌ ์ฒ๋ฆฌ ๋ฉ์ปค๋์ฆ์ ๋ํด ์๊ฐ
- Apache Impala Leads Traditional Analytic Database
- Live, Spark, Presto์ TPC-DS ๋ฐด์น๋งํฌ ๋น๊ต
- How to read Impala query plan and profile? Part 1 and 2
- Faster Performance for Selective Queries
- Performance Optimizations in Apache Impala
- ์ฟผ๋ฆฌ ์ต์ ํ, ์ ๋ ฌ ์ค์บ(ordering scan & Top-N), ์กฐ์ธ ํจํด ๋ฐ ์ด์์ ์ธ ์กฐ์ธ ์ ํ ๋ฐ ์กฐ์ธ ์์ ๊ฒฐ์ , ํด์ ์กฐ์ธ, ์ง๊ณ์ ์ํ LLVM codegen, ๋ฐํ์ ๋ธ๋ฃธํํฐ
- Benchmarking Impala on Kudu vs Parquet
- Hotspotting In HadoopโโโImpala Case Study
- Apache Impala: My Insights and Best Practices
- How to read Impala query plan and profile Part 1 by Juan Yu
- 5 Main Missing Features in Impala (Opinion)
- Assessment of Apache Impala Performance using Cloudera Manager Metrics โ Part 1 of 3
- Cloudera Manger์ ์ฐจํธ์ ๋ฉํธ๋ฆญ ๊ธฐ๋ฅ์ ์ฌ์ฉํ์ฌ Impala ์ฑ๋ฅ ์ด์๋ฅผ ํด๊ฒฐํ๋ ๋ฐฉ๋ฒ
- Impala At Scale - ์์๋ฐฐ ์ด์ฌ (Cloudera)
- practice - extract hour from unixtimestamp
- SQL On Hadoop ๋ถ์ ๋๊ตฌ์ธ Hive์ Impala๋ ์ด๋ค ์ฐจ์ด๊ฐ ์์๊น? - YouTube
- Kafka
- kafka-tutorials.confluent.io
- Confluent Developer: Your Apache Kafkaยฎ Journey begins here
- Docker Quick Start
- practice - Kafka on Python
- Kafka For Beginners
- ์ฃผ๋์ด ๊ฐ๋ฐ์์ storm kafka ์์ํ๊ธฐ
- Understanding Kafka with Factorio | by Ruurtjan Pul | Medium
- Kafka ์์ํ๊ธฐ | FUREWEB
- Learn Kafka - Apache Kafka Tutorials and Resources | Confluent Developer
- Apache Kafka and Confluent Platform examples and demos
- Sizing Calculator for Apache Kafka and Confluent Platform
- ์ฟ ๋ฒ๋คํฐ์ค ํ๊ฒฝ์์ Confluent Platform์ ์ฌ์ฉํด ํ ๋จ๊ณ ์ง๋ณดํ ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ ๊ตฌ์ถํ๊ธฐ
- Apache Kafka Best Practices
- kafka-console-consumer.sh
- Kafka - kafka-console-consumer
- Vertically scaling Kafka consumers
- A look at the inner workings of the Kafka consumers, with some real world recommendations for deploying them when there's high latency in talking to the Kafka cluster and/or a large number of partitions. There are tips on important metrics to monitor, configurations, garbage collector settings, and changing the partition.class to improve unbalanced consumers.
- KAFKA TUTORIAL: USING KAFKA FROM THE COMMAND LINE
- Kafka Tutorial - Quick Start Demo
- ClickHouse Kafka Engine Tutorial
- Introduction to Apache Kafka by James Ward
- Kafka frequent commands
- Kafka in a Nutshell
- ๋น ๋ฐ์ดํฐ์ ๊ธฐ๋ณธ ์ํ์น ์นดํ์นด! ๊ฐ์ ๋ฐ ์ค๋ช | What is apache kafka?
- How To Install Apache Kafka on Ubuntu 14.04
- Apache Kafka. MacOS installation guide
- Install Kafka in RHEL 7
- Using Apache Kafka Docker
- Kafka Docker - Run multiple Kafka brokers in Docker
- kafka-stack-docker-compose
- A Simple Apache Kafka Cluster With Docker, Kafdrop, and Python | by Leo Brack | Better Programming | Oct, 2020 | Medium
- HANDS-FREE KAFKA REPLICATION: A LESSON IN OPERATIONAL SIMPLICITY
- Distributed Consensus Reloaded: Apache ZooKeeper and Replication in Apache Kafka
- Changing Replication Factor of a Topic in Apache Kafka
- Bottled Water: Real-time integration of PostgreSQL and Kafka
- Apache Kafka, Samza, and the Unix Philosophy of Distributed Data
- Apache Kafka: Case of Large Messages, Many Partitions, Few Consumers
- The Power of Kafka Partitions : How to Get the Most out of Your Kafka Cluster
- From Kafka to ZeroMQ for real-time log aggregation
- SQL on Kafka
- Kafka at HubSpot: Critical Consumer Metrics
- Bottled Water: Real-time integration of PostgreSQL and Kafka
- ๋น ๋ฐ์ดํฐ ์คํ์ '์ํ์น ์นดํ์นด', ์ ์ฃผ๋ชฉ๋ฐ๋
- Why I am not a fan of Apache Kafka
- Whatโs New in Clouderaโs Distribution of Apache Kafka?
- Apache Kafka ์ฑ๋ฅ ํ ์คํธ
- Using Golang and JSON for Kafka Consumption With High Throughput
- Golang์์ ์นดํ์นด ์ปจ์๋จธ ๊ทธ๋ฃน๊ณผ ์ฌ์๋๋ก ๊ฒฐ๊ณผ์ ์ผ๊ด์ฑ ๊ตฌํํ๊ธฐ | Popit
- ๋์ฉ๋ ์คํธ๋ฆฌ๋ฐ ๋ฐ์ดํฐ ์ค์๊ฐ ๋ถ์
- Monitoring Kafka performance metrics
- How to Monitor Kafka
- MONITORING APACHE KAFKA WITH GRAFANA / INFLUXDB VIA JMX
- ์นดํ์นด ์ปค๋ฅํธ JMX + ๋ก๊ทธ์คํ์๋ก ๋ชจ๋ํฐ๋ง ํ๊ธฐ
- Monitoring Kafka Consumer Offsets
- Kafka consumer offset์ ๊ฐ๋จํ๊ฒ ๋ชจ๋ํฐ๋งํ๋ ๋ฐฉ๋ฒ
- Kafka consumer offset์ HTTP๋ฅผ ํตํด ๋ด๋ณด๋ด๊ณ Prometheus๋ฅผ ์ฌ์ฉํ์ฌ Grafana๋ก ์๊ฐํ
- MONITORING KAFKA CONSUMER LAG IN SECONDS
- Apache Kafka Monitoring โ Methods & Tools
- Just Enough Kafka for the Elastic Stack, Part 1
- Elastic Stack์๋ Kafka๋ฉด ์ถฉ๋ถํฉ๋๋ค - 2๋ถ
- Kafka New Producer API๋ฅผ ํ์ฉํ ์ ์ค ์๋ ๋น๋๊ธฐ ๋ฐ์ดํฐ ์ ์ก
- Kafka 0.9 Consumer ํด๋ผ์ด์ธํธ ์๊ฐ
- Presto SQL์ ์ด์ฉํ์ฌ Kafka topic ๋ฐ์ดํฐ ์กฐํํ๊ธฐ
- New in Cloudera Enterprise 5.8: Flafka Improvements for Real-Time Data Ingest
- Understanding of Apache Kafka โ Part.1
- From Big Data to Fast Data in Four Weeks or How Reactive Programming is Changing the World โ Part 1
- Apache Kafka, Data Pipelines, and Functional Reactive Programming with Node.js
- Building/Runnยญiยญng Netflix's Data Pipeline using Apache Kafka
- ์ฝ๋ ํ์ค ์์ด ์๋น์ค Dashboard ๋ง๋ค๊ธฐ(1)
- ์ฝ๋ ํ์ค ์์ด ์๋น์ค Dashboard ๋ง๋ค๊ธฐ(2)
- Kafka ์ด์์๊ฐ ๋งํ๋
- Kafka Summit Americas 2021 Recap | Confluent
- Kafka Summit New York
- Kafka Summit New York 2019 Session Videos
- Kafka Summit San Francisco
- Kafka Needs no Keeper
- Kafka 2.4 ๋ค์ด๊ฐ๋ฉด์ zookeeper ๊ฐ ์ฌ๋ผ์ง๊ณ kafka controller broker ๊ฐ ๊ทธ ์ญํ ์ ๋์ ํ๋๋ฐ, ์ด๋ป๊ฒ ์์ด๊ณ ์ด๋ค ๋ณํ๊ฐ ์๋์ง์ ๋ํ ์ธ์
- Elasticsearch ์ด์ ๊ฒฝํ์ด ์์ผ์ ๋ถ๋ค์ kafka controller ๊ฐ es master-eligible node ์ ๋น์ทํ ๋๋
- Please Upgrade Apache Kafka. Now
- Kafka: The Definitive Guide ์ ์ ์์ด๊ธฐ๋ ํ Gwen์ด ์ค๋๋ Kafka ๋ฒ์ ผ๋ค์ ์กด์ฌํ๋ ๊ฐ์ข ๋ฒ๊ทธ๋ค๊ณผ ์ทจ์ฝ์ ๋ค์ ์ฌ๋ฌ๊ฐ์ง ์๊ฐํ๋ฉด์ ์ ๊ทธ๋ ์ด๋ ํด์ผ ํ ์ด์ ๋ฅผ ์ค๋ช ํ๋ ์ธ์
- Kafka Needs no Keeper
- Martin Kleppmann | Kafka Summit London 2019 Keynote | Is Kafka a Database?
- The First Annual State of Apache Kafka Client Use Survey Kafka์ ํจ๊ป ์ด๋ค ์ธ์ด๋ฅผ ๋ง์ด ์ฌ์ฉํ๋์ง์ ์ด์
- Benchmarking Kafka Performance Part 1: Write Throughpu
- Securing the Confluent Schema Registry for Apache Kafaka
- Confluent Schema Registry๋ฅผ ๋ณดํธํ๊ณ ZooKeeper ๋ฐ Kafka ํด๋ฌ์คํฐ ๋ณด์ ์ฐ๊ฒฐํ๋๋ก ๊ตฌ์ฑํ๋ ๋ฐฉ๋ฒ ์๊ฐ
- Introduction to Apache Kafka Security
- Apache Kafka Security | Need and Components of Kafka
- Zookeeper์ ์กฐํฉ์ผ๋ก ๊ถํ์ ์ด, ์ธ์ฆ์ ์ด, ์ํธํํ๋ ๋ฐฉ๋ฒ
- Kafka Needs No Keeper - Removing ZooKeeper Dependency
- Kafka Without ZooKeeper: A Sneak Peek At the Simplest Kafka Yet
- Kafka Needs no Keeper - Confluent
- Kafka ๋ณด์ (1) - JAAS ๋ฐ SASL
- Kafka ๋ณด์ (2) - SASL/PLAIN
- Apache Kafka์ง๋ ์๊ฐ
- Exactly-once Support in Apache Kafka
- Exactly-once Semantics are Possible: Hereโs How Kafka Does it
- kafka exactly-once delivery๋ฅผ ์ง์ํ๊ธฐ ์ํ transaction
- Enabling Exactly-Once in Kafka Streams
- ์นดํ์นด ์คํธ๋ฆผ์ฆ Exactly-once ์ค์ ํ๋ ๋ฐฉ๋ฒ๊ณผ ๋ด๋ถ ๋์
- Kafka Streams ์ค์๊ฐ ์คํธ๋ฆฌ๋ฐ ๋ฐ์ดํฐ ์ฒ๋ฆฌ: Exactly-Once
- Upgrading Apache Kafka Clients Just Got Easier
- ์ต์ ๋ฒ์ ์ Kafka ํด๋ผ์ด์ธํธ์ ์๋ฐฉํฅ/์ญ๋ฐฉํฅ ํธํ์ฑ ์ถ๊ฐ
- ์ด ๊ธฐ๋ฅ์ ์ฌ์ฉํ๋ ๋ฐฉ๋ฒ ๋ฐ ๋ธ๋ก์ปค์ ๋ค๋ฅธ ๋ฒ์ ์ ํด๋ผ์ด์ธํธ๋ฅผ ์ฌ์ฉํ ๊ฒฝ์ฐ์ ๋ํด ์ค๋ช
- How to Build and Deploy Scalable Machine Learning in Production with Apache Kafka
- ๋ฏธ์ ํฌ๋ฆฌํฐ์ปฌํ ์ค์๊ฐ ์ ํ๋ฆฌ์ผ์ด์ ์์ ์ค์์ง์ค์ ์ด๊ณ ํ์ฅ๊ฐ๋ฅํ ์ํคํ ์ฒ๋ฅผ ์ด๋ป๊ฒ ๋ง๋ค์ง์ ๋ํ ์ ์ค์ผ์ด์ค์ ๋ํด ๋ ผ์
- Benchmarking Message Queue Latency
- How Apache Kafka Inspired Our Platform Events Architecture
- How to know if Apache Kafka is right for you
- URP? Excuse You! The Three Kafka Metrics You Need to Know under replicated partition, request handler, requst time์ ๋ํด ๋ชจ๋ํฐ๋งํ ์ ์๋ Kafka ๋ฉํธ๋ฆญ ์ค๋ช
- Top 5 Things Every Apache Kafka Developer Should Know
- ์ผ์ ํ์ ์ด์ผ๊ธฐ: ์ฐธ์กฐ ์ํคํ ์ฒ ์จ๋จน๊ธฐ ํธ
- Scalability of Kafka Messaging using Consumer Groups
- Announcing AMQ Streams: Apache Kafka on OpenShift
- Robust Message Serialization in Apache Kafka Using Apache Avro, Part 1
- ์ํ์น ์นดํ์นด(Apache Kafka)์์๋ producer๋ผ๊ณ ํ๋ Java ์ ํ๋ฆฌ์ผ์ด์
์ผ๋ก ๊ตฌ์กฐํ๋ ๋ฉ์์ง๋ฅผ ์จ์ ์นดํ์นด ํด๋ฌ์คํฐ(๋ธ๋ก์ปค๋ก ๊ตฌ์ฑ๋จ)๋ก ์ ์ก. ์ด๋ค ๋ฉ์์ง๋ฅผ ์ฝ๋ ์์
๋ ๋ง์ฐฌ๊ฐ์ง๋ก ๊ฐ์ ํด๋ฌ์คํฐ์์ consumer๋ผ๋ Java ์ ํ๋ฆฌ์ผ์ด์
์ด ๋ด๋น. ์กฐ์ง์ ๋ฐ๋ผ์ ๊ฐ๊ธฐ ๋ค๋ฅธ ๊ทธ๋ฃน์ด๋ ๋ถ์์์ producer์ consumer๋ฅผ ์ฐ๊ณ ๊ด๋ฆฌํ๋ ์ฑ
์์ ์ ๋ด
- ์ด๋ฐ ๊ฒฝ์ฐ ํ ๊ฐ์ง ์ค๋ํ ์ด์๊ฐ ๋ฐ์. ์ฆ producer์ consumer ์ฌ์ด์์ ์๋ก ํฉ์๋ ๋ฉ์์ง ํ์์ ์กฐ์จ ํ์
- ์์๋ ์ํ์น ์๋ธ๋ก(Apache Avro)๋ฅผ ์ฌ์ฉํ์ฌ ์ํ์น ์นดํ์นด๋ฅผ ๋์์ผ๋ก ์์ฑ๋ ๋ ์ฝ๋๋ฅผ ์ง๋ ฌํํ๋ฉด์ ์คํค๋ง๋ฅผ ๊ฐ๋ฐ, producer์ consumer ์ ํ๋ฆฌ์ผ์ด์ ์ ๋น๋๊ธฐ์์ผ๋ก ์ ๋ฐ์ดํธํ๋ ๋ฐฉ๋ฒ
- ์ง๋ ฌํ์ ์ญ์ง๋ ฌํ
- ํ ๊ฐ์ ์นดํ์นด ๋ ์ฝ๋(๊ธฐ์กด์๋ โ๋ฉ์์งโ๋ผ๊ณ ๋ถ๋ฆผ)๋ ํ๊ฐ์ ํค, ํ๊ฐ์ ๊ฐ, ํค๋๋ก ๊ตฌ์ฑ. ์นดํ์นด๋ ๋ ์ฝ๋์ ํค์ ๊ฐ ๋ฉด์์ ๋ฐ์ดํฐ์ ๊ตฌ์กฐ ์ธ์ ๋ถ๊ฐ๋ฅ. ๋์ ๋ฐ์ดํธ ์ด๋ ์ด ํํ๋ก ์ทจ๊ธ
- ํ์ง๋ง ์นดํ์นด๋ก๋ถํฐ ๋ ์ฝ๋๋ฅผ ์ฝ๋ ์์คํ ์ ์ ์ฅ์์๋ ์ด๋ฌํ ๋ ์ฝ๋์ ํฌํจ๋ ๋ฐ์ดํฐ๊ฐ ์ค์. ๋ฐ๋ผ์ ๋ฐ์ดํฐ๋ฅผ ์ฝ์ ์ ์๋ ํ์์ผ๋ก ๋์ถํ ํ์
- ์ฌ์ฉํด์ผ ํ๋ ๋ฐ์ดํฐ ํ์์ ํน์ฑ
- ์ปดํฉํธ
- ๋น ๋ฅธ ์ธ์ฝ๋ฉ๊ณผ ๋์ฝ๋ฉ ๊ฐ๋ฅ
- ๋ณํ(evolution) ํ์ฉ
- ์ ์คํธ๋ฆผ ์์คํ (์นดํ์นด ํด๋ฌ์คํฐ์ ๋ฐ์ดํฐ๋ฅผ ์ฐ๋ ์์คํ )๊ณผ ๋ค์ด์คํธ๋ฆผ ์์คํ (๊ฐ์ ์นดํ์นด ํด๋ฌ์คํฐ์์ ๋ฐ์ดํฐ๋ฅผ ์ฝ์ด์ค๋ ์์คํ )์ด ๊ฐ๊ธฐ ๋ค๋ฅธ ์์ ์ ์ ์คํค๋ง๋ก ์ ๊ทธ๋ ์ด๋ ํ์ฉ
- ์๋ฅผ ๋ค์ด JSON์ ๊ฒฝ์ฐ ์ค๋ช ์ด ๋ฐ๋ก ํ์ ์์ง๋ง ์ปดํฉํธ ๋ฐ์ดํฐ ํ์์ด ์๋๊ณ ๊ตฌ๋ฌธ ๋ถ์ ์ ์
- ์๋ธ๋ก๋ ๋น๊ต์ ์ปดํฉํธํ ์ถ๋ ฅ ๋ฐ์ดํฐ๋ฅผ ์์ฑํ๋ ๊ณ ์ ์ง๋ ฌํ ํ๋ ์์ํฌ. ํ์ง๋ง ์๋ธ๋ก ๋ ์ฝ๋๋ฅผ ์ฝ์ผ๋ ค๋ฉด ๋ฐ์ดํฐ๋ฅผ ์ง๋ ฌํํ๋ ๋ฐ ์ฌ์ฉํ ์คํค๋ง ํ์
- ํ ๊ฐ์ง ์ต์ ์ ์คํค๋ง๋ฅผ ๋ ์ฝ๋ ์์ฒด์ ํจ๊ป ์ ์ฅํ๊ณ ์ ์ก. ์ด ๋ฐฉ๋ฒ์ ์คํค๋ง๋ฅผ ํ ๋ฒ๋ง ์ ์ฅํ๋ค๊ฐ ๋ค์์ ๋ ์ฝ๋์ ์ฌ์ฉํ๋ ๊ฒฝ์ฐ ๊ฐ๋ฅ. ์นดํ์นด ๋ ์ฝ๋๋ง๋ค ๋ชจ๋ ์คํค๋ง๋ฅผ ํ๋์ฉ ์ ์ฅํ๋ ค๋ฉด ์คํ ๋ฆฌ์ง ๊ณต๊ฐ๊ณผ ๋คํธ์ํฌ ํ์ฉ๋ ๋ฉด์์ ์ค๋ํ ์ค๋ฒํค๋ ์ถ๊ฐ
- ๋ ํ ๊ฐ์ง ์ต์ ์ ๋ฏธ๋ฆฌ ํฉ์ํ ์๋ณ์ ์คํค๋ง ๋งคํ ์ธํธ๋ฅผ ์ ํ์ฌ ์คํค๋ง๋ฅผ ๋ ์ฝ๋ ๋ด์ ์กด์ฌํ๋ ๊ฐ๊ฐ์ ์๋ณ์๋ก ์ฐธ์กฐ
- ์ํ์น ์นดํ์นด(Apache Kafka)์์๋ producer๋ผ๊ณ ํ๋ Java ์ ํ๋ฆฌ์ผ์ด์
์ผ๋ก ๊ตฌ์กฐํ๋ ๋ฉ์์ง๋ฅผ ์จ์ ์นดํ์นด ํด๋ฌ์คํฐ(๋ธ๋ก์ปค๋ก ๊ตฌ์ฑ๋จ)๋ก ์ ์ก. ์ด๋ค ๋ฉ์์ง๋ฅผ ์ฝ๋ ์์
๋ ๋ง์ฐฌ๊ฐ์ง๋ก ๊ฐ์ ํด๋ฌ์คํฐ์์ consumer๋ผ๋ Java ์ ํ๋ฆฌ์ผ์ด์
์ด ๋ด๋น. ์กฐ์ง์ ๋ฐ๋ผ์ ๊ฐ๊ธฐ ๋ค๋ฅธ ๊ทธ๋ฃน์ด๋ ๋ถ์์์ producer์ consumer๋ฅผ ์ฐ๊ณ ๊ด๋ฆฌํ๋ ์ฑ
์์ ์ ๋ด
- Robust Message Serialization in Apache Kafka Using Apache Avro, Part 2
- ์คํค๋ง ์ ์ฅ์ ๊ตฌํ; ์ ์ฅ์๋ก์ Apache Kafka์ ํจ๊ป ์๋ํ๋ ์คํค๋ง ๊ณต๊ธ์ ๊ตฌํ
- ์ธ ๋ฉ๋ชจ๋ฆฌ SchemaStore
- ๋จผ์ ์คํค๋ง๋ฅผ ์ํ ์ธ ๋ฉ๋ชจ๋ฆฌ ์ ์ฅ์ ๊ตฌํ ๊ฐ๋ฅ. ์ด๋ ์ด๋ฌํ ์ ์ฅ์ ๋ฐ Kafa์ง์ ์ ์ฅ์ ์บ์ ์๊ฑด์ ์ดํดํ๋ ๋ฐ ์ ์ฉ. SchemaStore๋ VersionedSchema ํญ๋ชฉ ๊ฒ์์ด ์ ์ํด์ผ ํ๊ธฐ ๋๋ฌธ์, ๊ฐ ๊ฒ์ ๋ฐฉ๋ฒ์ ์ง์ํ๊ธฐ ์ํด ๋ณ๋์ ๋งต์ ์์ฑ. ConcurrentHashMap์ ์ฌ์ฉํ๋ฉด ์ ๊น ์์ด ๋ณต์์ ์ค๋ ๋๋ก๋ถํฐ ์ด๋ค ๋งต์ ์ ๊ทผ ๊ฐ๋ฅ
- Kafka Topic์์/์ผ๋ก ์ฐ๊ธฐ ๋ฐ ์ฝ๊ธฐ
- Kafka ๊ธฐ๋ฐ SchemaProvider์ ๋๋จธ์ง ๋ฐ์ Kafka์ ๋ชจ๋ ์ปค๋ฎค๋์ผ์ด์ ์ ์ํํ ์ ์๋ ํด๋์ค. ์ด๊ฒ์ ์คํค๋ง ์ปจ์ ์ ๋ฌถ์ผ ํ์๊ฐ ์์ด ์ ๋ค๋ฆญ ์ฝ๋๋ก๋ ๊ฐ๋ฅ. ์์ ์ ๋ชจ๋ ์คํค๋ง๋ฅผ ์ฝ๊ณ ์๋ก์ด ์คํค๋ง๋ฅผ ์ํด ๊ณ์ ํด๋งํ๋๋ก ํ๊ธฐ ์ํด ๋ค์๊ณผ ๊ฐ์ด ์๋น์๋ฅผ ์ค์
- enable.auto.commit =false, ์์์ ๋ชจ๋ ์คํค๋ง๋ฅผ ๋ค์ ์ฝ๊ธฐ ๋๋ฌธ
- ์ฐ์ฐํ group.id๊ฐ ๊ฐ์ ๋ค๋ฅธ ์๋น์์ ๋ฉ์์ง๋ฅผ ๊ณต์ ํ์ง ์๋๋ก ๋ชจ๋ ํํฐ์ ์ ํด๋น ์๋น์์ ์๋์ผ๋ก ํ ๋น
- ์ฝ๊ธฐ ์ ๊ฐ์ฅ ์ค๋๋ ๋ฉ์์ง ๊ฒ์
- ์ต์ ๊ธฐ๋ก์ ์ฝ์ด ๋ค์ผ ๋๊น์ง ํด๋งํ ํ ์คํค๋ง ๊ณต๊ธ์ ์ฌ์ฉ์ ํ์ฉ
- ์๋ก์ด ์คํค๋ง๋ฅผ ๋ฐ๊ธฐ ์ํด ๋ฐฑ๊ทธ๋ผ์ด๋ ์ค๋ ๋์์ ํด๋ง ์ง์
- ํ ๊ฐ์ง ์ค์ํ ๋ฌธ์ ๋ ์คํค๋ง ์๋ณ์ ์์ฑ
- Kafka์๋ RDBMS์ ๊ฐ์ ์ํ์ค ๊ฐ์ฒด๊ฐ ์๊ธฐ ๋๋ฌธ์, ์ถ๊ฐํ๋ ์คํค๋ง๋ง๋ค ๊ณ ์ ํ ์ ์ ํ์. ์ด์ ๋ํ ํ ๊ฐ์ง ๊ฐ๋จํ ํด๊ฒฐ ๋ฐฉ๋ฒ์ ๋ค์์ผ๋ก ์ฌ์ฉ ๊ฐ๋ฅํ ์(+)์ ์ ์๋ฅผ ๊ฒ์. ์ด ๊ฒฝ์ฐ, ๋ ๋ช ์ ๊ด๋ฆฌ์๊ฐ ๋์ผํ ์๋ณ์๋ก ๊ฑฐ์ ๋์์ ์คํค๋ง๋ฅผ ์ถ๊ฐํ์ง ๋ชปํ๋๋ก ๋ง๊ธฐ๋ ๋ถ๊ฐ๋ฅ. ์ด๋ฅผ ๋ง๊ธฐ ์ํด์ ๋ค์๊ณผ ๊ฐ์ด ์งํ
- ๋จ์ผ ํํฐ์ ์ด ์๋ Kafka Topic์ ์ํ์ค๋ก ์ฌ์ฉ. ๋จ์ผ ๋ฉ์์ง๋ฅผ ์์ฑํ๊ณ ๊ทธ ์คํ์ ์ ์ฌ์ฉ
- ZooKeeper ์์ ๋ ธ๋๋ฅผ ์ฌ์ฉํ์ฌ โ์ ๊ธ๋๋ค.โ
- ์คํค๋ง๋ฅผ ์ถ๊ฐํ๋ ์๋น์ค ๋์ . ์ด ์ ํ๋ฆฌ์ผ์ด์ ์ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ์ ๊ทธ๋ ๊ฒ ๊ฐ๋ฅ
- ์์๋ง ์ ๊ทผํ ์ ์๋ ์ฃผ์ฒด์ ์คํค๋ง๋ฅผ ์ ์ฅํ ํ ํฝ์ผ๋ก ์ฐ๊ธฐ๋ฅผ ํ์ฉํ๋ฉฐ ์ฑ ์์ ์์
- Understanding the โenable.auto.commitโ Kafka Consumer property
- Robust Message Serialization in Apache Kafka Using Apache Avro, Part 3
- Interview with Jay Kreps about Apache Kafka
- RDBMS to Kafka: Stories from the Message Bus Stop
- ์นดํ์นด, ์ฐ์ ์์ ๋ ธํ์ฐ
- Kafka timestamp offset
- Resetting first dirty offset to log start offset since the checkpointed offset is invalid
- Kafka 0.10 Compression Benchmark
- How to use Apache Kafka to transform a batch pipeline into a real-time one
- Kafka Korea meetup
- Moving From Legacy To Event-Driven With Kafka
- CDC & CDC Sink Platform ๊ฐ๋ฐ 1ํธ - CDC Platform ๊ฐ๋ฐ | Hyperconnect Tech Blog Event Bus, Event Driven
- CDC & CDC Sink Platform ๊ฐ๋ฐ 2ํธ - CDC Sink Platform ๊ฐ๋ฐ ๋ฐ CQRS ํจํด์ ์ ์ฉ | Hyperconnect Tech Blog
- CDC & CDC Sink Platform ๊ฐ๋ฐ 3ํธ - CDC Event Application Consuming ๋ฐ Event Stream Join์ ๊ตฌํ | Hyperconnect Tech Blog
- CDC ๋๋ ํ ์ ์์ด(feat. B2B ์๋ฆผ ์๋น์ค์ Kafka CDC ์ ์ฉํ๊ธฐ) | ์ฐ์ํํ์ ๋ค ๊ธฐ์ ๋ธ๋ก๊ทธ
- ์นดํ์นด ์ปจ์๋จธ ์ ํ๋ฆฌ์ผ์ด์ ๋ฐฐํฌ ์ ๋ต
- cloudurable.com/categories/kafka
- Kafka Tutorial 13: Creating Advanced Kafka Producers in Java
- ์์ถ๋ฐฉ์์ lz4๊ฐ ์ข์ผ๋ฉฐ, decompressํ ๋ ์ฌ์ด์ฆ ๋ฃ์ด์ผ snappy๋ณด๋ค ๋๋ฆฐ ํ์์ด ๋ฐ์ํ์ง ์์
- Kafka Tutorial 13: Creating Advanced Kafka Producers in Java
- Introduction to Schemas in Apache Kafka with the Confluent Schema Registry
- kafka๋ json์ ๋ํ serde๋ฅผ ์ ๊ณตํ์ง ์์(๊ตฌํ์ ๊ฐ๋ฅ)
- json๋ณด๋ค avro๋ฅผ ์ธ ์ด์
- confluent schema registy (schema ์ ๋ณด๋ฅผ ๊ฐ์ง๊ณ ์๋ ์ ์ฅ์) ๊ธฐ์ค
-
- ๋ฐ์ดํฐ ์ถ์ : ํ๋๋ช ์ ๋ณด๋ด์ง ์์๋ ๋จ >> ๋ฐ์ดํฐ : ๋งค์ง๋ฐ์ดํธ + schemaID + value
-
- producing ๋๋ ๋ฐ์ดํฐ์ ์คํค๋ง๊ฐ ๋ณ๊ฒฝ๋๋ฉด schema registry์ ๋ฑ๋ก์ด๋ ์์ ๋ง ํ๋ฉด๋๋ consumer๋ ์์ ํ์ง ์์๋ ๋ ๊ฐ๋ฅ์ฑ์ด ๋์
-
- json ์ฒ๋ผ schema๊ฐ free ํ ๊ฒฝ์ฐ ์ฆ์ schema์ ๋ณ๊ฒฝ์ผ๋ก producing ๋๋๊ฒฝ์ฐ consumer๋ ์์ ์ด ๋ถ๊ฐํผ ํ๋ฉฐ ์คํค๋ง์ ๋ํ ์ ๋ณด๋ฅผ ๋์น๊ธฐ ์ฝ๊ณ ์ด๋ ฅ๋ ์์ ์์
- confluent schema registy (schema ์ ๋ณด๋ฅผ ๊ฐ์ง๊ณ ์๋ ์ ์ฅ์) ๊ธฐ์ค
- (Kafka) ๊ฐ์ฒด๋ฅผ JSON ํ์ ์ผ๋ก ๋๊ฒจ๋ณด์ :: ๋น๊ทผ์ผ์
- Securing the Confluent Schema Registry for Apache Kafka
- Kafka ์คํค๋ง ๊ด๋ฆฌ, Schema Registry
- ํ์ง๋ง avro ๋ฅผ ์ฌ์ฉํ๋ฉด ๋ณ๊ฒฝ๋ ์คํค๋ง๋ฅผ ๊ฐ์ง ๋ฐ์ดํฐ์ ๋ฌด๋ถ๋ณํ producing์ ๋ง์์ ์์
- Apache Kafka Supports 200K Partitions Per Cluster
- ์นดํ์นด ํด๋ฌ์คํฐ์์ ํํฐ์ ์. ํด๋ฌ์คํฐ ๋ด ๋ธ๋ก์ปค ํ๋ ๊ธฐ์ค
- 1.1.0 ์ด์ 2,000 ~ 4,000๊ฐ ์ ๋๊ฐ ์ ์ , 1.1.0 ๋ฆด๋ฆฌ์ฆ ์ดํ๋ถํฐ๋ ์ฝ 200,000๊ฐ ๊น์ง ๊ฐ๋ฅ
- ์ด๋ ๊ฒ ํฐ ๋ณํ๊ฐ ์๊ฒ ๋ ์์ธ์, ์ฃผํคํผ์ ๋ณ๊ฒฝ๋๋ ์ ๋ฐ์ดํธ๋ฅผ async ์ฒ๋ฆฌํ๊ณ , ๋ธ๋ก์ปค์ ์๋ก์ด ๋ฆฌ๋ ์ ๋ณด ์ ๋ฐ์ดํธ๋ฅผ ๋ฐฐ์น๋ก ์ผ๊ด ์ฒ๋ฆฌํจ์ผ๋ก์จ, 1.1.0 ๋ฆด๋ฆฌ์ฆ ์ด์ ๋ฒ์ ๋ณด๋ค ์๋๊ฐ ํฅ์
- Kafka ์ํ๊ณ ๋ค์ฌ๋ค๋ณด๊ธฐ
- Big Data, Fast Data @ PayPal
- Paypal ๋ฐ์ดํฐ ํ๋ซํผ ์ด์ผ๊ธฐ. CDC(Change Data Capture)์ Kafka์ Avro๋ฅผ ๊ฐ์ด ์ฌ์ฉํด์ผ ํ๋ ์ด์ ๋ฑ ์ํคํ ์ฒ์ ๋ํด ์ค๋ช
- An Overview of Kafka Distributed Message System
- Apache Kafka ๊ฐ๋ ์ค๋ช
- Kafka์ ๋์คํฌ๊ฐ ๋ชจ์๋ ๋
- New Features of Kafka 2.1
- ์นดํ์นด๋ฅผ ํ์ฉํ ์ํฌ ํ
- ๊ธฐ์ ๋ณด๋ค๋ ๋ญ ์ด๋ค ๋ฐฉํฅ์ผ๋ก ๋ง๋ค์ง์ ๋ํ ์ด์ผ๊ธฐ
- How to Lose Messages on a Kafka Cluster
- Kafka ํด๋ฌ์คํฐ ๋ฉ์ธ์ง ๋ฐํ ๋ฐ ๋ฌธ์ ํด๊ฒฐ :: ๋น๊ทผ์ผ์
- Kafka Using Java. Part 1
- Kafka Using Java. Part 2
- blog.voidmainvoid.net/category/.../Kafka
- Finding Kafkaโs throughput limit in Dropbox infrastructure
- Kafka, Producer ๋ถํฐ Consumer ๊น์ง
- kafka-multiprocessing-producer.py ์ ์ ๋์ํ๋ ์ง ์ ๊ฒ ํ์
- kafka-tutorials.com
- Kafka Using Java. Part 1
- Kafka Using Java. Part 2
- Kafka, Java, and Bitcoin
- What's New in Kafka 2.2?
- Understanding Kafka with Factorio
- Kerberos ์ธ์ฆ #1
- Kerberos ์ธ์ฆ #2
- ์นดํ์นด ์ค์น ์ ๊ฐ์ฅ ์ค์ํ ์ค์ 4๊ฐ์ง
- kafka ์ด์ - ๊ธฐ๋ณธ์ ์ธ ํ๊ฒฝ ์ค์ ๊ฒฝํ๋ด
- KAFKA์ ๊ทธ ์น๊ตฌ๋ค monitoring, ์ด์, test tool ์๊ฐ
- How to use reassign partition tool in Apache Kafka
- How to move Kafka Partition log directory within a Broker Node
- How to use reassign partition tool in Apache Kafka
- KAFKA ARCHITECTURE: LOG COMPACTION
- Log Compacted Topics in Apache Kafka
- Consumer Offset ์ ๋ณด๊ฐ
__consumer_offsets
๋ผ๋ ํ ํฝ์ ์ ์ฅ, ๊ทธ ํ ํฝ์ cleanup.policy๊ฐ Compact ๋ก ์ค์
- Consumer Offset ์ ๋ณด๊ฐ
- Log Management in Apache Kafka - Speaker Deck
- kafka ์ด์ - kafka์ Exception๋ค - (1)
- Kafka ๋ก๊ทธ ์ข ๋ฅ ๋ฐ ๋ก๊ทธ ์ํ์ ๋ํ ์ค๋ช
- kafka ๊ฐ๋ฐ - AdminClient ๋ก ๊ด๋ฆฌ ๊ธฐ๋ฅ ๊ฐ๋ฐํ๊ธฐ - Broker ์ ๋ณด ๋ณด๊ธฐ
- ์นดํ์นด ์๋ฒ ๋์คํฌ ์ต์ ํ
- BUILDING A RELATIONAL DATABASE USING KAFKA KarelDB, KCache, Avro, Calcite, Omid, Avatica
- devidea.tistory.com/category/Big Data/Kafka
- How LinkedIn customizes Apache Kafka for 7 trillion messages per day
- LINE์์ Kafka๋ฅผ ์ฌ์ฉํ๋ ๋ฐฉ๋ฒ โ 1ํธ
- LINE์์ Kafka๋ฅผ ์ฌ์ฉํ๋ ๋ฐฉ๋ฒ โ 2ํธ
- ์นดํ์นด๋ฅผ ์ฟ ๋ฒ๋คํฐ์ค ์์ ์ฌ๋ฆฌ๋๊ฒ ์ข์ ์ ํ์ผ๊น?
- Running Apache Kafka on Kubernetes
- ์ํ์น ์นดํ์นด๐๋ฅผ ์์์ผํ๋ ์ด์ ! ์นดํ์นด์ ๋ฏธ๋? ์์ผ๋ก ์ด๋ป๊ฒ๋ ๊น?
- Serverless Kafka on Kubernetes | DevNation Live
- Apache Kafka Producer Improvements with the Sticky Partitioner
- KafkaProducer Client Internals
- Incremental Cooperative Rebalancing in Apache Kafka: Why Stop the World When You Can Change It?
- ๊ฐ์ - ์ํ์น ์นดํ์นด
- kubernetes, python, kafka ๋ฉ๋ชจ
- Using graph algorithms to optimize Kafka operations, Part 1
- Using graph algorithms to optimize Kafka operations, Part 2
- Apache Kafka as a Service with Confluent Cloud Now Available on Azure Marketplace
- ์นดํ์นด ์ปจ์๋จธ ๋ฉํฐ์ฐ๋ ๋ ์ ํ๋ฆฌ์ผ์ด์ ์์ ์ฝ๋(for scala)
- ๋งํฌ๋์ธ์ ์ ์นดํ์นด๋ฅผ ๋ง๋ค์๋
- ๋งํฌ๋์ธ์ด ์นดํ์นด๋ฅผ ์ง์ ๊ฐ๋ฐํ ์ด์ - ํ ํฌ์
- Disaster Recovery Plans for Apache Kafka
- Resiliency and Disaster Recovery with Kafka | by eBay TechBlog | eBayTech | Medium
- ์นดํ์นด ํด๋ฌ์คํฐ ํด๋ฌ์คํฐip DNS ์ฐ๋๋ฐฉ๋ฒ. use_all_dns_ips ์ฌ์ฉ(in AWS, route53)
- Is Apache Kafka a Database? - The 2020 Update
- Kafka-client client.dns.lookup ์ต์ ์ ๋ฆฌ
- ๊ธฐ๋ณธ ๊ฐ๋ ์ก๊ธฐ
- Ordering of events in Kafka
- Why Kafka Is so Fast. Discover the deliberate designโฆ | by Emil Koutanov | The Startup | Medium
- Is Apache Kafka a Database?. Can and should Apache Kafka replace aโฆ | by Kai Waehner | Medium
- kafka ์๋ ์ฒํ๊ธฐ (๊ฐ๋ฐ์์ฉ) :: ์๋ฐ์บ(Java Can Do IT)
- Kafka is not a Database โ Materialize
- Thread-Per-Core Buffer Management for a modern Kafka-API storage system - Vectorized
- Introducing Confluentโs Parallel Consumer Message Processing Client
- Intro to Apache Kafka: How Kafka Works
- Kafka Operations(Production Deployment) โ Sori-Nori
- Disaster Recovery for Multi-Region Kafka at Uber | Uber Engineering Blog
- How Zendesk Secures Kafka with Self-Hosted mTLS Authentication System
- Property Based Testing Confluent Cloud Storage for Fun and Safety
- Kafka on Kubernetes, minimal configuration
- Designing and testing a highly available Kafka cluster on Kubernetes
- Beyond the Brokers: A Tour of the Kafka Ecosystem
- ์ค์ผ์ผ์์์์ด ์๊ฐ ๊ธ์ฆํ๋ ์ฃผ๋ฌธ ์ฒ๋ฆฌํ๊ธฐ (Microservice with Kafka)
- Kafka for Engineers. Here are things about Kafka that youโฆ | by Dave Taubler | Level Up Coding
- Kafka ์ด์ ์ปจ์๋จธ ๊ทธ๋ฃน ์ ๋ณด๋ ์ธ์ ์ฌ๋ผ์ง๊น? :: ์ธ์ ๋ ๊น๊น
- a-great-day-out-with/a-great-day-out-with.github.io
- KafkaConsumer Client Internals
- Apache Kafka for Industrial IoT and Manufacturing 4.0 - Kai Waehner
- Cannot get state store TOPIC because the stream thread is STARTING, not RUNNING ์๋ฌ ํด๊ฒฐ ktable
- A gentle introduction to Apache Kafka
- Event Driven Architecture using Kafka | LinkedIn
- Kafka in the Wild โข Laura Schornack & Maureen Penzenik โข GOTO 2021 - YouTube Domain Driven Design for Realtime, Ubiquitous, Distributed Data
- How Agoda manages 1.5 Trillion Events per day on Kafka | by Shaun Sit | Agoda Engineering & Design | Jul, 2021 | Medium
- Kafka ๋ ์ ๋น ๋ฅผ๊น? - ์๊ตฌ๋ฆฌ์ ๊ธฐ์ ๋ธ๋ก๊ทธ
- Kafka ํด๋ฌ์คํฐ ๊ตฌ์ฑ ๋ฐ ์ฅ์ ํด๊ฒฐ :: ๋น๊ทผ์ผ์
- Logstash์ Kafka Input ์ฑ๋ฅ ๊ฐ์ ์ด์ผ๊ธฐ
- Logstash๋ฅผ ์ฌ์ฉํ๋ฉด์ Kafka Lag๊ฐ ๊ธ๊ฒฉํ ์ฆ๊ฐํ๋ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํ ๊ฐ์ ๊ณผ์ ์ค๋ช
- ์ฒ์์๋ ํํฐ์ ์๋ฅผ ๋๋ ธ์ง๋ง ํด๊ฒฐ๋์ง ์์์ ์์ธํ ๋ณด๋ ํํฐ์ ์ ์ปจ์๋จธ๊ฐ ๊ณ ๋ฅด๊ฒ ๋ถ์ด์์ง ์์ ๋ฌธ์ ๋ฐ๊ฒฌ
- partition_assignment_strategy๋ฅผ ์ฌ์ฉํด์ ๋ผ์ด๋ ๋ก๋น์ ์ ์ฉํ์ผ๋ ํธ๋ํฝ์ด ๋์ด๋์ ๋ค์ Lag ์ฆ๊ฐ
- ๊ทธ๋์ Lag์ ์๋ฏธ๋ฅผ ์์ธํ ์ฐพ์๋ณด๋ ๋ง์ง๋ง์ ์์ฑ๋ ๋ฉ์์ง์ ์ปจ์๋จธ๊ฐ ๊ฐ์ ธ๊ฐ๋ค๊ณ ํ์ํ ์คํ์ ์ ์ฐจ์ด๋ผ๋ ๊ฒ์ ์๊ฒ ๋์ด auto_commit_interval_ms๋ฅผ 5์ด์์ 1์ด๋ก ์ค์ฌ์ La๋ฅผ ํด๊ฒฐ
- Scaling Kafka Consumer for Billions of Events | by Archit Agarwal | The PayPal Technology Blog | Nov, 2021 | Medium
- Postgres, Kafka, and the Mysterious 100 GB โ Coding, Climbing, and Commentary
- The Top 5 Apache Kafka Use Cases and Architectures in 2022
- AWS์์ Kafka๋ฅผ ์ฌ์ฉํ๊ธฐ ์ํด ํ์ํ ๋ด์ฉ์ ์ ๋ฆฌํ ์๋ฆฌ์ฆ ๊ธ
- Practical Kafka โ Intro (1) โ 1ambda
- Kafka ์ํคํ ์ฒ์ Broker, Producer, Consumer ๋ฑ์ ์์ ์ค๋ช
- Broker ๊ฐ์ Topic์ ์ด์ฉํด์ ํํฐ์ ๋๊ณผ ๋ฆฌํ๋ฆฌ์ผ์ด์ ์ ์ด๋ป๊ฒ ํ๋์ง ์ค๋ช
- Practical Kafka โ Concept (2) โ 1ambda
- Consumer๊ฐ ์ด๋ค Partition์ ๊ฐ์ ธ๊ฐ๋์ง ๊ฒฐ์ ํ๋ ํํฐ์ ํ ๋น๊ณผ ์ฌํ ๋น์ด ์ด๋ค์ง๋ ๊ณผ์ ์ค๋ช
- ์๋ก ์ถ๊ฐ๋ ์ฌํ ๋น ๊ฐ์ ๊ธฐ๋ฅ์ผ๋ก ์ฌํ ๋น์ ์ญ์ ํ ์ถ๊ฐ๋์ด๋ ์งํํ์ง ์๋ Static Membership๊ณผ ์ฌํ ๋น์ด ํ์ํ Consumer๋ง ์งํํ๋ Incremental Rebalancing Protocol์ ์ค๋ช
- Practical Kafka โ Intro (1) โ 1ambda
- Introducing Confluentโs Parallel Consumer Message Processing Client
- ์ปจํ๋ฃจ์ธํธ ๊นํ์ ์๋ฌด I ์ด๋ฒคํธ ๊ธฐ๋ฐ ๋ง์ดํฌ๋ก์๋น์ค ์ํคํ ์ฒ์์์ Apache Kafka ์ญํ on Vimeo
- Building and Scaling a Control Plane for 1000s of Kafka Clusters - YouTube
- Consuming over 1 billion Kafka messages per day at Ifood | by felipe volpone | Nov, 2021 | Medium
- 3 Libraries You Should Know to Master Apache Kafka in Python | by Xiaoxu Gao | Towards Data Science
- Working with Data in a Connected World - Clair J. Sullivan | PyData Global 2021 - YouTube
- APACHE-KAFKA - YouTube
- Kafka NetworkClient Internals
- Apache Kafka in the Automotive Industry - YouTube
- Kafka Tutorial - Spring Boot Microservices - YouTube
- Top 5 Courses to Crack Confluent Apache Kafka Developer Certification (CCDAK) in 2022 - Best of Lot
- โ์ํ์น ์นดํ์นดโ, ๊ฐ๋ ๋ถํฐ ์ฌ์ฉ๋ก๊น์ง - CIO Korea
- Kafka Lag ์๋ ์ค์๊ฐ ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ์ ์ํ ์ํคํ ์ฒ ๊ฐ์ ๊ธฐ - AB180 ์์ง๋์ด๋ง ๋ฒ ์ด์ค | ๊ธฐ์ ๋ธ๋ก๊ทธ
- Kafka- Best practices & Lessons Learned | By Inder | by Inder Singh | Medium
- Make a real-time query across multiple microservices using Kafka | by Mohammed Ragab | Nerd For Tech | Medium
- Kafka on The Microservice Architecture | by Andhika Yusup | Medium
- ๊ฐ๋จํ ์นดํ์นด ํ๊ฒฝ ๊ตฌ์ฑํ๊ธฐ
- ์ 3ํ ๋ฐ๋ณด์ (DEVOCEAN) ํ ํฌ ๋ฐ์ด
- ์นดํ์นด ์ปค๋ฅํธ์ ํ์คํฌ ๋ฐธ๋ฐ์ฑ ๋ก์ง, DistributedHerder(์์น๊ธฐ) ๊ทธ๋ฆฌ๊ณ IncrementalCooperativeAssignor ๋ด๋ถ ๋์ ์๊ฐ
- LIVE ์ค์๊ฐ ์์๋ฐฐ๋ฌ ํ๋ซํผ์์ ํ์ฉํ ๋ถ์ฐ ์ด๋ฒคํธ ์คํธ๋ฆฌ๋ฐ :: 3์ ์ฐ์ํํ ํฌ์ธ๋ฏธ๋ - YouTube
- How To Grasp Kafka Arch in 10 Lines | Python for Senior Developers - YouTube
- ๋๊ท๋ชจ ๋ฐ์ดํฐ์ ์นดํ์นด ํ๋ก๋์ ์ฑ๋ฅ ํฅ์ ๋ฐฉ๋ฒ
- ์นดํ์นด๋ฅผ ํ์ฉํ ๋ ์ด์ฑ์นด ์ผ์ ์ค์๊ฐ ์์ง ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ ๊ตฌ์ถ
- Apache Kakfa on KRaft Mode | Kafka On Kubernetes | ADITYA JOSHI | - YouTube
- Kafka with k8s on Virtualbox
- Fine-tune Kafka performance with the Kafka optimization theorem | Red Hat Developer
- A Guide To Apache Kafka - A Data Streaming Platform
- Exporter Review: Kafka - NexClipper
- ์ปฌ๋ฆฌ ๊ฒ์์ด ์นดํ์นด๋ฅผ ๋ค์ฌ๋ค๋ณธ ์ด์ผ๊ธฐ 1 - ์ปฌ๋ฆฌ ๊ธฐ์ ๋ธ๋ก๊ทธ
- ์ปฌ๋ฆฌ ๊ฒ์์ด ์นดํ์นด๋ฅผ ๋ค์ฌ๋ค๋ณธ ์ด์ผ๊ธฐ 2 - ์ปฌ๋ฆฌ ๊ธฐ์ ๋ธ๋ก๊ทธ
- Kafka on Kubernetes: What could go wrong?
- Setting up a local Apache Kafka instance for testing - DEV Community ๐ฉ๐ป๐จ๐ป
- ์นดํ์นด ์ํ๊ณ ๊ธฐ๋ฐ์ ๋น์ฆ๋์ค ๋ฉํธ๋ฆญ ์์ฑํ๊ธฐ | Hyperconnect Tech Blog
- Apache Kafka Best Practices
- Apache Kafka-Installation Steps
- Kafka in Action โข Viktor Gamov & Tim Berglund โข GOTO 2022 - YouTube
- ์นดํ์นด ์์ํ๊ธฐ - ๊ฐ๋ , ํด๋ฌ์คํฐ.. : ๋ค์ด๋ฒ๋ธ๋ก๊ทธ
- nodejs ์นดํ์นด ์ฐ๋ํ๊ธฐ - ํ๋ก๋์ .. : ๋ค์ด๋ฒ๋ธ๋ก๊ทธ
- nestjs ์นดํ์นด ์ฐ๋ํ๊ธฐ - ํ๋ก๋์ .. : ๋ค์ด๋ฒ๋ธ๋ก๊ทธ
- ๋ฆฌ๋์์ Kafka๋ฅผ ์ฌ์ฉํ๋ ๋ฒ - ๋ฆฌ๋์ฃผ์ํ์ฌ RIDI Corporation
- ์นดํ์นด๊ฐ ๋ฌด์์ด๊ณ , ์ ์ฌ์ฉํ๋ ๊ฒ ์ผ๊น?
- Kafka ๋์ ์คํ ๋ฆฌ - ํ์ผํ ๋ฐฉ์ก์์ญ ํ์ฉ ์ฌ๋ก :: GS Retail Engineering
- Event-Driven Architectures Done Right, Apache Kafka โข Tim Berglund โข Devoxx Poland 2021 - YouTube
- ๋ค์ด๋ฒ ์ค์ผ์ผ๋ก ์นดํ์นด ์ปจ์๋จธ ์ฌ์ฉํ๊ธฐ - YouTube
- Resilient Real-Time Data Streaming across the Edge and Hybrid Cloud - YouTube
- Snowpipe Streaming now in Public Preview
- A Kafka Clientโs Request: There and Back Again by Danica Fine - YouTube
- ๋น์ธ API๋ฅผ ํ์ฉํ ๋งค์ / ๋งค๋ ๋ฐ์ดํฐ ์ ์ฌ
- aiokafka - asyncio client for kafka http://aiokafka.readthedocs.io
- Flafka: Apache Flume Meets Apache Kafka for Event Processing
- Greyhound - Rich Kafka client library
- hive
- kafka-docker: Dockerfile for Apache Kafka
- KafkaJS ยท KafkaJS, a modern Apache Kafka client for Node.js
- Kafka Manager - A tool for managing Apache Kafka
- hub.docker.com/r/sheepkiller/kafka-manager
- Kafka Manager Consumer Lag Exporter
- ๋ํ ์ผํ๊ฒ 'Destionation Topic์ Partition๋ณ offset' ์ ๋ณด๊ณ ์ถ์ ๊ฒฝ์ฐ Destination Topic์ ๋ชจ๋ํฐ๋ง ์์คํ ์ ์ฐ๊ฒฐํ๋ ๋ฐฉ์
- Kafka Offset Monitor - an app to monitor your kafka consumers and their position (offset) in the queue
- kafka-sink-connector: Kafka Connect connector that reads JSON data from Apache Kafka and send JSON record to Another Kafka topic
- Kafka-Sprout: Web GUI for Kafka Cluster Management
- kafka-statsd-metrics2
- kafka tools - A collection of tools for working with Apache Kafka
- Kafractive - interative CLI tool for kafka admin, built on top of Spring Shell
- kowl: Kafka WebUI for exploring messages, consumers. configurations and more with a focus on a good UI & UX
- KSETL๋ก Kafka ์คํธ๋ฆผ ETL ์์คํ ์ ๋น ๋ฅด๊ฒ ๊ตฌ์ฑํ๊ธฐ - 2021 Korean version - - YouTube
- KSETL๋ก Kafka ์คํธ๋ฆผ ETL ์์คํ ์ ๋น ๋ฅด๊ฒ ๊ตฌ์ฑํ๊ธฐ
- KubeMQ: A Modern Alternative to Kafka - DZone Microservices
- MAADS Machine Learning and AI at Scale with MAADS-VIPER and Apache Kafka
- rest proxy
- spring-kafka-example: Example source code for KafkaKRU meetup
- Trifecta - a web-based and Command Line Interface (CLI) tool that enables users to quickly and easily inspect, verify and even query Kafka messages
- trivup - Trivially Up a cluster of applications
- ํ๋ก๊ทธ๋๋ฐ ๋ฐฉ์์ผ๋ก ์นดํ์นด ํด๋ฌ์คํฐ๋ฅผ ๊ตฌ์ถํ๊ณ ํด์ฒดํ๋ ๋๊ตฌ. ํด๋ผ์ด์ธํธ ์์ฉ ํ๋ก๊ทธ๋จ์ ๋ํ Kafka์ SSL ์ธ์ฆ ๋ฐ ์ํธํ ์ง์
- uGroup Introducing uGroup: Uberโs Consumer Management Framework
- zoe: The missing companion for Kafka
- Kafka Python client ์ฑ๋ฅ ํ ์คํธ
- confluent-kafka-python: Confluent's Kafka Python Client
- FastKafka is a powerful and easy-to-use Python library for building asynchronous web services that interact with Kafka topics. Built on top of Pydantic, AIOKafka and AsyncAPI, FastKafka simplifies the process of writing producers and consumers for Kafka topics
- librdkafka: The Apache Kafka C/C++ library
- ์นดํ์นด ํด๋ผ์ด์ธํธ์ C ๊ตฌํ์ฒด๋ก, ํ์กดํ๋ ์ต๊ณ ์ ๋ผ์ด๋ธ๋ฌ๋ฆฌ ์ค ํ๋ ํ๊ฐ
- ์ปจํ๋ฃจ์ธํธ๊ฐ ์ง์ํ๋ Go, ํ์ด์ฌ, ๋ท๋ท ํด๋ผ์ด์ธํธ๊ฐ librdkafka๋ฅผ ๊ฐ์ธ๊ณ ์๋ ํํ๋ก ๊ตฌํ๋์์ ์ ๋
- BSD 2์กฐํญ ๋ผ์ด์ ์ค๋ฅผ ๋ฐ๋ฅด๊ธฐ ๋๋ฌธ์ ์ด๋ ์ ํ๋ฆฌ์ผ์ด์ ์์๊ฑด ์ฝ๊ฒ ์ฌ์ฉ ๊ฐ๋ฅ
- kafka-python: Python client for Apache Kafka
- ํ์ด์ฌ์ผ๋ก ๊ฐ๋ฐ๋ ๋ ๋ค๋ฅธ ๋ค์ดํฐ๋ธ ๊ตฌํ์ฒด. ์ํ์น 2.0 ๋ผ์ด์ ์ค
- Kafka๋ก ๋ฉ์์ง์ ์ด๋ฒคํธ ์ฒ๋ฆฌํ๊ธฐ - (1) Kafka ์ธํ ํ๊ธฐ | woolog - ๊ฐ๋ฐ์ ์ธ์ด
- Kafka๋ก ๋ฉ์์ง์ ์ด๋ฒคํธ ์ฒ๋ฆฌํ๊ธฐ - (2) Python์ผ๋ก consumer, producer ๋ง๋ค๊ธฐ | woolog - ๊ฐ๋ฐ์ ์ธ์ด
- pykafka: Apache Kafka client for Python; high-level & low-level consumer/producer, with great performance
- Sarama - a Go library for Apache Kafka
- ์ผํผํ์ด(Shopify)์์ ๊ฐ๋ฐํ ๋ค์ดํฐ๋ธ Go ์ธ์ด ๊ตฌํ์ฒด. MIT ๋ผ์ด์ ์ค
- akhq: Kafka GUI for Apache Kafka to manage topics, topics data, consumers group, schema registry, connect and more...
- ์นดํ์นด ํด๋ฌ์คํฐ๋ฅผ ๊ด๋ฆฌํ๊ณ ์กฐ์ํ๋ ๋ฐ ์ฌ์ฉํ ์ ์๋ GUI
- ์ฌ์ฉ์์ ACL์ ํฌํจํ ์ค์ ๊ด๋ฆฌ ๊ธฐ๋ฅ์ ์ง์
- ์คํค๋ง ๋ ์ง์คํธ๋ฆฌ๋ ์นดํ์นด ์ปค๋ฅํธ์ ๊ฐ์ ์ปดํฌ๋ํธ ์ญ์ ์ฝ๊ฐ ์ง์
- ์ฝ์ ํด์ ๋์ฒด์ฌ๋ก ์ฌ์ฉ์ด ๊ฐ๋ฅํ, ํด๋ฌ์คํฐ ๋ด์ ๋ฐ์ดํฐ๋ฅผ ๋ค๋ฃฐ ์ ์๋ ํด ์ญ์ ์ ๊ณต
- Home | AKHQ
- ์นดํ์นด ๋งค๋์ ๋ฅผ ๋์ฒดํ ์ ์์๊น?! AKHQ (Apache Kafka HQ) :: ์ธ์ ๋ ๊น๊น
- Conduktor | Enterprise Apache Kafka platform. | Conduktor
- ์คํ์์ค๋ ์๋์ง๋ง, ๋๋ฆฌ ์ฐ์ด๋ ์นดํ์นด ํด๋ฌ์คํฐ ๊ด๋ฆฌ ๋ฐ ์กฐ์์ฉ ๋ฐ์คํฌํฑ ํด
- ๋ง์ ๋งค๋์ง๋ ํ๋ซํผ(์ปจํ๋ฃจ์ธํธ, ์์ด๋ธ, ๊ทธ๋ฆฌ๊ณ ์๋ง์กด MSK)๊ณผ ์ปดํฌ๋ํธ(์ปค๋ฅํธ, KSQL, ๊ทธ๋ฆฌ๊ณ ์คํธ๋ฆผ์ฆ) ์ง์
- ์ฝ์ ํด๊ณผ๋ ๋ฌ๋ฆฌ ํด๋ฌ์คํฐ ์์ ๋ฐ์ดํฐ ์ญ์ ๋ค๋ฃฐ ์ ์์
- ํ๋์ ํด๋ฌ์คํฐ์ ๋ํด์๋ง ์ฌ์ฉ ๊ฐ๋ฅํ ๊ฐ๋ฐ์ฉ ๋ผ์ด์ ์ค๊ฐ ๋ฌด๋ฃ ์ ๊ณต
- When Stateless APIs Are Not Enough: Deep Dive Into A Reactive Backend Design - YouTube
- cruise-control: Cruise-control is the first of its kind to fully automate the dynamic workload rebalance and self-healing of a Kafka cluster. It provides great value to Kafka users by simplifying the operation of Kafka clusters
- ์์ฒ ๋์ ๋ธ๋ก์ปค๋ก ์ด๋ฃจ์ด์ง ์๋ฐฑ ๋์ ํด๋ฌ์คํฐ๋ฅผ ์ด๋ป๊ฒ ๊ด๋ฆฌํด์ผ ํ ๊น๋ผ๋ ์ง๋ฌธ์ ๋ํด ๋งํฌ๋์ธ์ด ๋ด๋์ ๋ต
- ์๋ ํด๋ฌ์คํฐ ์์ ๋ฐ์ดํฐ๋ฅผ ์๋์ผ๋ก ๋ฆฌ๋ฐธ๋ฐ์ฑํ๋ ์๋ฃจ์ ์ผ๋ก ์์ํ์ง๋ง, ์ด์ ํ์ง๋ ๋ธ๋ก์ปค ์ถ๊ฐ ๋ฐ ์ญ์ ์ ๊ฐ์ ๊ด๋ฆฌ ์์ ๊น์ง๋ ํฌ๊ดํ๋ ์์คํ ์ผ๋ก ๋ฐ์
- ํ ์คํธ์ฉ ํด๋ฌ์คํฐ๊ฐ ์๋๋ผ๋ฉด ํฌ๋ฃจ์ฆ ์ปจํธ๋กค์ ํ์ํ
- julie: A solution to help you build automation and gitops in your Apache Kafka deployments. The Kafka gitops!
- ์ค๋ฆฌ์ต์ค(์์ ์ด๋ฆ: ์นดํ์นด ํ ํด๋ก์ง ๋น๋(Kafka Topology Builder))๋ GitOps ๋ชจ๋ธ์ ์ฌ์ฉํด์ ํ ํฝ๊ณผ ACL์ ๋ํ ์๋ํ๋ ๊ด๋ฆฌ ๊ธฐ๋ฅ ์ ๊ณต
- ํ์ฌ ์ค์ ์ํ๋ฅผ ๋ณด๋ ๊ฒ์ ๋์ด์์ ์ค๋ฆฌ์ต์ค๋ ํ ํฝ, ์คํค๋ง, ACL ์ค์ ๋ฑ์ ์ ์ธ์ ์ผ๋ก ์ ์, ๋ณ๊ฒฝ ๊ฐ๋ฅ
- Strimzi - Apache Kafka on Kubernetes
- ์ฟ ๋ฒ๋คํฐ์ค ํ๊ฒฝ์ ์นดํ์นด ํด๋ฌ์คํฐ๋ฅผ ์ฝ๊ฒ ์ค์นํ ์ ์๋๋ก ํด ์ฃผ๋ ์ฟ ๋ฒ๋คํฐ์ค ์คํผ๋ ์ดํฐ ์ ๊ณต
- ๋งค๋์ง๋ ์๋น์ค๋ฅผ ์ ๊ณตํ์ง ์์ง๋ง ํผ๋ธ๋ฆญ์ด๋ ํ๋ผ์ด๋น์ด๋ ์๊ด์์ด, ํด๋ผ์ฐ๋ ์์์ ์นดํ์นด๋ฅผ ์คํ์ํค๋ ๊ฒ์ ์ฝ๊ฒ ํด ์ค
- ์ํ์น 2.0 ๋ผ์ด์ ์ค๋ก ์ ๊ณต๋๋ REST ํ๋ก์ ๊ตฌํ์ฒด์ธ ์คํธ๋ฆผ์ง ์นดํ์นด ๋ธ๋ฆฌ์ง(Strimzi Kafka Bridge) ์ญ์ ์ ๊ณต
- ๋ผ์ด์ ์ค ๋ฌธ์ ๋๋ฌธ์ ํ์ฌ๋ก์๋ ์คํธ๋ฆผ์ง๊ฐ ์คํค๋ง ๋ ์ง์คํธ๋ฆฌ ๋ฏธ์ง์
- strimzi-kafka-operator: Apache Kafkaยฎ running on Kubernetes
- Strimzi๋ฅผ ํ์ฉํ kafka ํด๋ฌ์คํฐ ๊ตฌ์ฑํ๊ธฐ - ์ค์น
- Kubernetes ์์ kafka ๊ตฌ์ถ - strimzi :: JackCokebb dev blog
- Strimzi ์คํผ๋ ์ดํฐ ์ค์ต ๊ฐ์ด๋
- Strimzi Kafka Operator๋ก Kafka ์ค์น
- kafka on kubernetes (with Strimzi)
- Burrow: Kafka Consumer Lag Checking
- ๋งํฌ๋์ธ์ด ๊ฐ๋ฐํ ๋ ๋ค๋ฅธ ํด๋ก, ์นดํ์นด ํด๋ฌ์คํฐ ์์ ์ปจ์๋จธ ๋์ ์ ์ฒด์ ์ผ๋ก ๋ชจ๋ํฐ๋ง
- ์ปจ์๋จธ์ ์ง์ ์ ์ํ ํ์ ์์ด ์ปจ์๋จธ๊ฐ ์ ๋๋ก ๋์๊ฐ๊ณ ์๋์ง๋ฅผ ๋ณด์ฌ ์ค
- ์ปค๋ฎค๋ํฐ์ ์ํด ํ๋ฐํ๊ฒ ์ง์, ๋ค๋ฅธ ์ปดํฌ๋ํธ๋ค๊ณผ ์ฐ๊ฒฐํ ์ ์๊ฒ ํด ์ฃผ๋ ํด๋ค์ ๋ํ ์์ฒด์ ์ธ ์ํ๊ณ ์์
- Burrow - kafka consumer์ ์ง์ฐ(lag)์ ๋ชจ๋ํฐ๋งํ ์ ์๋ ํจ๊ณผ์ ์ธ opensource tool
- Revisiting Burrow: Burrow 1.1 Linkedin์ SREํ์์ ๋ง๋ค์ด์ ์คํ์์ค๋ก ๊ณต๊ฐํ Apache Kafka์ Consumer ๋ชจ๋ํฐ๋ง ๋๊ตฌ
- Apache Kafka Lag Monitoring and Metrics at AppsFlyer
- kafka-lag-dashboard
- kafka-lag-dashboard
- Kafka Dashboard | Datadog
- ๋ชจ๋ํฐ๋ง์ ์ํด DataDog์ ์ฌ์ฉํ๋ ์ฌ๋๋ค์๊ฒ ์นดํ์นด ํด๋ฌ์คํฐ์ ๋ชจ๋ํฐ๋ง ์คํ์ ํตํฉํ๋ ๊ฒ์ ๋์์ฃผ๋ ํ๋ฅญํ ์นดํ์นด ๋์๋ณด๋๋ฅผ ์ ๊ณต
- ๋ง์ ์งํฏ๊ฐ๋ค์ ๋จ์ํํจ์ผ๋ก์จ ์นดํ์นด ํด๋ฌ์คํฐ์ ์ํ๋ฅผ ํ๋์ ์์๋ณผ ์ ์๋๋ก ๋์์ธ
- kafka-monitor: Xinfra Monitor monitors the availability of Kafka clusters by producing synthetic workloads using end-to-end pipelines to obtain derived vital statistics - E2E latency, service produce/consume availability, offsets commit availability & latency, message loss rate and more
- ์์ค ์ธํ๋ผ ๋ชจ๋ํฐ(์์ ์ด๋ฆ: ์นดํ์นด ๋ชจ๋ํฐ(Kafka Monitor))๋ ๋งํฌ๋์ธ์์ ์นดํ์นด ํด๋ฌ์คํฐ์ ๋ธ๋ก์ปค์ ๊ฐ์ฉ์ฑ์ ๋ชจ๋ํฐ๋งํ๊ธฐ ์ํด ๊ฐ๋ฐ
- ํด๋ฌ์คํฐ์ ํ ํฝ ์งํฉ์ ์ธ์์ ์ผ๋ก ๋ฐ์ดํฐ๋ฅผ ์์ฑํด ๋ฃ์ ๋ค ์ง์ฐ, ๊ฐ์ฉ์ฑ, ๋๋ฝ ์ฌ๋ถ ๋ฑ์ ์ธก์ ํ๋ ์์ผ๋ก ๋์
- ํด๋ผ์ด์ธํธ๋ก ์ง์ ์กฐ์ํ ํ์ ์์ด ์นดํ์นด ํด๋ฌ์คํฐ์ ์ํ๋ฅผ ์ธก์ ํ ์ ์๊ฒ ํด ์ฃผ๋ ๊ท์คํ ํด
- URP? Excuse You! The Three Metrics You Have to Know (Todd Palino, Linkedin) Kafka Summit 2018
- kcat: Generic command line non-JVM Apache Kafka producer and consumer
- kcat(์์ ์ด๋ฆ: kafkacat)์ ์ฝ์ด ์ํ์น ์นดํ์นด ํ๋ก์ ํธ์ ํฌํจ๋ ์ฝ์ ํ๋ก๋์์ ์ปจ์๋จธ์ ๋์ฒด์ฌ๋ก์ ์ธ๊ธฐ
- ์๊ณ , ๋น ๋ฅด๊ณ , C๋ก ์์ฑ๋์๊ธฐ ๋๋ฌธ์ JVM ์ค๋ฒํค๋ ์์
- ํด๋ฌ์คํฐ์ ๋ํ ๋ฉํ๋ฐ์ดํฐ๋ฅผ ๋ณด์ฌ์ค์ผ๋ก์จ ํด๋ฌ์คํฐ ์ํ๋ฅผ ์ ํ์ ์ผ๋ก๋๋ง ํ์ธ ๊ฐ๋ฅ
- kcat(kafkacat) ์๊ฐ kcat์ผ๋ก ์ด๋ฆ์ด ๋ฐ๋ kafkacat CLI ๋๊ตฌ ์ฌ์ฉ ๋ฐฉ๋ฒ ์ค๋ช . kcat์ non-JVM ๊ธฐ๋ฐ ํ๋ก๋์, ์ปจ์๋จธ ๊ธฐ๋ฅ์ ์ ๊ณตํ๋ ๋๊ตฌ, kafka์ ๋ฉํ ์ ๋ณด ํ์ธ ๋ฉ์์ง ์ ์กํ๊ณ ๊ฐ์ ธ์ค๋ ๋ฐฉ๋ฒ
- streams-explorer: Explore Data Pipelines in Apache Kafka
- ์คํธ๋ฆผ์ฆ ์ต์คํ๋ก๋ฌ๋ ์ฟ ๋ฒ๋คํฐ์ค ์์์ ๋์ํ๋ ์ ํ๋ฆฌ์ผ์ด์ ๊ณผ ์ปค๋ฅํฐ๋ค ์ฌ์ด์ ๋ฐ์ดํฐ ํ๋ฆ์ ์๊ฐํํด์ ๋ณด์ฌ์ฃผ๋ ํด
- bakdata์ ํด์ ํตํด ์นดํ์นด ์คํธ๋ฆผ์ฆ๋ Faust๋ฅผ ์ฌ์ฉํด์ ์ ์ฒด ์์คํ ์ ๊ตฌ์ถํด์ผ ํ์ง๋ง, ์ ํ๋ฆฌ์ผ์ด์ ๊ณผ ๊ทธ ์งํ๋ค์ ์ฝ๊ฒ ์ดํดํ ์ ์๋ ํํ๋ก ๋ณด์ฌ ์ค
- Aiven - Data infrastructure made simple
- ์ํ์น ์นดํ์นด๋ฅผ ํฌํจํ ๋ง์ ๋ฐ์ดํฐ ํ๋ซํผ์ ์ํ ๋งค๋์ง๋ ์๋ฃจ์ ์ ๊ณต
- ์คํค๋ง ๋ ์ง์คํธ๋ฆฌ์ REST ํ๋ก์ ์ญํ ์ ์ํํ๋ ์นด๋ผ์คํ์ด์ค(Karapace) ๊ฐ๋ฐ
- ๋ ์ปจํ๋ฃจ์ธํธ ์๋ฃจ์ ์ API์ ํธํ๋์ง๋ง ์ํ์น 2.0 ๋ผ์ด์ ์ค๋ฅผ ๋ฐ๋ฅด๊ธฐ ๋๋ฌธ์ ์ ํ๋๋ ํ์ฉ ์ฌ๋ก ๊ฐ์ ๊ฒ์ ์์
- 3๊ฐ ์ฃผ์ ํด๋ผ์ฐ๋ ์ ๊ณต์ ์ธ์๋ ๋์งํธ์ค์ (DigitalOcean)๊ณผ ์ ํด๋ผ์ฐ๋(UpCloud) ์ง์
- Amazon MSK ์์ ๊ด๋ฆฌํ Apache Kafka โ Amazon MSK โ Amazon Web Services
- REST ํ๋ก์๋ ์ง์ ์ ์ผ๋ก ์ง์๋์ง ์์ง๋ง, ์คํค๋ง ์ง์์ AWS Glue์์ ํตํฉ์ ํตํด ์ ๊ณต
- ํฌ๋ฃจ์ฆ ์ปจํธ๋กค, ๋ฒ๋ก์ฐ, ์ปจํ๋ฃจ์ธํธ REST ํ๋ก์์ ๊ฐ์ ์ปค๋ฎค๋ํฐ ํด ์ฌ์ฉ์ ๊ถ์ฅ
- ํ์ง๋ง, ์ง์ ์ง์์ ์์ผ๋ฏ๋ก ๋ค๋ฅธ ๊ฒ๋ค์ ๋นํด ํตํฉ์ฑ์ ์ฝ๊ฐ ๋จ์ด์ง์ง๋ง ์ฌ์ ํ ์ฝ์ด ์นดํ์นด ํด๋ฌ์คํฐ๋ ์ง์
- Azure HDInsight - Hadoop, Spark, and Kafka | Microsoft Azure
- HDInsight ์์ ํ๋ก, ์คํํฌ, ๋ค๋ฅธ ๋น ๋ฐ์ดํฐ ์ปดํฌ๋ํธ๋ค๊ณผ ํจ๊ป ๋งค๋์ง๋ ์นดํ์นด ํ๋ซํผ ์ ๊ณต
- MSK์ ๋น์ทํ๊ฒ, HDInsight๋ ์ฝ์ด ์นดํ์นด ํด๋ฌ์คํฐ์ ์ด์
- ์คํค๋ง ๋ ์ง์คํธ๋ฆฌ์ REST ํ๋ก์๋ฅผ ํฌํจํ ๋ค๋ฅธ ์ปดํฌ๋ํธ๋ค์ ์ฌ์ฉ์์ ์ ํ
- ๋ช๋ช ์๋ ํํฐ๋ค์ด ์ด๋ฌํ ์์คํ ๋ค์ ์ค์นํ ์ ์๋๋ก ํด ์ฃผ๋ ํ ํ๋ฆฟ์ ์ ๊ณตํ์ง๋ง ๋ง์ดํฌ๋ก์ํํธ ์ง์์ ์์
- Cloudera Apache Kafka supported by Cloudera Enterprise
- ํด๋ผ์ฐ๋ฐ๋ผ๋ ์ํ์น ์นดํ์นด ์ด๊ธฐ๋ถํฐ ์นดํ์นด ์ปค๋ฎค๋ํฐ์ ์ผ์
- ํด๋ผ์ฐ๋ฐ๋ผ ๋ฐ์ดํฐ ํ๋ซํผ(Cloudera Data Platform, CDP) ์ ํ์ ์คํธ๋ฆผ ๋ฐ์ดํฐ ์ปดํฌ๋ํธ๋ก์ ๋งค๋์ง๋ ์นดํ์นด ์ ๊ณต
- CDP๋ ๋จ์ํ ์นดํ์นด ์ด์์ ๊ฒ์ ์ด์ ์ ๋ง์ถ์ง๋ง, ํ๋ผ์ด๋น ์ต์ ์ ๋ฌผ๋ก ์ด๊ณ ํผ๋ธ๋ฆญ ํด๋ผ์ฐ๋ ํ๊ฒฝ์์๋ ๋์
- CloudKarafka - Apache Kafka Message streaming as a Service
- ๋ฐ์ดํฐ๋ (DataDog)์ด๋ ์คํ๋ ํฌ(Splunk)์ ๊ฐ์ด ๋๋ฆฌ ์ฐ์ด๋ ์ธํ๋ผ์คํธ๋ญ์ฒ ์๋น์ค์์ ํตํฉ๊ณผ ํจ๊ป, ๋งค๋์ง๋ ์นดํ์นด ์๋ฃจ์ ์ ์ ๊ณตํ๋ ๋ฐ ์ด์
- ์ปจํ๋ฃจ์ธํธ์ ์คํค๋ง ๋ ์ง์คํธ๋ฆฌ์ REST ํ๋ก์ ์ญ์ ์ฌ์ฉํ ์ ์๋๋ก ์ง์
- ์ปจํ๋ฃจ์ธํธ ์ธก์ ๋ผ์ด์ ์ค ๋ณ๊ฒฝ์ผ๋ก ์ธํด 5.0 ๋ฒ์ ๊น์ง๋ง ์ง์
- AWS์ ๊ตฌ๊ธ ํด๋ผ์ฐ๋ ํ๋ซํผ์์ ์ฌ์ฉ ๊ฐ๋ฅ
- Confluent Cloud: Fully Managed Kafka as a Cloud-Native Service
- ์ฌ๋ฌ ํ์ ํด๋ค(์คํค๋ง ๊ด๋ฆฌ, ํด๋ผ์ด์ธํธ, REST ์ธํฐํ์ด์ค, ๋ชจ๋ํฐ๋ง)๊ณผ ํจ๊ป ์ ๊ณต
- 3๊ฐ ์ฃผ์ ํด๋ผ์ฐ๋ ํ๋ซํผ(AWS, Microsoft Azure, Google Cloud Platform) ๋ชจ๋์์ ์ฌ์ฉ ๊ฐ๋ฅ
- ์ปจํ๋ฃจ์ธํธ์์ ์ผํ๊ณ ์๋ ์๋น์์ ์ํ์น ์นดํ์นด ์ฝ์ด ๊ฐ๋ฐ์๋ค์ ์ํ ์ง์ ์ ๊ณต
- ์คํค๋ง ๋ ์ง์คํธ๋ฆฌ์ REST ํ๋ก์์ ๊ฐ์ด ํ๋ซํผ์ ํฌํจ๋์ด ์๋ ๋ง์ ์ปดํฌ๋ํธ๋ค์ ๋ช๋ช ํ์ฉ ์ฌ๋ก๋ฅผ ์ ํํ๋ ์ปจํ๋ฃจ์ธํธ ์ปค๋ฎค๋ํฐ ๋ผ์ด์ ์ค ํ์ ๋จ๋ ์ผ๋ก ์ฌ์ฉ ๊ฐ๋ฅ
- ์นดํ์นด ์คํธ๋ฆผ์ฆ All stream threads have died. ์ค๋ฅ ํด๊ฒฐ ๋ฐฉ์
- REACTIVE STREAMS FOR APACHE KAFKA
- This is a Kafka-Storm-Esper example on vagrant
- kafka๋ฅผ ์ฌ์ฉํ ๋ Producer.send ํด์ stream์ ์ ๋ฌํ๋๋ฐ, legacy์์คํ ์์ ๋ณ๋์ ์ฝ๋ฉ์ ํตํด์ ๊ตฌํํด์ผ ํ๋ ๊ฒ์ธ์ง => kafka๋ฅผ ์ฌ์ฉํ ๋ ๋ณดํต producer, consumer๋ฅผ ๊ตฌํํ๋ค. kafka - storm์ ์ฌ์ฉํ ๋ kafkaspout๋ consumer ์ญํ ์ ํ๋ค.
- KafkaSpout์์ ์์ฑ๋ stream์ด storm์ Bolt๋ก ๋ค์ด์ฌ ๋ ์ด๋ป๊ฒ ๋๋ฒ๊น ์ด ๊ฐ๋ฅํ ์ง => ์๊ฒฉ ๋๋ฒ๊น ์ ์๊ณ -Dstorm.log.dir๋ฅผ ํตํ ๋ก๊ทธํ์ผ๋ก ๋๋ฒ๊น ํ๋ค.
- bolt๋ก ๋์ด์จ ์ค๋ณต๋ stream์ ์ด๋ป๊ฒ uniqueํ ๋ฐ์ดํฐ๋ก ์ฒ๋ฆฌ ๊ฐ๋ฅํ ์ง => uniqueํ ๋ฐ์ดํฐ ์ฒ๋ฆฌ๋ฅผ ์ํด์ trident๋ฅผ ์ฌ์ฉํ๋ฉฐ, trident๋ storm์ ๊ตฌํ์ ์ง์ํ๋ (aggregation ๋ฑ) ์ญํ ์ ํ๋ค. -> esper๋ก group by ๋ฑ์ ์ฟผ๋ฆฌ๋ฌธ์ ๋ง๋ค ์ ์๋๋ฐ trident์ ์ญํ ์ถฉ๋์ด ์์ง ์์๊น ์ถ์ง๋ง, trident๋ฅผ ํตํด uniqueํ ๋ฐ์ดํฐ๋ฅผ ๋ฐ์ esper๋ก ์ฟผ๋ฆฌ๋ฌธ์ ๋๋ฆด ์ ์์ง ์์๊น ์ถ๋ค.
- kafka ๋์ ์ zmq๋ก ์ฐ๋ํ ๋ ์์๋๋ ๋ฌธ์ ์ ์ด ์๋์ง. zmq์ kafka ๋ชจ๋ ํ ์ญํ ์ ํ๋ฏ๋ก ํน๋ณํ ์ด์ ๊ฐ ์๋ค๋ฉด zmqspout๋ฅผ ํ์ฉํ๋ ๊ฒ์ด ์ข๊ฒ ๋ค.
- Distributed, Real-time Joins and Aggregations on User Activity Events using Kafka Streams
- Tweeter: Processing Tweets with Kafka Streams
- ๋ด๋ถ ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ์ Kafka Streams ์ ์ฉํ๊ธฐ
- Quick Recipe for #Kafka Streams in #Clojure
- Perfecting Lambda Architecture with Oracle Data Integrator (and Kafka / MapR Streams)
- MySQL ๋ฐ์ดํฐ๋ฒ ์ด์ค์ ๋ณ๊ฒฝ ๋ด์ฉ์ ์คํธ๋ฆผ์ผ๋ก ์บก์ฒํ๊ธฐ ์ํด Oracle Data Integrator, Apache Kafka / MapR Stream๋ฅผ ๊ตฌ์ฑํ๋ ๊ณผ์
- Streaming databases in realtime with MySQL, Debezium, and Kafka
- WePay์์ Debezium์ ์ฌ์ฉํ์ฌ Kafka๋ก ๋ฐ์ดํฐ๋ฅผ ์คํธ๋ฆฌ๋ฐํ๋ MySQL์ฉ ๋ฐ์ดํฐ ์บก์ฒ ์๋ฃจ์ ์ ์ฌ์ฉํ๋ ๊ฒ์ ๋ํ ๊ธฐ์ฌ
- Kafka + Spark-Streaming with Python์ผ๋ก ์ค์๊ฐ ๋ถ์์์คํ ๋ง๋ค๊ธฐ
- Kafka + Spark-Streaming with Python์ผ๋ก ์ค์๊ฐ ๋ถ์์์คํ ๋ง๋ค๊ธฐ(2)
- Reading data securely from Apache Kafka to Apache Spark
- Cloudera์์ ์ต๊ทผ Kafka์ ์ฐ๊ณ๋ Spark ์์ ์ ์ํธํ ๋ฐ ๊ถํ ๋ถ์ฌ๋ฅผ ์ ๊ณตํ๊ธฐ ์ํด Apache Kafka, Apache Spark, Apache Ranger๋ฅผ ํตํฉ
- ์ด๋ฅผ ์ด๋ป๊ฒ ๊ตฌํํ๊ณ ์ ์ด๋ฐ ์ค๊ณ๋ฅผ ํ๊ฒ๋์๋์ง ์ค๋ช
- Kafka Connect vs StreamSets: advantages and disadvantages?
- Kafka Connect ๋ฐ StreamSets ๋ฐ์ดํฐ ์์ง๊ธฐ ๋น๊ต ์ค๋ช
- Evolving Avro Schemas with Apache Kafka and StreamSets Data Collector
- Streamsets์ Dataflow Performance Blog์ ์ฌ๋ผ์จ ๋ด์ฉ
- Avro์ ์คํค๋ง ๋ฒ๋ฒ์ ์ ์ฅํ๊ธฐ ์ํด Confluent Schema Registry์ ๋๊ธฐํ์ ๋ํด ์ค๋ช
- Streamset์ ๋ฐ์ดํฐ ์์ง๊ธฐ ๋๊ตฌ๋ฅผ ์ฌ์ฉํ์ฌ schema-aware producer๋ฅผ ์ฌ์ฉํ์ฌ ๋ฐ์ดํฐ๋ฅผ serialize/deserialize ํ๋ ๋ฐฉ๋ฒ ์ค๋ช
- Performance Tuning of an Apache Kafka/Spark Streaming System - Telecom Case Study
- Apache Kafka, Spark Streaming ๋ฐ Apache Ignite (RDD์ ์บ์ฑ)์ ๊ด๋ จ๋ ์ค์ ์์ฉ ํ๋ก๊ทธ๋จ์ ์ฑ๋ฅ ํ๋
- Kafka ํํฐ์ ์ ์ฆ๊ฐ, RPC ์๊ฐ ์ด๊ณผ ์ค์ ์์ , Spark ๋ฐ Ignite ๋ฉ๋ชจ๋ฆฌ ๋ชจ๋ ์กฐ์ , ์ผ๊ด ์ฒ๋ฆฌ ๊ฐ๊ฒฉ ์์ ๋ฑ
- Build Services on a Backbone of Events
- Apache Kafka๊ฐ ๋จ์ํ ๋น ๋ฅธ ETL๋ณด๋ค ๋ ํ์ ์ ์ด๊ณ ์ข๋ค๊ณ ์ฃผ์ฅ
- ์คํธ๋ฆฌ๋ฐ, ์์ฉ ํ๋ก๊ทธ๋จ, ๋ฐ์ดํฐ๋ฒ ์ด์ค ๊ฐ์ ํตํฉ, ETL (์ค์ ์ง์ค์ ๋ชจ๋ ธ๋ฆฌ์ค๊ฐ ์๋) ๋ฐฐํฌ, ๊ท๋ชจ ๋ฐ ์์ ์ฑ ๋ฑ Kafka๊ฐ ์ ๊ณตํ๋ ์ฅ์ ์ ๊ฐ์กฐ
- Recent Evolution of Zero Data Loss Guarantee in Spark Streaming With Kafka
- Spark Streaming + Kafka Integration Guide (Kafka broker version 0.10.0 or higher)
- Getting Started with the Kafka Streams API using Confluent Docker Images
- Real-time Financial Alerts at Rabobank with Apache Kafkaโs Streams API
- Rabobank๊ฐ ๋ฉ์ธ ํ๋ ์์์ Apache Kafka(๋ค์ค ๋ฐ์ดํฐ ์ผํฐ ๋ฐฐํฌ ๋ฐ Kafka Streams๋ก ๊ตฌ์ถ)๋ก ๊ณ ๊ฐ ์๋ฆผ ์์คํ ์ ์ด๋ํ ์ฌ๋ก์ ๋ํด ์ค๋ช
- Real-Time Anomaly Detection Streaming Microservices with H2O and MapR โ Part 1: Architecture
- IOT ์ผ์ ๋ฐ์ดํฐ๋ฅผ ์คํธ๋ฆฌ๋ฐํ์ฌ ๋น์ ์ ์ํ๋ฅผ ๊ฐ์งํ๋ ์ํคํ ์ฒ์ ๋ํด ์๊ฐ
- Streaming Kafka Messages to MySQL Database flume๊ณผ์ ์กฐํฉ
- Integrating Kafka and Spark Streaming: Code Examples and State of the Game
- Spark Streaming with Kafka and Cassandra
- Ranking Websites in Real-time with Apache Kafkaโs Streams API
- ์ ๋ฝ ์ต๋์ ์จ๋ผ์ธ ํจ์ ์๋งค ์ ์ฒด์ธ Zalando์์ Apache Kafka๋ฅผ ์ฌ์ฉํ์ฌ ํจ์ ์น ์ฌ์ดํธ์ ์ ๋ณด๋ฅผ ์์ธํ๊ณ ์์๋ฅผ ๋งค๊ธฐ๋ ๋ฐฉ๋ฒ์ ๋ํด ์๊ฐ
- ์ด ์์คํ ์ HITS (Hyperlink Induced Topic Search) ์๊ณ ๋ฆฌ์ฆ์ ์ฌ์ฉํ๋ฉฐ Kafka ์คํธ๋ฆผ์ด ๊ธฐ๋ฐ
- Using Kafka Streams API for predictive budgeting
- lenses - a Streaming Data Management Platform for Apache Kafka
- How to explore data in Kafka topics with Lenses - part 1
- stream-reactor - Streaming reference architecture for ETL with Kafka and Kafka-Connect. You can find more on http://landoop.com on how we provide a unified solution to manage your connectors, most advanced SQL engine for Kafka and Kafka Streams, cluster monitoring and alerting, and more http://www.landoop.com/kafka/connectors
- Kafka & Redis Streams
- Migrating Batch ETL to Stream Processing: A Netflix Case Study with Kafka and Flink
- QCon New York 2017์์ Netflix์ ์คํธ๋ฆผ ์ฒ๋ฆฌ ์์คํ ์ ๋ํด ์๊ฐํ ๋ด์ฉ์ ์ค๋ช
- Apache Kafka, Apache Flink, Apache Mesos ๋ฑ์ผ๋ก ๊ตฌ์ถ
- ๋น๋์ค ์ฌ์ / ๊ฒ์ ์ด๋ฒคํธ์ ๋ฐ์ดํฐ๋ฅผ ๋ถ์
- Netflix๊ฐ ์ง๋ฉดํ ๋์ ๊ณผ์ ์ ๊ทธ๊ฒ์ ๋ฐ๋ผ ๊ตฌํ๋ ์ ๋ต์ ๋ํด์๋ ์ค๋ช
- Of Streams and Tables in Kafka and Stream Processing, Part 1 ์คํธ๋ฆผ๊ณผ ํ ์ด๋ธ์ ๋ํ ๊ฐ๋ ์ ์ค๋ช
- Kafka streams Java application to aggregate messages using a session window Java Kafka stream ๊ธฐ์ด ์์
- Neha Narkhede | Kafka Summit 2017 Keynote (Go Against the Flow: Databases and Stream Processing) KSQL demo
- Neha Narkhede | Kafka Summit 2018 Keynote (The Present and Future of the Streaming Platform) London
- Kafka Summit London
- Introducing Hortonworks Streams Messaging Manager (SMM)
- Apache Kafka ์ด์ ๊ด๋ฆฌ ๋๊ตฌ & API
- kafka์ 4๊ฐ์ง ์ํฐํฐ(producer, topic, broker, consumers)์ ๋ํ ๋ฉํธ๋ฆญ์ ๋ณด์ฌ์ฃผ๊ณ , ํ๋ ์ด์์ (Secure) Kafka cluster์ ๋ํ ํตํฉ ํ๋ซํผ๋ฟ๋ง ์๋๋ผ ๊ฐ ํด๋์ค์ ๋ํด REST API๋ฅผ ์ ๊ณต
- ์์ฌ ๊ฐ๋ฐ ์ ํ๊ตฐ์ธ Apache Atlas, Ranger, Ambari์ ๋์ ํธํ์ฑ
- Testing Kafka Streams Applications
- Kafka Streams for Stream processing A few words about how Kafka works
- Building Secure and Governed Microservices with Kafka Streams
- ํธ๋ญ ํ๋ฌผ ์ด์กํ์ฌ์์ ์ง์ค-์ด๋ฒคํธ ์ผ์ ๋ฐ์ดํฐ๋ฅผ ์บก์ฒํ๊ณ ๋ถ์ํ ์ ์๋ ์ ํ๋ฆฌ์ผ์ด์ ์ Kafka Streams๋ก ๋ง๋๋ ๋ฐฉ๋ฒ
- Learn kafka streams by making the tests pass
- Apache Kafka Streams๋ฅผ ๋ฐฐ์ธ ์ ์๋ ์ํฌ์
- Apache Kafka leaves the Zoo
- Using Graph Processing for Kafka Stream Visualizations)
- Making sense of Avro, Kafka, Schema Registry, and Spark Streaming
- Kafka Spark Streaming Integration in java from scratch | Code walk through - YouTube
- Streaming the last few minutes from Kafka using Akka Streams
- How to Test Kafka Streams Applications
- Streaming With Probabilistic Data Structures: Why & How | by Eliav Lavi | Riskified Technology | Oct, 2020 | Medium
- Batch to Real-Time Streams: 8 Years of Event Streaming with Apache Kafka
- ์นดํ์นด ์คํธ๋ฆผ์ฆ! ๋์ฉ๋, ํญ๋ฐ์ ์ธ ์ฑ๋ฅ์ ์ค์๊ฐ ๋ฐ์ดํฐ ์ฒ๋ฆฌ! - YouTube
- ์นดํ์นด ์คํธ๋ฆผ์ฆ์์ stateful window ์ฒ๋ฆฌ๋ฅผ ๋ค๋ฃจ๋ ๋ฐฉ๋ฒ ๊ทธ๋ฆฌ๊ณ ์ปค๋ฐํ์ด๋ฐ
- Kafka Streams 101 - Rock the JVM Blog
- Deep Dive into Apache Kafka: Your go-to Event Streaming Framework. | by Jay | Nov, 2021 | Medium
- Event Sourcing with Kafka Streams in Production โ Lessons Learned | by Nico | comsystoreply | Medium
- Hands-on Kafka Streams in Scala
- Streams and Monk โ How Yelp is Approaching Kafka in 2020
- brooklin - An extensible distributed system for reliable nearline data streaming at scale
- Open Sourcing Brooklin: Near Real-Time Data Streaming at Scale
- Kafka Connect + MirrorMaker์ ๋์์ผ๋ก ๊ฐ๋ฐ๋ ๋ฒ์ฉ Framework. Scalableํ ๋ฟ๋ง ์๋๋ผ Kafka ์ธ์๋ ๋ค์ํ Storage / Streaming System ์ง์
- ์์ฒด์ ์ธ Cluster๋ฅผ ์ค์ ํด์ผ ํ๋ฉฐ, 2019.07์ ๊ณต๊ฐ๋์ด ์๋ฃ ์ ๋ฌด
- monitoring ๋ฐฉ๋ฒ์ MirrorMaker 1/2์ ๋ง์ฐฌ๊ฐ์ง๋ก ๋ด๋ถ์ ์ผ๋ก kafka producer๋ฅผ ์ฌ์ฉํด ํด๋น process์ jmx๋ก ์ ์ํด producer sender metrics๋ฅผ ํ์ธ
- Debezium - Stream changes from your database
- debezium: Change data capture for a variety of databases. Please log issues at https://issues.redhat.com/browse/DBZ.
- How Debezium & Kafka Streams Can Help You Write CDC Solution Debezium๊ณผ Kafka๋ฅผ ์ฌ์ฉํ์ฌ MySQL๊ณผ MongoDB์์ ์ฐ์ฌ์ง ๋ฐ์ดํฐ๋ฅผ ์บก์ฒํ๋ ํ๋ซํผ์ ์ค์ ํ๋ ๋ฐฉ๋ฒ
- DevNation Live: Kafka and Debezium
- Change Data Streaming Patterns for Microservices with Debezium
- Using Debezium, CDC for Apache Kafka, with PostgreSQL and MongoDB โ Flant blog
- Practical Change Data Streaming Use Cases with Apache Kafka & Debezium
- Configuring Topic Auto-Creation with the Debezium UI - YouTube
- Hans-Peter Grahsl&Gunnar Morling - Dissecting our Legacy: The Strangler Fig Pattern with ... - YouTube
- Scheduling Millions Of Messages With Kafka & Debezium | by Elia Rohana | Yotpo Engineering | Medium
- Decaton Kafka๋ฅผ ์ด์ฉํ ์์ ํ ๋ผ์ด๋ธ๋ฌ๋ฆฌ 'Decaton' ํ์ฉ ์ฌ๋ก - LINE ENGINEERING
- kafka connect
- Integrate Apache Kafka and SAP with the Kafka Connect ODP Source Connector
- Kafka Connect S3 Source Connector
- Presto Kafka connector ๊ฐ์ ์คํจ๊ธฐ
- Splunking Kafka with Kafka Connect
- Kafka์์ Splunk๋ก ๋ฐ์ดํฐ๋ฅผ ์ ์กํ๊ธฐ ์ํ ์๋ก์ด Kafka Connect ํ๋ฌ๊ทธ์ธ์ ์ค๋ช (์ํคํ ์ฒ ๋ฐ ๋์์ธ ์ ํ ํฌํจ)
- Kafka Connect๋ฅผ ์ค์ ํ์ฌ Kafka topic์ Splunk Heavy Forwarder๋ก ๋ฐ์ดํฐ๋ฅผ ์คํธ๋ฆฌ๋ฐํ๋ ํํ ๋ฆฌ์ผ ํฌํจ
- The Simplest Useful Kafka Connect Data Pipeline In The World โฆ or Thereabouts
- Getting started with the Kafka Connect Cassandra Source Ladoop ์์ ์ ๊ณตํ๊ณ ์๋ Cassandra Source Connector ์ฌ์ฉํ์ฌ Kafka๋ก ์คํธ๋ฆฌ๋ฐ์ ์ค์ ํ๋ ๋ฐฉ๋ฒ ์๊ฐ
- Connecting Kafka to MinIO. How to connect data being distributedโฆ | by Alex | The Startup | Medium
- How to Write a Kafka Connector with Proper Configuration Handling
- kafka-connect-datagen: Connector that generates data for demos
- kafka-connect-web: Web tool for operating kafka connect https://hub.docker.com/r/officialkakao/kafka-connect-web
- Alpakka Kafka connector - Alpakka is a Reactive Enterprise Integration library for Java and Scala, based on Reactive Streams and Akka
- MirrorMaker2 kafka/connect/mirror at trunk ยท apache/kafka
- How to run Kafka Mirror Maker using Kerberos clusters
- MirrorMaker Performance Tuning Tuning Kafka for Cross Data Center Replication
- compression.type ์ง์
- Producer ์์ ์ฌ์ฉํ๋ฉด, Network BW ๋ฐ Broker๋จ์ CPU ์ ์ฝ
- ์ ํต์ ์ผ๋ก Kafka ํ๋ก์ ํธ ์์ ํ์ฌ๋์ด ์๋ ํด์ด์ง๋ง ์ค๊ณ๊ฐ ์ค๋๋์ scalableํ๊ฒ ๋์ํ์ง ์์ผ๋ฏ๋ก, ์ด์ง๊ฐํ ์ค๋๋ Cluster ๋ด์ฉ์ ์ฎ๊ธฐ๋ ๊ฒ ์๋๋ผ๋ฉด ๋น์ถ์ฒ
- Kafka Replication: The case for MirrorMaker 2.0
- MirrorMaker 1์ ๋์์ผ๋ก Cloudera ์์ง๋์ด๊ฐ ๊ฐ๋ฐ. 1๋ณด๋ค ํจ์ฌ ์ข์ง๋ง ์์ง ์ ์ ํ์ฌ๋ ๊ฒ ์๋๋ผ ๋ฌธ์ํ ๋ถ์กฑ
- MirrorMaker2 ๊ฐ release๋์์ต๋๋ค
- MirrorMaker2 ๋ง์ด๊ทธ๋ ์ด์
- kafka-spark-consumer High Performance Kafka Consumer for Spark Streaming. Now Support Spark 2.0 and Kafka 0.10
- Kafka Streams examples
- kafka-streams-viz - Kafka Streams Topology Visualizer
- KSQL
- Introducing KSQL: Open Source Streaming SQL for Apache Kafka
- spark streaming์ ๋์ฒด?
- Apache Kafka์์ SQL์ ์ฌ์ฉํ ์ ์๋ ์ธํฐํ์ด์ค๋ฅผ ์ ๊ณต
- Getting Started Analyzing Twitter Data in Apache Kafka through KSQL
- ํธ์ํฐ์ ์คํธ๋ฆฌ๋ฐ ๋ฐ์ดํฐ๋ฅผ KSQL์ ์ ์ด(predicate)๋ก ํํฐ๋งํ๊ณ ์๊ฐ๋น ์ฌ์ฉ์๋น ํธ์ ์๋ฅผ ๊ณ์ฐํ๋ ๋ฑ ์ง๊ณ๋ฅผ ์์ฑํ๋ ์์
- KSQL: Streaming SQL for Apache Kafka
- Taking KSQL for a Spin Using Real-time Device Data
- KSQL์ ์ฌ์ฉํ์ฌ ๊ฐ๋จํ ์คํธ๋ฆฌ๋ฐ ํ๋ก๊ทธ๋จ์ ๋ณด์ฌ์ฃผ๋ ํฌ์คํธ
- ์ ๋ ฅ์ด ๋๋ผ์ด๋น ๊ฒ์ ํธ๋ค์ ๋์งํธ ์ผ์ ๋ฐ์ดํฐ ์คํธ๋ฆผ
- Building a Microservices Ecosystem with Kafka Streams and KSQL
- ์นดํ์นด ์คํธ๋ฆผ์ ์ด์ฉํ ๋๊ธฐ์ ํธ๋์ญ์ ์์คํ ์ ๊ตฌ์ถํ๋ ์์
- ์ฌ์ด๋์นด ํจํด์ ํตํด ๋น JVM ์ธ์ด์ ๋ํด ํจํด์ ๊ตฌํํ๊ธฐ ์ํด KSQL์ ์ฌ์ฉํ๋ ๊ฐ๋ ์ธ๊ธ
- KSQL January release: Streaming SQL for Apache Kafka
- How to Write a User Defined Function (UDF) for KSQL
- ์์ง ์ฌ์ฉ์ ์ ์ ํจ์(UDFs)์ ๋ฐํ์ ๊ตฌ์ฑ์ ์ง์ํ์ง ์์ง๋ง ์ฌ์ฉ์ ํจ์๋ฅผ ์์ฑํ๊ณ ๋น๋ ๊ฐ๋ฅ
- KSQL in Action: Real-Time Streaming ETL from Oracle Transactional Data
- Secure Stream Processing with Apache Kafka, Confluent Platform and KSQL
- We โค syslogs: Real-time syslog Processing with Apache Kafka and KSQL
- Part 1: Filtering Syslog Apache Kafka Connect plugin์ ์ฌ์ฉํ์ฌ Avro log ํ์์ผ๋ก Kafka๋ก ๊ฐ์ ธ์จ ํ KSQL์ ์ฌ์ฉํ์ฌ ๋ถ์ํ๋ ๋ฐฉ๋ฒ์ ์ค๋ช
- Part 2: Event-Driven Alerting with Slack
- Part 3: Enriching events with external data
- MongoDB ๋ฐ์ดํฐ๋ฅผ ๊ฒฐํฉํ์ฌ Apache Kafka์ syslog ๋ฐ์ดํฐ์ KSQL์ ์ฌ์ฉํ์ฌ ์คํธ๋ฆฌ๋ฐ ์์ฉํ๋ก๊ทธ๋จ์ ๊ตฌ์ถํ๋ ๊ณผ์ ์ค๋ช
- ์๋ฆผ์ Slack, ์๊ฐํ ๋๊ตฌ๋ ES
- How to Build a UDF and/or UDAF in KSQL 5.0 KSQL 5.0์์ ์ฌ์ฉ์ ์ ์ ์ง๊ณ ํจ์๋ฅผ ์ฌ์ฉํ๋ ๋ฐฉ๋ฒ
- ATM Fraud Detection with Apache Kafka and KSQL
- Real-Time Sysmon Processing via KSQL and HELKโโโPart 1: Initial Integration
- HELK; ๋ณด์ ์ด๋ฒคํธ ๋ก๊ทธ๋ฅผ ๋ถ์ํ๊ธฐ ์ํด ํ์ค ELK๋ฅผ ํ์ฅํ ์คํ
- ์ด ๊ธ์์๋ KSQL์ ํตํด ์ถ๊ฐ ๋ถ์์ ํ๋ ๋ฐฉ๋ฒ์ ์ค๋ช
- Machine learning & Kafka KSQL stream processing โ bug me when Iโve left the heater on
- ์ํ์น ์นดํ์นด ํ ์คํธ์ฉ data generator ์๊ฐ - ksql-datagen
- KSQL - ํจ๊ณผ์ ์ด๊ณ ๊ฐ๋จํ ์คํธ๋ฆฌ๋ฐ ํ๋ก์ธ์ค SQL์์ง
- ksqlDB - The event streaming database purpose-built for stream processing applications
- Introducing KSQL: Open Source Streaming SQL for Apache Kafka
- mockedstreams - Scala DSL for Unit-Testing Processing Topologies in Kafka Streams
- Spark -> Spark
- ๋ฐ์ดํฐ์ ๋ฐฐ์น ์ฒ๋ฆฌ๋ฅผ ๋ชฉ์ ์ผ๋ก ๊ฐ๋ฐ๋ ๋ ๋ค๋ฅธ ์ํ์น ํ๋ก์ ํธ
- ๋ฐ์ดํฐ ์คํธ๋ฆผ์ ๋น ๋ฅธ ์๋๋ก ์คํ๋๋ ๊ทน์๋ฐฐ์น(microbatch) ๋จ์๋ก ์ฒ๋ฆฌ
- ๋๋ถ์ ์ง์ฐ์ด ๋ค์ ๋์ง๋ง, ๋ฐฐ์น๋ฅผ ์ฌ์ฒ๋ฆฌํ๋ ๊ฒ๋ง์ผ๋ก๋ ๊ฐ๋จํ๊ฒ ๋ด๊ณ ์ฅ์ฑ์ด ์ ๊ณต
- ๋๋ค ์ํคํ ์ฒ(Lambda architecture) ์ญ์ ์ฝ๊ฒ ๊ตฌํ ๊ฐ๋ฅ
- ๊ด๋ํ ์ปค๋ฎค๋ํฐ ์ง์ ์ญ์ ๊ฐ์
- stream-reactor Streaming reference architecture built around Kafka. http://datamountaineer.com/2016/01/12/streamliner
-
Apache Kudu as a More Flexible And Reliable Kafka-style Queue
-
#bbuzz 2016: Todd Lipcon - Apache Kudu (incubating): Fast Analytics on Fast Data
-
Apache Kudu 1.3.0 was released
- Apache Kudu 1.3.0 ๋ฆด๋ฆฌ์ฆ
- Kerberos ์ธ์ฆ, TLS๋ฅผ ์ฌ์ฉํ ์ํธํ ์ ์ก, coarse-grained authorization ๋ฑ ์๋ก์ด ๊ธฐ๋ฅ ์ถ๊ฐ
- LZ4 ์์ถ์ผ๋ก ์ ํํ๋ ๋ฑ ๋ช ๊ฐ์ง ์ต์ ํ ๊ธฐ๋ฅ ํฌํจ
-
kudu-master clustering
kudu-master \ --master_addresses=172.23.30.101,172.23.30.102,172.23.30.103 \ --fs_data_dirs=/data1/kudu/master/data \ --fs_wal_dir=/data1/kudu/master/wal \ --log_dir=/opt/log/kudu \ --raft_get_node_instance_timeout_ms=60000
- ์์ ๊ฐ์ด 3๋์ ๋์ฐ๋ฉด, /data1/kudu/master/data ํ์์ consensus๋ฅผ ๋ง์ถ๊ณ ๋ฆฌ๋๊ฐ ์ ์ถ๋ ํ์ ๋ณ๋์ 000000000000000000 ํ์ผ์ ์์ฑ
- ์ฑ๊ณต์ ์ผ๋ก ๋์์ง๊ณ ๋ ํ๋ก๋ ํด๋ฌ์คํฐ ๋ ธ๋๊ฐ ๊นจ์ ธ๋ ๋ค์ ๋์ธ๋ ์ค๋ฅ๊ฐ ๋ฐ์ํ์ง ์์
- ์ค๋ฅ ๋ฐ์ํ์์ ๋๋, /data1/kudu/master/data ์ /data1/kudu/master/wal ๋๋ ํ ๋ฆฌ ์ญ์ ํ ๋ค์ raft_get_node_instance_timeout_ms ๋ด์ ํด๋ฌ์คํฐ๋ฅผ ์ด๋ฃจ๋ IP์ ํ๋ก์ธ์ค๊ฐ ์คํ๋๋๋ก ํ๋ฉด ๋จ
-
Low latency high throughput streaming using Apache Apex and Apache Kudu
- Apache Kudu์ Apache Apex๋ฅผ ์ด์ฉํ ๊ณ ์ฑ๋ฅ ์คํธ๋ฆฌ๋ฐ์ฒ๋ฆฌ ๋ฐฉ์์ ๋ํด ์ค๋ช
-
A brave new world in mutable big data relational storage (Strata NYC 2017)
-
Kudu๋ฅผ ์ด์ฉํ ๋น ๋ฐ์ดํฐ ๋ค์ฐจ์ ๋ถ์ ์์คํ ๊ฐ๋ฐ
-
Guide to Using Apache Kudu and Performance Comparison with HDFS
-
Transparent Hierarchical Storage Management with Apache Kudu and Impala
- Apache Kudu ๋ฐ Impala๋ฅผ ์ฌ์ฉํ ๊ณ์ธต์ ์คํ ๋ฆฌ์ง ๊ด๋ฆฌ
- Apache Impala๋ฅผ Apache Kudu ๋ฐ Apache HDFS์ ์ ์ฅ๋ ๋ฐ์ดํฐ์ ํจ๊ป ์ฌ์ฉํ๋ ์ฌ๋ผ์ด๋ฉ ์๋์ฐ(sliding window) ํจํด
- ์ด๋ฌํ ํจํด์ ์ฌ์ฉํ๋ฉด ์ฌ๋ฌ ์คํ ๋ฆฌ์ง ๊ณ์ธต์ ์ด์ ์ ์ฌ์ฉ์์๊ฒ ํฌ๋ช ํ ๋ฐฉ์์ผ๋ก ๋ชจ๋ ๊ตฌํ ๊ฐ๋ฅ
- Apache Kudu๋ ๊ธ๋ณํ๋ ๋ฐ์ดํฐ๋ฅผ ๋น ๋ฅด๊ฒ ๋ถ์ํ ์ ์๋๋ก ์ค๊ณ. ๋ํ ๋น ๋ฅธ ์ธ์ํธ/์ ๋ฐ์ดํธ์ ํจ์จ์ ์ธ ์ด ๊ธฐ๋ฐ ์ค์บ์ ๊ฒฐํฉํ์ฌ ๋จ์ผ ์คํ ๋ฆฌ์ง ๊ณ์ธต์์๋ ๋ค์์ ์ค์๊ฐ ๋ถ์ ์ํฌ๋ก๋๋ฅผ ์ง์. ์ด๋ฌํ ์ด์ ๋๋ฌธ์ ์ธ์ ๋ ์ง ์ฟผ๋ฆฌ๋ฅผ ์คํํ ์ ์๋ ์ค์๊ฐ ๋ฐ์ดํฐ๊ฐ ์ ์ฅ๋๋ ์ฅ์๋ก์ ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ์ ๋งค์ฐ ์ ํฉ. ๋ํ ํ ์ ๋ฐ์ดํธ์ ํ ์ญ์ ๋ฅผ ์ค์๊ฐ์ผ๋ก ์ง์ํ์ฌ ์ง์ฐ ์์ ๋๋ ๋ฐ์ดํฐ ๋ฐ ๋ฐ์ดํฐ ๊ต์ ๋ ๊ฐ๋ฅ
- Apache HDFS๋ ๋ฎ์ ๋น์ฉ์ผ๋ก ๋ฌด์ ํ ํ์ฅ์ด ๊ฐ๋ฅํ๋๋ก ์ค๊ณ. ๋ฐ๋ผ์ ๋ฐ์ดํฐ ๋ณ๊ฒฝ์ด ๋ถ๊ฐ๋ฅํ ๋ฐฐ์น ์งํฅ ์ฌ์ฉ ์ฌ๋ก์ ์ต์ ํ. ๊ทธ ๋ฐ์๋ Apache Parquet ํ์ผ ํ์๊ณผ ์ฐ๊ฒฐํ ๊ฒฝ์ฐ ๋งค์ฐ ๋์ ์ฒ๋ฆฌ๋๊ณผ ํจ์จ์ฑ์ผ๋ก ์ ํ ๋ฐ์ดํฐ์ ์ก์ธ์ค ๊ฐ๋ฅ
- ์ฐจ์ ํ ์ด๋ธ์ฒ๋ผ ๋ฐ์ดํฐ๊ฐ ์๋์ด๋ฉด์ ๋์์์ด ๋ฐ๋๋ ์ํฉ์์๋ ๋ชจ๋ ๋ฐ์ดํฐ๋ฅผ Kudu์ ์ ์ฅํ๋ ๊ฒฝ์ฐ ๋ค์. ๋ฐ์ดํฐ๊ฐ Kudu์ ํ์ฅ ์ ํ์ ๋์ง ์๋๋ค๋ฉด ๋์ฉ๋ ํ ์ด๋ธ์ด๋ผ๊ณ ํด๋ Kudu์ ๊ณ ์ ๊ธฐ๋ฅ์ ์ด์ฉ ๊ฐ๋ฅํ๋ฏ๋ก Kudu์ ์ ์ฅ. ๋ฐ์ดํฐ๊ฐ ๋์ฉ๋์ด๊ณ , ๋ฐฐ์น ์งํฅ์ ์ด๊ณ , ๋ณ๊ฒฝ์ด ๋ถ๊ฐ๋ฅํ ๊ฒฝ์ฐ์๋ Parquet ํ์์ ์ฌ์ฉํด ๋ฐ์ดํฐ๋ฅผ HDFS์ ์ ์ฅํ๋ ๊ฒ์ด ์ข์. ๋ ์คํ ๋ฆฌ์ง ๊ณ์ธต์ ์ด์ ์ด ๋ชจ๋ ์ํ๋ค๋ฉด ์ฌ๋ผ์ด๋ฉ ์๋์ฐ ํจํด์ด ํจ๊ณผ์ ์ธ ์๋ฃจ์
-
kuduraft: A Raft Library in C++ based on the Raft implementation in Apache Kudu
- Building and deploying MySQL Raft at Meta - Engineering at Meta
- Facebook์ด semisynchronous ๋ณต์ ํ๋กํ ์ฝ์ ์ด์ฉํด์ ๋ค๋ฅธ ๋ฆฌ์ ์ ๋ณต์ ๋ณธ์ ์ด์ฉํ๊ณ ์์์ผ๋ ๊ตฌ์ฑ๋ ๋ณต์กํ๊ณ ๊ด๋ฆฌ๊ฐ ์ด๋ ค์์ ๋ง์ ๋ฌธ์ ๋ฅผ ์ผ์ผํจ๋ค๋ ๊ฒ์ ๊นจ๋ซ๊ณ Raft ํฉ์ ์๊ณ ๋ฆฌ์ฆ ๋์
- Apache Kudu๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํ MySQL์ฉ Raft ๊ตฌํ์ธ kuduraft๋ฅผ ์คํ์์ค๋ก ๊ณต๊ฐ
- ํ๋ผ์ด๋จธ๋ฆฌ๊ฐ Raft๋ก binlog์ ์ฐ๊ณ Raft๊ฐ binlog๋ฅผ ํ๋ก์ด/๋ฆฌํ๋ฆฌ์ผ์ดํฐ์ ์ ์ก
- MySQL Raft๋ฅผ ํตํด MySQL ์๋ฒ๊ฐ ํ๋ก๋ชจ์ ๊ณผ ๋ฉค๋ฒ์ญ์ ์ฒ๋ฆฌํ๋๋ก ํ๊ธฐ ๋๋ฌธ์ ์ด์์ ์ด๋ ค์ ํฌ๊ฒ ๊ฐ์
- Building and deploying MySQL Raft at Meta - Engineering at Meta
- Kylin Extreme OLAP Engine for Big Data
- ๋น ๋ฐ์ดํฐ ๋ค์ฐจ์ ๋ถ์ ํ๋ซํผ, Kylin
- Apache Kylin 2.2.0 is released
- Apache Ranger๋ฅผ ์ฌ์ฉํ์ฌ ํ ์ด๋ธ ๋ ๋ฒจ์์ ACL์ ๊ด๋ฆฌํ๋ ๊ธฐ๋ฅ ๋ฑ์ด ํ์ฌ
- Using Hue to interact with Apache Kylin in your cluster or on AWS Hue์์ JDBC ๋๋ผ์ด๋ฒ๋ฅผ ํตํด Apache Kylin์ ์กฐํํ ์ ์๋ ๋ฐฉ๋ฒ์ ์ค๋ช ํฉ๋๋ค. AWS EMR ํฌํจ
- Kyuubi Project Incubation Status - Apache Incubator
- distributed multi-tenant Thrift JDBC/ODBC server for large-scale data management, processing, and analytics, built on top of Apache Spark and designed to support more engines (i.e., Apache Flink)
- Mesos
- Advanced Mesos Course
- Spark(1.2.1 -> 1.3.1) ์ ์ํ Mesos(0.18 -> 0.22.rc) - Upgrade
- mesos, omega, borg: a survey
- Mesos: A Platform for Fine-Grained Resource Sharing in the Data Center
- minmesos - Testing infrastructure for Mesos frameworks
- ๋ฉ์์ค(mesos) ๊ณต๋ถ
- Metron ๋ณด์์ ํฌ์ปค์ค๋ฅผ ๋ ๋ถ์ ์์คํ
- Nifi Apache nifi is an easy to use, powerful, and reliable system to process and distribute data
- NiFi๋ฅผ ์ด์ฉํ ๋น ๋ฐ์ดํฐ ํ๋ซํผ ๊ฐ์
- NSA์ Dataflow ์์ง Apache NiFi ์๊ฐ์ ์ค์น
- NiFi vs Falcon vs Oozie
- NiFi ์๊ฐ ๋ฐํ ์๋ฃ
- Introduction to Apache NiFi and Storm
- Apache NiFi 1.x Cheatsheet
- Apache NiFi์๋ ๋ง์ Processor๊ฐ ์์ด ์ด๋ค Processor๋ฅผ ์ฌ์ฉํด์ผ ํ ์ง ์ฐพ์์ผ ํ๋ ๊ฒฝ์ฐ๊ฐ ๋ง์๋ฐ, ๋ง์ด ์ฌ์ฉํ๋ Processor๋ฅผ ์๊ฐ
- NiFi์ Rest API์ ๋ํด์๋ ์ค๋ช
- NiFi User Interface Overview
- ์ค์๊ฐ Kafka consumer cluster๋ฅผ ๊ตฌ์ฑํ๋
- ๊ตฌ๋์๋ ๋น ๋ฅด๊ณ , ๋ชจ๋ํฐ๋ง ํธํ๊ณ , ๋ณต์กํ transform GUI๋ก ๊ด๋ฆฌํ๊ณ , partitioning๋ ์์์ ํ๋ค๋ ๊ธ์ ๋ดค์
- ๊ฐ๋จํ ์์ ์๋ ์ ํฉํ ๊น?
- Apache NiFi ์๊ฐ ๋ฐ Tensorflow ์ฐ๋
- HORTONWORKS DATAFLOW (HDF) 3.1 BLOG SERIES PART 5: INTRODUCING APACHE NIFI-ATLAS INTEGRATION Apache NiFi์ Apache Atlas๋ฅผ Hortonwork DataFlow์ ํตํฉํ์ฌ Kafka, Hive ๋ฑ์ ๋ฐ์ดํฐ๋ฅผ ์ถ์ ํ๋ ๋ฐฉ๋ฒ์ ๊ฐ๋ตํ๊ฒ ์ค๋ช
- Whatโs new in Hortonworks DataFlow (HDF) 3.2?
- Best practices for using Apache NiFi in real world projects - 3 takeaways
- PoC์์ ํ๋ก๋์ ํ๊ฒฝ ์ ์ฉ๊น์ง ํ์ํ ์ฌ๋ก ์๊ฐ
- Building an IIoT system using Apache NiFi, MiNiFi, C2 Server, MQTT and Raspberry Pi IoT์์ Apache NiFi๋ฅผ ํ์ฉํ๋ ์
- HDF/HDP Twitter Sentiment Analysis End-to-End Solution
- IoT with Apache MXNet and Apache NiFi and MiniFi
- Introduction to Apache NiFi dws19 DWS - DC 2019
- Using Apache NiFi for Speech Processing: Speech to Text with Mozilla/Baidu's Deep Search in Tensorflow
- NiFi & NiFi Registry on the Google Cloud Platform with Cloud Source Repositories
- Building Data Pipelines on Apache NiFi with Python introduction์ธ๋ฐ ๋ด์ฉ์ด ์ ๋ง ํ๋ถํจ
- How Apache Nifi works โ surf on your dataflow, donโt drown in it
- Processing one billion events per second with NiFi
- NiFi as a Function in DataFlow Service - Cloudera Blog
- Introducing Apache Hadoop Ozone: An Object Store for Apache Hadoop
- Apache Hadoop Ozone ์๊ฐ. ํ๋ก ์ ์ฅ์ ๋ ์ด์ด ์ต์๋จ. ์ผ๋ง ์ ์ํ ๋ฒ์ ๋ฆด๋ฆฌ์ฆ
- ๊ธฐ๋ณธ ์ปจ์
- SCALABLE
- Ozone is designed to scale to tens of billions of files and blocks and, in the future, even more
- Small files or huge number of datanodes are no longer a limitation
- CONSISTENT; Storage Layer uses RAFT protocol for consistentency
- CLOUD-NATIVE; Hadoop Ozone is designed to work well in containerized environments like YARN and Kubernetes
- SCALABLE
- Apache Hadoop Ozone โ Object Store Architecture
- One billion files in Ozone
- Parquet
- Using Apache Parquet at AppNexus
- Dremel made simple with Parquet
- Benchmarking Apache Parquet: The Allstate Experience
- fastparquet - A Python interface to the Parquet file format
- Sorting and Parquet
- Apache Parquet๋ก ์ง๋ ฌํํ๊ธฐ ์ ์ ๋ฐ์ดํฐ๋ฅผ ์ ๋ ฌํ๋ฉด ์ฟผ๋ฆฌ ์ฑ๋ฅ์ด ํฌ๊ฒ ๋ฌ๋ผ์ง ์ ์์
- ์ด ๊ธ์์๋ ๊ทธ ์ด์ ๋ฅผ ์ค๋ช ํ๊ณ ์ ๋ ฌํ column์ ํ์ ํ๋ ๋ฐฉ๋ฒ์ ๋ํ ์์ด๋์ด ์ ๊ณต
- Parquet Internal Part 1. Google Dremel(1)
- ๐ฒParquet(ํ์ผ์ด)๋? ์ปฌ๋ผ๊ธฐ๋ฐ ํฌ๋งท ์ฅ์ /๊ตฌ์กฐ/ํ์ผ์์ฑ ๋ฐ ์ด๊ธฐ
- Working with Data in a Connected World - Clair J. Sullivan | PyData Global 2021 - YouTube
- One Stone, Three Birds: Finer-Grained Encryption @ Apache Parquetโข
- Phoenix High performance relational database layer over HBase for low latency applications
- Apache Phoenix Joins Cloudera Labs
- Apache Phoenix: Use Cases and New Features
- HBase + Phoenix๋ฅผ ํ์ฉํ์ฌ Timeseries DB๋ก ์ฌ์ฉํ๋๋ก ํ๋ Argus, ACID Transaction ์ด ๊ฐ๋ฅ์ผ ํ๋ Apache Tephra, Cost bases Query Optimizer์ธ Apache Calite ํ์ฉ ์ฌ๋ก ์๊ฐ
- The Apache Software Foundation: Column Mapping and Immutable Data Encoding of Apach Phoenix 4.1
- Apache Phoenix 4.10 ๋ฆด๋ฆฌ์ฆ
- ์๋ก์ด ๊ธฐ๋ฅ์ธ ์ปฌ๋ผ ๋งคํ๊ณผ ๋ณ๊ฒฝ ๋ถ๊ฐ ๋ฐ์ดํฐ ์ธ์ฝ๋ฉ ๊ธฐ๋ฅ์ ์๊ฐ
- TPC-H benchmark์์ผ๋ก ์๋ ํฅ์ ๋ฐ ๊ณต๊ฐ ์ ์ฝ ํจ๊ณผ๊ฐ ์๋น
- Apache Spark Plugin
- 3 Steps for Bulk Loading 1M Records in 20 Seconds Into Apache Phoenix Apache Spark๋ฅผ ์ฌ์ฉํ์ฌ Apache HBase ๋ฐ Apache Phoenix์ ํธํํ๋ HFile์ ์์ฑํ๋ ๋ฐฉ๋ฒ ์ค๋ช
- Apache Phoenix for CDH
- Pig
- A Simple Explanation of COGROUP in Apache Pig
- practice - gist.github.com/hyunjun/55f83bfd91e2b1e24f46
- hug number of part files
- Hadoop Tutorial: Pig Part 2 -- Joining Data Sets and Other Advanced Topics
- Hadoop Pig Tutorial
- Apache Pinotโข (Incubating): Realtime distributed OLAP datastore | Apache Pinotโข (Incubating)
- Introducing Apache Pinot 0.5.0. We are excited to announce that Apacheโฆ | by Ting Chen | Apache Pinot Developer Blog | Sep, 2020 | Medium
- Intro to Apache Pinot - YouTube
- What is Apache Pinot? (and User-Facing Analytics) | A StarTree Lightboard by Tim Berglund - YouTube
- Uber Freight Carrier Metrics with Near-Real-Time Analytics | Uber Blog
- An Intro to Realtime Distributed Datastores with Apache Pinot โข Tim Berglund โข CodeCrafts 2022 - YouTube
- PredictionIO
- incubator-predictionio - PredictionIO, a machine learning server for developers and ML engineers. Built on Apache Spark, HBase and Spray. http://prediction.io
- Apache Pulsar ๊ธฐ์กด์ ๋ฉ์์ง/์คํธ๋ฆฌ๋ฐ ์์คํ ์ ๋จ์ ์ ๋ณด์ํ๊ธฐ ์ํด Yahoo์์ ์์๋ ๋ถ์ฐํ pub-sub ์์คํ
- Geo-replication in Apache Pulsar
- part 1: concepts and features
- part 2: patterns and practices
- Apache Pulsar๋ฅผ ์ฌ์ฉํ์ฌ cross-data center replication๋ฅผ ์ํํ๋ ๋ฐฉ๋ฒ์ ๋ํด ์ค๋ช
- ๋ณต์ ๋ฅผ ์ค์ ํ๋ ๋ฐ ํ์ํ ๋ช ๋ น, ์์ฉ ํ๋ก๊ทธ๋จ๋ณ๋ก ์ฌ์ ์ํ๋ ๋ฐฉ๋ฒ, ๋ชจ๋ํฐ๋ง ๋ฐฉ๋ฒ, ๋ณต์ ๋์ญํญ์ ์ ํํ๋ ๋ฐฉ๋ฒ ๋ฑ์ ๋ํด ์ค๋ช
- Comparing Pulsar and Kafka: how a segment-based architecture delivers better performance, scalability, and resilience
- Querying Data Streams with Apache Pulsar SQL
- Apache Pulsar๋ฅผ ํตํด ์คํธ๋ฆฌ๋ฐ ๋ฐ์ดํฐ๋ฅผ SQL๋ก ์กฐํํ๋ ์ํคํ ์ฒ, ์ฑ๋ฅ, ๋ฆฌ๋ทฐ ํฌํจ
- Apache Pulsar. MacOS installation Guide
- Apache Pulsar Using Java
- Rendezvous Architecture for Data Science in Production
- Apache Pulsar as One Storage System for Both Real-time and Historical Data Analysis
- Pulsar vs. Kafka โ Part 1 โ A More Accurate Perspective on Performance, Architecture, and Features
- Event-driven railway network based on Pulsar - I'm Pavels, welcome! scala
- Scale By The Bay 2020: Keynote: Karthik Ramasy, Apache Pulsar @ Splunk - YouTube
- Event Streaming with Apache Pulsar and Scala - Rock the JVM Blog
- Event Streaming in the Cloud Native World with Apache Pulsar by Mary Grygleski - YouTube
- Apache Pulsar Tutorial with Scala - YouTube
- Ranger
- ITโS MORPHING TIME: APACHE RANGER GRADUATES TO A TOP LEVEL PROJECT โ PART 2
- Apache ํ ๋ ๋ฒจ ํ๋ก์ ํธ๋ก ์น๊ฒฉ๋ Apach Ranger์ ๋ํ Key Feature ์๊ฐ
- ์์ฑ ๊ธฐ๋ฐ์ ์์ธ์ค ์ ์ด, ์ ์ฑ ์์ง, ํ๋์จ์ด ๊ด๋ฆฌ ๋ชจ๋ค๊ณผ ๊ฒฐํฉํ ์ ์๋ ํค ๊ด๋ฆฌ ์๋น์ค ๋ฑ์ ํฌํจ
- INTRODUCING ROW/ COLUMN LEVEL ACCESS CONTROL FOR APACHE SPARK
- Hortonworks์์ Apache Ranger๋ฅผ ํตํด Hive ๋๋ Apark SQL์์ ํ๋ ฌ ์์ค์ ๋ฐ์ดํฐ ์์ธ์ค ๋ฐ ๋ฐ์ดํฐ ๋ง์คํน์ ์ง์ํ๋ ๋ฐฉ๋ฒ์ ๊ฐ๋จํ ๋ฐ๋ชจ์ ํจ๊ป ์ค๋ช
- Apache Ranger Vs Sentry Hadoop ์์ฝ์์คํ ๋ค์ ๋ํ ์ธ์ฆ๊ณผ ์ฌ๋ฌ ๋ณด์ ๊ธฐ๋ฅ์ ์ ๊ณตํ๋ Apache Ranger์ Apache Sentry์ ๋ํด ๋น๊ต ์ค๋ช
- Samza
- ์นดํ์นด๋ฅผ ์ํด ์ค๊ณ๋ ์คํธ๋ฆผ ์ฒ๋ฆฌ ํ๋ ์์ํฌ
- ์นดํ์นด ์คํธ๋ฆผ์ฆ๋ณด๋ค ๋ ์ค๋๋๊ธด ํ์ง๋ง, ๊ฐ๋ฐํ์ ์๋น์๊ฐ ๊ฒน์น๊ธฐ ๋๋ฌธ์ ๋์ ๋ง์ ๊ฐ๋ ๋ค์ ๊ณต์
- ๋จ, ์นดํ์นด ์คํธ๋ฆผ์ฆ์๋ ๋ฌ๋ฆฌ ์ผ์๋ YARN์์ ๋์๊ฐ๋ฉฐ, ์ ํ๋ฆฌ์ผ์ด์ ์ด ๋์ํ ์ ์๋ ์์ ํ ํ๋ ์์ํฌ๋ฅผ ์ ๊ณต
- REAL-TIME FULL-TEXT SEARCH WITH LUWAK AND SAMZA
- Apache Kafka, Samza, and the Unix Philosophy of Distributed Data
- Concourse: Generating Personalized Content Notifications in Near-Real-Time
- LinkedIn์ ๊ฐ์ธํ๋ ์๋ฆผ ์์คํ ์ธ Concourse์ ๋์์ธ์ ๋ํด ์๊ฐ
- Apache Kafka์ Apache Samza์ ๊ธฐ๋ฐํ ๋ฐฐ์น ์์คํ ์ ์ฌ์ฉ
- ์ฒ๋ฆฌ๋์ ํฅ์์ํค๊ธฐ ์ํด ๋ฐ์ดํฐ ์ฒ๋ฆฌ๋ ๊ฐ ๋ฐ์ดํฐ์ผํฐ์์ ํ๋๋ก ์ค๊ณ
- incubator-seatunnel: SeaTunnel is a distributed, high-performance data integration platform for the synchronization and transformation of massive data (offline & real-time)
- Apache SeaTunnel - ๋ถ์ฐ, ๊ณ ์ฑ๋ฅ ๋ฐ์ดํฐ ํตํฉ ํ๋ซํผ | GeekNews
- Apache ShardingSphere
- ์ฃผ๋ฌธ์๋น์ค ShardingSphere-Proxy ๋์ ๊ธฐ. ์๋ ํ์ธ์. ์๊ธฐ์ R&D Center์์ ์ฃผ๋ฌธ ์๋น์ค์ธโฆ | by Byeongcheol Kim | Jan, 2023 | YOGIYO Tech Blog - ์๊ธฐ์ ๊ธฐ์ ๋ธ๋ก๊ทธ
- SINGA a general distributed deep learning platform for training big deep learning models over large datasets
- Slider Project Incubation Status - Apache Incubator
- DEVIEW 2018 :: C3, ๋ฐ์ดํฐ ์ฒ๋ฆฌ์์ ์๋น๊น์ง ๊ฐ๋ฅํ ํ๋ก ํด๋ฌ์คํฐ
- Spot ๋คํธ์ํฌ ๋ฐ์ดํฐ๋ฅผ ๋ถ์ํ์ฌ infosec ์ํ์ ํ์งํ๋๋ฐ ์ฌ์ฉ
- Apache Spot (incubating) and Cloudera on AWS in 60 Minutes
- Apache Kafka(์ฒ๋ฆฌ์ฉ), Apache Spark(์ฒ๋ฆฌ ๋ฐ ML ๋ถ์์ฉ), Apache Hadoop(์ฒ๋ฆฌ ๋ฐ ์ ์ฅ์ฉ) ๋ฑ์ ๊ธฐ๋ฐ์ผ๋ก ํ Apache Spot์ ์ํคํ ์ฒ ์๊ฐ
- Spot์ ํ์ผ ์์คํ ์ ๋ณ๊ฒฝ ์ฌํญ์ ๊ฐ์งํ๊ณ ์ด๋ฒคํธ๋ฅผ ๋ฐ์์ํค๋ Python Watchdog ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ์ฌ์ฉ
- An HDFS Tutorial for Data Analysts Stuck With Relational Databases PostgreSQL to HDFS
- SQOOP์ผ๋ก MYSQL ๋ฐ์ดํฐ ๊ฐ์ ธ์ค๊ธฐ
- How to Convert Apache Sqoopโข Commands Into StreamSets Data Collector Pipelines
- Streamsets์ Dataflow Performance Blog์ ์ฌ๋ผ์จ ๋ด์ฉ
- Apache Sqoop์ ๋์ฒดํ๊ธฐ ์ํ ๋ง์ด๊ทธ๋ ์ด์ ๋ฐฉ๋ฒ ๋ฐ ๊ณ ๋ ค ์ฌํญ์ ๋ํด ๊ฐ๋จํ๊ฒ ์ค๋ช
- Using Sqoop to Import Data from MySQL to Cloudera Data Warehouse
- An in-depth introduction to SQOOP architecture
- Apache Storm์ ์ด์ฉํ ์ค์๊ฐ ๋ฐ์ดํ ์ฒ๋ฆฌ
- Scaling Apache Storm - Strata + Hadoop World 2014
- ์ฃผ๋์ด ๊ฐ๋ฐ์์ storm kafka ์์ํ๊ธฐ
- Real-Time Analytics with Apache Storm
- ๋์ฉ๋ ์คํธ๋ฆฌ๋ฐ ๋ฐ์ดํฐ ์ค์๊ฐ ๋ถ์
- Reading and Understanding the Storm UI
- Introduction to Apache NiFi and Storm
- Superset a data exploration and visualization web application
- Supercharging Apache Superset | by Airbnb | Airbnb Engineering & Data Science
- Use Apache Superset for open source business intelligence reporting | Opensource.com
- SystemML Apache Spark์ Apache Hadoop์ ํ์ฅํ๊ธฐ ์ํด ๋น๋๋ machine learning ๋ผ์ด๋ธ๋ฌ๋ฆฌ
- IBM's SystemML Machine Learning - Now Apache SystemML
- The Apache Software Foundation Announces Apacheยฎ SystemMLโข as a Top-Level Project
- Tajo
- Introduction to Apache Tajo
- ๋๊ตฌ๋ ๋ฐ๋ผํ ์ ์๋ Tajo ์์ํ๊ธฐ : How to install Apache Tajo
- ์์ฆ์นด๋ฐ์ผ๋ก ํ์กฐ ์ํฌํ๋ก์ฐ ๊ตฌ์ฑํ๊ธฐ : How to schedule Tajo Job using Azkaban
- Collaborate Apache Tajo + Elasticsearch
- ์ํ์น ํ์กฐ(Apache Tajo)๋ฅผ ์ด์ฉํ ์ฝํธํธ(Cohort) ๋ถ์
- ์ํ์น ํ์กฐ (Apache Tajo) ํ๊ธ ๋ฌธ์ ํ๋ก์ ํธ ๋ฆฌ์์ค ๋ฐ ์งํ ๊ณต์
- Big data analysis with R and Apache Tajo (in Korean)
- Tajo Seoul Meetup July 2015 - What's New Tajo 0.11
- Apache Tajo ๋ฐ์คํฌํ + Zeppelin ์ฐ๋ ํ๊ธฐ
- Expanding Your Data Warehouse with Tajo
- AWS + Tajo๋ฅผ ์ด์ฉํ 'ํ ๋ผ ๋ ๋ก๊ทธ ๋ถ์ ์ด์ผ๊ธฐ'
- Python ์์ Tajo ์ฌ์ฉํ๊ธฐ
- MelOn ๋น ๋ฐ์ดํฐ ํ๋ซํผ๊ณผ Tajo ์ด์ผ๊ธฐ
- WEEX A framework for building Mobile cross-platform UIs
- Zookeeper
- Zoom: Reactive Programming with Zookeeper
- The Discovery of Apache ZooKeeperโs Poison Packet
- Mining Zookeeperโs transaction log to track down bugs
- Apache ZooKeeper Four Letter Words and Security
- Apache ZooKeeper์ ๋ค ๊ธ์ ๋จ์ด ์ง์(4lw)์ ๋ํ ๊ฐ๋ตํ ๋ด์ฉ
- ์ด๋ฌํ ๊ด๋ฆฌ ๋ช ๋ น์ ๊ฒฝ์ฐ ์ ์์ ์ธ ZK ํฌํธ๋ฅผ ํตํ ์ฐ๊ฒฐ๊ณผ ๊ฐ์ด ์ข์ ๋ณด์ ์๋ฃจ์ ์ด ์์
- ๋ค๋ฅธ ๋ฐฉ๋ฒ์ผ๋ก, ZooKeeper๋ JMX๋ฅผ ์ง์ํ๊ณ 3.5.x ๋ฆด๋ฆฌ์ค์์๋ ๋ณ๋์ ํฌํธ์ AdminServer๋ฅผ ์ ๊ณต
- Zookeeper ํด๋ฌ์คํฐ ๋ฐ ์ปจํธ๋กค๋ฌ ์ ์ถ :: ๋น๊ทผ์ผ์
- consul.io
- HashiCorp์ฌ์ Consul, Consul Template ์๊ฐ
- Real-time Service Configuration์ผ๋ก Consul์ ์ ์ฃผ์ ์๋น์ค์ ์ ์ฉํ ์ฌ๋ก
- Mitchell Hashimoto on Consul since 1.2 and its Role as a Modern Service Mesh
- Announcing HashiCorpโs Homebrew Tap
/usr/bin/consul-template -consul-retry-attempts=1 -template "./dynamic.ctmpl:./dynamic.conf" -config="/etc/consul.d/template/config.json" -once
template์์ conf๋ฅผ ์์ฑํ๋ ์