Chức năng hệ thống

Khảo sát thông tin các video trong kênh
Phân tích thống kê dựa trên các thông tin đó

Mô hình hoạt động

Youtube crawler: tự động thu thập và làm sạch dữ liệu video trên kênh
Kafka: stream dữ liệu đổ về
Spark Streaming: consum data vào lưu trữ data stream vào HDFS
HDFS: Lưu toàn bộ dữ liệu
Spark: Xử lý dữ liệu để tối ưu cho phân tích
Superset: Phân tích và visualize dữ liệu qua Hive