Review Tổng Quan Về Apache Spark Cho Hệ Thống Big Data, Apache Spark Fundamentals

Tìm hiểu Spark Tutorial về Các câu hỏi hay về Apache Spark này để hiểu thêm về Apache Spark trước mỗi cuộc phỏng vấn xin việc về phân tích dữ liệu

Xem nền tảng ĐƯỢC XẾP HẠNG TỐT NHẤT

Tiêu chuẩn kiểm tra thực tế tại BitDegree.org

Để đảm bảo mức độ chính xác cao nhất & thông tin cập nhật nhất,BitDegreethường xuyên được kiểm tra & xác minh thực tế bằng cách tuân theo các nguyên tắc biên tập nghiêm ngặt. Các quy tắc liên kết rõ ràng được tuân thủ để đáp ứng các tiêu chuẩn về uy tín tham chiếu.

Bạn đang xem: Tổng quan về apache spark cho hệ thống big data

Tất cả nội dung trên BitDegreeđáp ứng tiêu chuẩn sau:

1. Chỉ các nguồn có thẩm quyền như hiệp hội học thuật hoặc tạp chí mới được sử dụng để tham khảo nghiên cứu trong khi tạo nội dung.

2. Bối cảnh thực sự đằng sau mỗi chủ đề được đề cập phải luôn được tiết lộ cho người đọc.

3. Nếu có sự bất đồng lợi ích đằng sau một nghiên cứu được tham chiếu, người đọc phải luôn được thông tin.

Vui lòng liên hệ với chúng tôi nếu bạn tin rằng nội dung đó đã cũ, không hoàn chỉnh hoặc có vấn đề.

Laura M.

Nội dung

Kiến thức ban đầu về Spark

Các bạn có thể thấy rất nhiều câu hỏi có một công thức chúng – có thể là so sánh, định nghĩa hoặc dựa trên ý kiến, yêu cầu bạn cung cấp các ví dụ, v.v.

Thông thường nhất, bạn sẽ gặp các tình huống thực tế xảy ra trong công ty. Ví dụ, chẳng hạn một tuần trước cuộc phỏng vấn, công ty có một vấn đề lớn cần giải quyết. Vấn đề đó đòi hỏi một số kiến thức tốt về Apache Spark và cần một ai đó là chuyên gia về các câu hỏi phỏng vấn của Spark. Công ty đã giải quyết vấn đề, và sau đó trong cuộc phỏng vấn muốn hỏi bạn sẽ làm gì trong tình huống như thế. Trong kịch bản này, nếu bạn cung cấp một câu trả lời hữu hình, hợp lý và kỹ lưỡng mà không ai trong công ty có thể nghĩ đến, rất có thể bạn sẽ được cân nhắc uyển dụng.

Vậy ý ở đây chính là hãy chú ý đến những chi tiết nhỏ nhất. Những câu hỏi đầu tiên thuộc cấp độ giới thiệu không có nghĩa là chúng bị bỏ qua.

Câu hỏi 1: Spark là gì?

Điều đầu tiên có lẽ họ sẽ muốn biết bạn giải thích Spark là gì theo cách hiểu của bạn.

Đây là ví dụ tuyệt vời về Apache Spark cho dạng câu hỏi “dựa trên định nghĩa”. Đừng chỉ đưa ra một câu trả lời kiểu Wikipedia mà hãy cố gắng hình thành các định nghĩa bằng từ của riêng bạn. Điều này cho thấy bạn diễn đạt bằng suy nghĩ của mình, chứ không phải chỉ ghi nhớ từng từ của một định nghĩa chung chung như một robot.

Apache Spark là một framework nguồn mở được sử dụng chủ yếu phân tích Dữ liệu lớn, học máy và xử lý thời gian thực. Framework này cung cấp một giao diện đầy đủ chức năng cho các lập trình viên và nhà phát triển – giao diện này thực hiện rất tốt công việc hỗ trợ lập trình cụm phức tạp khác nhau và các nhiệm vụ học máy.

Câu hỏi 2: Một số tính năng nổi bật của Apache Spark là gì?

Đây là một trong những câu hỏi phỏng vấn Apache Spark dựa trên ý kiến nhiều hơn – bạn không cần liệt kê tất cả tính năng theo bảng chữ cái, hãy chọn một số trong đó và giải thích hay mô tả chúng.

Ví dụ, tôi đã chọn ba tính năng sau, ba tốc độ, hỗ trợ đa định dạng và các thư viện sẵn có.

Vì cần có một lượng mạng tối thiểu xử lý dữ liệu, công cụ Apache Spark có thể đạt được tốc độ đáng kinh ngạc, đặc biệt là khi so sánh với Hadoop.

Ngoài ra, Apache Spark hỗ trợ rất nhiều nguồn dữ liệu (vì nó sử dụng SparkSQL để tích hợp chúng) và có rất nhiều thư viện mặc định khác nhau mà các nhà phát triển Dữ liệu lớn có thể tận dụng.

Bạn có biết?

Câu hỏi 3: ‘’SCC’’ là gì?

Mặc dù từ viết tắt này ít được sử dụng (do đó dẫn đến các câu hỏi phỏng vấn Apache Spark khá khó), bạn vẫn có thể gặp một câu hỏi như vậy.

SCC là viết tắt của cụm từ ‘’Spark Cassandra Connector’’. Nó là một công cụ mà Spark sử dụng để truy cập thông tin (dữ liệu) trong các cơ sở dữ liệu Cassandra khác nhau.

Câu hỏi 4: ‘RDD’ là gì?

RDD là viết tắt của ‘’Resilient Distribution Datasets” (bộ dữ liệu phân phối khả năng phục hồi). Đây là các yếu tố hoạt động, khi được bắt đầu, chúng chạy song song với nhau. Có hai loại RDD đã biết – bộ sưu tập song song và bộ dữ liệu Hadoop. Nhìn chung, RDD hỗ trợ hai loại hoạt động – hành động và biến đổi.

Câu hỏi 5: ‘immutability’ là gì?

Như cái tên đã giải thích phần nào, khi một vật là bất biến, nó không thể bị thay đổi hoặc biến đổi theo bất kỳ cách nào một khi nó hoàn toàn được tạo ra và được gán giá trị.

Xem thêm: Whitelist Là Gì – định Nghĩa Và Giải Thích ý Nghĩa

Đây là một trong những câu hỏi phỏng vấn Apache Spark đòi hỏi sự chi tiết, bạn cũng có thể thêm theo mặc định, Spark (dưới dạng framework) có tính năng này. Tuy nhiên, điều này không áp dụng cho các quy trình thu thập dữ liệu – chỉ cho các giá trị được chỉ định mà thôi.

Câu hỏi 6: YARN là gì?

YARN là một trong những tính năng cốt lõi của Apache Spark, chủ yếu liên quan đến quản lý tài nguyên, nhưng cũng được sử dụng để vận hành trên các cụm Spark – điều này là do nó có thể mở rộng.

Câu hỏi 7:Ngôn ngữ lập trình nào được sử dụng phổ biến nhất trong Apache Spark?

Một ví dụ câu hỏi về Apache Spark mà bạn không cần động não quá nhiều. Mặc dù có rất nhiều nhà phát triển thích sử dụng Python, Scala vẫn là ngôn ngữ được sử dụng phổ biến nhất cho Apache Spark.

Câu hỏi 8: Có bao nhiêu trình quản lý cụm có sẵn trong Spark?

Theo mặc định, có ba trình quản lý cụm mà bạn có thể sử dụng trong Spark. Chúng tôi đã nói về một trong số chúng ở câu hỏi phỏng vấn Apache Spark trước đó – YARN. Hai trình còn lại là Apache Mesos và standalone deployments (các triển khai độc lập).

Câu hỏi 9: Trách nhiệm của công cụ Spark là gì?

Nhìn chung, công cụ Spark liên quan đến việc thiết lập, phân tán (phân phối) và sau đó là giám sát các bộ dữ liệu khác nhau trải rộng xung quanh các cụm khác nhau.

Câu hỏi 10: ‘lazy evaluations’ là gì?

Loại đánh giá này bị trì hoãn cho đến khi giá trị của vật trở nên cần thiết để được sử dụng. Hơn nữa, các đánh giá lười “lazy evaluations’’ chỉ được thực hiện một lần – không có đánh giá lặp lại.

Câu hỏi 11: Bạn có thể giải thích ‘’Polyglot’’ là gì, xét về khía cạnh Spark không?

Như đã đề cập, sẽ có một số điểm khi xem xét các câu hỏi phỏng vấn Apache Spark sẽ giúp bạn rất nhiều trong việc có được vị trí đó. Polyglot là một tính năng của Apache Spark cho phép nó cung cấp các API cấp cao bằng các ngôn ngữ lập trình Python, Java, Scala và R.

Câu hỏi 12: Lợi ích của Spark so với MapReduce là gì?

Spark nhanh hơn rất nhiều so với Hadoop MapReduce vì thực hiện xử lý nhanh hơn khoảng 10 đến 100 lần.Spark cung cấp các thư viện đính kèm để thực hiện nhiều nhiệm vụ từ cùng một lõi. Đó có thể là Steaming, học máy, xử lý hàng loạt, truy vấn SQL tương tác.Spark có khả năng thực hiện tính toán nhiều lần trên cùng một tập dữ liệu.Spark thúc đẩy bộ nhớ đệm và lưu trữ dữ liệu trong bộ nhớ và không phụ thuộc vào đĩa.

Câu hỏi 13: Nếu Spark tốt hơn MapReduce, vậy chúng ta không nên học MapReduce?

Việc biết thêm về MapReduce vẫn trở nên có giá trị khi trả lời các câu hỏi phỏng vấn về Apache Spark. Đây là một mô hình được sử dụng bởi nhiều công cụ dữ liệu bao gồm cả Spark. MapReduce trở nên đặc biệt quan trọng khi nói đến dữ liệu lớn.

Câu hỏi 14: Tính năng ‘Multiple formats’ là gì?

Tính năng này có nghĩa là Spark hỗ trợ nhiều nguồn dữ liệu như JSON, Cassandra, Hive và Parquet. API nguồn dữ liệu cung cấp một cơ chế có thể cắm để truy cập dữ liệu có cấu trúc qua Spark SQL.

Câu hỏi 15: Giải thích ‘Real-time Computation’

Apache Spark có một ’Tính toán thời gian thực’ và có độ trễ ít hơn vì tính toán trong bộ nhớ của nó. Nó đã được tạo ra với khả năng mở rộng lớn và các nhà phát triển đã ghi lại những người dùng của hệ thống đang chạy các cụm sản xuất với hàng ngàn nút và hỗ trợ một số mô hình tính toán.

Các câu hỏi đòi hỏi kinh nghiệm về Apache Spark

Đến điểm này của hướng dẫn Spark Tutorial, bạn đã biết thế Spark là gì và các dạng câu hỏi phỏng vấn Apache Spark như thế nào. Bây giờ hãy chuyển sang các câu hỏi khó hơn dành cho các nhà phát triển Dữ liệu lớn đã có kinh nghiệm.

Thực tế, các phiên bản nâng cao của những câu hỏi này sẽ gần giống với các câu hỏi cơ bản phía trên. Sự khác biệt duy nhất là các phiên bản nâng cao sẽ đòi hỏi một chút kiến thức và nghiên cứu nhiều hơn về Apache Spark.

Nếu bạn đã nghiên cứu Apache Spark khá nhiều, những câu hỏi này cũng sẽ không làm khó được bạn. Cho dù bạn chưa bắt đầu tìm hiểu về Apache Spark hay bạn đã là một chuyên gia về nó – những câu hỏi và câu trả lời phỏng vấn Apache Spark này cho phép các nhà phát triển có kinh nghiệm mở rộng và nâng cao kiến thức.

Câu hỏi 1: ‘partitions’ là gì?

Một partition (phân vùng) là một phần siêu nhỏ của một khối dữ liệu lớn hơn. Các phân vùng dựa trên logic – chúng được sử dụng trong Spark để quản lý dữ liệu sao cho đạt được mức tối thiểu của mạng.

Bạn cũng có thể thêm rằng quá trình phân vùng partitioning được sử dụng để lấy các phần dữ liệu nhỏ được đề cập trước đó từ các khối lớn hơn, do đó tối ưu hóa mạng để chạy ở tốc độ cao nhất có thể.

Câu hỏi 2: Spark Streaming được sử dụng làm gì?

Bạn cần chuẩn bị tốt với một vài câu hỏi phỏng vấn Apache Spark vì đây là một tính năng khá phổ biến của chính Spark.

Spark Streaming chịu trách nhiệm cho các quy trình truyền dữ liệu có thể mở rộng và không bị gián đoạn. Nó là một phần mở rộng của chương trình Spark chính và thường được sử dụng bởi các nhà phát triển và lập trình viên Dữ liệu lớn.

Câu hỏi 3: Chạy tất cả các quy trình trên một nút cục bộ có phải là bình thường không?

Câu trả lời là không. Đây là một trong những lỗi phổ biến nhất mà các nhà phát triển Apache Spark mắc phải – đặc biệt là khi họ mới bắt đầu. Bạn nên luôn luôn cố gắng phân phối luồng dữ liệu – điều này sẽ đẩy nhanh quá trình và làm cho quá trình nó trở nên trơn tru hơn.

Xem thêm: Iteration Là Gì – Chính Xác Thì Lặp, Lặp Và Lặp Là Gì

Câu hỏi 4: ‘SparkCore’ được sử dụng làm gì?

Một trong những câu hỏi phỏng vấn Apache Spark cần thiết và đơn giản. SparkCore là công cụ chính chịu trách nhiệm cho tất cả các quá trình xảy ra trong Spark. Hãy ghi nhớ điều này vì bạn sẽ không còn cảm thấy ngạc nhiên khi biết rằng nó có một loạt các nhiệm vụ – giám sát, quản lý bộ nhớ và lưu trữ, lên lịch nhiệm vụ, v.v…

Chuyên mục: Hỏi Đáp