Offline tháng 10/2014

Chủ nhật vừa qua ngày 26/10/2014, offline hàng tháng của Contanalytics team diễn ra, lần này diễn giả của chúng ta là anh Trịnh Nguyên Hoàng (Data Scientist tại Misfit Weareables).

Mở đầu buổi offline là phần giới thiệu của các bạn tham dự (trong lúc đợi diễn giả tới, và một số bạn đi trễ ^^), team rất vui được gặp các bạn đến từ trường ĐH Khoa Học Tự Nhiên, ĐH Kinh Tế, ĐH Công Nghệ Thông Tin và một số bạn đã đi làm.

Hình 1a: Các bạn tham dự

Hình 1b. Các bạn tham dự

Tiếp sau đó anh Hoàng chia sẻ rất nhiều kinh nghiệm thú vị khi làm việc tại Misfit Wearables  gồm có:

• Cách Misfit Shine (active tracking) hoạt động.
• Thu thập data từ Misfit Shine như thế nào?
• Phân tích data và những phát hiện thú vị từ accelerometer sensor.
• Cách tổ chức team Data Science.
• Cách các Data Scientists làm việc với nhau.

Sau đó anh chia sẻ về các nguyên tắc cơ bản để các bạn sinh viên có thể tiếp cận với Machine Learning và cuối cùng là phần hỏi đáp cùng diễn giả.

Hình 2. Anh Trịnh Nguyên Hoàng chia sẻ.

Tin vui: lần đầu tiên chương trình thực tập Big Data có các bạn thực tập viên hoàn thành 200 giờ. Hai cá nhân xuất sắc đó là bạn Nguyễn Hoàng Bảo Đại và Nguyễn Ngọc Tú. Thêm nữa team cũng chúc mừng bạn Hồ Phước Trúc đã hoàn thành 100 giờ thực tập. Anh Trần Hồng Hải (Giám Đốc công ty Contemi Việt Nam) đại diện trao giải cho các bạn.

Hình 3. Trao giải (từ trái qua phải: anh Hồng Hải, Bảo Đại, Phước Trúc, Ngọc Tú, Phương Dung)

Contanalytics team gửi lời cảm ơn chân thành tới anh Trịnh Nguyên Hoàng đã giành thời gian quý báu tới chia sẻ cùng các bạn, team cũng cảm ơn các bạn đã tới tham dự buổi offline lần này.

Hình 4: Anh Trần Hồng Hải đại diện team gửi lời cảm ơn và tặng quà cho anh Trịnh Nguyên Hoàng

PS: Team gửi lời xin lỗi đến các bạn vì buổi offline lần này không nói về Deep Learning như đã thông báo (do một số sơ sót khi trao đổi với diễn giả). Team hy vọng sẽ tổ chức buổi offline nói về chủ đề Deep Learning trong lần tới.

Kết thúc buổi offline, qua những chia sẻ từ anh Hoàng, team tin rằng những điều này sẽ tiếp tục truyền động lực cũng như đam mê tới các bạn với Big Data nói chung và Machine Learning nói riêng. Chúc các bạn thành công.

Hẹn gặp các bạn trong buổi offline lần tới.

 Thân mến,

Contanalytics team

Offline tháng 9/2014

Thứ 7 ngày 20/9/2014 Contanalytics team có buổi Offline định kỳ với chủ đề “Machine learning và Data Mining trong Big Data”. Lần này, các bạn thực tập viên chính là người chia sẻ những kinh nghiệm và những tìm tòi của bản thân trong quá trình thực tập, đây là một tín hiệu đáng mừng, vì sự mạnh dạn của các bạn. Mở đầu là phần giới thiệu các bạn tham dự:

Hình 1. Thời gian giới thiệu về bản thân của các bạn tham dự.

Một trong những câu hỏi lớn khi làm về Big Data đó là “làm sao để có data?”, vì vậy trước khi bắt đầu đi vào chủ đề chính bạn Trần Thanh Nam đã chia sẻ về kỹ thuật “crawl data” trên web, bước đầu mới chỉ là các kỹ thuật đơn giản để lấy các nội dung hiển thị trên một trang web, tuy nhiên đây cũng là một cách giúp các bạn có những “raw data” và tập tành phân tích những “raw data”này.

Hình 2: Bạn Thanh Nam chia sẻ về kỹ thuật crawl data

Tiếp nối sau khi đã có những “raw data” bạn Đỗ Thị Duyên chia sẻ về các kỹ thuật trong Data Preparation (một trong những giai đoạn quan trọng trong Data Mining).

Hình 3. Bạn Duyên chia sẻ về các kỹ thuật xử lý của Data Preparation

Sau đó là phần chia sẻ của bạn Nguyễn Dương Thâu về Mahout, đây là library của Java áp dụng các thuật toán Machine Learning trong Big Data. Ba nhóm thuật toán chính của Mahout đó là: Recommendation, Classification, Clustering. Để hiều cách hoạt động của thuật toán recommendation bạn Lư Vương Hữu Trọng demo về cách Mahout đề xuất các bộ phim mà bạn có thể xem dựa vào rating của các bộ phim mà bạn đã xem trước đó, và cách Mahout giải quyết bài toán Digit Recognizer, đây là một bài toán phân lớp (Classification) rất quen thuộc với các bạn. Ngoài ra quan trọng nhất Mahout có thể kết hợp với Hadoop để xử lý dữ liệu lớn.

Hình 4. Bạn Dương Thâu giới thiệu về Mahout.

Như thường lệ trong buổi Offline lần này Contanalytics team trao giải cho các các nhân hoàn thành 100 giờ, chúc mừng các bạn: Phạm Thành Công, Nguyễn Trí Luận Ngữ, Vũ Công Tấn Tài, Bùi Trọng Phú, Nguyễn Tài Tấn Lộc, Nguyễn Thị Kim Uyên.

Hình 5. Trao giải cho các bạn hoàn thành 100 giờ.

Phần cuối là thời gian hỏi đáp, anh Lê Vũ Hoàng trả lời thắc mắc của các bạn liên quan đến việc áp dụng Data Mining và Machine learning trong các công ty làm về Big Data như thế nào.

Hình 6. Anh Lê Vũ Hoàng giải đáp thắc mắc.

Kết thúc buổi Offline các bạn cùng nhau chụp chung một tấm hình kỷ niệm :)

Hình 7. Các bạn sinh viên tham dự

Cảm ơn các bạn đã tham gia buổi Offline lần này. Hẹn gặp lại các bạn ở buổi Offline sắp tới, hy vọng team sẽ có nhiều khám phá mới trong Big Data để cùng trao đổi, thảo luận với các bạn.

Thân mến,

Contanalytics team.

Offline tháng 8 với chủ đề “Intro to Hadoop, MapReduce and Demo”

Đến hẹn lại lên, ngày 23/08/2014 vừa qua  Contanalytics team đã tổ chức buổi offline định kỳ tháng 8. Buổi offline lần này có chủ đề “Intro to Hadoop, MapReduce and Demo” nhằm gỡ rối cho các bạn những khó khăn trong quá trình cài đặt, sử dụng Hadoop cũng như giúp các bạn hiểu rõ hơn về mô hình lập trình MapReduce.

Hình 1: Các thành viên tham gia buổi offline tự giới thiệu về bản thân

Anh Nguyễn Ngọc Tú đã giới thiệu về Hadoop, một công cụ hỗ trợ đắc lực cho việc xử lý dữ liệu lớn nhưng lại dường như còn rất mới ở Việt Nam.  Anh đã giới thiệu cặn kẽ chi tiết về lịch sử phát triển, các thành phần chính của Hadoop, cách thức hoạt động của Hadoop như thế nào. Sau đó, Anh Tú tiếp tục giới thiệu về mô hình lập trình MapReduce, một mô hình giúp xử lý tập hợp dữ liệu siêu lớn đặt tại các máy tính phân tán. Cuối cùng, anh đã Demo quy trình thực hiện của mô hình MapReduce và cách cài đặt công cụ Hadoop

Hình 2: Anh Tú giới thiệu về HDFS trong Hadoop

Hình 3: Anh Hoàng giải đáp các thắc mắc cho các bạn tham gia

Như thường lệ mỗi buổi offline,  Contanalytics team đều dành một khoảng thời gian để trao giải cho các bạn thực tập viên hoàn thành các mốc thời gian thực tập 100, 200, 300 giờ. Lần này, Contanalytics team chúc mừng 4 bạn thực tập viên đã xuất sắc cán đích 100 giờ thực tập. Đại diện, Contanalytics team, chị Đỗ Phương Dung đã trao phần quà của team cho các bạn. Xin chúc mừng và chúc các bạn sớm hoàn thành tốt các mốc thời gian thực tập tiếp theo.

 

Hình 4: Trao phần thưởng cho các bạn Thực tập viên cán đích 100 giờ

Buổi offline tháng 8 với chủ đề “Intro to Hadoop, MapReduce and Demo” đã diễn ra thành công tốt đẹp. Hi vọng sau buổi offline này, các bạn đã có cái nhìn khái quát hơn về Hadoop và mô hình lập trình MapReduce. Xin chào và hẹn gặp lại các bạn vào buổi offline tháng 9 tới nhé!

Nguyễn Ngọc Nam

Sáu loại phân tích dữ liệu mà mỗi data scientist nên biết

Jeffrey Leek, Phó giáo sư về thống kê sinh học tại Trường Y tế công cộng John Hopkins Bloomberg, đã xác định sáu (6) phân tích nguyên mẫu. Như ông đã trình bày, chúng trải rộng từ ít phức tạp đến phức tạp nhất về kiến ​​thức, chi phí và thời gian. 6 kiểu phân tích nguyên mẫu đó là:

• Descriptive
• Exploratory
• Inferential
• Predictive
• Causal
• Mechanistic

1. Descriptive(Mô tả) (cần ít công sức nhất):  Mô tả các đặc trưng chính của tập dữ liệu.

- Đặc trưng là kiểu phân tích đầu tiên được thực hiện trên tập dữ liệu.

- Thường dùng cho các khối dữ liệu lớn như dữ liệu về dân số.

-Quá trình mô tả và giải thích là những bước khác nhau.

- Univariate và Bivariate là hai loại phân tích mô tả thống kê.

- Kiểu dữ liệu được sử dụng: Census Data Set – toàn bộ dân số

Ví dụ dữ liệu dân số:

2. Exploratory (Khai phá): Phương pháp phân tích tập dữ liệu để tìm ra các mối quan hệ chưa được biết trước đó.

- Mô hình khai phá rất tốt cho việc khám phá ra những kết nối mới.

- Chúng cũng hữu ích cho việc định nghĩa các nghiên cứu, câu hỏi trong tương lai.

- Phân tích khai phá thường chưa có những câu trả lời rõ ràng, dứt khoát cho các câu hỏi được đặt ra mà mới chỉ ở bước khởi đầu.

- Phân tích khai phá đơn lẻ không nên được sử dụng để khái quát hay dự đoán.

- Nên nhớ rằng: tương quan (correlation) không phải là quan hệ nguyên nhân – kết quả (causation)

- Kiểu dữ liệu được sử dụng: Census and Convenience Sample Data Set (đặc trưng là không đồng nhất) – một mẫu ngẫu nhiên với nhiều biến số đo lường.

Ví dụ: Phân tích dữ liệu vi mảng (Microarray Data Analysis)

3. Inferential (Suy luận): Mục đích là để kiểm tra các lý thuyết về bản chất thế giới nói chung (hoặc một phần của nó) dựa trên mẫu của đối tượng được lấy từ đó. Cụ thể là sử dụng dữ liệu mẫu tương đối nhỏ để nói về quần thể lớn hơn.

- Suy luận thường là mục tiêu của mô hình thống kê.

- Suy luận liên quan đến việc ước tính cả về số lượng bạn quan tâm lẫn độ không chắc chắn trong ước tính của bạn.

- Suy luận phụ thuộc nhiều vào cả quần thể và chương tình lấy mẫu

- Kiểu dữ liệu thường dùng: Observational, Cross Sectional Time Study và Retrospective Data Set – các mẫu ngẫu nhiên của quần thể

Ví dụ: phân tích suy luận

4. Predictive(dự đoán): Các phương thức khác nhau dựa trên việc phân tích các sự kiện hiện tại và trong quá khứ để dự đoán về các sự kiện trong tương lai. Về bản chất, dùng dữ liệu của một số đối tượng để dự đoán giá trị cho đối tượng khác.

- Mô hình dự đoán không phải do các biến độc lập tạo ra.

- Độ dự đoán chính xác phụ thuộc nhiều vào độ đo lường của các biến.

- Mặc dù có cả những mô hình tốt và tồi tệ nhưng nhiều dữ liệu cùng với một mô hình đơn giản thì vẫn hoạt động tốt.

- Dự đoán rất khó, đặc biệt là dự đoán về các tham chiếu trong tương lai.

- Các kiểu dữ liệu thường dùng: Prediction Study Data Set – một tập dữ liệu huấn luyện và kiểm nghiệm từ cùng một quần thể

Ví dụ: phân tích dự đoán

Một ví dụ khác về phân tích dự đoán

5. Causal(quan hệ nhân – quả): Tìm những gì xảy ra với một biến khi thay đồi một biến khác.

- Việc thực hiện thường yêu cầu những nghiên cứu phải là ngẫu nhiên.

- Có nhiều phương pháp để suy luận nguyên nhân – kết quả trong các nghiên cứu không ngẫu nhiên.

- Mô hình quan hệ nhân quả được gọi là “tiêu chuẩn vàng” trong phân tích dữ liệu.

- Kiểu dữ liệu thường dùng: Randomized Trial Data Set – dữ liệu từ những nghiên cứu được thực hiện một cách ngẫu nhiên.

Ví dụ: Phân tích quan hệ nhân – quả

6. Mechanistic(phân tích cơ học) (cần nhiều công sức nhất): Hiểu chính xác sự thay đổi trong những biến này sẽ dẫn đến sự thay đổi của những biến khác trong các cá thể.

- Rất khó để suy luận ngoại trừ những trường hợp đơn giản.

- Thường được mô hình hóa tập các phương trình xác định (vật lý/khoa học kỹ thuật)

- Thông thường các thành phần ngẫu nhiên của dữ liệu là sai số đo lường.

- Nếu biết các phương trình nhưng không biết các tham số thì chúng có thể được suy luận bằng phân tích dữ liệu.

- Kiểu dữ liệu thường dùng: Randomized Trial Data Set – dữ liệu về tất cả các thành phần cấu thành của hệ thống

Ví dụ: phân tích cơ học

Theo tạp chí datascientistinsight.com, ngày 29/01/2013.

Offline tháng 7 của Contanalytics team

Buổi offline định kỳ của Contanalytics team đã được tổ chức vào ngày 26/07/2014 vừa qua tại Công ty Contemi Việt Nam. Chủ đề của buổi offline lần này là “Spark-In-Memory Computing” và giải đáp các thắc mắc của các bạn xung quanh chương trình thực tập.

Hình 1: Các bạn thực tập viên tham gia buổi offline

Mở đầu buổi offline, anh Đào Đức Huân, Data Scientists của công ty ADATAO, đã giới thiệu về một mô mình mới nhằm cải thiện thời gian xử lý dữ liệu, đó là RDDs (Resilient Distributed Datasets). Bên cạnh đó, Anh Huân cũng đã chia sẻ kinh nghiệm về khoảng thời gian bắt đầu làm việc với BigData cũng như giải đáp các thắc mắc của các bạn thực tập viên về những vấn đề liên quan tới các bài thực tập. Không khí dường như càng lúc càng nóng lên khi liên tục có những câu hỏi xoay quanh chủ đề BigData và con đường trở thành Data Scientists sẽ như thế nào?.

Hình 2: Anh Huân giới thiệu về RDD

Hình 3: Anh Huân giải đáp một số câu hỏi của các bạn

Như thường lệ, trong mỗi buổi offline Contanalytics team sẽ tổ chức trao giải thưởng cho các bạn thực tập viên có thành tích tốt và vượt qua các mốc thực tập 100, 200 và 300 giờ. Ở buổi offline này, Contanalytics team đã có tới 7 bạn hoàn thành mốc 100 giờ thực tập (5 bạn ở Tp.Hồ Chí Minh , 2 bạn ở Hà Nội ). Đặc biệt hơn khi Team chào đón một bạn thực tập viên từ Thủ đô Hà Nội đến nhận giải tại Tp.Hồ Chí Minh. Đại diện Contanalytics team, anh Đặng Vương Anh, Project Manager của dự án DriveRight đã trao cup và quà dành cho các bạn. Xin chúc mừng và chúc các bạn sớm hoàn thành tốt các mốc thời gian thực tập tiếp theo.

Hình 4: Trao giải cho các bạn thực tập

Hình 5: Anh Vương Anh đại diện Contanalytics Team tặng quà lưu niệm cho anh Huân

Buổi offline tháng 7 đã diễn ra thành công tốt đẹp. Hi vọng buổi offline đã góp phần gỡ rối những khó khăn trong quá trình thực tập cũng như định hướng cho các bạn những bước đi đầu tiên trên con đường trở thành một Data Scientists. Chân thành cảm ơn anh Huân đã có những chia sẻ thật sự bổ ích. Xin chào và hẹn gặp lại các bạn vào buổi offline tháng 8 tới nhé.
Nguyễn Ngọc Nam 

Offline tháng 6/2014

Vào ngày 21/06/2014 vừa qua, tại Công ty Contemi Việt Nam, Contanalyticsteam đã có buổi offline tháng 6 với chủ đề: BigData Project. Buổi offline diễn ra xoay quanh dự án mà team đã làm và dự án sắp tới team sẽ thực hiện.

Mở đầu buổi offline, chị Phương Dung, Coordinator của chương trình thực tập , giới thiệu về cuộc thi Prudential Healthcare Challenger mà team đã tham gia. Chị đã chia sẻ rất nhiều kinh nghiệm trong quá trình thực hiện project, về việc chuẩn hóa các dữ liệu đầu vào, các kỹ thuật được sử dụng trong project như: Dumming Coding, Regression tree … Bên cạnh đó là một số ý tưởng của team đã áp dụng vào project để làm tăng độ chính xác cho dữ liệu đầu ra.

Hình 1: Chị Dung chia sẻ về kỹ thuật Dumming Coding được sử dụng trong Project

Trong tháng 6 này, Contanalyticsteam  chúc mừng 2 bạn Lê Hoàng Hòa và Đoàn Trần Hoàng đã cán đích mốc 100 giờ thực tập. Đại diện Contanalytics team, anh Nguyễn Việt Quang, Project Manager đã trao giải cho hai bạn. Giải thưởng là một cúp lưu niệm và một chiếc áo có logo công ty Contemi Việt Nam. Chúc các bạn sớm chinh phục 200 giờ tiếp theo.

Hình 2: Trao giải cán đích 100 giờ (từ trái qua phải: Anh Quang, Hoàng, Hòa) 

Hình 3: Bạn Lê Hoàng Hòa chia sẻ về niềm vui cũng như những khó khăn để hoàn thành 100 giờ thực tập đầu tiên

Xoay quanh chủ đề của buổi Offline, anh Hồ Gia Bảo đã tiếp tục giới thiệu đến các bạn 2 cuộc thi đang diễn ra trên Kaggle: Acquire Valued Shoppers Challenge và MLSP 2014 Schizophrenia Classification Challenge. Đây là hai cuộc thi team sẽ tham gia trong tháng 7. Anh Bảo đã chia sẻ về nội dung và yêu cầu của cuộc thi, giải thích về một số dữ liệu mẫu do bài toán đưa ra.

Hình 4: Anh Bảo chia sẻ về 2 cuộc thi đang diễn ra trên Kaggle

Cuối chương trình là thời gian đăng ký tham gia 2 cuộc thi Acquire Valued Shoppers Challenge và MLSP 2014 Schizophrenia Classification Challenge, bên cạnh đó, các bạn tham gia buổi offline cũng đã có những phút giây chia sẻ về công việc của mình, đặc biệt là đối với những bạn đã và đang đi làm. Dưới đây là một số hình ảnh khác của buổi offline

 Hình 5: Những giây phút vui vẻ

Hình 6: Giải thưởng

Hình 7: Anh Cường chia sẻ về công việc của mình

Buổi offline tháng 6 với chủ đề BigData Project đã diễn ra thành công tốt đẹp. Mong rằng qua buổi offline này, các bạn đã có những cái nhìn cơ bản nhất về quá trình thực hiện những project Big Data cũng như những khó khăn mà chúng ta sẽ gặp phải.

Bên cạnh đó, Contanatistic Team cũng đã mang đến cho các bạn một môi trường để gặp gỡ, giao lưu và đem đến những giây phút thư giãn sau một tuần dài làm việc căng thẳng. Hẹn gặp lại các bạn vào buổi offline tháng 7 sắp tới nhé.

Thân mến,

Nguyễn Ngọc Nam 

Đại diện Contanalytics team.

Buổi giới thiệu Big Data tại trường Đại Học Công Nghệ Thông Tin

Vào lúc 8:30 thứ 3 ngày 20/05/2014, Contanalytics team lần đầu tiên có cơ hội tới trường Đại Học Công Nghệ Thông Tin để giới thiệu về chương trình thực tập Big Data tại công ty Contemi Việt Nam. Để có cơ hội quý báu này, team chân thành cảm ơn cô Nguyễn Thị Kim Phụng, phó khoa Hệ Thống Thông Tin trường Đại Học Công Nghệ Thông Tin đã tạo điều kiện cho team được tới gặp gỡ và chia sẻ cùng các bạn sinh viên trong lớp của cô.

Hẩu hết các bạn sinh viên tham gia lần này là các bạn sinh viên sắp ra trường, nên những câu hỏi tập trung nhiều vào cơ hội nghề nghiệp về Big Data tại công ty và ở Việt Nam. Quà tặng cho các bạn sinh viên có câu hỏi hay là cuốn sách “Nếu tôi được biết khi còn 20“.

Hình 1: Các bạn sinh viên trong lớp

Hình 2: Chị Phương Dung  giới thiệu về Big Data và các dự án của công ty

Để các bạn hình dung các dự án thực tế team đã chia sẻ về cuộc thi Prudential Healthcare Challenge (Singapore) mà team vừa tham dự trong tháng 4/2014. Bài toán cần phải giải quyết của cuộc thi này là dự đoán giá tiền bệnh viện một bệnh nhân phải trả khi có các thông tin: năm sinh, ngày nhập viên, ngày xuất viện, tên bệnh viện, loại phòng bệnh, giới tính, loại bệnh …. Mục đích của công ty Prudential (Singapore) khi đưa ra cuộc thi này là họ muốn giúp cho các khách hàng có kế hoạch chăm sóc sức khỏe tốt hơn qua việc biết được giá tiền phải trả tương ứng cho mỗi loại bệnh và loại bệnh viện khác nhau.

Hình 3: Trao giải cho 3 bạn sinh viên có câu hỏi hay

Hình 4: Tặng sách và lời cảm ơn tới cô Kim Phụng

Team cũng có cơ hội nói chuyện với bạn Nguyễn Hồ Duy Trí, một sinh viên giỏi mới tốt nghiệp và được giữ lại trường làm trợ giảng của khoa Hệ Thống Thông Tin. Qua trao đổi được biết Trí rất đam mê với Big Data. Trí cùng các bạn sinh viên trong trường thành lập nhóm ISC, nhóm training về công nghệ web, Big Data và nghiên cứu về Android. Team rất vui khi nghe được thông tin này, và đánh giá cao sự ham học hỏi của Trí cũng như các bạn sinh viên khi đã bắt đầu tìm hiểu, nghiên cứu, khám phá về các công nghệ của Big Data. Contanalytics team mong muốn sắp tới có thể hợp tác với câu lạc bộ ISC, khoa Hệ Thống Thông Tin và trường Công Nghệ Thông Tin để có thể hỗ trợ các bạn sinh viên đam mê tìm hiểu về Big Data.

Một lần nữa team gửi lời cám ơn đến cô Kim Phụng và các bạn sinh viên đã nhiệt tình chào đón team tại trường và cùng trao đổi cởi mở với team về chủ đề Big Data. Chúc cô và các bạn sẽ gặt hái nhiều thành công trong lĩnh vực Big Data.

Thân mến,

Contanalytics team