Một khoảnh khắc nhìn lại về việc chọn lựa cơ sở dữ liệu

Hôm nay, tôi đã đọc một bài viết thú vị về việc thiết kế và triển khai một ứng dụng sử dụng Redis như cơ sở dữ liệu duy nhất. Bài viết được chia sẻ lại bởi một người anh em thân thiết của mình, và nó đã gợi lên nhiều suy nghĩ trong tôi. - Các bạn có thể đọc bài viết đó ở đây Dù tôi cảm thấy khá hứng thú, nhưng với nhiều năm kinh nghiệm làm kỹ sư và kiến trúc sư phần mềm, tôi không thể không tự đặt ra câu hỏi: liệu đó có phải là lựa chọn tốt và tôi có bỏ sót điều gì không?

Three way to use Logstash with Hadoop Hdfs

Logstash is a great tool for managing events and logs. You can use it to collect logs, parse them, and store them for later use (like, for searching). It is fully free and fully open source. The license is Apache 2.0, meaning you are pretty much free to use it however you want in whatever way.

But for now, Logstash doesn't support output log to Hadoop Hdfs, it's a really big missing fearture, so you if you are Logstash's fan, you have 3 way to put your log to Hadoop Hdfs from Logstash

• Hadoop HttpFS (or WebHDFS)
• Solution
• Forward you log message to Hadoop HttpFs with Logstash output (http, exec, ...)
• Document
• http://hadoop.apache.org/docs/r2.3.0/hadoop-hdfs-httpfs/index.html
• http://hadoop.apache.org/docs/r1.0.4/webhdfs.html (With old Hadoop version)
• Hadoop NFS (Network file system)
• Solution
• Store you log in a directory that mounted to Hadoop Hdfs, ues with Logstash output file
• Document
• http://wiki.apache.org/hadoop/MountableHDFS
• http://hadoop.apache.org/docs/r2.3.0/hadoop-project-dist/hadoop-hdfs/HdfsNfsGateway.html
• https://code.google.com/p/hdfs-fuse (With old Hadoop version)
• Third party tools
• Solution
• Forward you log message to other tools that supported to streaming log to Hadoop Hdfs, use with Logstash output (tcp, http, exec, ..)
• Document
• Apache Flume
• Kafka
• Scribe
• Fluentd

(Tú Phập)