Kan Ouivirach

September 9, 2024

ลองใช้ Elementary กับ dbt ช่วยทำ data observability

Elementary เป็น dbt-native data observability ที่ดูดีเลยทีเดียวนะ มีเวอร์ชั่นที่เป็น open-source ให้เราไปใช้กับงานของเราจริง ๆ ได้ด้วย ขาดแค่บางฟีเจอร์ แต่ก็ไม่มีปัญหาในการใช้งานพื้นฐานที่จำเป็น

ได้ลองเอามาใช้กับโปรเจค dbt แล้วมันสามารถสร้าง report ออกมาให้เราดูได้แบบนี้เลย เห็นกันไปเลยว่าเรามีกี่ test แล้ว test ของเราไปเกี่ยวกับโมเดลไหนบ้าง

Screenshot 2567-09-09 at 14.43.18.png


ดูได้อีกว่าโมเดลของเรารันไปกี่โมเดล มี errors อะไรบ้างไหม แล้วเทสของเรารันไปมีพังบ้างหรือเปล่า

Screenshot 2567-09-09 at 14.43.52.png


มีหน้า lineage ให้ดูด้วยเช่นกัน ซึ่งใน dbt docs ก็มีแหละ แต่ว่าในนี้ก็จะมีบอกด้วยว่าโมเดลไหนบ้างที่มี test

Screenshot 2567-09-09 at 14.45.54.png


ดูรายละเอียดของ test ที่เราเขียน

Screenshot 2567-09-09 at 14.46.45.png


รวมไปถึงดู test execution history

Screenshot 2567-09-09 at 14.47.35.png


อีกอย่างที่ชอบมาก ๆ คือ model duration เอาไว้ดูว่า pipeline ของเรามี bottlenecks ไหม

Screenshot 2567-09-09 at 14.48.24.png


ตอนนี้เสียใจอยู่อย่างเดียวคือ.. ตอนนี้ยังไม่มี ClickHouse integration (เห็นขึ้นคำว่า coming soon อยู่ ณ วันที่เขียนนี้)

อย่างไรก็ตาม Elementary เป็นเครื่องมือที่แนะนำให้ไปใช้กันนะครับ ชีวิตสบายขึ้นเยอะ

-Kan (กานต์)

About Kan Ouivirach

ODDS| Data Product Developer. Passionate in software engineering, data engineering, and data science.