Giải quyết công việc hiệu quả theo cách nghĩ của một Engineer!

Rh Infrastructure Engineer

Bài toán

Hiện tại mình đang làm việc cho khách hàng dưới dạng remote onsite.

Mình được sắp xếp thuộc team content engineer

Công nghệ team mình đang sử dụng chủ yếu là : golangawsdocker,serverless,reactjsterraform,…

Bài toán bắt đầu khi mình được giao một task hạ level log từ error xuống warn ở những nơi gọi tới một service có trong project đang phát triển, nhằm mục đích tiện lợi trong việc điều tra lỗi, cũng như giảm thiểu những alert không cần thiết từ Amazon CloudWatch

Phân tích bài toán

  • Việc đầu tiên trong task này là liệt kê những chỗ trong source code thuộc folder handler các http request gọi đến server.

  • Xác nhận với leader có cần thiết phải hạ level log đối với những xử lý cụ thể hay không.

Phân tích hiện trạng source code

Cấu trúc folder trong dự án

project
│   README.md
│   file001.txt    
│
└───serviceTranslate
│   │   translate.go //file chứa chứ ký của interface, dùng trong việc tạo mock test
│   │   aa.go
│   
│   
└───web //folder chứa souce code handler các http request
│   │   translate.go
│   │   aa.go
│   │   ...
│   │   web.go //file khai báo, khởi tạo các singleton object services

Mỗi service sẽ được tổ chức thành từng folder, trong đó file cùng tên package sẽ định nghĩa interface chứa các method public được gọi từ bên ngoài service. Trong ví dụ này là file translate.go có dạng như sau.

##serviceTranslate/translate.go
package translate
...
var (
svc            Service
once           sync.Once
)
//Singleton Design Pattern
func GetService(ctx context.Context) (Service,error) {
once.Do(func() {
        cf := &Config{
      		Enpoint : os.Getenv("ENPOINT"),
     		Port : os.Getenv("POST"),
        }
    	svc = initService(cf)
    })
return svc
}
type Service interface {
TranslateData(context.Context, []models.Word) []models.Word
    PutData(context.Context, []models.Word) error
 	BatchTranslate(context.Context, []models.Word) []models.Word
    ...
}
type service struct {
	 conn *db.Conn
}
func initService(cf Config) *service {
//call config bla..bla
    ...
    conn := &db.Conn{}
return &service{
    	conn : conn
    }
}
func (t *service) TranslateData(ctx context.Context, data []models.Word) []models.Word {
//Implement here
}
func (t *service) PutData(ctx context.Context, data []models.Word) error{
//Implement here
}
func (t *service) BatchTranslate(ctx context.Context, data []models.Word) error{
//Implement here
}

web : package chứa code các router thực hiện handler các request

 ##web/web.go
 
 package web
 ...
 var (
 	translateService = translate.GetService
...
 )
 
 func NewRouter() *chi.Mux {
 	r := chi.NewRouter()
r.Route("/translate", routeTranslate)
    ....
  	return r
 }

Các http request handler sẽ gọi tới service thông qua biến global này theo dạng sau. Mục đích là để inject mock test service dành cho việc viết unit test

 ##web/translate.go
 
 package web
 
 func routeTranslate(r chi.Router) {
r.Get("/", h.get)
}
func (h *healthcheck) get(w http.ResponseWriter, r *http.Request) {
ctx := r.Context()
    tranService, err := translateService(ctx)
  	if err != nil {
 		//handler err
 	}
...
    res,err := tranService.TranslateData(ctx,data) //call service function
  	if err != nil {
 		//handler err
 	}
sendBody(w, r, res, http.StatusOK)
}

Cách xử lý thủ công

Liệt kê các method có trong interface, thông qua việc dùng IDE tìm kiếm thông qua từng tên các method được định nghĩa ở interface. Điều này có nghĩa là mình sẽ lặp lại các hành động dưới đây đối với cùng một method name.

  1. Tìm kiếm bằng từ khoá tên method
  2. Với mỗi file, các dòng gọi đến service method cần note lại vị trí local path
  3. Tạo link show code trên github.com có dạng như sau link

Hiện tại trong interface khai báo khoảng 20 method tức mình phải lặp lại các hành động trên 20 lần, mỗi lần sẽ phụ thuộc vào số lần xuất hiện của method name trong file.

humm… Việc này quả là nhàm chán đối với 1 engineer

Vì cách hành động trên là các công việc lặp lại, nên tại sao mình không giải quết nó bằng code nhỉ !!

Cách tiếp cận bằng code

Để giải quyết bài toán ý tưởng của mình là sẽ viết 1 hàm test để cùng folder chứa service, trong hàm sẽ làm những việc sau

  • Việc đầu tiên cần liệt kê các method có trong interface. -> tạo regex để tìm kiếm
  • Đọc các file có trong folder web, trừ file có đuôi _test.go là file chứ unitest
  • Đối với mỗi file đọc từng dòng để tìm kiếm nơi gọi đến method của service
  • Thống kê kết quả và in ra màn hình list link trỏ đến dòng code cần xác nhận

Cùng giải quyết lần lượt các step

Liệt kê các method name của interface, sinh ra chuỗi regex

Đối với việc này chúng ta có thể thực hiện bằng tay tuy nhiên phương án tiếp cận là code nên mình sẽ tìm cách xử lý bằng code. Thật may trong golang có cách để chúng ta làm điều này

##serviceTranslate/translate_test.go
itf := reflect.TypeOf((*Service)(nil)).Elem()
var methods []string
for i := 0; i < itf.NumMethod(); i++ {
// thường sẽ gọi theo dạng tran.MethodName, size của biến tran là 1 or more, trước đấy sẽ có dấu cách
methods = append(methods, strings.Join([]string{"[ ].{1,}[.]", itf.Method(i).Name}, ""))
}

Tạo regex đùng cho việc tìm kiếm

func makeHasCallFuncRegex(s []string) *regexp.Regexp {
strRaw := strings.Join(s, "|")
reg := regexp.MustCompile(strRaw)
return reg
}

Đọc các file code có trong folder web

##serviceTranslate/translate_test.go
webPath := path.Join(curPath, "../web")
files, err := ioutil.ReadDir(webPath)
if err != nil {
log.Fatal(err)
}
results := make([]fs.FileInfo, 0, len(files))
for _, file := range files {
if strings.Index(file.Name(), "_test.go") == -1 {
results = append(results, file)
}
}

Xử lý tìm kiếm đối với từng file

Theo suy nghĩ ban đầu chúng ta sẽ xử lý tuần tự lần lượt với từng file. Tổng thời gian xử lý sẽ mất bằng tổng các thời gian xử lý mỗi file. Tuy nhiên việc này khá mất thời gian vì số lượng file ở folder web khá nhiểu. Hơn nữa việc đọc file sẽ mất thời gian phụ thuộc vào độ dài của file. (Mỗi file hiện tại khoảng 3000 dòng) Vì kết quả của việc này là liệt kê nên thứ tự file là không quan trọng nên Golang có hướng tiếp cận việc này khá hiệu quả với khái niệm concurrency

==> Hướng xử lý sẽ là đọc đồng thời theo kiểu concurrency

Golang hỗ trợ điều này rất tốt, goroutines giúp chúng ta dễ dàng thực hiện việc này.

##serviceTranslate/translate_test.go
//Tạo buffer chanel nhận lấy kết quả từ các  go goroutines, truyền cho goroutines chính
c := make(chan []UsedInfo)
defer close(c)
for _, file := range results {
go GetFileLineUsedTranlateService(path.Join(webPath, file.Name()), reg, c)
}

Xử lý trong hàm GetFileLineUsedTranlateService Check từng dòng, nếu gặp call đến biến local translateService(ctx) để lấy service instance

if strings.Index(fileScanner.Text(), "translateService(ctx)") > -1

Thì thực hiện set biến tranServiceObjectName lưu tên service instance được set trong code

Gặp line text pass regex sẽ tạo instance struct UsedInfo lưu thông tin xuất hiên.

type UsedInfo struct {
FileName string
Content  string
Line     int
Link     string
}
...
result = append(result, UsedInfo{
FileName: path.Base(filePath),
Line:     line,
Content:  fileScanner.Text(),
Link:     strings.Join([]string{baseLink, path.Base(filePath), fmt.Sprintf("#L%d", line)}, "/"),
                })

Điều kiện check pass regex và gọi qua tên biến lưu ở tranServiceObjectName

if used := reg.FindString(fileScanner.Text()); used != "" && strings.Contains(used, tranServiceObjectName)

Toàn bộ xử lý của hàm

func GetFileLineUsedTranlateService(filePath string, reg *regexp.Regexp, c chan<- []UsedInfo) {
readFile, err := os.Open(filePath)
if err != nil {
fmt.Println(err)
}
defer readFile.Close()
repoURL := "https://github.com/hblab-ngocnd/get-started/blob/"
branchName := "master"
folderName := "web"
baseLink := fmt.Sprintf("%s/%s/%s",repoURL,branchName,folderName)
fileScanner := bufio.NewScanner(readFile)
fileScanner.Split(bufio.ScanLines)
line := 1
result := make([]UsedInfo, 0, 10)
tranServiceObjectName := ""
for fileScanner.Scan() {
if strings.Index(fileScanner.Text(), "translateService(ctx)") > -1 {
tranServiceObjectName = strings.TrimSpace(strings.Split(fileScanner.Text(), ",")[0])
line++
continue
}
        if tranServiceObjectName == "" {
line++
continue
}
if used := reg.FindString(fileScanner.Text()); used != "" && strings.Contains(used, tranServiceObjectName) {
result = append(result, UsedInfo{
FileName: path.Base(filePath),
Line:     line,
Content:  fileScanner.Text(),
Link:     strings.Join([]string{baseLink, path.Base(filePath), fmt.Sprintf("#L%d", line)}, "/"),
})
}
line++
}
    //Gửi kết quả đến chanel
c <- result
}

Thống kê kết quả và in ra màn hình

usedInfoList := make([]UsedInfo, 0, len(results)*10)
for i := 0; i < len(results); i++ {
//Lấy kết quả từ các goroutines
info := <-c
usedInfoList = append(usedInfoList, info...)
}
for _, info := range usedInfoList {
fmt.Println(info.Link)
}

Kết quả

Chạy hàm test trên sẽ ra kết quả dạng như sau

https://github.com/hblab-ngocnd/get-started/blob/main/controller/dictionary.go#L10
https://github.com/hblab-ngocnd/get-started/blob/main/controller/dictionary.go#L82
https://github.com/hblab-ngocnd/get-started/blob/main/controller/file.go#L10
https://github.com/hblab-ngocnd/get-started/blob/main/controller/file.go#L82
....

TODO: check lại và fix bug

Bài mới nhất

Tiệc sinh nhật mừng HBLAB 7 tuổi và những cảm xúc không quên

Thu May 19 / hblab

TIỆC SINH NHẬT MỪNG HBLAB 7 TUỔI VÀ NHỮNG CẢM XÚC KHÔNG QUÊN   Vào ngày 12/05 vừa qua tại Đà Nẵng, HBLAB với sự tham gia của gần 300 thành viên đã cùng nhau mở tiệc nhân dịp sinh nhật công ty 7 tuổi. Gala dinner đã diễn ra...

Chuyến bay “phủ sắc” HBLAB tại thành phố biển Đà Nẵng

Thu May 19 / hblab

CHUYẾN BAY “PHỦ SẮC” HBLAB TẠI THÀNH PHỐ BIỂN ĐÀ NẴNG   Gác lại niềm vui chiến thắng từ chặng đua tiền sự kiện, hãy cùng HBLAB tiếp tục nhuộm màu hạnh phúc tại Đà Nẵng cùng chuyến du lịch công ty kéo dài trong 03 ngày vừa qua.  ...

Thu May 19 / hblab

[COLOR WE RUN] CHẶNG 03 - HOÀN THIỆN BỨC TRANH ĐƯỜNG ĐUA SẮC MÀU!   Dân IT khô khan? Có phải ai ngồi code cũng thiếu tính nghệ thuật? Chuyện cũng đã xưa rồi Còn nếu bạn không tin, cùng hòa chung bầu không khí đầy nghệ thuật với cuộc...

[Color We Run] Chặng 02 – Khi tinh thần đồng đội “xây móng” cho sức mạnh thể lực

Thu May 19 / hblab

[COLOR WE RUN] CHẶNG 02 - KHI TINH THẦN ĐỒNG ĐỘI “XÂY MÓNG” CHO SỨC MẠNH THỂ LỰC!   Được xây dựng trên tinh thần “We’re stronger together”, Chặng đua 02 - Đỏ mạnh mẽ, là một chuỗi thử thách Gym liên hoàn với các bộ môn Plank - Squat...