Doraverse QA · họp thảo luận tracking

QA đã có agent và harness. Còn thiếu vòng tự cải thiện và dữ liệu hành vi người dùng.

Theo chuỗi của Andrew Ng: Agent → Harness → Feedback → Loops → Graphs → Self-improving. QA đang đứng ở giữa chuỗi. Dữ liệu tracking từ UX Team là nguyên liệu để đi tiếp.

Đã cóHơn 50 skill, routine chạy hàng giờ trên máy mini, guard trong code, báo cáo máy đọc được, dashboard metrics G1/G2/G3.

Còn thiếuNguồn dữ liệu người dùng, vòng tự chỉnh rubric/skill từ metrics, đồ thị điều phối có nhánh, verdict tự động.

Đang ở nấc nào

Mức độ là đánh giá của QA dựa trên tài liệu và routine đang chạy, không phải số đo. Vạch cam là mức mục tiêu khi nhận được dữ liệu tracking.

Agent

100%Skill cho G1, G2, G3, smoke, regression, explore, autofix, review PR.

Harness

90%Cron, lock, kill-switch, STG only, tự merge chỉ PR của routine. Thiếu: máy chạy riêng ngoài mini, mobile.

Feedback

75%Chạy spec 2 lần, review độc lập, Sentry STG, run-report.json. Chưa có phản hồi từ người dùng thật.

Loops

50%Vòng đóng ở G3, G1 và explore. Chưa có vòng nào tự chỉnh chính routine.

Graphs

35%G1 → G2 → G3 → smoke nối bằng manifest và label, chạy tuyến tính theo cron.

Self-improving

15%Mới ở mức đo. Người vẫn là bước học: rà memory, cập nhật skill và steering.

Hiện tạiMục tiêu khi có tracking

Kiến trúc hiện tại và chỗ cần nối

Nét liền là đã chạy. Nét đứt màu cam là phần chưa có.

QA trong tổng thể Doraverse

Mỗi team cải thiện phần của mình. Dữ liệu của từng team là nguyên liệu cho team khác.

MarketingCải thiện thông điệp và kênh tiếp cận.

Owner (PO)Cải thiện sản phẩm và yêu cầu.

DevCải thiện cách triển khai.

QACải thiện chất lượng và đánh giá hiệu quả của team.

UX TeamXây cơ chế tracking hành vi người dùng.

Hướng đề xuất: UX Team ghi hành vi → QA lấy phần liên quan để chọn vùng test và ưu tiên regression → kết quả chất lượng quay lại cho Owner và Dev.

Thiếu gì để đi tiếp

Sắp theo giá trị cho mục tiêu "agent QA tự cải thiện".

Việc	Trạng thái	Cần để làm
Nhận dữ liệu tracking từ UX Team	Chưa có	Danh sách sự kiện, định dạng, tần suất, cách ẩn danh, quyền đọc.
Vòng tự chỉnh từ metrics	Chưa có	Ngưỡng cho metrics H/I/J (dự kiến chốt khoảng 27-11), quy tắc khi nào routine được đề xuất sửa rubric.
Verdict G3 tự động	Warm-up	QA Lead duyệt kết quả đề xuất, rồi bật chế độ tự chốt cho tầng đơn giản.
Đồ thị điều phối có nhánh	Một phần	Thay chuỗi cron tuyến tính bằng luồng có nhánh và vòng lặp. Cần thiết kế riêng.
Mobile trong routine	Đang dựng	Nền tảng automation mobile và flow build STG của app, chờ team dev mobile.
Dashboard metrics theo module	Đã có	G1, G2, G3 đã lên dashboard. Việc còn lại là ngưỡng và hàng theo module cho G3.

Câu hỏi cho UX Team

Ghi những sự kiện nào (mở màn, bấm nút, lỗi, bỏ giữa chừng) và theo module nào?
Có định danh người dùng không? Nếu có, QA chỉ nhận ID ẩn danh, không nhận email, tên hay nội dung chat.
Dữ liệu nằm ở đâu và QA đọc bằng cách nào (API, kho dữ liệu, file xuất)?
Tracking bật trên STG hay chỉ trên Production? QA chỉ chạy trên STG nên cần dữ liệu STG hoặc bản tổng hợp.
Ai là chủ dữ liệu và ai duyệt quyền đọc cho agent?

Nguồn: QAOS Slim (qa-g3-routines-overview), qa-hub routines/g3-verify-watch/plan, qa-automation plan learn-from-e2e, thread Mattermost ngày 12-11. Mức độ nấc là đánh giá của QA.