Chuẩn bị dữ liệu huấn luyện AI

{"messages":[{"role":"system","content":"Bạn là trợ lý CSKH của công ty. Chỉ trả lời theo chính sách đã duyệt. Việc hoàn tiền, khiếu nại thì chuyển cho nhân viên."},{"role":"user","content":"Máy em mua tháng trước còn bảo hành không ạ?"},{"role":"assistant","content":"Dạ, em kiểm tra giúp mình nhé. Mình cho em xin số serial trên tem ở mặt sau máy ạ. Thông thường sản phẩm còn trong thời hạn bảo hành thì mình được hỗ trợ miễn phí phần lỗi do nhà sản xuất."}]}
{"messages":[{"role":"system","content":"Bạn là trợ lý CSKH của công ty. Chỉ trả lời theo chính sách đã duyệt. Việc hoàn tiền, khiếu nại thì chuyển cho nhân viên."},{"role":"user","content":"Cho mình xin giá tốt nhất của con server này"},{"role":"assistant","content":"Dạ về giá thì em xin phép chuyển anh/chị sang bộ phận kinh doanh để báo giá chính xác theo cấu hình và số lượng ạ. Anh/chị để lại số điện thoại giúp em nhé."}]}

{"messages":[{"role":"system","content":"Trích xuất thông tin phiếu kỹ thuật. Chỉ trả về JSON đúng khoá, không thêm chữ nào khác. Không biết thì để null."},{"role":"user","content":"Phiếu 2024-1180: máy chủ R740, khách báo không lên nguồn sau mất điện. Đã thay bộ nguồn 750W, test 2 giờ OK."},{"role":"assistant","content":"{\"ma_phieu\":\"2024-1180\",\"thiet_bi\":\"R740\",\"hien_tuong\":\"không lên nguồn sau mất điện\",\"xu_ly\":\"thay bộ nguồn 750W\",\"ket_qua\":\"OK\",\"thoi_gian_test_gio\":2}"}]}

{"id":"qt-nhan-su-v3#12","text":"Nhân viên nghỉ phép từ 3 ngày liên tục trở lên phải có đơn được trưởng phòng phê duyệt trước ít nhất 5 ngày làm việc.","tieu_de":"Quy trình nhân sự > Nghỉ phép > Phép dài ngày","nguon":"QT-NS-03 v3.0","trang":12,"hieu_luc_tu":"2026-01-01","muc_bao_mat":"noi-bo","phong_ban":"nhan-su"}
{"id":"qt-nhan-su-v3#13","text":"Trường hợp nghỉ đột xuất vì lý do sức khoẻ, nhân viên thông báo cho trưởng phòng trong ngày và bổ sung đơn trong 3 ngày làm việc kế tiếp.","tieu_de":"Quy trình nhân sự > Nghỉ phép > Nghỉ đột xuất","nguon":"QT-NS-03 v3.0","trang":12,"hieu_luc_tu":"2026-01-01","muc_bao_mat":"noi-bo","phong_ban":"nhan-su"}

# pip install transformers
import json, sys
from transformers import AutoTokenizer

MODEL = sys.argv[1] if len(sys.argv) > 1 else "Qwen/Qwen3-8B"
PATH = sys.argv[2] if len(sys.argv) > 2 else "mau-hoi-thoai.jsonl"

tok = AutoTokenizer.from_pretrained(MODEL)
tong, so_dong, dai_nhat = 0, 0, 0
chars = 0

with open(PATH, encoding="utf-8") as f:
    for line in f:
        line = line.strip()
        if not line:
            continue
        rec = json.loads(line)
        # Dùng đúng chat template của mô hình -> số token sát thực tế huấn luyện nhất
        text = tok.apply_chat_template(rec["messages"], tokenize=False)
        n = len(tok(text)["input_ids"])
        tong += n
        chars += len(text)
        so_dong += 1
        dai_nhat = max(dai_nhat, n)

print(f"So mau:            {so_dong}")
print(f"Tong token:        {tong}")
print(f"Token/mau (TB):    {tong / max(1, so_dong):.0f}")
print(f"Mau dai nhat:      {dai_nhat} token")
print(f"Ky tu/token (do):  {chars / max(1, tong):.2f}")

import json, random

NGUON = "mau-hoi-thoai.jsonl"
MOC = "2026-07-01"   # tất cả bản ghi từ ngày này trở đi làm validation
random.seed(42)       # cố định hạt giống để lần sau tách lại y nguyên

train, val, thieu_ngay = [], [], 0
with open(NGUON, encoding="utf-8") as f:
    for line in f:
        line = line.strip()
        if not line:
            continue
        rec = json.loads(line)
        ngay = rec.get("ngay")
        if not ngay:
            thieu_ngay += 1
            train.append(rec)          # không có ngày -> để vào train, đừng đoán
        elif ngay >= MOC:
            val.append(rec)
        else:
            train.append(rec)

for ten, data in (("train.jsonl", train), ("val.jsonl", val)):
    with open(ten, "w", encoding="utf-8") as f:
        for rec in data:
            f.write(json.dumps(rec, ensure_ascii=False) + "\n")

print(f"train={len(train)}  val={len(val)}  thieu_ngay={thieu_ngay}")
print("Kiem tra bat buoc: khong ban ghi nao xuat hien o ca hai tap.")

import re, json, hashlib

# Giữ tính nhất quán: cùng một giá trị -> cùng một mã giả lập, để mô hình vẫn học được quan hệ.
def ma_gia(prefix: str, value: str) -> str:
    h = hashlib.sha256(value.encode("utf-8")).hexdigest()[:8]
    return f"<{prefix}_{h}>"

RE_EMAIL = re.compile(r"[\w.+-]+@[\w-]+\.[\w.-]+")
RE_PHONE = re.compile(r"(?<!\d)(?:\+?84|0)(?:\d[ .-]?){8,10}\d(?!\d)")
RE_SOTK  = re.compile(r"(?<!\d)\d{9,19}(?!\d)")

def an_danh(text: str) -> str:
    text = RE_EMAIL.sub(lambda m: ma_gia("EMAIL", m.group()), text)
    text = RE_PHONE.sub(lambda m: ma_gia("SDT", m.group()), text)
    text = RE_SOTK.sub(lambda m: ma_gia("STK", m.group()), text)
    return text

with open("tho.jsonl", encoding="utf-8") as fi, open("an-danh.jsonl", "w", encoding="utf-8") as fo:
    for line in fi:
        line = line.strip()
        if not line:
            continue
        rec = json.loads(line)
        for m in rec.get("messages", []):
            m["content"] = an_danh(m["content"])
        fo.write(json.dumps(rec, ensure_ascii=False) + "\n")

print("Xong. BAT BUOC: nguoi that doc mau it nhat 100 ban ghi truoc khi dung.")