a) Vì tam giác ABC vuông tại A nên \(\widehat {ABC} + \widehat {ACB} = 90^\circ \) (trong tam giác vuông, tổng hai góc nhọn bằng 90°)

Vì AI là phân giác của góc BAC nên \(\widehat {{A_1}} = \frac{{\widehat {BAC}}}{2} = \frac{{90^\circ }}{2} = 45^\circ \)

Vì BI là phân giác của góc ABC nên \(\widehat {{B_1}} = \frac{{\widehat {ABC}}}{2}\)

Vì CI là phân giác của góc ACB nên \(\widehat {{C_1}} = \frac{{\widehat {ACB}}}{2}\)

Gọi giao điểm của BI và AC là M.

Vì \(\widehat {{I_1}}\) là góc ngoài của tam giác BIC

Nên \(\widehat {{I_1}} = \widehat {{B_1}} + \widehat {{C_1}} = \frac{{\widehat {ABC}}}{2} + \frac{{\widehat {ACB}}}{2} = \frac{{\widehat {ABC} + \widehat {ACB}}}{2} = \frac{{90^\circ }}{2} = 45^\circ \)

Xét DICM và DACI có

\(\widehat {{A_1}} = \widehat {{I_1}}\left( { = 45^\circ } \right)\);

 \(\widehat {IC{\rm{A}}}\) là góc chung

Do đó  (g.g)

Suy ra \(\frac{{IC}}{{AC}} = \frac{{CM}}{{CI}}\) (tỉ số đồng dạng)

Hay CI² = CM . AC, mà IC = 6 nên CM . AC = 36

Suy ra \(CM = \frac{{36}}{{AC}}\).

Do BM là tia phân giác của \(\widehat {ABC}\) nên ta có

\(\frac{{CB}}{{AB}} = \frac{{CM}}{{MA}} \Leftrightarrow \frac{{BC}}{{BA + BC}} = \frac{{CM}}{{MA + CM}} \Leftrightarrow \frac{{BC}}{{5 + BC}} = \frac{{CM}}{{AC}}\)

Mà \(CM = \frac{{36}}{{AC}}\)

Suy ra \(\frac{{36}}{{A{C^2}}} = \frac{{BC}}{{BC + 5}} \Leftrightarrow \frac{{36}}{{B{C^2} - A{B^2}}} = \frac{{BC}}{{BC + 5}} \Leftrightarrow \frac{{36}}{{B{C^2} - 25}} = \frac{{BC}}{{BC + 5}}\)

\( \Leftrightarrow \frac{{36}}{{B{C^2} - 25}} = \frac{{BC\left( {BC - 5} \right)}}{{B{C^2} - 25}}\)

Suy ra BC(BC – 5) = 36

Hay BC² – 5BC – 36 = 0

Suy ra BC = 9 (do BC > 0).

b) Kẻ CH ⊥ BI và CH cắt BA tại K.

Xét tam giác BCK có BH vừa là tia phân giác vừa là đường cao

Suy ra tam giác BCK cân tại B

Do đó BH là trung tuyến và BK = BC

Hay \[CH = HK = \frac{1}{2}CK\]

Đặt BC = x

Ta có AK = BK – AB = BC – AB = x – AB

Ta có: \(\widehat {ABM} = \widehat {HCM}\) (cùng phụ với \(\widehat {BKC}\))

Mà \(\widehat {ABM} = \frac{1}{2}\widehat {ABC}\) nên \(\widehat {HCM} = \frac{1}{2}\widehat {ABC}\)

Ta có \(\widehat {HCI} = \widehat {HCM} + \widehat {MCI} = \frac{1}{2}\widehat {ABC} + \frac{1}{2}\widehat {ACB} = \frac{1}{2}.90^\circ = 45^\circ \)

Xét tam giác ICH vuông ở H có

\(\widehat {HIC} + \widehat {HCI} = 90^\circ \) (trong một tam giác vuông, tổng hai góc nhọn bằng 90°)

Mà \(\widehat {HCI} = 45^\circ \) nên \(\widehat {HIC} = 45^\circ \)

Suy ra \(\widehat {HCI} = \widehat {HIC}\)

Do đó tam giác HIC vuông ở H, nên HI = HC

Xét tam giác ICH vuông ở H có

IC² = HI² + HC² (định lí Pytago)

Hay 10 = 2HI² (do \(IC = \sqrt {10} \))

Suy ra \[HI = HC = \sqrt 5 \]

Ta có \[BH = BI + IH = \sqrt 5 + \sqrt 5 = 2\sqrt 5 \];

          \[CK = 2CH = 2\sqrt 5 \]

Xét tam giác BCH vuông ở H có

BC² = HB² + HC² (định lí Pytago)

Hay BC² = 20 + 5

Suy ra BC = 5.

Xét tam giác BCA vuông ở A có

BC² = AB² + AC² (định lí Pytago)

Hay 5² = AB² + AC² = 25

Xét tam giác AKC vuông ở A có

KC² = AK² + AC² (định lí Pytago)

⇔ 20 = (BC – AB)² + AC²

⇔ 20 = (5 – AB)² + AC²

⇔ 20 = 25 – 10AB + AB² + AC²

⇔ 20 = 25 – 10AB + 25

⇔ AB = 3

Khi đó \(AC = \sqrt {{5^2} - {3^2}} = 4\)

Vậy AB = 3, AC = 4.