Nha khoa dựa trên bằng chứng phần IV: Thiết kế nghiên cứu và độ mạnh của chứng cứ

Susan E. Sutherland, DDS Ngườ dịch: BS. Lê Sơn Tùng

Những bài trước đây của loạt bài nha khoa dựa trên bằng chứng đã nói về 2 bước đầu tiên để tìm kiếm đáp án cho các vấn đề trên lâm sàng – đặt câu hỏi rõ ràng và tìm kiếm các bằng chứng một cách có chiến lược. Bước tiếp theo, đánh giá phản biện các bằng chứng, sẽ không khó nếu chúng ta hiểu những khái niệm cơ bản về thiết kế nghiên cứu lâm sàng. Thiết kế nghiên cứu mạnh nhất, đặc biệt cho những câu hỏi liên quan đến điều trị can thiệp hoặc dự phòng là những thử nghiệm lâm sàng ngẫu nhiên, có nhóm chứng. 

Các câu hỏi liên quan đến chẩn đoán, tiên lượng và nguyên nhân gây bệnh thường được trả lời bằng cách tiến hành các nghiên cứu quan sát hơn là thực nghiệm. Thiết kế nghiên cứu mạnh nhất nên được sử dụng bất cứ khi nào có thể. Đã có những nguyên tắc được thiết lập để xếp hạng các bằng chứng nghiên cứu. Bài thứ 4 của loạt 6 bài này sẽ trình bày tổng quan về các phương pháp nghiên cứu được sử dụng phổ biến nhất trong y văn nha khoa.

MeSH Key Words: dentistry; evidence-based medicine; research design

Các nguyên tắc và phương pháp nha khoa dựa trên bằng chứng (evidence based dentistry) giúp các nha sĩ có cơ hội áp dụng kết quả của những nghiên cứu liên quan vào công việc chăm sóc bệnh nhân. Chìa khóa để tìm kiếm bằng chứng là bắt đầu với việc đặt câu hỏi lâm sàng tốt và tập trung1, 2. Một câu hỏi mạch lạc sẽ giúp bạn xác định được các key word phục vụ cho chiến lược tìm kiếm.

Khi đã tìm được bằng chứng, chúng ta cần xác định các kết quả đó có đáng tin cậy và liệu có thể áp dụng được trên bệnh nhân của mình hay là không. Việc đánh giá tính xác thực (gần với sự thật) và sự liên quan (tầm quan trọng và tính hữu ích) của bằng chứng được gọi là đánh giá phản biện (critical appraisal). Mục đích của bài báo này là thảo luận về khái niệm và cơ sở của “độ mạnh chứng cứ” và các loại thiết kế nghiên cứu thích hợp để trả lời cho các câu hỏi lâm sàng thường gặp trong thực hành nha khoa hàng ngày.

Bậc thang chứng cứ (Hierarchy)

Thực hành nha khoa thực chứng bao gồm việc tìm kiếm các chứng cứ hiện có, đánh giá tính xác thực và sau đó sử dụng những chứng cứ tốt nhất để xây dựng quyết định lâm sàng. Đã có các quy tắc được thiết lập để phân loại dựa trên độ mạnh của chứng cứ 3 – 5. Những bài tổng quan hệ thống (Systematic reviews) và các thử nghiệm lâm sàng ngẫu nhiên có nhóm chứng (randomized controlled trials) đại diện cho cấp độ chứng cứ cao nhất, trong khi đó các báo cáo ca lâm sàng (case reports), ý kiến chuyên gia đứng dưới cùng.

“Bậc thang chứng cứ” được phát triển chủ yếu dành cho các câu hỏi về can thiệp hoặc điều trị. Với những vấn đề liên quan đến chẩn đoán, tiên lượng và nguyên nhân, các loại thiết kế nghiên cứu khác như nghiên cứu đoàn hệ (Cohort studies) hoặc nghiên cứu bệnh chứng (case control studies) sẽ phù hợp hơn. Đối với những loại nghiên cứu này, sẽ hữu ích hơn nếu chúng ta cân nhắc các chứng cứ không theo thứ bậc mà theo các phân loại khác nhau, bất cứ loại thiết kế nghiên cứu nào mạnh mà khả thi, thực tiễn và phù hợp về đạo đức đều nên được sử dụng.

Cần chú ý rằng, việc sử dụng những “quy tắc” hoặc loại bằng chứng chỉ giúp phân loại các nghiên cứu dựa trên kiểu thiết kế nghiên cứu. Chất lượng của từng nghiên cứu vẫn cần được đánh giá về điểm mạnh và điểm yếu bằng cách sử dụng những kỹ thuật đánh giá phản biện.

Bảng xếp loại nghiên cứu

1 – Tổng quan hệ thống chất lượng cao

2 – Thử nghiệm lâm sàng ngẫu nhiên lớn với kết quả rõ ràng

3 – Thử nghiệm lâm sàng ngẫu nhiên nhỏ với kết quả không chắc chắn (Hay nói cách khác có xu hướng tích cực, nhưng không có ý nghĩa thống kê).

4 – Thử nghiệm lâm sàng không có yếu tố ngẫu nhiên có nhóm chứng ở hiện tại

5 – Thử nghiệm lâm sàng không ngẫu nhiên không có nhóm chứng từ quá khứ

6 – Nghiên cứu đoàn hệ

7 – Nghiên cứu bệnh chứng

8 – Các kết quả bất ngờ rút ra từ những nghiên cứu không có nhóm chứng (ví dụ, điều trị tiêm penicillin những năm 1940)

9 – Báo cáo loạt ca lâm sàng và các nghiên cứu mô tả khác

10 – Báo cáo của các hội đồng chuyên gia, ý kiến của cơ quan có thẩm quyền, dựa vào kinh nghiệm lâm sàng.

(Dựa trên các tài liệu tham khảo 3,4,5)

Khái niệm cơ bản về thiết kế nghiên cứu

Nghiên cứu lâm sàng có thể là nghiên cứu thực nghiệm (experimental) hoặc quan sát (observational). Trong nghiên cứu thực nghiệm, các can thiệp được kiểm soát bởi nghiên cứu viên, trong khi đó ở các nghiên cứu quan sát, nhà nghiên cứu chỉ quan sát bệnh nhân tại một thời điểm (nghiên cứu cắt ngang – cross-sectional studies), hoặc theo thời gian (longitudinal studies). Nếu nghiên cứu quan sát được tiến hành theo thời gian và có thu thập dữ liệu mới thì gọi là tiến cứu (prospetive), nếu số liệu đã tồn tại sẵn (như trong hồ sơ nha khoa, hoặc dữ liệu điều tra dân số) thì nghiên cứu đó là hồi cứu (retrospective).

Nghiên cứu thử nghiệm

Các nghiên cứu thử nghiệm có thể có nhóm chứng (có nhóm so sánh) hoặc không có nhóm chứng. Các nghiên cứu không có nhóm chứng có giá trị rất thấp và không nên dùng để hướng dẫn thực hành. Các nghiên cứu loại này có thể thực hiện ở giai đoạn đầu trong một lĩnh vực nghiên cứu để tìm hiểu tính an toàn của một can thiệp mới, xác định các tác dụng không mong đợi và thu thập dữ liệu nền tảng chuẩn bị cho các thử nghiệm lâm sàng lớn hơn. 

Đối với các mục đích tương tự, một nghiên cứu có thể sử dụng một nhóm chứng cứ trong quá khứ, nơi dữ liệu được thu thập từ một bảng tổng hợp hoặc từ một nghiên cứu trước. Những thiết kế này thường là yếu vì nhiều yếu tố đã thay đổi kể từ khi dữ liệu được thu thập và không có gì để đảm bảo rằng sự sai lệch đã không xảy ra trong quá trình thu thập, ghi chép hoặc truy xuất dữ liệu.

Thử nghiệm lâm sàng ngẫu nhiên có nhóm chứng

Các thử nghiệm lâm sàng ngẫu nhiên có nhóm chứng (RCTs) là tiêu chuẩn vàng để thẩm định tất cả các nghiên cứu lâm sàng. Thực tế việc ngẫu nhiên hóa giữ cho các nhóm nghiên cứu trở nên tương tự nhau nhiều nhất có thể từ lúc bắt đầu, cùng với các đặc điểm khác của thiết kế như giấu kín, chọn cỡ mẫu, biện pháp đo đạc kết quả phù hợp và phân tích thống kê cho phép RCTs có khả năng giảm thiểu sai sót tối đa. Sai sót là bất kỳ yếu tố hoặc quá trình nào làm sai lệch kết quả hoặc kết luận xa rời khỏi sự thật, có thể là cường điệu hoặc đánh giá thấp tác động của can thiệp.

Trên thực tế, nghiên cứu về các phương pháp đã chỉ ra rằng, trong hầu hết các trường hợp thì sai số và thiết kế yếu khiến các thử nghiệm kết luận rằng phương pháp điều trị có hiệu quả trong khi chưa hẳn đã là như thế, và phóng đại hiệu quả, ngay cả khi nó đúng.

Việc ngẫu nhiên hóa phân bổ điều trị khiến cho RCT trở thành một trong những công cụ nghiên cứu khoa học đơn giản và có hiệu lực nhất. Trong các nghiên cứu liên quan đến người sẽ có rất nhiều yếu tố có khả năng chưa biết rõ, ví dụ như gen hoặc lối sống có thể ảnh hưởng đến kết quả. Việc ngẫu nhiên hoá, nếu được thực hiện đúng cách, sẽ giúp giảm nguy cơ các yếu tố chưa biết rõ này gây mất cân bằng giữa các nhóm.

Trình tự phân bổ phải ngẫu nhiên. Có thể dùng cách tung đồng xu, dùng các bảng số ngẫu nhiên hoặc theo thứ tự do máy tính quy định. Phân nhóm theo tuổi (chẵn hoặc lẻ), bảng số, hoặc bất cứ xếp loại có trình tự nào đều là không phù hợp bởi vì có khả năng những người có liên quan đến nghiên cứu đoán được trình tự một cách trực tiếp hoặc gián tiếp. Mặc dù đôi khi vẫn được gọi là “pseudo–“ hoặc “quasi-randomized”, chúng vẫn là không ngẫu nhiên.

Giấu kín là điểm mấu chốt thứ hai của RCTs. Thử nghiệm “giấu kín kép” (doubleblind) là thử nghiệm mà cả nhà nghiên cứu và bệnh nhân đều không biết liệu bệnh nhân thuộc nhóm thực nghiệm hay nhóm chứng. Thiết kế này hiệu quả nhất khi nhóm chứng được can thiệp bằng giả dược giống hệt thuốc thật hoặc can thiệp giả mạo, nhưng kiểu thiết kế này bị thất bại trong nhiều loại nghiên cứu quan trọng. 

Rất ít bệnh nhân đồng ý tham gia vào các nhóm chứng can thiệp giả vờ trong các điều trị liên quan đến phẫu thuật chỉnh hình xương hàm (orthognathic surgery) hay phẫu thuật khớp thái dương hàm. Các thử nghiệm phẫu thuật, theo yêu cầu phải là thử nghiệm mở vì cả nhà nghiên cứu và bệnh nhân đều biết về can thiệp. Tuy nhiên có 3 nhóm hoặc cá nhân khác có thể bị giấu kín. Nghiên cứu viên đánh giá kết quả không được phép là bác sĩ thực hiện phẫu thuật và không được biết về can thiệp (bệnh nhân phải được thông báo trước về tầm quan trọng của việc không để lộ ra gợi ý). Mặc dù sẹo mổ có thể là một dấu hiệu nhưng việc đo đạc kết quả nên dự kiến trước điều này. Hai nhóm khác có thể bị giấu kín là những nhà thống kê làm phân tích dữ liệu và các nghiên cứu viên viết kết quả của thử nghiệm. Để làm điều này, mã phân bổ phải không bị lộ cho đến khi các kết quả phân tích kết thúc. Mặc dù việc giấu kín các số liệu thống kê đang được thực hiện ngày càng nhiều, nhưng việc giấu kín đối với người viết báo cáo hiếm khi được thực hiện.

Có hai kiểu thiết kế RCTs đặc biệt đã được sử dụng trong các nghiên cứu nha khoa – thiết kế cross-over studies và split mouth, nhất là trong các y văn về nha chu. Mặc dù những loại thiết kế này chỉ cần cỡ mẫu nhỏ để đánh giá hiệu quả điều trị nhưng việc sử dụng chúng bao hàm nhiều nguy cơ và có thể không phù hợp, trừ khi đáp ứng được các tiêu chí nhất định. Việc bàn luận về các vấn đề liên quan đến những kiểu thiết kế này nằm ngoài khuôn khổ của bài bào, nhưng quý độc giả quan tâm có thể tham khảo một số bài báo rất chi tiết (ở phần tài liệu tham khảo). 11-15

Các nghiên cứu quan sát

RCTs không thể trả lời cho mọi câu hỏi lâm sàng. Có những tình huống mà chúng không cần thiết, không hợp lý, không đạo đức hoặc không khả dụng, hoặc chỉ đơn giản là chúng chưa được thực hiện. 

Nói chung, những câu hỏi về can thiệp tốt nhất nên được trả lời bởi các nghiên cứu RCTs, thậm chí tốt hơn là các phân tích tổng hợp (meta – analysis), nếu có, trong khi đó các câu hỏi liên quan đến chẩn đoán, tiên lượng và nguyên nhân thì có thể được giải đáp tốt nhất bằng những nghiên cứu quan sát (đôi khi gọi là những nghiên cứu “dịch tễ học”). 

Việc thiết kế, thực hiện các nghiên cứu quan sát vẫn thường được tiến hành trong nha khoa, có thể còn có nhiều thách thức hơn trong việc kiểm soát sai sót. Vì vậy, việc sử dụng những phương pháp đánh giá phản biện là rất cần thiết (trình bày trong phần 6 của loạt bài này) để đánh giá tính hợp lệ của các nghiên cứu này.

Rộng ra, nghiên cứu quan sát được thực hiện phụ thuộc vào sự hiếm có của bệnh hoặc tình trạng bệnh lý và các vấn đề liên quan đến nguồn nhân lực và điều kiện kinh tế. Thông thường có thể thiết kế một số phương pháp để trả lời câu hỏi này và nên chọn những thiết kế mạnh nhất. Sau đây là một số loại nghiên cứu quan sát phổ biến nhất.

Nghiên cứu Đoàn Hệ (Cohort study)

Trong một nghiên cứu đoàn hệ, ngay từ đầu người ta đã biết các đối tượng nghiên cứu có tiếp xúc với điều trị hoặc tác nhân gây bệnh (ví dụ như vaccine, thuốc hoặc độc tố môi trường) hay không và các đối tượng được phân chia thành các nhóm hoặc quần thể (điều trị hoặc tiếp xúc so với không điều trị hoặc không phơi nhiễm) dựa trên điều này. Sau đó thực hiện theo dõi theo thời gian (prospectively) trong vài năm hoặc thậm chí vài thập kỷ để xem có bao nhiêu người trong mỗi nhóm phát triển một bệnh lý cụ thể hoặc các kết quả khác. 

Thiết kế nghiên cứu loại này thường không đắt và dễ thực hiện hơn các RCTs. Nó cũng dễ chấp nhận về mặt đạo đức hơn, vì các can thiệp có tiềm năng có lợi không bị kìm hãm và ngược lại các can thiệp có thể có hại không được sử dụng. Nhược điểm lớn nhất là không có gì để chắc chắn là các nhóm nghiên cứu giống nhau và chúng không chịu ảnh hưởng bởi các yếu tố tác động gây nhiễu như tầng lớp xã hội hoặc nghề nghiệp, có thể ảnh hưởng đến kết quả nghiên cứu. Ngoài ra, với những bệnh hiếm gặp, yêu cầu về cỡ mẫu hoặc thời gian theo dõi để đánh giá được hiệu quả có thể quá lớn.

Một trong những nghiên cứu đoàn hệ (cohort) nổi tiếng nhất16 theo dõi 40.000 bác sỹ người Anh trong 4 nhóm (không hút thuốc, hút nhẹ, hút trung bình và nghiện thuốc nặng) trong 40 năm, từ 1951 đến 1991. Nghiên cứu này (đạt tỷ lệ theo dõi là 94%) dẫn đến việc hình thành mối liên hệ nguyên nhân kết quả giữa hút thuốc và ung thư phổi và một số bệnh khác, cũng như quan hệ liều – đáp ứng giữa hút thuốc và ung thư phổi. Nghiên cứu này cho thấy sức mạnh to lớn của một nghiên cứu đoàn hệ được thiết kế tốt.

Một biến thể khác của nghiên cứu đoàn hệ (cohort) với chỉ một nhóm theo dõi là các nghiên cứu theo thời gian (longitudinal study). Trong nhóm (gọi là nhóm bắt đầu) những người dương tính với test sàng lọc (ví dụ một dấu hiệu di truyền mới) hoặc những người có chẩn đoán đang ở giai đoạn sớm của 1 bệnh nào đó (ví dụ bệnh xơ cứng rải rác). Sau đó chúng sẽ được theo dõi và đánh giá lặp lại nhiều lần để xem xét tiến triển của bệnh (trong ví dụ về dấu hiệu di truyền), hoặc khung thời gian cho các kết quả đo đạc trong các trường hợp bệnh mạn tính.

Nghiên cứu bệnh chứng (Case – control study)

Trong loại hình nghiên cứu này, những người có tình trạng nào đó (cases) được xếp thành một nhóm, và những người không có bệnh được xếp vào một nhóm (nhóm chứng) và nhà nghiên cứu sẽ truy ngược thời gian để xác định tỷ lệ người trong mỗi nhóm bị tiếp xúc với yếu tố nguyên nhân nghi ngờ. Cách làm này tương đối nhanh, chi phí thấp và là thiết kế tốt nhất cho các bệnh hiếm hoặc khi có khoảng thời gian giữa thời điểm tiếp xúc và thời biểu hiện bệnh lý dài.

Lấy ví dụ về một nghiên cứu bệnh chứng quan trọng là nghiên cứu mối liên hệ giữa ung thư âm đạo (vaginal cancer) ở phụ nữ trẻ và việc sử dụng diethylstilbestrol bởi mẹ của họ trong thời kỳ mang thai. Nhược điểm lớn nhất của loại nghiên cứu này là nó dựa vào trí nhớ (“sai sót nhớ lại”) hoặc hồ sơ bệnh án có thể không chính xác hoặc không đầy đủ.

Nghiên cứu cắt ngang (Cross – sectional studies)

Nghiên cứu cắt ngang cố gắng thiết lập mối liên hệ giữa một yếu tố có khả năng gây bệnh và một tình trạng bênh lý, bằng cách xác định sự tiếp xúc với yếu tố và tình trạng được quan tâm tại cùng một thời điểm. 

Ví dụ, một nhóm lớn những bà mẹ có thể được phỏng vấn để xác định họ sinh con có dị tật khe hở vòm miệng hay không và họ có dùng một loại thuốc nào đó trong suốt thời kỳ mang thai hay không. Mặc dù loại nghiên cứu này thực hiện tương đối dễ và ít tốn kém cũng như dễ chấp nhận về mặt đạo đức, nó chỉ có thể thiết lập một mối liên quan chứ không thể tìm ra quan hệ nguyên nhân kết quả. Ngoài ra, cả “sự tiếp xúc” và “tình trạng bệnh lý” có thể phụ thuộc vào độ chính xác của việc nhớ lại những thông tin trong quá khứ.

Case reports và case series

Báo cáo một hoặc một chuỗi các trường hợp lâm sàng thường được sử dụng để mô tả một tình trạng (một bệnh hiếm, hoặc một khía cạnh mới của một bệnh ít hiếm gặp hơn), một phương pháp điều trị hoặc một tiến bộ, hoặc các tác động có hại của liệu pháp can thiệp. Các loại báo này thường truyền tải một khối lượng thông tin lớn mà thường không được nhắc đến trong các thử nghiệm lâm sàng. 

Việc mô tả các trường hợp lâm sàng có thể giúp cảnh báo thế giới về các vấn đề quan trọng mới và cho phép đưa ra các giải thiết dẫn đến việc thiết kế các nghiên cứu tập trung có thiết kế mạnh hơn. Tuy nhiên, case studies và case series bị xếp vào dạng nghiên cứu thấp nhất của bậc thang chứng cứ, bởi vì các quan sát biệt lập được thu thập không có kiểm soát, không hệ thống, và thông tin không mang tính khái quát cho quần thể bệnh nhân lớn hơn.

Nghiên cứu tích hợp

Các quyết định lâm sàng quan trọng đúc rút trên cơ sở các thử nghiệm đơn lẻ, đặc biệt khi kết quả là sự thay đổi nguyên tắc điều trị, có nguy cơ rủi ro cao. Do yêu cầu về số lượng bệnh nhân đủ lớn để có thể phát hiện những khác biệt từ nhỏ đến vừa khi đo đạc các kết quả lâm sàng quan trọng nên không thể tìm các câu trả lời chắc chắn trong các thử nghiệm đơn lẻ được trừ khi chúng là những “thử nghiệm đơn giản lớn”, được thiết kế tốt. Những thử nghiệm “cực lớn” (mega) liên quan đến hàng nghìn bệnh nhân như vậy hiếm khi được tiến hành trong nha khoa.

Khi những thông tin từ tất cả các thử nghiệm lâm sàng liên quan cùng giải đáp một câu hỏi được kết hợp bằng cách sử dụng các phương pháp chặt chẽ và chính xác nghiêm ngặt, thì sẽ cho ra kết quả là các tổng quan hệ thống (systematic review) hoặc overview. Nếu kết quả của mỗi thử nghiệm được báo cáo theo cách mà họ có thể kết hợp thống kê với nhau, thì kết quả thu được sẽ là bài tổng quan hệ thống định lượng hoặc bài phân tích tổng hợp (meta- analysis). Mặc dù tổng quan hệ thống là các nghiên cứu quan sát, hồi cứu, nhưng nó sử dụng những phương pháp khoa học để kiểm soát sai sót, và bằng cách đó cung cấp các phương pháp hiệu quả để tổng hợp và tóm tắt dữ liệu. Trên thực tế, các tổng quan hệ thống được đánh giá là có độ mạnh chứng cứ cao nhất.

Kết luận

Một khi các nghiên cứu được công bố, nhất là khi được đăng trên những tạp chí có uy tín, có thẩm định bình duyệt (peer-reviewed), thì nó sẽ có một mức độ trân trọng và đáng tin cậy nhất định. Tuy nhiên, nghiên cứu về phương pháp luận đã chỉ ra rằng việc chấp nhận kết quả của nhiều nghiên cứu đã công bố trước đây không phải bao giờ cũng xứng đáng. Điều này rất đáng lo ngại nếu người đọc không có tư duy phân tích phản biện các y văn. Rất may là hầu hết các nghiên cứu lâm sàng có thể dễ dàng đánh giá bằng cách sử dụng những kỹ thuật đánh giá phản biện. Phương pháp đánh giá phản biện các loại nghiên cứu khác nhau cũng là mục tiêu của 2 bài cuối trong loạt bài này.

Xem thêm:

  + Nha khoa dựa trên bằng chứng phần I KHỞI ĐẦU

  + Nha khoa dựa trên bằng cứng phần III: Đi tìm đáp án cho câu hỏi lâm sàng – các câu hỏi trên internet

  + Nha khoa dựa trên bằng cứng phần V: Đánh giá phản biện Y văn nha khoa – các bài báo về liệu pháp

  + Nha khoa dựa trên bằng cứng phần VI: Thẩm định phản biện Y văn nha khoa – các bài báo về chuẩn đoán, bệnh căn và tiên lượng

References

Richardson WS, Wilson MC, Nishikawa J, Hayward RS. The wellbuilt clinical question: a key to evidence-based decisions. ACP J Club 1995; 123(3):A12-3.

Sutherland SE. The building blocks of evidence-based dentistry. J Can Dent Assoc 2000; 66(5):241-4.

Woolf SH, Battista RN, Anderson GM, Logan AG, Wang E. Assessing the clinical effectiveness of preventive maneuvers: analytic principles and systematic methods in reviewing evidence and developing clinical practice recommendations. A report by the Canadian Task Force on the Periodic Health Examination. J Clin Epidemiol 1990; 43(9):891-905.

Sackett D. Rules of evidence and clinical recommendations. Can J Cardiol 1993; 9(6):487-9.

Cook DJ, Guyatt GH, Laupacis A, Sackett DL. Rules of evidence and clinical recommendations on the use of antithrombotic agents. Chest 1992; 102(4 Suppl):305S-311S.

Jadad A. Bias in RCT’s: beyond the sequence generation. In: Randomized Controlled Trials: A User’s Guide. London: BMJ Publishing; 1998. p. 28-45.

Chalmers TC, Celano P, Sacks HS, Smith H Jr. Bias in treatment assignment in controlled clinical trials. N Engl J Med 1983; 309(22):1358-61.

Antczak AA, Tang J, Chalmers TC. Quality assessment of randomized control trials in dental research. I. Methods. J Periodontal Res 1986; 21(4):305-14.

Antczak AA, Tang J, Chalmers TC. Quality assessment of randomized control trials in dental research. II. Results: periodontal research. J Periodontal Res 1986; 21(4):315-21.

Jadad AR, Rennie D. The randomized controlled trial gets a middleaged checkup. JAMA 1998; 279(4):319-20.

Chilton NW, Fleiss JL. Design and analysis of plaque and gingivitis trials. J Clin Periodontol 1986; 13(5):400-10.

Goldberg JD, Weiss AI, Koury KJ. Design of clinical trials for chronic diseases: implications for periodontal disease. J Clin Periodontol 1986; 13(5):411-7.

Hujoel PP, Moulton LH. Evaluation of test statistics in split-mouth clinical trials. J Periodontal Res 1988; 23(6):378-80.

Antczak-Bouckoms AA, Tulloch JF, Berkey CS. Split mouth and cross-over designs in dental research. J Clin Periodontol 1990;17(7 Pt 1):446-53.

Newcombe RG, Addy M, McKeown S. Residual effect of chlorhexidine gluconate in 4-day plaque regrowth crossover trials, and its implications for study design. J Periodontal Res 1995; 30(5):319-24.

Doll R, Peto R, Wheatley K, Gray R, Sutherland I. Mortality in relation to smoking: 40 years’ observations on male British doctors. BMJ 1994; 309(6959):901-11.

Greenhalgh T. How to read a paper. Getting your bearings (deciding what the paper is about). BMJ 1997; 315(7102):243-6.

Herbst AL, Anderson S, Hubby MM, Haenszel WM, Kaufman RH, Noller KL. Risk factors for the development of diethylstilbestrolassociated clear cell adenocarcinoma: a case-control study. Am J Obstet Gynecol 1986; 154(4):814-22.

Cook DJ, Sackett DL, Spitzer WO. Methodologic guidelines for systematic reviews of randomized controlled trials in health care from the Potsdam Consultation on Meta-Analysis. J Clin Epidemiol 1995;48(1):167-71.

Altman DG. The scandal of poor medical research. BMJ 1994; 308(6924):283-4.

Schulz KF, Chalmers I, Hayes RJ, Altman DG. Empirical evidence of bias. Dimensions of methodologic quality associated with estimates of treatment effects in controlled trials. JAMA 1995; 273(5):408-12.