<div dir="ltr">Hi All,<div><br></div><div>I came across a blog today by Frank Harrell, Professor of Biostatistics and Founding Chair at Vanderbilt.  His most recent post is the title of this email.  But as I'm reading through his blog, I'm hearing a lot that has been discussed and experienced by professors and postdocs subscribed to this list.  We are often very separated from our neighboring departments, and I actually found some comfort in the fact that these problems seem spread across the board (misery loves company). Even if we have been echoing these problems for over a decade with little effective change.  </div><div><br></div><div>In his most recent post he says, "<span style="color:rgb(68,68,68);font-family:Arial,Tahoma,Helvetica,FreeSans,sans-serif;font-size:13px">There are several ways to improve the system that I believe would foster clinical research and make peer review more objective and productive." I'm curious about what the people in the vision community think of these suggestions and whether they are realistic to implement in our field.  His list is at the bottom of the entry.  </span><font color="#444444" face="Arial, Tahoma, Helvetica, FreeSans, sans-serif"><a href="http://www.fharrell.com/2017/11/">http://www.fharrell.com/2017/11/</a></font></div><div><span style="color:rgb(68,68,68);font-family:Arial,Tahoma,Helvetica,FreeSans,sans-serif;font-size:13px"><br></span></div><div><span style="color:rgb(68,68,68);font-family:Arial,Tahoma,Helvetica,FreeSans,sans-serif;font-size:13px">For those experiencing TL;DR, here is the shortlist:</span></div><div><ul style="padding:0px 2.5em;margin:0.5em 0px;line-height:1.4;list-style-position:initial;color:rgb(68,68,68);font-family:Arial,Tahoma,Helvetica,FreeSans,sans-serif;font-size:13px"><li style="padding:0.25em 0px;margin:0px 0px 0.25em;border:none">Have journals conduct reviews of background and methods without knowledge of results.</li><li style="padding:0.25em 0px;margin:0px 0px 0.25em;border:none">Abandon journals and use researcher-led online systems that invite open post-"publication" peer review and give researchers the opportunities to improve their "paper" in an ongoing fashion.</li><li style="padding:0.25em 0px;margin:0px 0px 0.25em;border:none">If not publishing the entire paper online, deposit the background and methods sections for open pre-journal submission review.</li><li style="padding:0.25em 0px;margin:0px 0px 0.25em;border:none">Abandon null hypothesis testing and p-values. Before that, always keep in mind that a large p-value means nothing more than "we don't yet have evidence against the null hypothesis", and emphasize confidence limits.</li><li style="padding:0.25em 0px;margin:0px 0px 0.25em;border:none">Embrace Bayesian methods that provide safer and more actionable evidence, including measures that quantify clinical significance. And if one is trying to amass evidence that the effects of two treatments are similar, compute the direct probability of similarity using a Bayesian model.</li><li style="padding:0.25em 0px;margin:0px 0px 0.25em;border:none">Improve statistical education of researchers, referees, and journal editors, and strengthen statistical review for journals.</li><li style="padding:0.25em 0px;margin:0px 0px 0.25em;border:none">Until everyone understands the most important statistical concepts, better educate researchers and peer reviewers on <a href="http://biostat.mc.vanderbilt.edu/ManuscriptChecklist" style="text-decoration-line:none;color:rgb(77,70,156)">statistical problems to avoid</a>.</li></ul></div><div><br></div><div>Best,</div><div>Pam Pallett</div></div>