<div dir="ltr"><span style="font-size:12.8px">Hi Dr Malte,</span><br><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">We use a similar system (Turnitin) to evaluate student papers for plagiarism.   That system is also prone to many false alarms.   </span><span style="font-size:12.8px">Thus when discussing the use of the system with my faculty I have to emphasize that a claim of plagiarism <b><i>should never be made based on the system's report</i></b>, but the areas flagged by the program must be evaluated by a human to determine whether or not they constitute a true instance of plagiarism.  Thus it can be a helpful tool to focus one's energy on parts of a paper, but is not actually a plagiarism detector.  </span></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">It sound like Dr. Twa is using, and encouraging the use of, the system in this fashion, which can be helpful and appropriate.  However, editors should not rely too strongly on the output of these systems; a claim of plagiarism is a serious one and the threshold for making such a claim requires the editor to do due diligence to verify the accuracy of the scanner's output, and to evaluate the extent to which it really represents plagiarism rather than the use of very common phrasing.  </span></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px"> Mark</span></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px"><br></span></div><div><br></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Jul 10, 2017 at 10:59 AM, Persike, Malte <span dir="ltr"><<a href="mailto:persike@uni-mainz.de" target="_blank">persike@uni-mainz.de</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">





<div lang="DE" link="#0563C1" vlink="#954F72">
<div class="m_6777157793513357703m_-5438513137383865590m_649294284892604672WordSection1">
<p class="MsoNormal"><span lang="EN-GB">Dear Vision Community,<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB">during publishing of a recent manuscript, I received a request from the editorial office to alter a number of sections in said manuscript. The request was triggered by an automated plagiarism check using CrossCheck. The
 whole process left me so puzzled that I thought I‘d share my experience here, combined with a humble request for a broader debate about the issue of plagiarism in empirical research.<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB">First, what happened? The report contained a whopping 24 different items, each asserting plagiarism of the works of others. The email from the editorial office was phrased accordingly. It asked to “amend the affected
 sections by either identifying the fact that it has been reproduced or by using original words”, thus presuming all 24 instances of supposed plagiarism to be veridical. Most of them were not.
<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB">After a very thorough debate about all 24 items with my co-authors and an expert for good scientific conduct at our university’s library, 22 out of all 24 items were discarded. The remaining 2 items were far from verbatim
 copies of whole sections. They were small parts of larger sentences together with explicit citations of the sources from which those parts were derived. The other 22 items were discarded not due to subjective reasoning but due to obvious glitches in the plagiarism
 checking algorithms. This amounts to a rate of 91.6% false positives. I’ll describe some of the more silly instances at the end of this text, but that is not the reason for my posting here.<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB">Instead, the point I very much like to discuss with you is the handling of possible plagiarism in empirical studies. Do we have an agreed code of conduct for authoring pieces of empirical science? Let me highlight only
 a few points.<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB">1) How do we treat Materials and Methods? The Stimuli section will necessarily contain similar phrasings when reporting about research that uses identical paradigms. The Apparatus section will also be quite similar between
 related studies, as will the Participants section. The same holds for the Ethics Statement and the Measures and Analysis. Is it really desirable that we need to come up with ever so slightly different formulations for identical things, only to avoid verbatim
 copies? Are there not limitations as to how a temporal 2-AFC task can be described with appropriate brevity? And would it – particularly for Methods and Results –perhaps even be prudent to stick to a rather formulaic language protocol in order to make reception
 easier? I for one would certainly not wish to read a Methods section which goes like “Stimuli were created according to XY (2004). Handling of Participants was similar to XY (2010). Apparatus was as described in XY (1998). Task was taken from XY (2001). Analysis
 and measures are according to XY (1992).” This does not help me to efficiently understand what’s being done.
<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB">2) How do we handle self-citations? Many of us work on the same topics over long stretches of time, sometimes decades. Good scientific research usually means to advance present knowledge step by step, pulling only very
 few levers at once for each new experiment. Is it not to be expected that at some point we have arrived at concise, well-formulated, and most comprehensible ways to verbally introduce specific concepts. Is it really necessary that we find ever new ways to
 phrase the exact same ideas?<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB">3) Is it the prime virtue of empirical research to be phrased originally? Is it not first and foremost the results and their implications that define original and interesting work? Even if we set high standards of originality
 for the prose in empirical articles, how should brief verbatim copies be handled? Let me give one example. Suppose, the abstract of a paper reads like “We used faces, non-face objects, Gabors, and colored Gaussian blobs to investigate the role of stimulus
 complexity on visual processing.” I find it highly questionable to then have a sentence like “XY (2001) used faces, non-face objects, Gabors, and colored Gaussian blobs to investigate the role of stimulus complexity.”, written by another author, qualify as
 plagiarism or needing quotes. Why should the latter author attempt to rephrase something that had already been so concisely summarized by the original authors?<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB">4) Is it common consensus that automated plagiarism checking without editorial oversight is the yardstick against which to evaluate the originality of scientific manuscripts?<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB">I’d very much love to have an informed discussion with you. In part because I imagine that the plagiarism report I received may turn out to be the rule rather than the exception, hence we might all face hours of checking
 and re-checking during future publishing attempts.<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB">Kind regards to all of you<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB">  Malte Persike<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB">--<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB">And here come some of the highlights from the plagiarism report issued to me.<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB"><u></u> <u></u></span></p>
<p class="m_6777157793513357703m_-5438513137383865590m_649294284892604672MsoPlainText"><span lang="EN-GB">(i) My institutional address “Johannes Gutenberg University Mainz, Wallstr. 3, D-55122 Mainz, Germany” and the immediately following heading “Abstract” were flagged as plagiarism.<u></u><u></u></span></p>
<p class="m_6777157793513357703m_-5438513137383865590m_649294284892604672MsoPlainText"><span lang="EN-GB"><u></u> <u></u></span></p>
<p class="m_6777157793513357703m_-5438513137383865590m_649294284892604672MsoPlainText"><span lang="EN-GB">(ii) The E-Mail addresses of the authors were flagged as a plagiarism.<u></u><u></u></span></p>
<p class="m_6777157793513357703m_-5438513137383865590m_649294284892604672MsoPlainText"><span lang="EN-GB"><u></u> <u></u></span></p>
<p class="m_6777157793513357703m_-5438513137383865590m_649294284892604672MsoPlainText"><span lang="EN-GB">(iii) Citations and year numbers, e.g. “(Persike et al., 2015)” were included in the word count for multiple items. This had ridiculous consequences. To name only two of the most blatant ones: one plagiarism item was
 defined by the words “Author et al., 1993 […] et al. […] the […] et al., 1997” (with a few unflagged words inbetween), another item was defined by the words “Author1 and Author2, 1994; Author3 and Author4, 2001) and”.<u></u><u></u></span></p>
<p class="m_6777157793513357703m_-5438513137383865590m_649294284892604672MsoPlainText"><span lang="EN-GB"><u></u> <u></u></span></p>
<p class="m_6777157793513357703m_-5438513137383865590m_649294284892604672MsoPlainText"><span lang="EN-GB">(iv) Mathematical symbols, brand names and notational terms had been included in the report. One item therefore consisted almost entirely of parts of a mathematical formula, the product names “ViSaGe” and “ColorCal
 colorimeter”, the brand name “Cambridge Research Systems LLC”, the term “Michelson contrast”, and the phrase “were run in Matlab”.<u></u><u></u></span></p>
<p class="m_6777157793513357703m_-5438513137383865590m_649294284892604672MsoPlainText"><span lang="EN-GB"><u></u> <u></u></span></p>
<p class="m_6777157793513357703m_-5438513137383865590m_649294284892604672MsoPlainText"><span lang="EN-GB">(v) Many of the report items contained common phrases used in neuroscience research, some of which were even multiply counted. For example, one item was defined by the mere phrase “to the ability of the visual system”,
 counted two times, plus a reference. A quick Google search turned up more than 150,000 hits for this exact phrase and Google Scholar yields more than a hundred authors who have also used this phrase in their works.<u></u><u></u></span></p>
<p class="m_6777157793513357703m_-5438513137383865590m_649294284892604672MsoPlainText"><span lang="EN-GB"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB">(vi) The CrossCheck system invented false positives. One item contained the phrase “V2 neurons are highly selective”, another item referred to the phrase “to a particular combination of line components”. These phrases
 were not copied from anywhere but are original. In fact, they are so original that Google Scholar yields precisely zero search results for each of them. The sources from where these phrases were claimed to be derived do not include such sequences of words
 anywhere in the entire texts.<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB" style="font-size:10.0pt;color:black">--<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB" style="font-size:10.0pt;color:black">Dr. Malte Persike<br>
<br>
Department for Statistical Methods<br>
Psychological Institute<br>
Johannes Gutenbe</span><span style="font-size:10.0pt;color:black">rg University Mainz<br>
Wallstr. 3<br>
D-55122 Mainz<br>
<br>
fon:    <a href="tel:+49%206131%203939260" value="+4961313939260" target="_blank">+49 (6131) 39 39260</a><br>
fax:    <a href="tel:+49%206131%203939186" value="+4961313939186" target="_blank">+49 (6131) 39 39186</a><br>
mobile: <a href="tel:+49%201525%204223363" value="+4915254223363" target="_blank">+49 (1525) 4223363</a><br>
<br>
</span><span lang="EN-GB"><u></u><u></u></span></p>
</div>
</div>

<br>______________________________<wbr>_________________<br>
visionlist mailing list<br>
<a href="mailto:visionlist@visionscience.com" target="_blank">visionlist@visionscience.com</a><br>
<a href="http://visionscience.com/mailman/listinfo/visionlist_visionscience.com" rel="noreferrer" target="_blank">http://visionscience.com/mailm<wbr>an/listinfo/visionlist_visions<wbr>cience.com</a><br>
<br></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="m_6777157793513357703m_-5438513137383865590gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div style="color:rgb(136,136,136);font-size:12.8px">Mark W. Becker<br><span>Associate</span> <span>Chair</span> & <span>Director</span> of Undergraduate Education<br><span>Associate</span> Professor <br>Department of Psychology<br>316 Physics Rd - Room 285B<br>Michigan State University<br>East Lansing, MI 48824<br></div><a href="https://www.msu.edu/~becker54" style="color:rgb(17,85,204);font-size:12.8px" target="_blank">https://www.msu.edu/~becker54</a><span style="color:rgb(136,136,136);font-size:12.8px"> </span><br style="color:rgb(136,136,136);font-size:12.8px"><div><span style="color:rgb(136,136,136);font-size:12.8px"><br></span></div></div></div>
</div></div>