生物信息室间质评相关杂谈
生物信息
本人目前工作的主业还是生物信息Bioinformation,主要集中在基因组,肿瘤临床基因检测相关工作,写blog
以来暂时还没有生物信息相关的博文,主要是因为目前处于行业低估,前景不明,暂时兴趣上也有点丧失,但是毕竟是已经工作多年,还是记录点东西吧。主要是个人的一些见闻,仅代表个人想法,接受与否与我无关
室间质评
在第三方医学实验室中,会有一些行业官方性质的,类似于某些科目考试,然后出成绩的项目,比如NCCL
, National Center for Clinical Laboratories. 以及一些地方性的机构,比如上海临检中心发布的室间质评项目。另外还有国外的EMQN
,CAP
认证等,这里只讨论国内的NCCL
的情况,且仅限于计算部分项目
生物信息室间质评
第三方经常会在官网,公众号发布所谓的喜讯,说某年的生物信息室间质评全对,获得满分了!然后写一串公司内部研发怎么怎么好,对质量怎么怎么看重,满分就足以证明企业产品的竞争力
可是,这个逻辑对吗?真的符合事实吗?
个人参与的经验
在讨论上述说法的时候,本人也是真正参与过实际的室间质评项目的,最早的时候应该是在2018年,但是2018年我只是作为参与者,从2019年我是独立参与了整个项目的计算,整理,提交工作。
2018
2018年作为参与者,当时负责人在计算完,分析后,在开会的时候,给我们形容为NCCL
给的数据很奇怪(这里补充下,纯生物信息室间质评是由NCCL统一下发电子数据,也就是所有参与者的比赛题目都是完全一致的,所以答案理论上也是完全一致,后面还会引用这个事实),什么奇怪呢?就是这个数据似乎看起来太干净了,计算出来的结果可以用,显然
,明显
,易知
等等我们曾经在解数学题上对那种没有任何疑问的结论的用语。当时的负责人还在纳闷是不是我们的程序哪里有问题了,是不是还有比较难算的东西被忽略掉了。
2019
2019年我作为负责人独立进行当年的生物信息室间质评项目,由于以前也没实际负责过,所以都是直接撸袖子就上,可是我也发现似乎这个数据计算出来的结果实在是太过明显了,没有任何需要值得注意的地方,这种状态怎么形容?应该这么形容:
请问以下那个数字不是偶数? A:3, B:8, C:6, D2
请选出大于22且小于40的偶数 A:10, B:23, C:108 D:32
实际的数据我就懒得去举证了,反正意思大概就是这么个意思。而我在检查了下结果了,核对没问题,就直接把结果提交了,当年我是提交了illumina,和bgi两个平台的结果。最后的结果也没有多大疑问,我两个平台都是满分100
分
后续项目
后面几年几乎每年也都参加了纯生信室间质评项目,也参加了寄样本湿实验加生信一起的生信室间质评项目,所有项目都具有一样的性质,没有任何改变,当然,100
分也是理所当然的
评价
好了,重点来了,因为我是负责底层数据的人,那么这种项目该如何评价呢?我想,在我描述了以上内容了,大家也会有自己的评价。对于专业者来说,这种项目无法起到选拔筛选
的作用,当然,室间质评它本身存在的目的确实也不是选拔筛选,而是起一个门槛
性质的作用。所以,怎么对它评价,就要看性质,如果是以选拔
为性质,这种项目就是鸡肋,简而言之,清华大学并不会你写对了100道加减乘除获得满分就录取你。如果是以门槛
为性质,这个项目具有一定的作用,因为如果连3
是不是偶数都不知道,小学都肯定不会毕业的,肯定智商存在问题,这是还无疑问的。
一定作用
上面说,就算是以门槛
为性质,也只起到了一定的作用,为什么是部分作用呢?因为按照官方出具的结论,整个项目满分率很长时间都只有50%左右,后面就算高也就到70-80%左右,怎么样,很震惊吧??这么简单的题都还有那么多人答错???嗯,还没结束呢。
不止有很多人答错,关键的关键是,答对的人里面还有很多人是抄答案的!!!!
在官方的结论表里,明确提到上传的答卷里存在高度一致的答卷,被判断为抄袭,这里我也懒得再去找截图了。这属于造假都不走心的,无数个小数点数字都一样当然不行啊,那么有多少是属于造假走心的却没有被发现呢?只有上帝知道了!
懵懂的大众
毕竟大众对于这种事根本不知情,在各种专业的词汇面前,在强大的舆论面前,在华丽的辞藻效果下,在铺面的公司实力面前,根本无法抵御,迈向了精心设计好的温柔乡里了
充要条件
所以,总结起来,室间质评和公司产品质量的关系就是数学上充要条件的关系。形象点形容就是,你知道1+1=2
并不能说明你数学强大,但是你不知道1+1=2
一定可以说明你是个数学白痴。同理,室间质评所谓的满分并不能说明生物信息能力是达标的,因为这不形成充分条件,但是,如果你室间质评连满分都拿不到,你公司的生物信息一定是垃圾!
数学上就是假设条件P1
和P2
,结论Q1
和Q2
,P1:生物信息室间质评满分
, P2:生物信息室间质评没有满分
, Q1:生物信息能力强大
,Q2:生物信息非常垃圾
。
P1
是不能推断出Q1
的,但是理论上Q1
是可以推断出P1
的,所以P1
只是Q1
的必要非充分条件。
P2
是可以推断出Q2
的,但是同理,Q2
是不能推断出P2
的,所以P2
是Q2
的充分非必要条件。(因为Q2:生物信息非常垃圾,同样存在着P1:室间质评考满分的情况)
消费者的选择
所以通过以上数学描述和逻辑推断,可以看出,消费者请问如何选择生物信息能力强大的公司呢??
答案是,没有办法选择(如果是以生物信息室间质评的角度去选择的话)
因为生信室间质评和企业生信能力之间不存在充分必要条件,生信室间质评本身存在的目的也并不是去评价一个企业产品生信能力,而是更像一个是否具备开展基本生信能力的性质,非专业人员非常非常容易被大肆宣传的__满分__给迷惑了思维!
确定的选择
上述说了,没有办法选择生信能力强的公司,但是有一点是可以确定的
那就是可以不选择生信能力差的公司
道理也很简单吗,生信室间质评结果所呈现出来的唯一能够明确,且可以获取到的逻辑事实就是P2
是可以推断出Q2
的,如果一个公司你能明确知道连这个室间质评都没拿到满分,那就可以放心大胆的直接pass
掉就行了,准确率近乎100%。(严谨点,确实有生信能力强的公司因为小失误造成没拿到满分,但是逻辑是没问题,既然存在失误,那说你生信不行其实也没啥问题)
所以,只要目前生信室间质评的功能定位还是会让那些生信团队投入不足,生信产品质量堪忧的团队能够在生信室间质评项目上获得满分,那么对于生信室间质评的作用,总结起来就是它不具备让你去选择肯定的作用,但是它具备让你去否定淘汰的作用,这就是整个项目的功能定位以及其数学原理定性的
总结
其实也蛮久没再去看室间质评的数据了,我身边也发生过类似数据的严重事故,对消费者造成了很不好的影响,从以上就可知,目前整个行业还是良莠不齐,就算是那么简单的项目了,依然还有大把的公司通过不了,即使通过的也有大把的是靠抄袭,靠对答案,靠走捷径的方式去获取这个所谓的测评通过,好在媒体上去宣传,去蒙骗那些懵懂的非专业人士。对于这种乱象,实属痛心,也无可奈何!