模型的参数差异性检验问题

Created: September 14, 2023 6:00 AM Last edited by: Pan Wanke Last edited time: September 14, 2023 6:01 AM Owner: Pan Wanke

参数差异性(t or anova)检验的相关问题

罗娇容-华南师大-认知控制:

  • 想跟大家讨论一个模型比较的问题。我最近投的一篇文章是分别拟合了两个条件的数据，然后对每个参数做了t检验（参考了Ratcliff的做法），然后有个审稿人就一直坚持说不应该对参数做统计检验，就是要通过模型比较的方法来决定要改变什么参数。我在想做模型比较或者这样分别拟合不同条件的数据不是工作方式不同吗？我看他的意思是只有模型比较才是对的方式
  • 审稿人说对参数进行统计检验不是一个scientifically valid procedure
  • 我在一审的时候根据他的意见做了模型比较，然后根据goodness-of-fit和BIC选了full model，然后再对参数进行t检验，这样他还是不满意

胡啸:

  • 我认为纯模型比较的方法有可能出现II类错误，减弱统计检验力，因此传统的t检验方式不应该放弃。虽然不是DDM，也可以提供参考。
  • 另外在09年的一篇老文章里，Nathaniel Daw有讲过，对个体层面的参数点估计做t检验，其实从估计误差上讲和多层模型的差异没有那么大。
    • Nathaniel 2009，Trial-by-trial data analysis using computational models
    • we used data simulation to illustrate that the parameter-estimationapproach can accurately detect whether there is reliable differencein obiective 入 criteria across experimental conditions. Howeverthe model-comparison approach lacks statistical power, and isunable to reveal the difference in objective 入 criteria across condi.tions even when this difference exists. Thus, the result derivedfrom the model-comparison approach that the objective 入 for decision criteria does not differ between difficulty levels may be falsenegative, and we advocate the parameter-estimation approachused in the current study.
  • 问题就是怎么说服审稿人同意。我后来在我的文章里面做了一个simulation，讨论了type 2 error的问题，说服了审稿人。但是我不知道DDM领域有没有相似的现象
  • 如果是individual fitting的话，应该可以做t检验，这是Nathan Daw的观点，我也同意。如果是直接从hierarchical model取出个体参数，这些参数就是shrinkage的，那确实不能做t检验
  • 有些人担心的是，做t检验时候其实忽略了个体拟合的参数点估计值的standard error，会不会导致结果不准确。Daw认为没太大影响。
  • 如果是我做的话，会分别对每个被试的每个条件做一个小模型，取出拟合参数做t检验。这里面如果用到了hierarchical model的话，就不能直接做t检验了。
  • 这是我的观点其实。但是主流学派不认同这个观点，统计学还是更关注样本的独立性，几乎所有的推断统计方法都以独立性作为前提之一。所以没办法，还是老老实实按照大家的建议做吧

曾笑雨-北师马燚娜组:

  • 只做模型比较，只能够得到结论哪个模型可以更好解释observed data的实验条件，但是，实验条件效应量的方向就不知道了呀……不对模型参数做统计检验，那要怎么知道实验效应的方向呢……而且如果不能对模型参数做统计，大部分运用模型的人类研究动物研究都得从 literature 撤回……

陈梁杰:

  • 就审稿人的问题+对于参数检验坚持的现状。
  • 1、如果在给出做参数检验是合理的原因，毕竟能够避免一些问题或者做出更丰富推断的前提下，仍旧被否定这种做法。我猜测审稿人是观念上就完全不认可这个做法，提再多的解释意义都不大。这种情况下如果还是坚持这个杂志，并且希望通过审稿人那就只能放弃这部分。或者联系主编说明情况，看看能不能加入另外的审稿人
  • 2、参数检验带来的结果，在结果解释上是否有别的可替代方法呢？比如差异显著代表了某某现象，这个说法能不能直接描述为模型结果上，A条件参数和B条件参数不一样（这里就不强调差异显著的说法），然后下一个结论，不影响文章想说明的主要问题。算是迎合审稿人，又不改变自己工作结论的法子

占斌-心理所:

  • 我也遇到一个比较尴尬的问题，两个条件直接比较组水平的后验分布不显著，但是提取出个体的参数进行配对T检验，很显著咋理解这两种结果