多模态预训练模型之CogVLM CogVLM：VISUAL EXPERT FOR LARGE LANGUAGE MODELS 被多个文生图模型广泛使用，包括SD3、可图用作Caption模型 图像 & 文本分别建模的思想在SD3中的MMDIT中也被应用到 1. Motivation 浅层对齐的缺陷：例如BLIP2的QFormer或者LLAVA的MLP，作者认为是导致幻觉的一个重要原因 浅层对齐 + 图文联合训练（LLM+Vision+adapter）会损害NLP的能力： Qwen-VL 等模型，会导致文本理解能力的灾难性遗忘【只要训练数据配比得当，就能避免这个问题？】 2. 主要贡献 模型结构： 引入视觉专家(QKV matrix+ FFN): 冻结LLM，100%保留文本对话能力 视觉位置编码：图像特征共享一个位置编码，对于高分辨率理解有帮助。 3. 一些细节 3.1 消融实验(caption 任务 + VQA任务) 模型结构 & 微调的部分：【视觉专家 + MLP adapater】比其他更好，（为什么没有微调视觉+LLM+adapter全量实验，在下游任务上全量FT应该可以更好），该部分影响最大 采用LLM的权重来初始化Visual Expert能够提升性能（应该能加速训练，和LLM expert融合会更容易） 视觉部分，单向注意 or 双向注意的影响，使用单向注意反而更好 视觉部分的自回归监督，没有提升 EMA可以多数任务上均能带来提升 3.3 训练数据细节 3.3.1 预训练数据 LAION-2B + COYO-700M-> 1.5B Visual grouding: 40M(GLIP v2预测的bounding box作为GT)，从LAION-115M中过滤出来的40M（75%的图片包含至少两个目标框） 3.3.2 SFT数据(50w) LLaVA-Instruct (corrected) LRV-Instruction LLaVAR in-house data 3.4 训练细节 在SFT阶段，对LLM进行训练，学习率为base其他参数的10%，VIT始终保持固定

《精进》如何成为一个很厉害的人 如何成为一个很厉害的人 一本书是否有用不只取决于作品本身，更取决于读的人。这本书旨在帮助我们如何应对学习和生活相关的一些问题。采铜作为一个心理学博士，书中阐述的一些方法大都是从心理学的角度去解释，因此，个人认为《精进》比一般的说教式的书更能让人信服。如果想要寻找更好的生活、成长和改变的方法，这本书应该能够让你得到一些启发。一百个人心中就有一百个哈姆雷特，我选了几段个人较有感触进行总结。 关于努力 “ 人们眼中的天才之所以卓越非凡，并非天资超人一筹，而是付出了持续不断的努力。只要经历1000０小时的锤炼，任何人都能从平凡变成超凡。”　----《异数》 从小到大，我们一直被教育要努力。各种鸡汤文也都是用一个个成功人士的案例教育着我们。然而，我们却忽略了一个很重要的事实，努力不是一味地用力、用时间去磨，努力更像是一种需要我们去学习的一种能力。 心理学上就人的才能有不同的观点，个人比较认同的是心理学家Carol Dweck 提出的成长型心智,人的心智可以分为两种：成长型心智和僵固型心智。例如，僵固型心智的人遇到挫折，经常认为自己无法做好这件事，认为自己没有在这方面的天赋。相反，成长型心智的人则会想要完成这件事，我有哪些方面需要提高，有没有其他办法解决。以发展的眼光去看待才能显然更有益于我们的发展。人生本就应该是一个不断追求完美的过程。 培养自己的核心竞争力。我在大三开始找实习的时候，才意识到自己没有一项特别突出的才能，好像各方面都平平，只是综合看起来还不算太差，我相信很多人都会有和我有一样的感受(除去那些大神)。在《精进》中，采铜认为木桶理论最早用于团队管理，并不适合各个方面，至少对于个人的才能来说并不适合。事实上，现代社会分工已经很明确了，大多数岗位所需要的是某个领域的专长，而不是面面俱到的能力。这与通识教育的理念并不矛盾，只有先在一个方面上实现自己的核心竞争力，在之后的求职与事业的发展上才不会显得被动。试想，如果你在各个方面都是泛泛了解，都只是三脚猫功夫，哪个公司会想要这样的人。有人又说，如果在各方面都努力达到优秀，最后肯定能达到比只关注一个方面更高的高度。But, 对于普通人来说在资本不足的条件下（如果你读这本书，说明你完全符合条件），我们应该做的是把自己有限的资源（时间、精力）投注到一件事情上。你的核心竞争力决定了你的基线，当你的核心竞争力不断发展时，你的能力会到到达一个高原期，这时你的其他才能才能发挥它的作用，抛开核心竞争力来谈通识教育都是耍流氓。当然，我们可以采用二八法则来平衡，即：每天的时间安排大部分时间用在你的主业，这时不只要保证时间也要保证质量。利用小部分时间，进行完全自由的学习，接触不同领域的知识...... 　可现在这个时代，许多人同时患上了”兴趣饥渴症“和”兴趣寡淡症“。人們都很想知道自己到底喜歡什麼，所以做了很多嘗試，但是不論怎麼嘗試，過不了幾天、幾個星期最初的激情就差不多消失殆盡。 只有深入下去，才能培养出真正的兴趣。我常在思考到底興趣的來源到底是什麼。大家都知道興趣是最好的老師，我們小的時候，興趣可能來自於父母的誇獎、來自於每次的考試成績、受別人崇拜的感覺......這些成就感鼓勵這我們不斷堅持下來。但爲什麼長大後，我們反而卻更難培養興趣了？我覺得主要是我們太過於急功急利了，浅尝辄止，自然得不到成就感，最终导致无法产生足够的兴趣。这其实就变成了一个哲学问题：先有鸡还是先有蛋。不努力怎会有成就感，没有成就感怎么能产生兴趣。要想打破这个恶性循环，我们需要打破常规，先不再追求兴趣作为做事的先决条件，而是先努力做事(咬咬牙多坚持一段时间)再在努力的过程中收获乐趣。 不要轻易降低对自己的要求。许多人都有自己的理想，只是在经历了一些挫折后纷纷放弃了，转而降低对自己的要求。我觉得，一个平台的重要性再于，它聚集人才的能力。在这个平台上，自然对于自己的要求就不会低。 关于学习 我们总是被标题吸引，打开正文之后匆匆看两眼又马上关掉；每天翻新的新闻热点，无外乎性、谎言、奇闻、和窥探，到第二天就被我们忘得一干二净；我们幻想在一篇网文中寻找“干货”，希望发财致富、人生辉煌的不传之秘能被一二三四五和盘托出，没想到只是又一次被骗了点击；我们总是在找更多的资源，搜索、下载、囤积，然后闲置，错误的把硬盘当成自己的大脑...... 现在可谓是信息泛滥的时代，各种学习资源我们随随便便就能从网上下载到好几G，下完就放在那里，还错把那些当做是自己的知识，几乎不会再看，直到硬盘被塞满，就一键Delete掉了。 以问题为导向，链接新旧知识。学习者必须充分调用他们已有的知识，在主动性目标的指引下、在丰富的情景中积极地进行探索，把新知识和旧知识糅杂在一起，在脑中构成新的知识体系 如何精读，彻底解码。 不止要去寻找结论，还要寻找过程 不止要去做归纳，还要做延展 不止要去比较相似，还要去比较不同 大脑需要断离舍！吸收然后果断丢弃。 《思考力》中也强调了这一点，我们每天都要面对各种没有价值的信息，这些信息干扰这我们的思考和记忆。对于无用的噪声，我们当然要过滤掉，对于有价值的信息，则需要把它转为知识或技能后，果断舍弃。我个人就经常犯“屯书病"，这篇博文也算是对自己的告诫吧。屯在电脑，手机中信息不是自己的，只有理解后对它进行编码存储到大脑才能把信息变为知识，把知识运用到实际问题上，才是你的智慧，即信息-->知识-->智慧。 关于时间 生活应当是有快有慢，而不是一味地和时间竞赛。什么叫有快有慢？用音乐的说法就是节奏。如果一首交响曲从头至尾快到底，听后一定喘不过气，焦躁万分。所以一都有慢板乐章，而且每个乐章的速度也是有快有慢的，日常生活上的节奏和韵律也应该如此。 ----《人文六讲》 工作会自动膨胀，直至占满所有可用的时间 ----帕金森第一定律 同样是安排闲暇时间，坐在电视机前看电视的”被动式休闲“所带来的满足感，就远远不如从事一项自己的业余爱好所带来的满足感。 工作要快，但生活要慢。关于时间管理的书，市面上已经有很多书了，大多数无外乎，教我们制定计划，如何将任务分解，为任务分配优先级，设定完成的期限。这些方法一定程度上的确帮助了我们，至少把任务清单列出来后，知道自己要做什么了。但是，往往我们会低估做一件事所消耗的时间，甚至一些突发时间的出现，导致无法完成任务而陷入深深的自责中.....时间管理让我们的生活变得更快。把握好做事的节奏，区分”求快“的事件和”求慢“的事件。 远期未来与近期未来。书中以拖延症来解释近期未来与远期未来之间的关系。作者认为产生拖延症的一个原因在于，远期未来中有一个抽象且意义重大的目标。,比如，完成毕业论文，一个重要的项目，远期未来则遇上了挫折，与此同时，我们常会利用诱惑的替代性活动(追剧，看电影，玩游戏...)来逃避障碍。如果你稍微有点上进心，自然会在心中告诫自己，完成论文、项目的重要性。也正是由于这点点上进心会导致你陷入深深的自责，根本无法解决问题。作者认为这人问题可以从两方面解决。1.重战术，轻战略。减少对价值和意义的强调，不要一个劲地担忧目标没有完成怎么办，而是把注意力放在怎么做上面（立即可实施的行动上面）。2.提高逃避的成本，甚至可以采用一些”极端“的行为。例如，删游戏，剪网线，换手机...这样会使得原本简单的诱惑变得麻烦，减少逃避的可能性。 PS，一本好书，读一遍只能了解它的大概轮廓。随着阅历和知识的增长，读一本书的收获也会不同，这也就是好书的价值所在。而且以本人令人抓急的智商读一遍远远不能领悟，故书读百遍，其义自见。