论文阅读 TokenSkip: Controllable Chain-of-Thought Compression in LLMs 提出TokenSkip方法,针对大语言模型(LLMs)中思维链(CoT)推理存在的长序列导致推理延迟高的问题,基于 CoT tokens 语义重要性差异的核心洞察,通过修剪低重要性 tokens 并微调模型,实现可控的…
环境3090(24g)*2 模型qwen1.5-14b-chat 参数 python -m vllm.entrypoints.openai.api_server --model /root/models/qwen1.5-14b-chat --tensor-parallel-size 2 #双卡并行 --trust-remote-code --hos…
1. 一段话总结 为解决现有Video LLM仅能对视频进行粗略描述、无法捕捉特定事件精确时间边界的问题,清华大学团队提出VTimeLLM——首个具备边界感知能力的Video LLM,其通过边界感知三阶段训练策略(第一阶段利用图像-文本对实现特征对齐,第二阶段借助多事件视频提升时间边界感知,第三阶段通过高质量视频指令微调对齐人类意图),在时间视频定…
Day1 学习笔记:MCP 与多智能体调度基础 1. 核心概念 MCP(Model Context Protocol) 定义:一种统一协议,帮助大模型调用外部工具、API 和数据源。 作用: 提供 统一接口,不管是数据库还是 Web API,都能以相同方式被调用。 提供 安全隔离,模型不会直接访问系统,而是通过 MCP 代理。 提供 上下文管理,让…
关于NULL SQL 采用三值逻辑(TRUE、FALSE 和 UNKNOWN)。任何涉及 NULL 的比较或逻辑运算的结果都可能是 UNKNOWN,这可能会影响查询结果。 例如: 所以,要对null进行处理,需要使用is或者is not
常见bug类型
NSA-001 CH1 以太网MTU为1500字节,所以报文长度一般选择在1472以下(UDP 8字节报文头;TCP 20字节报文头;IP 20字节报文头) T C P / I P插口的类型总是D T Y P E _ S O C K E 1) 我们的进程调用s o c k e t,最后分配了最小未用的描述符(在我们的例子中是3 )。在后面,所有针对…