发展路径
GPT
OpenAI 研究科学家 Hyung Won Chung 在首尔国立大学做了题为「Large Language Models (in 2023)」的演讲，谈到大型语言模型的涌现现象以及大模型的训练和学习过程，其中包括预训练和后训练阶段，他认为下一次范式转变是实现可学习的损失函数。（机器之心|演讲视频-B站）
AGI发展阶段
观点：谷歌DeepMind提出AGI发展阶段划分、人机互动模式和AGI风险评估体系。文章提出AGI将呈现6大发展阶段，分别是：L0「No AI」、L1「涌现级」（Emerging）、L2「刚刚合格级」（Competent）、L3「专家级」（Expert）、L4「大师级」（Virtuoso）、L5「超人级」（Superhuman），每个阶段都有对应的深度和广度指标。在该分类下，ChatGPT、Bard和Llama 2等大模型属于L1，且满足了该阶段的通用性。（arxiv｜新智元）

规范
超级对齐
超级对齐，保证生成式AI不会对人类产生威胁，在AI开发架构的底层通过代码规范进行“安全意识注入”。——这也是这次openai宫斗的主角illya发起的专项研究计划，需要4年内使用openai的20%算力来完成这一项研究。
https://openai.com/blog/introducing-superalignment
[图片]
北大联合多高校发布 AI 对齐全面综述。主要内容包括：
AI 对齐是一个庞大的领域，既包括 RLHF/RLAIF 等成熟的基础方法，也包括可扩展监督、机制可解释性等诸多前沿研究方向。
AI 对齐的宏观目标可以总结为 RICE 原则 ：鲁棒性 (Robustness) 、可解释性 (Interpretability) 、可控性 (Controllability) 和道德性 (Ethicality) 。
从反馈学习 (Learning from Feedback) 、 在分布偏移下学习 (Learning under Distribution Shift) 、 对齐保证 (Assurance) 、AI 治理 (Governance) 是当下 AI Alignment 的四个核心子领域。它们构成了一个不断更新、迭代改进的对齐环路 (Alignment Cycle)。
作者整合了多方资源，包括教程，论文列表，课程资源 (北大杨耀东 RLHF 八讲) 等。（机器之心｜论文｜网站）

AI原生应用
AI原生应用是未来的一个大方向，但什么是AI原生应用？

  • 无论底层模型如何，最后能应用的场景才是最关键的
  • 衡量AI大模型的作用：企业使用大模型之后，对于企业业务上关键指标是否产生了影响？只有产生了积极的影响，才说明大模型发生了对应的作用
    • 阿里、百度：应用重做
    • 美团：酒旅这一块如何实现？
      • 提效
        • 对外：提升沟通效率
        • 对内：提升开发效率
      • 提质？【感觉不是特别好】
        • 预定酒店
        • 开发？

20231116
听王小川谈话有感
●需要对于世界的变化有一个清晰的认知，需要能够有足够的获取、分析信息的能力

启发：
●或许需要几年的时间让自己沉淀更多地能力
●去外面念书，了解国外的社会形态，工作情况，创业氛围，提升对于国际社会的理解能力。
●念mba：实践+联系+人脉，必须是高质量的，否则没有意义
●要持续学习，听了这个讲座，感觉自己似乎融入了这一股ai浪潮，需要持续坚持

llm的用途

  • 总结
  • 正则表达式
  • 写表结构
    LLM 的核心能力大致分为：生成（Generate）、总结（Summarize）、提取（Extract）、分类（Classify）、检索（Search）与改写（Rewrite）六部分。
    prompt：
  • 结构化
  • 对话式

对于prompt，更重要的是动态管理，不断替换更好的词语，不断维护，需要有一个维护机制
中美做ai应用的差别：

  • 美国做的是通用基础模型，很容易通过自己的创新将那些二次开发的创业公司干掉
  • 中国不会有这种问题因为大模型是自己的，且不同公司之间都是闭源的，都期望去做超级agent

通才、平权

  • 创业过程中多和同事聊天，将不同的信息汇聚在一起，形成共识，形成同一个大脑，将不同的外部信息都汇聚在一起。
  • 这波ai浪潮之下，大厂的专才价值会被稀释，因为学的越专，越容易被代替。
  • 好奇心是当下非常重要的一点，不断学习新的工具
  • 当前很多东西是实验科学，动手就行
  • 我的优势？好奇心强
  • 我的劣势？专长能力不强
  • chat gpt只能覆盖b端的大部分用户，c端很难覆盖，所以可以考虑垂类产品

创业/行业发展
行业迭代
闭环的商业模式不会被取代，而会被加速；
单点的螺丝钉（尤其是高薪金融、IT、保险业）会很容易被取代——这是我当前的处境，我只有2~3年时间了
ai时代的新机会：

  • 替代手机的应用
  • 通过gpt做个人助理
    ai会取代的工作：
  • 需要自然语言翻译的工作（比如产品将工程需要转换成prd，然后由工程师开发）

ai行业小公司创业的方向

  • low的
  • 需要人力的
  • 有风险的

影视行业
视频生成：
电影大片不是视频工具的主要目标，因为成本高，收益低。
aigc工具发展路线：
先替代剪辑，再替代演员，最后替代脚本
aigc在视频方面的目标：规模化生产，而非做得更加专业化

IT
牛逼的或者有经验的程序员更吃香，因为gpt最大的优点是抛，甚至胡说八道，所以很多时候都不需要考虑体力跟不上，代码写不完，而是你要能分辨抛的结果里，哪些能用，哪些在胡说八道，说白了，就是需要你有“审”的能力，而不是“写”的体力

20231216
李彦宏

本次会议主要讨论了公司迭代和重塑产品和业务的重要性。公司需要不断迭代和重塑产品和业务，以实现业务的关键指标的有效变化。迭代过程中，不是靠惯性或肌肉记忆，而是要关注业务核心指标，提出需求并迭代开发。百度搜索未来将会重构，文新年会是一个新的方案，搜索功能将越来越明显，包括极致满足、推荐批发和多人交互。同时，强调了技术的重要性和模型的变化。创业公司应该多去尝试，找到适合自己发展的道路。
主要内容：

  1. 公司内部激励与认知迭代的重要性
    公司需要不断反思和努力，将兴奋和未来认知传递到整个公司，每个季度都有综合以上干部的总结会和员工线上直播，各部门根据实际业务开年会讨论技术与业务的关系，重构每一个产品和业务，让业务的关键指标产生有效变化。
  2. 迭代模型助力搜索功能优化
    百度搜索未来将会重构，成为一个新的产品，包括极致满足、推荐批发和多人交互等功能。搜索未来会有原材料，可能会变成替代搜索。大模型包括设计和国外其他项目也在考虑如何靠近搜索引擎。
  3. 新时代价值创造与创新应用
    新时代存在，但结论不确定，创新应用和现有应用改造是最大价值创造，需要建立业务结合。创业公司新公司创造市场份额，但现有业务创造大价值。百度有战略和边界，需要决定做什么不做什么。CEO要有所为，砍掉不该做的事情，竞争市场中做得最好的有生存理由。百度不能承担技术涨潮期的压力，大厂会拿走大多数机会，创业公司可能做出有价值的应用。
  4. AI技术在AI应用中的探索与应用
    讨论了AI应用的特点和门槛，以及生成类需求的创造价值。同时，还探讨了移动互联网时代的产品开发和组织能力的变化，以及产品经理的适合性。讨论了产品经理的素质和标签，认为学习能力强、有市场感觉、不触技术的人最有可能成为成功的产品经理。同时，强调了技术的重要性和满足业务需求的必要性。
  5. 新一代开发者的机遇与挑战
    新一代开发者有很多机会，创新能力和实践很重要，要多尝试，找到适合自己发展的道路。原生应用是大明星时代的来临，是很大的机会，要尽早把握。
    待办事项：
    会议待办：
  6. 每个季度安排一次员工线上直播活动，传播公司理念。
  7. 安排外部讲话活动，内部人员关注并参与。
  8. 根据各部门实际业务情况，组织年会讨论技术与业务的关联。
  9. 开发一款符合要求的优秀产品。

卢一峰
本次会议主要讨论了大模型和AI选择的发展。首先，讨论了快思考和漫长联络两种思维能力的区别，以及大模型训练中需要回答的两个问题。其次，讨论了大模型对人类生产效率的影响，以及如何通过对齐步骤来避免撒谎。同时，还提到了定制化搜索和专家系统的应用，以及transformer架构的可靠性问题。最后，强调了慢思考的重要性，以及如何将慢思考成果应用到模型中。
主要内容：

  1. 探讨思维能力的提升与自我净化
    讨论了思维能力的不同类型，包括快思考和漫长联络，以及大模型训练中需要回答的两个问题：大模型何时不确定和如何让抵扣率停住。同时，还探讨了如何通过不同的方式获得共识和确定性，以及如何运用不同的系统来让自己确定。
  2. 探讨解决幻觉问题的新方法
    讨论了大模型在解决幻觉问题方面的应用，包括通过更好的数据和企业连接确定性输入输出来改变更复杂更可靠的结果，以及通过定制化搜索和专家系统来解决物理误导化学等问题。同时，也提到了俄罗斯人选或幻觉阻碍了大模型深入改变人类生产效率的关键节点。讨论了在市场、银行和康复等方面的思考，以及如何分配场景下的配合分。提出了transformer架构是否可靠的问题，以及硬件优化的难度和可能带来的变化。期待未来有更多的新形式的硬件出现，可能会诞生更多的全新软件。
  3. 探讨声音点与数据的重要性
    讨论了声音点和数据的重要性，以及如何通过预测和抽象提炼人类的文明。同时，还探讨了如何寻找更高质量的制度和如何将数据视为任务和目标。最后，提出了世界模型的概念。讨论了数据训练的重要性，以及如何通过模型的训练来达到超人类的结合。作者认为，创新有三个境界，第一个境界是突破现有知识的边界，第二个层次是通过销售、内销、创新等手段达到超人类的结合，第三个境界是通过慢思考来实现模型的成型。
  4. 创业者的自我认知与AI技术应用
    讲述了在大模型和AI选择的发展中，每个人都应该在自己的店里，认识到自己的机会和爱好，把它们当成一个聪明的工具，而不是纠结于别人在做当地的境界或应用。同时，通过对大模型和潜力的深刻认识，可以对自己说有激情的，有可能潜在的应用，把自己能做的事情有的有信心。在这个浪潮中间获得自己的人生。
    待办事项：
    会议待办：
  • 研究并衍生出大模型未来可能走的几个方向，包括上网、搜索引擎或区域、OPPO的generation等。
  • 探讨如何将其他工具计算器加入到大模型中，如使用专家系统等。
  • 计划与其他人进行交流，获取更多的想法和idea，例如通过like agent和AD之间的交流。
  • 确定需要询问的问题以及需要使用的工具和行动，以获得确定性。
  • 当不确定时，寻找相关的信息并进行判断，如果仍然不确定，再寻找更多的工具、阅读更多的书籍、做更多的实验。
  • 当有了所有的这些知识后，确定下一步的行动，如继续抵扣的你的 token下一个word。
  • 重复以上过程，直到能够准确回答什么时候不确定以及如何确定的问题。

王小川
今天要做AI应用怎么选出发点？PMF（产品市场匹配）如何做？

  • 定义的场景要转换为产品的评测集（避免给到明确的输入后，无法获得明确的输出）
    • 产品定义评测集，RD去获取数据集

印象笔记
[图片]

[图片]
[图片]