阅读感悟
暂略
阅读摘录
《我看见的世界：李飞飞自传》
[美]李飞飞
82个笔记
03 鸿沟渐窄
◆ 1956年，他们将好奇心编撰成文，提出了现在广为人知的《达特茅斯人工智能夏季研究项目提案》，“人工智能”一词就是在这份提案中诞生的
◆ 最著名的例子是麻省理工学院博士生特里·威诺格拉德(Terry Winograd)开发的一个程序，用户可以用简单的英语命令来操控一组虚拟的彩色方块。有段对话格外令人难忘，以下是部分摘录：用户：找一块比你手中的方块更高的方块，把它放进盒子里。计算机：我想，你说的“它”是指比我手中的方块更高的方块。计算机：好的。用户：盒子里装了什么？计算机：蓝色三角锥和蓝色方块。用户：三角锥是由什么支撑的？计算机：盒子。用户：有多少个方块不在盒子里？计算机：四个。
◆ 费根鲍姆的创新开启了后来被称为“知识工程”(knowledge engineering)的全新子领域。在这个子领域中，有关特定领域（医学、制药、金融或几乎其他任何领域）的事实被整理成数据库。机器可以读取相关数据，像威诺格拉德的几何形状一样进行分析，并以自然流畅的书面问答形式提供答案，实现了媲美咨询人类专家的自动化体验。这些程序被称为“专家系统”(expert systems)。
◆ 美国孩子似乎普遍比较吵闹粗暴，对老师似乎也缺乏尊重
◆ 师生之间的互动常常是对抗性的，但也充满了俏皮和温暖。在这原本令我生畏的第一天，我立刻确定了一件事：我会喜欢美国的老师
◆ 此前的几代人试图用规则详尽描述智能，算法相对僵化，这种人工智能通常被称为“符号人工智能”(symbolic AI)；20世纪80年代末到90年代初，潮流开始转向更自然的方法
◆ 杨立昆的成果就预示着一个大胆的未来。随着时间的推移，行业研究重点从“通过明确编程来解决问题”转变为“从示例中发现模式”。
◆ 换言之，算法不是被告知该做什么，而是去学习该做什么。研究人员给它起了一个贴切的名字：“机器学习”(machine learning)。
◆ 1950年，图灵发表了一篇题为《计算机器与智能》的论文，简要对比了“基于规则的人工智能”(rule-based AI)和机器学习
◆ 基于规则的人工智能是指从零开始构建具有智能行为能力的完整体，而机器学习指的是允许智能体自主发展。图灵问道：“与其努力打造程序来模拟成人的思维，为何不尝试用程序模拟儿童的思维呢？”
◆ 大脑可以被看作由简单元素组成的大型网络，元素之间的联系可以随着时间的推移而改变；通过将复杂的行为分布于网络中，我们几乎可以完成无限的任务，并且可以不断学习新的任务，即使到了晚年也可以。
◆ 人类大脑的复杂性远远超越已知宇宙中的任何其他事物，但其构造又极其优雅，几乎把复杂性全部掩藏
◆ 汽车或手机都是由清晰区分的零件组装而成，这是人类设计师认为直观的形式。但大脑的构造与此不同，它是由近1000亿个神经元构成的巨大网络，其中的神经元就是一个个互相连接的微小单元，可以在电化学传输中精细聚焦
◆ 大脑在最初在子宫内形成后的很长时间里，才通过学习形成了（或者至少是逐渐完善了）这些网络结构。这就是为什么尽管我们的灰质在解剖学上看起来并无二致，但每个人的个性、技能和记忆都是独一无二的。
◆ 休伯尔和威塞尔的研究发现，感知不是发生在单个神经元层次上，而是通过由多层神经元组成的层次结构进行的
◆ 由于大脑的网络结构允许无数步骤同时进行，我们的感知体验是连续不断、充满活力的
◆ 福岛邦彦将这一成果称为“新认知机”(neocognitron)。新认知机对输入数据的异常具有很高的复原力和容忍度，因此在准确辨认笔迹方面取得了突破性的进展
◆ 随着网络接触到越来越多的实例（如照片或音频波形集），神经元之间的连接就会因所见所闻而被重塑，留下越来越详细的印记。就像流淌几百年的河水雕刻出的峡谷壁一样，在经过一定的训练后，神经网络会逐渐呈现出特定的特征。经过多年的努力，神经网络突然开始以前所未有的规模进行学习，并达到了前所未有的精确度，这预示着真正的转折点即将到来
◆ 这是父亲真正的天赋所在——不是工程学，不是相机修理，甚至不是文字游戏，而是在任何情况下，哪怕再平淡无奇，都可以发现幸福和快乐。
04 心智探索
◆ 母亲出生在一个国民党家庭，她的出身属于敌对的阵营，因而一直戴着精神枷锁做人。而现在，她在这新泽西州的干洗店里变得春风扑面、笑口常开
◆ 物理学为我学习计算机打下了坚实的基础。我开始学习一门新的语言——一种简称为C的编程语言。与英语不同，C语言以一种前所未有的方式赋予我力量。它的清晰度和精确度都堪称完美，让我能够以复杂、抽象的方式进行计算，而且计算规模之大是我以前无法想象的
◆ 学习一门新语言，就像打开了一扇通往新世界的大门
◆ 当神经元以千亿计的数量级复制，当它们之间的连接达到10的11次方时，质变就发生了
◆ 物质变成了思维，产生了爱、喜悦、悲伤、愤怒、恐惧和欢笑，也造就了我们在科学、艺术、音乐和数学等方面的能力
05 第一道光
◆ 我们的远古祖先形态简单，考虑到当时的环境，这也是很自然的事。它们居住的水下空间生物稀少，无须为了食物相互竞争。在三叶虫出现之前，生物捕获猎物主要靠运气，而猎物也采取了同样漫无目的的方式来躲避捕食者，双方均靠运气生存。只有当食物近在咫尺、无须付出任何主动努力时，生物才会进食。
◆ 他认为，引发寒武纪生命大爆发的导火线是一种能力的出现：光敏感性，这也是现代眼睛形成的基础
◆ 对光的感知迅速发展，其核心在于一类被称为“视蛋白”的蛋白质。这种蛋白质具有独特的性质，比如在吸收光子时会改变形状（本质上是对光的物理反应），并连接成一种叫作“离子通道”的链条，将这种反应转化为生物电信号，传输到身体的其他部位
◆ 在进化过程中，神经网络虽然原始，却是与竞争日益激烈的外部世界保持同步的权宜之计，即使今天也依然存在，尤其是在水生生物中，例如某些种类的水母
◆ 大脑并不是内部某种神秘的智力火花的产物，而是对外部世界的反应。
◆ 当时的我还不知道，视觉研究是人工智能本身的产物
06 北极星
◆ 通过进一步研究，索普精确地指出，大脑中的识别时刻是在图像出现后仅仅150毫秒（大概相当于眨眼的一瞬间）
◆ 我们的视觉基础在于识别定义明确的类别，也就是对事物的识别
◆ 视知觉依赖于分类
◆ 我们的视觉系统就像是某个神秘巨人以极大的耐心精雕细琢出的发条装置，而我们的研究工作像是其逆向工程。虽然发条装置的小齿轮在我们面前嘀嗒作响，但其神秘面纱仍然未被揭开，距离完全理解视觉原理还有很长一段路要走，但我们已经窥得一些非凡的东西
◆ 生物进化是宇宙中唯一能够从零开始创造真正智能的力量，我觉得我们正在复原其线路图，或者至少是其中的一些片段
◆ 作为人类，我们天生就有一种神奇的本领，那就是可以仅凭对陌生事物的一瞥，再次遇到时就能认出来，不管是一样新的乐器、一种我们从未见过的动物，还是一位新当选的政治家
◆ 即使面对全新的事物，无论多么新奇，我们也会借助一生的经验来加以理解。我们所看到的几乎一切都深深地融入了过往的经验——轮廓、光影、纹理和图案等熟悉的细节，以至我们很难想象能真正孤立地看到任何东西。
◆ 我们选择的机器学习算法的数学核心是“贝叶斯网络”(Bayesian network)，这是一种概率技术
◆ 数据被公然视为一种惰性商品，只在算法需要时才重要，虽然这种观点并不稀奇，但我开始意识到，有一些重要的东西一直都被低估了。
◆ 我欣赏他勇于冒险的精神，但也不得不考虑现实情况。我知道收集、标记和组织图像的实际工作将会落在我身上，所以我总是尽力平衡我们的研究需求和日常生活的实际问题。
◆ 我比以往任何时候都更加确信，分类是连接一切研究的核心思想
◆ 我们的算法出现了数据科学中所说的过拟合现象(overfitting)。
◆ 也就是说，无论算法设计得多么巧妙（我们探索了所有能找到的算法），即使是那些在测试中表现最好的算法，在遇到新的刺激时，也会很快出现问题
◆ 那些看似经过有效训练的算法，却无法将它们所学到的知识，或者说它们本应学到的知识，应用于现实世界
◆ 从本质上讲，这与人类的感知能力恰恰相反
◆ 人类的感知能力是由泛化能力决定的，泛化能力增强了我们的灵活性和适应性，甚至让我们富有创造力，让我们能够随时利用新想法的力量锐意进取，而不是停留在过去的经验中止步不前
◆ 任何缺乏泛化能力的生物都会很快被自然界的不可预测性击垮，因此这种能力是生物进化思维的关键特征。然而，对机器来说，泛化在很大程度上仍然是遥不可及的
◆ 单词在帮助我们对所见事物进行分类方面发挥着基础性的作用，因此他推断，对所有离散且可量化的事物的单词（即英文中的可数名词）进行计数，将是一个很好的起点
07 一个假设
◆ ImageNet不仅是一个数据集，它是一个假设、一个赌注，即实现真正机器智能的第一步，是沉浸在完整的视觉世界中
◆ 视觉不仅仅是一种“感觉”，至少不是那种可以用温度计或盖革计数器测量的“感觉”，而是一种体验的催化剂
◆ WordNet是心理学和认知科学领域的传奇人物乔治·阿米蒂奇·米勒(George Armitage Miller)的杰作
◆ 他想通过WordNet以极其庞大的规模绘制出语言结构图
◆ 例如，我们不因为拼写接近而把“apple”（苹果）这个词与“appliance”（器具）进行关联，而是将它与“food”（食物）、“fruit”（水果）、“tree”（树）等一系列相关的词汇进行集群配对。这样形成的词汇数据库就像一张地图，将人类所珍视的一切（也就是我们用词汇描述的一切）排列在一个相连的空间里。简而言之，这就是WordNet
◆ 1985年启动以来，WordNet已经发展到极其庞大的规模，收录了超过14万个英文单词，并迅速扩展到新的语言
◆ 首先是WordNet，一个目标无比宏大的词汇数据库，几乎捕捉了世界上所有的概念，并以人类意义的自然层次组织起来。然后是ImageNet，它致力于为每个概念配上一张图片
◆ 深深地陷进椅子里，缓缓地呼出一口气。我简直不敢相信自己即将说出口的话。“你对干洗了解多少？”
◆ 在线平台可以将任务分配和结果收集过程自动化，有效组织远程的临时工作团队，规模小到个人，大到数百万人的团队。“如果你感兴趣的话，亚马逊就在提供这种服务，叫作‘土耳其机器人’。”
◆ 这个名字很妙，源于18世纪的一种会下国际象棋的自动机器“土耳其机器人”。当时，这个机器人在世界各地巡回展出，被视为一个工程奇迹。它棋艺高超，就连国际象棋高手也甘拜下风。但实际上这个装置纯属骗局：在机器人底座里就藏着一个人类国际象棋大师，正是这个人在操控机器，让观众既兴奋又困惑
◆ 几个世纪后，新兴的众包实践基于同样的理念：真正的智能自动化仍然最适合由人类来完成。亚马逊土耳其机器人(Amazon Mechanical Turk, AMT)围绕这个概念建立了一个市场，“请求者”可以发布“人类智能任务”，由贡献者完成，这些贡献者被称为“土耳其人”(Turker)，他们可能来自世界上的任何地方。从理论上讲，这个模式很合理，似乎可以提供我们想要的一切：既有人工标注图片带来的智慧成分，又有与自动化相当的速度与规模。有趣的是，亚马逊称之为“人工人工智能”，这个名字相当贴切。
◆ 我还开始不定期地前往旧金山湾区，拜访斯坦福大学的机器学习和计算机视觉先驱，其中包括吴恩达(Andrew Ng)、达夫妮·科勒(Daphne Koller)和塞巴斯蒂安·特龙(Sebastian Thrun)
08 实验验证
◆ 我不由得笑了起来。一个21世纪的学生用“老古董”这个词来形容几十年前的工作，足以证明我们的领域是多么年轻（可能也证明我正在变老——我选择无视这种可能性）
◆ 神经网络是由生物学启发、层次分明的相互连接的决策单元阵列。由于计算机视觉领域的迅速发展，到了21世纪初，我们中的大多数人已经把神经网络看成是尘封已久的艺术品，包裹在玻璃罩中，四周用天鹅绒绳索保护，闲人勿近。
◆ 冠军算法名为AlexNet，是向这项技术和项目的主要作者、多伦多大学研究员亚历克斯·克里热夫斯基(Alex Krizhevsky)致敬。
◆ 这就像是听说一辆本田思域以每小时160千米的速度差打破了陆地速度的纪录。根本不可思议。进步不应该是这样的。
◆ AlexNet是卷积神经网络(Convolutional Neural Network, CNN)的一个实例
◆ 卷积神经网络的叫法源于图形卷积过程。在这个过程中，一系列滤波器在图像上扫过，寻找与网络所识别事物相对应的特征
◆ 这是一种独特的有机设计，灵感来自休伯尔和威塞尔对哺乳动物视觉系统的观察，即视觉处理在多个层次上进行。就像在自然界中一样，卷积神经网络的每一层都会逐渐整合更多的细节信息，从而形成越来越高层次的感知，最终将真实世界的物体完整地呈现在我们的视野中
◆ 最终，经过各层过滤后，仅剩下少数几个信号被融合成识别对象的详细图像，进入网络的最后阶段：识别阶段
◆ 当然，这些并不是什么新的创意。自从贝尔实验室成功将卷积神经网络应用于手写邮编，杨立昆多年来一直对卷积神经网络保持着惊人的忠诚。在AlexNet诞生时，他已经花了20年时间坚持不懈地完善算法、发表研究成果，但一直没有必要的资源来充分实现这些成果。
◆ 事实上，在ImageNet的帮助下，AlexNet焕发生机，它贪婪地吸收着ImageNet的内容，在ImageNet规模和多样性的土壤中生根发芽，茁壮成长
◆ 现实世界中幽灵般的碎片，以恰到好处的方式组织起来，供算法来查看
09 万物以外是什么
◆ 几十年来，曾经大胆自称“人工智能”的领域已经分裂成许多细分的学科，其中许多学科的命名抛却了其认知根源，转而使用更机械化的术语，比如模式识别(pattern recognition)和自然语言处理(natural language processing)。在这个过程中，对中心实验室的需求逐渐消失
◆ 另一个则是长期兼顾教育和硅谷领导职务的吴恩达，他卸任了斯坦福大学人工智能实验室的主任一职。在许多资深同事的支持下，我接任了实验室的第七任主任，也是首位担任这一职务的女性
10 似易实难
◆ 然后，她又想了一会儿，找到了背后的原因。“我一点儿尊严都没有了。彻底丧失了。在那样的时刻……”她似乎有些语无伦次。我正想鼓励她继续说下去，她就接着说完了：“甚至健康都不重要了。”
◆ 个体的尊严是至高无上的——这是任何数据集都无法解释、任何算法都无法优化的变量
11 无人可控
◆ AGI指的是“通用人工智能”(artificial general intelligence)，是一种极其复杂、灵活的人工智能，
◆ 请大家不要每天只从arXiv下载最新的预印本作品了。去读一读拉塞尔和诺维格的著作，去读明斯基、麦卡锡和威诺格拉德的书，读哈特利和西塞曼的作品，读一读帕尔默写的东西。不要因为这些材料距离现在时间久就忽略它们。我们就是要多读一些以前的东西，他们的理念经得起时间的考验，依然非常重要。”
12 下一颗北极星
◆ 那是2019年的春天，是“CS231n：卷积神经网络视觉识别”课程开设的第三年
◆ 原来我们都是彻头彻尾的普通人。我们也许略有成就，但依然有弱点，依然会犯错，而犯错的方式是学生时代的我无法想象的。
◆ 人工智能如何才能尊重人的尊严呢？这个问题是一切研究工作的立足点
◆ 伦理、社会与编写代码之类的工作有什么关系呢？”
译后记
◆ 《我看见的世界》是李飞飞博士的自传。她是美国三院院士，是计算机科学家，是人本主义者，是母亲、女儿、妻子，是曾短暂涉足商界的学术人士。
-- 来自微信读书