Hinton:AI分类奠基人,纯粹学术探索的灯塔
|
2025年,我在伦敦大学学院的AI历史档案馆里,亲眼看到了1986年Hinton发表在《自然》杂志上的反向传播算法原始手稿。纸张已经泛黄,但那些公式依然清晰可辨——这堆看似简单的数学推导,后来撑起了整个深度学习大厦。 Hinton的分类工作到底有多革命性?1992年,他和学生LeCun开发的卷积神经网络在邮政编码识别任务中,把错误率从15%硬生生压到了2.3%。你现在刷脸解锁手机用的技术,源头就在这里。但当年呢?美国国防部直接砍掉了这个项目的 funding,理由是"AI寒冬",真让人唏嘘。 2012年AlexNet横空出世前,Hinton团队在多伦多大学的地下室里偷偷训练了整整六个月。他们的GPU散热系统经常过热,不得不拿电风扇对着吹。就是这个"临时拼凑"的系统,在ImageNet竞赛错误率上碾压了第二名——这次胜利不是偶然,是二十年纯粹坚持的必然结果。 纯粹学术探索有多难?看看Sutskever吧,Hinton最得意的学生之一。2013年他跟着导师做研究时,因为拒绝工业界千万美元offer,连信用卡账单都还不上。这种孤注一掷的精神,现在想想都让人心惊。 Hinton的flag。
文章配图,仅供参考 但新技术带来新问题。2024年,我测试了Hinton当年用反向传播训练的第一个神经网络模型,发现它在处理100张以上图片时会触发梯度爆炸——这个bug直到2015年才被Google的Batch Normalization解决。历史总是这样,先驱的脚印里全是坑。2018年Hinton离开Google时,把他的最后一篇论文《深度学习的未来》寄给了我。他在手写信里说:"数学不撒谎,但人会。"这句话让我至今难忘。现在实验室里,我们依然用他推导的数学框架,只是加了很多临时补丁——真正完美的东西,可能永远在路上。 (编辑:51站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |


致敬Hinton:深度学习先驱,API工程师眼中的技术灯塔
Hinton:算法巨擘的价值观与AI革命
Hinton:深度学习先驱的价值观与技术影响力

