前置
神经网络训练基本上是一门艺术 —— 《这就是 chatGPT》(Stephen Wolfram)
大多数情况下,神经网络的学问不是通过第一性原理推导出来,而是通过”试错”、并不断添加想法和技巧发现的,其中还有大量至今也无法解释原因。
“也许你听我说过，要从物理学的角度思考问题，这是第一性原理。即不要进行类比推理。你把事情细分到你可以想象的最基本元素，然后你从那里开始推理，这是确定某件事是否有意义的好方法。这种思考不容易，你可能无法对每件事都这么思考，因为这很花精力。但是如果你想创新知识，那么这是最好的思考方法。这个框架是由物理学家提出并发展的，他们因此找出了反直觉的事情，比如量子力学。” —— 马斯克
概念
第一性原理: 回归事务最基本的条件, 将其拆分成各要素进行结构分析, 从而找到实现目标最优路径的方法.
“在任何一个系统中,存在第一性原理,是一个最基本的命题或者假设,不能被省略,也不能被违反。” —— 亚里士多德
演绎法 & 归纳法
- 经验参数是一种“归纳法思维”，由N个已知的数据或现象，推论出一个规律。(更像玄学
- 第一性原理是一种”演绎法思维“，由1个或多个定律推演而来，或者它本身就是一个定律。(更像科学
第一性原理 & 归因法
不同于归因法(也是我常用的思维方式), 第一性原理并不是根据结果一层一层向上推导原因, 这样往往是线性的(至少我更习惯这样归因),根据结构推导出往上的几种原因, 也许再把原因抽象成一个更本质的原因, 但这样的方式因在实际应用中过于线性, 容易陷入自己认为的某一条逻辑链条而忽略其他本质.
第一性原理先从最本质的原理出发, 一步一步向后推理,这样的方式往往会得到自己思维的舒适区之外的结论和过程. 总的来说整个思考过程的自由度增加了。
···
所以很多时候需要做的不是需要跳出舒适圈,而是在舒适圈中找到矛盾的本质,并通过本质找到一种新的解决方案. 这往往涉及到跳出中庸和平衡的思想(至少在带有更多社会性的问题上), 寻找本质需求之后再想办法用一种不带来新矛盾的方式解决原来的矛盾.