由 猿小六 基因算法（Genetic Algorithm，GA）
基因算法（Genetic Algorithm，GA）是一种优化不可导目标函数的数值优化方法。它模仿生物进化过程，使用生物进化概念搜索一个优化问题的全局最优解（极小值或极大值）。
开始时，GA生成初代的候选解。如果想找模型参数的最优解，我们先随机生成多种不同的参数组合。接着，用目标函数测试每个参数组合。每个组合可以被想象成位于多维空间中的一个点。然后，我们再通过“筛选”“交换”和“突变”等方法从前一代点生成下一代点。
简而言之，由目标函数测试表现最好的点得到保留，每次新一代的结果都比前一代保留的点多。在新一代中，前一代表现最差的点被取代，取而代之的是表现最好点的“突变”和“交换”。一个点的突变是对原数据点某些属性的随机篡改，交换则是若干个点的某种组合（比如平均）。
基因算法可对任何可测量的优化标准求解。比如，GA可用于优化一个学习算法的超参数。不过，它的速度一般比基于梯度的优化方法慢不少。
约束理论（Theory of Constraints, TOC）
约束理论（Theory of Constraints, TOC）是以色列物理学家、企业管理顾问戈德拉特博士(Dr．Eliyahu M．Goldratt)在他开创的优化生产技术(Optimized Production Technology，OPT)基础上发展起来的管理哲理，该理论提出了在制造业经营生产活动中定义和消除制约因素的一些规范化方法，以支持连续改进(Continuous Improvement)。同时TOC也是对MRPII和JIT在观念和方法上的发展。
戈德拉特创立约束理论的目的是想找出各种条件下生产的内在规律，寻求一种分析经营生产问题的科学逻辑思维方式和解决问题的有效方法。可用一句话来表达TOC，即找出妨碍实现系统目标的约束条件，并对它进行消除的系统改善方法。
TOC强调必须把企业看成是一个系统，从整体效益出发来考虑和处理问题，TOC的基本要点如下：
1．企业是一个系统，其目标应当十分明确，那就是在当前和今后为企业获得更多的利润
2．一切妨碍企业实现整体目标的因素都是约束
按照意大利经济学家帕拉图的原理，对系统有重大影响的往往是少数几个约束，为数不多，但至少有一个。约束有各种类型，不仅有物质型的，如市场、物料、能力、资金等，而且还有非物质型的，如后勤及质量保证体系、企业文化和管理体制、规章制度、员工行为规范和工作态度等等，以上这些，也可称为策略性约束。
3．为了衡量实现目标的业绩和效果，TOC打破传统的会计成本概念，提出了三项主要衡量指标，即有效产出、库存和运行费用。TOC认为只能从企业的整体来评价改进的效果，而不能只看局部。库存投资和运行费用虽然可以降低，但是不能降到零以下，只有有效产出才有可能不断增长(见下表)。
