警惕算法“失算”的危险
■李玉焱 张 毅
人工智能的内在逻辑是算法，数字时代的机器设备在智能算法的驱动下实现自主运行，变得聪明智慧，正推动人类社会生产方式发生翻天覆地的变化。有业内人士就曾深刻指出，如果让人工智能解释清楚算法是如何优于人类的，它们经过计算后给出的结论极有可能是，“我能给出解释，但你们人类听不懂”。由此可以推断，算法虽然是由人类开发设计的，但最终却不一定按照人类的想法行事。这提示人们将算法应用于作战领域须格外谨慎，要高度警惕人工智能在不久的将来可能会跨越人类智能的奇点，为人类制造算法陷阱，给世界带来灾难。
警惕算法“黑箱”操作异常，导致人工智能行为失范。算法具有不透明性，算法模型可以通过监督学习的方式获得，但前提是依赖大量的基础训练数据输入才能逐步建构其内部复杂的多层模拟神经元网络，生成逻辑推理能力。然而，此类算法模型内部推理机制不透明，输入输出之间存在模糊不确定性。正基于此，在训练数据内容的人工筛选和标识工作中，不经意间的失误或丝毫的偏差都可能会引起算法内部推理网络的节点连接发生改变，进而引起算法模型推理演绎的轨道发生偏移，最终导致人工智能行为异常。例如，人工智能对战场的态势感知出现偏差，对关键时敏情报信息无法精准识别；人工智能操控选择武器弹药和装填射击诸元混乱，使战场火力打击行动失败；智能辅助决策系统预测战局发展失常，擅自启动自毁程序等。因此，着力解决算法“黑箱”操作异常的问题，应创新使用决策树、贝叶斯网络等机器学习方法训练智能体模型，提高智能指控算法的透明度；加强训练数据管理和使用，重视基础数据保密和防护，规范数据筛选和标注，以此对机器智能的行为始终做到心中有数，解除人与机器之间由于互不理解导致的信任危机。
警惕算法决断理性过度，导致人工智能冷酷无情。算法具有一定的自主性，能够基于数理逻辑进行推理运算，并随着对训练数据集的不断学习和实践经验的日积月累，在人类授权的条件下，进行自主的判断决策。但算法本身缺乏感性的是非观念和价值判断能力，有绝对的思维理性，却没有任何的思想感情，只会按照计算机程序绝对执行，不计后果不问缘由。例如，算法驱动战争机器运行，在引导机器杀伐决断的时候，可能会不顾及后果屠戮生灵，不考虑责任残害无辜，为达目的不择手段，带来战略被动。鉴于在人类主导的战争世界里不光有杀戮，还存在人道主义。因此，将算法应用于作战领域，须防范人工智能的冷酷无情，应始终保有人类在战场上的最终决策权，以确保作战行为的克制、作战规模的可控以及战争道义的坚守；对于算法的开发设计，应坚持国际共商合作，事先制定人工智能技术发展的相关行为约束和制度规范，并加强监督管理；在人工智能机器设计制造过程中预置一键关停按钮，保证在战场上可以随时制止智能机器的失范行为和危险举动。
警惕算法辅助刻意拟合，导致人工智能误导判断。算法具有预见性，能够通过挖掘隐藏在数据背后的深层信息，预见事物的发展变化趋势，辅助人类认识和改造未来世界。将算法的预见功能引入作战领域，可以辅助作战指挥人员设计战法和定下决心，智能算法平时可以隐蔽地收集潜在对手的价值取向和行为动向数据完成深度强化学习，充分掌握对手的处事风格和行为习惯，战时便能够高效辅助指挥员设计出让敌人更容易上当受骗的作战方案；算法还可以通过预先模拟推演作战方案，为人类指挥员修改完善方案提供实践参考。但与此同时，我们也不应忽略算法模型在强化训练过程中会出现刻意拟合的情况，导致在面对未见过的敌方态势时表现糟糕，使人类陷入信息茧房之中。例如，算法模型在辅助指挥人员定下作战决心时，刻意拟合己方人员的喜好和敌方人员的反应，导致决心方案不符合客观实际；算法模型可能掉入敌人有意制造的数据陷阱，尤其是人类社会进入后真相时代，敌人的虚情假意和伪善面孔都可能影响算法模型的训练结果，导致算法推断得出的结论误导人员判断。对此，可以从提高作战模拟仿真推演次数和质量入手，强化作战数据积累，加强情报收集工作，确保模型训练数据充足可靠；简化算法模型参数，降低建模复杂度；对算法应保有接纳但不盲信的理性态度，坚持独立思考，合理利用人工智能。
警惕算法迭代方向跑偏，导致人工智能发生异化。算法具有一定的演化调适性，能够随着外部环境的变化，不断修正变量参数，逻辑自洽地调整内部推理机制，实现迭代升级。算法模型自诞生之日起便一刻不停地演化改造，推动人工智能不断升级成长，不断逼近人类智能的水平，或许终有一天会超越人类。因此，算法在无人监督干预的情况下持续演化，很容易出现方向跑偏的情况，须引起高度重视，尤其在作战领域当中，人工智能发生异化，将使人类失去对战争的主导权。例如，作战机器人在战斗的关键时刻临阵倒戈，突然调转枪口对准自己，使近在咫尺的胜利功亏一篑；算法受到敌对势力的蛊惑，自动编造谎言欺骗群众，左右社会舆论，裹挟不知情群众制造暴乱，以此来影响作战人员的判断决策，间接影响战局发展等。对此，须强化危机意识，客观冷静地处理，积极主动地设计未来，而非消极被动地适应未来。应当保持对智能技术发展的理智和敬畏，明确相关技术边界，加强业界制度约束，谨慎设计开发智能算法，使算法始终朝着安全可控的方向演化迭代。
