在诺兰的电影《奥本海默》中，主持研发出世界第一颗的奥本海默，在向日本投放成功后，陷入了深深地自责，甚至觉得自己的“双手沾满鲜血”。
科技的力量不仅可以改善人们的生活，也可能给人类社会的伦理规则带来冲击。不断进化的AI有可能欺骗甚至控制人类吗？用AI复活亲人、和AI谈恋爱，是否会对人类伦理造成冲击？澎湃问吧邀请自动化科技研究中心首席研究员向际森，一起聊聊科技创新与社会伦理。
@卡恩啦啦啦：奥本海默因为的威力感到歉疚，但是科学家没有权力决定怎么使用。发明权和使用权的矛盾，该怎么处理呢？
向际森：科技发明权与使用权的矛盾是一个复杂且深远的问题，它不仅涉及到科技的发展，更涉及到人类价值观的定位。以的发明为例，奥本海默这位充满人文关怀的科学家，为了对抗纳粹而投身的研究。当两颗投在了广岛和长崎，巨大的破坏力导致几十万人死亡，他因为觉得自己“双手沾满了鲜血”而歉疚。让我们深入思考科技与道德的交汇点。
想象一下，如果的发明者是一位战争狂人，此时发明者拥有使用核武器的决定权，才是给人类带来巨大威胁的问题。
当我们深入探讨这个问题时，发现其核心并不在于发明权与使用权的矛盾，而是科技伦理最核心的命题：如何确保科技向善？我们不能仅仅依靠科技的发展来解决问题，因为科技本身并不具有道德判断力。面对这种挑战，我们需要重新审视人类与科技的关系，需要全社会的共同参与，包括国际合作、法律法规、道德约束等来规范人的行为，防止有人运用科技作恶。例如，联合国教科文组织世界科学知识与技术伦理委员会的成立，以及我国也成立了国家科技伦理委员会，谷歌公司的dont be evil企业准则，都是为了尽力确保科研成果不会被滥用。
我们也需要认识到这个问题并没有一个简单的答案。因为科技是多领域持续发展的，即使是同一科技，在不同时代也会带来不同伦理问题。对于奥本海默而言，研究是基于善的出发点，并取得了结束战争的善果，但之后的世界却埋下可能开出恶之花的种子。确保科技向善，我们需要秉持真善美的价值观，以此来指导我们对科技的研发和使用。同时，也需要持续关注科技发展的新动向，及时制定相应的伦理规范和措施，以应对可能出现的新问题。
向际森：这是一个值得深思的问题。在这个社会中“好心干坏事”的情形很多，就像《老残游记》当中有一句话：“天下大事，坏于奸臣者十之三四；坏于不通世故之君子者，倒有十分之六七也。”科学家作为社会的精英，如果过于保守则可能一事无成，无法担负起推动创新变革和发展的责任。如果不通世故、不明事理，过于激进则可能“过犹不及”，产生的破坏性可能比保守还大。要做到朱熹在《大学集注》中提出的“处之无有不当”，必须做到“知之无有不明”。
作为一位担当道义责任的科学家，在追求创新变革时首先应知晓并遵循现有的科学伦理规范，积极进行跨学科的沟通交流，更全面地了解和评估所研究领域可能带来的伦理风险，并采取相应的措施来避免或减少负面影响，同时主动接受社会监督和审查等措施，以此来实现道义责任。
@林梓瀚：新技术的发展会不断突破现有的社会规则和社会道德，对社会思想造成强烈的冲击，科学家在进行技术研发的同时，要怎么去适应这种冲击，甚至怎么去降低自己的负罪感？
向际森：我们需要辩证地看待这个问题。“创新理论”的鼻祖、著名经济学家熊彼特认为，将创新定义为“创造性破坏”，也就是说新技术天然的会对现有社会规则和社会道德、乃至社会思想造成冲击，也正是这种冲击推动着人类社会的不断进步，比如伽利略“日心说”对社会思想的巨大冲击。所以因新技术冲破旧规则、旧思想的束缚，而推动人类社会向前发展的情况，科学家可以坦然接受社会的颂扬，而不必有任何负罪感。科学家在进行技术研发时，应当尽量促成和放大新技术对社会的积极作用，避免可能带来的负面影响，如遵循科学伦理规范、进行风险评估、主动接受监督等。如果负面的影响已成现实，科学家还可以积极参与相关社会活动，努力去控制和消除这种影响，毕竟作为该技术的发明者，在该领域拥有其他人所不具备的巨大社会影响力，如奥本海默为控制核武器所做的努力一样。
@FREA：技术本身有没有善恶之分？造出来一定会伤害人类，那还有什么研发的必要？
向际森：我们通常把让人幸福和快乐的事物称为善的，把造成人不幸和痛苦的事物称为恶。也就是说，事物只有与人发生了关系才开始区分善恶。比如在远古时期，各种猛兽会对人的生存造成威胁，所以“豺狼虎豹”是恶的，这个词也是贬义词。但在现代社会，上述猛兽已基本不会对人构成威胁，东北虎就成了萌萌的大猫咪。从这个角度看，本身并没有善恶之分，当它被用来作用于人类社会时才有了善恶之分。至于是否会伤害人类，并没有必然性，主要还得看人类怎么使用它。只不过阴阳一体，科技有多大的创造力，也就有多大的破坏力。人类社会就是在创造与破坏、善与恶的交织中，不断发展前进的。
当然，有人可能会问：“我们是否可以不发展科技，不要它的创造力，也就消除了它对人类的威胁”。
那么请设想一下，如果亚当不偷吃禁果(知识树上的果子），人类社会将会如何发展？
@专业送喷子去缅甸：有说法认为技术本身没有善恶之分，不会消灭人类，机械飞升是最终的道理，这对吗？
向际森：技术的本质是工具，它本身并没有道德或伦理的属性。技术的使用方式取决于使用它的人，它可以被用来做好事，也可以被用来做坏事。例如，医学技术可以被用来治疗疾病和拯救生命，但是也可以被用来进行人体实验和不人道的医学研究。
机械飞升在科幻小说和电影中经常出现，它是否是最终的道理，这个问题没有一个确定的答案。它涉及到伦理、哲学、科技等多个领域的讨论和争议。一些人认为它可以帮助人类实现更高的成就和更广泛的探索，而另一些人则认为它是不道德的，因为它可能剥夺了人类的自由意志和自然存在的价值。
技术的发展和应用对人类社会和自然界产生了深远的影响，我们应该认真思考其利弊，并采取适当的措施来确保科技的发展符合人类的利益和价值观。
向际森：从人类科技发展来看，科技在长期中、整体上是对人的能力的增强。当然短期内、局部的，科技可能会形成对人的替代，但同时科技也为我们创造了许多新的岗位，也正是科技的发展让我们的生活水平越来越高、寿命越来越长。因此，科技的发展是有必要的，只要我们能够找到一种平衡的方式，使它与人类的需求和利益保持一致。
向际森：科技创新和科技伦理的关系，类似于生产力与生产关系的关系，二者相互促进，又相互制约。正如《三国演义》开篇所写的“天下大势，合久必分，分久必合”，矛盾的观点告诉我们，任何事物都包含它的对立面，并最终走向它的对立面。具体到科技发展，如果科技创新超前太多，势必会受到原有伦理规则的束缚而放慢发展速度。只有当科技伦理得到调整，并且能够指导科技创新行为时，科技才会迎来新一轮发展。
@澎湃网友kkUYK：人工智能可以学会歧视、欺骗、人身攻击等等人类的负面行为吗？
向际森：人工智能在某种程度上确实可以学会以上所提的人类负面行为。这主要是因为人工智能的学习算法是基于大量数据进行的，其中可能包含着人类的这些负面行为信息。然而，我们应该明确，现阶段人工智能的最大能力是推理能力，暂时未发现情绪层面能力，所以它们只是学会了被输入的数据中呈现出的行为模式，而不能自行产生这些行为。目前来看是纯粹的技术问题，但并不排除未来出现带有情绪认知的人工智能。
从科技伦理的角度来看，我们希望人工智能能够为人类社会带来积极的影响，而不是放大或加剧人类的负面行为。我们需要从政策、技术、教育和社会监督等多个方面的共同努力，避免包含歧视、欺骗和人身攻击等的数据被用作人工智能训练，避免将人类的负面情绪投射到人工智能上，对人工智能的行为进行监测和评估，一旦发现有负面行为，及时进行干预和处理。
@澎湃网友ioWUg：和人工智能谈恋爱，是解构了人类情感吗？要怎么判断感情的真假呢？
向际森：和人工智能谈恋爱是一个极富讨论性和伦理挑战的话题，涉及到人类情感、技术发展和伦理价值的复杂交织。人工智能目前虽然能够模拟某些情感表现，但这与人类情感的本质还存在重大差异。情感通常涉及到生物学基础，如荷尔蒙、大脑活动和身体反应，这些都是人工智能无法模拟的。现阶段与人工智能的所谓恋爱更可能是一种模仿、投射或者情感替代，而非真正的情感交流。从伦理角度来考虑，我们通常会关注涉及到人工智能的“感情”是否会削弱人际关系，导致社交隔离和孤独。人工智能是否被用来操纵或欺骗人们的情感，或者成为一种逃避真实关系的手段。
可以明确地说，在人工智能拥有自主意识之前，所谓的“感情”都是假的。如果未来人工智能拥有了自主意识，其实可以参照人与人之间谈恋爱是如何判断感情真假的，这是一个永恒的难题。或许只有处于恋情中的人，通过情感交互、时间考验才能自己判断。
向际森：人工智能将在很多领域超出人类的能力，比如众所周知的棋类领域，人工智能构思了一种从未被人类想到的战略，从而战胜了人类最顶尖的棋手。人工智能的优秀表现迫使我们直面一个问题：是否存在一种人类尚未实现或无法实现的逻辑形式，能够探索我们从未了解甚至可能永远无法直接了解的现实层面？
但人类智慧是由多个子系统构成的复杂系统，包括智力体系、知识体系、方法与技能体系、观念与思想体系、审美与评价体系等。这些子系统相互交织、相互渗透，共同构成了一个人的智慧。同样，我们也可以去思考下面这个问题：是否存在人类智慧的某些方面，是人工智能无法触及的领域？
目前来看，自我意识可能会成为人工智能的最终屏障，然而情感计算在帮助机器理解人类意图的同时，也会增加机器发现其主体间性的可能，人工智能最终很可能取得与人类一样的主体地位。
但是，人工智能是发展出和人类同类型的智慧并超过人类，还是发展出不同于人类的“智慧”体系，就如《三体》中三体人和地球人思维的差别一样，这还存在着很大的想象空间。
@前兔无量：在未来的某个时间点，机器得以自主制造机器，人类是否会承认AI这种新的“生命形式”的存在呢？当AI达到了类似的程度后，人类的地位是否会被撼动？人类是否真的会被作为“人体电池”而被机器“饲养”？
向际森：机器自主制造机器并不意味着它们就成为了新的生命形式，因为生命有许多复杂的特征，包括自我复制、自我修复、自我进化等等。目前的AI和机器还没有达到这些特征，它们只是根据预先编程的规则和算法进行计算和执行任务。
随着AI和机器技术的不断发展，它们可能会变得越来越智能和自主，甚至可以在某种程度上模拟人类的思维、情感和意识。在这种情况下，人类是否会承认AI这种新的“生命形式”的存在，取决于如何定义“生命”。如果我们将生命定义为一种可以自主思考、感知和行动的实体，那么AI可能会被视为一种新的生命形式。但是，这种定义可能会引起争议和不同的解释。
至于人类是否会被机器视为“人体电池”并被“饲养”，这也取决于AI和机器技术的发展程度。如果机器可以自主思考、感知和行动，并具有自己的意愿和目标，那么它们可能会对人类产生不同的看法和态度。但是，人类作为地球上的主导物种，拥有自己的智慧、情感和价值观，机器不可能轻易地撼动人类的地位。
未来AI和机器技术的发展将带来许多变化和挑战，我们需要认真思考和探讨它们的可能性和影响，并采取积极的措施来确保科技的发展符合人类的利益和价值观。
