奥托·罗斯勒（Otto Rossler），这位说话轻柔的知名生物化学家看起来一点也不像说出惊世骇俗言论的人，他曾在公开场合声称大型强子对撞机（LHC）的启动运行之日就是地球末日。2008年1月在德国柏林的一次会议上，他指出世界上最大的强子对撞机运行后将形成一个微小的黑洞，地球会从中消失。
罗斯勒并非孤军奋战，为数不少的科学家加入他的行列企图制止LHC投入运行。他们是令人瞩目的少数派。
当然我们可以认为罗斯勒只是一个疯子科学家，哗众取宠，危言耸听，不愿接受绝大多数人已达成的共识。但是，在他批评CERN（欧洲核子研究组织）之后过了几年，我在德国巴登州举行的一次学术大会上亲眼见到他，他实际上非常温和、审慎、认真，不是那种你能忽略他意见的人。罗斯勒提出的一些担心是值得关注的，至少是值得倾听的。
物理学家在描述黑洞的时候，通常会应用坍缩星的例子，坍缩星被压缩成一个非常小且密度大的物质，产生了极大的重力，连光都无法逃脱它的引力。从理论上来说，粒子对撞机中高能粒子的碰撞能产生微黑洞，因此罗斯勒要求物理学家开展更多基础性的研究证明粒子对撞机运行不会产生危险级的黑洞，在此之前CERN应当暂停启动粒子对撞机。2008年8月26日，就在粒子对撞机计划启动前10天，欧盟公民向位于斯特拉堡的欧洲人权法院提出法律诉讼，要求终止LHC的使用。
大型科研项目特别是像粒子对撞机这样由公共资金支持的项目经常成为众矢之的。几乎人人——不管是科学毁谤者、怪人还是那些认为这笔钱可以有更好用途的人都对是否值得开展此类项目心存意见，对于理论物理实验尤其如此，因其实验结果并非立竿见影带来应用价值。但是即使这些有关物理的理论艰深晦涩、常人难以理解，参与LHC项目的物理学家们还是成功地说服了政府部门官员理解这项研究的重要价值。
20多个国家以及欧盟为CERN提供了主要资金。此外，包括美国在内的6个国家为LHC的建设提供了资金支持。在2008年法律诉讼时，该项目已花费了60亿美元。正因为这项理论研究花费了如此多的公共资金，我们可以很容易想象，CERN的领衔科学家面临着证明其研究价值合法性的巨大压力，CERN的官员做出任何终止后续工作的决定都需要十足的勇气。
所提及的危险是值得慎重对待的，知名专家也发声表示他们的担忧。CERN如果完全忽略这种危险则是完全不负责任的。因此，一个物理学家组成的委员会成立了，专门研究罗斯勒对于粒子对撞机安全性理论是否具有合理性的质疑。这样的做法也广为科学家所接受。但是这类委员会的成立，所基于的方法是广大普通公众难以理解的，因此其命运也存在一定的风险。
委员会认为粒子对撞机不会带来危险，其中一个重要原因是，他们认为粒子对撞机运行后产生的任何微黑洞都是不稳定的，转瞬即逝。瞬间消失的黑洞不会产生实质性的威胁。黑洞解体是由于释放了一种霍金辐射形式的能量（霍金辐射由斯蒂芬·霍金提出并以他名字命名）。
大部分物理学家相信霍金辐射的存在，但是霍金辐射尚未得到证实，目前还没有如此敏感的设备足以对之进行实验验证。换句话说，根据某些理论（罗斯勒的理论），对有些理论进行实验验证是危险的，比如说证明难以捉摸的希格斯玻色子（Higgs boson）是否存在，然而有些理论却因为科学家广为接受某个未经证实的理论（比如霍金辐射）而被放弃研究。
CERN对要求其终止研究一事进行了应诉。欧洲人权法院很快就驳回了诉讼。粒子对撞机随后启动运行。
2008年9月13日，物理学家和畅销书作者米凯奥·卡库（Michio Kaku）在《华尔街日报》上撰文称，“如果你能读到下面这句话，恭喜你！你在大型强子对撞机正式启动之日成功存活”，因为很多人都批评该对撞机的启动会产生吞噬地球的微黑洞。
科学家开展此类据称可能导致人类灭绝的实验已经不是第一次了。早在1945年7月，美国在新墨西哥州沙漠开展的首次“三位一体”核试验就是最知名的例子。试验之前，参与曼哈顿工程的重要科学家推测大爆炸是否会引发地球大气层的链式反应，计算表明人类灭绝这个等级的事件不可能发生，但也不能绝对排除这种可怕情况的出现。
据报道，诺贝尔物理学奖获得者恩里克·费米（Enrico Fermi）先生（他的幽默感实在是有点令人毛骨悚然）打赌核试验是否会造成大气层大火，如果会，那将吞噬新墨西哥州还是整个地球？当然，核试验并没有摧毁新墨西哥州更谈不上整个地球，但是即使是这次核试验是成功的，后续研究还是要完全排除威力更大的原子弹爆炸引燃大气层的可能性。
奥托·罗斯勒仍坚持说粒子对撞机产生稳定微黑洞的可能性是存在的，尽管可能性很小。此外，他还批评CERN并未采取任何预防措施。虽然粒子对撞机至启动以来一直处于安全运行的状态，但是有没有一种可能性就是粒子对撞机仍然会产生让地球消失的黑洞呢？粒子对撞机有一个周长为17英里的环形隧道，其设计理念是让高能粒子进行碰撞。
两束高能粒子相互碰撞，是为了模拟138亿年前宇宙大爆炸后微时刻的情形。过去3年里，CERN运行的粒子对撞机内部有6000万亿个粒子在碰撞。但是只有少数的碰撞提供了希格斯粒子存在迹象的重要数据证明，2012年7月对外发布了这一突破性发现。但是，鉴于每年碰撞的粒子数量，即使是一个粒子出了偏差，可能性极低也会让人们忧心忡忡。
罗斯勒还谴责CERN启动粒子对撞机运行后至今没有及时更新官方安全报告，6000万亿个粒子的碰撞到底有没有产生稳定的微黑洞，或是告诉大家永远不会出现此类黑洞，这或许会让人放心些。但是同时罗斯勒指出，CERN或许没有办法知悉是否产生了黑洞，除非黑洞吞噬了相当数目的物质，但这是需要一定的时间。
此外，对于优秀的科学家而言，“永不”是难以接受的词，因为他们永远对任何可能推翻当前物理法则的现象持开放态度。比如说，如果在某些尚未观察到的情况下，苹果可能会漂浮到树上，而非落到地面上，因此就可以质疑目前适用于绝大多数情况的重力法则。
物理学家讲求的是可能性和不确定性，而非绝对性。在量子物理的世界里，主要描述的是次原子粒子的行为，各种可能性为理论提供了基础，从而对结果进行预测。但是CERN的安全报告充满了不确定性，将难以让公众安心，并且招来各种批评。虽然报告可能会带来误解，但是CERN也不能贬低安全的重要性，或掩盖评估的结果。
2013年2月，历经3年成功运行后，CERN关停了粒子对撞机进行重大维修，计划于2015年重启。我相信CERN的科学家都是勤勉认真的人，不会有意置人类的风险于不顾。但是我非常不满意的是，这些科学家和法院的人做出了影响我们每一个人生活的决定。
不管怎样，在粒子对撞机这个问题上，科学专家做出的判断的分量要重于其他研究领域。因为物理学是一门规律性很强的科学，对于试验安全与否可以通过数学计算才能决策，前提是我们已经充分了解了相关物理系统法则或规律。虽然在某些情况下，即使是合乎规律的活动也会带来不可预见的事件。
但现在的情况是，这个问题已超出了物理学的范畴，在计算机科学、基因学、神经科学、地理工程学等领域我们碰到的问题更大。我们越来越难以理解新兴科学研究以及创新技术应用中所隐含的风险。科学调查与人类行为、环境问题交织缠绕。对日后用于日常生活的技术和工具可能带来的广泛社会影响，单从科学角度进行安全评估已远远不够。
此外，在对几十亿甚至千万亿的事件进行分析时，即使结果表明发生的可能性极低，我们也不能排除风险存在的可能性。我们在对计算机计算的数据，对不同基因组成的变种，对神经元发射形式的多样性或者是天气受大气变化影响等问题进行分析时，都应当持有如此谨慎的态度。
新兴技术的发展、进步以及社会影响存在不确定性，这并非新鲜事。但问题是我们对一些复杂体系的依赖程度日益加大，其中的风险无法计算。科学发现和技术创新的速度远远超过了政府对之进行监管的能力。此外，新兴技术不仅带来了人体健康、环境威胁等常规风险，也带来一些独特的社会问题。比如，运动用的生长激素会刺激铤而走险的尝试者，助长欺骗，加剧不公平，以及破坏行业发展。总之，所有这些问题都增加了悲剧发生的可能性，其中新技术的采用难辞其咎。
不仅仅是评估新兴技术的风险越来越有难度，连开展一场开诚布公的现实对话都成了挑战。在新兴技术研究领域，无穷无尽的猜测和炒作让我们幻想我们必须在前沿科学领域取得进展，不管这些领域到底是我们期待的，还是令人忧虑的。但是即使是在广为人知、耳熟能详的领域，比如对个性化药物、设计婴儿、大脑模拟，以及超智能计算机和机器人等进行评估也是极其难以实现的。
从现实中去伪存真本身就是件复杂的任务。对于普通人而言，几乎不可能分辨设计周详的试验、推测性理论、经得住考验的假说以及证实的事实之间的区别。因此，很难知道哪些风险真正值得注意。
罗斯勒关于粒子对撞机研究存在风险的论断遭到了否定。但是最近，两位法学教授对于纽约布鲁克海文的相对论重离子碰撞加速器（RHIC）开展的新研究提出了类似的担忧。他们没有罗斯勒那样知名的科学背景，因此更难引起人们认真对待他们所提的问题。
2014年，埃里克·强森（Eric Johnson）和迈克尔·巴拉姆（Michael Baram）发表了一篇文章，要求成立委员会专门研究运行15年的RHIC是否安全。RHIC的规模仅次于粒子对撞机，目前正在进行升级，以开展比它原有设计承载的能量范围更大的实验。
强森和巴拉姆担心新实验可能会产生一种次原子物质“奇异微子”，在某些情况下，奇异微子将引发链式反应。英国皇家天文学家马丁·里斯（Martin Rees）爵士说，链式反应会将地球变成一个直径为100米（109英尺）的惰性高密度球体。
早在RHIC投运之前，就有人提出奇异微子的问题。1999年7月，在媒体关注之后，布鲁克海文实验室主任任命了一个4人委员会研究这一问题。2个月之后委员会报告称RHIC是安全的。之后包括《灾难：风险和应对》的作者理查德·波斯纳（Richard Posner）法官在内的批评人士指责该委员会的成员要么是该项研究的参与者，要么是既得利益者。
马丁·里斯写到，该委员会“的目的似乎就是让公众安心……而不是做出客观分析”。不管怎样，1999年原本的研究是基于假定RHIC只能运行10年，且在最近的一次升级之后只能开展比以前功率更小的实验。
强森和巴拉姆关于成立一个委员会调查RHIC开展的新实验是否安全的呼声基本上被忽略了。有人批评律师们不应该质疑科学专家的判断。但问题是，在与安全攸关的问题上，科研人员一开始可能只顾推动研究的开展，从而忽视甚或不顾风险的存在。除非马上就能确定风险所在，不然许多科研人员会如同井底之蛙，对于所从事的研究产生的社会影响不感兴趣或是漠不关心。
即使某位专家深切认识到其中的深远影响，光凭一己之力也不具备足够的权威做出能够影响到我们每一个人的决定。另一方面，一些对于新技术可能产生的社会影响十分敏感的非专家人士却可能缺乏专业的知识去分析评估他们的担忧是否站得住脚。
一些有责任感的公民所持的观点可能是短视的——他们经常会将科学实践政治化，这本身也是有其危险性的。因此责任不仅仅在于科研人员，非专家人士和普通公民都负有责任。专家和非专家之间很少有动力进行相互沟通以弥合其中认识的鸿沟。即使他们想要实现某种形式的相互理解，也没有蓝图或计划指导他们实现这一目标。
决定什么时候听从专家的判断，什么时候对新技术的采用予以干涉的确不容易。政府领导或是知情公民如何有效地洞察哪些领域的研究前途光明，哪些又风险重重？我们是否有这样的智慧和手段缓解可预见的严重风险？我们如何对不曾预料的风险未雨绸缪？
粒子对撞机或是RHIC开展的实验引起人们恐惧，是因为从理论上说这些技术可能导致人类灭绝。而另一些技术，比如核战争，或是类似于科幻小说情节中终结者式的超智能机器人，其存在目的就在于灭绝人类。
当然，采用创新工具和技术所带来的危险和破坏，大部分都不会威胁人类生存。这些风险影响范围非常广泛，比如世界范围内的流行疾病可能会造成数百万人死亡，或是一场足以使政府倒台的经济危机。
大部分的风险相对比较小，比如机器出现故障对个体造成的伤害。但是，为数不少的创新技术有可能造成广泛的社会影响。其中大部分会使人类受益，有一些的影响存在争议，还有一些可能会造成破坏。也有可能某一种技术同时具备上述三个特点，即有用，有争议及具有破坏性。比如，侦察相机和数据库极大地提升了安全，同时也损害了自由和隐私。
本杰明·富兰克林曾经警告我们，那些愿意牺牲自由以换取安全的人将会双手空空，与之背道而驰的是，美国人和英国人显然愿意接受在二者之中做出权衡。权衡之下，考虑到巨大的好处，即使是存在破坏性风险的技术也常常为大众接受。但是我们判断这种权衡是否是合理的之前应征求哪些利益相关者的意见呢？谁又是最终拍板的呢？
《科技失控》一书讨论了新技术的采用所带来的潜在危害，以及预测和管理这些危害时所面临的挑战，并将其与预计带来的好处进行衡量。我们的讨论将提到人类生存面临的威胁，但重点还是在一些与人类生存休戚相关但是尚不存在的风险。
风险类型不同则要求不同的利益相关者参与决策过程。而且不同程度的风险需要不同形式的监管。为未来技术发展指出航向是一项危险的事业，首先要学会问正确的问题，这些问题能够揭示任其发展、无所作为所带来的隐患，更重要的是找到通向安全避风港的航道并为其描画出蓝图。
技术风暴
意识从时间的面庞划过，先照亮了生命的一面，而后是另一面。在我们当今所处的历史篇章中，焦点聚集在技术和信息上。时间飞逝，千兆字节的信息阻塞了数字和神经元的高速公路。不管是单个人还是作为一个整体，人类面临着前所未有的压力去消化、吸收、试验、参与，以及做出选择，对于不明智的选择可能带来的影响和付出的代价可能都没有机会进行反复思量。
基因工程、情绪和性格转换药物、纳米技术、高级形式的人工智能，这令人应接不暇的可怕变化可能重新设计人类的思想和身体，重新对人类进行定义。我们开始采用自动化的计算机和机器人取代具有缺陷的人类决策，采用生物工程燃料作为新能源来源，这都在集聚越来越大的压力。
层出不穷的新装置以及近期的各种可能性都在改变我们的日常生活，也许还会改变人类的命运。每项发明能够带来实质性的好处，比如治疗某种疾病，或是新的通讯方式。但是，即使最有益的发明也可能被滥用，从而造成不良影响，或是破坏体制、制度以及传统价值。
创新工具和技术的使用永远会有好坏权衡。如果无人驾驶汽车能够真正减少公路死亡率当然是好的，但是，从另一方面说，是否意味着人类将失去驾驶的权利。这种权衡当然无法与灭绝人类的技术相提并论，但是也会以悄然无息的方式改变人类的行为。
健康地多活几年当然不错，但是如果人类平均寿命延长到150岁，对于个人以及社会而言则有喜有忧。能帮人类承担繁重工作的机器人当然受欢迎，但是现在智能机器人越来越多地取代人类的工作，有可能某一天超越人类智力，造成一系列的经济、社会问题。
未来几十年里新技术的累积影响是难以想象的，且很可能令人不安。我把开创性发明和工具不断涌现比作技术风暴。雨水润泽生命，但是永不停歇的暴风骤雨则会暴殄生灵。
技术发展与经济类似，有可能陷于停滞也可能过热。支持技术带来回报的人呼吁政府出台越来越多的政策为研究提供资金支持，减少产品责任以刺激创新。但是少数领域的发展不断加速推进以至达到失控的危险速度。可以说，信息技术的扩展就是如此，而且凭借其迅速发展获得了侵犯隐私和财产的机会。潘多拉的魔盒已经打开。
我们的时代并非第一个经历新技术不断喷涌的年代。促成工业革命的新工具和技术影响更加深远，其造成的破坏作用远胜当今。拥挤的城市，肮脏、危险的工作条件，长时间的工作，童工等都是工业革命风暴最突出的负面特征。但是，对于那些居住在脏乱拥挤的贫民窟的人来说，刚一开始感受并不明显，生活水平的确是大大改善了。通常，新技术破坏性作用的产生要早于其带来的益处。
信息时代仍处于婴儿期，而且与工业革命时期有着天壤之别的差异，所以很难对二者做出有意义的比较。未来几十年中，基因学和纳米技术的进步将获得比信息技术更多的关注。这些领域不仅将改变我们的世界，还会改变我们的身体，促使我们的感官与外部装置之间联系更加紧密。多领域创新的融合效应不断累积形成技术风暴，人们得不断去适应变化以跟上时代步伐，趋利并避害。
对新技术总体影响进行衡量至少还需等待30或50年。同时，只有我们所采取的行动具有远见，才能确定信息时代真正促进人类进步和思想进步。技术进步带来的好处是不言而喻的。《科技失控》将解决可能出现问题的方面，对于减少风险的各种方法进行探讨。最重要的是，这种探讨应当与社会目标有关，不仅是可能实现什么，更是我们希望领袖们以及我们的社会应关注哪些重点。
在技术和社会变革过程中，会经历风暴或是倾盆大雨。基因工程的试验可能出错。看似有前途的理论也可能将投资人带入死胡同。我们在看到基因学和纳米技术预期中的好处之前，有可能看到实验室因事故或恶意目的导致大量有毒物质泄露。
负面后果会令人们质疑之前的判断，也会令人怀疑为了所谓的好处是否值得付出。批评者会争辩说，短期的利益和预测的好处就能证明当前出现的问题或是未来的风险是正当合理的。但是，新技术可能带来的好处可以解决当今如此多的问题，以至于没人希望放弃研究。
即使过滤掉猜测性的好处，在不久的未来很可能实现的技术进步带来的潜在好处是巨大的。但是如果我们对于预料中的问题不去解决，那么继续开展这些领域的研究，将带来危害，并危及公众对此的支持。如果没有明确的手段缓解某项技术带来的风险，批评人士以及公民团体会反对进一步的研究。
顺从经济和政治上的当务之急是不够的，听任技术机械式地展开也是不可接受的。在民主社会里，公众应当对开创一个怎样的未来负责。在历史的关键点上，在我们恰如其分地同意或反对之前，应当进行一次开明的对话。
转折点
现在衡量新技术的广泛影响为时尚早，我们仍有各种机会去害存利。但是为了充分利用这些机会，或“转折点”，我们首先必须认识他们。转折点是指历史上带来正面或负面后果的转折时刻。这些时刻提供的机会窗口让我们能够在一定程度上控制所要开创的未来。
机会窗口可能保持长期开启的状态，但很多时候，开启和关闭都很快。一项技术一旦根植于社会结构之中，要改弦更张极其困难。如果对于转瞬即逝的机会没有采取行动，那未来将屈从于人类不能掌控的力量。
消除灾难发生的可能性或降低灾难的严重程度通常需要提前采取预防措施。很多关于转折点的例子证明，通过及早响应预料中的危险，避免了灾难发生或限制灾难的影响。最近的一个例子是，全球实质性地提升了预防流行性感冒爆发的能力。大范围流行病是极其可怕的。1918年西班牙爆发的流感导致5亿人感染，5000万到1亿人死亡（占世界人口的3%～5%）。
两种不同的流感爆发后，全球卫生官员抓住机会加强了流行病的预防工作。2002-2013年间，根据世界卫生组织的统计，630个确诊感染禽流感（H5N1）的病人中60%死亡。H5N1是从家禽传染给人类的病毒，迄今为止，只有极少的证据表明该病毒能在人与人之间传染。
2009年，一种神秘的新型病毒株“猪流感”（H1N1）在墨西哥爆发。至当年11月份，世界卫生组织宣布实验室确认了482300例感染了H1N1病毒，其中6071人死亡。卫生官员们担心致命的禽流感病毒可能会变异成人与人之间也能传播的形式，其传播速度将加快，或是H1N1病毒可能会变异成极端致命的类型。
如果感染禽流感的人很少，那么变异成人与人之间传播的病菌类型的可能性会降低。因此，刚开始的重点应当放在宰杀已感染禽流感的禽类防止传染；为家禽从业人员提供防护服和采取其他安全措施；为可能吃过受感染的鸡或其他禽类的社区开展有关卫生和食品制备方面的教育。
在抗击任何新发疾病性病毒时，开发有效疫苗，生产充足数量的疫苗为相当数量的人口接种，需要一定的时间，而这会造成严重的瓶颈问题。争分夺秒就是治病救人，节省这部分时间意味着抓住了拯救数百万人的机会。为应对禽流感和猪流感爆发，世界卫生主管机构采取了加速疫苗研发和生产的重要措施，加强世界各国公共卫生官员之间的沟通，增加了研究设施，支持开发更好的诊断设备，储备已知流感种类的疫苗，以及对只有流行疾病发生时才启用的疫苗生产厂家提供日常运营的支持。
卫生主管部门将这两起流感引起的担忧转变成预防疾病发生的机会。再次发生与1918年西班牙流感同等或更大规模的流行疾病仍有可能。幸运的是，全球卫生官员近年来采取的措施将大幅度减少流行病灾难发生的可能性。
改变基因，更具体而言，改变人类基因将成为人类历史上的重要转折点。而次一级的转折点可以理解为目前正在开展的研究路线进行了调整，或者说进展速度发生了变化。比如说，解码人类基因本来可以历经数十年缓慢向前推进，但是因大量公共和私有资金的注入而加速前行。
2013年6月13日，美国最高法院判决不能为人类基因申请专利，从而改变了人类基因学的研究进程。这次判决澄清并修订了1980年Diamond V.Chakrabarty案中的决定，当时实际上允许公司持有基因的所有权，引发了基因专利申请的“淘金潮”（gold rush）。截至2013年法院做出此判决时，41%的人类基因已注册了专利。对许多批评人士而言，对人类基因申请专利简直难以容忍，他们认为专利法的颁布是为了保护创新性发明而非申明对自然现象的所有权。
此次法庭判决的案件与米利亚德遗传基因公司（Myriad Genetics）有关，这家公司持有两种基因BRCA1和BRCA2（BRCA： Breast Cancer，乳腺癌）的专利权。通过其专利权，米利亚德公司拥有广泛的权利，不仅包括将确认存在BRCA1和BRCA2基因变异的产品推向市场，也包括垄断该基因的研究和相关的治疗。
携带变异BRCA1和BRCA2基因的妇女患乳腺癌的可能性很大。基因治疗师通常会建议进行预防性的切乳手术。2013年，新闻媒体广泛报道了美国演员安吉丽娜·朱莉（Angelina Jolie）双侧乳腺切除的事情，她体内携带BRCA1的缺陷基因，患乳腺癌的概率为87%，此外存在50%患卵巢癌的风险。朱莉的母亲56岁死于卵巢癌，她的姨妈61岁死于乳腺癌。
美国最高法院的法官一致决定判决米利亚德公司败诉，并宣布单独的人类基因不可授予专利。理智获得了胜利。这起判决避免了将来可能出现的负面影响，比如对于基因治疗的漫天要价，或是对能够开展基因研究的人予以限制等。矛盾的是，基因研究因此既放慢了步伐，也加快了脚步。私人公司可能难以筹集到投资，但是独立的研究人员可以自由开展基因方面的研究而无须经过已获取基因专利的公司的同意。
米利亚德公司案是基因研究发展过程中大家公认的转折点。法庭对以前的判决做出澄清或者说推翻了以前的判决，证明新技术的发展进程并非完全脱离人类的控制。调整进程的机会偶尔会出现。但是法院做出判决以后，这个具体的转折点就消失了，再次开启有关人类基因专利申请问题的讨论将是非常困难的。
航向修正
在采用新工具和技术的时候，哪些风险是合理的，哪些冒险是值得的，哪些是鲁莽冲动的？当前的模式是欢迎任何一项只要能想到的新工具和技术，只要有人愿意买，有人愿意卖。允许国内空域飞行无人机就属于这种情况。
开发军用无人机的公司想要扩大市场，而美国国会更关心的是，指示美国联邦航空局制定国内空域无人机飞行的飞行规则，而不是支持在全国范围内开展有关无人机利弊的讨论。无人机具有可协助搜救、方便警察监视、支持某些研究的开展，以及一日内送达亚马逊公司的快递等好处，但是否能证明侵犯隐私、空域拥挤、空难、财产损失、头顶上一群装有摄像头的机械昆虫嗡嗡作响是正当合理的？
公众全面讨论的结果很可能是有些人支持在空域飞行无人机，但要加以限制，这会大幅度减少无人机的数量。不幸的是，这种讨论并未出现。
本书中，我倡导的是在创新技术的开发和部署过程中更加慎重、负责和认真。对将会产生深远和不确定的社会影响的新技术采取漫不经心的态度是文明迷失的标志。放缓已加速前进的新技术，应当采用负责任的方式确保人类的基本安全以及支持广泛的共同价值理念。
虽然，每一个项目的放缓都会付出代价：节能设备的投放会停滞，武器系统未经完善和部署，还有一些创造不了的财富。那些梦想未实现的人会失望；有些将要离世的人认为他们的病本可在有生之年治好，将会很愤怒。但我们必须做出艰难的抉择。
我们踏上的航程危机四伏，修正航向非常必要。我们可以微调航向，只要我们认清一些转折点，认真地选择需要维护和加强的价值理念，坚定地开展好的研究和工程实践，设置一些能全面监督、管理、调整技术发展的机构。《科技失控》将就人类如何在危险重重的未来成功航向彼岸提出一些建议。
必然、不安和沉默
我的担心并不是在于某些具体的创新技术的应用，而是科学发现的过程。历史证明，政府对科学研究的干预在无数层面上损害科研自由。即便如此，在很多方面政府都应当更加关心他们需要资助哪些领域，以及要求科学家采取怎样的保障措施。
将科学发现活动与新技术应用区分开可能有些武断。大部分研究的目的在于开发新工具，比如更精确的诊断扫描系统，既能用于促进科学发现，也可用于治疗目的。大型强子对撞机（LHC）不仅仅是一个研究项目，也是部署一种新技术。如果没有大规模的粒子加速器，就没办法对一些重要理论进行测试。实验室创造的新物种通常也被接受为科学发现，但是将这种物种释放到实验室以外的环境中则完全是另一个问题。
区分科学发现和不应当开发或部署的技术需要工程师、政府官员、行业领袖以及军事规划者具备一定程度的认知成熟。至今为止，令人遗憾的是，这些人经常缺乏这种成熟，而且说来容易做起来难。
自由和开放的科学发明自然会带来新技术发明。当一种新型武器看起来可行时，可能在军事规划者认识到它的战略价值之前，早就获得了必要的开发资金。科学人员和工程师在“想到就要做到”这件事上很容易迷失，都在努力回答这个问题：“我们做不做得到？”很少人会问：“我们应不应该去做？”
过去10年来，我担任耶鲁大学生物伦理多学科中心技术和伦理（T&E）研究小组主席。该研究小组成立于2002年，是运行时间最长的调查新兴技术带来的伦理、法律以及社会等方面挑战的论坛。通过这个研究小组以及其他数不清的机制，我有机会认识了许多创造未来的科学家和工程师，开发和推销创新技术的企业家，部署新武器的军队领袖，以及宣扬改变人类进化方式有好处的未来主义者，我与他们还成了朋友。几乎所有的案例都证明这些善良的人都致力于让人类的生存条件更好，救死扶伤，济贫扶弱。
此外，我还结识了国际上不少政策规划者、生物伦理学家、社会科学家、法律学者、理论家、科幻小说家、批评人士，以及只关注新技术社会影响的“讨厌之人”。
对于新兴技术的社会影响每个人都只是从七零八碎的片面角度去理解。学术界倾向于囚禁于各自学科的窠臼。决策者深受政治和经济方面考量的影响，尤其是一旦出现问题则一心躲避批评。新兴技术的支持者或是批评者也通常用一个宏大的确定性观念来看待争议。我们真的需要就新兴技术的发展轨迹、影响以及管理开展更全面和跨学科的讨论。
T&E研究小组会议中所开展的讨论虽然很有意思，但也非常令人担心。要么是政策规划者完全没有认识到存在如此多的风险，或是没有人去解决这些风险。认为所有人类的问题都将从技术上很快得到解决办法的人实在是很天真、很危险。
技术发烧友则沉迷其中，肤浅地轻视历史的教训。这种轻视论调自圆其说，认为技术创造的工具足以超越所有加之于后代的限制。因此，历史的教训不适用于今天的挑战，总能找到技术方案解决任何一个问题。这种思维方式令人不安，因为它认为任何能够想到的技术解决方案都应去实现。
技术乐观主义者认为科学发现和技术发展不可分开。只要可行就能实现。在他们眼中，根据技术创新的必然路线，将在不远的未来实现设计婴儿和超人类智能机器人。但是，即使是不可避免也可以迅速减速。放慢发展的脚步可以有更多的机会用心设计安全机制，也能改变各种目标的重要性。如果有充足的时间，人们就会关注转折点，并延长做出航线修正的时机。
我8岁的时候，华特·迪士尼以及当时的美国太空项目主任维纳·凡·布朗恩（Werner Von Braun）承诺说可以去国际空间站度假，还可以顺便去趟月球。我一直在等待这一天的到来。布朗恩的大型太空站并没有建成，但是美国公众已经不允许政府出资支持一个超出目前需求的项目。60年后，美国公民仍然希望有机会去太空度假，但是很少有人愿意将此设为国家的头等大事。
几千年以来，创新技术为人类的渴望和追求服务。大部分人都认为技术是推动理想和生产力的引擎，但仍有许多人普遍对具体的研究领域感到忧虑，对于技术发展的整体趋势感到困惑。这种忧虑，以及打消忧虑的各种努力很容易找到证明，比如世界各国都禁止克隆人类，禁止运动员使用生长激素，欧盟限制生产和进口转基因食物，美国国内对于胚胎干细胞研究激烈争辩等。国际上正在讨论有关禁止致命自主化武器（杀人机器人）的提议，也有人提议禁止旨在减轻全球气候变化影响的大气层实验。
如果有人能够将真正的前景与猜测区分开来，那么源自科幻小说和炒作的忧虑则能被驱散，有一些担忧可以当作是对于未知的正常恐惧而不予理会。但是通常这种敏感伴随着一种直觉智慧，我们穿过繁忙的街道时，不安的作用是作为身体中的一种工具，提醒我们对周围情况保持高度注意。同样，普遍的社会不安也能说明这是一个需要解决的问题。
当然，分辨恰当措施的智慧很难顺手拈来。在生物安全和网络安全上投入巨额资金也并没有消除这些新威胁所带来的忧虑。对于网络犯罪、网络情报以及网络战争等威胁的应对看起来似乎是技术螺旋式升级中的下一步而已。换句话说，对于这些新威胁所做出的响应只是看到了问题的一部分，不可能作为长期的解决办法发挥有效作用。
无人驾驶的车辆给我们提供了一个有关理解和感受技术发展轨迹不可避免的最恰当的比喻。难道是技术悄悄地开始掌舵了吗——无论是实际上还是象征意义上？上千年以来，技术为人类的愿望服务，而现在我们需要改变生活方式和愿望以适应新技术所创造的生活吗？科学的可能性和技术上的当务之急已经成为人类未来的主要决定因素？难道我们都将成为技术的“好仆人”吗？
我和大家一样对科学发现和技术发展的趋向很是忧虑。但是我也很感兴趣究竟能够发现些什么，也急切地想了解科学家和工程师能够有哪些发明。这两种态度内在的矛盾可以成为一种指导力量。我因为在技术和伦理学领域的工作，有幸有时间去探索防止技术脱离人类控制的创新性战略。的确，其他的一些矛盾，比如说专家之间的冲突通常都热火朝天，而不是专家的人则一般沉溺于对猜测的担心，当然这也可以作为寻找未来解决路径的素材。
大部分的忧虑之所以浮出水面是因为旷日持久地争辩通过技术方式提升人类的能力究竟是人类的机会还是败坏了人类的天性。对于沉湎于辩论之中的人来说，这证明了在揭露错误或肤浅的论据方面取得了一些进步。
但是，从大的方面说，我们的社会仍不能就哪些是实际创造的与哪些才是我们真正应当追求的目标进行一场令人满意的讨论。一些人急切地欢迎那些可以提升或改变人类能力的技术，而另一些人则对此深恶痛绝，而这之间的对抗，目前来说，仍是平局。僵持的局面对于项目投资人来说是有利的，但也导致一些有发展势头的技术研究戛然而止。但是有些事，比如克隆人类或是认知提升类药物引起意料之外的神经损伤，可能会改变事情的发展进程。
大众对于克隆人类和转基因的忧虑程度让人很难理解为什么对于因特网、智能手机以及其他的信息技术接受起来相对顺利很多。毫无疑问，不同技术引起人们的担心程度是不一样的，但是即使大众对于数码系统或装置的欣然接受也带来一些令人困扰的问题。
比如，一位母亲只顾着看电脑，对孩子一天在学校的表现不闻不问，这种骇人故事也许看起来不足为信，但是一个孩子在讲述一天中发生的事情，而他的母亲时不时点个头，手却仍然敲着键盘，这种情形恐怕屡见不鲜。带屏幕的电子设备总让人着迷；玩智能电子设备的乐趣超越了与周围人相处的乐趣；社交媒体无疑给我们提供了不一样的社交方式；短信来时的哔哔声或是打赢《接龙》《糖果粉碎传奇》《愤怒的小鸟》等游戏不断带来的多巴胺分泌进一步强化了这一类似于上瘾的行为，计算机将我们训练成了他们的奴仆。
技术奇迹引人敬畏和顺从。这种顺从有更广泛的意义，有人说技术的进步已踏上了不归路，还有一种表述是，这条路一直走下去，人类将变得无用。的确，各种技术预言家声称，我们已经进入了必然趋势的第一阶段，在这个过程中，人类这个物种将会因各种技术发明而消失。未来的主宰将是半机器人、电子智人、超智能计算机。如果我们对于驱动技术进步的经济、政治以及社会力量不当作无所不能的话，这些言论的影响力可能会削减。
这本书起源于2011年与好朋友的一次谈话。他对于基因学和人工智能研究方向不可避免感到困扰。他的沮丧和无奈也让我困扰。他提到技术发展的未来路径已经确定了。为什么人们相信技术发展的进程已经被确定，也许是技术奇迹带来的小恩小惠转移了注意力，或是掩盖了面对业已失控局面时的无助和沉默。
幸运的是，技术发展的路线并非已成定局。本书中，我将探讨技术发展必然性有关的各种问题。必然性的说法贬低了跨越重大技术门槛的难度，任何理论上的解决方案并不一定都能带来实际成果。未来主义者认为，高级人工智能发展的必然性将不利于人类对危险系统薄弱性进行探索。随着科学知识的累积，很有可能实现新的可能，但是我们是否接受这些可能，倾听内心的不安，或是抓住转折点的机遇，这些选择仍在人类手中。
虽然我们已走上不可避免的征程，但是目前还没有人制订新技术部署的管理计划。没人能真正了解人类历史上这一重大时刻。我们从不缺乏掌握特殊知识的专家。有特别目的的支持者通过网络、媒体以及电视、广播访谈放大自己的声音。少数有思想的人与大家分享对于基因学、神经学以及纳米技术的看法；夸夸其谈者打得不可开交，还四处宣扬自由、安全、平等以及责任等个人价值；“预言大师”做出无数预测；在任的政府官员忙于应对各种危机，勉强应对一两件大事。
正在徐徐掀开面纱的技术风景画卷令人困惑——相当于现代版本的大西部，在此间探寻宝藏的工程师发现了以新的应用程序或社交网络方案为形式的黄金。一旦这些探宝人被授勋封爵，他们就加入了商人的阶层保护自己的经济利益，而对影响他们利润、自由以及特权的规定嗤之以鼻。
一方面，需要对正在发挥作用的力量和可能性有更深、更全面的了解。另一方面，任何设想都存在偶然性。就好像我们正在拼一个技术风景画拼图，有一些拼图块不停地变化形状，还有一些找不到了。
找不到的拼图中最重要的那些区块的原因也是大部分有公知的公民并没有参与讨论，没有一群致力于全面了解问题的学者，也缺乏有公知的公民以及学者能够发出声音从而纳入政策规划者决策中去的论坛。没有这些，技术可能性的发展只能是以机械式的发展为主导。
年轻学者当然更愿意更全面地处理问题，但是他们也承受着在现存的学术生态环境下，在某一特别领域中建立专业地位以证明自身存在合理的压力。大学对于跨学科了解问题的需要只是口头说说而已，很少有学者因此追求而收到报酬。
鉴于这种不确定性，以及认识到必须做出有重大意义的决定，学者和政策规划者都在呼吁公众更多地参与到讨论中来。对于科学方面思想自由的公民，他们能问出好问题，能认真倾听，分享他们的看法、观点以及直觉等，他们是能发挥作用的。但是公民们有效参与讨论、表达关切的渠道十分有限。如果没有建设性参与的方式，知晓情况的价值则削弱了，权利也会被转移到已知情的公民手中。
本书的最后两章将介绍培养知情公民和跨学科学者的做法，就是建立一些能够倾听他们声音的论坛。但是，首先要为广泛了解具有极大吸引力的新兴技术图景奠定基础。
进攻计划
我是从美国的角度来看问题，但是我们面临的挑战涉及每个国家、所有的人。我们需要在国内和国际开展有关创新技术采用相关目标和关切的讨论。在有些领域和范围符合公共政策，且有些国家处于领先地位。比如日本和韩国在开发人工智能和机器人方面发挥了重要作用。欧盟在制定跨学科办法管理新兴技术社会影响方面比其他地区更积极主动。历史上，中国人一直善于放眼长远。随着中国的政治、经济影响力在世界舞台上日益上升，这一点也尤其重要。
所有文化的共同点在于对技术发展的速度和轨迹的思考。无论是个人还是作为一个整体，我们必须决定什么时候去接受、管理或是摒弃这些技术的发展。在联系愈加紧密的世界里，一个国家对于新技术的限制只有得到国际共识的支持才能真正实现。这对于那些只希望促进地方性价值发展的团体来说也许不算好消息。但是对于那些更加关注普世性价值的人来说则是莫大的鼓励。
国际社会统一技术政策必将遇到重大挑战。国家之间不同的管理形式和价值结构让许多对此关注的学者认为无法对新技术进行有效监管。一个国家限制的在另一个国家可能被允许。同时还存在开发人员将研究工作搬至限制最少的国家的风险。一些政府首脑急于想成为新领域的领头羊以收获经济利益，他们会对别的地区尚有争议的研究予以支持。
一些工具性价值观（instrumental values）比如安全和责任在很多文化中都被广泛认同。其他一些更加人性化的价值理念比如同情、扶弱济贫、个人的尊严等经常与宗教传统混淆不清。不幸的是，有些宗教对于挑战传统信仰的科学观念并不宽容。
多元文化中难道只有一些工具性价值观能够最后幸存吗？幸运的是，还有一些其他的方式可选择，比如用《世界人权宣言》来加强价值观。但是这样够吗？或者我们必须建立一个新的平衡以确保新技术产生的压力不会削弱对个人的尊重。
各种杂志以及网络媒体充满了对于未来几十年技术发展前景的预测。本书第二章开头将做出一个大胆的预测以供读者评价。这部分描述了我们已经走上的危险旅程，以及重新引导技术发展轨迹的必要性。
第三章和第七章概述了为什么新兴技术会带来灾难和悲剧的三大核心原因。对不可预料的复杂系统的日益依赖、发展速度不断加快、个别领域的创新研究产生的相关损害都带来了新的危险。全球气候变化和对新能源资源的需求螺旋式上升要求我们寻找不同的解决方案，这也引起了利与弊的权衡。使用基因技术创造生物产品、植物以及非人类的动物物种带来了与基因技术应用于人类基因完全不同的问题。
第八章至第十章简述了人类寿命大幅度延长和人类增能所带来的社会影响。研究伦理会延缓甚至是终止某些危及人类物种的科学实验。人类的能力能够并应当通过提高人类能力的技术得以提升的论点支撑了一个更宽泛的论述，即身和心都被视作生物机器。
生物医学行业以及军工大集团仍然是推动大型科学研究和技术创新的领衔力量。在医疗和先进军事系统领域的大量预算花费基于一些重要的考虑，第十一章将对此提出质疑。
第十二章至第十五章提出了一些能够且应当实施的政策，一些必须加强的价值理念，应当重视并因此采取行动的转折点，以及支持一些机构和个人对新兴技术进行监督。第十二章通过建议禁止杀人机器人的例子详细解释转折点的深远意义。第十三章简述如何将道德因素注入新技术设计和工程。第十四章提出应进行体制改革，以协调参与技术创新监管的不同管理部门、专业协会以及非政府机构。最后一章简述对新兴技术所产生的社会影响敏感的科学界人士所能发挥的作用。
我们的调查只能提供建议并描绘前方路径。想法和认识只有付诸行动才有意义。本书的最后一部分必定是关于以我们个人和集体的首创精神支撑的世界。我们是屈从于这股已经发力的神秘力量，还是学会如何做出有意识的、负责任的变化。