看过楼上的各种回答，各有特色，但总体感觉对于人民群众并不是很友好，也太过于笼统抽象（同时竟然还有胡扯八道没有删掉的）。讲明白（代数版本的）顶点（算子）代数是什么，不需要念咒语更不用懂佛经。
保健品不能代替药品。以下内容纯属初步介绍性质仅供参考，不能代替系统学习。
首先讲是什么。
正如楼上所提到的，笼统地说一个顶点算子代数是一个装备有可数多个被整数标记、满足一定公理运算的线性空间（嗯，没有定语从句的汉语就是这么别扭）。具体的来说如下
定义: 一个顶点代数 (vertex algebra) 是一个四元组 , 其中 V 是一个线性空间， 是 V 上的一个特殊线性映射（称作平移 (translation), 是一个特殊元素称作真空 (vacuum), 是一串被整数 标记的双线性运算，满足：
1. 对固定的 , 当 n 充分大时 （仅依赖于 a,b）
2. 对所有 ;
对所有 ;
对所有 。
3. 满足 Borcherds 等式：
对所有 成立。其中 是多项式系数。在这里我们稍作改变把第n个双线性运算 ,等同于 中的每个元素 a 被(线性的)映射为一个线性算子
尽管公理复杂的令人头疼，但这个定义没有用到任何佛经。相比于概型、导出范畴、自守型等抽象又复杂的佛经术语，这个定义还是具体初等得多。此外还有其他各种五花八门的等价定义方式，比回字的写法还多。
正常人类看到这里通常都会很不服气也很暴躁。其实我也承认，Borcherds 等式也是我直接复制粘贴过来的，而且平时从来不会用它。如果我故意把定义删一条或者多编一条，或者写错一个符号，除了专家基本不会有人注意到。所以把上面的定义忘掉，也是极好的。
那么，凭什么能有李代数、顶点代数，不能有我随便定义公理的猫代数，Deng代数，蛤蟆代数，包子代数？这是一个很自然的问题。伟大导师老 Gelfand 听过一次顶点代数的报告后说
`I am an old man, and I know that a definition cannot be so complicated.'
（多篇paper和 Beillinson-Drinfeld 开头都膜过这句话）简而言之就是，作为一个森惊百赞的Zhang者，看到这么精（fang)彩(pi)美(che)妙(dan)的定义我很高兴(angry)。
回答这个就需要耗费很多精力了。
所以讲完是什么，马上就应该给一个例子安抚一下。
下面这个 Heisenberg 顶点（算子）代数 应当说是最基本的非平凡例子,通过这个例子就足以看到顶点算子代数里一些基本的现象。考虑无穷多个自然数下标的变量 ，和相应的多项式环
命题 具有顶点（算子）代数结构。
有时也把 称作 (Bosonic) Fock 空间 （Bosonic Fock space）, 可以看作是场论里面 Fock space 的代数简化版本。具体的在这个例子中真空就是常量1（但一般情况下不能混淆），平移 作为一个导子 (derivation, 就是像求导一样作用在 上，具体定义很容易找到)在生成元上满足
而一系列运算 描述起来是比较麻烦的。对于特殊的元素比较简单，例如
其中求偏导可以完全代数形式化的理解，而 理解为（作为线性变换）乘以 。对于其他一般元素 , 的表达式就比较复杂了。一般的结构定理告诉我们，所有的 a(k) 都可以通过 上面 通过（高次）Wick 正规（编时）乘积 （Wick's normal ordered products）表达出来。最为常用和重要的是 的表达式：
其中双冒号” ：：“是正规化：
看到这个学过场论的人肯定会有莫名的激动。正规化的定义写起来别扭，含义却很直观，就是出现偏导在左侧的时候就"硬把它挪到右边去"以（装作）“符合书写习惯”,比如
。
所以表达式的规律无非两个方面：1.求和取遍整数并保证括号内整数和为k。 2. 要加上正规化。通过具体的计算 （有耐性的可以自己观察尝试一下）发现，尽管这个算子形式上是无限求和，但这个”正规化“过后的表达式确实良好的作用在任何一个多项式，而给出一个新的多项式（仍是有限和），所以确实是 里的元素。实际上在 的时候，通过对易关系
很容易看出加不加正规化的结果是一致的，而问题恰恰出在 的时候。这时候两者差了一个”无穷大“：
这个”病态“反而会引起很有趣的结果。
关于有如下重要的性质：
命题 Virasoro 对易关系成立：
可以看出为了维持 Virasoro 关系，常数 是必需的。这个命题可以通过些许 cut off 的技巧证明，可以参考 Kac 的 Bombay lectures。不过直接证明也许不太平凡。但是有了顶点算子代数的一系列公理化体系之后，这个关系的证明就变成小学算术了。有了这个关系更进一步的我们可以说 是一个顶点算子代数 (vertex operator algebra, VOA, 注意不是靡国之音)，而不仅仅是顶点代数。在这个关系式中右端第二项叫做中心扩张项，所以进一步的说，这个顶点算子代数的中心电荷(central charge)为1。
这里顺便胡扯一下”中心电荷“起到的一点”神秘作用“。回到前面”无穷大“的问题。注意到算子在 上的作用可以对角化：
也就是 单项 被赋予权重 m, 于是给出了 Fock 空间 的一个 分次, 并且每个piece 都是有限维。这就是所谓顶点算子代数比顶点代数更进一步的意思（虽然这里没具体写）。如果用 q 作形式变量，很容易得到对应的生成函数是整数划分函数
回忆前面的”无穷大“。如果我们用考虑Riemann Zeta 函数在 -1 的值并利用下面这个“假等式”
就会发现，如果我们坚持不做”正则化“，但是把它和 相差的”无穷大“ 用zeta value 硬去代替, 那么修正过的生成函数
恰恰是 模形式里面的 Dedekind eta 函数 （分之一）：
而 是一个很好的函数（“半整权模形式”）。更加一般的，如果中心电荷是 c, 修正相应的就要用 代替。CFT里面也把中心电荷看成是一种反常(anomaly)，而且这在讨论模不变性（ modular invariance） 的时候非常关键。模不变性有精确的佛经版本，但是这个现象却有点道德经的味道。
这里面我们仅仅给出了二次的例子。更进一步的可以给出任何一个多项式 对应的 ,他们的具体表达式也更加复杂了。但是高次的量仍然非常重要，例如考虑 W 代数的时候。
下面再进一步讲什么是”顶点算子“。根据 Kac 在 infinite dimensional Lie algebra 里面 (p.301) 的定义，一个顶点算子(Kac 定义的意义下)是一个作用在 以下形式的”算子“
其中 是一些常数 （也可以含有其他变量）。"顶点算子"并不能由前面所讲的 上的高次正规乘积得到，它们需要被额外添加进去。另外这个表达式实际上太过于宽泛的，其中 的取法有许多种变形，但为了得到有意义的”顶点算子“，并不能非常随意。”正统“的取法是
其中 z 是形式变量。这时候的顶点算子恰恰是Fubini、Veneziano 最早在 Dual Resonance model 里面提出的”顶点算子“，同时也是重要的格顶点算子代数(lattice VOA)里面出现的顶点算子(需加修正项)。另外 也可以取其他的数值，但有些时候得到的未必是顶点（算子）代数里出现的算子了。例如统计物理可解模型里面六顶角模型 (6-vertex model)中的”顶点算子“，是额外含有变量 q 的，是一些和量子群 有关的intertwining operators，他们并不直接是某个VOA里面的”顶点算子“。因此这里所谓”顶点算子“只能算是一种例子，而不象顶点（算子）代数是一个定义性的概念。此外还特别需要注意的是，不同人口中的”顶点算子“含义可能完全不同。对于其他一些术语也有类似的问题，所以大家在学习过程中对此一定要谨慎小心。
讲完这些例子，也许你还不觉得非常因缺思厅。那么究竟为什么顶点（算子）代数和市面上一些胡编乱造的东西是有本质区别的呢？
因为顶点算子代数在众多看似毫无关联的领域中都自然的出现。这里限于篇幅仅作一泛谈。
1. 2d CFT。这本来就是 VOA 的老家，虽然初心 Dual Resonance model 早已废弃。理论物理学家可以说一人至少一个theory, 但能够有效严格化的则不多。像 VOA 这样能如此初等严格化 （代数部分）2d CFT 的工具, 那几乎是大熊猫了。
2. 月光猜想 (moonshine conjecture)。因为当了三好学生故事都都已经被科普讲烂了所以就不多提了。有大佬曾经批评说 Borcherds 的 Borcherds lift 是同样重要的工作，但是由于曲高和寡的原因在大众视野中被淹没了 (尽管这方面部分 credit 可能要归 Harvey-Moore)。
3. KP 、KdV 可积系统， W 代数。个人觉得这是 VOA 最美妙的方面之一，趣味性丝毫不亚于月光猜想。W 代数 （VOA ，Poisson vertex algebra 甚至是 finite 意义下）是时下重要而又热门的领域。
4. 组合和对称函数。顶点算子代数和顶点算子能够非常好的解释对称函数的一些现象。景乃桓老师是这方面的专家，我就不敢多讲了。
5. 模形式，模不变性 (Modular invariance), 模张量范畴 (modular tensor categories)。这也是极其重要的一个领域，而且初步的现象已经在 Heisenberg VOA 的例子里面给过了。理论物理学家早先都认为这些性质是因为某些”物理原因“而”自然成立“的，但数学上却很不平凡。顶点算子代数看上去是一种”无穷“的代数，然而其中一类”好“的VOA (rational， -cofinite）却表现得像有限群的常表示一样美好，结果也很丰富。朱永昌老师是模不变性数学严格理论的奠基者，黄一知老师贡献也很大，在这里我不能膜拜他们太多。
6. 几何作用。一些顶点算子代数或顶点算子作用在一些几何对象上。Nakajima 对前面提到的顶点算子有 Hilbert scheme of points 的实现。个人觉得这方面的发展还不是很充分，有可能因为既掌握VOA又有很好几何造诣的人太少了（还有做了多年退圈的）。由于不甚了解故不多谈。
关于在”做什么“，这是一个很技术性的问题，需要跟具体方向具体任务请教。在VOA领域都已经出现了隔行如隔山的现象，我不能多加回答。有很多其他领域的人，会在自己的研究中偶遇VOA，或者仅仅是把它当作一个间接的工具，但他们的主要目的并不是去研究VOA本身。
还有一些明显的问题没有多做讨论，比如 VOA 的代数几何方式定义 （用 Chiral algebra, factorization algebra, operad 等）, 和上面的代数版本，看上去相差十万八千里，但某种成都上仍然是等价的。一方面是因为我在这方面了解比较肤浅 （比如回答让大家去看 Beillinson-Drinfeld, 我是惊出了一身冷汗的。有权威人士认为一般phd念这些是有点难的，当然你是 Beillinson-Drinfeld 嫡系或旁系的另当别论。我相信做代数方面 VOA的九成或者说九九成都不懂这方面一毛线，但并不一定妨碍做某些工作。不过 Costello 的书还是友善一些，值得学习。此外 E. Frenkel 和 Ben zvi 的书也很值得读，有些章节甚至是唯一可用的参考资料）。另一方面，严格的讲清楚这些确实不是那么简单，更不是敲一会儿键盘能够完成的。
谍战剧里面开始就身负重伤的人物，不能一句话不讲就死，当然也不能什么话都讲完了还没死。我想我这种小人物到了这里，还是先死掉为好。
