视频会议系统由视频会议终端、视频会议服务器（MCU，Multipoint Control Unit）、网络管理系统和传输网络四部分组成。
1） 视频会议终端
位于每个会议地点的终端，其主要工作是将本地的视频、音频、数据和控制信息进行编码打包并发送；对收到的数据包解码还原为视频、音频、数据和控制信息。
终端设备包括视频采集前端（广播级摄像机或云台一体机）、显示器、解码器、编译码器、图像处理设备，控制切换设备等。
2）视频会议服务器（MCU）
作为视频会议服务器，MCU为两点或多点会议的各个终端提供数据交换、视频音频处理、会议控制和管理等服务，是视频会议开通必不可少的设备。三个或多个会议电视终端就必须使用一个或多个MCU。MCU的规模决定了视频会议的规模。
3）网络管理系统
网络管理系统是会议管理员与MCU之间交互的管理平台。在网络管理系统上可以对视频会议服务器MCU进行管理和配置、召开会议、控制会议等操作。