视频会议系统由视频会议终端、视频会议服务器（MCU，Multipoint Control Unit）、网络管理系统和传输网络四部分组成。
1） 视频会议终端
位于每个会议地点的终端，其主要工作是将本地的视频、音频、数据和控制信息进行编码打包并发送；对收到的数据包解码还原为视频、音频、数据和控制信息。
终端设备包括视频采集前端（广播级摄像机或云台一体机）、显示器、解码器、编译码器、图像处理设备，控制切换设备等。
2）视频会议服务器（MCU）
作为视频会议服务器，MCU为两点或多点会议的各个终端提供数据交换、视频音频处理、会议控制和管理等服务，是视频会议开通必不可少的设备。三个或多个会议电视终端就必须使用一个或多个MCU。MCU的规模决定了视频会议的规模。
3）网络管理系统
网络管理系统是会议管理员与MCU之间交互的管理平台。在网络管理系统上可以对视频会议服务器MCU进行管理和配置、召开会议、控制会议等操作。
4）传输网络
会议数据包通过网络在各终端与服务器之间传送，安全、可靠、稳定、高带宽的网络是保证视频会议顺利进行的必要条件。
传输设备主要是使用电缆、光缆、卫星、数字微波等长途数字信道，根据会议的需要临时组成。不开放电视会议时，这些信道就是长途电信的信道。