+ + + =

AI大数据分析 big data

步骤

1. 数据收集：大规模数据可以来自各个方面，包括传感器、数据库、社交媒体、互联网、日志文件等，数据格式可能多样化，包括结构化数据、半结构化数据和非结构化数据。
2. 数据存储：大数据通常需要使用专门的大数据存储系统来存储和管理，如分布式文件系统（Hadoop HDFS）、列式存储（Apache Parquet）、NoSQL数据库（Cassandra、MongoDB）等。
3. 数据处理：大数据通常需要进行数据清洗、整合、转换等预处理工作，以便进行后续的分析。在这个阶段，可能需要采用分布式处理框架（如Apache Spark、Hadoop MapReduce）来处理大规模数据。
4. 数据分析：分析大数据通常包括描述性分析、识别模式与规律、进行预测分析和关联分析等。常用的技术包括机器学习、数据挖掘、统计分析、自然语言处理等。
5. 数据可视化：将分析结果可视化呈现，以便用户理解和进行决策。常用的工具包括 Tableau、Power BI、matplotlib、D3.js, data3D 等。
6. 数据应用：将分析结果应用于实际业务中，支持决策、改善产品和服务，或进行实时预测和优化。

大数据分析可以帮助企业和组织发现商机、改善产品和服务、提高效率与生产力、进行风险预测、做出更明智的决策等。它是当今信息时代非常重要的技术和应用领域。

AI 模型 model

1. openAI - chatGPT、sora
2. Google - BERT、Gemini
3. Microsoft - copilot

   中国国内:

4. 百度 - 开发的 ERNIE（Enhanced Representation through kNowledge IntEgration）模型 - 文心一言, 在自然语言处理等领域取得了很好的性能。
5. 阿里巴巴 - 开发的 DLTP（Deep Learning Technology Platform）和PAI（Platform of Artificial Intelligence）
6. 通义千问 - 是中国科学院计算技术研究所开发的一个大型中文开放域问答系统。
7. 华为 - 开发的 MindSpore 是一款全场景AI计算框架，可以支持大型模型的训练和推理
8. 科大 - 讯飞星火 也在语音识别和自然语言处理领域有一些大型的AI模型。
9. 中科院计算所 - 开发的THUMT（Tsinghua University Machine Translation）模型在机器翻译领域取得了很好的成果。
10. 拼多多 - 开发了一款名为 DNN（Deep Neural Network）的大型AI模型，用于推荐系统和广告投放。
11. 大疆创新 - 在无人机领域开发了一些大型AI模型，用于图像识别和路径规划等任务。
12. 腾讯 - 混元
13. 中国大模型列表 Awesome LLMs In China

应用 application