简介
EgoLife是一个面向长期、多模态、多视角日常生活的AI助手项目。该项目通过记录六名志愿者一周的共享生活体验,生成了约50小时的视频数据,涵盖日常活动、社交互动等场景。其多模态数据(包括视频、视线、IMU数据)和多视角摄像头系统为AI研究提供了丰富的上下文信息。此外,该项目提出了EgoRAG框架,用于解决长期上下文理解任务,推动了AI在复杂环境中的应用能力。
截图

产品特色
长期事件连接分析:通过一周的连续记录,支持跨小时、跨天的长期事件分析。
多模态数据同步:整合了视频、视线、IMU数据,提供丰富的感知信息。
多视角视频记录:结合15个GoPro摄像头和第一人称视角眼镜,提供全面的环境视角。
3D扫描支持:提供房屋和参与者的3D扫描数据,支持3D应用开发。
丰富的标注数据:包含转录、密集字幕等,支持模型训练。
EgoLifeQA基准测试:提供针对长期上下文任务的基准测试集。
EgoRAG框架:用于解决长期上下文理解任务的技术框架。
支持多模态AI模型训练:如EgoGPT模型,推动多模态AI的发展。
使用教程
1. 访问EgoLife项目官网,了解项目背景和数据集详情。
2. 下载相关数据集,包括视频、3D扫描和标注数据。
3. 使用EgoLifeQA基准测试集,评估模型在长期上下文任务中的表现。
4. 利用EgoRAG框架开发或优化AI模型,以处理复杂的多模态数据。
5. 结合GoPro摄像头和第一人称视角眼镜的多视角数据,开发新的应用或研究。
6. 将训练好的模型应用于实际场景,如智能家居、健康监测或社交分析。
流量来源
直接访问 | 17.37% | 外链引荐 | 2.27% | 邮件 | 0.02% |
自然搜索 | 71.56% | 社交媒体 | 8.30% | 展示广告 | 0.48% |
最新流量情况
月访问量
1572
平均访问时长
5.50
每次访问页数
1.10
跳出率
66.58%
总流量趋势图
地理流量分布情况
美国
100.00%
地理流量分布全球图
同类开源产品

Overhyped AI
Overhyped AI是一种AI语音代理,旨在提高产品采纳率。
个人助理#AI技术

Goonj
Goonj是一款宝宝哭声分析应用,利用人工智能分析宝宝哭声,并在5秒内准确告诉您宝宝哭泣的原因。
个人助理#健康

Minimax Agent
MiniMax Agent是一款智能AI伴侣,采用最新的多模态技术。
个人助理#多模态技术

Arxiv Summarizer
该产品是一个 Python 脚本,利用 Gemini API 从 arXiv 获取和总结研究论文。
研究工具#论文摘要

ODYSSEA
ODYSSEA是一款旨在帮助用户更好地了解自己生活的应用程序。
个人助理#数据分析

Agentcpm GUI
AgentCPM-GUI 是一款开源的手机端大型语言模型(LLM)代理,专为操作中英文应用程序而设计,能够根据用户的屏幕截图自动执行任务。
个人助理#智能代理

Sked
Sked是一个AI日程安排助手,通过AI自动找到所有人最适合的时间,帮助结束Slack中的日程混乱。
个人助理#Slack集成

Surfsense
SurfSense 是一款开源的 AI 研究助手,它将多种外部资源(如搜索引擎、Slack、Notion 等)整合在一起,帮助用户高效地进行研究和信息管理。
研究工具#信息管理

Deerflow
DeerFlow 是一个深度研究框架,旨在结合语言模型与如网页搜索、爬虫及 Python 执行等专用工具,以推动深入研究工作。
研究工具#开源
替代品

Arxiv Summarizer
该产品是一个 Python 脚本,利用 Gemini API 从 arXiv 获取和总结研究论文。
研究工具#论文摘要

Agentcpm GUI
AgentCPM-GUI 是一款开源的手机端大型语言模型(LLM)代理,专为操作中英文应用程序而设计,能够根据用户的屏幕截图自动执行任务。
个人助理#智能代理

Surfsense
SurfSense 是一款开源的 AI 研究助手,它将多种外部资源(如搜索引擎、Slack、Notion 等)整合在一起,帮助用户高效地进行研究和信息管理。
研究工具#信息管理

Deerflow
DeerFlow 是一个深度研究框架,旨在结合语言模型与如网页搜索、爬虫及 Python 执行等专用工具,以推动深入研究工作。
研究工具#开源

Camerabench
CameraBench 是一个用于分析视频中相机运动的模型,旨在通过视频理解相机的运动模式。
研究工具#相机运动

Suna
Suna 是一个开源的 AI 助手,通过自然对话帮助用户轻松完成研究、数据分析和日常挑战。
个人助理#开源

Smoldocling
SmolDocling-256M-preview是由ds4sd推出的一个具有256M参数的语言模型,专注于医学领域。
研究工具#医学文本处理

LBM
该产品是基于格子玻尔兹曼方法(LBM)的项目,格子玻尔兹曼方法是一种用于计算流体动力学的数值技术,通过模拟微观粒子的运动来描述宏观流体行为。
研究工具#流体动力学

TEN Agent
国外精选
TEN Agent 是基于 TEN 框架构建的实时对话 AI引擎,为开发者提供快速、高效的工具来构建实时对话式 AI Agent,如AI虚拟客服、AI 口语陪练、AI 情感陪伴、AI 个人助理等。
个人助理#Voice Agent
精选AI产品推荐

Nocode
中文精选
NoCode 是一款无需编程经验的平台,允许用户通过自然语言描述创意并快速生成应用,旨在降低开发门槛,让更多人能实现他们的创意。
开发平台#应用开发
876

Listenhub
优质新品
ListenHub 是一款轻量级的 AI 播客生成工具,支持中文和英语,基于前沿 AI 技术,能够快速生成用户感兴趣的播客内容。
音频生成#AI
348

Lovart
国外精选
Lovart 是一款革命性的 AI 设计代理,能够将创意提示转化为艺术作品,支持从故事板到品牌视觉的多种设计需求。
AI设计工具#创意工具
1,128

Fastvlm
FastVLM 是一种高效的视觉编码模型,专为视觉语言模型设计。
AI模型#图像处理开源
552

Smart PDFs
国外精选
Smart PDFs 是一个在线工具,利用 AI 技术快速分析 PDF 文档,并生成简明扼要的总结。
文章摘要#AI
984

Keysync
KeySync 是一个针对高分辨率视频的无泄漏唇同步框架。
视频编辑#视频处理开源
468

Anyvoice
AnyVoice是一款领先的AI声音生成器,采用先进的深度学习模型,将文本转换为与人类无法区分的自然语音。
音频生成#文本转语音
26.38k

Liblibai
中文精选
LiblibAI是一个中国领先的AI创作平台,提供强大的AI创作能力,帮助创作者实现创意。
AI模型#图像生成
344.42k