Publication

A New Identity for the Least-square Solution of Overdetermined Set of Linear Equations

Afsaneh Asaei, Mohammadjavad Taghizadeh, Saeid Haghighatshoar
2015
Rapport ou document de travail
Résumé

In this paper, we prove a new identity for the least-square solution of an over-determined set of linear equation Ax=bAx=b, where AA is an m×nm\times n full-rank matrix, bb is a column-vector of dimension mm, and mm (the number of equations) is larger than or equal to nn (the dimension of the unknown vector xx). Generally, the equations are inconsistent and there is no feasible solution for xx unless bb belongs to the column-span of AA. In the least-square approach, a candidate solution is found as the unique xx that minimizes the error function Axb2\|Ax-b\|_2. We propose a more general approach that consist in considering all the consistent subset of the equations, finding their solutions, and taking a weighted average of them to build a candidate solution. In particular, we show that by weighting the solutions with the squared determinant of their coefficient matrix, the resulting candidate solution coincides with the least square solution.

À propos de ce résultat
Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.
Concepts associés (42)
Méthode des moindres carrés
La méthode des moindres carrés, indépendamment élaborée par Legendre et Gauss au début du , permet de comparer des données expérimentales, généralement entachées d’erreurs de mesure, à un modèle mathématique censé décrire ces données. Ce modèle peut prendre diverses formes. Il peut s’agir de lois de conservation que les quantités mesurées doivent respecter. La méthode des moindres carrés permet alors de minimiser l’impact des erreurs expérimentales en « ajoutant de l’information » dans le processus de mesure.
Système d'équations linéaires
En mathématiques et particulièrement en algèbre linéaire, un système d'équations linéaires est un système d'équations constitué d'équations linéaires qui portent sur les mêmes inconnues. Par exemple : Le problème est de trouver les valeurs des inconnues , et qui satisfassent les trois équations simultanément. La résolution des systèmes d'équations linéaires appartient aux problèmes les plus anciens dans les mathématiques et ceux-ci apparaissent dans beaucoup de domaines, comme en traitement numérique du signal, en optimisation linéaire, ou dans l'approximation de problèmes non linéaires en analyse numérique.
Équation linéaire
Une équation à coefficients réels ou complexes est dite linéaire quand elle peut être présentée sous la forme ax = b ou, de manière équivalente ax – b = 0, où x est l'inconnue, a et b sont deux nombres donnés. Si a est différent de zéro, la seule solution est le nombre x = b/a. Plus généralement, une équation est dite linéaire lorsqu'elle se présente sous la forme u(x) = b, où u est une application linéaire entre deux espaces vectoriels E et F, b étant un vecteur donné de F. On recherche l'inconnue x dans E.
Afficher plus
Publications associées (68)

Robust Distributed Learning: Tight Error Bounds and Breakdown Point under Data Heterogeneity

Rachid Guerraoui, Nirupam Gupta, Youssef Allouah, Geovani Rizk, Rafaël Benjamin Pinot

The theory underlying robust distributed learning algorithms, designed to resist adversarial machines, matches empirical observations when data is homogeneous. Under data heterogeneity however, which is the norm in practical scenarios, established lower bo ...
2023

A Least-Squares Method for the Solution of the Non-smooth Prescribed Jacobian Equation

Alexandre Caboussat, Dimitrios Gourzoulidis

We consider a least-squares/relaxation finite element method for the numerical solution of the prescribed Jacobian equation. We look for its solution via a least-squares approach. We introduce a relaxation algorithm that decouples this least-squares proble ...
SPRINGER/PLENUM PUBLISHERS2022

On Preconditioning of Decentralized Gradient-Descent When Solving a System of Linear Equations

Nirupam Gupta

This article considers solving an overdetermined system of linear equations in peer-to-peer multiagent networks. The network is assumed to be synchronous and strongly connected. Each agent has a set of local data points, and their goal is to compute a line ...
IEEE-INST ELECTRICAL ELECTRONICS ENGINEERS INC2022
Afficher plus
MOOCs associés (19)
Algèbre Linéaire (Partie 1)
Un MOOC francophone d'algèbre linéaire accessible à tous, enseigné de manière rigoureuse et ne nécessitant aucun prérequis.
Algèbre Linéaire (Partie 1)
Un MOOC francophone d'algèbre linéaire accessible à tous, enseigné de manière rigoureuse et ne nécessitant aucun prérequis.
Algèbre Linéaire (Partie 2)
Un MOOC francophone d'algèbre linéaire accessible à tous, enseigné de manière rigoureuse et ne nécessitant aucun prérequis.
Afficher plus

Graph Chatbot

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.